Experimente a API Google Gemini Omni 1.1 Flash para orientar a geração de vídeos com imagens e referências de vídeos curtos, mantendo sujeitos, cenas e movimentos consistentes.
A API Google Gemini Omni 1.1 Flash Reference-to-Video permite que desenvolvedores usem materiais visuais como orientação criativa para vídeos gerados. Forneça imagens de referência, clipes de vídeo ou ambos e, em seguida, descreva o resultado que deseja criar. A API de vídeo Gemini ajuda a transformar essas entradas em uma nova cena em movimento, oferecendo às equipes criativas uma maneira flexível de definir a composição, os elementos do sujeito, a atmosfera e a direção na Best Image AI.
Orientação por referências multimodais: Use imagens, clipes de vídeo ou uma combinação de ambos como materiais visuais para uma nova sequência gerada.
Direção criativa controlada por prompt: Combine as referências com orientações em linguagem natural para a ação do sujeito, o ambiente, o comportamento da câmera, a iluminação e o clima.
Contexto visual detalhado: Reúna indicações visuais de vários materiais fornecidos quando um único prompt não for suficiente para comunicar a direção pretendida.
Criação de cenas orientada por referências: Use os ativos selecionados como ponto de partida criativo para o movimento, a composição e o desenvolvimento da atmosfera na saída.
Apresentação de vídeo flexível: Escolha um formato horizontal ou vertical, a qualidade da saída e uma duração compacta do clipe para o contexto de visualização planejado.
Fluxo de trabalho de API escalável: Incorpore a geração de vídeo orientada por referências a bibliotecas de ativos, ferramentas criativas, sistemas de campanhas e pipelines de produção.
Entrada: Imagens de referência opcionais, clipes de vídeo de referência opcionais e um prompt em linguagem natural que descreva a cena que se pretende gerar.
Saída: Um novo clipe de vídeo criado pelo fluxo de trabalho da API Gemini Omni 1.1 Flash Reference-to-Video.
Direção das referências: Selecione materiais visuais que comuniquem os sujeitos, o ambiente, a composição ou o tom criativo desejado e adicione instruções claras de movimento.
Controle de formato: Escolha a orientação da saída, o nível de qualidade e a duração concisa adequados ao caso de uso final.
Recursos: Geração de vídeo orientada por referências, entrada criativa multimodal, movimento direcionado por prompt, composição de contexto visual e criação de cenas cinematográficas.
Desenvolvimento de conceitos de campanha: Combine visuais principais aprovados, imagens de atmosfera e referências de movimento para explorar novas direções de vídeo para campanhas.
Sistemas criativos de marca: Use uma biblioteca visual selecionada como orientação para gerar conceitos de vídeo que partam de uma linguagem criativa definida.
Visualização de storyboards e apresentações: Transforme painéis de referência e materiais de clipes selecionados em cenas em movimento concisas para prova de conceito.
Adaptação de conteúdo: Crie novas direções de vídeo a partir de ativos visuais existentes quando apenas um prompt de texto não transmitir contexto criativo suficiente.
Operações criativas em escala: Integre a geração ciente das referências a ferramentas de gestão de ativos, pipelines de conteúdo e plataformas internas de criação.
Observação As referências fornecem orientação criativa, mas não substituem um prompt preciso. Para obter os melhores resultados, explique a ação desejada, o movimento da câmera e o resultado da cena, além de fornecer os materiais visuais.
Gemini Omni 1.1 Flash vs. fluxos de vídeo de referência do Google Veo: O Google Veo oferece uma variedade de recursos de vídeo gerado. O Gemini Omni 1.1 Flash disponibiliza um processo de criação orientado por referências que acompanha a geração de texto, a animação de imagens e a edição de vídeo na mesma família de modelos.
Gemini Omni 1.1 Flash vs. Runway: O Runway oferece aos criadores muitas maneiras de trabalhar com materiais de origem e ferramentas generativas. O Gemini Omni 1.1 Flash é adequado para desenvolvedores que criam um fluxo de trabalho de vídeo orientado por referências por meio de uma API.
Gemini Omni 1.1 Flash vs. Kling AI: O Kling oferece suporte à criação de vídeo com IA orientada por elementos visuais. O Gemini Omni 1.1 Flash fornece entradas flexíveis de imagens e vídeos de referência com direção baseada em prompt para equipes que precisam de um fluxo de geração integrado.
Gemini Omni 1.1 Flash vs. Pika: O Pika é popular pela experimentação visual acessível. O Gemini Omni 1.1 Flash é uma opção prática quando as referências criativas precisam fazer parte de um fluxo de trabalho de vídeo estruturado e programático.
Gemini Omni 1.1 Flash vs. Luma Dream Machine: O Luma Dream Machine oferece suporte à exploração rápida de conceitos a partir de prompts. O Gemini Omni 1.1 Flash adiciona orientação por referências multimodais para equipes que desejam levar mais contexto visual a cada clipe gerado.
const response = await fetch('https://api.flaq.ai/api/v1/video/task', {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Authorization': 'Bearer YOUR_API_KEY'
},
body: JSON.stringify({
model_name: 'gemini-omni-1.1-flash-reference-to-video',
prompt: 'Use the references to create a cinematic shot of a small boat approaching from the distance',
aspect_ratio: '16:9',
resolution: '1080p',
duration: 8,
images: ['https://example.com/boat-reference.jpg'],
videos: ['https://example.com/motion-reference.mp4']
})
});
const { data } = await response.json();
const taskId = data.task_id;
// Step 2: Poll for results
const taskId = data.task_id;
const pollResult = async (taskId) => {
const res = await fetch(`https://api.flaq.ai/api/v1/video/${taskId}`, {
headers: { 'Authorization': 'Bearer YOUR_API_KEY' }
});
return res.json();
};
while (true) {
const pollResultData = await pollResult(taskId);
const status = pollResultData.data.task_status;
if (status === 'succeed') {
console.log(pollResultData.data.task_result.videos[].);
;
}
(status === ) {
.(pollResultData..);
;
}
( (resolve, ));
}
import requests
response = requests.post(
'https://api.flaq.ai/api/v1/video/task',
headers={
'Content-Type': 'application/json',
'Authorization': 'Bearer YOUR_API_KEY'
},
json={
'model_name': 'gemini-omni-1.1-flash-reference-to-video',
'prompt': 'Use the references to create a cinematic shot of a small boat approaching from the distance',
'aspect_ratio': '16:9',
'resolution': '1080p',
'duration': 8,
'images': ['https://example.com/boat-reference.jpg'],
'videos': ['https://example.com/motion-reference.mp4']
}
)
result = response.json()
task_id = result['data']['task_id']
curl -X POST https://api.flaq.ai/api/v1/video/task \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model_name": "gemini-omni-1.1-flash-reference-to-video",
"prompt": "Use the references to create a cinematic shot of a small boat approaching from the distance",
"aspect_ratio": "16:9",
"resolution": "1080p",
"duration": 8,
"images": ["https://example.com/boat-reference.jpg"],
"videos": ["https://example.com/motion-reference.mp4"]
}'
# Step 2: Poll for results
# Replace {task_id} with the task_id returned from the submit response
curl -X GET "https://api.flaq.ai/api/v1/video/{task_id}" \
-H "Authorization: Bearer YOUR_API_KEY"
# Step 2: Poll for results
task_id = response.json()['data']['task_id']
poll_url = f"https://api.flaq.ai/api/v1/video/{task_id}"
while True:
poll_result = requests.get(poll_url, headers={'Authorization': 'Bearer YOUR_API_KEY'}).json()
status = poll_result['data']['task_status']
if status == 'succeed':
print(poll_result['data']['task_result']['videos'][0]['url'])
break
if status == 'failed':
print(poll_result['data']['task_status_msg'])
break
time.sleep(10)