Prova l'API Google Gemini Omni 1.1 Flash per guidare la generazione video con immagini e brevi video di riferimento, mantenendo coerenti soggetti, scene e movimenti.
L'API Google Gemini Omni 1.1 Flash Reference-to-Video consente agli sviluppatori di usare materiali visivi come guida creativa per i video generati. Fornisci immagini di riferimento, clip video o entrambi, quindi descrivi il risultato che desideri creare. L'API video Gemini aiuta a trasformare questi input in una nuova scena in movimento, offrendo ai team creativi un modo flessibile per definire composizione, indicazioni sui soggetti, atmosfera e direzione su Best Image AI.
Guida di riferimento multimodale: Usa immagini, clip video o una combinazione di entrambe come materiali visivi per una nuova sequenza generata.
Direzione creativa controllata tramite prompt: Abbina i riferimenti a indicazioni in linguaggio naturale per l'azione del soggetto, l'ambientazione, il comportamento della videocamera, l'illuminazione e l'atmosfera.
Ricco contesto visivo: Riunisci indicazioni visive provenienti da più materiali forniti quando un singolo prompt non è sufficiente per comunicare la direzione desiderata.
Creazione di scene guidata da riferimenti: Usa gli asset selezionati come punto di partenza creativo per il movimento, la composizione e lo sviluppo dell'atmosfera nell'output.
Presentazione video flessibile: Scegli un formato orizzontale o verticale, la qualità dell'output e una breve durata della clip per il contesto di visualizzazione previsto.
Flusso di lavoro API scalabile: Integra la generazione video guidata da riferimenti in librerie di asset, strumenti creativi, sistemi per campagne e pipeline di produzione.
Ingresso: Immagini di riferimento facoltative, clip video di riferimento facoltative e un prompt in linguaggio naturale che descrive la scena da generare.
Uscita: Una nuova clip video creata tramite il flusso di lavoro dell'API Gemini Omni 1.1 Flash Reference-to-Video.
Indicazioni per i riferimenti: Seleziona materiali visivi che comunichino i soggetti, l'ambientazione, la composizione o il tono creativo desiderati, quindi aggiungi istruzioni chiare sul movimento.
Controllo del formato: Scegli l'orientamento dell'output, il livello di qualità e la breve durata adatti al caso d'uso finale.
Funzionalità: Generazione video guidata da riferimenti, input creativo multimodale, movimento diretto da prompt, composizione del contesto visivo e creazione di scene cinematografiche.
Sviluppo di concept per campagne: Combina elementi visivi principali approvati, immagini d'atmosfera e riferimenti di movimento per esplorare nuove direzioni per i video delle campagne.
Sistemi creativi per i brand: Usa una libreria visiva curata come guida per generare concept video che partano da un linguaggio creativo definito.
Visualizzazione di storyboard e presentazioni: Trasforma tavole di riferimento e materiali video selezionati in brevi scene animate concise di prova concettuale.
Adattamento dei contenuti: Crea nuove direzioni video da asset visivi esistenti quando un solo prompt testuale non sarebbe sufficiente a comunicare il contesto creativo.
Operazioni creative su larga scala: Integra la generazione sensibile ai riferimenti in strumenti di gestione degli asset, pipeline di contenuti e piattaforme di creazione interne.
Nota I riferimenti forniscono una guida creativa, ma non sostituiscono un prompt preciso. Per risultati ottimali, descrivi l'azione desiderata, il movimento della videocamera e il risultato della scena oltre a fornire i materiali visivi.
Gemini Omni 1.1 Flash vs. flussi di lavoro video di riferimento di Google Veo: Google Veo offre una gamma di funzionalità per i video generati. Gemini Omni 1.1 Flash propone un percorso creativo guidato da riferimenti insieme alla generazione da testo, all'animazione di immagini e all'editing video nella stessa famiglia di modelli.
Gemini Omni 1.1 Flash vs. Runway: Runway offre ai creator molti modi per lavorare con i materiali sorgente e gli strumenti generativi. Gemini Omni 1.1 Flash è adatto agli sviluppatori che creano un flusso di lavoro video guidato da riferimenti tramite un'API.
Gemini Omni 1.1 Flash vs. Kling AI: Kling supporta la creazione di video AI guidata dagli elementi visivi. Gemini Omni 1.1 Flash offre input flessibili di immagini e video di riferimento con indicazioni guidate da prompt per i team che necessitano di un flusso di generazione integrato.
Gemini Omni 1.1 Flash vs. Pika: Pika è apprezzato per una sperimentazione visiva accessibile. Gemini Omni 1.1 Flash è un'opzione pratica quando i riferimenti creativi devono essere parte di un flusso di lavoro video strutturato e programmatico.
Gemini Omni 1.1 Flash vs. Luma Dream Machine: Luma Dream Machine supporta la rapida esplorazione di concept a partire dai prompt. Gemini Omni 1.1 Flash aggiunge una guida di riferimento multimodale per i team che desiderano trasferire più contesto visivo in ogni clip generata.
const response = await fetch('https://api.flaq.ai/api/v1/video/task', {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Authorization': 'Bearer YOUR_API_KEY'
},
body: JSON.stringify({
model_name: 'gemini-omni-1.1-flash-reference-to-video',
prompt: 'Use the references to create a cinematic shot of a small boat approaching from the distance',
aspect_ratio: '16:9',
resolution: '1080p',
duration: 8,
images: ['https://example.com/boat-reference.jpg'],
videos: ['https://example.com/motion-reference.mp4']
})
});
const { data } = await response.json();
const taskId = data.task_id;
// Step 2: Poll for results
const taskId = data.task_id;
const pollResult = async (taskId) => {
const res = await fetch(`https://api.flaq.ai/api/v1/video/${taskId}`, {
headers: { 'Authorization': 'Bearer YOUR_API_KEY' }
});
return res.json();
};
while (true) {
const pollResultData = await pollResult(taskId);
const status = pollResultData.data.task_status;
if (status === 'succeed') {
console.log(pollResultData.data.task_result.videos[].);
;
}
(status === ) {
.(pollResultData..);
;
}
( (resolve, ));
}
import requests
response = requests.post(
'https://api.flaq.ai/api/v1/video/task',
headers={
'Content-Type': 'application/json',
'Authorization': 'Bearer YOUR_API_KEY'
},
json={
'model_name': 'gemini-omni-1.1-flash-reference-to-video',
'prompt': 'Use the references to create a cinematic shot of a small boat approaching from the distance',
'aspect_ratio': '16:9',
'resolution': '1080p',
'duration': 8,
'images': ['https://example.com/boat-reference.jpg'],
'videos': ['https://example.com/motion-reference.mp4']
}
)
result = response.json()
task_id = result['data']['task_id']
curl -X POST https://api.flaq.ai/api/v1/video/task \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model_name": "gemini-omni-1.1-flash-reference-to-video",
"prompt": "Use the references to create a cinematic shot of a small boat approaching from the distance",
"aspect_ratio": "16:9",
"resolution": "1080p",
"duration": 8,
"images": ["https://example.com/boat-reference.jpg"],
"videos": ["https://example.com/motion-reference.mp4"]
}'
# Step 2: Poll for results
# Replace {task_id} with the task_id returned from the submit response
curl -X GET "https://api.flaq.ai/api/v1/video/{task_id}" \
-H "Authorization: Bearer YOUR_API_KEY"
# Step 2: Poll for results
task_id = response.json()['data']['task_id']
poll_url = f"https://api.flaq.ai/api/v1/video/{task_id}"
while True:
poll_result = requests.get(poll_url, headers={'Authorization': 'Bearer YOUR_API_KEY'}).json()
status = poll_result['data']['task_status']
if status == 'succeed':
print(poll_result['data']['task_result']['videos'][0]['url'])
break
if status == 'failed':
print(poll_result['data']['task_status_msg'])
break
time.sleep(10)