Загрузка...

Google/gemini-omni-1.1-flash-reference-to-video

Попробуйте API Google Gemini Omni 1.1 Flash для генерации видео по изображениям и коротким видеореференсам, сохраняя согласованность объектов, сцен и движения.

reference-to-video

Связанные модели Gemini Omni 1.1 Flash

gemini-omni-1.1-flash-text-to-videotext-to-video

gemini-omni-1.1-flash-image-to-videoimage-to-video

gemini-omni-1.1-flash-video-editvideo-edit

gemini-omni-1.1-flash-reference-to-videoreference-to-video

Документация

Попробуйте AI генератор видео сейчас

README

Gemini Omni 1.1 Flash Reference-to-Video API для управляемого создания видео

Google Gemini Omni 1.1 Flash Reference-to-Video API позволяет разработчикам использовать визуальные материалы как творческие ориентиры для генерируемого видео. Добавьте референсные изображения, видеоклипы или и то и другое, а затем опишите желаемый результат. Gemini Video API помогает превратить эти входные данные в новую движущуюся сцену, предоставляя творческим командам гибкий способ задавать композицию, объекты, атмосферу и направление на Best Image AI.

Gemini Omni 1.1 Flash и Google Veo Reference Video Workflows: Google Veo предоставляет широкий набор возможностей для сгенерированного видео. Gemini Omni 1.1 Flash предлагает создание на основе референсов наряду с генерацией по тексту, анимацией изображений и редактированием видео в одном семействе моделей.
Gemini Omni 1.1 Flash и Runway: Runway предоставляет авторам множество способов работать с исходным материалом и генеративными инструментами. Gemini Omni 1.1 Flash подходит разработчикам, создающим управляемый референсами процесс работы с видео через API.
Gemini Omni 1.1 Flash и Kling AI: Kling поддерживает создание видео с помощью ИИ на основе визуальных материалов. Gemini Omni 1.1 Flash предлагает гибкий ввод референсных изображений и видео с управлением через промпт для команд, которым нужен интегрированный процесс генерации.
Gemini Omni 1.1 Flash и Pika: Pika популярен благодаря доступным визуальным экспериментам. Gemini Omni 1.1 Flash — практичный вариант, когда творческие референсы должны стать частью структурированного программного процесса работы с видео.
Gemini Omni 1.1 Flash и Luma Dream Machine: Luma Dream Machine поддерживает быстрое исследование концепций по промптам. Gemini Omni 1.1 Flash добавляет мультимодальное управление по референсам для команд, которые хотят перенести больше визуального контекста в каждый сгенерированный клип.

Примеры API

Пример отправки

const response = await fetch('https://api.flaq.ai/api/v1/video/task', {
  method: 'POST',
  headers: {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer YOUR_API_KEY'
  },
  body: JSON.stringify({
    model_name: 'gemini-omni-1.1-flash-reference-to-video',
    prompt: 'Use the references to create a cinematic shot of a small boat approaching from the distance',
    aspect_ratio: '16:9',
    resolution: '1080p',
    duration: 8,
    images: ['https://example.com/boat-reference.jpg'],
    videos: ['https://example.com/motion-reference.mp4']
  })
});

const { data } = await response.json();
const taskId = data.task_id;

Пример опроса

// Step 2: Poll for results
const taskId = data.task_id;

const pollResult = async (taskId) => {
  const res = await fetch(`https://api.flaq.ai/api/v1/video/${taskId}`, {
    headers: { 'Authorization': 'Bearer YOUR_API_KEY' }
  });
  return res.json();
};

while (true) {
  const pollResultData = await pollResult(taskId);
  const status = pollResultData.data.task_status;

  if (status === 'succeed') {
    console.log(pollResultData.data.task_result.videos[].);
    ;
  }

   (status === ) {
    .(pollResultData..);
    ;
  }

    ( (resolve, ));
}

Пример отправки

import requests

response = requests.post(
    'https://api.flaq.ai/api/v1/video/task',
    headers={
        'Content-Type': 'application/json',
        'Authorization': 'Bearer YOUR_API_KEY'
    },
    json={
        'model_name': 'gemini-omni-1.1-flash-reference-to-video',
        'prompt': 'Use the references to create a cinematic shot of a small boat approaching from the distance',
        'aspect_ratio': '16:9',
        'resolution': '1080p',
        'duration': 8,
        'images': ['https://example.com/boat-reference.jpg'],
        'videos': ['https://example.com/motion-reference.mp4']
    }
)

result = response.json()
task_id = result['data']['task_id']

Пример опроса

Пример отправки

curl -X POST https://api.flaq.ai/api/v1/video/task \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model_name": "gemini-omni-1.1-flash-reference-to-video",
    "prompt": "Use the references to create a cinematic shot of a small boat approaching from the distance",
    "aspect_ratio": "16:9",
    "resolution": "1080p",
    "duration": 8,
    "images": ["https://example.com/boat-reference.jpg"],
    "videos": ["https://example.com/motion-reference.mp4"]
  }'

Пример опроса

# Step 2: Poll for results
# Replace {task_id} with the task_id returned from the submit response
curl -X GET "https://api.flaq.ai/api/v1/video/{task_id}" \
  -H "Authorization: Bearer YOUR_API_KEY"

# Step 2: Poll for results
task_id = response.json()['data']['task_id']
poll_url = f"https://api.flaq.ai/api/v1/video/{task_id}"

while True:
    poll_result = requests.get(poll_url, headers={'Authorization': 'Bearer YOUR_API_KEY'}).json()
    status = poll_result['data']['task_status']
    if status == 'succeed':
        print(poll_result['data']['task_result']['videos'][0]['url'])
        break
    if status == 'failed':
        print(poll_result['data']['task_status_msg'])
        break
    time.sleep(10)

Связанные модели Gemini Omni 1.1 Flash

Gemini Omni 1.1 Flash Reference-to-Video API для управляемого создания видео

Ключевые возможности Gemini Omni 1.1 Flash Reference-to-Video API

Как использовать Gemini Omni 1.1 Flash Reference-to-Video API на Best Image AI

Лучшие сценарии интеграции Gemini Omni 1.1 Flash Reference-to-Video API

Gemini Omni 1.1 Flash Reference-to-Video и конкуренты: сравнительный анализ

Примеры API

Пример отправки

Пример опроса

Пример отправки

Пример опроса

Пример отправки

Пример опроса

Больше статей о Gemini Omni 1.1 Flash Reference to Video