Luma AI Dream Machine – генератор видео на основе ИИ




Luma AI Dream Machine – генератор видео на основе ИИ

Luma представила сервис генерации видео Luma AI «Машина мечты» (Dream Machine), причем сервис на данный момент бесплатный для всех желающих. Пока доступны 5 генераций в день, всего бесплатно предлагаются 30 попыток в месяц. Особенностью сервиса является создание видео на основе текстового запроса, а также на основе загруженного изображения.


Luma AI – генератор видео на основе ИИ

На данный момент Dream Machine генерирует 5-секундные видео с возможностью их продления и, как утверждает компания, воссоздает движения камеры, “как кинематографические, так и натуралистичные”. Компания также подчёркивает физически точные, последовательные и насыщенные событиями кадры.

Я иногда скучаю по красивым съёмкам с квадрокоптера, которого у меня больше нет, да и по теперешним временам он бесполезен. Поэтому первым делом я попросил нейросеть создать для меня что-нибудь красивое, связанное с полётами над сельскими пейзажами.

Программа обрабатывала мой тестовый запрос 5 минут. Запрос звучал так:

Полёт на дроне над деревенским полем, на котором стоит одинокий православный храм из белого камня с золотыми куполами. Купола светятся на ярком солнце. Когда храм уходит из кадра, в лучах заходящего солнца появляются бескрайние поля, луга, река и лес. Дрон поднимается высоко к облакам, после чего опускается на землю.


Результат работы программы, скриншот

Разумеется, в роликах, созданных из бесплатного аккаунта, программа ставит свой логотип LUMA в правый верхний угол; этот логотип, однако, не сильно мешает, на белых облаках его почти и не видо. Имеется кнопка “Extend”, при нажатии на которую программа создаёт новый ролик, который является продолжением предыдущего, то есть того, под которым и была нажата эта кнопка. Таким образом, мы получаем уже новый, 10-секундный ролик. В теории, именно так и создаются полнометражные фильмы :)

Параметры ролика:

  • MPEG Movie
  • MP4/MOV H.264 4:2:0
  • File Size: 3,13 MB
  • Image Size: 1360 x 752
  • Frame Rate: 24,00
  • Total Duration: 00:00:10:06
  • Color Space: Rec. 709

Единственная настройка, которая пока доступна в Luma AI, называется «расширенная подсказка», по словам разработчиков Dream Machine, она предоставляет модели больше творческой свободы. Программа все ещё находится на стадии исследования и бета-тестирования, поэтому у неё есть некоторые ограничения, например, нельзя работать с текстом поверх видеоряда, нельзя изменить соотношение сторон.


При работе над этой заметкой вспомнился диалог с моим другом фотографом Сашей Казакевичем. Дело было в начале 2024 года, когда мы с коллегами задумали снять музыкальный клип и искали для съёмок детей: мальчик и девочка 7-8 лет должны были рисовать домик цветными карандашами на белой бумаге. Когда я поделился с Сашей моей идеей, он заявил, что сегодня, наверное, проще попросить нейросеть создать подобный сюжет, чем найти реальных актёров, арендовать студию, выставить свет, перепетировать и снять задуманное. Тем не менее, мы без всяких нейросетей справились на все 100%, реализовав задуманное при помощи замечательных юных актёров.

Сервис “Dream Machine” позволяет авторизоваться при помощи аккаунта Google, что удобно. Видео, созданное при помощи бесплатного плана Dream Machine, нельзя использовать в коммерческих целях, этого ограничение снимается в платных версиях.

Предлагаем всем желающих попробовать программу самостоятельно и поделиться впечатлениями в комментариях.

* * *

P.S. Саша Казакевич предложил попросить LUMA создать видео на основе запроса "Мальчик в белой рубашке и девочка со светлыми длинными волосами в белом платье лежат на белом полу и рисуют цветными карандашами на белой бумаге игрушечный домик, солнце и деревья". По результатам могу сказать, что у видеооператоров пока работа есть. И это хорошо.


Результат работы LUMA AI по второму запросу... Да уж