Команда стартапу Moonvalley, що спеціалізується на генерації відео за допомогою штучного інтелекту і базується в Лос-Анджелесі, не вважає, що можна просто задати команди і створити фільм. Саме тому у вівторок компанія відкрила свою модель «3D-aware» для широкого загалу, обіцяючи «гібридний» підхід, який надає кінорежисерам більше контролю в порівнянні з іншими стандартними моделями тексту в відео.
Moonvalley вперше представила свою модель, названа Marey, в бета-версії в березні, а тепер випустила її в рамках підписки, заснованої на кредитах. Користувачі можуть придбати 100 кредитів за 14,99 долара, 250 кредитів за 34,99 долара, а також 1,000 кредитів за 149,99 долара. Вони можуть генерувати кліпи тривалістю до п’яти секунд, що відповідає стандартам галузі для публічно доступних моделей генерації відео.
Стартап, заснований колишніми дослідниками DeepMind, які працювали над власною моделлю генерації відео Google, стверджує, що Marey є однією з небагатьох моделей, навчена виключно на даних з відкритими ліцензіями. Це добре відповідає потребам клієнтів Moonvalley: кінематографістів, які прагнуть уникнути судових позовів щодо контенту, створеного штучним інтелектом, що може нагадувати матеріали, захищені авторським правом.
Для незалежного кінорежисера Анхеля Мануеля Сото головною перевагою Marey є те, що цей інструмент демократизує доступ до найсучасніших AI-інструментів для розповіді історій, особливо для тих, хто довго відчував себе відірваним від традиційного кінематографу. Зростаючи в Пуерто-Рико, Сото зазначив, що спочатку необхідно було зібрати сотні чи тисячі доларів лише для оренди камер для зйомок фільму.
“У нас вдома потрібно було питати дозволу, щоб розповісти свої історії,” — сказав він. “Штучний інтелект дає вам можливість робити це на власних умовах, не відмовляючи собі в мріях через те, що хтось відмовив у фінансуванні, бо не вірив, що історія з вашої країни може принести прибуток.”
Зараз, за словами Сото, Marey допомогла йому знизити витрати на виробництво на 20-40% та працювати більш вільно.
Сото раніше співпрацював зі студією Moonvalley, Asteria, над документальним серіалом HBO “Menudo: Forever Young.” Asteria, також відома як XTR, була придбана Moonvalley цього року, за словами Хеманта Талекдара, CEO General Catalyst. (GC був великим акціонером Asteria та інвестував більше коштів в об’єднану структуру.)
Гібридний підхід Marey до кінематографії
Генеральний директор Moonvalley і співзасновник Найм Талукдар продемонстрував для TechCrunch, як Marey може використовуватися на етапах перед- та післявиробництва, чи то для тестування сцен перед зйомкою, чи для коригування кута камери після цього, та як вона може контролювати об’єкти, персонажів, рухи та композицію сцени.
Талукдар заявив, що Marey має розуміння фізичного світу, яке може бути використане для більш інтерактивного оповідання, коли технології розвиваються. Зараз таке розуміння — яке мають і інші моделі, такі як Google’s Veo 3 і все ще закрита Sora від OpenAI — дозволяє Marey виконувати такі дії, як імітація руху, дотримуючись законів фізики.
Наприклад, відео бика, що мчить через луки, може бути перетворене на Cadillac, що їде через те ж середовище, з травою та землею, які реагують на рух автомобіля. Або Marey може накласти персонажа, схожого на Джорджа Вашингтона, на актора, переводячи все — від виразів обличчя актора до м’язів його передпліччя, коли він жестикулює.
Особливо унікальною є підтримка Marey для вільного руху камери. Талукдар продемонстрував, як це дозволяє змінювати траєкторію камери за допомогою миші: він інтегрував панорамний і слайд-зуми в відео жінки на потязі в горах, просто пересуваючи курсор. Він також зазначив, що Marey може досягти практично 360-градусного руху камери та виконувати команди, щоб створювати відео, як ніби його знімали з рук або з радісної платформи.
Marey також може змінювати фон відео, що дозволяє кіномейкерам починати з початкових кадрів для створення бажаної сцени. Талукдар показав відео чоловіка, що їде на мотоциклі по заміській дорозі, яке потім трансформувалося в те ж самого чоловіка, без шолома, що їде на дещо іншому мотоциклі по сільській трасі.
Плани Moonvalley на найближчі кілька місяців включають впровадження нових функцій, таких як контроль за освітленням, глибокі траєкторії об’єктів та бібліотеки персонажів, додав Талукдар.
Публічний запуск Marey ставить його в пряму конкуренцію із зростаючим ринком генераторів відео на основі штучного інтелекту — моделей, як-от Runway Gen-3, Luma Dream Machine, Pika та Haiper.
