Сьогодні існує безліч інструментів на основі штучного інтелекту, які можуть переглядати відео та підсумовувати, що в них відбувається, але ситуація ускладнюється, коли потрібно поставити запитання про кілька відео та матеріали тривалістю в кілька годин.
Це велика проблема для компаній з безпеки, які хочуть використовувати штучний інтелект для перегляду тисяч годин відео з різних камер, а також для маркетингових компаній, що прагнуть вивчити різні відеокампанії та зйомки продуктів.
Платформа Memories.ai намагається вирішити цю проблему, пропонуючи можливість обробляти до 10 мільйонів годин відео. Для компаній, які мають багато відеоданих для аналізу, стартап пропонує контекстуальний шар з можливістю пошуку, маркування, сегментації та агрегації.
Співзасновник компанії, доктор Шон Шен, раніше працював науковим співробітником у Reality Labs Meta під час здобуття докторського ступеня, а його колега Енмін (Бен) Чжоу також працював в Meta як інженер машинного навчання.
“Усі провідні компанії в сфері штучного інтелекту, такі як Google, OpenAI та Meta, сфокусовані на розробці кінцевих моделей. Ці можливості є корисними, але часто вони мають обмеження у розумінні контексту відео, що триває більше ніж одну-дві години,” — зазначив Шен.
“Коли ж люди користуються візуальною пам’яттю, вони переглядають великий обсяг даних. Це надихнуло нас створити рішення, яке краще розуміє відео, що охоплює багато годин,” — додав він.
Зараз компанія залучила 8 мільйонів доларів у рамках стартового фінансування, яке очолило Susa Ventures за участю Samsung Next, Fusion Fund, Crane Ventures, Seedcamp та Creator Ventures. Шен зазначив, що спочатку компанія планувала зібрати 4 мільйони доларів, але в результаті отримала перевищення запиту через інтерес інвесторів.
“Шен є надзвичайно технічним засновником, який поставив собі за мету розширити межі розуміння відео та інтелекту,” — сказав Міша Гордон-Роу, партнер Susa Ventures. “Рішення Memories.ai здатне відкрити величезну безліч перших візуальних даних, що привернуло нашу увагу до інвестицій у компанію,” — додав він.
Samsung Next має трохи інше бачення: інвестиційний підрозділ Samsung вважає, що рішення Memories.ai буде корисним для споживачів.
“Однією з речей, які нас зацікавили в Memories.ai, є можливість виконувати багато обчислень на пристрої. Це означає, що не потрібно зберігати відеодані в хмарі. Це може покращити безпеку для людей, які не хочуть встановлювати камери спостереження в своїх будинках через побоювання за приватність,” — зазначив Сем Кемпбелл, партнер Samsung Next.
Компанія Memories.ai стверджує, що використовує власний технологічний стек і моделі для виконання аналізу. Спочатку вона усуває шуми з відео та пропускає вихідні дані через шар стиснення, щоб зберігати лише важливу інформацію. Потім є шар індексації, який робить відеодані доступними для пошуку (з використанням запитів природною мовою) з сегментацією та маркуванням. Також є шар агрегації, який підсумовує дані з індексу, допомагаючи створювати звіти.
Наразі стартап обслуговує дві категорії компаній: маркетингові та охоронні. Маркетингові компанії можуть використовувати інструменти стартапу для вивчення трендів, пов’язаних з їхніми брендами в соціальних мережах, та визначення, які відеоматеріали вони хочуть створювати. Memories.ai також надає інструменти для створення цих відео.
Компанія також співпрацює з охоронними структурами, щоб допомогти їм аналізувати відеозаписи з метою виявлення потенційно небезпечних дій людей, що відображаються на відео, за допомогою аналізу схем.
Наразі компанії, що працюють з Memories.ai, повинні завантажити свою відеотеку на платформу для аналізу фрагментів. Проте Шен зазначив, що в майбутньому його клієнти зможуть створювати спільний диск і синхронізувати контент легше. Планується забезпечити можливість ставити запитання на кшталт: “Розкажіть мені про людей, яких я інтерв’ював за минулий тиждень.”
Шен уявляє собі штучного інтелекта-асистента, який може отримати контекст з життя користувача через його фотографії або коли він активує смарт-окуляри. Він також вбачає технологію в ролі тренування гуманоїдних роботів для виконання складних завдань або допомоги автономним автомобілям запам’ятовувати різні маршрути.
В даний час компанія налічує 15 співробітників та планує використовувати ці кошти для розширення команди та покращення пошукових можливостей.
Memories.ai змагається з подібними стартапами, такими як mem0 та Letta, які працюють над створенням шару пам’яті для моделей штучного інтелекту, хоча наразі їх підтримка відео обмежена. Як конкуренти, вони також стикаються з компаніями, такими як TwelveLabs та Google, що розробляють способи допомогти моделям AI розуміти відео.
Однак Шен вважає, що рішення його компанії є більш універсальним, що дозволить їй працювати з різними моделями відео.
