Коли Білл Дейлі почав працювати в дослідницькій лабораторії Nvidia у 2009 році, там працювало всього близько десятка людей, а акцент робився на трасуванні променів – методі рендерингу, що використовується в комп’ютерній графіці.
Тепер ця колись невелика лабораторія налічує понад 400 співробітників, які допомогли перетворити Nvidia з стартапу у сфері графічних процесорів у 90-х роках на компанію вартістю 4 трильйони доларів, що сприяє буму штучного інтелекту.
Сьогодні дослідна лабораторія компанії націлена на розробку технологій, необхідних для розвитку робототехніки та штучного інтелекту. Деякі результати роботи лабораторії вже впроваджуються у продукцію. Компанія в понеділок представила нові світові моделі ІІ, бібліотеки та іншу інфраструктуру для розробників робототехніки.
Дейлі, який зараз є головним науковцем Nvidia, почав консультувати компанію в 2003 році, працюючи у Стенфорді. Коли він вирішив піти з посади завідувача кафедри комп’ютерних наук, планував взяти відпустку. Але в Nvidia це сприйняли інакше.
“Це виявилося чудовою можливістю для моїх інтересів і здібностей,” – сказав Дейлі. “Я думаю, що кожен шукає можливість, де він може найбільше вплинути на світ. Для мене, це безсумнівно, Nvidia.”
Коли Дейлі взяв на себе керівництво лабораторією у 2009 році, головним завданням була експансія. Дослідники одразу почали працювати в нових напрямах, таких як проєктування схем та VLSI (дуже велике інтегрування), що дозволяє об’єднувати мільйони транзисторів на одному чіпі.
Лабораторія продовжує розвиватися і досі.
“Ми намагаємося зрозуміти, що принесе найбільшу користь компанії, адже постійно виникають нові захоплюючі сфери, хоча деякі з них можуть мати неоднозначні перспективи,” – зазначив Дейлі.
Протягом певного часу основною метою було створення кращих графічних процесорів для штучного інтелекту. Nvidia стала однією з перших компаній, що вже у 2010 році окреслила свої наміри в галузі ІІ, за більш ніж десятиліття до нинішнього буму.
“Ми усвідомили, що це надзвичайно важливо і що це змінить світ,” – сказав Дейлі. “Ми маємо активніше інвестувати в це, і Дженсен це зрозумів. Ми почали спеціалізувати наші графічні процесори для цього та розробляти програмне забезпечення, залучаючи дослідників з усього світу, задовго до того, як це стало очевидно.”
Фокус на фізичному ІІ
Тепер, коли Nvidia займає провідні позиції на ринку ІІ графічних процесорів, компанія почала шукати нові сфери попиту, виходячи за межі центрів обробки даних. Ця пошукова діяльність привела Nvidia до фізичного ІІ та робототехніки.
“Я думаю, що в майбутньому роботи можуть стати величезним гравцем на світовій арені, і ми прагнемо бути постачальниками «мозку» для всіх роботів,” – зазначив Дейлі. “Для цього потрібно почати розробляти ключові технології.”
На допомогу прийшла Саня Фідлер, віце-президентка з досліджень ІІ в Nvidia. Вона приєдналася до дослідницької лабораторії в 2018 році, маючи вже досвід роботи над моделями симуляцій для роботів з командою студентів з MIT. Під час розмови з Юаном, вона привернула його увагу до того, над чим працює.
“Я просто не змогла відмовитися від цієї можливості,” – сказала Фідлер в інтерв’ю. “Це була чудова тема, яка чудово вписалася в культуру компанії. Дженсен сказав мені: працюй зі мною, а не з нами або для нас.”
Фідлер приєдналася до Nvidia та почала роботу над створенням дослідницької лабораторії в Торонто під назвою Omniverse, яка була орієнтована на створення симуляцій для фізичного ІІ.
Першим викликом у створенні цих симульованих світів стало знаходження необхідних 3D-даних, як зазначила Фідлер. Це включало в себе визначення потрібної кількості зображень та розробку технологій, необхідних для перетворення цих зображень на 3D-версії для використання в симуляторах.
“Ми інвестували в технології, відомі як диференційне рендеринг, що в основному робить рендеринг зрозумілим для ІІ,” – зазначила Фідлер. “Ми хочемо, щоб рендеринг міг працювати в зворотному напрямку.”
Світові моделі
Omniverse випустив першу версію своєї моделі, яка перетворює зображення на 3D-моделі, GANverse3D, у 2021 році. Потім вони розпочали роботу над аналогічним процесом для відео. Фідлер додала, що для створення 3D-моделей та симуляцій використовували відео з роботів і самокерованих автомобілів через їхню Neural Reconstruction Engine, про яку компанія оголосила вперше в 2022 році.
Вона також зазначила, що ці технології стали основою сімейства світових AI-моделей Cosmos, які були представлені на CES у січні.
Тепер лабораторія орієнтується на прискорення цих моделями. Під час гри в комп’ютерні ігри або симуляції, важливо, щоб технології реагували в реальному часі, а в роботах компанія працює над ще швидшою реакцією.
“Робот не повинен спостерігати за світом так, як він функціонує,” – зазначила Фідлер. “Він може спостерігати в 100 разів швидше. Якщо ми зможемо зробити цю модель значно швидшою, вона буде неймовірно корисною для робототехніки та фізичного ІІ.”
Компанія продовжує досягати успіхів у цьому напрямку. Nvidia оголосила на конференції SIGGRAPH про новий ряд світових AI-моделей, призначених для створення синтетичних даних для навчання роботів. Компанія також представила нові бібліотеки та програмне забезпечення для розробників у сфері робототехніки.
Попри досягнуті результати та захоплення роботами, особливо гуманоїдами, команда Nvidia залишається реалістичною.
Дейлі та Фідлер зазначили, що галузь все ще знаходиться щонайменше в кількох роках від можливості мати гуманоїда вдома, порівнюючи це з нездійсненними обіцянками щодо автономних автомобілів.
“Ми робимо величезний прогрес, і я думаю, що ІІ дійсно став фактором, який цьому сприяв,” – сказав Дейлі. “Починаючи з візуального ІІ для сприйняття роботів, і потім генеративний ІІ, це виявилося неймовірно цінним для планування завдань і маніпуляцій. Коли ми вирішимо кожну з цих окремих питань, і кількість даних для навчання наших мереж зросте, роботи також зможуть розвиватися.”
