Цей крок уперед дає трохи спільного контексту колезі, який стежить за розвитком розумних окулярів.
ШІ навчився передбачати погляд людини Хід історії та ключові факти
Дослідники з Georgia Tech разом з інженерами Meta розробили новий 3D-алгоритм, здатний передбачати напрямок погляду людини в реальному середовищі. На відміну від попередніх 2D-моделей, ця система аналізує поведінку у тривимірному просторі, використовуючи відео від першої особи та 3D-реконструкцію навколишнього середовища. Це дозволяє точніше моделювати, куди людина подивиться далі, з урахуванням її цілей і рухів.
Алгоритм базується на даних з набору Aria Digital Twin, який містить тисячі годин відео від першої особи в поєднанні з детальною 3D-мапою приміщень. Це дає змогу точно відстежувати, куди спрямований погляд, і зіставляти його з об’єктами в просторі. У тестах система стабільно передбачала напрямок уваги на 3 секунди наперед, а в окремих випадках — до 10 секунд.
Технологія має практичне застосування для AR-окулярів: вона дозволяє пристроям заздалегідь відтворювати віртуальні елементи інтерфейсу там, куди користувач тільки збирається подивитися, усуваючи затримки. У майбутньому розробники планують додати контекстне розуміння сцен, щоб покращити точність. Потенціал системи також бачать у робототехніці — для навчання роботів людській увазі та поведінці в побутових і виробничих середовищах.
Факти
- Фіона Раян з Georgia Tech розробила перший 3D-алгоритм для прогнозування траєкторії погляду людини.
- Технологія використовує дані з набору Aria Digital Twin від Meta, що містить відео від першої особи та 3D-реконструкцію приміщень.
- Система передбачає напрямок погляду на 3 секунди наперед, а в простих сценаріях — до 10 секунд.
- Алгоритм дозволяє AR-окулярам заздалегідь відтворювати віртуальні елементи інтерфейсу, усуваючи затримки.
- Технологія має потенціал у робототехніці для навчання роботів людській увазі.
Візуальне пояснення новин від Canto. Інструменти AI можуть допомагати у виробництві. Редакційна політика
