Видеошлем с чипом дополненной реальности

Исследователи из Корейского ведущего научно-технического института (KAIST) под руководством профессора Хой-Юн Ю создали чип дополненной реальности, работающий по принципу человеческого зрения и интегрированный в конструкцию видеошлема.

Устройство K-Glass ¬– первое в мире решение, основанное на так называемой модели зрительного внимания (VAM), копирующей способность человеческого мозга обрабатывать визуальные данные. Модель VAM в автоматическом режиме собирает самую важную информацию из среды, с которой работает человеческое зрение, отбрасывая ненужные детали до тех пор, пока на них не упадёт внимание. Благодаря этому процессор может значительно ускорить обработку сложных алгоритмов дополненной реальности.

Дополненная реальность – термин, который говорит сам за себя. Это система, дополняющая визуальные данные пользователя сгенерированной компьютером информацией вместо имитации окружающий среды, как это реализуется в системах виртуальной реальности. Информация с датчиков (звук, видео, графика, данные GPS) дополняет физический мир пользователя интерактивными возможностями. Процесс дополнения работает в реальном времени в зависимости от семантического контекста окружающей обстановки.

В общих чертах, возможности компьютера по геолокации и машинному зрению используются для генерирования эффектов дополненной реальности. Службы геолокации активируют датчики движения для точного определения окружения пользователя, в то время как машинное зрение при помощи алгоритмов распознавания лиц, шаблонов, различных объектов и их движения позволяет различать визуальную информацию. Система дополненной реальности отслеживает коды и маркеры для идентификации объектов. Затем данные совмещаются и помещаются в среду виртуальной реальности. Такой алгоритм сложно использовать для объектов и пространств без штрих-кодов, QR-кодов либо маркеров.

Новый чип дополненной реальности снабжён сетью обработки данных, имитирующей центральную нервную систему головного мозга человека. Когда человеческий мозг получает визуальные данные, различные группы взаимосвязанных нейронов работают совместно над частями процесса принятия решения. Одна группа обращается к другой по мере работы над процессом. Так происходит до тех пор, пока специальный решающий набор не распознает характер поступающих данных. Подобно этому работает и искусственная нейросеть с параллельной обработкой данных, облегчающая распознавание данных и значительно сокращающая энергопотребление.

Чип дополненной реальности, выполненный по 65-нм техпроцессу и имеющий площадь 32 кв. мм., обеспечивает пиковой производительностью 1.22 TOPS (где 1 TeraOPS = 10¹² операций в сек.) при работе на частоте 250 МГц. Энергопотребление чипа составляет 778 мВт при напряжении 1.2 В. Процессор достигает эффективности энергопотребления 1.57 TOPS/Вт при работе видеокамеры с частотой 30 кадров/сек и разрешением 720p. Достигается улучшение энергопотребления на 76% по сравнению с другими подобными чипами.

Видеошлемы, доступные на рынке (включая Project Glass), имеют слабую батарею, обеспечивающую лишь 2 часами непрерывной работы. «Наш процессор может работать очень долго без ухудшения рабочих характеристик шлема K-Glass. Это идеальный мобильный гаджет, который пользователи смогут носить практически весь день», – отмечает профессор Хой-Юн Ю.

Также профессор отмечает: «Видеошлемы вскоре займут место смартфонов. Это лишь вопрос времени. Такие устройства войдут в обычный обиход людей. Благодаря видеошлемам или очкам с дополненной реальностью мы получим более богатую, глубокую и насыщенную реальность во всех аспектах её проявления: от образования, бизнеса, развлечений до искусства и культуры».

Команда института KAIST представила исследовательскую работу на конференции Solid-State Circuits Conference (ISSCC) 2014, прошедшей в Сан-Франциско. Название работы: «Многоядерный процессор дополненной реальности с производительностью 1.22 TOPS, эффективностью 1.52 мВт/МГц и чипом дополненной реальности для систем видеошлемов».