Революция от Nvidia? Слежение за глазами в виртуальной реальности

Явление, называемое фовеальным зрением, еще в 15 веке наблюдал Леонардо да Винчи. Nvidia применяет этот трюк в рендеринге виртуальной реальности, и это может значительно улучшить реализм виртуальных миров. Сосредоточив обработку графики на меньшей площади, можно сильно повысить резкость изображения, снизив нагрузку на железо.

На данном видео видно, как работает новая разработка от Nvidia - Eye-Tracking Tech.

Когда игрок с помощью системы Eye-Tracking Tech фокусируется на новом месте сцены, взгляд отслеживается программным обеспечением и перемещает центр рендеринга в эту область. Что бы изображение в VR, не вызывало тошноты необходимо минимум 90 кадров в секунду, а так же четыре миллиона пикселей должно быть обработано почти сто раз в секунду. Но, сосредоточив обработку только на линии взгляда игрока, можно сберечь огромные вычислительные ресурсы. "Прирост производительности слишком велик, дабы это игнорировать" - говорят разработчики из Nvidia.

Но даже при наличии такой возможности, команде от Nvidia нужно потратить много времени перед тем, как наблюдатель не заметит подвоха. Периферийное зрение очень хорошо развито в обнаружении мерцании и изменений даже не в основной точке нашего взгляда.

Точно так же, если периферия становится слишком размыта, она может создать видение туннельного эффекта, как-будто зритель смотрит через бинокль. В процессе решения этой проблемы, исследователи Nvidia обнаружили, что, если увеличить контрастность периферийной сцены, одновременно снизив разрешение, человеческий мозг будет полностью обманут.

В то время как Nvidia не имеет своих готовых решений в ВР, компания надеется, что результаты данных исследований будут использовать крупные производители гарнитур и начнут внедрять глаз-трекеры в своих будущих VR шлемах. "Часть того, что мы здесь делаем, поможет определить правила дорожного движения для VR индустрии в целом" - комментирует сама Nvidia.

Следует заметить, что сама технология не нова. Ее уже применяет в своем ВР шлеме, японская компания FOVE. Однако, в случае с шлемом виртуальной реальности FOVE - слежение за взглядом, являлось лишь средством управления. Nvidia же, предложила возможность значительно снизить затраты на оборудование и одновременно повысить качество ВР контента. Что очень воодушевляет. Ведь на данный момент, собрать подходящую машину для того же Oculus Rift, будет стоить дороже самого шлема.

Технология вряд ли появится за пределами виртуальной реальности - в ноутбуках, например, так как глаз-трекеры становятся гораздо менее эффективными, когда они удаленны от лица пользователя. VR же, где трекер находится в нескольких сантиметрах от глаза, напротив, предлагает идеальное решение. Технология, скорее всего, повлияет на будущие видеокарты компании, предоставляя разработчикам возможность фокусировать вычислительную обработку на конкретных пикселях и перераспределять алгоритмы рендеринга.