Как VR понимает движения рук: трекинг простыми словами

Надеваешь шлем, поднимаешь ладонь перед лицом — и внутри игры она есть, со всеми пальцами, повторяет каждое движение. Хватаешь виртуальный меч, показываешь большой палец, ловишь мяч. Откуда шлем знает, где сейчас твоя кисть и как согнут каждый палец, если на руках у тебя либо джойстики, либо вообще ничего? Внутри работает связка из камер, датчиков и математики, которая по десять раз в секунду перерисовывает виртуальную копию твоей руки. Ниже по-человечески разберём, как это устроено, чем контроллеры отличаются от голых ладоней, почему пальцы иногда дёргаются и откуда вообще выросла эта технология.

Каждую неделю разбираем виртуальную реальность без воды: как устроены форматы, что выбрать ребёнку и компании, куда идёт индустрия. Подпишись на телеграм и соцсети парка «НЕРЕАЛЬНОСТЬ» — там короткие разборы, живые кадры с площадки и анонсы.

Как шлем вообще замечает твои руки?

Вкратце: способов два. Либо ты держишь контроллеры, и шлем следит за ними, либо шлем смотрит на твои голые ладони камерами и достраивает их по картинке. Первый вариант точнее и с отдачей в руку, второй свободнее, но капризнее к свету и ракурсу.

Задача у системы одна: в любой момент времени знать, где в пространстве находятся твои кисти и как согнуты пальцы. Решают её двумя принципиально разными путями.

Дальше пройдём по каждому пути: сначала как устроена сама виртуальная «рука», которую рисует система, потом что творится внутри контроллера, потом как шлем обходится вообще без него. К слову, за то, где в пространстве твоя голова и куда ты смотришь, отвечает отдельная начинка — её мы разбирали в тексте про то, как устроен VR-шлем.

Что такое скелетная модель кисти?

Вкратце: система не «фотографирует» руку, а строит её виртуальный скелет — набор точек-суставов, у каждой своя позиция и угол поворота. Хватает около двух с половиной десятков таких точек, чтобы повторить любой жест, от кулака до оттопыренного мизинца.

Компьютер не понимает «рука» как картинку. Он оперирует скелетом: цепочкой суставов от запястья к кончикам пальцев. У каждого сустава программа хранит две вещи — где он в пространстве и под каким углом повёрнут относительно соседнего. Соедини все точки, натяни на них поверхность ладони, и получишь ту самую виртуальную кисть, которая двигается синхронно с твоей.

Сколько точек нужно? Разработчикам Meta* для веб-приложений система отдаёт позы 25 суставов на каждую руку. Apple в своём шлеме Vision Pro считает 27 суставов — от запястья через все костяшки до кончика каждого пальца. Специалисты описывают полную позу кисти и пальцев примерно 26 степенями свободы: это число независимых движений, которые надо задать, чтобы рука встала ровно так, как в реальности.

Работает это по шагам:

1. Датчики или камеры дают сырые данные о положении руки.
2. Программа прикидывает, где сейчас каждый сустав, и подгоняет скелет под данные.
3. На скелет натягивается 3D-модель ладони — её ты и видишь в игре.
4. Всё это пересчитывается десятки раз в секунду, чтобы движение было плавным.

Именно поэтому виртуальная рука способна показать точный жест, а не просто «болтается кистью». Система знает не факт «рука поднята», а полную геометрию: какой палец согнут, какой торчит, как развёрнута ладонь.

Что спрятано внутри контроллера?

Вкратце: в контроллере живут три вещи — датчик движения, инфракрасная подсветка и сенсоры под кнопками. Датчик чувствует наклоны и рывки, подсветку видит камера шлема и вычисляет положение в пространстве, а сенсоры под кнопками понимают, каким пальцем ты их касаешься.

Контроллер выглядит как простой джойстик, но начинки в нём хватает. Разберём по частям.

Первое — инерциальный датчик, тот же принцип, что в смартфоне. Внутри трёхосевой акселерометр ловит ускорения и гироскоп ловит повороты. Он мгновенно чувствует, что ты дёрнул рукой или наклонил джойстик. Одна беда: сам по себе такой датчик не знает, где он в комнате. Чтобы вычислить положение из ускорений, их надо дважды сложить по времени, а любая мелкая ошибка при этом копится и «уплывает». Поэтому одного датчика движения мало.

Второе — инфракрасная подсветка. Под пластиком контроллера спрятан узор из светодиодов, которые светят в невидимом глазу инфракрасном диапазоне. Камеры на шлеме видят этот узор и, зная его форму, точно вычисляют, где и как повёрнут контроллер. Раньше для этого по углам комнаты ставили отдельные камеры-сенсоры, которые слали кадры на компьютер около 60 раз в секунду. Сегодня всё чаще камеры встроены в сам шлем и смотрят наружу.

Третье — сенсоры под кнопками. Кнопки и курок умеют чувствовать касание, ещё до нажатия. Такой ёмкостный датчик понимает: указательный палец лёг на курок, большой на кнопку. По этим касаниям система достраивает позу пальцев, даже если ты ничего не жмёшь. Поэтому в игре ты можешь показать пальцем или сжать кулак, просто сняв палец с кнопки.

Дальше всё это соединяется: подсветка даёт точное положение в пространстве, датчик движения сглаживает быстрые рывки и подстраховывает в момент, когда камера контроллер на долю секунды потеряла, а сенсоры кнопок дорисовывают пальцы. Связка двух методов работает надёжнее любого поодиночке.

Хочешь просто взять контроллер и играть, не собирая ничего дома? В этом и смысл VR-парка: оборудование уже настроено, откалибровано и работает на большой площадке. В парке «НЕРЕАЛЬНОСТЬ» в Казани (ТЦ XL) ты берёшь профессиональные контроллеры с отдачей в руку и сразу заходишь в игру, а не тратишь вечер на настройку камер.

Как шлем видит голые руки без всего?

Вкратце: камеры шлема снимают твои ладони, а программа с нейросетью по этой картинке достраивает скелет кисти. Держать ничего не надо: тыкаешь пальцем в меню, щипком выбираешь кнопку, показываешь жесты. Точность ниже, чем с контроллером, зато руки свободны.

Здесь в руках у тебя ничего нет. Работают те же камеры на шлеме, что следят за пространством вокруг. Они снимают твои ладони с близкого ракурса, а обученная на миллионах примеров программа по картинке восстанавливает, где каждый сустав. Никакой подсветки и датчиков — только изображение и математика.

Массовым этот трюк стал в декабре 2019 года: тогда в шлеме Oculus Quest вышла экспериментальная функция трекинга рук, и владельцы впервые смогли листать меню и браузер вообще без контроллеров. С тех пор голые руки научились большему. В начале 2023 года появилось «прямое касание» — интерфейс можно листать, тыкая в него пальцем напрямую, как в сенсорный экран.

Отдельный узнаваемый жест — щипок. В шлеме Apple Vision Pro, вышедшем в 2024 году, взгляд выбирает элемент, а лёгкое касание большого и указательного пальцев работает как клик мышкой. Руку при этом можно держать расслабленно на колене: камеры всё равно видят пальцы. Такое управление ближе к тому, как человек и так тычет в вещи в жизни, поэтому новичок осваивает его за минуту.

Почему руки в VR иногда дёргаются и пропадают?

Вкратце: главный враг голого трекинга — когда камера не видит пальцы. Стоит одной руке закрыть другую или спрятать пальцы за ладонь, и система теряет их и начинает додумывать. Плюс важен свет и скорость: в темноте и на резком движении руки отстают и дёргаются.

У трекинга голыми руками есть слабое место, знакомое каждому, кто пробовал. Камера сидит у тебя на лбу и смотрит вниз на кисти. В момент, когда ты что-то берёшь или соединяешь ладони, тыльная сторона руки закрывает пальцы от камеры. Программа перестаёт их видеть и начинает угадывать позу — отсюда дёрганье и «желейные» пальцы. Если одна рука перекрывает другую, система может потерять сразу обе.

Мешают и другие вещи:

• Свет. В полумраке или при контровом свете камера хуже различает контур ладони.
• Скорость. На резком взмахе картинка смазывается, и рука на миг отстаёт от реальной.
• Задержка. Исторически руки реагировали заметно медленнее контроллеров, и это ломало ощущение.

С задержкой инженеры активно борются. В обновлении трекинга рук версии 2.2, вышедшем летом 2023 года, разработчики Meta* заявили, что срезали задержку до 40 процентов в обычном использовании и до 75 процентов на быстрых движениях, приблизив отзывчивость голых рук к контроллерам. Прогресс есть, но полностью проблему окклюзии, то есть перекрытия пальцев, камера на голове пока не снимает. Поэтому там, где нужна ювелирная точность, контроллер по-прежнему надёжнее.

Перчатки: с чего всё начиналось?

Вкратце: идея завести руку в компьютер старше самих VR-шлемов. Ещё в конце восьмидесятых сделали перчатку с датчиками сгиба на пальцах, потом её дешёвую версию продавали к приставке. Голые руки и контроллеры выросли именно из этих первых перчаток.

Сегодня руку ловят камеры, но начиналось всё иначе — с сенсорной перчатки. В 1982 году инженер Томас Циммерман запатентовал перчатку с оптическим датчиком сгиба: когда палец сгибался, датчик замерял угол. В 1983 году вместе с Джароном Ланье он основал компанию VPL, и их изделие DataGlove замеряло сгиб пальцев и положение руки в пространстве. Перчатку хотели все — от Apple до NASA.

Дальше история сделала неожиданный поворот в сторону массового рынка:

Power Glove для приставки был попыткой продать высокую технологию за копейки: из перчатки убрали почти всю точность DataGlove, чтобы уложиться в цену игрушки. Играть в ней было почти невозможно, зато она стала символом эпохи. А в 2013 году появился Leap Motion — маленькая коробочка с двумя инфракрасными камерами и тремя подсветками, которая клалась на стол и ловила руки над собой. В аккуратных условиях её точность доходила до долей миллиметра. По сути, это был предок того самого трекинга голыми руками, который сегодня встроен прямо в шлем.

Современные сенсорные перчатки с обратной связью тоже существуют, но остаются нишевым профессиональным инструментом. Для игрока путь оказался другим: контроллер в руку или камера на шлеме.

Чего лишаешься без контроллеров?

Вкратце: главное, что теряют голые руки, — это отдача. Когда «трогаешь» виртуальный предмет пустой ладонью, ты не чувствуешь ничего. Контроллер же откликается вибрацией, и мозг охотнее верит, что в руке правда что-то есть.

У свободных рук есть красивый минус. Проведи ладонью сквозь виртуальный стол — и ничего не почувствуешь, потому что стола нет. Голая рука умеет показывать жесты и хватать, но не может дать сопротивление и текстуру.

Контроллер эту дыру частично закрывает. Внутри у него мотор вибрации, и в нужный момент он щёлкает, гудит или бьёт короткой отдачей. Натянул тетиву лука — лёгкое дрожание. Выстрелил — толчок. Этот трюк называется тактильной отдачей, и он сильно добавляет достоверности: тело получает физический сигнал в подтверждение картинке. Про то, как мозг вообще собирает из картинки, звука и таких сигналов ощущение настоящего мира, мы писали в разборе про эффект присутствия в VR.

Поэтому выбор способа — это всегда размен. Голые руки дают свободу и естественность жестов, контроллеры дают точность и отдачу. В хороших форматах их сочетают: где-то удобнее тыкать пальцем, где-то держать оружие с вибрацией.

Где трекинг рук уже приносит пользу?

Вкратце: руки в VR нужны не только чтобы махать мечом. На точном трекинге строят обучение языку жестов, тренажёры для профессий и естественное управление без пульта. Для парка это главное — ты заходишь в игру своими руками, без обучения кнопкам.

Как только шлем научился читать пальцы, у технологии нашлись серьёзные применения помимо игр:

1. Язык жестов. На трекинге рук делают приложения, которые учат и распознают жесты. Есть проекты по дактильной азбуке и по национальным языкам жестов, где шлем на лету проверяет, верно ли ты показал знак. Для глухих и слабослышащих это шаг к общению внутри виртуального пространства.
2. Обучение и тренажёры. Точные руки нужны там, где важна моторика: отработка операций, сборки, лабораторных действий. Про медицинское применение мы разбирали отдельно в тексте про VR в медицине.
3. Естественное управление. Тыкать пальцем и щипать проще, чем помнить раскладку кнопок. Это снижает порог входа для тех, кто вообще не играет.

В развлекательном формате это работает на тебя напрямую: не нужно учить, какая кнопка за что отвечает. Берёшь контроллер или показываешь рукой — и мир откликается. В парке «НЕРЕАЛЬНОСТЬ» в Казани форматы устроены так, что VR-квесты и шутер-арена считывают твои движения сразу, и первые же минуты уходят на игру, а не на разбирательство с управлением.

Частые вопросы про трекинг рук в VR

Вкратце: собрали то, что обычно спрашивают перед первым разом, и ответили без технического тумана.

• Нужно ли что-то держать в руках? Зависит от формата. Где-то ты берёшь контроллеры с кнопками и вибрацией, где-то шлем ловит голые ладони камерами. Часто доступны оба варианта.
• Почему в игре у друга пальцы дёргались? Скорее всего, это был трекинг голыми руками, и в какой-то момент пальцы спрятались от камеры. При перекрытии система теряет их и начинает додумывать позу.
• Контроллер или голые руки — что лучше? Для точной стрельбы и отдачи в руку — контроллер. Для свободных жестов и простого управления меню — голые руки. Это размен, а не соревнование.
• Чувствуешь ли ты виртуальные предметы? Голой рукой — нет. Контроллер даёт вибро-отдачу, которая имитирует толчок или дрожание, но полноценную текстуру пока не передаёт.
• С какого возраста ребёнку по силам управление руками? Простые жесты и касания осваивают даже малыши, а точную границу по формату всегда ставит конкретная площадка — уточняй на месте.

Как это почувствовать, а не прочитать?

Вкратце: любой разбор скелетной модели и инфракрасной подсветки проигрывает одной минуте, когда ты сам поднимаешь руку в шлеме и видишь её внутри игры. Вся эта начинка работает ровно для того, чтобы ты забыл про неё и просто действовал.

Теперь ты знаешь, что шлем строит виртуальный скелет твоей кисти из пары десятков суставов, что контроллер сочетает датчик движения, инфракрасную подсветку и сенсоры пальцев, а голые руки читаются камерами и живут в вечной борьбе с окклюзией. Проверить это на себе проще, чем разбираться в теории. Приходи в «НЕРЕАЛЬНОСТЬ» в Казани (ТЦ XL): здесь VR-квесты, шутер-арена и 9D-шаттл работают на профессиональном оборудовании, которое точно ловит каждое движение рук. Забронируй сессию или отметь у нас день рождения — ярко и без организационных хлопот.

Источники

• Meta*, документация WebXR Hands (система отдаёт позы 25 суставов на каждую руку): developers.meta.com
• Meta*, Controllers Technology (ёмкостные датчики касания под кнопками, инерциальный датчик): developers.meta.com
• «How VR Positional Tracking Systems Work», UploadVR (инфракрасное «созвездие» светодиодов, кадры ~60 Гц, дрейф инерциального датчика): uploadvr.com
• Трекинг рук на Oculus Quest вышел в декабре 2019 (прошивка v12, управление без контроллеров): uploadvr.com
• Hand Tracking 2.2 (v56, лето 2023): задержка меньше до 40% в обычном использовании и до 75% на быстрых движениях: uploadvr.com, roadtovr.com
• Окклюзия и срыв трекинга при перекрытии пальцев: pmc.ncbi.nlm.nih.gov
• Apple Vision Pro: 12 камер и чип R1, 27 суставов на руку, управление щипком: en.wikipedia.org
• DataGlove и VPL: Т. Циммерман (патент на флекс-сенсор 1982) и Дж. Ланье, трекинг положения кисти: historyofinformation.com, en.wikipedia.org
• Nintendo Power Glove (1989) — упрощённая массовая версия DataGlove для NES: en.wikipedia.org
• Leap Motion Controller (2013): 2 ИК-камеры и 3 подсветки, точность до долей миллиметра в аккуратных условиях: pmc.ncbi.nlm.nih.gov, en.wikipedia.org
• Язык жестов в VR на трекинге рук (доступность для глухих и слабослышащих): uploadvr.com

Полная картина виртуальной реальности — за один заход и без своего шлема. «НЕРЕАЛЬНОСТЬ» в Казани: VR-квесты, шутер-арена и 9D-шаттл — приходи почувствовать, как игра ловит каждое движение твоих рук.

* Meta Platforms Inc. (Meta) признана экстремистской организацией, её деятельность запрещена на территории РФ.