Google навчила смартфони відстежувати жести

Компанія Google опублікувала алгоритм, що дозволяє відстежувати рухи руки на смартфонах з великою точністю. Розробники вважають, що це дозволить реалізувати на смартфонах нові функції, наприклад, розпізнавання жестової мови або жестових команд. Алгоритм доступний як у вигляді вихідного коду на GitHub, так і у вигляді програми для Android, а подробиці про нього компанія розповіла у своєму блозі.

Розпізнавання пози - одне з класичних завдань алгоритмів комп'ютерного зору, що має безліч застосувань, причому як корисних, так і розважальних. Наприклад, розпізнавання пози тіла використовують для визначення насильницьких дій у натовпі, а минулого року Google застосувала його для створення «відображення» користувача з великого архіву знімків.

На сьогоднішній день існує безліч реалізацій алгоритму відстеження пози, причому як для всього тіла, так і для готельних частин, наприклад, обличчя або рук. Багато з них, такі як OpenPose, мають відкритий вихідний код і доступні для використання. Однак майже всі ці алгоритми використовують у своїй роботі нейромережеві моделі, що вимагають великої обчислювальної потужності і через це непримінні на мобільних пристроях.

Програмісти з Google створили відкриту реалізацію алгоритму відстеження положення руки, адаптовану для роботи на мобільних пристроях. На початку алгоритм аналізує кадри з камери і виявляє на них руку, після чого працює тільки з потрібною областю, що значно знижує необхідну обчислювальну потужність.

Під час роботи алгоритм створює модель руки, що складається з 21 точки, яких достатньо для відносно точного опису положення руки в конкретний момент. Алгоритм працює в двох режимах: в одному він створює четверту модель руки, а в іншому - тривимірну. На основі такого алгоритму розробники також створили і систему розпізнавання жестів: отримуючи модель руки, алгоритм аналізує кути між частинами пальців і зіставляє їх з базою відомих йому жестів.

Для навчання алгоритму розробникам довелося створити власний датасет з приблизно 30 тисяч кадрів, на кожному з яких була вручну розмічена модель пензля. Для сторонніх розробників алгоритм доступний на GihHub, причому адаптований він для роботи на обох основних мобільних операційних системах: Android и iOS. Користувачі Android також можуть встановити собі два демо-додатки, один з яких створює почесну модель руки, а другий малює тривимірну модель, що відображає відносну відстань до кожної точки пензля. Для iOS доступні інструкції зі збирання проекту в Xcode.

Нещодавно Google розповіла подробиці про майбутній смартфон Pixel 4, який буде представлений в жовтні 2019 року. Однією з особливостей пристрою стане радар Soli: він вміє розпізнавати жести. Це дозволить користувачам керувати деякими функціями смартфона, не торкаючись до нього.