Управляем программами с помощью жестов: проект аспиранта УрФУ прошел на международный этап конкурса IEEE Pitch

Вы наверняка видели фильмы о далеком или не очень далеком будущем, где герои управляют компьютерами или другой техникой с помощью голоса или жестов. Сейчас в автомобилях некоторых марок движением руки переключается музыка, а «Яндекс.Станция» реагирует на голос и жесты. Мир высокотехнологичного будущего из кино становится ближе – в том числе и благодаря проекту аспиранта УрФУ Илькина Ибадова.

Илькин учится в аспирантуре института радиоэлектроники и информационных технологий. Он интересуется влиянием технологий на жизнь человека и работает над проектом Goester – это программное обеспечение для компьютеров, позволяющее с помощью жестов управлять программами и приложениями. С ним Илькин победил на региональном этапе конкурса IEEE Pitch в рамках IEEE Entrepreneurship Initiative и теперь будет представлять Россию на международном конкурсе.

Программа, упрощающая жизнь

К идее проекта Илькин пришел, работая над магистерской диссертацией по технологиям компьютерного зрения и машинного обучения на горнодобывающем производстве. Чтобы сравнить эффективность разработанных методов, он экспериментировал с обнаружением образов. И однажды попробовал сделать это на жестах. Так и появился Goester.

Программе нужна лишь веб-камера. Работает это следующим образом: человек показывает жест в камеру, Goester обнаруживает его и выполняет заданную команду. Это может быть запуск приложений, перемещение курсора, перелистывание изображений или веб-страниц, нажатие кнопок и других элементов интерфейса, вызов команд или целых последовательностей из перечисленных действий.

Команды могут быть произвольными и назначаются для каждой программы на устройстве — один и тот же жест приводит к разным действия в разных приложениях. Например, показав два пальца (жест "мир") в мессенджере, можно отправить собеседнику смайл, а в программе для трехмерного моделирования — начать обзор и взаимодействие с моделью.

Такой проект пригодится в разных сферах деятельности человека – домашнее использование, коммерция, промышленность, образование, медицина. Goester поможет управлять производственными процессами, создавать интерактивные информационные стойки или электронные каталоги, повышая интерес и лояльность покупателей к продукции.

— Изначально я хотел улучшить опыт взаимодействия с устройствами и оптимизировать повседневные задачи, но решил сконцентрироваться на сферах образования и медицины, — говорит Илькин. — У многих учащихся слабо развито пространственное мышление, что затрудняет изучение геометрии, стереометрии и т.д. Goester поможет улучшить понимание таких предметов благодаря интерактивности: ученики жестами вращают и перемещают объекты, тем самым развивая визуальное и пространственное мышление.

Вторым приоритетным направлением проекта Илькин выделил медицину. После обсуждения со специалистами они пришли к выводу, что Goester можно применять для пациентов с нарушениями мелкой моторики и ограниченными физическими возможностями – например, для управления устройствами. Кроме того, по словам сотрудника одного из федеральных центров нейрохирургии, программа будет полезна для постинсультных пациентов, после реконструктивных операций на конечностях и для создания реабилитационных тренажеров. Другим применением в медицине могут стать информационные стойки, с которыми взаимодействуешь без физического контакта, соблюдая санитарно-гигиенические нормы.

Участие в конкурсе IEEE Pitch

Конкурс IEEE Pitch в рамках IEEE Entrepreneurship Initiative — это международный конкурс питчей инновационных проектов, который выявляет и поддерживает амбициозные идеи молодых профессионалов. Поддержкой занимается Институт инженеров электротехники и электроники (IEEE) — некоммерческая ассоциация специалистов в области техники, мировой лидер в области разработки стандартов по радиоэлектронике, электротехнике и аппаратному обеспечению вычислительных систем и сетей.

— Сначала проходят локальные этапы конкурса, организуемые локальными группами Young Professionals в течении IEEE WEEK, — рассказывает Кирилл Зейде, представитель IEEE R8 Entrepreneurship в сибирской секции. — Эти этапы проводятся амбассадорами по всему региону 8. Победители локальных этапов попадают на региональный уровень, где их оценивают международные эксперты и пользователи соцсетей. А дальше – мировой этап в Швеции.

О конкурсе Илькин узнал случайно, но быстро собрал необходимые документы и отправил заявку. Для участия достаточно одной идеи – конкурсант записывает питч на английском языке на видео. Однако важно показать проделанную работу – научные исследования, участие в конференциях и других мероприятиях. Демонстрация наработок повышает шансы на победу — у призеров этого года были прототипы.

— Прохождение отбора в конкурсе помогло понять, что проект надо развивать дальше, — говорит Илькин. — Кроме того, это замечательная возможность представить идею на международном конгрессе, пройти акселерационную программу и получить информационную поддержку от иностранных специалистов. И это международный опыт, который можно указать в резюме.

Илькин Ибадов выиграл региональный этап и теперь ему предстоит защита проекта на международном конгрессе, прохождение акселерационной программы, пленарные сессии и воркшопы в Швеции.

Куда двигаться дальше

Илькин поначалу занимался проектом исключительно в образовательных целях, но позднее, исследовав рынок подобных технологий, заметил, что такие проекты уже существуют и на них есть спрос. При помощи краудфандинга эти стартапы собирают 150-200% от необходимой суммы.

В отличие от разработок других команд, для Goester не требуются дополнительные устройства в виде тяжелых перчаток и электронных плат на руках, дополнительных джойстиков и электронных браслетов. Всё, что нужно программе, — камера, которая есть практически в любом устройстве.

— Поняв, что это ключевое преимущество, я решил выставить проект на международной краудфаундинговой площадке, — делится Илькин. — Как оказалось, это трудоёмкий процесс, поскольку такие площадки работают только с представителями из ограниченного списка стран. Пришлось привлечь человека, который подходит по требованиям площадки. Кампанию по сбору средств я запустил, но просто создать её — недостаточно. Необходимо заниматься продвижением.

Сейчас Goester имеет прототип, который умеет различать жесты и выполнять произвольные команды, но обнаружение происходит нестабильно. Это затрудняет дальнейшее развитие: для распознавания жестов используются средства машинного обучения, поэтому есть потребность в большом количестве размеченных изображений. Если заниматься этим в одиночку, процесс растянется.

— Чтобы решить эти проблемы и ускорить разработку, нужно привлекать материальные и трудовые ресурсы. Основная задача на ближайшее время — стабильное определение жестов. Над этим я работаю, параллельно выступая на мероприятиях. В первую очередь, стараюсь участвовать в акселерационных программах России и Свердловской области — на них можно правильно спозиционировать свой проект, чтобы более эффективно его развивать. Еще пытаюсь не упускать возможности участия в конкурсах, направленных на поддержку и развитие российских стартапов, но пока из-за пандемии всё приостановлено.

Фото предоставлено героем материала