Разработка использует систему на основе камеры для обнаружения и распознавания жестов и их конвертации в текст.
Последние несколько лет наблюдается рост популярности голосовых помощников, в частности от Amazon, Google и Apple.
Но для глухих людей будущее, где устройства все более контролируемым голосом, будет достаточно неудобным. Проект Сингха предлагает запрограммировать amazon's Alexa так, чтобы ассистент отвечал в текстовой форме на язык жестов.
Разработчик использовал платформу для машинного обучения Tensorflow, которая фиксирует неоднократные движения перед веб-камерой, чтобы научить систему основам языка жестов. Когда система смогла ответить на движения рук, он соединил ее с программным обеспечением Google для текстового вещания.
Впрочем, эксперты не слишком оптимистичны в оценках "языковых возможностей" техники. Так, Джефри Бигман, эксперт по взаимодействию человека с компьютером из Университета Карнеги-Меллона, замечает, что "систему, которая полностью способна распознавать язык жестов, будет трудно разрабатывать, поскольку она требует как компьютерного видения, так и понимания языка".
Читайте также: Все говорят про искусственный интеллект. Простыми словами объясним, что это