Сенсорна рукавичка перекладач з мови жестів на звичайну мову

Використання машинного навчання і штучного інтелекту допоможе в найближчому майбутньому інтегрувати в суспільство людей з різними фізичними вадами. Розробники Каліфорнійського університету Лос-Анджелеса (UCLA) створили систему, що дозволяє усунути комунікаційний бар’єр між людьми, вимушено використовують мову жестів, і іншими людьми. Пристрій у вигляді безконтактної електронної рукавички здатне транслювати переклад мови жестів на англійську мову, практично в режимі реального часу. Система складається з пари рукавичок з тонкими, гнучкими датчиками, здатними управляти роботою по всій довжині кожного з п’яти пальців. Ці датчики, виготовлені з електропровідних ниток, фіксують рухи рук і положення пальців, які позначають окремі букви, цифри, слова і фрази.

Пристрій перетворює рухи пальців в електричні сигнали, які відправляються на керуючу плату розміром з доларову монету, надіти на зап’ясті. Далі ці сигнали по бездротовому зв’язку транслюються на смартфон, який переводить їх у слова зі швидкістю приблизно одне слово в секунду. Потім додаток озвучує перекладену фразу через динамік.

До системи додані накладні датчики, що кріпляться на обличчі користувача по обидва боки рота і між бровами. Це необхідно для фіксації міміки особи, яка є частиною американської системи мови жестів.

Автономна робота рукавички забезпечується акумулятором. В процесі підготовки, після роботи з використанням машинного навчання та досвіду чотирьох глухих американців, алгоритм став впевнено розпізнавати 660 знаків, включаючи літери та цифри. Надалі, за заявою інженерів, алгоритм буде активно поповнювати свій словниковий запас і збільшувати швидкість перекладу. Зараз винахід знаходиться на етапі реєстрації патенту.