По информации пресс-службы НГТУ НЭТИ, глухой программист Алексей Приходько завершил работу над системой, которая переводит жесты на русский язык. Он является единственным глухим программистом в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.
«Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», — отметил Алексей Приходько.
Система работает по аналогии с человеческим мозгом. Программа с помощью камеры распознает картинку и фиксирует жесты. Затем изображение переводит в модели, обрабатывает внутри системы, сопоставляя их с данными в нейронной сети. После компьютер выводит на монитор соответствующий жестам перевод.
Также система может управлять компьютером с помощью жестов. Так, движением рук можно сделать звук громче или тише, настроить яркость и управлять курсором на экране, не используя мышь. Алексей Приходько считает, что с письменного языка на жестовый переводить не сложно. Но технически трудно распознать жесты, а затем их перевести.
«Все зависит ещё от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — подчеркнул Алексей Приходько.
На данный момент система переводит на уровне азбуки глухих. В планах у программиста — к защите кандидатской обучить систему другим компонентам грамматики РЖЯ. В будущем Алексей Приходько доведёт программу до готового продукта, и им смогут пользоваться.
