Первый в России цифровой аватар синхронного сурдопереводчика создали в Новосибирске


Диджитал-помощника для общения можно внедрить в любой электронный сервис ─ приложение в телефоне, портал «Госуслуги» и онлайн-курсы
15 декабря 2022, 12:56
Фото: «Вести Новосибирск»
Вести новосибирск

Разрушить барьер между глухими и слышащими позволит новая разработка новосибирских ученых ─ цифровой синхронный сурдопереводчик. Аватара можно встроить в любой электронный сервис и использовать в транспорте, поликлинике, музее. Подобные сервисы есть для говорящих на английском и китайском жестовом языках. На русском появится впервые.

Процесс перевода текста на жестовый язык в цифровом формате выглядит так: модель в костюме для анимации «показывает» слова, аватар по имени Зоя запоминает, что означает каждое движение. На костюме расположены датчики, которые его считывают и транслируют в программу, пояснила переводчик русского жестового языка Анна Крутуха. Специалистам остается доработать рисунок. Это гораздо быстрее, чем создавать изображение вручную.

«Отрисовать жест занимает от 30 минут до часа, а записанные движения позволяют наложить нужную конфигурацию, и все готово», ─ пояснила переводчик русского жестового языка Софья Батенёва.

Создают аватара-сурдопереводчика

Технологию будут демонстрировать на ВДНХ. На московской выставке через несколько месяцев откроют отдельный павильон. В числе завершенных работ ─ переведенный на язык жестов онлайн-курс по материаловедению.

В НГТУ обучается немало глухих студентов. Алексей Приходько приехал из Ачинска. Двадцать лет назад он победил на олимпиаде по математике. Теперь Алексей ─ единственный в стране глухой программист, который работает над так называемым обратным автоматическим переводом жестов на русский письменный язык.

«Каждый жест раскладывается на части: это сравнимо с фонологией в звучащих языках. Это очень большая и сложная задача», ─ сказал Алексей.

Создают аватар

Еще одна важная задача ─ создание синхронного сурдопереводчика. Аватара можно поместить в любой электронный сервис ─ приложение в телефоне, портал «Госуслуги», онлайн-курсы. Такой помощник, уверены разработчики, будет пользоваться спросом. Говорящих на русском жестовом языке ─ около 300 тысяч.

По словам руководителя лаборатории компьютерного перевода русского жестового языка Кирилла Зубарева, если синхронный переводчик будет полностью владеть языком, то рухнет барьер общения между глухими и слышащими людьми.

Разрушить стену непонимания в лаборатории намерены уже в 2023 году. Основа для синхронного сурдопереводчика создана, осталось расширить словарный запас. В цифровой копилке аватара хранится пять тысяч жестов, для полноценного общения требуется в три раза больше.

Фото: «Вести Новосибирск»
читайте также