Аспирант НГТУ НЭТИ Алексей Приходько рассказал президенту России о своем проекте — программе-переводчике русского жестового языка. Встреча президента и молодого ученого произошла вечером 4 октября на наблюдательном совете организации “Россия — страна возможностей” в Сочи.
Обращаясь к В.В. Путину Алексей Приходько сказал: “…Я с детства глухой, родился в глухой семье, и мой родной язык, на котором я сейчас объясняюсь, — русский жестовый язык. Позднее в школе я изучил русский, он для меня как иностранный. Сейчас я заканчиваю аспирантуру, занимаюсь написанием диссертации. Конечно, мне было тяжелее учиться, чем моим одногруппникам, потому что я не слышу. Поэтому я разработал свой проект, это электронный переводчик жестового языка. У меня уже готов прототип, он считывает жесты и выводит слово на экране монитора… Этот проект очень нужен, потому что всего в России более 200 тысяч глухих людей. В мире нет аналогов, мы будем первой страной, у которой есть такой переводчик. Мне очень приятно, что мой проект признан и вошел в Фонд президентских грантов. Спасибо Вам, что вы помогаете нам реализовывать такие проекты“.
Смотрите с 31:12.
Президент РФ ответил: “Это Вам спасибо, то, что вы делаете, безусловно, будет иметь практическое применение. Это востребованный абсолютно продукт, которым люди будут пользоваться. Ваша разработка позволяет людям расширять свои возможности”…
Как же шла работа над проектом и что собой представляет разработанная А. Приходько программа?.. Об этом рассказывается на сайте НГТУ НЭТИ.
“Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод. Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши”.
“С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер”, — комментирует Алексей Приходько. — “Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест…” Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.”
По словам заведующей лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольги Вариновой, разработка Алексея будет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ: “Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет… Поэтому мы так рассчитываем на разработку Алексея.”
Комментарий от переводчика РЖЯ Екатерины Ибатуллиной:
Не верится, что мне выпала такая честь переводить самому президенту страны обращение глухого человека. Для последнего нужен был переводчик, свободно владеющий РЖЯ. Мне пришлось перестроится под его «язык», нашпигованный техническими терминами из области ИТ-технологий. У нас уже был опыт совместной работы на Всероссийском конкурсе «Цифровой прорыв», проходившем 27-29 сентября в Казани, где он был единственным глухим участником. Там он возглавил команду из Новосибирска, в которой были 4 слышащих участника: программист 1С, дизайнер, маркетолог, разработчик web-сайта. Ребята в режиме 48 часов выполняли задание организаций и министерств. К сожалению, команда со своей разработкой не вошла в число победителей, но заняла неплохую – шестую – строчку среди 25 команд. Именно там, на конкурсе отметили глухого программиста и его опыт работы по распознаванию жестового языка. И он попросил меня переводить ему на встрече с президентом РФ.