Как работает нейропереводчик Яндекса?

Нейропереводчик Яндекса работает в несколько этапов: www.iphones.ru

1. Определение языка говорящего. www.iphones.ru Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский. www.iphones.ru
2. Перевод речи в текст. www.iphones.ru В полученной модели создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки. www.iphones.ru Она же удаляет слова-паразиты, делая итоговый текст «чище». www.iphones.ru
3. Нормализация текста и расстановка знаков препинания. www.iphones.ru То есть нейросеть получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. www.iphones.ru
4. Определение количества спикеров, их пола и применяемых местоимений. www.iphones.ru Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80–150 Гц, у женщин — 150–250 Гц. www.iphones.ru
5. Перевод текста на русский язык. www.iphones.ru
6. Синтез речи и синхронизация её с роликом. www.iphones.ru Нейросеть делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь. www.iphones.ru

Процесс перевода занимает несколько минут: за это время нейросети «Яндекса» успевают вычленить из речи текст, перевести его, синтезировать русскоязычный голосовой перевод и подогнать его под скорость видео, чтобы не было рассинхронизации. news.itmo.ru