Компания «Яндекс» запустила гибридную систему перевода

Катерина Лысенко, опубликовано 15 сентября 2017 г.

В «Яндексе» рассказали о внедрении гибридной системы перевода: новый подход позволит увеличить качество выдаваемых результатов. Сервис «Яндекс.Переводчик» ранее использовал статистическую модель, которая использовала при переводе следующий принцип: предложения делились на отдельные слова и фразы, для которых подбирались все возможные переводы.

Метод отличался хорошей памятью системы и переводом редких и сложных слов. Но перевод получался «машинным»: при его чтении складывалось ощущение, что текст собран из отдельных кусков. Теперь к статистическому переводу добавился перевод на основе нейронной сети. Последняя анализирует массив параллельных текстов и учится находить в них закономерности. При этом, нейросеть работает сразу с целыми предложениями, не разбивая их на куски. Такой подход позволяет учесть смысловые связи внутри предложения – другими словами, нейросеть может понять контекст.

Впрочем, и такой метод не без минусов – если система не находит перевод предложения, она начинает угадывать правильный ответ, что ей не всегда удается. Так, «Яндекс» решил внедрить гибридную систему: обе модели выполняют перевод, после чего алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и выбирает лучший.