✏ 2020 Система Нормализации Текста для Распознавания Речи
Суть
Когда человек что-то говорит, система распознавания речи должна получать на вход текст как он произносится, а не как обычно пишется. Этому уделяется довольно мало внимания в публичном поле, но для нормализации всех языков кроме англйиского практически нет готовых систем. В принципе это задача довольно необъятная и бездонная, поэтому мы опубликовали систему, которая по принципу 20-80 обрабатывает 95% кейсов из наших текстовых корпусов.
Итоги
Мы упаковали свой пайплайн нормализации в нейросеть, которая работает по принципу теггинга и правит только ту часть фразы, которая требует нормализации. Мы опубликовали ее в виде TorchScript контейнера для PyTorch.