🦄 Enterprise Edition Версия Silero - Скорость, Пропускная Способность и Сайзинги

Обновление от 2023-10-25

Сейчас в список наших основных поддерживаемых решений входят:

• Программный модуль "СИЛЕРО" для синтеза речи на русском языке и сопутствующих задач на основе нейронных сетей и алгоритмов машинного обучения (ссылка, Реестровая запись №15935);
• "Программный модуль "СИЛЕРО" для распознавания речи и сопутствующих задач на основе нейронных сетей и алгоритмов машинного обучения" (ссылка, Реестровая запись №10106);

Для получения коммерческого предложения по лицензированию нужно отправить письмо на электронную почту hello@silero.ai с указанием:

• Названия вашего юрлица;
• Предполагаемого сценария использования;
• Какой-либо оценки по масштабу использования для примерного расчета сайзингов для коммерческого предложения;

Обновление от 2022-10-11

Публичная версия документации программного модуля Силеро для синтеза речи на русском языке доступна по ссылке. Она содержит информацию про:

• Описание функциональных характеристик;
• Информацию для установки и эксплуатации ПО;

Сайзинги

Актуальные сайзинги для наших дистрибутивов на базе Ubuntu и Astra Linux, версия 1.5.4. За этот период произошло радикальное ускорение синтеза речи и увеличение его качества.

В следующей мажорной версии опять ожидается также радикальное повышение скорости распознавания и синтеза, и качества распознавания.

Распознавание речи, CPU

Intel(R) Core(TM) i7-6800K CPU @ 3.40GHz

v1.5.4:

v1.5.4_astra:

Сайзинги на astra почти не отличаются и приведены для справки.

Распознавание речи, GPU

v1.5.4:

1080Ti:

3090:

Время ответа в секундах в зависимости от числа поднятых AM-консьюмеров и количества параллельных потоков (workers), отправляющих запросы с аудио в API.

• Яркая палитра - среднее время ответа;
• Тёмная палитра - 95 перцентиль;
• Светлая палитра - 99 перцентиль;

1/RTF - Количество секунд распознанного аудио за 1 секунду работы - в зависимости от числа поднятых AM-консьюмеров и количества параллельных потоков(workers), отправляющих запросы с аудио в API.

Синтез речи, CPU

Intel(R) Core(TM) i7-6800K CPU @ 3.40GHz

v1.5.4

v1.5.4_astra

Сайзинги на astra почти не отличаются и приведены для справки.

Синтез речи, GPU

v1.5.4

1080Ti SR=8000 Hz

1080Ti SR=24000 Hz

1080Ti SR=48000 Hz

3090 SR=8000Hz

3090 SR=24000Hz

3090  SR=48000Hz

Время ответа в секундах в зависимости от числа поднятых TTS консьюмеров и количества параллельных потоков(workers), отправляющих запросы с текстом в API.

• Яркая палитра - среднее время ответа;
• Тёмная палитра - 95 перцентиль;
• Светлая палитра - 99 перцентиль;

Количество секунд синтезируемого аудио за 1 секунду работы - в зависимости от числа поднятых TTS консьюмеров и количества параллельных потоков(workers), отправляющих запросы с текстом в API.

(*)

В целом подходят любые GPU Nvidia начиная с архитектуры Pascal, в  частности:

• Любые игровые GPU Nvidia выше чем 1070 8+GB RAM с турбиной;
• Любые однослотовые GPU Nvidia серии Quadro 8+GB RAM (TDP 100 - 150W) с турбиной или пассивные;
• Nvidia Tesla T4, пассивная, TDP 75W;
• Любые карты лучше / мощнее;

Обновление от 2021-11-18

Сейчас в список наших основных поддерживаемых решений входят:

• Распознавание речи;
• Синтез речи;
• Детектор голоса и расстановка пунктуации и знаков препинания являются вспомогательными;

Дальше мы приведем сайзинги для GPU и CPU версии нашего распознавания и синтеза речи для недавнего масштабного релиза наших дистрибутивов v012:

• GPU сайзинг для распознавания речи;
• GPU сайзинг для синтеза речи;
• СPU сайзинг для распознавания речи;
• CPU сайзинг для синтеза речи;

GPU сайзинг для распознавания речи

1080 Ti

3090

GPU сайзинг для синтеза речи

СPU сайзинг для распознавания речи

Intel(R) Core(TM) i7-6800K CPU @ 3.40GHz:

CPU сайзинг для синтеза речи

Intel(R) Core(TM) i7-6800K CPU @ 3.40GHz:

Оригинальная Статья от 2020-12-05

Какое-то время назад мы публиковали целый ряд статей про нашу систему Speech-To-Text, а именно про:

• Её качество;
• Её скорость и пропускную способность;
• Про требования к ресурсам;

Понятно, что качество постепенно выходит на плато, и дойдя до какого-то уровня по качеству нужно задумать о миниатюризации и создании дистрибутивов. В этом посте я подведу финальные итоги нашему продолжительному процессу ускорения наших моделей и приведу финальные сайзинги дистрибутивов Enterpise Edition версии нашей системы. Пока по ряду причин публично мы писали про нее только тут.

Чем Мы Занимались Все Это Время

Может показаться, что мы ушли в подполье, но с тех пор многое изменилось и мы не сидели без дела:

• Мы выпустили публичную Community Edition версию наших моделей для нескольких языков. Нас даже похвалил Soumith Chintala;
• Cделали несколько глобальных рефакторингов кода, выпустили V2 версию нашей CE-edition модели для английского языка;
• Публично выпустили экспериментальную модель для украинского языка в рамках Silero Models для мотивации наших украинских коллег;
• Запустили несколько больших research-проектов и провели большую подготовительную работу для обширного обновления перезапуска (как говорится, stay tuned!). Будем выпускать новые публичные продукты when it's done;

Финальное Ускорение Наших Моделей

По ряду причин уже не буду тут вдаваться в детали, но финальную акустическую модель удалось существенно ускорить (настолько, что это практически перестало быть боттлнеком даже для CPU сайзингов!).

Метрики указаны в секундах аудио обработанных в секунду на 1 ядро процессора (1 / RTF на ядро):

Может показаться, что скачок является слишком огромным, но мы просто не сидели без дела. Тут еще важно отметить, что цифры отчасти кажутся нереалистичными в сравнении с теми же 8+ RTS, о которых писал фейсбук в своей статье. Но тут важно понимать, что мы обрабатываем аудио батчами, а фейсбук - по одному кусочками по 750 ms. Плюс это идеальные условия, когда файлы по сути кормятся в акустическую сеть из памяти. В реальности все не так радужно (смотрите сайзинги ниже) и мы тратим гораздо больше времени на ожидание и коммуникацию.

Ускорения против базовой "маленькой модели":

Сайзинги и Дистрибутивы

Метрики акустической модели являются несколько абстрактными. В реальном деплое на скорость и пропускную способность (latency / throughput) влияет гораздо больше вещей - пост-обработка, архитектура сервиса, задержка сети, сериализация, коммуникация, итд итп.

По этой причине - мы просто провели огромную работу по расчету реальных сайзингов наших EE моделей и оптимизации гипер-параметров наших дистрибутивов.

Пара слов о методологии:

• Метрики рассчитаны для файлов длиной 1 - 7 секунд, которые "кормятся" в сервис в 4 - 8 - 16 потоков;
• Распределение длин файлов соответствует распределению длин файлов в реальных диалогах людей по телефону;
• Метрики рассчитаны для многопоточного веб-сервиса, что немного абстрагируется от сценария реального использования. Ну то есть если мы можем держать условно 8 потоков с условной гарантией в latency в 500 мс, то это значит, что правильно настроив конечную бизнес-логику, можно обрабатывать сильно больше, чем 8 одновременных звонков;
• Реальные люди не говорят одновременно, пока человек заканчивает вторую фразу мы уже усеваем обработать первую итд итп. Но это уже сильно зависит от реального бизнес-кейса;

Настройка Сайзинга Для GPU

(*) Есть 3 типа подходящих GPU:

• Любые игровые GPU Nvidia выше чем 1070 8+GB RAM с турбиной;
• Любые однослотовые GPU Nvidia серии Quadro 8+GB RAM (TDP 100 - 150W) с турбиной или пассивные;
• Nvidia Tesla T4, пассивная, TDP 75W;

Настройка Сайзинга Для CPU

Комментарии по Сайзингам

• В реальности со всем фаршем даже у сервиса с GPU получается только 10 - 15 RTS на одно ядро процессора (хотя теоретический RTS самой модели на GPU находится где-то в районе 500 - 1,000). В теории число воркеров CPU на 1 GPU можно наращивать больше, чем мы пробовали, но мы упираемся в удорожание процессоров;
• CPU-версия сервиса показывает только в районе 5 честных RTS, что немало, но она скорее оптимизирована как баланс между гарантиями по latency и throughput;
• Метрики настоящие и честные и подбор параметров стоил много боли и страданий. Если честно - я вообще не видел, чтобы кто-то вообще показывал перцентили реальных систем;
• Многие крупные проекты просят 50 одновременных разговоров, поэтому иметь возможность покрыть такой проект используя всего 2 GPU (+ резервирование) это довольно круто;
• Использование GPU сервиса где-то в 2-3 раза дешевле, чем если считать все только на CPU;