Синтезата на говор (Text-to-Speech) е клучна технологија за дигитална достапност и комуникација човек-машина, но малите јазици како македонскиот редовно се маргинализирани од големите технолошки корпорации или пак нивната поддршка е заклучена зад скапи комерцијални облачни API сервиси што наплаќаат по карактер, внесуваат мрежно доцнење и ги следат корисничките податоци. Овој проект развива целосно слободен, отворен и локален цевковод за гласовна синтеза на македонски јазик оптимизиран за рабни уреди со ниска потрошувачка.

Piper TTS и VITS невронска архитектура

За разлика од старите двостепени системи (каде посебно се генерира мел-спектрограм, па се проследува на бавен невронски вокодер), нашиот систем се базира на Piper TTS и енд-ту-енд архитектурата VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech): - Единствена диференцијабилна мрежа: VITS ги комбинира варијацискиот автоенкодер (VAE), протокот за нормализирање (normalizing flows) и генеративната противничка мрежа (GAN vocoder базиран на HiFi-GAN) во единствен модел трениран од крај до крај. - Монотонично усогласување (Monotonic Alignment Search - MAS): За време на тренингот, мрежата сама го учи прецизното временско траење на секој фонем без потреба од рачно обележани аудио снимки на ниво на милисекунда. - Оптимизација со ONNX Runtime и INT8 квантизација: Моделот е конвертиран во отворен ONNX формат со 8-битна целобројна квантизација. Големината на чекпоинтот е намалена под 48 MB, со што лесно се вчитува во RAM меморијата дури и на најевтините вградливи плочки.

Фонетски IPA правила за македонскиот јазик

Акустичните невронски модели тренирани на мултилингвални корпуси не знаат како правилно да изговорат македонски кириличен текст без специјализиран слој за транслитерација. Создадовме детерминистички алгоритам за графем-во-фонем (G2P) што го претвора текстот во Меѓународна фонетска азбука (IPA):

  1. Палатални плозиви и африкати:
  2. Прецизно разликување на палаталните плозиви /ɟ/ (ѓ) и /c/ (ќ) од обичните меки согласки.
  3. Чиста синтеза на сложените африкати: /t͡s/ (ц), /t͡ʃ/ (ч), /d͡ʒ/ (џ) и ретката македонска звучна алвеоларна африката /d͡z/ (ѕ).

  4. Палатални сонанти: точно моделирање на /ʎ/ (љ) и /ɲ/ (њ).

  5. Вокално „р“ (/r̩/):

  6. Македонското вокално (слоготворно) „р“ бара посебни контекстуални правила: кога „р“ стои на почеток на зборот пред согласка (пр. ’рбет, ’рѓа, ’ржи) или помеѓу две согласки (пр. прст, дрво, крв, брзо), алгоритамот го означува со слоготворен фонем /r̩/ за моделот да не вметнува вештачки темни самогласки.

  7. Правило за третосложен акцент:

  8. Македонскиот литературен јазик има фиксиран третосложен акцент: кај трисложните и повеќесложните зборови акцентот паѓа на третиот слог од крајот на зборот (пр. пла́нината, воде́ница, рабо́тилница), а кај двосложните на првиот (втор од крајот, пр. ку́ќа, ри́дот).
  9. Транспилаторот автоматски врши силабификација (делење на слогови) и вметнува акцентски маркери (ˈ) во фонетската низа, овозможувајќи природен и ритмички препознатлив македонски говор.

Локална инференција без клауд (Zero-Cloud Inference)

Главната техничка предност на овој пристап е брзината и целосната независност од надворешни мрежи: - Брзина во реално време (RTF): На стандарден процесор Raspberry Pi 4 (четири јадра ARM Cortex-A72 на 1.5 GHz), факторот на реално време е RTF ~0.15. Тоа значи дека една реченица од 5 секунди говор се генерира за само 750 милисекунди. На современ лаптопски процесор, RTF паѓа под 0.04. - Нулта латенција до прв аудио блок: Системот започнува со репродукција на аудиото за помалку од 180 ms од моментот на приемот на текстот. - Приватност и достапност: Послужувањето се одвива преку локален UNIX сокет или внатрешен REST микросервис. Текстот никогаш не ја напушта локалната машина, овозможувајќи безбедна примена за доверливи документи или оф-грид уреди.

Примена во отворениот хардверски хаб

Синтезата не е само изолиран софтверски експеримент, туку интегрален дел од нашата инфраструктура: - Гласовна соларна телеметрија: Нашите автономни соларни станици и планински јазли можат гласно да го соопштат статусот на батеријата, генерираната моќност или временските предупредувања за посетителите и планинарите. - Аудио-достапност за едукација: Автоматска синтеза на отворени образовни прирачници и технички написи во аудио-книги за лица со оштетен вид. - Слободен код: Секоја скрипта за тренирање, речник за транслитерација и оптимизиран ONNX модел се јавно објавени под слободна лиценца на нашето git складиште.