ElevenLabs ir izlaidusi jauno teksta-runas modeļu saimi Eleven v4 un Eleven v4 Turbo, kuras galvenie uzlabojumi ir izteiksmīgāka intonācija, stabilāka balss identitāte un atbalsts vairāk nekā 90 valodām. Uzņēmums v4 dēvē par savu emocionāli visizteiksmīgāko balss modeli, savukārt Turbo variants paredzēts reāllaika sarunām un balss aģentiem. Salīdzinājumam — iepriekšējā Eleven v3 paaudze atbalstīja vairāk nekā 70 valodas. Jaunā versija cenšas ne tikai pareizi izrunāt tekstu, bet arī ņemt vērā tā nozīmi, tempu, noskaņu un iepriekšējo sarunas kontekstu.
Viens no būtiskākajiem jaunumiem ir uzlabota balss klonēšana. ElevenLabs norāda, ka Instant Voice Clone režīmā augstas līdzības balss kopijai var pietikt ar aptuveni 10 sekunžu kvalitatīvu audio. Ierakstītā balss pēc tam var runāt citās atbalstītajās valodās, saglabājot sākotnējo tembru, bet pielāgojot izrunu un akcentu izvēlētajai valodai. Modelis ir veidots arī garākiem darbiem: konteksta savienošana palīdz saglabāt vienmērīgu ritmu audiogrāmatās, reklāmās un dialogos, bet atkārtoti ģenerētas frāzes mazāk novirzās no izvēlētās balss identitātes.
Runas izpildījumu var vadīt ar audio tagiem, kurus ievieto tekstā kvadrātiekavās. Piemēram, norādes [excited], [whispers] vai [laughs] maina emociju un runas manieri, savukārt tādas norādes kā [light rain] vai [phone buzzing] var pievienot vides skaņas. Tagus iespējams kombinēt un izvietot tieši pirms frāzes, uz kuru tiem jāattiecas. ElevenLabs dokumentācija gan iesaka rezultātu pārbaudīt ar konkrēto balsi: dabiskas valodas norādes nav absolūti deterministiskas, un reizēm modelis balss instrukciju var interpretēt kā skaņas efektu vai otrādi.
Eleven v4 Turbo ir optimizēts interaktīvām lietotnēm, klientu apkalpošanas robotiem un citiem balss aģentiem. Ražotāja mērījumos modeļa mediānais inferenču aiztures laiks ir ap 100 milisekundēm, bet pirmā dzirdamā skaņa parādās aptuveni pēc 150 milisekundēm. Straumēšana ļauj sākt atskaņošanu, kamēr atbildes teksts vēl tiek ģenerēts, tāpēc saruna var šķist dabiskāka un mazāk robotiska. Standarta v4 vairāk orientēts uz augstas kvalitātes ierunām, audiogrāmatām un citu sagatavotu saturu, bet Turbo — uz ātru divvirzienu dialogu.
Uzņēmumiem un satura veidotājiem tas paver vienkāršāku lokalizāciju: vienu atpazīstamu balsi iespējams izmantot daudzos tirgos, nezaudējot tās raksturu. Tas var noderēt mācību materiāliem, produktu demonstrācijām, spēļu tēliem, audiogrāmatām un daudzvalodu klientu atbalstam. Tomēr automātiski radīta izruna nav jāuzskata par nevainojamu — īpašvārdi, tehniski termini un reģionāli akcenti jāpārbauda cilvēkam, īpaši veselības aprūpes, finanšu vai juridiskā saturā. Vienlaikus balss klonēšana palielina arī krāpniecības un viltotu ierakstu risku, tādēļ jāizmanto tikai balss īpašnieka skaidri apstiprināti ieraksti, jāierobežo piekļuve modeļiem un jāinformē klausītāji par sintētisku audio, ja konteksts to prasa. Praktiskā ieviešanā pirms produkcijas jātestē izruna, emociju tagi, garu tekstu stabilitāte un aizture tieši paredzētajā valodā un kanālā.
avots: ElevenLabs: https://elevenlabs.io/blog/eleven-v4
