ElevenLabs выпусціла Eleven v4 — галасавую мадэль з беларускай мовай

ElevenLabs прадставіла Eleven v4 і яе хуткую версію Eleven v4 Turbo. Новая архітэктура лепш разумее тон, тэмп, эмоцыі, характар і кантэкст тэксту, таму сінтэзаваная гаворка больш нагадвае выкананне ролі, а не звычайнае агучванне.

У сцэнары можна дадаваць падрабязныя пазнакі: эмоцыі, рэакцыі, акцэнт, гукавыя эфекты і спосаб падачы асобнай рэплікі. Напрыклад, мадэль разумее інструкцыі накшталт [смяецца], [гаворыць злосна з французскім акцэнтам] або [гук тэлефона].

Eleven v4 падтрымлівае больш за 90 моў, у тым ліку беларускую. Голас, запісаны на адной мове, можа гаварыць на іншых, захоўваючы сваю пазнавальнасць і лепш прытрымліваючыся мясцовага акцэнту. Гэта асабліва карысна для дубляжу, лакалізацыі рэкламы і шматмоўных галасавых агентаў.

Палепшылася і кланаванне голасу. Instant Voice Clone можа стварыць копію ўсяго з дзесяці секунд аўдыя, а Professional Voice Clone даступны для задач, дзе патрэбна максімальная дакладнасць. У доўгіх запісах мадэль лепш утрымлівае голас персанажа паміж асобнымі генерацыямі, дыялогамі і паўторна створанымі фрагментамі.

Версія Turbo разлічана на размовы ў рэальным часе. ElevenLabs заяўляе пра медыянную затрымку генерацыі каля 100 мс і час да пачатку гаворкі каля 150 мс. Гэта дазваляе галасавым агентам адказваць хутка, але без звыклай робатападобнай інтанацыі.

Для маркетынгу асноўны эфект — таннейшая вытворчасць шматмоўнай агучкі без страты адзінага голасу брэнда. Адзін акцёр або фірмовы голас можа выкарыстоўвацца ў рэкламе, роліках, падкастах і галасавых агентах на дзясятках рынкаў.

Eleven v4 і Eleven v4 Turbo ўжо даступныя ў ElevenCreative, ElevenAgents і праз API.

Паспрабаваць мадэль: elevenlabs.io/v4

Крыніца: ElevenLabs