Kodėl garsiakalbių atskyrimas garsu vis dar yra kančia?

Garsiakalbių atskyrimasyra viena iš tų problemų, kuri skamba paprastai, kol nepabandai to padaryti. Turite valandos trukmės interviu, panelinę diskusiją arba susitikimo įrašą. Reikia žinoti, kas ką pasakė. Rankinis garso šveitimas ir garsiakalbių žymėjimas užtrunka amžinai.

Techninis terminas yrakalbėtojo diarizacija, o per pastaruosius kelerius metus jis labai pagerėjo dėl AI. Šiuolaikiniai įrankiai dabar gali analizuoti balso raštus, nustatyti, kada vienas asmuo nustoja kalbėti, o kitas pradeda, ir automatiškai išvesti pažymėtus segmentus. Bet kurios priemonės iš tikrųjų veikia gerai? O kaip pasirinkti tarp nemokamų, mokamų ir atvirojo kodo parinkčių?

Kaip iš tikrųjų veikia garsiakalbio diarizacija

Iš esmės kalbėtojo diarizacija atsako į klausimą: "kas kada kalbėjo?" AI modeliai analizuoja garso signalą ir kiekviename balse ieško unikalių savybių, tokių kaip aukštis, ritmas ir tonas. Jie suskaido įrašą į mažus segmentus ir sugrupuoja panašiai skambančius segmentus.

Kai kuriose sistemose reikia iš anksto nurodyti garsiakalbių skaičių. Kiti aptinka skaičių automatiškai. GoogleĮrašymo programanaudoja įrenginio mašininį mokymąsi realiuoju laiku garsiakalbių žymėjimui. OpenAIŠnabždesio modelistvarko transkripciją, bet reikia papildomų bibliotekų dienoraščiui.

Šių įrankių tikslumas labai priklauso nuo garso kokybės. Švarūs įrašai su minimaliu foniniu triukšmu ir atskiru mikrofonu kiekvienam garsiakalbiui visada duos geresnių rezultatų nei vienas mikrofonas, fiksuojantis visą kambarį.

Speaker diarization process showing audio waveforms labeled by speaker

Geriausi automatinio garsiakalbių atskyrimo įrankiai

Čia nėra vieno geriausio įrankio. Tinkamas pasirinkimas priklauso nuo jūsų techninių įgūdžių, biudžeto ir nuo to, ko jums reikia. Čia pateikiamas praktinis šiuo metu prieinamų patikimiausių variantų suskirstymas.

Netechniniams vartotojams

Aprašymas: perrašo garsą su garsiakalbių etiketėmis ir leidžia redaguoti įrašus redaguojant tekstą. Tai vienas iš paprasčiausių įrankių, naudojamų, jei norite ir transkripciją, ir redaguoti vienoje vietoje.
Ūdra.ai: puikiai tinka susitikimams ir interviu. Jis integruojamas su „Zoom“, „Google Meet“ ir „Microsoft Teams“, kad būtų galima transkribuoti realiuoju laiku ir identifikuoti garsiakalbį. Nemokama pakopa suteikia jums ribotas minutes per mėnesį.
Balso skyriklis: naršyklėje sukurta parinktis, kuri tvarko garso ir vaizdo failų garsiakalbių dienoraštį. Įkeliate failą ir kiekvienam garsiakalbiui gaunate atskirus pažymėtus segmentus. Pagrindiniam naudojimui paskyros nereikia.

Kūrėjams ir techniniams vartotojams

WhisperX: sujungia „OpenAI“ šnabždesį su garsiakalbio diarizavimu. Jis yra atvirojo kodo, veikia vietoje ir pateikia tikslius rezultatus. Jums reikės Python ir šiek tiek patogumo naudojant komandinę eilutę.
pyannote.audio: Python biblioteka, specialiai sukurta garsiakalbių dienoraščiui. Jis yra labai pritaikomas ir puikiai tinka kurti dienoraščius į savo programas. Norint atsisiųsti iš anksto apmokytus modelius, reikalingas apkabinimo veido ženklas.
AsamblėjaAI: API pagrįsta paslauga, kuri kartu su transkripcija teikia kalbėtojų dienoraštį. Tinka integruoti į programas arba programiškai apdoroti dideles failų partijas.

Kaip„TechCrunch“ pažymėjo, automatizuotos transkripcijos su garsiakalbio atpažinimo paklausa labai išaugo, didėjant nuotoliniam ir hibridiniam darbui. Per pastaruosius metus daugumos šių įrankių tikslumas gerokai pagerėjo.

Žingsnis po žingsnio: garsiakalbių atskyrimas įraše

Nepriklausomai nuo to, kokį įrankį pasirinksite, bendra darbo eiga vyksta pagal tą patį modelį. Štai kaip pasiekti geriausių rezultatų.

1. Paruoškite savo garso įrašą

Pradėkite nuo švariausio garso, kokį tik galite gauti. Jei jūsų šaltinis yra vaizdo failas, pirmiausia išskleiskite garsą. Galite naudoti tokius įrankius kaipvaizdo įrašų konverteris į MP3arba FFmpeg iš komandinės eilutės:

ffmpeg -i meeting-recording.mp4 -vn -aformat mp3 meeting-audio.mp3

Jei įmanoma, naudokite formatus be nuostolių, pvz., WAV arba FLAC. Suspausti formatai, pvz., MP3, praranda kai kurias garso detales, kurios gali turėti įtakos diarizacijos tikslumui.

2. Paleiskite Diarizaciją

Įkelkite arba apdorokite garsą naudodami pasirinktą įrankį. Jei žinote tikslų garsiakalbių skaičių, nurodykite jį. Tai padeda algoritmui išvengti vieno garsiakalbio padalijimo į du arba dviejų garsiakalbių sujungimo į vieną.

WhisperX komanda atrodo maždaug taip:

whisperx audio.wav --diarize --min_speakers 2 --max_speakers 4

3. Peržiūrėkite ir išvalykite

Nė vienas įrankis nėra 100% tikslus. Tikėtina, kad turėsite peržiūrėti išvestį ir pataisyti keletą netinkamai priskirtų segmentų. Tai vis tiek daug greičiau, nei visą ženklinimą atlikti rankiniu būdu. Įrankiai, tokie kaip aprašas, palengvina šį veiksmą, nes galite redaguoti stenogramą kaip tekstą, o garso įrašas seka kartu.

Workflow diagram for speaker separation from recording to labeled output

Įrašymo patarimai, kurie leidžia tiksliau įrašyti dienoraštį

Jūsų atskyrimo kokybė yra tokia pat gera, kaip ir įrašymo kokybė. Keli nedideli įrašymo būdo pakeitimai gali žymiai pagerinti rezultatus.

Atskiri mikrofonai:Kai tik įmanoma, kiekvienam garsiakalbiui suteikite savo mikrofoną. Tai yra didžiausias patobulinimas, kurį galite padaryti. Lavalier mikrofonai yra pigūs ir veiksmingi interviu.
Sumažinkite foninį triukšmą:Įrašykite tylioje patalpoje. Uždarykite langus, išjunkite ventiliatorius ir venkite patalpų su kietais paviršiais, sukeliančiais aidą.
Venkite perkalbėjimo:Kai garsiakalbiai kalba vieni apie kitus, net geriausi AI susiduria su sunkumais. Prieš atsakydami paprašykite dalyvių stabtelėti. Tai ypač svarbu nuotoliniams skambučiams.
Naudokite didelius mėginių dažnius:Įrašykite 44,1 kHz ar aukštesniu dažniu. Mažesni atrankos dažniai praranda subtilius balso skirtumus, kuriais remiasi diarizacijos modeliai.

Interneto kūrėjams, kuriantiems pasirinktinius garso sprendimus,MDN Web Audio API dokumentacijaišsamiai aprašomas naršyklės garso apdorojimas.

Realaus pasaulio scenarijai, kai tai leidžia sutaupyti valandų

Podcast'ų gamyba

Vieno Zoom skambučio metu įrašėte dviejų valandų epizodą su trimis svečiais. Be diarizacijos, redaguoti reiškia klausytis viso įrašo, kad išsiaiškintumėte, kas ką pasakė. Atskirdami garsiakalbius, per kelias minutes gausite pažymėtą nuorašą. Galite pereiti tiesiai prie dalių, kurioms reikia darbo, redagavimo.

Be to, atskiros garsiakalbių etiketės leidžia lengvai reguliuoti vieno garsiakalbio garsumą. Jei vienas svečias buvo tylesnis nei kiti, galite sustiprinti tik jo segmentus, nepaveikdami likusio garso.

Teisinė ir medicininė transkripcija

Nurodymai, pacientų konsultacijos ir teismo procesai reikalauja tikslaus priskyrimo. Neteisinga citata arba jos priskyrimas netinkamam kalbėtojui gali turėti rimtų pasekmių. Automatizuotas dienoraštis suteikia pirmąjį praėjimą, kurį žmogaus transkribuotojas gali patikrinti ir žymiai sutrumpinti visą laiką.

Žurnalistika ir tyrimai

Žurnalistai, duodantys interviu iš kelių šaltinių, turi tiksliai nurodyti citatas. Kaip„Ars Technica“ pranešė, naujienų skyriai vis dažniau taiko automatizuotus transkripcijos įrankius, kad pagreitintų ataskaitų teikimo eigą. Tyrėjai, analizuojantys tikslines grupes ar interviu, susiduria su panašiais iššūkiais, o kalbėtojų dienoraštis gali paversti darbo dienas valandomis.

Nemokama ir mokama: ko jums iš tikrųjų reikia

Dauguma žmonių, kurie retkarčiais atskiria garsiakalbius, gali išsiversti naudodami nemokamus įrankius. „Otter.ai“ nemokami naršyklės įrankiai, tokie kaip mūsųbalso skyriklis, ir atvirojo kodo parinktys, pvz., WhisperX, puikiai tvarko pagrindinį dienoraštį.

Mokamos pakopos apsimoka, kai reguliariai apdorojate didelius kiekius, jums reikia API prieigos automatizavimui arba reikalaujama didesnio sudėtingo garso tikslumo. Aprašymo mokami planai prideda pažangių redagavimo funkcijų. „AssemblyAI“ ima mokestį už garso valandą, tačiau gerai apdoroja paketinį apdorojimą.

Atotrūkis tarp nemokamų ir mokamų pasirinkimų gerokai sumažėjo. Daugumai kūrėjų, internetinių transliuotojų ir žurnalistų praktiškas požiūris yra pradėti nuo nemokamo įrankio ir atnaujinti tik pasiekus jo ribas.

Garsiakalbių atskyrimo technologija pasiekė tašką, kai ji tikrai sutaupo laiko visiems, kurie dirba su kelių garsiakalbių garsu. Nesvarbu, ar naudojate naršyklės įrankį, darbalaukio programą, ar atvirojo kodo modelius naudojate vietoje, darbo eiga yra nesudėtinga: švarus garsas įvestis, garsiakalbiai pažymėti etiketėmis. Įrankiai nuo čia tik tobulės.