Miks on kõlarite eraldamine helis endiselt valus?

Kõlari eraldamineon üks neist probleemidest, mis kõlab lihtsana, kuni proovite seda tegelikult teha. Teil on tunniajaline intervjuu, paneeldiskussioon või koosoleku salvestus. Sa pead teadma, kes mida ütles. Heli käsitsi puhastamine ja kõlarite sildistamine kestab igaviku.

Selle tehniline termin onkõneleja diarisatsioon, ja see on tänu AI-le viimastel aastatel järsult paranenud. Kaasaegsed tööriistad saavad nüüd analüüsida häälemustreid, tuvastada, millal üks inimene lõpetab rääkimise ja teine alustab, ning väljastada märgistatud segmendid automaatselt. Kuid millised tööriistad töötavad tegelikult hästi? Ja kuidas valida tasuta, tasulise ja avatud lähtekoodiga valikute vahel?

Kuidas kõneleja diarisatsioon tegelikult töötab

Kõneleja diariseerimine vastab oma tuumale küsimusele: "kes millal rääkis?" AI-mudelid analüüsivad helisignaali ja otsivad iga hääle ainulaadseid omadusi, nagu helikõrgus, kadents ja toon. Nad jagavad salvestise väikesteks segmentideks ja grupeerivad sarnase kõlaga segmendid kokku.

Mõned süsteemid nõuavad kõlarite arvu eelnevalt määramist. Teised tuvastavad loenduse automaatselt. Google'i omaSalvesti rakenduskasutab reaalajas kõlarite märgistamiseks seadmes masinõpet. OpenAI-dSosinal mudeltegeleb transkriptsiooniga, kuid vajab diariseerimiseks täiendavaid teeke.

Nende tööriistade täpsus sõltub suuresti helikvaliteedist. Puhtad salvestused minimaalse taustamüraga ja eraldi mikrofonidega iga kõlari jaoks annavad alati paremaid tulemusi kui tervet ruumi jäädvustav üksik mikrofon.

Speaker diarization process showing audio waveforms labeled by speaker

Parimad tööriistad kõlarite automaatseks eraldamiseks

Siin pole ühtegi parimat tööriista. Õige valik sõltub teie tehnilistest oskustest, eelarvest ja sellest, milleks väljundit vajate. Siin on praegu saadaolevate kõige usaldusväärsemate valikute praktiline jaotus.

Mittetehnilistele kasutajatele

Kirjeldus: transkribeerib heli koos kõlarite siltidega ja võimaldab teil teksti redigeerimise teel salvestisi redigeerida. See on üks lihtsamaid tööriistu, mida kasutada, kui soovite nii transkriptsiooni kui ka redigeerimist ühes kohas.
Otter.ai: sobib hästi koosolekute ja intervjuude jaoks. See integreerub Zoomi, Google Meeti ja Microsoft Teamsiga reaalajas transkriptsiooniks koos kõlarite tuvastamisega. Tasuta tase annab teile piiratud minutid kuus.
Hääle eraldaja: brauseripõhine suvand, mis käsitleb heli- ja videofailide kõlarite päevikut. Laadite üles faili ja saate iga kõlari jaoks eraldi märgistatud segmendid. Põhikasutuseks pole kontot vaja.

Arendajatele ja tehnilistele kasutajatele

WhisperX: ühendab OpenAI Whisperi kõneleja diariseerimisega. See on avatud lähtekoodiga, töötab kohapeal ja annab täpseid tulemusi. Teil on vaja Pythonit ja käsurea mugavust.
pyannote.audio: Pythoni teek, mis on spetsiaalselt loodud kõnelejate päevaraamatu jaoks. See on väga kohandatav ja sobib hästi diariseerimise loomiseks teie enda rakendustesse. Eelkoolitatud mudelite allalaadimiseks on vaja kallistava näo märki.
AssambleeAI: API-põhine teenus, mis pakub koos transkriptsiooniga kõneleja päevikut. Sobib rakendustesse integreerimiseks või suurte failide programmiliseks töötlemiseks.

NaguTechCrunch märkis, on nõudlus kõlarite tuvastamisega automaatse transkriptsiooni järele märkimisväärselt kasvanud koos kaug- ja hübriidtöö levikuga. Enamiku nende tööriistade täpsus on viimase aasta jooksul oluliselt paranenud.

Samm-sammult: kõlarite eraldamine salvestusel

Sõltumata sellest, millise tööriista valite, järgib üldine töövoog sama mustrit. Siin on, kuidas saada parimaid tulemusi.

1. Valmistage heli ette

Alustage puhtaima heliga, mida saate. Kui teie allikaks on videofail, eraldage esmalt heli. Võite kasutada selliseid tööriistu naguvideo MP3-muundurvõi FFmpeg käsurealt:

ffmpeg -i meeting-recording.mp4 -vn -aformat mp3 meeting-audio.mp3

Võimalusel kasutage kadudeta vorminguid, nagu WAV või FLAC. Tihendatud vormingud, nagu MP3, kaotavad osa heli üksikasjadest, mis võivad mõjutada diariseerimise täpsust.

2. Käivitage Diariseerimine

Laadige heli üles või töötlege valitud tööriista abil. Kui teate kõlarite täpset arvu, täpsustage see. See aitab algoritmil vältida ühe kõlari jagamist kaheks või kahe kõlari ühendamist üheks.

WhisperX-i jaoks näeb käsk välja umbes selline:

whisperx audio.wav --diarize --min_speakers 2 --max_speakers 4

3. Vaadake üle ja puhastage

Ükski tööriist pole 100% täpne. Tõenäoliselt peate väljundi üle vaatama ja parandama mõned valesti omistatud segmendid. See on ikka palju kiirem kui kogu märgistamise käsitsi tegemine. Sellised tööriistad nagu Descript muudavad selle sammu lihtsamaks, kuna saate transkriptsiooni tekstina redigeerida ja heli järgneb sellele.

Workflow diagram for speaker separation from recording to labeled output

Salvestusnäpunäited, mis muudavad diarimise täpsemaks

Teie eraldamise kvaliteet on sama hea kui teie salvestuse kvaliteet. Mõned väikesed muudatused salvestamises võivad tulemusi oluliselt parandada.

Eraldi mikrofonid:Võimalusel andke igale kõlarile oma mikrofon. See on suurim parandus, mida saate teha. Lavalieri mikrofonid on intervjuude jaoks odavad ja tõhusad.
Taustmüra vähendamine:Salvestage vaikses ruumis. Sulgege aknad, lülitage ventilaatorid välja ja vältige kaja tekitavate kõvade pindadega ruume.
Vältige ülekõnet:Kui kõlarid üksteisest üle räägivad, on isegi parimal tehisintellektil raskusi. Paluge osalejatel enne vastamist paus teha. See on eriti oluline kaugkõnede puhul.
Kasutage kõrgeid valimisagedusi:Salvestage sagedusel 44,1 kHz või rohkem. Madalamad diskreetimissagedused kaotavad peened hääleerinevused, millele diariseerimismudelid tuginevad.

Veebiarendajatele, kes loovad kohandatud helilahendusi,MDN Web Audio API dokumentatsioonhõlmab üksikasjalikult brauseripõhist helitöötlust.

Reaalse maailma stsenaariumid, kus see säästab tunde

Podcastide tootmine

Salvestasite kahetunnise episoodi kolme külalisega ühe Zoomi kõne ajal. Ilma diariseerimiseta tähendab redigeerimine kogu salvestise kuulamist, et aru saada, kes mida ütles. Kõnerite eraldamisega saate sildistatud ärakirja mõne minutiga. Saate otse tööd vajavate osade redigeerimise juurde hüpata.

Lisaks võimaldab eraldi kõlarite sildid iga kõlari helitugevust hõlpsalt reguleerida. Kui üks külaline oli teistest vaiksem, saate ainult tema segmente võimendada ilma ülejäänud heli mõjutamata.

Juriidiline ja meditsiiniline transkriptsioon

Hoiatused, patsientide konsultatsioonid ja kohtumenetlused nõuavad täpset omistamist. Vale tsiteerimisel või valele kõnelejale omistamisel võivad olla tõsised tagajärjed. Automaatne diariseerimine annab esimese läbimise, mida inimtranskribeerija saab seejärel kontrollida, lühendades oluliselt koguaega.

Ajakirjandus ja teadus

Ajakirjanikud, kes teevad intervjuusid mitme allikaga, vajavad tsitaatide jaoks täpset omistamist. NaguArs Technica teatas, võtavad uudistetoimetused oma aruandluse töövoogude kiirendamiseks üha enam kasutusele automatiseeritud transkriptsioonitööriistu. Fookusgruppe või intervjuusid analüüsivad teadlased seisavad silmitsi sarnaste väljakutsetega ja kõneleja päeviku koostamine võib muuta käsitsi tehtud päevad tundideks.

Tasuta või tasuline: mida te tegelikult vajate

Enamik inimesi, kes aeg-ajalt kõlareid eraldavad, saavad hakkama tasuta tööriistadega. Otter.ai tasuta brauseripõhised tööriistad, nagu meiehääle eraldaja, ja avatud lähtekoodiga valikud, nagu WhisperX, saavad hästi hakkama põhidialoogiga.

Tasulised tasemed on seda väärt, kui töötlete regulaarselt suuri mahtusid, vajate automatiseerimiseks API-juurdepääsu või vajate keerulise heli puhul suuremat täpsust. Descripti tasulised plaanid lisavad täiustatud redigeerimisfunktsioone. AssemblyAI võtab tasu helitunni eest, kuid saab hästi hakkama paketttöötlusega.

Tasuta ja tasuliste võimaluste vaheline lõhe on oluliselt vähenenud. Enamiku sisuloojate, taskuhäälingusaatjate ja ajakirjanike jaoks on praktiline lähenemisviis tasuta tööriistaga alustamine ja uuendamine alles siis, kui olete saavutanud selle piirid.

Kõlarite eraldamise tehnoloogia on jõudnud punkti, kus see säästab tõeliselt aega igaühe jaoks, kes töötab mitme kõlariga heliga. Olenemata sellest, kas kasutate brauseripõhist tööriista, töölauarakendust või käitate avatud lähtekoodiga mudeleid kohapeal, on töövoog lihtne: puhas heli sisse, märgistatud kõlarid välja. Tööriistad lähevad siit edasi ainult paremaks.