Kāpēc skaļruņu atdalīšana audio joprojām ir sāpīga?

Skaļruņu atdalīšanair viena no tām problēmām, kas izklausās vienkārši, līdz jūs patiešām mēģināt to izdarīt. Jums ir stundu ilga intervija, paneļdiskusija vai sapulces ieraksts. Jums jāzina, kurš ko teica. Manuāla audio tīrīšana un skaļruņu marķēšana ilgst mūžīgi.

Tehniskais termins šim irrunātāja diarizācija, un pēdējos gados tas ir ievērojami uzlabojies, pateicoties AI. Mūsdienīgie rīki tagad var analizēt balss modeļus, noteikt, kad viena persona pārtrauc runāt un cita sāk runāt, un automātiski izvadīt marķētos segmentus. Bet kuri rīki patiesībā darbojas labi? Un kā izvēlēties starp bezmaksas, maksas un atvērtā pirmkoda opcijām?

Kā patiesībā darbojas runātāja diarizēšana

Runātāja diarizācijas pamatā ir atbilde uz jautājumu: "kurš kad runāja?" AI modeļi analizē audio signālu un meklē katras balss unikālas īpašības, piemēram, augstumu, ritmu un toni. Viņi sadala ierakstu mazos segmentos un sagrupē līdzīgi skanīgus segmentus.

Dažām sistēmām ir nepieciešams iepriekš norādīt skaļruņu skaitu. Citi nosaka skaitu automātiski. GoogleIerakstītāja lietotneizmanto ierīces mašīnmācīšanos reāllaika skaļruņu marķēšanai. OpenAIČukstu modelisapstrādā transkripciju, bet ir nepieciešamas papildu bibliotēkas diarizācijai.

Šo rīku precizitāte lielā mērā ir atkarīga no audio kvalitātes. Tīri ieraksti ar minimālu fona troksni un atsevišķiem mikrofoniem katram skaļrunim vienmēr nodrošinās labākus rezultātus nekā viens mikrofons, kas tver visu telpu.

Speaker diarization process showing audio waveforms labeled by speaker

Labākie rīki automātiskai skaļruņu atdalīšanai

Šeit nav viena labākā instrumenta. Pareizā izvēle ir atkarīga no jūsu tehniskajām prasmēm, budžeta un tā, kam jums ir nepieciešama produkcija. Šeit ir praktisks pašlaik pieejamo uzticamāko iespēju sadalījums.

Lietotājiem, kas nav tehniski

Apraksts: pārraksta audio ar skaļruņu etiķetēm un ļauj rediģēt ierakstus, rediģējot tekstu. Tas ir viens no vienkāršākajiem rīkiem, ko izmantot, ja vēlaties gan transkripciju, gan rediģēšanu vienuviet.
Ūdrs.ai: labi darbojas sanāksmēm un intervijām. Tas ir integrēts ar Zoom, Google Meet un Microsoft Teams, lai reāllaikā veiktu transkripciju ar runātāja identifikāciju. Bezmaksas līmenis sniedz jums ierobežotas minūtes mēnesī.
Balss atdalītājs: pārlūkprogrammas opcija, kas apstrādā skaļruņu dienasgrāmatu audio un video failiem. Jūs augšupielādējat failu un katram skaļrunim iegūstat atsevišķus segmentus ar etiķetēm. Pamata lietošanai konts nav nepieciešams.

Izstrādātājiem un tehniskajiem lietotājiem

WhisperX: Apvieno OpenAI Whisper ar skaļruņu diarizāciju. Tas ir atvērts avots, darbojas lokāli un rada precīzus rezultātus. Jums būs nepieciešams Python un komandrindas komforts.
pyannote.audio: Python bibliotēka, kas īpaši izveidota skaļruņu dienasgrāmatai. Tas ir ļoti pielāgojams, un tas labi darbojas, lai izveidotu diarizāciju savās lietojumprogrammās. Lai lejupielādētu iepriekš apmācītus modeļus, ir nepieciešams apskaujošas sejas marķieris.
AsamblejaAI: uz API balstīts pakalpojums, kas nodrošina runātāju dienasgrāmatu līdzās transkripcijai. Piemērots integrēšanai lietotnēs vai lielas failu paketes programmatiskai apstrādei.

KāTechCrunch atzīmēja, pieprasījums pēc automatizētas transkripcijas ar skaļruņu identifikāciju ir ievērojami pieaudzis, palielinoties attālinātajam un hibrīdajam darbam. Lielākā daļa šo rīku ir ievērojami uzlabojuši savu precizitāti pēdējā gada laikā.

Soli pa solim: skaļruņu atdalīšana ierakstā

Neatkarīgi no izvēlētā rīka vispārējā darbplūsma notiek saskaņā ar to pašu modeli. Lūk, kā iegūt vislabākos rezultātus.

1. Sagatavojiet savu audio

Sāciet ar tīrāko audio, kādu vien varat iegūt. Ja jūsu avots ir video fails, vispirms izņemiet audio. Varat izmantot tādus rīkus kāvideo uz MP3 pārveidotājsvai FFmpeg no komandrindas:

ffmpeg -i meeting-recording.mp4 -vn -aformat mp3 meeting-audio.mp3

Ja iespējams, izmantojiet bezzudumu formātus, piemēram, WAV vai FLAC. Saspiesti formāti, piemēram, MP3, zaudē dažas audio detaļas, kas var ietekmēt diarizācijas precizitāti.

2. Palaidiet Diarizēšanu

Augšupielādējiet vai apstrādājiet audio, izmantojot izvēlēto rīku. Ja zināt precīzu skaļruņu skaitu, norādiet to. Tas palīdz algoritmam izvairīties no viena skaļruņa sadalīšanas divās vai divu skaļruņu sapludināšanas vienā.

WhisperX komanda izskatās apmēram šādi:

whisperx audio.wav --diarizēšana --min_speakers 2 --max_speakers 4

3. Pārskatiet un notīriet

Neviens rīks nav 100% precīzs. Visticamāk, jums būs jāpārskata izvade un jāizlabo daži nepareizi piešķirti segmenti. Tas joprojām ir daudz ātrāk, nekā visu marķēšanu veikt manuāli. Rīki, piemēram, Descript, atvieglo šo darbību, jo varat rediģēt atšifrējumu kā tekstu, un audio seko līdzi.

Workflow diagram for speaker separation from recording to labeled output

Ierakstīšanas padomi, kas padara diarizēšanu precīzāku

Jūsu atdalīšanas kvalitāte ir tikpat laba kā ieraksta kvalitāte. Dažas nelielas izmaiņas ierakstīšanas veidā var ievērojami uzlabot rezultātus.

Atsevišķi mikrofoni:Kad vien iespējams, katram skaļrunim piešķiriet savu mikrofonu. Šis ir lielākais uzlabojums, ko varat veikt. Lavalier mikrofoni ir lēti un efektīvi intervijām.
Samaziniet fona troksni:Ierakstiet klusā telpā. Aizveriet logus, izslēdziet ventilatorus un izvairieties no telpām ar cietām virsmām, kas rada atbalsi.
Izvairieties no šķērsrunas:Kad skaļruņi runā viens ar otru, pat vislabākais AI saskaras ar grūtībām. Palūdziet dalībniekiem pauzēt pirms atbildes. Tas ir īpaši svarīgi attāliem zvaniem.
Izmantojiet lielus izlases ātrumus:Ierakstiet ar 44,1 kHz vai augstāku frekvenci. Zemāks iztveršanas ātrums zaudē smalkās balss atšķirības, uz kurām balstās diarizācijas modeļi.

Tīmekļa izstrādātājiem, kuri veido pielāgotus audio risinājumus,MDN Web Audio API dokumentācijadetalizēti aptver pārlūkprogrammas audio apstrādi.

Reālās pasaules scenāriji, kur tas ietaupa stundas

Podcast producēšana

Jūs ierakstījāt divu stundu sēriju ar trim viesiem vienā Zoom zvanā. Bez diarizācijas rediģēšana nozīmē noklausīties visu ierakstu, lai saprastu, kurš ko teica. Izmantojot skaļruņu atdalīšanu, jūs saņemsiet marķētu atšifrējumu dažu minūšu laikā. Varat uzreiz pāriet uz to daļu rediģēšanu, kurām nepieciešams darbs.

Turklāt, izmantojot atsevišķas skaļruņu etiķetes, ir viegli pielāgot skaļuma līmeni katram skaļrunim. Ja viens viesis bija klusāks par citiem, varat uzlabot tikai viņu segmentus, neietekmējot pārējo audio.

Juridiskā un medicīniskā transkripcija

Norādījumi, pacientu konsultācijas un tiesas procesi prasa precīzu attiecinājumu. Nepareiza citāta saņemšana vai tā attiecināšana uz nepareizu runātāju var radīt nopietnas sekas. Automatizētā diarizācija nodrošina pirmo caurlaidi, ko cilvēka transkribētājs pēc tam var pārbaudīt, ievērojami samazinot kopējo laiku.

Žurnālistika un pētniecība

Žurnālistiem, kas veic intervijas ar vairākiem avotiem, ir nepieciešams precīzs citātu attiecinājums. KāArs Technica ziņoja, redakcijas arvien vairāk izmanto automatizētus transkripcijas rīkus, lai paātrinātu ziņošanas darbplūsmas. Pētnieki, kas analizē fokusa grupas vai intervijas, saskaras ar līdzīgām problēmām, un runātāju dienasgrāmata var pārvērst dienas manuālā darba stundās.

Bezmaksas un maksas: kas jums patiesībā ir nepieciešams

Lielākā daļa cilvēku, kas neregulāri atdala skaļruņus, var iztikt, izmantojot bezmaksas rīkus. Otter.ai bezmaksas pārlūkprogrammas rīki, piemēram, mūsubalss atdalītājs, un atvērtā pirmkoda opcijas, piemēram, WhisperX, labi apstrādā pamata diarizāciju.

Maksas līmeņi kļūst tā vērti, ja regulāri apstrādājat lielus apjomus, automatizācijai nepieciešama API piekļuve vai nepieciešama augstāka sarežģītā audio precizitāte. Descript maksas plāniem ir pievienotas uzlabotas rediģēšanas funkcijas. AssemblyAI iekasē maksu par audio stundu, bet labi apstrādā pakešu apstrādi.

Plaisa starp bezmaksas un maksas iespējām ir ievērojami samazinājusies. Lielākajai daļai satura veidotāju, aplādzinātāju un žurnālistu praktiska pieeja ir sākt ar bezmaksas rīku un veikt jaunināšanu tikai tad, kad esat sasniedzis tā robežas.

Skaļruņu atdalīšanas tehnoloģija ir sasniegusi punktu, kurā tā patiešām ietaupa laiku ikvienam, kas strādā ar vairāku skaļruņu audio. Neatkarīgi no tā, vai izmantojat pārlūkprogrammu balstītu rīku, darbvirsmas lietotni vai lokāli darbināt atvērtā pirmkoda modeļus, darbplūsma ir vienkārša: tīrs audio ieeja, skaļruņu izeja ar etiķetēm. No šejienes rīki kļūs tikai labāki.