Miért fáj még mindig a hangszórók szétválasztása a hangban?

Hangszóró szétválasztásegyike azoknak a problémáknak, amelyek egészen addig egyszerűen hangzanak, amíg meg nem próbálják megtenni. Van egy órás interjú, panelbeszélgetés vagy találkozó felvétele. Tudnod kell, ki mit mondott. A hangszórók kézi súrolása és a hangszórók feliratozása örökké tart.

Ennek a szakkifejezése azbeszélő naplózása, és az elmúlt néhány évben az AI-nak köszönhetően drámaian javult. A modern eszközök már képesek elemezni a hangmintákat, észlelni, ha az egyik személy abbahagyja a beszédet, a másik pedig elkezdi, és automatikusan kiadják a feliratozott szegmenseket. De melyik eszköz működik igazán jól? És hogyan válassz ingyenes, fizetős és nyílt forráskódú lehetőségek között?

Hogyan működik valójában a hangszóró naplózása

Lényegében a beszélői naplózás a következő kérdésre válaszol: "ki mikor beszélt?" Az AI-modellek elemzik az audiojelet, és egyedi jellemzőket keresnek minden egyes hangban, például hangmagasságot, ütemet és hangszínt. Kis szegmensekre bontják a felvételt, és a hasonló hangzású szegmenseket csoportosítják.

Egyes rendszerek megkövetelik a hangszórók számának előzetes megadását. Mások automatikusan észlelik a számlálást. Google-éFelvevő alkalmazáseszközön történő gépi tanulást használ a valós idejű hangszórócímkézéshez. OpenAI-kSuttogó modellkezeli az átírást, de további könyvtárakra van szüksége a naplózáshoz.

Ezen eszközök pontossága nagymértékben függ a hangminőségtől. A tiszta felvételek minimális háttérzajjal és minden hangszóróhoz külön mikrofonnal mindig jobb eredményeket produkálnak, mint egyetlen mikrofon, amely egy egész szobát rögzít.

Speaker diarization process showing audio waveforms labeled by speaker

A legjobb eszközök az automatikus hangszóró-leválasztáshoz

Itt nincs egyetlen legjobb eszköz sem. A megfelelő választás az Ön technikai tudásától, költségvetésétől és attól függ, hogy mire van szüksége a kimenetre. Íme a jelenleg elérhető legmegbízhatóbb lehetőségek gyakorlati lebontása.

Nem műszaki felhasználóknak

Leírás: Hangot ír át hangszórócímkékkel, és lehetővé teszi a felvételek szerkesztését a szöveg szerkesztésével. Ez az egyik legkönnyebben használható eszköz, ha egy helyen szeretné átírni és szerkeszteni.
Vidra.ai: Jól használható megbeszéléseken és interjúkon. Integrálódik a Zoom, a Google Meet és a Microsoft Teams szolgáltatásaival, így valós idejű átírást végez a hangszóró azonosításával. Az ingyenes szint havonta korlátozott perceket biztosít.
Hangelválasztó: Böngésző alapú lehetőség, amely kezeli a hangszórók naplózását audio- és videofájlokhoz. Feltölt egy fájlt, és minden egyes hangszóróhoz külön feliratozott szegmenseket kap. Az alapfelhasználáshoz nincs szükség fiókra.

Fejlesztőknek és műszaki felhasználóknak

WhisperX: Az OpenAI Whisper-jét kombinálja a hangszóró naplózásával. Nyílt forráskódú, helyben fut, és pontos eredményeket produkál. Szüksége lesz Pythonra és némi kényelemre a parancssorral.
pyannote.audio: Egy Python-könyvtár, amelyet kifejezetten a hangszórók naplózására építettek. Nagymértékben testreszabható, és jól használható a naplózás saját alkalmazásaiba való beépítéséhez. Az előképzett modellek letöltéséhez átölelő arc token szükséges.
AssemblyAI: API-alapú szolgáltatás, amely a hangszórók naplózását biztosítja az átírás mellett. Alkalmazásokba való integráláshoz vagy nagy fájlkötegek programozott feldolgozásához.

MintTechCrunch megjegyezte, a hangszóró-azonosítással rendelkező automatizált átírás iránti igény jelentősen megnőtt a táv- és hibridmunka térnyerésével. Ezeknek az eszközöknek a többsége jelentősen javította a pontosságát az elmúlt évben.

Lépésről lépésre: A hangszórók szétválasztása a felvételen

Függetlenül attól, hogy melyik eszközt választja, az általános munkafolyamat ugyanazt a mintát követi. Így érheti el a legjobb eredményeket.

1. Készítse elő hangját

Kezdje a lehető legtisztább hanggal. Ha a forrás egy videofájl, először csomagolja ki a hangot. Használhat olyan eszközöket, mint plvideó MP3 konvertervagy FFmpeg parancssorból:

ffmpeg -i meeting-recording.mp4 -vn -aformat mp3 meeting-audio.mp3

Ha lehetséges, használjon veszteségmentes formátumokat, például WAV vagy FLAC. Az olyan tömörített formátumok, mint az MP3, elveszítenek néhány hangrészletet, ami befolyásolhatja a naplóírás pontosságát.

2. Futtassa a Diarizációt

Töltse fel vagy dolgozza fel hangját a választott eszközzel. Ha tudja a hangszórók pontos számát, adja meg. Ez segít az algoritmusnak elkerülni, hogy egy hangszórót ketté ossza, vagy két hangszórót egyesítsen.

WhisperX esetén a parancs valahogy így néz ki:

whisperx audio.wav --diarize --min_speakers 2 --max_speakers 4

3. Tekintse át és tisztítsa meg

Egyetlen eszköz sem 100%-ban pontos. Valószínűleg át kell tekintenie a kimenetet, és ki kell javítania néhány hibásan hozzárendelt szegmenst. Ez még mindig sokkal gyorsabb, mint a teljes címkézés manuálisan. Az olyan eszközök, mint a Descript, megkönnyítik ezt a lépést, mivel az átiratot szövegként szerkesztheti, és a hang követi.

Workflow diagram for speaker separation from recording to labeled output

Rögzítési tippek, amelyek pontosabbá teszik a naplózást

A szétválasztás minősége csak annyira jó, mint a felvétel minősége. Néhány apró változtatás a rögzítés módjában drámaian javíthatja az eredményeket.

Külön mikrofonok:Adjon minden hangszórónak saját mikrofont, amikor csak lehetséges. Ez az egyetlen legnagyobb fejlesztés, amit elérhetsz. A Lavalier mikrofonok olcsók és hatékonyak az interjúkhoz.
A háttérzaj csökkentése:Felvétel egy csendes szobában. Zárja be az ablakokat, kapcsolja ki a ventilátorokat, és kerülje a visszhangot keltő kemény felületű helyiségeket.
Kerülje az áthallást:Amikor a hangszórók átbeszélik egymást, még a legjobb mesterséges intelligencia is küzd. Kérje meg a résztvevőket, hogy álljanak meg, mielőtt válaszolnak. Ez különösen fontos távoli hívásoknál.
Használjon magas mintavételi arányt:Rögzítés 44,1 kHz vagy magasabb frekvencián. Az alacsonyabb mintavételi gyakoriság elveszíti azokat a finom hangkülönbségeket, amelyekre a diarizációs modellek támaszkodnak.

Az egyedi audiomegoldásokat építő webfejlesztők számára aMDN Web Audio API dokumentációrészletesen lefedi a böngésző alapú hangfeldolgozást.

Valós forgatókönyvek, ahol ez órákat takarít meg

Podcast gyártás

Egy kétórás epizódot rögzítettél három vendéggel egyetlen Zoom-hívás során. Diarizálás nélkül a szerkesztés azt jelenti, hogy meghallgatjuk a teljes felvételt, hogy rájöjjünk, ki mit mondott. A hangszórók szétválasztásával percek alatt megkapja a címkézett átiratot. Egyenesen a munkát igénylő részek szerkesztéséhez ugorhat.

Ezenkívül a különálló hangszórócímkék megkönnyítik a hangszórónkénti hangerő beállítását. Ha az egyik vendég halkabb volt, mint a többi, akkor csak a szegmenseiket emelheti ki anélkül, hogy ez befolyásolná a hang többi részét.

Jogi és orvosi átírás

A letételek, a betegek konzultációi és a bírósági eljárások mind pontos forrásmegadást igényelnek. Ha rossz árajánlatot kap, vagy rossz előadónak tulajdonítja, súlyos következményei lehetnek. Az automatizált naplózás első lépést biztosít, amelyet az emberi átíró ellenőrizni tud, jelentősen lerövidítve a teljes időt.

Újságírás és kutatás

Azoknak az újságíróknak, akik több forrásból interjút készítenek, pontos idézetekre van szükségük. MintAz Ars Technica jelentette, a szerkesztőségek egyre gyakrabban alkalmaznak automatizált átírási eszközöket jelentéskészítési munkafolyamataik felgyorsítása érdekében. A fókuszcsoportokat vagy interjúkat elemző kutatók hasonló kihívásokkal néznek szembe, és a beszélők naplózása több napos fizikai munkát órákká változtathat.

Ingyenes és fizetős: amire valójában szüksége van

A legtöbb ember, aki alkalmanként választja el a hangszórókat, meg tud boldogulni ingyenes eszközökkel. Az Otter.ai ingyenes, böngészőalapú eszközei, mint a miénkhangelválasztó, és a nyílt forráskódú opciók, mint például a WhisperX, mind jól kezelik az alapvető naplóírást.

A fizetős szintek megérik, ha rendszeresen nagy mennyiségeket dolgoz fel, API-hozzáférésre van szüksége az automatizáláshoz, vagy nagyobb pontosságot igényel a nehéz hangok esetében. A Descript fizetős csomagjai fejlett szerkesztési funkciókat adnak hozzá. Az AssemblyAI hangóránként fizet, de jól kezeli a kötegelt feldolgozást.

Az ingyenes és fizetős opciók közötti különbség jelentősen csökkent. A legtöbb alkotó, podcaster és újságíró számára a praktikus megközelítés egy ingyenes eszközzel kezdeni, és csak akkor frissíteni, ha eléri annak határait.

A hangszóró-elválasztási technológia elérte azt a pontot, ahol valóban időt takarít meg mindenkinek, aki több hangszórós hanggal dolgozik. Akár böngészőalapú eszközt, akár asztali alkalmazást használ, akár nyílt forráskódú modelleket futtat helyileg, a munkafolyamat egyszerű: tiszta hang bemenet, feliratozott hangszórók kimenet. Az eszközök innentől csak egyre jobbak lesznek.