Защо разделянето на високоговорителите в аудиото все още е трудно

Разделяне на високоговорителяе един от онези проблеми, които звучат просто, докато не се опитате да го направите. Имате едночасово интервю, панелна дискусия или запис на среща. Трябва да знаете кой какво е казал. Ръчното пречистване на аудио и етикетиране на високоговорителите отнема цяла вечност.

Техническият термин за това еговорител diarization, и се подобри драстично през последните няколко години благодарение на AI. Съвременните инструменти вече могат да анализират гласови модели, да откриват кога един човек спира да говори и друг започва, и да извеждат етикетирани сегменти автоматично. Но кои инструменти всъщност работят добре? И как избирате между безплатни, платени и опции с отворен код?

Как всъщност работи диаризацията на говорещия

В основата си диаризацията на говорещия отговаря на въпроса: "кой кога е говорил?" AI моделите анализират аудио сигнала и търсят уникални характеристики във всеки глас, като височина, каданс и тон. Те разделят записа на малки сегменти и групират сегменти с подобно звучене заедно.

Някои системи изискват да посочите броя на високоговорителите предварително. Други откриват броя автоматично. на GoogleПриложение за записващо устройствоизползва машинно обучение на устройството за етикетиране на високоговорители в реално време. OpenAI'sМодел Whisperобработва транскрипция, но се нуждае от допълнителни библиотеки за диаризация.

Точността на тези инструменти зависи до голяма степен от качеството на звука. Чистите записи с минимален фонов шум и отделни микрофони за всеки високоговорител винаги ще дават по-добри резултати от заснемането на цяла стая с един микрофон.

Speaker diarization process showing audio waveforms labeled by speaker

Най-добрите инструменти за автоматично разделяне на високоговорителите

Тук няма най-добър инструмент. Правилният избор зависи от вашите технически умения, бюджет и за какво ви е необходим резултатът. Ето практическа разбивка на най-надеждните налични опции в момента.

За нетехнически потребители

Описание: Транскрибира аудио с етикети на високоговорителите и ви позволява да редактирате записи чрез редактиране на текста. Това е един от най-лесните инструменти за използване, ако искате както транскрипция, така и редактиране на едно място.
Otter.ai: Работи добре за срещи и интервюта. Той се интегрира с Zoom, Google Meet и Microsoft Teams за транскрипция в реално време с идентификация на говорещия. Безплатното ниво ви дава ограничени минути на месец.
Гласов разделител: Опция, базирана на браузър, която управлява диаризацията на високоговорителя за аудио и видео файлове. Качвате файл и получавате отделни етикетирани сегменти за всеки говорител. Не е необходим акаунт за основна употреба.

За разработчици и технически потребители

WhisperX: Комбинира Whisper на OpenAI с диаризация на високоговорителя. Той е с отворен код, работи локално и дава точни резултати. Ще ви трябва Python и малко удобство с командния ред.
пианнота.аудио: Библиотека на Python, специално създадена за диаризация на високоговорителите. Той е много персонализиран и работи добре за изграждане на диаризация във вашите собствени приложения. Изисква токен за прегърнато лице, за да изтеглите предварително обучените модели.
Сглобяване AI: Базирана на API услуга, която предоставя дневник на говорещия заедно с транскрипция. Добър за интегриране в приложения или програмна обработка на големи пакети от файлове.

катоTechCrunch отбеляза, търсенето на автоматизирана транскрипция с идентификация на говорещия нарасна значително с нарастването на отдалечената и хибридна работа. Повечето от тези инструменти са подобрили значително своята точност през последната година.

Стъпка по стъпка: Разделяне на високоговорителите във вашия запис

Независимо кой инструмент изберете, общият работен процес следва същия модел. Ето как да постигнете най-добри резултати.

1. Подгответе вашето аудио

Започнете с най-чистия звук, който можете да получите. Ако вашият източник е видео файл, първо извлечете аудиото. Можете да използвате инструменти катовидео към MP3 конверторили FFmpeg от командния ред:

ffmpeg -i среща-запис.mp4 -vn -aformat mp3 среща-аудио.mp3

Използвайте формати без загуби като WAV или FLAC, когато е възможно. Компресираните формати като MP3 губят някои аудио детайли, които могат да повлияят на точността на диаризацията.

2. Стартирайте диаризацията

Качете или обработете вашето аудио чрез избрания от вас инструмент. Ако знаете точния брой говорители, уточнете го. Това помага на алгоритъма да избегне разделянето на един високоговорител на два или сливането на два високоговорителя в един.

За WhisperX командата изглежда така:

whisperx audio.wav --diarize --min_speakers 2 --max_speakers 4

3. Преглед и почистване

Никой инструмент не е 100% точен. Вероятно ще трябва да прегледате резултата и да коригирате няколко неправилно приписани сегмента. Това все още е много по-бързо, отколкото да правите цялото етикетиране ръчно. Инструменти като Descript улесняват тази стъпка, защото можете да редактирате преписа като текст и аудиото следва.

Workflow diagram for speaker separation from recording to labeled output

Съвети за записване, които правят диаризацията по-точна

Качеството на вашето разделяне е толкова добро, колкото качеството на вашия запис. Няколко малки промени в начина, по който записвате, могат значително да подобрят резултатите.

Отделни микрофони:Дайте на всеки високоговорител собствен микрофон, когато е възможно. Това е най-голямото подобрение, което можете да направите. Lavalier микрофоните са евтини и ефективни за интервюта.
Намалете фоновия шум:Записвайте в тиха стая. Затворете прозорците, изключете вентилаторите и избягвайте стаи с твърди повърхности, които създават ехо.
Избягвайте пресичане:Когато високоговорителите говорят помежду си, дори най-добрият AI се бори. Помолете участниците да направят пауза, преди да отговорят. Това е особено важно за отдалечени разговори.
Използвайте високи честоти на дискретизация:Записвайте при 44,1 kHz или по-висока. По-ниските честоти на дискретизация губят фините гласови разлики, на които разчитат моделите за диаризация.

За уеб разработчици, създаващи персонализирани аудио решения, theДокументация за MDN Web Audio APIобхваща подробно аудио обработката на браузъра.

Сценарии от реалния свят, при които това спестява часове

Подкаст производство

Записахте двучасов епизод с трима гости на едно обаждане в Zoom. Без дневник редактирането означава слушане на целия запис, за да разберете кой какво е казал. С разделянето на високоговорителите получавате препис с етикет за минути. Можете да преминете направо към редактиране на частите, които се нуждаят от работа.

Освен това наличието на отделни етикети на високоговорителите улеснява регулирането на нивата на звука за всеки високоговорител. Ако един гост е бил по-тих от останалите, можете да усилите само неговите сегменти, без да засягате останалата част от звука.

Юридическа и медицинска транскрипция

Депозитите, консултациите с пациенти и съдебните производства изискват точно приписване. Получаването на неправилен цитат или приписването му на грешен говорител може да има сериозни последствия. Автоматизираното диаризиране осигурява първо преминаване, което след това човек може да провери, намалявайки значително общото време.

Журналистика и изследвания

Журналистите, които провеждат интервюта с множество източници, се нуждаят от точно посочване на авторството за цитати. катоArs Technica съобщи, редакциите все повече възприемат автоматизирани инструменти за транскрипция, за да ускорят своите работни процеси за отчитане. Изследователите, анализиращи фокус групи или интервюта, са изправени пред подобни предизвикателства, а дневникът на говорещия може да превърне дните ръчна работа в часове.

Безплатно срещу платено: от какво всъщност се нуждаете

Повечето хора, които от време на време правят разделяне на високоговорителите, могат да се справят с безплатни инструменти. Безплатно ниво на Otter.ai, базирани на браузър инструменти като нашитегласов разделител, и опциите с отворен код като WhisperX се справят добре с основната диаризация.

Платените нива си струват, когато обработвате големи обеми редовно, имате нужда от достъп до API за автоматизация или изисквате по-висока точност на трудно аудио. Платените планове на Descript добавят разширени функции за редактиране. AssemblyAI таксува за аудио час, но се справя добре с пакетната обработка.

Разликата между безплатните и платените опции е намаляла значително. За повечето създатели, подкастери и журналисти, започването с безплатен инструмент и надграждането едва когато достигнете неговите ограничения е практичният подход.

Технологията за разделяне на високоговорителите достигна точката, в която наистина спестява време на всеки, който работи с аудио с множество високоговорители. Независимо дали използвате инструмент, базиран на браузър, настолно приложение или стартирате локално модели с отворен код, работният процес е лесен: чист аудио вход, етикетирани високоговорители навън. Инструментите ще продължат да се подобряват оттук нататък.