오디오에서 스피커를 분리하는 것이 여전히 어려운 이유

스피커 분리실제로 해보기 전까지는 간단해 보이는 문제 중 하나입니다. 한 시간 동안의 인터뷰, 패널 토론 또는 회의 녹음이 있습니다. 누가 무슨 말을 했는지 알아야 합니다. 오디오를 수동으로 스크러빙하고 스피커에 라벨을 지정하는 데 시간이 오래 걸립니다.

이에 대한 기술 용어는 다음과 같습니다.화자 분할, AI 덕분에 지난 몇 년 동안 극적으로 개선되었습니다. 이제 최신 도구는 음성 패턴을 분석하고, 한 사람이 말하기를 멈추고 다른 사람이 말하기 시작하는 시점을 감지하고, 레이블이 지정된 세그먼트를 자동으로 출력할 수 있습니다. 그러나 어떤 도구가 실제로 잘 작동합니까? 무료, 유료, 오픈 소스 옵션 중에서 어떻게 선택합니까?

화자 분할이 실제로 작동하는 방식

기본적으로 화자 분할은 "누가 언제 말했습니까?"라는 질문에 답합니다. AI 모델은 오디오 신호를 분석하고 피치, 케이던스, 톤과 같은 각 음성의 고유한 특성을 찾습니다. 그들은 녹음을 작은 세그먼트로 나누고 비슷한 소리의 세그먼트를 그룹화합니다.

일부 시스템에서는 사전에 스피커 수를 지정해야 합니다. 다른 사람들은 자동으로 카운트를 감지합니다. 구글의녹음기 앱실시간 화자 라벨링을 위해 온디바이스 머신러닝을 사용합니다. OpenAI의속삭임 모델전사를 처리하지만 분할을 위해 추가 라이브러리가 필요합니다.

이러한 도구의 정확성은 오디오 품질에 크게 좌우됩니다. 배경 소음을 최소화하고 각 스피커에 별도의 마이크를 사용하여 깨끗한 녹음을 하면 단일 마이크가 방 전체를 캡처하는 것보다 항상 더 나은 결과를 얻을 수 있습니다.

Speaker diarization process showing audio waveforms labeled by speaker

자동 스피커 분리를 위한 최고의 도구

여기에는 최고의 도구가 하나도 없습니다. 올바른 선택은 기술 능력, 예산, 출력이 필요한 대상에 따라 달라집니다. 다음은 현재 이용 가능한 가장 신뢰할 수 있는 옵션에 대한 실제적인 분석입니다.

기술적인 지식이 없는 사용자의 경우

설명: 화자 라벨이 포함된 오디오를 텍스트로 변환하고 텍스트를 편집하여 녹음을 편집할 수 있습니다. 한 곳에서 전사와 편집을 모두 원하는 경우 사용하기 가장 쉬운 도구 중 하나입니다.
Otter.ai: 회의나 면접에 적합합니다. 화자 식별을 통한 실시간 전사를 위해 Zoom, Google Meet 및 Microsoft Teams와 통합됩니다. 무료 등급은 매월 제한된 시간을 제공합니다.
음성 분리기: 오디오 및 비디오 파일에 대한 화자 분할을 처리하는 브라우저 기반 옵션입니다. 파일을 업로드하면 각 화자에 대해 별도의 라벨이 지정된 세그먼트가 생성됩니다. 기본 사용에는 계정이 필요하지 않습니다.

개발자 및 기술 사용자용

속삭임X: OpenAI의 Whisper와 화자 분할 기능을 결합합니다. 오픈 소스이며 로컬에서 실행되며 정확한 결과를 생성합니다. Python이 필요하고 명령줄에 대한 약간의 편안함이 필요합니다.
pyannote.audio: 화자 분할을 위해 특별히 제작된 Python 라이브러리입니다. 이는 사용자 정의가 가능하며 자신의 애플리케이션에 분할을 구축하는 데 적합합니다. 사전 훈련된 모델을 다운로드하려면 Hugging Face 토큰이 필요합니다.
AssemblyAI: 전사와 함께 화자 분할을 제공하는 API 기반 서비스입니다. 앱에 통합하거나 프로그래밍 방식으로 대량의 파일을 처리하는 데 적합합니다.

처럼TechCrunch가 언급함, 원격 및 하이브리드 작업이 증가함에 따라 화자 식별을 통한 자동 전사에 대한 수요가 크게 증가했습니다. 이러한 도구의 대부분은 지난 한 해 동안 정확도가 크게 향상되었습니다.

단계별: 녹음에서 화자 분리

어떤 도구를 선택하든 일반적인 작업 흐름은 동일한 패턴을 따릅니다. 최상의 결과를 얻는 방법은 다음과 같습니다.

1. 오디오 준비

얻을 수 있는 가장 깨끗한 오디오로 시작하세요. 소스가 비디오 파일인 경우 먼저 오디오를 추출하십시오. 다음과 같은 도구를 사용할 수 있습니다.비디오를 MP3로 변환하는 변환기또는 명령줄에서 FFmpeg를 사용하세요.

ffmpeg -i 회의 녹음.mp4 -vn -aformat mp3 회의 오디오.mp3

가능하면 WAV 또는 FLAC와 같은 무손실 형식을 사용하십시오. MP3와 같은 압축 형식은 분할 정확도에 영향을 줄 수 있는 일부 오디오 세부 정보를 잃습니다.

2. 분할 실행

선택한 도구를 통해 오디오를 업로드하거나 처리하세요. 정확한 스피커 수를 알고 있는 경우 이를 지정하십시오. 이는 알고리즘이 하나의 화자를 두 개로 분할하거나 두 개의 화자를 하나로 병합하는 것을 방지하는 데 도움이 됩니다.

WhisperX의 경우 명령은 다음과 같습니다.

Whisperx audio.wav --diarize --min_speakers 2 --max_speakers 4

3. 검토 및 정리

100% 정확한 도구는 없습니다. 출력을 검토하고 잘못 귀속된 세그먼트 몇 개를 수정해야 할 수도 있습니다. 이는 전체 라벨링을 수동으로 수행하는 것보다 훨씬 빠릅니다. 설명과 같은 도구를 사용하면 스크립트를 텍스트로 편집하고 오디오도 따라갈 수 있으므로 이 단계가 더 쉬워집니다.

Workflow diagram for speaker separation from recording to labeled output

분할을 더욱 정확하게 만드는 녹음 팁

분리 품질은 녹음 품질만큼 좋습니다. 녹음 방법을 조금만 변경하면 결과가 크게 향상될 수 있습니다.

별도의 마이크:가능할 때마다 각 스피커에 자신의 마이크를 제공하십시오. 이것이 여러분이 할 수 있는 가장 큰 개선입니다. Lavalier 마이크는 인터뷰에 저렴하고 효과적입니다.
배경 소음을 줄입니다.조용한 방에서 녹음하세요. 창문을 닫고, 팬을 끄고, 울림을 일으키는 딱딱한 표면이 있는 방을 피하십시오.
누화 방지:화자들이 서로 이야기를 나누면 최고의 AI조차 어려움을 겪습니다. 참가자들에게 응답하기 전에 잠시 멈추도록 요청하십시오. 이는 원격 통화에 특히 중요합니다.
높은 샘플링 속도 사용:44.1kHz 이상으로 녹음하세요. 낮은 샘플링 속도는 분할 모델이 의존하는 미묘한 음성 차이를 잃습니다.

맞춤형 오디오 솔루션을 구축하는 웹 개발자를 위한MDN 웹 오디오 API 문서브라우저 기반 오디오 처리를 자세히 다룹니다.

시간이 절약되는 실제 시나리오

팟캐스트 제작

한 번의 Zoom 통화로 세 명의 게스트와 함께 2시간짜리 에피소드를 녹화하셨습니다. 분할 없이 편집한다는 것은 누가 무슨 말을 했는지 파악하기 위해 전체 녹음 내용을 듣는 것을 의미합니다. 화자 분리 기능을 사용하면 몇 분 안에 라벨이 붙은 스크립트를 얻을 수 있습니다. 작업이 필요한 부분을 바로 편집할 수 있습니다.

또한 별도의 스피커 라벨이 있어 스피커당 볼륨 레벨을 쉽게 조정할 수 있습니다. 한 게스트가 다른 게스트보다 조용한 경우 오디오의 나머지 부분에 영향을 주지 않고 해당 세그먼트만 증폭시킬 수 있습니다.

법률 및 의료 전사

진술서, 환자 상담, 법원 절차에는 모두 정확한 귀속이 필요합니다. 인용문을 잘못 받거나 잘못된 화자의 말을 인용하면 심각한 결과를 초래할 수 있습니다. 자동화된 분할은 인간 전사자가 확인할 수 있는 첫 번째 통과를 제공하여 총 시간을 크게 단축합니다.

저널리즘 및 연구

여러 출처와 인터뷰를 진행하는 언론인은 인용문에 대한 정확한 귀속이 필요합니다. 처럼아스테크니카가 보도했습니다., 뉴스룸에서는 보도 작업 흐름 속도를 높이기 위해 자동화된 전사 도구를 점점 더 많이 채택하고 있습니다. 포커스 그룹이나 인터뷰를 분석하는 연구자들도 비슷한 문제에 직면하고 있으며 화자 분할은 며칠 간의 수동 작업을 몇 시간으로 만들 수 있습니다.

무료 vs. 유료: 실제로 필요한 것

가끔 스피커 분리를 수행하는 대부분의 사람들은 무료 도구를 사용하여 수행할 수 있습니다. Otter.ai의 무료 계층, 당사와 같은 브라우저 기반 도구음성 분리기, WhisperX와 같은 오픈 소스 옵션은 모두 기본 분할을 잘 처리합니다.

정기적으로 대용량을 처리하거나 자동화를 위해 API 액세스가 필요하거나 어려운 오디오에 대해 더 높은 정확도가 필요한 경우 유료 계층이 가치가 있습니다. Descript의 유료 플랜에는 고급 편집 기능이 추가됩니다. AssemblyAI는 오디오 시간당 비용을 청구하지만 일괄 처리를 잘 처리합니다.

무료 옵션과 유료 옵션 간의 격차가 크게 줄어들었습니다. 대부분의 제작자, 팟캐스터, 저널리스트에게는 무료 도구로 시작하여 한계에 도달했을 때만 업그레이드하는 것이 실용적인 접근 방식입니다.

스피커 분리 기술은 다중 스피커 오디오를 사용하는 모든 사람의 시간을 진정으로 절약하는 수준에 도달했습니다. 브라우저 기반 도구, 데스크톱 앱을 사용하거나 오픈 소스 모델을 로컬로 실행하는 경우 워크플로우는 간단합니다. 깨끗한 오디오 입력, 라벨이 붙은 스피커 출력입니다. 도구는 여기에서 계속해서 향상될 것입니다.