Tại sao việc tách loa trong âm thanh vẫn là một vấn đề khó khăn

Tách loalà một trong những vấn đề nghe có vẻ đơn giản cho đến khi bạn thực sự cố gắng giải quyết nó. Bạn có một cuộc phỏng vấn kéo dài một giờ, một cuộc thảo luận nhóm hoặc một bản ghi âm cuộc họp. Bạn cần biết ai đã nói gì. Việc quét thủ công các loa âm thanh và ghi nhãn sẽ mất rất nhiều thời gian.

Thuật ngữ kỹ thuật cho việc này lànhật ký loavà nó đã được cải thiện đáng kể trong vài năm qua nhờ AI. Các công cụ hiện đại giờ đây có thể phân tích mẫu giọng nói, phát hiện khi một người ngừng nói và người khác bắt đầu nói, đồng thời tự động xuất ra các phân đoạn được gắn nhãn. Nhưng công cụ nào thực sự hoạt động tốt? Và làm cách nào để bạn chọn giữa các tùy chọn miễn phí, trả phí và nguồn mở?

Cách Diarization của loa thực sự hoạt động như thế nào

Về cốt lõi, việc ghi nhật ký diễn giả sẽ trả lời câu hỏi: "ai nói khi nào?" Các mô hình AI phân tích tín hiệu âm thanh và tìm kiếm các đặc điểm riêng biệt trong từng giọng nói, chẳng hạn như cao độ, nhịp điệu và âm sắc. Họ chia bản ghi âm thành các đoạn nhỏ và nhóm các đoạn có âm thanh tương tự lại với nhau.

Một số hệ thống yêu cầu bạn chỉ định trước số lượng loa. Những người khác tự động phát hiện số đếm. của GoogleỨng dụng ghi âmsử dụng công nghệ học máy trên thiết bị để gắn nhãn loa theo thời gian thực. OpenAIMô hình thì thầmxử lý phiên âm nhưng cần thêm thư viện để ghi nhật ký.

Độ chính xác của những công cụ này phụ thuộc rất nhiều vào chất lượng âm thanh. Các bản ghi âm rõ ràng với tiếng ồn xung quanh tối thiểu và micrô riêng biệt cho từng loa sẽ luôn mang lại kết quả tốt hơn so với việc chỉ sử dụng một micrô thu âm toàn bộ căn phòng.

Speaker diarization process showing audio waveforms labeled by speaker

Các công cụ tốt nhất để tách loa tự động

Không có công cụ tốt nhất nào ở đây. Sự lựa chọn đúng đắn phụ thuộc vào kỹ năng kỹ thuật, ngân sách của bạn và mục đích đầu ra của bạn. Dưới đây là bảng phân tích thực tế về các tùy chọn đáng tin cậy nhất hiện có.

Dành cho người dùng không rành về kỹ thuật

Mô tả: Ghi lại âm thanh bằng nhãn loa và cho phép bạn chỉnh sửa bản ghi bằng cách chỉnh sửa văn bản. Đây là một trong những công cụ dễ sử dụng nhất nếu bạn muốn cả phiên âm và chỉnh sửa ở một nơi.
Otter.ai: Hoạt động tốt cho các cuộc họp và phỏng vấn. Nó tích hợp với Zoom, Google Meet và Microsoft Teams để phiên âm theo thời gian thực với tính năng nhận dạng người nói. Cấp miễn phí cung cấp cho bạn số phút giới hạn mỗi tháng.
Bộ tách giọng nói: Một tùy chọn dựa trên trình duyệt xử lý việc ghi nhật ký loa cho các tệp âm thanh và video. Bạn tải tệp lên và nhận các phân đoạn được gắn nhãn riêng cho từng người nói. Không cần tài khoản để sử dụng cơ bản.

Dành cho nhà phát triển và người dùng kỹ thuật

WhisperX: Kết hợp Whisper của OpenAI với tính năng ghi nhật ký của người nói. Nó là nguồn mở, chạy cục bộ và tạo ra kết quả chính xác. Bạn sẽ cần Python và một số tiện ích với dòng lệnh.
pyannote.audio: Thư viện Python được xây dựng riêng cho việc ghi nhật ký diễn giả. Nó có khả năng tùy biến cao và hoạt động tốt để xây dựng nhật ký thành các ứng dụng của riêng bạn. Yêu cầu mã thông báo Ôm mặt để tải xuống các mô hình được đào tạo trước.
hộiAI: Một dịch vụ dựa trên API cung cấp tính năng ghi nhật ký của người nói cùng với phiên âm. Phù hợp để tích hợp vào ứng dụng hoặc xử lý hàng loạt tệp lớn theo chương trình.

BẰNGTechCrunch lưu ý, nhu cầu chép lời tự động bằng nhận dạng người nói đã tăng lên đáng kể cùng với sự gia tăng của công việc từ xa và kết hợp. Hầu hết các công cụ này đã cải thiện đáng kể độ chính xác của chúng trong năm qua.

Từng bước: Tách loa trong bản ghi âm của bạn

Bất kể bạn chọn công cụ nào, quy trình làm việc chung đều tuân theo cùng một mẫu. Đây là cách để có được kết quả tốt nhất.

1. Chuẩn bị âm thanh của bạn

Bắt đầu với âm thanh rõ ràng nhất mà bạn có thể nhận được. Nếu nguồn của bạn là tệp video, trước tiên hãy trích xuất âm thanh. Bạn có thể sử dụng các công cụ nhưmột công cụ chuyển đổi video sang MP3hoặc FFmpeg từ dòng lệnh:

ffmpeg -i Meet-recording.mp4 -vn -aformat mp3 Meet-audio.mp3

Sử dụng các định dạng lossless như WAV hoặc FLAC khi có thể. Các định dạng nén như MP3 sẽ mất một số chi tiết âm thanh có thể ảnh hưởng đến độ chính xác của việc ghi nhật ký.

2. Chạy nhật ký

Tải lên hoặc xử lý âm thanh của bạn thông qua công cụ bạn đã chọn. Nếu bạn biết chính xác số lượng người nói, hãy chỉ định nó. Điều này giúp thuật toán tránh được việc tách một loa thành hai hoặc gộp hai loa thành một.

Đối với WhisperX, lệnh trông giống như thế này:

thì thầmx audio.wav --diarize --min_loa 2 --max_loa 4

3. Xem lại và dọn dẹp

Không có công cụ nào chính xác 100%. Bạn có thể sẽ cần phải xem lại kết quả đầu ra và sửa một số phân đoạn bị phân bổ sai. Việc này vẫn nhanh hơn nhiều so với việc thực hiện toàn bộ việc ghi nhãn theo cách thủ công. Các công cụ như Mô tả giúp bước này dễ dàng hơn vì bạn có thể chỉnh sửa bản ghi dưới dạng văn bản và âm thanh theo sau.

Workflow diagram for speaker separation from recording to labeled output

Mẹo ghi nhật ký giúp việc ghi nhật ký chính xác hơn

Chất lượng tách của bạn chỉ tốt bằng chất lượng ghi âm của bạn. Một vài thay đổi nhỏ về cách bạn ghi có thể cải thiện đáng kể kết quả.

Micro riêng biệt:Cung cấp cho mỗi loa mic riêng của họ bất cứ khi nào có thể. Đây là cải tiến lớn nhất mà bạn có thể thực hiện. Mic Lavalier rẻ và hiệu quả cho các cuộc phỏng vấn.
Giảm tiếng ồn xung quanh:Ghi âm trong phòng yên tĩnh. Đóng cửa sổ, tắt quạt và tránh những phòng có bề mặt cứng tạo ra tiếng vang.
Tránh nhiễu xuyên âm:Khi các diễn giả nói chuyện với nhau, ngay cả AI tốt nhất cũng gặp khó khăn. Yêu cầu người tham gia tạm dừng trước khi trả lời. Điều này đặc biệt quan trọng đối với các cuộc gọi từ xa.
Sử dụng tốc độ lấy mẫu cao:Ghi ở tần số 44,1kHz trở lên. Tốc độ mẫu thấp hơn sẽ làm mất đi sự khác biệt nhỏ về giọng nói mà các mô hình ghi nhật ký dựa vào.

Đối với các nhà phát triển web xây dựng giải pháp âm thanh tùy chỉnh,Tài liệu API âm thanh web MDNtrình bày chi tiết về xử lý âm thanh dựa trên trình duyệt.

Các tình huống trong thế giới thực giúp tiết kiệm hàng giờ

Sản xuất podcast

Bạn đã ghi lại một tập phim dài hai giờ với ba khách trong một cuộc gọi Zoom. Không ghi nhật ký, chỉnh sửa có nghĩa là nghe toàn bộ bản ghi âm để tìm ra ai đã nói gì. Với tính năng tách loa, bạn sẽ nhận được bản ghi có nhãn trong vài phút. Bạn có thể chuyển thẳng sang chỉnh sửa những phần cần chỉnh sửa.

Ngoài ra, việc có nhãn loa riêng giúp bạn dễ dàng điều chỉnh mức âm lượng cho từng loa. Nếu một khách yên tĩnh hơn những khách khác, bạn có thể chỉ tăng cường phân đoạn của họ mà không ảnh hưởng đến phần còn lại của âm thanh.

Phiên âm pháp lý và y tế

Lời khai, tư vấn bệnh nhân và thủ tục tố tụng tại tòa án đều yêu cầu ghi nhận chính xác. Việc trích dẫn sai hoặc gán sai cho người nói có thể gây ra hậu quả nghiêm trọng. Tính năng ghi nhật ký tự động cung cấp bước chuyển đầu tiên mà sau đó người ghi dữ liệu có thể xác minh, giúp cắt giảm đáng kể tổng thời gian.

Báo chí và nghiên cứu

Các nhà báo thực hiện các cuộc phỏng vấn với nhiều nguồn cần phải trích dẫn chính xác. BẰNGArs Technica đã báo cáo, các phòng tin tức đang ngày càng áp dụng các công cụ sao chép tự động để tăng tốc quy trình đưa tin của họ. Các nhà nghiên cứu phân tích các nhóm tập trung hoặc các cuộc phỏng vấn phải đối mặt với những thách thức tương tự và việc ghi nhật ký của diễn giả có thể biến ngày làm việc thủ công thành hàng giờ.

Miễn phí so với trả phí: Những gì bạn thực sự cần

Hầu hết mọi người thỉnh thoảng thực hiện tách loa đều có thể thực hiện được bằng các công cụ miễn phí. Các công cụ dựa trên trình duyệt, cấp độ miễn phí của Otter.ai như của chúng tôitách giọng nóivà các tùy chọn nguồn mở như WhisperX đều xử lý tốt việc ghi nhật ký cơ bản.

Các bậc trả phí sẽ trở nên có giá trị khi bạn thường xuyên xử lý khối lượng lớn, cần quyền truy cập API để tự động hóa hoặc yêu cầu độ chính xác cao hơn đối với âm thanh khó. Gói trả phí của Descript bổ sung thêm các tính năng chỉnh sửa nâng cao. AssemblyAI tính phí theo giờ âm thanh nhưng xử lý tốt việc xử lý hàng loạt.

Khoảng cách giữa các lựa chọn miễn phí và trả phí đã thu hẹp đáng kể. Đối với hầu hết người sáng tạo, người làm podcast và nhà báo, việc bắt đầu với một công cụ miễn phí và chỉ nâng cấp khi bạn đạt đến giới hạn của nó là cách tiếp cận thực tế.

Công nghệ tách loa đã đạt đến mức thực sự tiết kiệm thời gian cho bất kỳ ai làm việc với âm thanh nhiều loa. Cho dù bạn sử dụng công cụ dựa trên trình duyệt, ứng dụng dành cho máy tính để bàn hay chạy cục bộ các mô hình nguồn mở thì quy trình làm việc đều rất đơn giản: làm sạch âm thanh vào, gắn nhãn loa ra. Các công cụ sẽ chỉ ngày càng tốt hơn từ đây.