为什么在音频中分离扬声器仍然是一件痛苦的事情

扬声器分离这是听起来很简单的问题之一，直到你真正尝试去做。您有一个长达一小时的采访、小组讨论或会议录音。你需要知道谁说了什么。手动清理音频并标记扬声器需要很长时间。

其技术术语是说话人分类，并且由于人工智能的帮助，它在过去几年中得到了显着改善。现代工具现在可以分析语音模式，检测一个人何时停止说话而另一个人开始说话，并自动输出标记的片段。但哪些工具实际上效果很好呢？您如何在免费、付费和开源选项之间进行选择？

说话人分类实际上是如何工作的

从本质上讲，说话人分类回答了这样一个问题：“谁在何时说话？”人工智能模型分析音频信号并寻找每个声音的独特特征，例如音调、节奏和音调。他们将录音分成小片段，并将听起来相似的片段组合在一起。

有些系统要求您事先指定扬声器的数量。其他人会自动检测计数。谷歌的录音机应用程序使用设备上的机器学习来进行实时说话人标记。开放人工智能耳语模型处理转录，但需要额外的库进行分类。

这些工具的准确性在很大程度上取决于音频质量。干净的录音、最小的背景噪音和每个扬声器的独立麦克风总是比单个麦克风捕获整个房间产生更好的效果。

这里没有最好的工具。正确的选择取决于您的技术技能、预算以及您需要的输出。以下是目前可用的最可靠选项的实际细分。

描述：转录带有讲话者标签的音频，并允许您通过编辑文本来编辑录音。如果您想在一个地方同时进行转录和编辑，它是最容易使用的工具之一。
水獭.ai：非常适合会议和采访。它与 Zoom、Google Meet 和 Microsoft Teams 集成，可进行实时转录并识别说话者。免费套餐每月为您提供有限的分钟数。
语音分离器：基于浏览器的选项，可处理音频和视频文件的说话人分类。您上传一个文件并为每个演讲者获取单独的标记片段。基本使用无需帐户。

耳语X：将 OpenAI 的 Whisper 与说话人分类相结合。它是开源的，在本地运行，并产生准确的结果。您将需要 Python 并熟悉命令行。
pyannote.音频：专门为说话者二值化构建的 Python 库。它是高度可定制的，并且非常适合将二值化构建到您自己的应用程序中。需要 Hugging Face 令牌才能下载预训练模型。
装配人工智能：一种基于 API 的服务，可在转录的同时提供说话人分类。适合集成到应用程序或以编程方式处理大批量文件。

作为TechCrunch 指出随着远程和混合工作的兴起，对具有说话者识别功能的自动转录的需求显着增长。在过去的一年里，大多数工具的准确性都得到了显着提高。

无论您选择哪种工具，一般工作流程都遵循相同的模式。以下是如何获得最佳结果。

从您可以获得的最干净的音频开始。如果您的源是视频文件，请先提取音频。您可以使用类似的工具视频到 MP3 转换器或从命令行使用 FFmpeg：

ffmpeg -i 会议录音.mp4 -vn -aformat mp3 会议音频.mp3

尽可能使用无损格式，例如 WAV 或 FLAC。 MP3 等压缩格式会丢失一些音频细节，从而影响二值化的准确性。

通过您选择的工具上传或处理您的音频。如果您知道发言者的确切人数，请指定。这有助于算法避免将一个扬声器分成两个或将两个扬声器合并为一个。

对于 WhisperX，命令如下所示：

耳语音频.wav --diarize --min_speakers 2 --max_speakers 4

没有工具是 100% 准确的。您可能需要检查输出并修复一些错误分配的段。这仍然比手动完成整个标记要快得多。像 Descript 这样的工具使此步骤变得更容易，因为您可以将脚本编辑为文本，然后音频随之而来。

分离的质量与录音的质量一样好。对录音方式进行一些小的改变可以显着改善结果。

对于构建自定义音频解决方案的 Web 开发人员来说，MDN Web 音频 API 文档详细介绍了基于浏览器的音频处理。

您在一次 Zoom 通话中录制了三名嘉宾的两小时剧集。如果没有日记化，编辑就意味着聆听整个录音以找出谁说了什么。通过说话者分离，您可以在几分钟内获得带标签的文字记录。您可以直接跳到编辑需要工作的部分。

此外，拥有单独的扬声器标签可以轻松调整每个扬声器的音量级别。如果一位客人比其他客人安静，您可以只增强他们的片段，而不会影响音频的其余部分。

证词、患者咨询和法庭诉讼都需要准确的归属。引用错误或将其归因于错误的演讲者可能会产生严重的后果。自动分类提供了第一遍，然后由人类转录员进行验证，从而显着缩短了总时间。

记者对多个来源进行采访时需要准确引用引文。作为Ars Technica 报道，新闻编辑室越来越多地采用自动转录工具来加快其报道工作流程。分析焦点小组或访谈的研究人员面临着类似的挑战，而演讲者分类可以将数天的体力工作变成数小时。

大多数偶尔进行扬声器分离的人都可以使用免费工具。 Otter.ai 的免费层、基于浏览器的工具，例如我们的语音分离器，以及像 WhisperX 这样的开源选项都可以很好地处理基本的二值化。

当您定期处理大量数据、需要 API 访问以实现自动化或需要对困难的音频进行更高的准确度时，付费层就变得值得了。 Descript 的付费计划添加了高级编辑功能。 AssemblyAI 按音频小时收费，但可以很好地处理批处理。

免费和付费选项之间的差距已显着缩小。对于大多数创作者、播客和记者来说，从免费工具开始，只有在达到极限时才进行升级是实用的方法。

扬声器分离技术已经达到了真正为使用多扬声器音频的人节省时间的程度。无论您使用基于浏览器的工具、桌面应用程序还是在本地运行开源模型，工作流程都很简单：干净的音频输入，标记的扬声器输出。这些工具从此只会变得更好。