Pourquoi séparer les haut-parleurs dans l'audio est toujours pénible

Séparation des haut-parleursest l'un de ces problèmes qui semblent simples jusqu'à ce que vous essayiez réellement de le résoudre. Vous avez un entretien d’une heure, une table ronde ou un enregistrement de réunion. Vous devez savoir qui a dit quoi. Le nettoyage manuel des haut-parleurs audio et l’étiquetage prennent une éternité.

Le terme technique pour cela estdiarisation du locuteur, et cela s’est considérablement amélioré ces dernières années grâce à l’IA. Les outils modernes peuvent désormais analyser les modèles de voix, détecter le moment où une personne arrête de parler et une autre commence, et produire automatiquement des segments étiquetés. Mais quels outils fonctionnent vraiment bien ? Et comment choisir entre les options gratuites, payantes et open source ?

Comment fonctionne réellement la diarisation des haut-parleurs

À la base, la diarisation du locuteur répond à la question : « qui a parlé quand ? » Les modèles d'IA analysent le signal audio et recherchent des caractéristiques uniques dans chaque voix, telles que la hauteur, la cadence et la tonalité. Ils divisent l’enregistrement en petits segments et regroupent les segments au son similaire.

Certains systèmes nécessitent de préciser au préalable le nombre d’enceintes. D'autres détectent automatiquement le décompte. GoogleApplication Enregistreurutilise l'apprentissage automatique sur l'appareil pour l'étiquetage des haut-parleurs en temps réel. OpenAIModèle murmuregère la transcription mais a besoin de bibliothèques supplémentaires pour la diarisation.

La précision de ces outils dépend fortement de la qualité audio. Des enregistrements nets avec un minimum de bruit de fond et des microphones séparés pour chaque haut-parleur produiront toujours de meilleurs résultats qu'un seul micro capturant une pièce entière.

Speaker diarization process showing audio waveforms labeled by speaker

Les meilleurs outils pour la séparation automatique des haut-parleurs

Il n’y a pas de meilleur outil ici. Le bon choix dépend de vos compétences techniques, de votre budget et de la raison pour laquelle vous avez besoin du résultat. Voici une présentation pratique des options les plus fiables disponibles actuellement.

Pour les utilisateurs non techniques

Description: transcrit l'audio avec les étiquettes des haut-parleurs et vous permet de modifier les enregistrements en modifiant le texte. C'est l'un des outils les plus simples à utiliser si vous souhaitez à la fois la transcription et l'édition en un seul endroit.
Loutre.ai: Fonctionne bien pour les réunions et les entretiens. Il s'intègre à Zoom, Google Meet et Microsoft Teams pour une transcription en temps réel avec identification du locuteur. Le niveau gratuit vous offre un nombre limité de minutes par mois.
Séparateur de voix: une option basée sur un navigateur qui gère la diarisation des haut-parleurs pour les fichiers audio et vidéo. Vous téléchargez un fichier et obtenez des segments étiquetés distincts pour chaque locuteur. Aucun compte requis pour une utilisation de base.

Pour les développeurs et les utilisateurs techniques

ChuchotementX: Combine Whisper d'OpenAI avec la diarisation des haut-parleurs. Il est open source, s'exécute localement et produit des résultats précis. Vous aurez besoin de Python et d'une certaine aisance avec la ligne de commande.
pyannote.audio: Une bibliothèque Python spécialement conçue pour la diarisation des locuteurs. Il est hautement personnalisable et fonctionne bien pour intégrer la diarisation dans vos propres applications. Nécessite un jeton Hugging Face pour télécharger les modèles pré-entraînés.
AssembléeAI: Un service basé sur une API qui fournit la diarisation des locuteurs ainsi que la transcription. Idéal pour l'intégration dans des applications ou le traitement de gros lots de fichiers par programmation.

CommeTechCrunch a noté, la demande de transcription automatisée avec identification du locuteur a considérablement augmenté avec l'essor du travail à distance et hybride. La plupart de ces outils ont considérablement amélioré leur précision au cours de la dernière année.

Étape par étape : séparer les haut-parleurs dans votre enregistrement

Quel que soit l'outil que vous choisissez, le flux de travail général suit le même modèle. Voici comment obtenir les meilleurs résultats.

1. Préparez votre audio

Commencez avec le son le plus pur possible. Si votre source est un fichier vidéo, extrayez d'abord l'audio. Vous pouvez utiliser des outils commeun convertisseur vidéo en MP3ou FFmpeg depuis la ligne de commande :

ffmpeg -i réunion-enregistrement.mp4 -vn -aformat mp3 réunion-audio.mp3

Utilisez des formats sans perte comme WAV ou FLAC lorsque cela est possible. Les formats compressés comme le MP3 perdent certains détails audio qui peuvent affecter la précision de la diarisation.

2. Exécutez la diarisation

Téléchargez ou traitez votre audio via l'outil de votre choix. Si vous connaissez le nombre exact d’intervenants, précisez-le. Cela permet à l’algorithme d’éviter de diviser un haut-parleur en deux ou de fusionner deux haut-parleurs en un seul.

Pour WhisperX, la commande ressemble à ceci :

murmurx audio.wav --diarize --min_speakers 2 --max_speakers 4

3. Examen et nettoyage

Aucun outil n’est précis à 100 %. Vous devrez probablement examiner le résultat et corriger quelques segments mal attribués. C’est encore beaucoup plus rapide que de réaliser l’intégralité de l’étiquetage manuellement. Des outils tels que Descript facilitent cette étape car vous pouvez modifier la transcription au fur et à mesure que le texte et l'audio suivent.

Workflow diagram for speaker separation from recording to labeled output

Conseils d'enregistrement qui rendent la diarisation plus précise

La qualité de votre séparation est aussi bonne que la qualité de votre enregistrement. Quelques petits changements dans la façon dont vous enregistrez peuvent considérablement améliorer les résultats.

Micros séparés :Donnez à chaque intervenant son propre micro dans la mesure du possible. C’est la plus grande amélioration que vous puissiez apporter. Les micros-cravates sont bon marché et efficaces pour les entretiens.
Réduisez le bruit de fond :Enregistrez dans une pièce calme. Fermez les fenêtres, éteignez les ventilateurs et évitez les pièces aux surfaces dures qui créent un écho.
Évitez la diaphonie :Lorsque les orateurs parlent entre eux, même la meilleure IA a du mal. Demandez aux participants de faire une pause avant de répondre. Ceci est particulièrement important pour les appels à distance.
Utilisez des taux d'échantillonnage élevés :Enregistrez à 44,1 kHz ou plus. Des taux d'échantillonnage inférieurs perdent les subtiles différences de voix sur lesquelles reposent les modèles de diarisation.

Pour les développeurs Web créant des solutions audio personnalisées, leDocumentation de l'API Web Audio MDNcouvre en détail le traitement audio basé sur un navigateur.

Scénarios du monde réel où cela permet de gagner des heures

Production de podcasts

Vous avez enregistré un épisode de deux heures avec trois invités lors d'un seul appel Zoom. Sans diarisation, le montage signifie écouter l’intégralité de l’enregistrement pour savoir qui a dit quoi. Avec la séparation des locuteurs, vous obtenez une transcription étiquetée en quelques minutes. Vous pouvez passer directement à la modification des parties qui nécessitent du travail.

De plus, le fait d’avoir des étiquettes d’enceintes distinctes facilite le réglage des niveaux de volume par enceinte. Si un invité était plus silencieux que les autres, vous pouvez amplifier uniquement ses segments sans affecter le reste de l'audio.

Transcription juridique et médicale

Les dépositions, les consultations de patients et les procédures judiciaires nécessitent toutes une attribution précise. Se tromper de citation ou l’attribuer au mauvais interlocuteur peut avoir de graves conséquences. La diarisation automatisée fournit un premier passage qu'un transcripteur humain peut ensuite vérifier, réduisant ainsi considérablement le temps total.

Journalisme et recherche

Les journalistes qui mènent des entretiens avec plusieurs sources ont besoin d’une attribution précise pour leurs citations. CommeArs Technica a rapporté, les rédactions adoptent de plus en plus d'outils de transcription automatisés pour accélérer leurs flux de travail de reporting. Les chercheurs analysant des groupes de discussion ou des entretiens sont confrontés à des défis similaires, et la journalisation des intervenants peut transformer des journées de travail manuel en heures.

Gratuit ou payant : ce dont vous avez réellement besoin

La plupart des personnes effectuant occasionnellement une séparation des enceintes peuvent s’en sortir avec des outils gratuits. Les outils gratuits basés sur un navigateur d'Otter.ai comme notreséparateur de voix, et les options open source comme WhisperX gèrent toutes bien la diarisation de base.

Les niveaux payants en valent la peine lorsque vous traitez régulièrement de gros volumes, que vous avez besoin d'un accès API pour l'automatisation ou que vous avez besoin d'une plus grande précision sur un son difficile. Les forfaits payants de Descript ajoutent des fonctionnalités d'édition avancées. AssemblyAI facture par heure audio mais gère bien le traitement par lots.

L’écart entre les options gratuites et payantes s’est considérablement réduit. Pour la plupart des créateurs, podcasteurs et journalistes, commencer avec un outil gratuit et mettre à niveau uniquement lorsque vous atteignez ses limites est l’approche pratique.

La technologie de séparation des haut-parleurs a atteint le point où elle fait véritablement gagner du temps à quiconque travaille avec de l’audio multi-haut-parleurs. Que vous utilisiez un outil basé sur un navigateur, une application de bureau ou que vous exécutiez des modèles open source localement, le flux de travail est simple : entrée audio propre, sorties haut-parleurs étiquetés. Les outils ne feront que s’améliorer à partir de maintenant.