เหตุใดการแยกลำโพงในระบบเสียงจึงยังคงเป็นเรื่องยุ่งยาก

การแยกลำโพงเป็นหนึ่งในปัญหาที่ฟังดูง่ายจนคุณลองทำจริง คุณมีการสัมภาษณ์นานหนึ่งชั่วโมง การอภิปรายเป็นคณะ หรือบันทึกการประชุม คุณต้องรู้ว่าใครพูดอะไร การขัดล้างลำโพงเสียงและการติดป้ายกำกับด้วยตนเองจะใช้เวลาตลอดไป

ศัพท์เทคนิคสำหรับเรื่องนี้ก็คือการแยกเสียงของผู้พูดและได้รับการปรับปรุงอย่างมากในช่วงไม่กี่ปีที่ผ่านมาด้วย AI เครื่องมือสมัยใหม่สามารถวิเคราะห์รูปแบบเสียง ตรวจจับเมื่อบุคคลหนึ่งหยุดพูดและอีกคนหนึ่งเริ่ม และส่งออกส่วนที่ติดป้ายกำกับโดยอัตโนมัติ แต่เครื่องมือใดที่ทำงานได้ดีจริง ๆ ? และคุณจะเลือกระหว่างตัวเลือกฟรี จ่ายเงิน และโอเพ่นซอร์สได้อย่างไร?

วิธีการทำงานของ Speaker Diarization จริง ๆ

โดยแก่นแท้แล้ว การแยกแยะผู้พูดจะตอบคำถาม: "ใครพูดเมื่อใด" โมเดล AI วิเคราะห์สัญญาณเสียงและมองหาลักษณะเฉพาะในแต่ละเสียง เช่น ระดับเสียง จังหวะ และน้ำเสียง พวกเขาแบ่งการบันทึกออกเป็นส่วนเล็กๆ และจัดกลุ่มส่วนที่ฟังดูคล้ายกันเข้าด้วยกัน

บางระบบกำหนดให้คุณต้องระบุจำนวนผู้พูดล่วงหน้า คนอื่นตรวจจับการนับโดยอัตโนมัติ ของกูเกิลแอปบันทึกใช้การเรียนรู้ของเครื่องบนอุปกรณ์สำหรับการติดป้ายกำกับผู้พูดแบบเรียลไทม์ OpenAI ของรุ่นวิสเปอร์จัดการการถอดเสียง แต่ต้องการไลบรารีเพิ่มเติมสำหรับการถอดเสียง

ความแม่นยำของเครื่องมือเหล่านี้ขึ้นอยู่กับคุณภาพเสียงเป็นอย่างมาก การบันทึกที่ชัดเจนโดยมีเสียงรบกวนรอบข้างน้อยที่สุดและไมโครโฟนแยกสำหรับลำโพงแต่ละตัวจะให้ผลลัพธ์ที่ดีกว่าไมโครโฟนตัวเดียวที่จับภาพทั้งห้องได้เสมอ

Speaker diarization process showing audio waveforms labeled by speaker

เครื่องมือที่ดีที่สุดสำหรับการแยกลำโพงอัตโนมัติ

ไม่มีเครื่องมือที่ดีที่สุดเพียงเครื่องมือเดียวที่นี่ ตัวเลือกที่เหมาะสมขึ้นอยู่กับทักษะทางเทคนิค งบประมาณ และผลลัพธ์ที่คุณต้องการ นี่คือรายละเอียดเชิงปฏิบัติของตัวเลือกที่น่าเชื่อถือที่สุดที่มีอยู่ในขณะนี้

สำหรับผู้ใช้ที่ไม่ใช่ด้านเทคนิค

คำอธิบาย: ถอดเสียงด้วยป้ายกำกับผู้พูด และให้คุณแก้ไขการบันทึกโดยการแก้ไขข้อความ เป็นหนึ่งในเครื่องมือที่ง่ายที่สุดในการใช้งานหากคุณต้องการทั้งการถอดเสียงและการแก้ไขในที่เดียว
นาก.ai: ทำงานได้ดีสำหรับการประชุมและการสัมภาษณ์ ทำงานร่วมกับ Zoom, Google Meet และ Microsoft Teams เพื่อการถอดเสียงแบบเรียลไทม์พร้อมการระบุผู้พูด รุ่นฟรีให้นาทีที่จำกัดต่อเดือน
ตัวแยกเสียง: ตัวเลือกบนเบราว์เซอร์ที่จัดการการแยกเสียงของผู้พูดสำหรับไฟล์เสียงและวิดีโอ คุณอัปโหลดไฟล์และรับส่วนที่มีป้ายกำกับแยกกันสำหรับผู้พูดแต่ละคน ไม่จำเป็นต้องมีบัญชีสำหรับการใช้งานขั้นพื้นฐาน

สำหรับนักพัฒนาและผู้ใช้ทางเทคนิค

วิสเปอร์เอ็กซ์: รวมเสียงกระซิบของ OpenAI เข้ากับการเปลี่ยนเสียงของผู้พูด เป็นโอเพ่นซอร์ส ทำงานในพื้นที่ และสร้างผลลัพธ์ที่แม่นยำ คุณจะต้องใช้ Python และความสะดวกสบายบางอย่างกับบรรทัดคำสั่ง
pyannote.เสียง: ไลบรารี Python ที่สร้างขึ้นโดยเฉพาะสำหรับการแยกเสียงของผู้พูด สามารถปรับแต่งได้สูงและทำงานได้ดีสำหรับการสร้างไดอะไรเซชันในแอปพลิเคชันของคุณเอง ต้องใช้โทเค็น Hugging Face เพื่อดาวน์โหลดโมเดลที่ได้รับการฝึกล่วงหน้า
การประกอบAI: บริการที่ใช้ API ที่ให้การแยกเสียงของผู้พูดควบคู่ไปกับการถอดเสียง เหมาะสำหรับการผสานรวมเข้ากับแอปหรือประมวลผลไฟล์จำนวนมากโดยทางโปรแกรม

เช่นTechCrunch ตั้งข้อสังเกตความต้องการการถอดเสียงอัตโนมัติพร้อมการระบุผู้พูดได้เพิ่มขึ้นอย่างมากตามการเพิ่มขึ้นของการทำงานระยะไกลและแบบผสมผสาน เครื่องมือเหล่านี้ส่วนใหญ่ได้ปรับปรุงความแม่นยำอย่างมากในปีที่ผ่านมา

ทีละขั้นตอน: การแยกลำโพงในการบันทึกของคุณ

ไม่ว่าคุณจะเลือกเครื่องมือใด ขั้นตอนการทำงานทั่วไปก็จะเป็นไปตามรูปแบบเดียวกัน นี่คือวิธีการได้รับผลลัพธ์ที่ดีที่สุด

1. เตรียมเสียงของคุณ

เริ่มต้นด้วยเสียงที่สะอาดที่สุดที่คุณจะได้รับ หากแหล่งที่มาของคุณเป็นไฟล์วิดีโอ ให้แยกเสียงออกก่อน คุณสามารถใช้เครื่องมือเช่นแปลงวิดีโอเป็น MP3หรือ FFmpeg จากบรรทัดคำสั่ง:

ffmpeg -i การประชุม-recording.mp4 -vn -aformat mp3 การประชุม-audio.mp3

ใช้รูปแบบแบบไม่สูญเสียข้อมูล เช่น WAV หรือ FLAC เมื่อเป็นไปได้ รูปแบบที่บีบอัด เช่น MP3 จะสูญเสียรายละเอียดเสียงบางส่วนซึ่งอาจส่งผลต่อความแม่นยำในการแปลงเสียง

2. เรียกใช้ Diarization

อัปโหลดหรือประมวลผลเสียงของคุณผ่านเครื่องมือที่คุณเลือก หากคุณทราบจำนวนผู้พูดที่แน่นอน ให้ระบุ วิธีนี้ช่วยให้อัลกอริธึมหลีกเลี่ยงการแยกลำโพงหนึ่งตัวออกเป็นสองลำโพงหรือรวมลำโพงสองตัวเป็นลำโพงเดียว

สำหรับ WhisperX คำสั่งจะมีลักษณะดังนี้:

กระซิบ x audio.wav --diarize --min_speakers 2 --max_speakers 4

3. ตรวจสอบและทำความสะอาด

ไม่มีเครื่องมือใดแม่นยำ 100% คุณอาจต้องตรวจสอบผลลัพธ์และแก้ไขส่วนที่ระบุแหล่งที่มาไม่ถูกต้องบางส่วน ซึ่งยังเร็วกว่าการติดป้ายกำกับทั้งหมดด้วยตนเองมาก เครื่องมืออย่าง Descript ช่วยให้ขั้นตอนนี้ง่ายขึ้นเนื่องจากคุณสามารถแก้ไขการถอดเสียงเป็นข้อความและเสียงตามมาได้

Workflow diagram for speaker separation from recording to labeled output

เคล็ดลับในการบันทึกที่ทำให้การแยกแยะข้อมูลมีความแม่นยำมากขึ้น

คุณภาพของการแยกจะดีเท่ากับคุณภาพการบันทึกของคุณเท่านั้น การเปลี่ยนแปลงเล็กๆ น้อยๆ เล็กน้อยในวิธีการบันทึกสามารถปรับปรุงผลลัพธ์ได้อย่างมาก

ไมโครโฟนแยก:ให้ผู้พูดแต่ละคนมีไมโครโฟนของตัวเองทุกครั้งที่เป็นไปได้ นี่คือการปรับปรุงครั้งใหญ่ที่สุดเพียงครั้งเดียวที่คุณสามารถทำได้ ไมโครโฟนแบบหนีบเสื้อมีราคาถูกและมีประสิทธิภาพสำหรับการสัมภาษณ์
ลดเสียงรบกวนรอบข้าง:บันทึกในห้องที่เงียบสงบ ปิดหน้าต่าง ปิดพัดลม และหลีกเลี่ยงห้องที่มีพื้นแข็งซึ่งทำให้เกิดเสียงสะท้อน
หลีกเลี่ยงสัญญาณรบกวน:เมื่อวิทยากรพูดคุยกัน แม้แต่ AI ที่เก่งที่สุดก็ยังต้องดิ้นรน ขอให้ผู้เข้าอบรมหยุดก่อนที่จะตอบ นี่เป็นสิ่งสำคัญอย่างยิ่งสำหรับการโทรระยะไกล
ใช้อัตราตัวอย่างสูง:บันทึกที่ 44.1kHz หรือสูงกว่า อัตราตัวอย่างที่ต่ำกว่าจะสูญเสียความแตกต่างของเสียงเล็กน้อยที่โมเดลไดอะไรเซชันใช้

สำหรับนักพัฒนาเว็บที่สร้างโซลูชันเสียงแบบกำหนดเองเอกสารประกอบ MDN Web Audio APIครอบคลุมรายละเอียดการประมวลผลเสียงบนเบราว์เซอร์โดยละเอียด

สถานการณ์ในโลกแห่งความเป็นจริงซึ่งจะช่วยประหยัดเวลาได้หลายชั่วโมง

การผลิตพอดคาสต์

คุณบันทึกตอนความยาวสองชั่วโมงโดยมีแขกรับเชิญสามคนในการโทร Zoom ครั้งเดียว โดยไม่ต้องถอดเสียง การแก้ไขหมายถึงการฟังการบันทึกทั้งหมดเพื่อดูว่าใครพูดอะไร ด้วยการแยกผู้พูด คุณจะได้รับข้อความถอดเสียงที่มีป้ายกำกับภายในไม่กี่นาที คุณสามารถข้ามไปที่การแก้ไขส่วนที่ต้องปรับปรุงได้โดยตรง

นอกจากนี้ การมีป้ายลำโพงแยกต่างหากทำให้ปรับระดับเสียงของลำโพงแต่ละตัวได้ง่าย หากแขกคนหนึ่งเงียบกว่าคนอื่นๆ คุณสามารถเพิ่มเฉพาะส่วนของพวกเขาได้โดยไม่ส่งผลกระทบต่อเสียงที่เหลือ

การถอดความทางกฎหมายและการแพทย์

การฝาก การให้คำปรึกษาผู้ป่วย และการดำเนินคดีของศาล ล้วนต้องมีการระบุแหล่งที่มาที่ถูกต้อง การอ้างคำพูดผิดหรืออ้างถึงผู้พูดผิดอาจส่งผลร้ายแรง การทำไดอะไรซ์แบบอัตโนมัติช่วยให้ผู้ถอดเสียงที่เป็นมนุษย์สามารถตรวจสอบได้เป็นครั้งแรก ซึ่งช่วยลดเวลาทั้งหมดลงอย่างมาก

วารสารศาสตร์และการวิจัย

นักข่าวที่ทำการสัมภาษณ์กับแหล่งข้อมูลหลายแห่งจำเป็นต้องมีการระบุแหล่งที่มาที่ชัดเจนสำหรับคำพูด เช่นอาร์ส เทคนิคิกา รายงานห้องข่าวกำลังใช้เครื่องมือถอดเสียงอัตโนมัติมากขึ้นเรื่อยๆ เพื่อเร่งขั้นตอนการรายงาน นักวิจัยที่วิเคราะห์การสนทนากลุ่มหรือการสัมภาษณ์ต้องเผชิญกับความท้าทายที่คล้ายกัน และการแยกแยะผู้บรรยายสามารถเปลี่ยนการทำงานด้วยตนเองในแต่ละวันให้เป็นชั่วโมงได้

ฟรีกับเสียเงิน: สิ่งที่คุณต้องการจริงๆ

คนส่วนใหญ่ที่ทำการแยกลำโพงเป็นครั้งคราวสามารถใช้เครื่องมือฟรีได้ เครื่องมือบนเบราว์เซอร์ระดับฟรีของ Otter.ai เช่นเดียวกับเราตัวแยกเสียงและตัวเลือกโอเพ่นซอร์สเช่น WhisperX ล้วนรองรับการแยกแยะพื้นฐานได้ดี

ระดับแบบชำระเงินจะคุ้มค่าเมื่อคุณประมวลผลปริมาณมากเป็นประจำ ต้องการการเข้าถึง API สำหรับระบบอัตโนมัติ หรือต้องการความแม่นยำที่สูงขึ้นสำหรับเสียงที่ยาก แผนการชำระเงินของ Descript เพิ่มคุณสมบัติการแก้ไขขั้นสูง AssemblyAI เรียกเก็บเงินต่อชั่วโมงเสียง แต่จัดการการประมวลผลแบบแบตช์ได้ดี

ช่องว่างระหว่างตัวเลือกแบบฟรีและแบบชำระเงินนั้นแคบลงอย่างมาก สำหรับครีเอเตอร์ พ็อดคาสท์ และนักข่าวส่วนใหญ่ การเริ่มต้นด้วยเครื่องมือฟรีและการอัปเกรดเมื่อคุณใช้งานถึงขีดจำกัดเท่านั้นถือเป็นแนวทางปฏิบัติ

เทคโนโลยีการแยกลำโพงมาถึงจุดที่จะช่วยประหยัดเวลาได้อย่างแท้จริงสำหรับทุกคนที่ทำงานด้วยเสียงแบบหลายลำโพง ไม่ว่าคุณจะใช้เครื่องมือบนเบราว์เซอร์ แอปเดสก์ท็อป หรือเรียกใช้โมเดลโอเพ่นซอร์สในเครื่อง ขั้นตอนการทำงานก็ตรงไปตรงมา: ล้างเสียงเข้า และติดป้ายกำกับลำโพงออก เครื่องมือต่างๆ จะดีขึ้นเรื่อยๆ จากที่นี่