ลองนึกภาพว่านักดนตรีมืออาชีพสามารถสำรวจการประพันธ์เพลงใหม่ๆ ได้โดยไม่ต้องเล่นโน้ตบนเครื่องดนตรีแม้แต่ตัวเดียว หรือเจ้าของธุรกิจขนาดเล็กที่เพิ่มเพลงประกอบให้กับโฆษณาวิดีโอล่าสุดบน Instagram ได้อย่างง่ายดาย นั่นคือคำมั่นสัญญาของ AudioCraft — เครื่องมือ AI ล่าสุดของเราที่สร้างเสียงและดนตรีคุณภาพสูงที่สมจริงจากข้อความ
AudioCraft ประกอบด้วยสามรุ่น: MusicGen , AudioGen และ EnCodec MusicGen ซึ่งได้รับการฝึกฝนกับเพลงที่เป็นเจ้าของโดย Meta และได้รับอนุญาตโดยเฉพาะ สร้างเพลงจากข้อความแจ้ง ในขณะที่ AudioGen ซึ่งได้รับการฝึกฝนเกี่ยวกับเอฟเฟกต์เสียงสาธารณะ สร้างเสียงจากข้อความแจ้ง วันนี้เรารู้สึกตื่นเต้นที่จะเปิดตัวตัวถอดรหัส EnCodec เวอร์ชันปรับปรุงของเรา ซึ่งช่วยให้สร้างเพลงคุณภาพสูงขึ้นโดยใช้อาร์ติแฟกต์น้อยลง นอกจากนี้ เรายังเปิดตัวโมเดล AudioGen ที่ได้รับการฝึกฝนล่วงหน้าของเรา ซึ่งช่วยให้คุณสร้างเสียงสิ่งแวดล้อมและเอฟเฟกต์เสียง เช่น เสียงสุนัขเห่า เสียงรถที่บีบแตร หรือเสียงฝีเท้าบนพื้นไม้ เป็นต้น
Meta เปิดแหล่งที่มาของโมเดลเหล่านี้ ให้นักวิจัยและผู้ปฏิบัติงานเข้าถึงได้ เพื่อให้พวกเขาสามารถฝึกโมเดลของตนเองด้วยชุดข้อมูลของตนเองเป็นครั้งแรก และช่วยพัฒนาด้านเสียงและเพลงที่สร้างโดย AI
แม้ว่าในช่วงเวลาที่ผ่านมา เราได้เห็นความความสามารถมากมายเกี่ยวกับ Generative AI ที่ใช้กับรูปภาพ วิดีโอ และข้อความ แต่สำหรับเสียงดูเหมือนจะมาช้ากว่าอย่างอื่น เนื่องจากมีความซับซ้อนสูงและไม่เปิดกว้างมากนัก ดังนั้นผู้คนจึงไม่สามารถเล่นกับมันได้อย่างง่ายดาย การสร้างเสียงที่มีความเที่ยงตรงสูงทุกชนิดจำเป็นต้องมีการสร้างแบบจำลองสัญญาณและรูปแบบที่ซับซ้อนในระดับที่แตกต่างกัน ดนตรีเป็นประเภทเสียงที่ท้าทายที่สุดในการสร้างเสียง เนื่องจากประกอบด้วยรูปแบบเสียงท้องถิ่นและเสียงระยะไกล ตั้งแต่ชุดโน้ตไปจนถึงโครงสร้างดนตรีสากลที่มีเครื่องดนตรีหลายชนิด
Meta กล่าวว่า :
การมีรากฐานโอเพ่นซอร์สที่มั่นคงจะส่งเสริมนวัตกรรมและเสริมวิธีที่เราผลิตและฟังเสียงและเพลงในอนาคต ด้วยการควบคุมที่มากขึ้น เราคิดว่า MusicGen สามารถเปลี่ยนเป็นเครื่องมือประเภทใหม่ได้ เช่นเดียวกับซินธิไซเซอร์เมื่อแรกเริ่ม
เรามองว่าโมเดลในตระกูล AudioCraft เป็นเครื่องมือสำหรับนักดนตรีและนักออกแบบเสียงในการสร้างแรงบันดาลใจ ช่วยให้ผู้คนระดมความคิดอย่างรวดเร็วและทำซ้ำในการเรียบเรียงในรูปแบบใหม่ๆ เราแทบรอไม่ไหวที่จะได้เห็นสิ่งที่ผู้คนสร้างสรรค์ด้วย Audiocraft
เรียนรู้เพิ่มเติมเกี่ยวกับAudioCraft ในบล็อก AI ของ Meta
ที่มา https://about.fb.com/news/2023/08/audiocraft-generative-ai-for-music-and-audio/
