Microsoft Research เปิดตัว Orca 2 LLM เวอร์ชันที่สองของภาษา Orca

Microsoft มีแนวโน้มว่าอาจร่วมมือกับ OpenAI และโมเดลภาษาขนาดใหญ่ GPT เพื่อช่วยสร้างบริการ AI เชิงสร้างสรรค์ เช่นCopilot ซึ่งคุ้นเคยกันในชื่อเดิม คือ Bing Chat อย่างไรก็ตาม บริษัทกำลังดำเนินการเกี่ยวกับ LM ของอยู่ อีกทั้งในสัปดาห์นี้ Microsoft Research ยังได้ประกาศเปิดตัว Orca 2 ซึ่งเป็นเวอร์ชันที่สองของภาษา Orca

โดยในบล็อกโพสต์ Microsoft ระบุว่า Orca 2 ได้รับการออกแบบมาโดยเฉพาะเพื่อให้เป็น LM ที่เล็กกว่า แต่ยังสามารถใช้เพื่อตอบคำถามที่ซับซ้อนได้อยู่ เช่น LLM ได้ Orca 2 มีสองขนาด (7 พันล้านและ 13 พันล้านพารามิเตอร์) และบางส่วนถูกสร้างขึ้นโดยใช้ Llama 2 LLM ที่ช่วยเปิดตัวด้วย Meta ไปเมื่อต้นปีนี้  บริษัทได้ปรับแต่งโมเดลที่ใช้ Llama 2 โดยใช้ข้อมูลสังเคราะห์คุณภาพสูงที่ได้รับการปรับแต่งโดยเฉพาะ

Microsoft ยังให้ข้อมูลเพิ่มเติมอีกว่า สิ่งนี้ช่วยทำให้รุ่น Orca 2 สามารถจัดการกับปัญหาที่ตรงกับประสิทธิภาพของรุ่นภาษาอื่นที่ ใหญ่กว่า "5-10 เท่า" โดยระบุว่า :

Orca 2 ได้รับการพัฒนาด้วยชุดข้อมูลสังเคราะห์ที่ขยายและปรับแต่งได้สูง ข้อมูลการฝึกอบรมถูกสร้างขึ้นเพื่อแนะนำเกี่ยวกับเทคนิคการให้เหตุผลต่างๆ ของ Orca 2 เช่น การประมวลผลทีละขั้นตอน การเรียกคืนแล้วสร้าง การสร้างการเรียกคืนเหตุผล การสร้างการแยก และวิธีการตอบโดยตรง ในขณะเดียวกันก็สอนให้เลือกวิธีการที่แตกต่างกัน กลยุทธ์การแก้ปัญหาสำหรับงานต่างๆ

โดยโมเดล Orca 2 ถูกนำมาเปรียบเทียบกับโมเดลภาษาขนาดใหญ่จำนวนหนึ่ง เช่น Llama 2 และ WizardLM โดยมีชุดเกณฑ์มาตรฐานที่ครอบคลุมในส่วนต่างๆ เช่น ความเข้าใจทางภาษา, การใช้เหตุผลสามัญสำนึก การใช้เหตุผลหลายที่ซับซ้อนขั้นตอน การแก้ปัญหาทางคณิตศาสตร์ ความเข้าใจในการอ่านและอื่นๆ เป็นต้น โดยทางบล็อกระบุว่า :

ผลลัพธ์เบื้องต้นของทางบริษัทระบุว่าประสิทธิภาพของ Orca 2  นั้นเหนือกว่ารุ่นที่มีขนาดใกล้เคียงกันเป็นอย่างมาก นอกจากนี้ยังมีระดับประสิทธิภาพที่ใกล้เคียงหรือดีกว่ารุ่นที่มีขนาดใหญ่กว่าอย่างน้อย 10 เท่า ซึ่งแสดงให้เห็นถึงศักยภาพในการติดตั้งโมเดลขนาดเล็กที่มีความสามารถในการให้เหตุผลที่ดีขึ้น

และถึงแม้ว่าทาง Microsoft จะยอมรับว่า Orca 2 นั้นมีข้อจำกัด แต่อย่างไรก็ตามการทดสอบตั้งแต่เริ่มจนถึงขณะนี้แสดงให้เห็นว่า Orca 2 มีศักยภาพสำหรับความก้าวหน้าในอนาคต นอกจากนี้ Microsoft กำลังปล่อย Orca 2 เป็นโครงการโอเพ่นซอร์สเพื่อให้ผู้อื่นสามารถทำงานได้เช่นกัน

ที่มา .neowin