Make RAG bang...Must stop measuring with "feelings"! 📈

จากประสบการณ์ส่วนตัวในการทำงานกับ AI ผมพบว่าการวัดผลด้วยความรู้สึกนั้นมักทำให้เราได้รับข้อมูลที่คลาดเคลื่อนและไม่แม่นยำ โดยเฉพาะอย่างยิ่งในโปรเจคที่ต้องอาศัย AI ภาษาขั้นสูงอย่าง LLMs ซึ่งเป็นเรื่องท้าทายมากกว่าการวัดผลแบบดั้งเดิม การนำ RAGAS Framework เข้ามาใช้ช่วยให้การประเมินผลนั้นมีมาตรฐานและชัดเจนขึ้น เนื่องจากมีการพิจารณา 3 ตัวชี้วัดหลัก คือ Faithfulness ที่ตรวจสอบว่าคำตอบของ AI นั้นมีความสอดคล้องและมีหลักฐานยืนยันจากบริบทจริงหรือไม่ ช่วยลดความเสี่ยงจากข้อมูลมั่ว ซึ่งพบว่าปัญหานี้เกิดขึ้นบ่อยกับโมเดลที่ตอบคำถามทั่วไป ในส่วนของ Relevance นั้น ทำให้มั่นใจได้ว่าคำตอบจะตรงกับประเด็นคำถามของผู้ใช้ ลดความกำกวมและช่วยให้ผู้ใช้งานพึงพอใจมากขึ้น จากประสบการณ์ที่เห็นมีผลต่อการคืนข้อมูลที่มีประโยชน์จริงๆ และที่สำคัญอย่าง Precision ที่จะวัดว่าข้อมูลที่ดึงมาจากฐานข้อมูลนั้นเกี่ยวข้องและตรงกับคำถามมากน้อยแค่ไหน สิ่งนี้ช่วยให้คำตอบไม่นอกประเด็น และลดความซับซ้อนของข้อมูลที่ผู้ใช้ต้องประมวลผลต่อเอง นอกจากนี้ เทคนิคการใช้ LLM เป็นผู้ตรวจสอบคำตอบ (LLM-as-a-Judge) ช่วยลดความลำเอียงของมนุษย์และเพิ่มความแม่นยำในการประเมินผล โดยให้โมเดลเปรียบเทียบคำตอบหรือให้คะแนนตามเกณฑ์ที่กำหนด เช่น การใช้ Pairwise Comparison, Single Answer Grading และ Reference-based Checking ซึ่งผมทดลองใช้แล้วพบว่าสะดวกและเป็นระบบมาก สุดท้ายนี้ การยกระดับการวัดผลด้วย RAGAS Framework ไม่ได้เพียงทำให้เราเข้าใจ AI ดีขึ้น แต่ยังช่วยเพิ่มความน่าเชื่อถือของระบบ AI ในสายตาผู้ใช้งานและองค์กรอีกด้วย หากใครสนใจการวัดผล AI อย่างจริงจัง ผมแนะนำให้ลองศึกษาและนำไปประยุกต์ใช้ดูครับ แล้วคุณจะรู้สึกว่า AI ที่คุณสร้างไม่ได้วัดโดยความรู้สึกอีกต่อไป!