เมื่อผมเริ่มศึกษาการประเมินโมเดลจำแนกประเภท (Classification Model) สิ่งที่ผมค้นพบคือการรู้จักเมตริกส์ที่สำคัญช่วยให้ตีความผลลัพธ์ได้ดีขึ้น เช่น Accuracy ซึ่งบอกเปอร์เซ็นต์ของคำทำนายที่ถูกต้อง แต่จริงๆ แล้วถ้างานเรามีข้อมูลที่ไม่สมดุล (เช่น จำนวนตัวอย่างคลาสบวกน้อยกว่าคลาสลบมาก) Accuracy อาจจะไม่บอกอะไรที่แท้จริง เช่น โมเดลอาจทำนายทุกตัวอย่างเป็นคลาสลบทำให้ Accuracy สูงแต่โมเดลไม่ได้ดีจริง อีกหนึ่งเมตริกส์ที่ผมใช้บ่อยคือ Precision และ Recall โดย Precision คือเปอร์เซ็นต์ที่โมเดลทำนายว่าบวกแล้วถูกต้อง ส่วน Recall คือความสามารถของโมเดลในการจับทุกตัวอย่างที่เป็นคลาสบวก (ความไว) ซึ่งทั้งสองอย่างนี้มีความสำคัญมากในการวิเคราะห์ เช่น ถ้าทำนายการตรวจพบโรค Precision วัดความแม่นยำของการทำนายโรคจริง ส่วน Recall วัดว่าระบบจับโรคได้ครบหรือไม่ เมื่อเรียนรู้เมตริกส์ทั้ง Accuracy, Precision, Recall แล้ว ผมยังแนะนำให้ดู F1 Score ซึ่งเป็นค่าเฉลี่ยฮาร์โมนิกของ Precision และ Recall เพราะมันช่วยให้เราเห็นภาพรวมของโมเดลมากขึ้นโดยเฉพาะในกรณีที่ต้องการบาลานซ์ความแม่นยำและการดึงข้อมูล นอกจากนี้เรื่องของ Specificity หรือ True Negative Rate ก็สำคัญกับกรณีที่เราต้องการระบุคลาสลบอย่างถูกต้อง เช่น ระบบแยกเมลขยะ ถ้า Specificity ต่ำก็แปลว่ามีเมลปกติถูกมองเป็นขยะเยอะ ซึ่งส่งผลกระทบต่อผู้ใช้ ประสบการณ์จริงคือการเลือกใช้เมตริกส์ต้องขึ้นกับปัญหาและเป้าหมายงาน พยายามอย่าตัดสินโมเดลแค่จากแค่ Accuracy อย่างเดียว เพราะอาจทำให้ติดกับดักการวิเคราะห์ ผมจึงมองหาการใช้สมดุลเมตริกส์และเข้าใจความหมายของแต่ละตัวเพื่อพัฒนาโมเดลที่ตอบโจทย์งานจริงมากที่สุด