3 เทคนิค Resampling สำคัญใน Machine Learning
เทรน Model ให้แม่นอย่างเดียว…ยังไม่พอ
สิ่งที่สำคัญไม่แพ้กันคือ
👉 เราวัด “ความเก่ง” ของ Model นั้น ถูกวิธีแล้วหรือยัง
หลายครั้ง Model ที่ดูแม่น
อาจแค่ “บังเอิญเข้ากับข้อมูลชุดนั้น”
แต่พอเจอข้อมูลใหม่ กลับพังได้ง่าย
Visual Note นี้เลยสรุป
3 เทคนิค Resampling สำคัญใน Machine Learning
ที่ Data Scientist ใช้จริงในการประเมิน Model
ตั้งแต่ LOOCV, Bootstrap ไปจนถึง K-Fold Cross Validation
แต่ละ วิธีช่วยให้เรา
✔️ ใช้ข้อมูลได้คุ้มขึ้น (โดยเฉพาะตอน data มีจำกัด)
✔️ ประเมิน model ได้แฟร์ขึ้น ไม่หลอกตัวเอง
✔️ ลดความเสี่ยงเรื่อง overfitting ในระยะยาว
เหมาะมากสำหรับ
• คนที่กำลังเรียน Machine Learning
• คนทำงาน Data ที่อยากปูพื้นฐานเรื่อง validation ให้แน่น
• หรือใครที่เคย “งง ๆ” ว่าควรเลือกใช้วิธีไหนดี
📚 Visual Note นี้สรุปจาก
Class Data Science Bootcamp รุ่น 12
โดยเพจ DataRockie
ใครเรียน ML อยู่ หรือทำงานสาย Data
เซฟเก็บไว้ทบทวนได้เลยค่ะ 📌💙
หลายคนเทรนโมเดลแล้วได้คะแนนดีมาก แต่พอเอาไปเจอข้อมูลใหม่กลับแย่…ปัญหานี้มักเกิดจากการ “ประเมินโมเดล” ที่ยังไม่แฟร์พอ ซึ่งนี่แหละคือเหตุผลที่ต้องรู้ว่า resampling คืออะไรใน machine learning Resampling (การสุ่ม/แบ่งข้อมูลซ้ำเพื่อประเมินโมเดล) คือเทคนิคที่ช่วยให้เราประมาณความสามารถในการ generalize ของโมเดลได้ดีขึ้น โดยไม่ต้องมีชุดข้อมูลใหม่เพิ่มทันที พูดง่าย ๆ คือทำให้การวัดผลไม่หลอกตัวเอง และช่วยลดความเสี่ยง overfitting ในระยะยาว ต่อไปนี้คือภาพรวม 3 เทคนิคหลักที่เจอบ่อย และทริคเลือกใช้ (รวมถึงคำถามยอดฮิตเรื่อง “แบบไหนใช้เวลาเทรนนานที่สุดถ้า n=10000”) 1) Leave-One-Out Cross Validation (LOOCV) หลักการ: ถ้ามีข้อมูล n ตัวอย่าง จะเทรนด้วย n-1 และทดสอบด้วย 1 ทำซ้ำจนครบ n รอบ (เท่ากับเทรนโมเดล n ครั้ง) ข้อดี: ใช้ข้อมูลฝั่งเทรนได้เกือบทั้งหมดในแต่ละรอบ เหมาะเวลาข้อมูลน้อยมาก ๆ ข้อเสีย: ใช้เวลามาก เพราะต้องฟิตโมเดลซ้ำเยอะ และค่าประเมินอาจมี variance สูงในบางปัญหา คำถาม: resampling แบบใดที่ใช้เวลาเทรนโมเดลนานที่สุดถ้า n=10000? คำตอบโดยทั่วไป: LOOCV มักนานที่สุด เพราะต้องเทรน 10,000 ครั้ง (ถ้าโมเดลเทรนช้า ยิ่งชัด) 2) Bootstrap (Sampling with Replacement) หลักการ: สุ่มตัวอย่างจากชุดเดิมแบบ “คืนกลับ” ให้ได้ชุดเทรนขนาดเท่าเดิม แล้วประเมินซ้ำหลายรอบ (เช่น 200–1000 รอบ) บางครั้งใช้แนวคิด out-of-bag (ตัวอย่างที่ไม่ได้ถูกสุ่มติดมา) เป็นชุดทดสอบ ข้อดี: ดีมากสำหรับการประมาณความไม่แน่นอน/ความแปรปรวนของตัวชี้วัด และใช้ได้กับข้อมูลจำกัด ข้อเสีย: ถ้าทำหลายรอบก็ใช้เวลามากเหมือนกัน และถ้าโจทย์ต้องการการแบ่ง train/test แบบ “สมจริง” อาจต้องเลือกวิธีให้เหมาะ 3) K-Fold Cross Validation หลักการ: แบ่งข้อมูลเป็น K ส่วน (fold) เทรน K ครั้ง โดยแต่ละครั้งใช้ 1 fold เป็น test และอีก K-1 เป็น train ข้อดี: สมดุลดีมากระหว่างความแม่นของการประเมินกับเวลาในการรัน นิยมสุดในงานจริง ข้อเสีย: ต้องระวังการจัด fold ให้ไม่รั่วข้อมูล (data leakage) และถ้าข้อมูลไม่สมดุลควรใช้ Stratified K-Fold ทริคเลือกใช้เร็ว ๆ (จากประสบการณ์ตอนทำโปรเจกต์/บ้าน ๆ) - ข้อมูลน้อยมาก: เริ่มจาก K-Fold (เช่น 5 หรือ 10) ก่อน ถ้ายังอยากใช้ข้อมูลเทรนให้คุ้มสุดค่อยพิจารณา LOOCV - ข้อมูลเยอะ (n=10000 ขึ้นไป): K-Fold มักคุ้มสุดเรื่องเวลา/คุณภาพผลลัพธ์ และตอบโจทย์งาน production - อยากรู้ความผันผวนของคะแนน/ทำช่วงความเชื่อมั่น: Bootstrap จะเด่น สุดท้าย แนะนำให้โฟกัส 2 อย่างพร้อมกัน: เลือก metric ให้ถูก (เช่น classification ที่คลาสไม่สมดุลอย่าดู accuracy อย่างเดียว) และเลือก resampling ให้เหมาะกับทรัพยากร/ลักษณะข้อมูล แค่นี้ผลประเมินโมเดลจะ “แฟร์” ขึ้นเยอะค่ะ