3.機械学習における主要なリサンプリング技術
正確であるようにモデルを訓練しました。。。 十分じゃない
同様に重要なことは
👉、モデルの輝きを正しい方法で測定しましたか?
多くの場合、モデルは正確に見えます。
そのデータセットとの偶然かもしれません。
しかし、新しい情報を見つけると、簡単に壊れてしまいます。
このビジュアルノートは要約されています。
3.機械学習における主要なリサンプリング技術
そのデータサイエンティストは実際にモデルを評価するために使用しました。
LOOCV、BootstrapからK-Fold Cross Validationまで
それぞれの方法が私たちを可能にします
✔️データが限られている場合は、より多くのデータを使用してください
✔️自分を欺くのではなく、モデルをより 公平に評価します。
✔️長期的な過剰適合のリスクを減らします。
のために非常に適した
•機械学習を勉強している人
•検証の基盤を強化したいデータワーカー
•または、どの方法を選ぶべきか「混乱している」人。
📚このビジュアルノートは
クラスデータサイエンスブートキャンプモデル12
DataRockieのページで。
MLを勉強している人やデータラインに取り組んでいる人は誰ですか?
レビューのために保存してください。📌💙
หลายคนเทรนโมเดลแล้วได้คะแนนดีมาก แต่พอเอาไปเจอข้อมูลใหม่กลับแย่…ปัญหานี้มักเกิดจากการ “ประเมินโมเดล” ที่ยังไม่แฟร์พอ ซึ่งนี่แหละคือเหตุผลที่ต้องรู้ว่า resampling คืออะไรใน machine learning Resampling (การสุ่ม/แบ่งข้อมูลซ้ำเพื่อประเมินโมเดล) คือเทคนิคที่ช่วยให้เราประมาณความสามารถในการ generalize ของโมเดลได้ดีขึ้น โดยไม่ต้องมีชุดข้อมูลใหม่เพิ่มทันที พูดง่าย ๆ คือทำให้การวัดผลไม่หลอกตัวเอง และช่วยลดความเสี่ยง overfitting ในระยะยาว ต่อไปนี้คือภาพรวม 3 เทคนิคหลักที่เจอบ่อย และทริคเลือกใช้ (รวมถึงคำถามยอดฮิตเรื่อง “แบบไหนใช้เวลาเทรนนานที่สุดถ้า n=10000”) 1) Leave-One-Out Cross Validation (LOOCV) หลักการ: ถ้ามีข้อมูล n ตัวอย่าง จะเทรนด้วย n-1 และทดสอบด้วย 1 ทำซ้ำจนครบ n รอบ (เท่ากับเทรนโมเดล n ครั้ง) ข้อดี: ใช้ข้อมูลฝั่งเทรนได้เกือบทั้งหมดในแต่ละรอบ เหมาะเวลาข้อมูลน้อยมาก ๆ ข้อเสีย: ใช้เวลามาก เพราะต้องฟิตโมเดลซ้ำเยอะ และค่าประเมินอาจมี variance สูงในบางปัญหา คำถาม: resampling แบบใดที่ใช้เวลาเทรนโมเดลนานที่สุดถ้า n=10000? คำตอบโดยทั่วไป: LOOCV มักนานที่สุด เพราะต้องเทรน 10,000 ครั้ง (ถ้าโมเดลเทรนช้า ยิ่งชัด) 2) Bootstrap (Sampling with Replacement) หลักการ: สุ่มตัวอย่างจากชุดเดิมแบบ “คืนกลับ” ให้ได้ชุดเทรนขนาดเท่าเดิม แล้วประเมินซ้ำหลายรอบ (เช่น 200–1000 รอบ) บางครั้งใช้แนวคิด out-of-bag (ตัวอย่างที่ไม่ได้ถูกสุ่มติดมา) เป็นชุดทดสอบ ข้อดี: ดีมากสำหรับการประมาณความไม่แน่นอน/ความแปรปรวนของตัวชี้วัด และใช้ได้กับข้อมูลจำกัด ข้อเสีย: ถ้าทำหลายรอบก็ใช้เวลามากเหมือนกัน และถ้าโจทย์ต้องการการแบ่ง train/test แบบ “สมจริง” อาจต้องเลือกวิธีให้เหมาะ 3) K-Fold Cross Validation หลักการ: แบ่งข้อมูลเป็น K ส่วน (fold) เทรน K ครั้ง โดยแต่ละครั้งใช้ 1 fold เป็น test และอีก K-1 เป็น train ข้อดี: สมดุลดีมากระหว่างความแม่นของการประเมินกับเวลาในการรัน นิยมสุดในงานจริง ข้อเสีย: ต้องระวังการจัด fold ให้ไม่รั่วข้อมูล (data leakage) และถ้าข้อมูลไม่สมดุลควรใช้ Stratified K-Fold ทริคเลือกใช้เร็ว ๆ (จากประสบการณ์ตอนทำโปรเจกต์/บ้าน ๆ) - ข้อมูลน้อยมาก: เริ่มจาก K-Fold (เช่น 5 หรือ 10) ก่อน ถ้ายังอยากใช้ข้อมูลเทรนให้คุ้มสุดค่อยพิจารณา LOOCV - ข้อมูลเยอะ (n=10000 ขึ้นไป): K-Fold มักคุ้มสุดเรื่องเวลา/คุณภาพผลลัพธ์ และตอบโจทย์งาน production - อยากรู้ความผันผวนของคะแนน/ทำช่วงความเชื่อมั่น: Bootstrap จะเด่น สุดท้าย แนะนำให้โฟกัส 2 อย่างพร้อมกัน: เลือก metric ให้ถูก (เช่น classification ที่คลาสไม่สมดุลอย่าดู accuracy อย่างเดียว) และเลือก resampling ให้เหมาะกับทรัพยากร/ลักษณะข้อมูล แค่นี้ผลประเมินโมเดลจะ “แฟร์” ขึ้นเยอะค่ะ
