1-1-1 rule
ทำ Pipeline แรกให้เล็กที่สุด (1-1-1 rule)
หลายคนเริ่มทำ Data Pipeline แล้ว "หลงทาง" ไม่ใช่เพราะไม่เก่ง
แต่เพราะเริ่มจากงานที่ใหญ่เกินไป
(หลายแหล่งข้อมูล / หลายขั้นตอน / หลายปลายทาง)
ผลที่มักตามมาคือโปรเจกต์ที่
- ไม่จบตามแผน
- ไม่ชัดว่าปัญหาเกิดที่จุดใด
- ต้องแก้ซ้ำ ๆ จนเสียเวลาและหมดแรง
หากต้องการใ ห้ Pipeline แรก "จบได้จริง" และ "เชื่อถือได้"
มีหลักคิดที่เรียบง่ายแต่ใช้ได้ผลในเชิงงานองค์กร: 1-1-1 rule
1-1-1 rule คืออะไร?
1) 1 Source
เริ่มจากข้อมูล "แหล่งเดียว" ก่อน
เช่น ตารางเดียวใน DB / ไฟล์ CSV เดียว / Google Sheet เดียว
2) 1 Transform
ทำ transformation "อย่างเดียว" หรือ "กฎหลัก 1 ข้อ"
เช่น dedupe / standardize เวลา / filter สถานะ / aggregate แบบเดียว
เหตุผล : เมื่อมีหลายขั้นตอนเกินไปตั้งแต่แรก ยากต่อการตรวจสอบความถูกต้อง ถ้าไม่มี การ บันทึก logs ที่ดีเป็นระบบตรวจสอบง่าย
3) 1 Output
ส่งไป "ปลายทางเดียว" ที่มีผู้ใช้งานจริง
เช่น 1 ตารางใน warehouse / 1 ไฟล์รายวัน / 1 metric บน dashboard
ทำไม 1-1-1 ถึงเวิร์ก?
เพร าะช่วยให้ Pipeline แรกมี ขอบเขตที่ควบคุมได้ (controllable scope)
และ ตรวจสอบ/แก้ไขได้ง่าย ด้วยความชัดเจนใน 4 เรื่องสำคัญ:
ข้อมูลมาจากไหน → แปลงอะไร → ไปอยู่ที่ไหน → ใครเป็นผู้ใช้
Pipeline ไม่ได้เริ่มจาก "เครื่องมือ"
แต่เริ่มจาก ขอบเขตและความรับผิดชอบที่ชัดเจน แล้วค่อยขยายอย่างมีแบบแผน
จากประสบการณ์ตรงในการทำ Data Pipeline หลายโปรเจกต์ พบว่าแนวทาง 1-1-1 rule นี้ช่วยลดความซับซ้อนตั้งแต่เริ่มต้นได้อย่างมาก ผมเริ่มโดยเลือกข้อมูลจากแหล่งเดียว คือฐานข้อมูลเดียวกัน ทำให้ไม่ต้องกังวลเรื่องการดึงข้อมูลจากหลายที่ ที่อาจมีความขัดแย้งกันของข้อมูล หรือความแตกต่างในโครงสร้าง เช่นเดียวกับที่ 1-1-1 rule แนะนำให้เริ่มจาก 1 Source จากนั้นทำขั้นตอนการแปลงข้อมูลไว้แค่ขั้นตอนเดียว อาจเป็นการจัดเรียงเวลาให้เป็นมาตรฐานเดียวกัน หรือกรองข้อมูลตามสถานะที่ต้องการ ซึ่งช่วยให้ตรวจสอบผลลัพธ์ได้ง่ายขึ้น ในบางโปรเจกต์ที่ผ่านมา ถ้าหลาย Transform ทับซ้อนกันจะหาจุดที่เกิดปัญหายากมาก ต้องย้อนกลับไปทบทวนทุกขั้นตอนเสมอ สำหรับ output การส่งออกข้อมูลให้เป็น 1 จุดที่ชัดเจน เช่น ตารางเดียวใน Data Warehouse หรือไฟล์รายวันเดียว ช่วยลดความซับซ้อนต่อผู้ใช้งาน และทำให้การวัดผลหรือการตรวจสอบข้อมูลทำได้เร็วขึ้น เพราะรู้ว่าข้อมูลอยู่ปลายทางเดียว สิ่งสำคัญที่ผมเจอสำหรับการทำ Pipeline แบบนี้คือ ระบบตรวจสอบความถูกต้องของข้อมูล (Quality Assurance) เช่น ตรวจสอบจำนวนแถวข้อมูล, การทำซ้ำ (Idempotency), และความสดใหม่ของข้อมูล (Data Freshness) ที่ช่วยให้มั่นใจว่า Pipeline นั้นรันแล้วข้อมูลที่ได้ไว้ใจได้จริง นอกจากนี้การบันทึก logs อย่างละเอียดช่วยให้การแก้ไขปัญหาง่ายขึ้นมาก สำหรับใครที่กำลังเริ่มต้นทำ Data Pipeline อยากแนะนำให้ตั้งเป้าแบบ minimum viable pipeline ตามแนวทาง 1-1-1 rule นี้ก่อน จะช่วยให้โฟกัสสิ่งที่สำคัญจริง ๆ ไม่หลงทางและไม่เสียเวลาในขั้นตอนไม่จำเป็น เมื่อมันสำเร็จและเสถียรค่อยขยายต่อได้อย่างมั่นคงและเป็นระบบมากขึ้น ท้ายสุด การโฟกัสแก้ไขที่ขอบเขตเล็ก ๆ ทำให้มองเห็นภาพชัดเจนว่าแต่ละขั้นตอนมีปัญหาหรือข้อผิดพลาดตรงไหนบ้าง และพร้อมสำหรับการพัฒนา pipeline ที่ซับซ้อนขึ้นในอนาคตอย่างมีประสิทธิภาพ
