1-1-1 rule
Make the first Pipeline as small as possible (1-1-1 rule)
Many people have already started doing Data Pipeline "lost," not because they are not good at it.
But because starting with too big a job,
(Multiple source / multiple stage / multiple destination)
The result is often a project that
- Didn't finish as planned.
- It's not clear at what point the problem was.
- Must be repeatedly solved to waste time and exhaustion.
To have the first Pipeline "actually end" and "reliable."
There is a simple but functional core to organizational thinking: 1-1-1 rules.
1-1-1 What are the rules?
1) 1 Source
Let's start with the "single source" data first.
E.g. single table in DB / single CSV file / single Google Sheet
2) 1 Transform
Do "only" or "one main rule" transformation.
e.g. dedupe / standardize time / filter status / single aggregate
Reason: When there are too many steps in the first place, it is difficult to verify the accuracy. If there is no good logs recording is a simple verification system.
3) 1 Output
Send to a "single destination" with real users.
Such as 1 table in warehouse / 1 daily file / 1 metric on dashboard.
Why would 1-1-1 work?
Because it allows the first Pipeline to have a controllable scope.
And easy to verify / correct with clarity in 4 important matters:
Where does the data come from? → What converts? → Where does it go? → Who is the user?
Pipeline didn't start with "tools."
But starting with clear boundaries and responsibilities, and then expanding in a conventional way,
จากประสบการณ์ตรงในการทำ Data Pipeline หลายโปรเจกต์ พบว่าแนวทาง 1-1-1 rule นี้ช่วยลดความซับซ้อนตั้งแต่เริ่มต้นได้อย่างมาก ผมเริ่มโดยเลือกข้อมูลจากแหล่งเดียว คือฐานข้อมูลเดียวกัน ทำให้ไม่ต้องกังวลเรื่องการดึงข้อมูลจากหลายที่ ที่อาจมีความขัดแย้งกันของข้อมูล หรือความแตกต่างในโครงสร้าง เช่นเดียวกับที่ 1-1-1 rule แนะนำให้เริ่มจาก 1 Source จากนั้นทำขั้นตอนการแปลงข้อมูลไว้แค่ขั้นตอนเดียว อาจเป็นการจัดเรียงเวลาให้เป็นมาตรฐานเดียวกัน หรือกรองข้อมูลตามสถานะที่ต้องการ ซึ่งช่วยให้ตรวจสอบผลลัพธ์ได้ง่ายขึ้น ในบางโปรเจกต์ที่ผ่านมา ถ้าหลาย Transform ทับซ้อนกันจะหาจุดที่เกิดปัญหายากมาก ต้องย้อนกลับไปทบทวนทุกขั้นตอนเสมอ สำหรับ output การส่งออกข้อมูลให้เป็น 1 จุดที่ชัดเจน เช่น ตารางเดียวใน Data Warehouse หรือไฟล์รายวันเดียว ช่วยลดความซับซ้อนต่อผู้ใช้งาน และทำให้การวัดผลหรือการตรวจสอบข้อมูลทำได้เร็วขึ้น เพราะรู้ว่าข้อมูลอยู่ปลายทางเดียว สิ่งสำคัญที่ผมเจอสำหรับการทำ Pipeline แบบนี้คือ ระบบตรวจสอบความถูกต้องของข้อมูล (Quality Assurance) เช่น ตรวจสอบจำนวนแถวข้อมูล, การทำซ้ำ (Idempotency), และความสดใหม่ของข้อมูล (Data Freshness) ที่ช่วยให้มั่นใจว่า Pipeline นั้นรันแล้วข้อมูลที่ได้ไว้ใจได้จริง นอกจากนี้การบันทึก logs อย่างละเอียดช่วยให้การแก้ไขปัญหาง่ายขึ้นมาก สำหรับใครที่กำลังเริ่มต้นทำ Data Pipeline อยากแนะนำให้ตั้งเป้าแบบ minimum viable pipeline ตามแนวทาง 1-1-1 rule นี้ก่อน จะช่วยให้โฟกัสสิ่งที่สำคัญจริง ๆ ไม่หลงทางและไม่เสียเวลาในขั้นตอนไม่จำเป็น เมื่อมันสำเร็จและเสถียรค่อยขยายต่อได้อย่างมั่นคงและเป็นระบบมากขึ้น ท้ายสุด การโฟกัสแก้ไขที่ขอบเขตเล็ก ๆ ทำให้มองเห็นภาพชัดเจนว่าแต่ละขั้นตอนมีปัญหาหรือข้อผิดพลาดตรงไหนบ้าง และพร้อมสำหรับการพัฒนา pipeline ที่ซับซ้อนขึ้นในอนาคตอย่างมีประสิทธิภาพ
