🚀 Beyond Rows and Columns: 4 Information Design Concepts
🚀 Beyond Rows and Columns: Four modern-day data design ideas that no longer have the same square grid.
4 Key Concepts in Data Design (Data Modeling)
1.Fact Table Design (Fact Table Design)
- is to separate "Fact" from "Dimension."
- is at the core of Data Warehouse for Fast Analysis (BI).
- Example:
- Fact (Number): Sales 100 Baht, Qty 3 Pieces
- Dimensional (Details): * Who Buy- (Client A), * What Buy- (Product B), * Where to Buy- (Branch C), * When? - (Date D)
2.Date List Data Type (Date Data Type)
- is to manipulate "dates" to the same standard.
- Very necessary for time series data analysis.
- Example:
- Incoming information: "1 Jan 68," "Jan 1, 2025," ""
- Standards that should be kept: "2025-01-01" to make computers compare and calculate correctly.
3.Graph Data Modeling (Graph Modelling)
- is to focus on the "relationship" between data.
- Used to find complex links such as friend networks or cheating.
- Example:
- "Mr. A" is friends with "Mr. B."
- "Mr. B" transacted with "Mr. C."
- Let us see the indirect connection between "Mr. A" and "Mr. C."
4.Semi-Structured Arrays (Array Semi-Structured Data)
- is to support highly "flexible" data (such as JSON, Arrays).
- Use to store information that is not fixed or uncertain.
- Example:
- Keep the customer's "hobby" in one box.
- Client 1: ["Watch movies," "Listen to music"] (There are 2)
- Client 2: ["Climbing," "Cooking," "Reading"] (There are 3)
Data is actually trying to organize our messy world. 😊
# DataAnalytics # Data Science # DataEngineer # Database # BigData
ในยุคที่ข้อมูลมีความหลากหลายและซับซ้อนมากขึ้น การออกแบบข้อมูล (Data Modeling) ต้องพัฒนาให้ตอบโจทย์การใช้งานจริงอย่างมีประสิทธิภาพ นอกจาก 4 แนวคิดที่กล่าวถึงในบทความคือ Fact Table Design, Date List Data Type, Graph Data Modeling และ Semi-Structured Arrays เรายังสามารถเสริมความเข้าใจด้วยตัวอย่างช่วงเวลาจริงและเทคนิคต่างๆ ที่ช่วยให้การจัดการข้อมูลมีคุณภาพสูงขึ้น Fact Table Design นอกจากจะแยก "ตัวเลข/ยอดสรุป" ออกจาก "มิติ/รายละเอียด" แล้วยังสามารถแบ่งพาร์ติชัน (Partition) ตาราง Fact ตามช่วงเวลาเช่น วัน เดือน ปี ซึ่งช่วยให้การสืบค้นข้อมูลและดึงรายงานทำได้เร็วขึ้นมาก จาก OCR ได้แสดงคำว่า PARTITION และ SURROGATEKEY ซึ่งเป็นกุญแจสำคัญใน Data Warehouse สำหรับเชื่อมตาราง Dimension ทำให้ระบบ BI มีประสิทธิภาพสูง ด้านประเภทข้อมูลวันที่ (Date List Data Type) ควรรักษามาตรฐานการเก็บวันที่ในรูปแบบ ISO 8601 (YYYY-MM-DD) ตามที่แนะนำ เพื่อให้เกิดการเปรียบเทียบและคำนวณเวลาได้ถูกต้องและยืดหยุ่น ทั้งนี้ เมื่อข้อมูลวันเวลามาจากแหล่งต่างๆ ที่มีรูปแบบไม่เหมือนกัน ก็ต้องมีระบบแปลง (Data Cleansing) ก่อนเก็บ ในส่วนของ Graph Data Modeling การจัดเก็บข้อมูลในรูปแบบกราฟช่วยให้สามารถตีความ "ความสัมพันธ์" ระหว่างข้อมูลได้ชัดเจนขึ้น เช่น การสร้างเครือข่ายสังคมออนไลน์ หรือการวิเคราะห์เครือข่ายการทำธุรกรรมที่อาจมีความผิดปกติ OCR ข้อมูลที่กล่าวถึงและตัวอย่าง 2-3HOP Transaction TRAVERSAL ช่วยทำให้เห็นภาพว่าการเดินทางผ่านโหนดข้อมูลในระบบกราฟนั้นช่วยเปิดเผยความเชื่อมโยงซับซ้อนอย่างไร ส่วน Semi-Structured Arrays อย่าง JSON หรือ Arrays ที่ยืดหยุ่นนี้เหมาะกับการเก็บข้อมูลแบบไม่เป็นโครงสร้างตายตัว เช่น งานอดิเรกของลูกค้าที่มีหลายค่าในฟิลด์เดียว จึงช่วยเพิ่มความคล่องตัวและลดข้อจำกัดทางโครงสร้างข้อมูลดั้งเดิม โดยรวมแล้ว แนวคิดการออกแบบข้อมูลเหล่านี้ไม่เพียงแต่ช่วยจัดระเบียบ "โลกที่ยุ่งเหยิง" ของข้อมูลให้เป็นระบบ แต่ยังช่วยปลดล็อกศักยภาพการวิเคราะห์ข้อมูลในยุค Big Data และ Data Science ที่ต้องการความรวดเร็วและละเอียดลึกซึ้งในการเชื่อมโยงข้อมูลหลากหลายมิติอีกด้วย
