5 categories of data engineers should have ✌️
We have gathered the skills required to do the initial data engineering work for those who are not sure what basic data engineers need. Read it first or share your opinion. ❤️
# Data engineer # data amanagement # lemon 8 diary # Data line work # Find a job
สำหรับใครที่สนใจสายงาน Data Engineer การเข้าใจระบบการจัดการข้อมูล (Data Management) ถือเป็นสกิลหลักที่ไม่ควรมองข้าม เพราะระบบข้อมูลที่ซับซ้อนต้องการการจัดการอย่างมีประสิทธิภาพเพื่อทำให้ข้อมูลที่ได้รับนำไปใช้งานได้จริง โดยเฉพาะอย่างยิ่ง แต่ละสกิลในหมวดของ Data Pipelines และ Data Warehousing ที่ช่วยให้เราสามารถออกแบบกระบวนการเก็บข้อมูลและประมวลผลข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว เช่น ETL/ELT Frameworks ที่ช่วยเปลี่ยนข้อมูลให้อยู่ในรูปแบบที่ใช้งานได้ง่าย รวมถึงความรู้เกี่ยวกับระบบฐานข้อมูลทั้ง Relational และ NoSQL ที่เหมาะกับการจัดเก็บข้อมูลหลากหลายรูปแบบ นอกจากนี้ การเข้าใจใน Big Data Management และ Frameworks อย่าง Apache Spark, Hadoop และ Kafka จะช่วยให้เราสามารถประมวลผลข้อมูลเรียลไทม์หรือข้อมูลจำนวนมากได้ไม่สะดุด สุดท้าย การใช้ Cloud Platform ต่างๆ เช่น AWS, Azure หรือ GCP กับบริการที่เกี่ยวข้องกับ Data Lake Storage และ Data Warehouse จะช่วยเพิ่มความยืดหยุ่นและความปลอดภัยของข้อมูล ทำให้การทำงานกับข้อมูลขนาดใหญ่เป็นไปอย่างมีประสิทธิภาพและรองรับการขยายตัวในอนาคต ผมแนะนำให้ลองฝึกฝนและพัฒนา 5 หมวดสกิลนี้อย่างต่อเนื่อง เพราะนอกจากจะทำให้เราเป็น Data Engineer ที่ครบเครื่องแล้ว ยังช่วยเพิ่มโอกาสในการทำงานและความก้าวหน้าในสายงานได้อย่างมั่นคงด้วยครับ
