Memory is as short as a goldfish 🐟, but if it's AI, we have to be exact!

Today, let's get to know your "memory." Why is RAG so smart? Why does it find an answer for us so quickly? I can tell you that the ANN technique in the picture is the fairy secret of the AI Engineer. Try scrolling through it.

# ai skills # Developer # programmer # Data ascience # selfdevelopment

1/19 Edited to

จากประสบการณ์จริงในการเรียนรู้เกี่ยวกับ AI และการพัฒนาโปรเจกต์ต่างๆ ด้วยเทคโนโลยี AI ผมพบว่าเทคนิค Approximate Nearest Neighbor (ANN) นั้นเป็นกุญแจสำคัญในการเพิ่มประสิทธิภาพของระบบค้นหาข้อมูลในฐานข้อมูลเวกเตอร์ (Vector Database) เพราะถ้าใช้วิธีค้นหาแบบ Exact Search จะทำให้ระบบช้าลงอย่างมากเมื่อจำนวนข้อมูลมีขนาดใหญ่ ANN ช่วยให้ AI สามารถใกล้เคียงข้อมูลที่ต้องการได้รวดเร็วด้วยการแบ่งพื้นที่เวกเตอร์ออกเป็นกลุ่ม คล้ายคลัสเตอร์ (Clusters) และค้นหาเฉพาะในกลุ่มที่เกี่ยวข้องโดยใช้วิธีอย่าง HNSW (Hierarchical Navigable Small World) ที่เป็นโครงสร้างกราฟช่วยการเชื่อมต่อจุดต่างๆ อย่างมีประสิทธิภาพ ในแง่ของการวัดความใกล้เคียงของเวกเตอร์ใน RAG จะใช้เมตริกเช่น Cosine Similarity เพื่อวัดมุมหรือทิศทางของเวกเตอร์ที่ใช้กันมากสำหรับการค้นหาข้อความ ทำให้ AI เข้าใจความหมายของเนื้อหาเพิ่มเติมจากแค่คำหรือสัญลักษณ์ ทำให้ AI สามารถหาข้อมูลที่ตรงกับคำถามของเราได้ตรงและไว ซึ่งจริงๆ แล้วการทำความเข้าใจและประยุกต์ใช้เทคนิค ANN กับฐานข้อมูลเวกเตอร์นี้ ช่วยให้ AI มีความจำแบบที่แม้จะสั้นคล้ายปลาทอง แต่ก็มีความแม่นยำและรวดเร็วแบบที่เราคาดหวังจากเทคโนโลยีระดับสูง ทั้งนี้ก็ขึ้นอยู่กับการออกแบบระบบและข้อมูลที่ใช้ฝึก AI ด้วย หากเราเข้าใจกลไกนี้ดี ก็จะช่วยให้พัฒนา AI ให้ตอบโจทย์การใช้งานหลากหลายด้านอย่างมืออาชีพได้มากขึ้นจริงๆ สุดท้ายสำหรับท่านที่เริ่มสนใจ AI และการจัดการข้อมูลแบบนี้ ผมแนะนำให้ลองศึกษาเทคนิค ANN และพื้นฐานของ Vector Database เพราะมันเป็นหัวใจสำคัญของทักษะ AI ที่ช่วยให้คุณเข้าใจและสร้างระบบ AI ที่ฉลาดและไวขึ้นอย่างชัดเจน