استيعاب البيانات Data Ingestion

ما هو استيعاب البيانات؟

هو عملية نقل البيانات من مصدرها إلى مكان آخر أو مخزن حيث يمكن استخدامها للاستفسارات والتحليلات المخصصة، بحيث يتم استيعاب البيانات من المنشأ وتنظيفها وكتابتها في الوجهة.

أهمية استيعاب البيانات

يساعد استيعاب البيانات الفِرق على التحرك بسرعة ويمنحها المرونة وخفة الحركة على نطاٍق واسع؛ إذ يمكن لمحلل البيانات بناء سلسلة بيانات واحدة لنقل البيانات إلى النظام الذي تختاره. 

أنواع استيعاب البيانات

توجد ثلاثة أنواع رئيسية لاستيعاب البيانات، وهي ما يلي:

• معالجة الحزم: في هذه الطريقة تجمع طبقة الاستيعاب البيانات من المصادر بشكلٍ تدريجي وترسلها على شكل دفعات إلى التطبيق أو النظام، حيث تستخدم البيانات أو تُخزن. ويعد هذا النهج جيداً للتطبيقات التي لا تتطلب بيانات في الوقت الفعلي، وعادة ما تكون أقل تكلفة.
• معالجة البيانات في الزمن الحقيقي: تحمّل كل قطعة من البيانات بمجرد التعرف عليها من قِبل طبقة الاستيعاب وتُعالج ككائن فردي، ويجب أن تستخدم التطبيقات التي تتطلب بيانات في الوقت الفعلي هذا النهج.
• معالجة الحزم الصغيرة: تستخدمها أنظمة البث مثل أباتشي سبارك ستريمينغ، وتقسّم البيانات إلى مجموعات، لكن النظام يستوعبها على شكل حزم أصغر تجعلها أكثر موائمة للتطبيقات التي تتطلب بيانات متدفقة.

مزايا استيعاب البيانات

يعد استيعاب البيانات جزءاً مهماً من أي مشروع بيانات ضخمة لأنه العملية التي تحصل من خلالها على البيانات، ومن مزاياه: 

• الدقة: تمكن من التأكد من أن المعلومات جميعها التي تعمل بها دقيقة وموثوقة.
• المرونة: بمجرد استيعاب البيانات، سيكون الوصول إليها ومعالجتها وتحليلها أسهل مما لو كنت تستخدمها في شكل خام.
• السرعة: إذا كنت تستخدم هادوب لأغراض التحليلات أو التعلم الآلي، فإن وجود البيانات جميعها في مكانٍ واحد يسرّع زمن المعالجة بشكلٍ كبير.