شارك
الرئيسية
1 دقيقةما هو هادوب؟
إطار عمل مفتوح المصدر مُعتمد على لغة البرمجة جافا، ويستخدم لتخزين ومعالجة مجموعات البيانات الضخمة بكفاءة عالية. يعتمد هادوب على الحوسبة الموزعة؛ حيث يسمح بتجميع عدة حواسيب لتحليل مجموعات البيانات الكبيرة التي تضم أحجاماً تتراوح بين بضعة جيجا بايت إلى بضعة بيتا بايت من البيانات بطريقة تفرعية وأكثر سرعةً. وتتولى مؤسسة برمجيات أباتشي الأميركية غير الربحية إدارة إطار العمل هذا.
مم يتكون؟
يتكون من أربع وحدات أساسية هي:
- نظام الملفات الموزعة (Hadoop Distributed File System HDFS): نظام ملفات موزعة قابل للعمل على الحواسيب العادية أو ذات القدرات المنخفضة. ويقدم هذا النظام إنتاجية بيانات أفضل من أنظمة الملفات التقليدية. بالإضافة إلى قدرة عالية على تحمل الأخطاء ودعم أصلي لمجموعات البيانات الكبيرة.
- مفاوض موارد (Yet Another Resource Negotiator YARN): يدير ويراقب عقد الكتلة أو العنقود واستخدام الموارد، ويقوم بجدولة الأعمال والمهام.
- إطار عمل ماب ريديوس (MapReduce): إطار عمل يساعد الحواسيب على أداء عمليات الحوسبة الموزعة على البيانات. وقد سُمي بهذا الاسم نسبةً إلى العمليتين الأساسيتين اللتين يؤديهما وهما: التخطيط "ماب" والتخفيض "ريديوس". ففي التخطيط، تتم قراءة البيانات من قاعدة البيانات وتحويلها إلى الشكل المناسب للتحليل. أما في التخفيض، يتم إجراء عمليات حسابية لتجميع البيانات وتخفيض حجمها.
- هادوب كومون (Hadoop Common): وحدة تقدم مكتبات لغة جافا والأدوات اللازمة لمستخدمي الأنظمة الحاسوبية مثل ويندوز لقراءة البيانات المخزنة في نظام ملفات هادوب.
ما هي فوائد هادوب؟
يعد من أفضل تقنيات التعامل مع البيانات الضخمة. حيث يقدم العديد من الميزات الهامة مثل التوسعية ومقاومة الأعطال والسرعة والتكلفة المنخفضة. ولذلك، تلجأ شركات كبرى لاستخدام خدماته. فعلى سبيل المثال، تستخدمه شبكة لينكد إن المتخصصة بالوظائف والعمل من أجل توليد أكثر من 100 مليار مقترح على المستخدمين أسبوعياً.