علم البيانات الرشيقة - Agile Data Science - SparkML

 علم البيانات الرشيقة - Agile Data Science - SparkML

علم البيانات الرشيقة - SparkML

علم البيانات الرشيقة - Agile Data Science - SparkML

تتكون مكتبة التعلم الآلي التي تسمى أيضًا "SparkML" أو "MLLib" من خوارزميات التعلم الشائعة ، بما في ذلك التصنيف والانحدار والتجميع والترشيح التعاوني.

لماذا تتعلم SparkML for Agile؟

أصبحت Spark المنصة الواقعية لبناء خوارزميات التعلم الآلي والتطبيقات. يعمل المطورون على Spark لتنفيذ خوارزميات الآلة بطريقة قابلة للتطوير وموجزة في إطار عمل Spark. سوف نتعلم مفاهيم التعلم الآلي ، والمرافق والخوارزميات مع هذا الإطار. يختار Agile دائمًا إطار عمل يقدم نتائج قصيرة وسريعة.

خوارزميات ML

تتضمن خوارزميات ML خوارزميات التعلم الشائعة مثل التصنيف والانحدار والتجميع والترشيح التعاوني.

ميزات

يتضمن استخراج الميزات والتحويل وتقليل البعد والاختيار.

خطوط الأنابيب pipeline 

توفر خطوط الأنابيب أدوات لإنشاء وتقييم وضبط خطوط أنابيب التعلم الآلي.

الخوارزميات الشعبية

فيما يلي بعض الخوارزميات الشائعة -

• الإحصاء الأساسي

• تراجع

• تصنيف

• نظام التوصيات

• تجمع

• تخفيض الأبعاد

• ميزة استخراج

• الاقوي

نظام التوصيات

نظام التوصية هو فئة فرعية من نظام تصفية المعلومات الذي يسعى إلى التنبؤ بـ "التصنيف" و "التفضيل" الذي يقترحه المستخدم لعنصر معين.

يشتمل نظام التوصية على أنظمة ترشيح مختلفة ، والتي تستخدم على النحو التالي -

تصفية التعاونية

يتضمن بناء نموذج يعتمد على السلوك السابق بالإضافة إلى القرارات المماثلة التي يتخذها المستخدمون الآخرون. يستخدم نموذج التصفية المحدد هذا للتنبؤ بالعناصر التي يهتم المستخدم بتناولها.

التصفية على أساس المحتوى

يتضمن ترشيح الخصائص المنفصلة لعنصر ما من أجل التوصية وإضافة عناصر جديدة بخصائص مماثلة.

في فصولنا اللاحقة ، سنركز على استخدام نظام التوصيات لحل مشكلة معينة وتحسين أداء التنبؤ من وجهة نظر منهجية أجايل.