Agile Data Science - Data Science Process Agile Data Science - عملية علوم البيانات
Agile Data Scie
nce - عملية علوم البيانات
في هذا الفصل ، سوف نفهم عملية علم البيانات والمصطلحات المطلوبة لفهم العملية.
"علم البيانات هو مزيج من واجهة البيانات ، وتطوير الخوارزمية والتكنولوجيا من أجل حل المشكلات التحليلية المعقدة".
علم البيانات هو مجال متعدد التخصصات يشمل الأساليب والعمليات والأنظمة العلمية مع الفئات المدرجة فيه مثل التعلم الآلي والرياضيات والمعرفة الإحصائية مع البحث التقليدي. يتضمن أيضًا مزيجًا من مهارات القرصنة والخبرة الموضوعية. يستمد علم البيانات المبادئ من الرياضيات والإحصاء وعلوم المعلومات وعلوم الكمبيوتر واستخراج البيانات والتحليل التنبئي.
الأدوار المختلفة التي تشكل جزءًا من فريق علوم البيانات مذكورة أدناه -
العملاء agile clients
العملاء هم الأشخاص الذين يستخدمون المنتج. يحدد اهتمامهم نجاح المشروع وتكون ملاحظاتهم ذات قيمة كبيرة في علم البيانات.
تطوير الأعمال agile development business
يقوم فريق علوم البيانات هذا بالتوقيع على العملاء الأوائل ، إما بشكل مباشر أو من خلال إنشاء صفحات مقصودة وعروض ترويجية. يقدم فريق تطوير الأعمال قيمة المنتج.
مديرو المنتجات agile products managers
يأخذ مديرو المنتجات أهمية إنشاء أفضل منتج ذي قيمة في السوق.
مصممو التفاعل agile interactive designers
يركزون على تفاعلات التصميم حول نماذج البيانات بحيث يجد المستخدمون القيمة المناسبة.
علماء البيانات Agile Data Science
يستكشف علماء البيانات البيانات ويحولونها بطرق جديدة لإنشاء ميزات جديدة ونشرها. يجمع هؤلاء العلماء أيضًا البيانات من مصادر متنوعة لإنشاء قيمة جديدة. يلعبون دورًا مهمًا في إنشاء تصورات مع الباحثين والمهندسين ومطوري الويب.
الباحثون Agile researchers
كما يحدد الاسم يشارك الباحثون في أنشطة البحث. إنهم يحلون مشاكل معقدة لا يستطيع علماء البيانات حلها. تتضمن هذه المشكلات تركيزًا مكثفًا ووقتًا مكثفًا لتعلم الآلة ووحدة الإحصاء.
التكيف مع التغيير Agile adopted with change
مطلوب من جميع أعضاء فريق علم البيانات التكيف مع التغييرات الجديدة والعمل على أساس المتطلبات. يجب إجراء العديد من التغييرات لاعتماد منهجية Agile مع علم البيانات ، والتي تم ذكرها على النحو التالي -
- اختيار المتخصصين على المتخصصين.
- تفضيل الفرق الصغيرة على الفرق الكبيرة.
- باستخدام أدوات ومنصات عالية المستوى.
- المشاركة المستمرة والمتكررة للعمل الوسيط.
ملحوظة
في فريق علم البيانات Agile ، يستخدم فريق صغير من الاختصاصيين أدوات عالية المستوى قابلة للتطوير وتنقيح البيانات من خلال التكرارات إلى حالات ذات قيمة أعلى بشكل متزايد.
ضع في اعتبارك الأمثلة التالية المتعلقة بعمل أعضاء فريق علوم البيانات -
يقدم المصممون CSS.
ينشئ مطورو الويب تطبيقات كاملة ، ويفهمون تجربة المستخدم ، وتصميم الواجهة.
يجب أن يعمل علماء البيانات على كل من البحث وبناء خدمات الويب بما في ذلك تطبيقات الويب.
يعمل الباحثون في قاعدة الكود ، والتي تظهر النتائج تشرح النتائج الوسيطة.
يحاول مديرو المنتجات تحديد وفهم العيوب في جميع المجالات ذات الصلة.
Why Data Science? ما هي علم البيانات؟
فيما يلي مزايا مهمة لاستخدام تقنية تحليلات البيانات:
- البيانات هي نفط عالم اليوم. باستخدام الأدوات والتقنيات والخوارزميات الصحيحة ، يمكننا استخدام البيانات وتحويلها إلى ميزة تجارية مميزة
- يمكن أن تساعدك Data Science في اكتشاف الاحتيال باستخدام خوارزميات التعلم الآلي المتقدمة
- يساعدك على منع أي خسائر مالية كبيرة
- يسمح ببناء قدرة الذكاء في الآلات
- يمكنك إجراء تحليل المشاعر لقياس ولاء العملاء للعلامة التجارية
- إنها تمكنك من اتخاذ قرارات أفضل وأسرع
- يساعدك على التوصية بالمنتج المناسب للعميل المناسب لتعزيز عملك
Data Science Components مكونات علوم علم البيانات
الإحصاء:statistics
الإحصاء هو أهم وحدة في علم البيانات. إنها طريقة أو علم جمع البيانات الرقمية وتحليلها بكميات كبيرة للحصول على رؤى مفيدة.
التصور:Visualization
تساعدك تقنية التصور على الوصول إلى كميات ضخمة
من البيانات في مرئيات سهلة الفهم والفهم.
التعلم الالي: Machine Learning
يستكشف التعلم الآلي بناء ودراسة الخوارزميات التي تتعلم كيفية عمل تنبؤات حول البيانات غير المتوقعة / المستقبلية.
تعلم عميق: deep learning
طريقة التعلم العميق هي بحث جديد للتعلم الآلي حيث تختار الخوارزمية نموذج التحليل لتتبعه.
تعلم عميق:
طريقة التعلم العميق هي بحث جديد للتعلم الآلي حيث تختار الخوارزمية نموذج التحليل لتتبعه.
عملية علم البيانات
1.الاكتشاف:
تتضمن خطوة الاكتشاف الحصول على البيانات من جميع المصادر الداخلية والخارجية المحددة والتي تساعدك على الإجابة على سؤال العمل.
يمكن أن تكون البيانات.
- سجلات من خوادم الويب
- تم جمع البيانات من وسائل التواصل الاجتماعي
- مجموعات بيانات التعداد
- يتم تدفق البيانات من مصادر عبر الإنترنت باستخدام واجهات برمجة التطبيقات
2-إعداد البيانات:
يمكن أن تحتوي البيانات على الكثير من التناقضات مثل القيمة المفقودة ، والأعمدة الفارغة ، وتنسيق البيانات غير الصحيح الذي يحتاج إلى التنظيف. تحتاج إلى معالجة البيانات واستكشافها وشرطها قبل النمذجة. كلما كانت بياناتك أنظف ، كانت توقعاتك أفضل.
3.Model Planning:
في هذه المرحلة ، تحتاج إلى تحديد الطريقة والتقنية لرسم العلاقة بين متغيرات الإدخال. يتم تنفيذ التخطيط لنموذج باستخدام صيغ إحصائية وأدوات تصور مختلفة. خدمات تحليل SQL و R و SAS / access هي بعض الأدوات المستخدمة لهذا الغرض.
4. Model Building:
في هذه الخطوة ، تبدأ عملية بناء النموذج الفعلية. هنا ، يقوم عالم البيانات بتوزيع مجموعات البيانات للتدريب والاختبار. يتم تطبيق تقنيات مثل الارتباط والتصنيف والتجميع على مجموعة بيانات التدريب. يتم اختبار النموذج الذي تم تحضيره مرة واحدة مقابل مجموعة بيانات "الاختبار".
5. Operationalize:
في هذه المرحلة ، تقوم بتسليم النموذج الأساسي النهائي مع التقارير والتعليمات البرمجية والمستندات الفنية. تم نشر النموذج في بيئة إنتاج في الوقت الفعلي بعد اختبار شامل.
6. توصيل النتائج
في هذه المرحلة ، يتم إبلاغ النتائج الرئيسية إلى جميع أصحاب المصلحة. يساعدك هذا في تحديد ما إذا كانت نتائج المشروع ناجحة أو فاشلة بناءً على المدخلات من النموذج.
أدوار وظائف علوم البيانات
أبرز عناوين وظائف عالم البيانات هي:
- عالم البيانات
- مهندس البيانات
- محلل بيانات
- الإحصائي
- مهندس البيانات
- إدارة البيانات
- محلل الأعمال
- مدير البيانات / التحليلات
دعونا نتعلم بالتفصيل ما يستلزمه كل دور:
عالم البيانات:
وظيفة:
عالم البيانات هو محترف يدير كميات هائلة من البيانات للتوصل إلى رؤى عمل مقنعة باستخدام أدوات وتقنيات ومنهجيات وخوارزميات متنوعة ، إلخ.
اللغات:
R ، SAS ، Python ، SQL ، Hive ، Matlab ، Pig ، Spark
مهندس بيانات:
الدور :
يتمثل دور مهندس البيانات في العمل بكميات كبيرة من البيانات. يقوم بتطوير وإنشاء واختبار وصيانة البنى مثل نظام المعالجة وقواعد البيانات على نطاق واسع.
اللغات :
SQL, Hive, R, SAS, Matlab, Python, Java, Ruby, C + +, and Perl
محلل بيانات:
Role:
محلل البيانات مسؤول عن استخراج كميات هائلة من البيانات. سيبحث هو أو هي عن العلاقات والأنماط والاتجاهات في البيانات. لاحقًا ، سيقدم تقريرًا وتصورًا مقنعًا لتحليل البيانات لاتخاذ قرارات العمل الأكثر قابلية للتطبيق.
Languages:
R و Python و HTML و JS و C و C + + و SQL
الإحصائي:
الدور :
يقوم الإحصائي بجمع وتحليل وفهم البيانات النوعية والكمية باستخدام النظريات والأساليب الإحصائية.
اللغات :
SQL, R, Matlab, Tableau, Python, Perl, Spark, and Hive
مسؤول البيانات:
الدور :
يجب أن يتأكد مسؤول البيانات من أن قاعدة البيانات متاحة لجميع المستخدمين ذوي الصلة. كما أنه يتأكد من أنه يعمل بشكل صحيح ويتم حمايته من القرصنة.
اللغات :
Ruby on Rails, SQL, Java, C#, and Python
محلل الأعمال:
الدور :
هذا المحترف بحاجة إلى تحسين العمليات التجارية. هو / هي كوسيط بين الفريق التنفيذي للأعمال وقسم تكنولوجيا المعلومات..
اللغات :
SQL و Tableau و Power BI و Python
أدوات لعلم البيانات
Applications of Data Science تطبيقات علم البيانات
البحث على الانترنت:
يستخدم بحث Google تقنية علوم البيانات للبحث عن نتيجة معينة في غضون جزء من الثانية
أنظمة التوصية:
لإنشاء نظام توصية. على سبيل المثال ، "أصدقاء مقترحون" على Facebook أو مقاطع فيديو مقترحة "على YouTube ، كل شيء يتم بمساعدة Data Science.
التعرف على الصور والكلام:
يتعرف الكلام على نظام مثل Siri ، مساعد Google ، يعمل Alexa على تقنية علم البيانات. علاوة على ذلك ، يتعرف Facebook على صديقك عند تحميل صورة معهم ، بمساعدة Data Science.
عالم الألعاب:
تستخدم EA Sports و Sony و Nintendo تقنية علوم البيانات. هذا يعزز تجربة اللعب الخاصة بك. تم تطوير الألعاب الآن باستخدام تقنية التعلم الآلي. يمكنه تحديث نفسه عند الانتقال إلى مستويات أعلى.
مقارنة الأسعار عبر الإنترنت:
يعمل PriceRunner و Junglee و Shopzilla على آلية علم البيانات. هنا ، يتم جلب البيانات من مواقع الويب ذات الصلة باستخدام واجهات برمجة التطبيقات.
تحديات تكنولوجيا علوم البيانات
- مجموعة كبيرة من المعلومات والبيانات مطلوبة لتحليل دقيق
- عدم توفر مجموعة مواهب علمية كافية للبيانات
- لا تقدم الإدارة دعمًا ماليًا لفريق علوم البيانات
- عدم توفر / صعوبة الوصول إلى البيانات
- لا يتم استخدام نتائج علوم البيانات بشكل فعال من قبل صناع القرار في مجال الأعمال
- من الصعب شرح علم البيانات للآخرين
- مشاكل خصوصية
- عدم وجود خبراء المجال المهم
- إذا كانت المنظمة صغيرة جدًا ، فلا يمكن أن يكون لديها فريق علوم البيانات
ملخص
- علم البيانات هو مجال الدراسة الذي يتضمن استخلاص الرؤى من كميات هائلة من البيانات عن طريق استخدام الأساليب والخوارزميات والعمليات العلمية المختلفة.
- الإحصاء ، والتصور ، والتعلم العميق ، والتعلم الآلي ، هي مفاهيم مهمة في علوم البيانات.
- تمر عملية علم البيانات من خلال الاكتشاف ، وإعداد البيانات ، وتخطيط النموذج ، وبناء النماذج ، والتشغيل ، وإبلاغ النتائج.
- الأدوار المهمة لعالم البيانات هي: 1) عالم البيانات 2) مهندس البيانات 3) محلل البيانات 4) الإحصائي 5) مهندس البيانات 6) مسؤول البيانات 7) محلل الأعمال 8) مدير البيانات / التحليلات
- R, SQL, Python, SaS, بيانات أساسية ادوات tools
- تتطلع تنبؤات ذكاء الأعمال إلى الوراء بينما تتطلع إلى الأمام لعلوم البيانات.
- التطبيقات المهمة لعلوم البيانات هي 1) البحث على الإنترنت 2) أنظمة التوصيات 3) التعرف على الصور والكلام 4) عالم الألعاب 5) مقارنة الأسعار عبر الإنترنت.
- يعد التنوع الكبير في المعلومات والبيانات التحدي الأكبر لتكنولوجيا علوم البيانات.