مشروع Big Data Hadoop و Spark للمبتدئين تمامًا

اشتري الآن

السعر: $29.99

ستعدك هذه الدورة لدور مهندس بيانات في العالم الحقيقي !

ابدأ مع Big Data بسرعة الاستفادة من مجموعة السحابة المجانية وحل حالة استخدام العالم الحقيقي! تعلم Hadoop, خلية نحل , شرارة (كل من بايثون وسكالا) من الصفر!

تعلم كيفية كتابة Spark Scala & PySpark مثل مطور العالم الحقيقي. فهم أفضل ممارسات الترميز في العالم الحقيقي, تسجيل, معالجة الأخطاء , إدارة التكوين باستخدام كل من Scala و Python.

المشروع

يطلق أحد البنوك بطاقة ائتمان جديدة ويريد تحديد الاحتمالات التي يمكنه استهدافها في حملته التسويقية.

لقد تلقت بيانات احتمالية من مصادر داخلية وأطراف ثالثة مختلفة. تحتوي البيانات على العديد من المشكلات مثل القيم المفقودة أو غير المعروفة في بعض الحقول. يجب تنظيف البيانات قبل إجراء أي نوع من التحليل.

نظرًا لأن البيانات في حجم ضخم بمليارات السجلات, طلب منك البنك استخدام تقنية Big Data Hadoop و Spark للتنظيف, تحويل وتحليل هذه البيانات.

ماذا ستتعلم :

• كيف سيحول الذكاء الاصطناعي التسويق الرقمي - وكيف, مفاهيم Hadoop

• كيفية إنشاء مجموعة Hadoop و Spark مجانية باستخدام Google Dataproc

• Hadoop التدريب العملي على – HDFS, خلية نحل

• أساسيات بايثون

• PySpark RDD – تشابك الايدى

• PySpark SQL, داتافريم – تشابك الايدى

• عمل المشروع باستخدام PySpark و Hive

• أساسيات سكالا

• Spark Scala DataFrame

• عمل المشروع باستخدام سبارك سكالا

• إطار عمل Spark Scala الترميز في العالم الحقيقي وتطويره باستخدام Winutil, مافن و IntelliJ.

• إطار عمل تشفير Python Spark Hadoop Hive وتطويره باستخدام PyCharm

• بناء خط أنابيب البيانات باستخدام الخلية , PostgreSQL, شرارة

• تسجيل , معالجة الأخطاء واختبار الوحدة لتطبيقات PySpark و Spark Scala

• Spark Scala منظم الجري

• تطبيق تحويل الشرارة على البيانات المخزنة في AWS S3 باستخدام الغراء وعرض البيانات باستخدام Athena

دورة ممتازة إذا كنت مبتدئًا في إدارة علاقات العملاء أو ترغب في استخدام هذا لتجديد معلومات العمل :

• بعض مهارات البرمجة الأساسية

• بعض المعرفة باستعلامات SQL