تصميم وبناء مسارات بيانات وتحديد مهام أوتوماتيكية باستخدام A

وصف الخدمة

هل تبحث عن أتمتة مسارات البيانات (Data Pipelines) وتنفيذ المهام الدورية بكفاءة عالية ودون تدخل يدوي؟

أقدم لك خدمة احترافية لتصميم وبناء الـ DAGs واختبارها على منصة Apache Airflow لتنظيم عمليات الـ ETL/ELT وإدارة التدفقات المعقدة للبيانات.

ما تقدمه الخدمة الأساسية:

كتابة وتطوير DAG محدد بواحد (1 DAG) بلغة Python يحتوي على حتى 3 مهام (Tasks/Operators).

ضبط الجدول الزمني للتنفيذ (Scheduling / Cron Expressions).

ضبط إدارة الأخطاء وإعادة المحاولة (Retries & Failure Handling).

توفير الكود المصدري كاملاً مع تعليقات توضيحية.

التقنيات المستخدمة:

Apache Airflow

Python (Pandas, Requests, SQLAlchemy, etc.)

Docker / PostgreSQL (حسب الحاجة لتشغيل البيئة)

مميزات الخدمة

المميزات :

=كود نظيف ومنظم: اتباع أفضل مهارات هندسة البيانات والـ Best Practices لضمان سهولة الصيانة والتطوير.

إدارة كاملة للأخطاء: إعداد آليات إعادة المحاولة (Retries) ومتابعة الفشل لتفادي توقف المسارات.

توثيق وافٍ: شرح طريقة تشغيل الـ DAG والمهام داخل بيئتك بالتفصيل.

دعم البيئات الحاوية: تجهيز الملفات لتكون جاهزة للعمل على Docker / Docker Compose.

معرض الأعمال

ما الذي ستستلمه

Deliverables :

ملف الـ DAG الرئيسي (.py): ملف البرمجة بلغة Python محتوياً على جميع الـ Operators والـ Schedule المطلوب.

ملف الإعدادات والتعليقات: دليل نصي مختصر يوضح كيفية إدراج الملف في مجلد dags وتفعيله.

اختبار التشغيل: تأكيد عمل المسار وسير البيانات بنجاح قبل التسليم النهائي.