هندسة مسارات البيانات تتطلب دقة في استخراج، تحويل، وتحميل البيانات (ETL). أقدم أتمتة تقنية لتقليل الأعباء اليدوية بنسبة 40% من خلال بناء سكربتات فعالة لضمان استقرار العمليات ومزامنة البيانات عبر واجهات برمجة التطبيقات (APIs) إلى قواعد بيانات مركزية.
- كتابة سكربت Python واحد لاستخراج البيانات من مصدر واحد (ملف واحد أو رابط API واحد).
- تطبيق عمليات تنظيف أساسية (إزالة التكرار، معالجة القيم الفارغة) باستخدام Pandas.
- تحميل البيانات المعالجة إلى جدول واحد في قاعدة بيانات (PostgreSQL أو T-SQL).
- حجم البيانات الأقصى: 10,000 سجل.
- ملف توضيحي (Readme) يشرح آلية تشغيل السكربت.
- كود برمجي موثق ومحسن يسهل التعديل عليه مستقبلاً.
- الاعتماد على مكتبات علمية مثل Pandas و NumPy لمعالجة البيانات الضخمة.
دمج ومعالجة مصدر بيانات إضافي (API أو ملف آخر) داخل نفس السكربت
15.00
|
|
مضاعفة قدرة السكربت لمعالجة بيانات ضخمة (حتي 1 مليون سجل) باستخدام تقنيات الـ Chunking
20.00
|
|
إعداد جدولة (Automated Scheduling) للسكربت باستخدام اداة Apache Airflow
15.00
|
دمج ومعالجة مصدر بيانات إضافي (API أو ملف آخر) داخل نفس السكربت
15.00
|
|
مضاعفة قدرة السكربت لمعالجة بيانات ضخمة (حتي 1 مليون سجل) باستخدام تقنيات الـ Chunking
20.00
|
|
إعداد جدولة (Automated Scheduling) للسكربت باستخدام اداة Apache Airflow
15.00
|