إنشاء model باستخدام PyTorch
نظرة عامة على المشروع
الهدف: تنفيذ ودمج طريقتين مقترحتين لإعادة تحديد الهوية عبر الأطياف (RGB-IR cross-modality person re-identification) في كود أساسي.
المتطلبات الرئيسية:
ضمان أن دقة Rank-1.
اتباع نفس إعدادات الاختبار المستخدمة في الطرق الحديثة (state-of-the-art) لضمان المقارنة العادلة.
.
الطريقة: الوصف
المدخلات:
ثلاث مدخلات: صورة مرئية (Visible)، صورة تحت الحمراء (Infrared)، وصورة مع تعويض قنوات الألوان (Channel Exchangeable Augmentation - CA).
تعتمد تقنية CA على استبدال قناة واحدة (R أو G أو B) من الصورة المرئية لتوليد مدخلات معززة لتحسين التعلم.
الخطوة الأولى: اختيار الرموز الفراغية-الترددية (Spatial-Frequency Token Selection)
استخراج المعلومات الفراغية والترددية من المدخلات الثلاثة.
استخدام اختيار الرموز للاحتفاظ بالميزات الأكثر أهمية لتطابق الأطياف المختلفة.
الخطوة الثانية: نموذج استخراج الميزات
استخدام نموذج استخراج ميزات (مثل ResNet) لتوليد خرائط الميزات لكل مدخل.
ضمان أن يخرج النموذج ثلاث خرائط ميزات تتوافق مع المدخلات الثلاثة.
الخطوة الثالثة: دالة الخسارة
تطبيق دوال خسارة مثل:
خسارة الانتروبيا المتقاطعة (Cross-entropy loss) للتصنيف.
خسارة الثلاثيات (Triplet loss) لتعظيم المسافة بين الفئات وتقليل المسافة داخل الفئات.
خسارة التناسق (Consistency loss) لمواءمة الميزات بين الأطياف المختلفة.
الناتج المتوقع: تمثيلات ميزات محسّنة لتطابق الأطياف المختلفة.
باستخدام PyTorch
رايح يتم إرسال الأوراق العلميه التي تم أخذ هذا الطريقه منها مع الأكواد،
التعليقات (3)
آخر المساهمات
