التعرف على العواطف باستخدام MFCC والمخططات الطيفية والشبكات العصبونية العميقة
الكلمات المفتاحية:
التعلم العميق، التعرف على العاطفة، استخراج السمات، الصور الطيفية، الشبكات العصبونيةالملخص
تُعد تقنيات التعرف على الكلام من الأدوات الحديثة الأساسية، حيث تختلف الأنظمة المستخدمة فيها من حيث طرق استخراج السمات وأساليب التصنيف. يركّز هذا البحث على دراسة عدة منهجيات لاستخلاص السمات، مع التركيز على الفوائد المحتملة لدمج هذه الطرق بهدف تحسين الدقة.
تم تطوير الطريقة المقترحة على ثلاث مراحل، كل منها اعتمد على أسلوب مختلف عن الاخر. في المرحلة الأولى، تم استخدام خوارزمية MFCC (Mel-Frequency Cepstral Coefficients) وحققت دقة تحقق بلغت 78.62%. قد يؤدي الاعتماد على MFCC وحدها إلى فقدان مؤشرات زمنية وبصرية مهمة، نتيجة لتقسيم الإشارة الصوتية إلى إطارات زمنية قصيرة، مما يحد من فعالية الكشف عن العواطف.
في المرحلة الثانية، تم استخدام الصور الطيفية (Spectrograms)، مما ساهم في تحسين التعرف على العواطف عبر الحفاظ على توزيع الطاقة عبر الترددات، وحققت دقة بلغت 93.20%. أما المرحلة الثالثة فقد اعتمدت على دمج السمات (Feature-Level Fusion) بين مخرجات MFCC والصور الطيفية، وتم تقييم النموذج المهجّن باستخدام مصنف Random Forest، وحقق دقة وصلت إلى 97%، بالإضافة إلى قيم F1-score، Recall، بنسبة 97%.
تُظهر النتائج أن دمج التمثيلات الصوتية والبصرية يعزز الأداء بشكل كبير مقارنة باستخدام كل نموذج على حدة. وتبرهن المنهجية المقترحة على فعاليتها العالية في التعرف على العواطف من خلال الكلام.
