کاربرد مدل‌های یادگیری عمیق در تشخیص صدا

استفاده از مدل های یادگیری عمیق در تشخیص صدا یک چارچوب فنی جامع را تشکیل داده است. ارزش اصلی آن در دستیابی به دقت بالا،استخراج ویژگی های صوتی چند سناریو و درک معنایی از طریق یادگیری از انتهای به انتهایدر زیر جهت های کلیدی کاربرد فنی و معماری های نمادین نشان داده شده است:

• استفاده از سی ان ان ها برای یادگیری خودکار ویژگی های محلی (مانند ساختار هارمونیک و شکل دهنده ها) از اسپکتروگرام های mel، جایگزین مهندسی ویژگی های دستی سنتی با استفاده از MFCC ها،این رویکرد دقت طبقه بندی را در محیط های سر و صدا در مجموعه داده های UrbanSound8K 27٪ بهبود می بخشد.
• مدل های سبک وزن مانند MobileNetV3 با استفاده از پیچیدگی های قابل جدا کردن عمق و ماژول های توجه PSA، 100٪ از دقت تشخیص صدا پرنده را با تنها پارامترهای 2.6M به دست می آورند.

• معماری ترکیبی CRNN (CNN + BiLS TM) همزمان ویژگی های طیف و وابستگی های زمانی رویدادهای صوتی را ضبط می کند و به نمره F1 92 می رسد.۳% برای تشخیص حوادث ناگهانی مانند شکستن شیشه.
• ترانسفورمور از مکانیسم توجه به خود برای پردازش دنباله های طولانی صوتی استفاده می کند و در طبقه بندی گریه های نوزاد برای گرسنگی و درد بیش از 99٪ دقت را به دست می آورد.

• فیوژن چند روشی: آموزش مشترک مدل بصری YOLOv8 و شبکه صوتی LSTM به طور همزمان حرکات نوزاد و فرکانس گریه را تجزیه و تحلیل می کند و مثبت کاذب را 38٪ کاهش می دهد.
• استفاده سبک: تراشه هایی مانند WT2605A موتورهای استنباط DNN را ادغام می کنند و مصرف انرژی ماژول تشخیص اثر صدا را به 15mW کاهش می دهند.

(توجه: ارقام مرجع در جدول در خارج از جدول نشان داده شده است.)