تحلیل داده‌‌های چند‌رسانه‌ای مقیاس بزرگ

Large Scale Multi-Media Data Analysis

شماره درس: ۴۰۸۰۲.۴ تعداد واحد: ۳
مقطع: کارشناسی ارشد نوع درس: نظری
پیش‌نیاز: – هم‌نیاز: –

اهداف درس

در این درس دانشجویان با پردازش صدا و گفتار، فایل‌های چندرسانه‌ای، پردازش سیگنال چندوجهی، و بازیابی ویدئو در مقیاس بزرگ آشنا خواهند شد. دانشجویان جنبه‌های یک سیستم جستجوی چندرسانه‌ای پیشرفته را درک کرده و با الگوریتم‌های یادگیری ژرف برای بازیابی اطلاعات، تشخیص گفتار و پردازش صدا، پردازش تصویر و ویدئو آشنا شده و پیچیدگی‌های مدیریت حجم زیادی از داده‌های چندرسانه‌ای ناهمگن را تجربه خواهند کرد. آن‌ها تجربه عمیق و عملی با برخی از الگوریتم‌های درگیر در پردازش (تشخیص و یا سنتز) و همجوشی چندوجهی خواهند داشت.

ریز مواد

  1. مقدمه و کاربردها؛ مشکلات چندرسانه‌ای
  2. مقدمه‌ای بر روش تحقیق چندرسانه‌ای
  3. معرفی ابزارهای مدل سازی و پردازش چندرسانه‌ای‌ها
  4. ضبط / ذخیره سازی چندرسانه‌ای – صدا
  5. پردازش چندرسانه‌ای – صدا
  6. پردازش چندرسانه‌ای – الگوریتم‌های عمومی
  7. ضبط / ذخیره سازی چندرسانه‌ای – متن
  8. ضبط / ذخیره سازی چندرسانه‌ای – تصاویر
  9. ضبط / ذخیره سازی چندرسانه‌ای – ویدئو
  10. پردازش تصویر در مقیاس بزرگ
  11. پردازش ویدئو در مقیاس بزرگ
  12. همجوشی داده‌های چندرسانه‌ای
  13. مقیاس پذیری چندرسانه‌ای
  14. چندرسانه‌ای در حقوق بشر، امنیت عمومی، و اخلاق
  15. یادگیری عمیق چندرسانه‌ای
  16. یادگیری خود نظارتی چندرسانه‌ای
  17. ترانسفورماتورهای بصری
  18. سیستم‌های سوالات-پاسخ‌های چندرسانه‌ای
  19. جستجوی چندرسانه‌ای
  20. استفاده از بینایی و زبان برای تولید تصویر
  21. شبکه متخاصم تولیدکننده متن به تصویر و ویدیو

ارزیابی

مراجع

  1. Stefanos Vrochidis, Benoit Huet, Edward Y. Chang, Ioannis Kompatsiaris, Big Data Analytics For Large-Scale Multimedia Search, Wiley & Sons, 2019.
  2. Edward Chang, Foundations of Large-Scale Multimedia Information Management and Retrieval, Springer, 2011.
  3. Sicheng Zhao, Min Xu, Qingming Huang, Björn W. Schuller, IEEE Multimedia, Special Issue: Multimodal Affective Computing of Large-Scale Multimedia Data, 2021.