پاسخ دهی خودکار به پرسش های مربوط به محتوای تصاویر به زبان فارسی با استفاده از تکنیک های مبتنی بر یادگیری عمیق

امروزه پاسخ دهی خودکار به پرسش های مربوط به محتوای تصاویر (سیستم پرسش و پاسخ تصویری) کاربرد فراوانی دارد. درسیستم های پرسش و پاسخ تصوبری. یک تصویر و یک سوال متنی در مورد تصویر به عنوان ورودی در نظر گرفته می شود واین سیستم باید پاسخ صحیح به پرسش مطرح شده را پیش بینی کند. هدف اصلی در این سیستم ها بالا بودن دقت صحتپاسخ پیش بینی شده است. برای این منظور عوامل مختلفی از جمله انتخاب شبکه های عصبی مناسب جهت پردازشورودی ها و انتخاب مجموعه داده مناسب بسیار مهم است. همچنین استفاده از انواع مختلف سازوکار توجه در مدل می تواندباعث بهبود عملکرد کلی سیستم پرسش و پاسخ تصویری شود. تا به امروز پژوهش های اندکی در مورد سیستم های پرسش وپاسخ تصویری به زبان فارسی انجام شده است. از همین رو در این مقاله به معرفی یک سیستم پرسش و پاسخ تصویری بهزبان فارسی پرداختیم. در مدل پیشنهادی، ما از شبکه عصبی کانولوشنی با معماری ResNext جهت پردازش تصویراستفاده کردیم که برای اولین بار در سیستم پرسش و پاسخ تصویری استفاده شده است. برای پردازش متن ورودی نیز ازشبکه عصبی بازگشتی از نوع حافظه کوتاه مدت طولانی دوسویه استفاده کردیم. همچنین از دو نوع سازوکار توجه در مدلپیشنهادی استفاده شده است. نتیجه حاصل شده نشان می دهد که دقت صحت پاسخ پیش بینی شده در مدل پیشنهادی اینمقاله، بالاترین مقدار بدست آمده نسبت به نمونه های موجود به زبان فارسی است. جزئیات پیاده سازی و کدهای این مقالهدر لینک زیر موجود می باشد: https://github.com/amirshnll/persian-visual-question-answering