بررسی بهبود تشخیص ویژگی در سیستم پاسخ و پرسش بصری

امروزه با توجه به پیشرفت روز افزون سیستم های نظارتی، شناسایی و گسترش الگوریتم های کارآمد در حوزهبینایی کامپیوتر و سیستم های پاسخ و پرسش بصری حائز اهمیت است. در این راستا تشخیص پاسخ دقیق بهدلیل کاربرد گسترده ای که در موارد متعددی نظیر نظارت خودکار، تحلیل تصاویر، پیش بینی وقایع، اقدام سریع وغیره دارد، به یکی از موضوعات مهم تحقیق در زمینه شناسایی الگو و بینایی ماشین تبدیل شده است. فرآینداستخراج ویژگی، یکی از بخش های مهم در سیستم هوشمند محسوب می شود. در سیستم پاسخ و پرسش بصری،استخراج ویژگی ها با چالش هایی همچون سبک های شخصی، ظاهر متفاوت، دیدگاه دوربین، پس زمینه متغیر ودیگر تغییرات محیطی مواجه است. در این مقاله با پیاده سازی شبکه های عصبی کانولوشنی در معماری YOLOبه استخراج ویژگی های تصاویر پرداخته می شود؛ سپس از تعبیه گذاری کلمات به صورت برداری به جهت ایجادبستر ارتباطی در پیاده سازی سیستم پاسخ و پرسش بصری و نهایتا بهبود شبکه توجه در این سیستم پرداختهمی شود. در این مقاله از پایگاه داده های VQA۲ ،VQA۱ و Visual Genome به منظور آموزش و بررسی دقت نهایی استفاده شده است. دقت به دست آمده در روش پیشنهادی در پایگاه داده AQA۱ و در معماری YOLO برابر ۶۱۸ برابر ۶۱۸ درصد می باشد.