یادگیری تطبیقی قرابت معنایی و نقشه های فعالسازی کلاس پازل شده در قطعه بندی معنایی تصاویر با نظارت ضعیف سرتاسری

در این مقاله، یک روش نوآورانه برای قطعه بندی معنایی تصاویر به صورت سرتاسری (مدل Puzzled-AFA) ارائه شده است. این روش از معماری ترنسفورمری و تکه تصاویر دارای همپوشانی و نقشه هایویژگی سلسله مراتبی برای آموزش شبکه استفاده می کند. با هدف بهبود کیفیت نقشه های فعال سازیاولیه، از ماژول پازل بهره گرفته شده است. در این ماژول، تصاویر به چهار بخش تقسیم می شوند ونقشه های فعالسازی مربوط به هر بخش تولید میشوند. سپس، این نقشه ها با یکدیگر ترکیب شده ونقشه ی فعال سازی جدیدی ایجاد می شود. این رویکرد منجر به فعالسازی قسمت های بیشتری از تصویرو بهبود کیفیت نقشه های فعالسازی می شود. همچنین، از یک ماژول همبستگی برای ایجاد ارتباطاتبین نقشه های فعال سازی استفاده می شود که بهبودهای لازم را در نقشه ها اعمال و کیفیت آنها را ارتقاءمی دهد. در پایان، از یک ماژول تصحیح تطبیق پیکسل برای بهبود نهایی نقشه های فعال سازی استفادهمی شود. این ماژول از اطلاعات رنگ تصاویر بهره می برد و کیفیت آنها را بهبود می بخشد. مدلپیشنهادی با دقت ۷۳ درصد موفق به انجام قطعه بندی معنایی با نظارت ضعیف شده است.