پیش بینی قصد عبور عابر پیاده با استفاده از ویژگی های غیربصری و نقشه ی معنایی در اتومبیل های خودران

پیش بینی قصد عبور عابر پیاده در مسیرهای حرکت اتومبیل ها مانند تقاطع ها و مسیرهای خط کشی شده برای سیستم های خودران بسیار ضروری است. مطالعات اخیر، توانایی مدل های یادگیری عمیق مبتنی بر بینایی کامپیوتر را در این زمینه نشان می دهند. اما مدل های طراحی شده در حال حاضر، توانایی ایجاد اطمینان خاطر برای استفاده از آن ها در سیستم های خودران را ندارند و هنوز بسیاری از مسائل در این زمینه حل نشده است. یکی از اساسی ترین مسائل در زمینه سیستم های خودران، پیش بینی قصد عبور یک عابر پیاده از مسیرهای حرکت اتومبیل های خودران است. مدل پیشنهادی ما، عملیات پیش بینی قصد عبور عابر پیاده را بر مبنا داده های ورودی غیربصری (ژست بدن، سرعت اتومبیل در حال حرکت و کادر محصورکننده ی عابر پیاده) در یک دنباله متوالی از فریم های ویدیو با استفاده از شبکه های عصبی کانولوشن انجام می دهد. با چیدمان صحیح و منطقی ویژگی های غیر بصری در قالب ماتریس دوبعدی و استفاده از یک نقشه معنایی در قالب یک تصویر RGB برای کمک به یادگیری مدل جهت درک و تفکیک ویژگی های ادغام شده، پیش بینی قصد عبور عابر پیاده با دقتی بهتر نسبت به مدل های پیشین انجام می شود. با توجه به معیارهای ارزیابی پایگاه داده ی JAAD برای پیش بینی قصد عبور عابر پیاده، بهبود نتایج در مقایسه با مطالعات پیشین نشان داده می شود.