سیستم تشخیص ژست دست با استفاده از شبکه عصبی کانولوشن و جنگل تصادفی

حرکات دست یکی از رایج ترین انواع زبان بدن هستند که برای ارتباط و تعامل انسان ها و انسان-کامپیوتر استفاده می شوند. دراین مقاله روشی برای بهبود شناسایی ژست دست ارائه شده است. ابتدا با پیش پردازش تصویر مکانژست دست بدست می آید سپس از شبکه عصبی کانولوشن برای استخراج ویژگی و از جنگل تصادفی و SVM برای دسته بندی ژست های مختلف استفاده می شود. مجموعه داده مورد بررسی در این پژوهش Kinect leap motion می باشد. سه راهکار در این مقاله بررسی شده است. روش اول شبکه کانولوشن طراحی شده و بعد از ورود داده ها به شبکه، برای کاهش تعداد ویژگی های کم اهمیت از الگوریتم PCA استفاده می شود. ویژگی های استخراج شده به الگوریتم های دسته بندی داده می شود. روش دوم بدون استفاده از PCA ویژگی ها بطور مستقیم به الگویتم های دسته بند وارد می شوند. روش سوم برای مقایسه از شبکه آماده YOLO برای استخراج ویژگی استفاده شد. در این پژوهش سعیشد با طراحی شبکه کانولوشن کم عمق اختصاصی، الگوریتم جنگل های تصادفی و با استفاده از CPU که ارزان تر و در دسترس می باشد استخراج ویژگی انجام و ژست ها دسته بندی شوند. آزمایشات انجام شده نشان می دهد سرعت پیاده سازی در مقایسه با GPU قابل قبول است و درصد بازشناسی با شبکه طراحی شده با روش جنگل های تصادفی 75% و SVM 77/5% بدست آمد.