بهبود یادگیری شبکه های عصبی با استفاده از ضرایب بهینه در الگوریتم لونبرگ-مارکوارت

انعطاف پذیری، قابلیت و کارایی بالای شبکه های عصبی سبب شده که در طیف گسترده ای از کاربردها مورد استفاده قرار گیرند. استفاده از یادگیری مناسب برای شبکه عصبی اهمیت بسیار بالایی دارد و برای این منظور می توان از روش های بهینه سازی استفاده کرد که می توان آن ها را به دو دسته کلی: مبتنی بر هوش و مبتنی بر گرادیان، تقسیم کرد. در روش های مبتنی بر گرادیان معمولا از گرادیان مرتبه اول (روش متداول) و گرادیان مرتبه دوم (روش نیوتن) استفاده می شود. در روش های مبتنی بر گرادیان مرتبه دوم سعی شده که سرعت همگرایی نسبت به روش گرادیان متداول افزایش یابد، منتهی حجم محاسبات (ماتریس هسین) نیز افزایش می یابد. برای جبران مسئله محاسبات ماتریس هسین روش هایی ارائه شده است، از جمله روش لونبرگ-مارکوارت که در آن به جای محاسبه ماتریس هسین، فقط قسمتی از آن که دارای محاسبات کم است استفاده می شود که با این ایده حجم محاسبات کاهش یافته ولی همچنان سرعت همگرایی بسیار مناسب است. در این روش با افزودن پارامتری به نام ضریب همبستگی، ترکیبی از روش های گرادیان مرتبه اول و مرتبه دوم ارائه شده است. در این مقاله مسئله یادگیری شبکه عصبی با استفاده از روش لونبرگ-مارکوارت حل شده است و همچنین سعی شده که با ایده گرفتن از روش روزن بروک، روشی مناسب برای تعیین ضریب همبستگی ارائه شود. نهایتا روش پیشنهادی برای یادگیری شبکه عصبی به منظور شناسایی یا مدلسازی یک تابع غیرخطی استفاده شده است و نتایج بدست آمده با نتایج حاصل از روش ازدحام ذرات (مبتنی بر هوش جمعی) و روش گرادیان متداول مقایسه شده است که برتری روش پیشنهادی را نشان می دهد.