مدلسازی آماری زبان فارسی توسط شبکه عصبی جلوسوی چندلایه

این مقاله به موفقترین روش مدلسازی زبان در سالهای اخیر می پردازد. مشکل اساسی مدلهای متداول انست که ممکن است مدل بر روی جملات جدیدی بکار رود که باجملات تعلیم متفاوت باشند. برای تعمیم دادگان موجود بجای ترکیب رشته های کوچکتر کلمات، بانگاشت کلمات به یک فضای پیوسته، ابتدا تصویری از شباهت بین کلمات بدست آورده، سپس تخمین احتمال مشترک کلمات را در فضای جدید انجام می دهیم. در نتیجه هر یک از جملات تعلیم، مدل را از تعداد زیادی جملات هم معنی آگاه می سازند. یک شبکه عصبی نگاشت کلمات بهفضای هدف و تخمین احتمالات در فضای جدید را همزمان می آموزد. (پس از غلبه بر چالش بزرگ همگرا کردن شبکه ای با میلیونها پارامتر آزاد در زمان قابل قبول). نتایج تعلیم مدل بر روی زبان فارسی نسبتا موفقیت آمیز بوده و راه را برای تحقیقات اینده هموار می سازند.