ارزیابی تجربی و مطالعه الگوریتم های ریشه یابی متن

در هر زبانی ، کلمات با توجه به نقشی که در جملات ایفا می کنند، به شکل های ظاهری متفاوتی خواهند بود. اما با توجه به این که تمامی آنها از یک ریشه ساخته می شوند، از نظر معنا و مفهوم در گام های بعدی تشخیصی به ما کمک شایانی خواهند نمود. ازهمین رو در بسیاری از روش های مبتنی بر NLP ، ابتدا می بایست ریشه کلمات را پیدا کنیم . برای ریشه یابی کلمات معمولا از روش ریشه یابی ((Stemming استفاده می شود که این روش در نهایت ریشه ی یک کلمه را به دست می آورد. ریشه یابی متن یکی از مراحل اولیه پیش پردازش برای برنامه های پردازش زبان طبیعی است که برای تبدیل فرمهای مختلف کلمه به یک فرم ریشه استاندارد استفاده می شود. برای زبانهای مبتنی بر خط عربی ، تجزیه و تحلیل کافی متن به وسیله استمرها به دلیل تعداد زیاد ساختارهای مبهم زبان، کاری چالش برانگیز است . در ادبیات، معیارهای ارزیابی عملکرد چندگانه برای افراد بنیادی وجود دارد که هر کدام عملکرد را از جنبه خاصی توصیف می کنند. در این کار، ما روشها ی ارزیابی ریشه ها ی متنی را بررسی و تحلیل می کنیم تا معیارهایی برای اندازهگیری بهتر عملکرد پایه ابداع کنیم . نقش جنبه های مختلف اندازهگیری عملکرد بنیادی مانند ویژگی های اصلی ، شایستگی ها و کاست ی ها با استفاده از یک زبان منابع کمیاب مورد بحث قرار می گیرد. از طریق آزمایش هایمان به این نتیجه می رسیم که معیارهای ارزیابی کنونی تنها می توانند میانگین ترکیب کلمات را بدون توجه به صحت ریشه اندازه گیری کنند.