توصیفی از ارزیابی و عملکرد سیستم های توصیه گر به صورت کاربردی

ارزیابی فیلتر کردن مشارکتی شباهت های زیادی با طبقه بندی دارد این شباهت ناشی از این واقعیت است که فیلتر کردن مشارکتی می تواند به عنوان تعمیم مساله طبقه بندی و مدل سازی رگرسیون باشد.با این حال،جنبه های زیادی برای فرآیند ارزیابی وجود دارد که منحصر به برنامه های فیلترینگ مشارکتی هستند.ارزیابی روش های مبتنی بر محتوا حتی بیشتر شبیه مدل های طبقه بندی و رگرسیون است،زیرا روش های مبتنی بر محتوا اغلب از روش های طبقه بندی متن تحت پوشش استفاده می کنند.در این مقاله مکانیزم های مختلفی برای ارزیابی الگوریتم های مختلف توصیه معرفی و این تکنیک ها را به روش های مشابه مورد استفاده در مدل سازی طبقه بندی و رگرسیون مرتبط می کنید.طراحی مناسب سیستم ارزیابی برای درک اثربخشی الگوریتم های مختلف توصیه بسیار مهم است.همان طور که بعدا در این مقاله خواهیم دید،ارزیابی سیستم های توصیه گر اغلب چند وجهی است و یک معیار نمی تواند بسیاری از اهداف طراح را ثبت کند.طراحی نادرست ارزیابی تجربی می تواند منجر به برآورد نادرست یا برآورد بیش از حد صحت واقعی یک الگوریتم یا مدل خاص شود.سیستم های توصیه گر می توانند با استفاده از روش های آنلاین یا روش های برون خط ارزیابی شوند در یک سیستم آنلاین،واکنش های کاربر با توجه به توصیه های ارائه شده اندازه گیری می شوند.بنابراین مشارکت کاربر در سیستم های آنلاین ضروری است.برای مثال،در ارزیابی آنلاین یک سیستم توصیه گر خبری،می توان نرخ تبدیل کاربران را اندازه گیری کرد که بر روی مقالاتی که توصیه شده اند کلیک می کنند.چنین روش های تست به عنوان تست a/b نامیده می شوند و تاثیر مستقیم سیستم توصیه گر را اندازه گیری می کنند.روی کاربر نهایی.در پایان روز،افزایش نرخ تبدیل اقلام سودآور مهم ترین هدف یک سیستم توصیه گر است و می تواند معیاری واقعی از اثربخشی سیستم فراهم آورد.با این حال،از آن جا که ارزیابی های آنلاین نیازمند مشارکت فعال کاربر هستند،اغلب استفاده از آن ها در الگوبرداری و تحقیق امکان پذیر نیست.معمولا چالش های مهمی در دستیابی به داده های تبدیل کاربر از سیستم هایی با مشارکت کاربر در مقیاس بزرگ وجود دارد.حتی اگر چنین دسترسی به دست آید،معمولا مختص یک سیستم مقیاس بزرگ است.از سوی دیگر،اغلب تمایل به استفاده از مجموعه داده های انواع مختلف و از حوزه های چندگانه وجود دارد.تست بر روی مجموعه داده چندگانه به ویژه برای اطمینان از قدرت تعمیم بیشتر سیستم توصیه گر مهم است تا بتوان اطمینان حاصل کرد که الگوریتم تحت انواع تنظیمات کار می کند.در چنین مواردی از ارزیابی های آفلاین با مجموعه داده های تاریخی استفاده می شود.روش های برون خط،تا کنون رایج ترین روش ها برای ارزیابی سیستم های توصیه گر از دیدگاه تحقیق و عمل هستند.بنابراین، بر روش های برون خط تمرکز خواهد کرد،اگرچه برخی بحث در مورد روش های آنلاین نیز برای تکمیل بودن در نظر گرفته می شود.هنگام کار با روش های برون خط،معیارهای صحت اغلب تصویری ناقص از نرخ تبدیل واقعی یک سیستم توصیه گر فراهم می کنند.