واکاوی و استخراج داده در وب

وب، در سال های اخیر، روند رو به رشدی را طی کرده است و از هزاران صفحه به بیشتر از دو میلیارد صفحه در زمان کنونی رسیده است. با گسترش روزافزون تعداد صفحات وب، موتورهای جستجوی وب باید اطلاعات مرتبط با عبارت مورد جستجو را در اختیار کاربر قرار دهند. موتورهای جستجوی وب همانند بیشتر ابزارهای مخصوص جستجو به WebCrawler ها برای بدست آوردن مجموعه ی بزرگی از صفحات، برای رتبه بندی و فهرست گذاری تکیه می کنند. از آنجاییکه Web Crawler ممکن است در طول چند هفته یا ماه به طور دوره ای، به صفحات جهت به روزرسانی جداول خود مراجعه کند، بکارگیری روش قدرتمند، انعطاف پذیر و مدیریت پذیر برای این کار ضروری به نظر می رسد. بعلاوه کارایی I/O، منابع شبکه و محدودیتهای سیستم عامل نیز باید در نظر گرفته شود.