حسین شریفی پناه - دانشکده ی مهندسی کامپیوتر دانشگاه صنعتی شریف
علی موقر - دانشکده ی مهندسی کامپیوتر دانشگاه صنعتی شریف

امروزه حجم بسیار زیادی از اطلاعات در دنیای وب وجود دارند که تنها راه دسترسی به آن ها از طریق رابط های جستجو است. همین مساله بسیاری از خزش گرهای موجود را با مشکلات اساسی روبرو کرده است. شناخت رابط جستجو و گزینش یک پرس و جوی مناسب از یک طرف، و بازیابی مستنداتی که به عنوان نتیجه، توسط وب سایت برگردانده میشوند از طرف دیگر، مسائلی هستند که چالش های موجود بر سر راه خزش گرهای این نوع وب سایت ها را دو چندان نمونه است. در این مقاله سعی شده است الگوریتمی ارائه شود که فارغ ازمسائل مطرح شده، بتواند به دسته بندی وب سایتهای عمیق بپردازند. استفاده از موتورهای جستجوی متداول برای تولید یک گراف لینک – مشترک ، تکنیکی است که در این الگوریتم استفاده شده است. نتایج ارزیابی کارایی این الگوریتم نشان دهنده ی کارایی قابل قبول روش پیشنهادی است.

خزش گر ، دسته کننده ، موتور جستجو ، وب عمیق