الگوریتم خوشه بندی در حذف داده های زائد از انباره داده

غالبا داده های موجود در پایگاه داده ها از کیفیت مناسبی برخوردار نمی باشند و خطا در ورود داده ها، وجود ناسازگاری ها،اطلاعات ناقص، داده های غیر استاندارد، اطلاعات تکراری و... نمونه هایی از علل کاهش کیفیت داده ها می باشند. با توجه به حجمعظیم داده ها در پایگاه های داده موجود، امکان پالایش دستی داده ها وجود ندارد و نیاز به تکنیک های خودکار برای این کارهست. در این مقاله یک روش داده کاوی تشخیص الگوهای پرت معرفی شده است که سرعت اجرای آن بالاست و با استفاده از آنمی توان داده های پرت و ناهمگون با بقیه داده های موجود در پایگاه داده ها را شناسایی کرد و بدین ترتیب برای پالایش خودکارداده های در حجم بسیار زیاد از اهمیت بالایی برخوردار خواهد بود. روش پیشنهادی از دو فاز عمده تشکیل شده است، ابتدا کلداده ها توسط تکنیک داده کاوی k-means خوشه بندی می شوند، سپس روش پیشنهادی با سرعت بالا داده های پرت درون هرخوشه را آشکارسازی خواهد کرد.