مروری بر تکنیک ها و ابزارهای پردازش جریان در کلان داده

با رشد روزافزون دستگاه های دیجیتال و ارتباطات شبکه ای گسترده میان آنها بطور ویژه در دستگاه های اینترنت اشیا و همچنین شبکه های اجتماعی در دهه های اخیر، حجم بزرگی از داده در حال تولید می باشد که کلان داده نامیده می شود. کلان داده را میتوان توالی نامحدود و پیوسته ای از داده در نظر گرفت که با سرعت در حال تولید هستند و به نام جریان داده می باشند. جریانی که اگر در زمان مناسب پردازش شود، منافع زیادی برای بسیاری در پی خواهد داشت و در غیراین صورت، داده مورد نظر ارزش خود را از دست می دهد. درکنار نگرانی هایی مانند چگونگی ذخیره این حجم از داده و نیز دردسترس بودن آن، پردازش به موقع آن، چالشی مهم برای بسیاری از سازمان ها می باشد. روش های پردازش داده به دو صورت دسته ای و مبتنی بر جریان می باشند که راه حلی برای پردازش حجم زیادی داده ایستا که از قبل در سیستم ذخیره شده اند می باشد بدین صورت که داده پس از جمع آوری از منابع مختلف تولیدکننده داده و ذخیره و نگهداری در سیستم، بصورت دسته ای مورد پردازش قرار می گیرد که انجام آن زمانبر است ولی در روش های مبتنی بر جریان، داده به محض دریافت و بصورت بلادرنگ پردازش می شود و همین امر موجب افزایش سرعت پردازش و در دسترس بودن داده را فراهم می نماید. پردازش جریان داده، نیاز به روش ها و ابزارهایی برای دریافت داده و تجزیه و تحلیل بر آن دارد که راهکارهایی برای حل چالش های پردازش جریان پیوسته داده می باشد. در مطالعه پیشرو، روش ها و تکنیک های کلان داده و فریمورک های محبوب که سرعت پردازش داده را افزایش میدهند مورد بررسی قرار گرفته است. رویکرد پردازش جریان برای زبان طبیعی، روش های توزیع شده پردازش جریان داده، موتورهای پردازش و در نهایت، یک دسته بندی سیستماتیک صورت گرفته درباره چالش ها و راهکارهای آنها در حوزه پردازش جریان داده برای انتخاب فریمورک مناسب تر ارائه داده شده است.