مروری بر فناوری های پردازش کلان داده در شهرهای هوشمند

یکی از چالش های مهم فناروی اینترنت در شهرهای هوشمند که در آینده ظهور خواهند نمود حجم و اندازه داده های است کهتوسط تعداد زیادی حسگر و اشیاء در این شبکه تولید می گردد این حجم داده بسیار بزرگتر از آن است که برای پردازشبتوان آن را در سرویس ابری مورد تجزیه و تحلیل قرار گرفته شود. در شبکه اینترنت شهرهای هوشمند، بخش های زیادیوجود دارد که دارای اطلاعات باارزش بوده و این بخش های ارتباطی حجم بالایی از داده ها را ایجاد نموده است. مشاهدهمی شود که شبکه اینترنت اشیاء و در شهرهای هوشمند آینده تعداد زیادی زیر بخش مانند حوزه سلامت، حمل و نقل، انرژیو غیره وجود دارد که حجم بالایی از داده ها را ایجاد نموده و پردازش این حجم داده نیاز به زیرساخت های محاسباتی دارد . درواقع هر یک از خانه ها یا اشیاء هوشمند در شهرهای هوشمند دارای امکانات پردازشی محدودی می باشند که می توان از آنهابرای پردازش اطلاعات گردآوری شده توسط حسگرها استفاده نمود و سپس اطلاعات اولیه را مورد پردازش قرار داد و درنهایت اطلاعات پیش پردازش شده را برای پردازش در فضای ابری در نظر گرفت تا زمان اجرای الگوریتم های تجزیه وتحلیل تا حد امکان کمینه گردد. شبکه اینترنت اشیاء یک شبکه با اشیاء هوشمند بوده که می توانند اطلاعات محیطی راگردآوری و برای گره اصلی یا فضای محاسبات ابری ارسال نمایند تا الگوی داده ها کشف و استخراج شود. داده های تولیدشده در اسپارک به سمت کلان داده حرکت نموده و اعمال روش های کشف دانش مانند داده کاوی و یادگیری ماشین برروی این داده ها نیاز به محاسبات توزیع شده مانند محاسبات ابری دارند که یکی از آنها فناوری پردازش آپاچی اسپارک استکه در این پژوهش تعدادی از این فناوری ها مرور و بررسی می شوند.