کلان داده و فناوری هدوپ

کلان داده مربوط به داده هایی با حجم زیاد است که به صورت نمایی در حال رشد می باشد؛ این داده حجیم با یک سرعت زیاد از منابع مختلف و در انواع مختلف ساختار یافته، بدون ساختار و نیمه ساختار یافته تولید می شود که ما می توانیم اطلاعات ارزشمندی را از آن استخراج کنیم و در تصمیم گیری ها از کمک های آن بهره مند شویم. این پژوهش به منظور آشنایی بیشتر با کلان داده و فناوری هدوپ بوده و یافته ها حاکی از آن است که به طور کلی کلان داده توسط سه ویژگی اساسی خود، یعنی حجم (volume)، سرعت (velocity) و تنوع (variety) مشخص می شود که این سه ویژگی باید هم زمان وجود داشته باشند در غیر این صورت نمی توان درباره داده های بزرگ صحبت کرد. برخی از محققان برای بیان بهتر کلان داده، ویژگی های دیگری را نیز معرفی کرده اند از جمله ارزش (value) و صحت (veracity). تحلیل کلان داده با فراهم کردن اطلاعات ارزشمند، می تواند در حوزه های مختلف پزشکی، تجارت و سیاست بسیار کمک کننده باشد؛ اما استفاده از روش های سنتی برای ذخیره سازی و پردازش کلان داده کاری وقت گیر و هزینه بر است به همین خاطر فناوری هایی مانند هدوپ از طریق برقرار کردن امکان ذخیره سازی هر نوع داده در یک محیط توزیع شده و پردازش آن ها به صورت موازی به کمک ما آمده اند.آپاچی هدوپ از سه بخش سیستم فایل توزیع شده (HDFS)، چهارچوب برنامه نویسی نگاشت کاهش (MapReduce) و سرویس مدیریت منابع (YARN) تشکیل شده است که به ترتیب به عنوان واحد ذخیره سازی، واحد پردازش و واحد مدیریت منابع در هدوپ مورد استفاده قرار می گیرند و از این طریق مدیریت کلان داده برای ما میسر می شود.