آنالیز کلان داده با چارچوب محاسباتی آپاچی اسپارک و مقایسه آن با هادوپ و فلینک
سال انتشار: 1396
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 898
فایل این مقاله در 9 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ICCONF03_142
تاریخ نمایه سازی: 2 تیر 1397
چکیده مقاله:
این مقاله مروری داشته به آپاچی اسپارک که یک چارچوب محاسباتی برای داده های کلان است و آن را با دیگر چارچوب ها یعنی آپاچی هادوپ که پیش از آن بوده و آپاچی فلینک که پیش روی آن می باشد مورد بررسی قرار داده است. با روی کار آمدن اسپارک مشکلات هادوپ برطرف می شود. اسپارک از نگاشت - کاهش به عنوان موتور اجرای خود استفاده نمی کند اما بخوبی با هادوپ یکپارچه است. چرا که می تواند در Yarn اجرا شود و با فرمت داده ای هادوپ و HDFS کار کند. برتری های اسپارک سبب شد تا بر هادوپ غلبه کند. هم اکنون با ایده جدید به نام آپاچی فلینک رو به رو هستیم که اسپارک و نگاشت - کاهش را ترکیب کرده و مدیریت حافظه برتری نسبت به سایر رقبایش دارد. برخی مقایسه ها بین این سه ایده در طول مقاله مورد بررسی قرار گرفته است.
نویسندگان
زهرا رضایی
استاد راهنما
مریم چنگی آشتیانی
دانشجو موسسه آموزش عالی آل طه