چگونه هدوپ را برای بار اول نصب کنیم و کار با آنرا شروع کنیم. تصمیم گرفتم برای این موضوع که احتمالاً نیاز خیلی از علاقه مندان به مباحث کلان داده هم باشد بخصوص عزیزانی که ابتدای راه قرار دارند و ممکن است برای نصب و راه اندازی هدوپ با چالشهایی مواجه شوند و مرجعی برای رفع آن و راهنمایی مناسب پیدا نکنند، توضیحاتی را به صورت مستند ارائه کنم.
راه معمول نصب هدوپ ، این است که یک نسخه لینوکس داشته باشید و کتابخانه هدوپ را روی آن نصب کنید و پیکربندی ها و تنظیمات لازم را انجام دهید. در مرحله بعد همین فرآیند را برای سایر ابزار و کتابخانه های جانبی هدوپ تکرار کنید تا زمانی که همه چیز نصب و آماده استفاده شود. فرآیندی که برای یک کاربر تازه کار ممکن است گیج کننده و وقت گیر باشد.
توصیه بنده برای نصب راحت و سریع هدوپ و شروع کار با آن بدون درگیر شدن با جزییات نصب و پیکربندی، یکی از سه گزینه زیر است:
نصب تصاویر (Image) آماده شده هدوپ روی ماشین های مجازی
راحت ترین راه برای نصب سریع هدوپ استفاده از Image آماده شده شرکتهای معتبر ارائه کننده خدمات هدوپ است. کافیست یک نرم افزار شبیه سازی ماشین مجازی مانند VMWare یا VirtualBox را نصب کنید، Image آماده شده هدوپ که یک نسخه آماده شده آن روی یک توزیع لینوکس است، را دانلود و روی ماشین مجازی اجرا کنید. همین !
بعد از این مرحله می توانید کار با هدوپ و ابزارهای جانبی آنرا به سرعت شروع کنید و هنگامی که به هدوپ و اکوسیستم آن مسلط شدید، تغییراتی را بسته به نیاز در پیکربندی آن بدهید یا سایر ابزار و کتابخانه ها را نصب کنید.
حتی اگر نیاز به شبیه سازی یک کلاستر هم داشته باشید، کافیست چندین ماشین مجازی ایجاد کنید و همه را با هم اجرا کرده و آزمایشات موردنیاز خود را انجام دهید. این Image ها به راحتی قابل انتقال به سرورهای اصلی هم هستند که البته باید کمی حرفه ای تر شوید.
سه عدد از نسخه های آماده شده هدوپ که توسط شرکتهای معتبر و معروف حوزه کلان داده و هدوپ آماده شده اند از قرار زیر است:
a. سندباکس هورتورورکز (HortonWorks SandBox)
نصب هدوپ از طریق داکر
در اینجا در مورد داکر مختصر توضیح داده است، فناوری ای در زمینه مجازی سازی که سطح آنرا از سیستم عامل به سطح برنامه رسانده است و به جای اینکه Image یک لینوکس آماده شده را روی ماشین مجازی بارگذاری و اجرا کنیم، فقط نرم افزار مورد نظر خودمان را مجازی سازی می کنیم و بعد از انجام تنظیمات مختلف، آنرا روی مخزن داکر ذخیره کرده، هر جا که نیاز داریم با یک دستور ساده آنرا دانلود و اجرا می کنیم.
با این ترتیب، کافیست یک تیم حرفه ای، Image هدوپ را برای داکر آماده کنند و هر کس که به هدوپ نیاز داشته باشد، داکر را نصب کرده و با یک دستور ساده، هدوپ را روی سیستم خود اجرا کند. هر چند در این روش هم ما مجازی سازی داریم و بستر کار باید لینوکس باشد، اما خوبی آن این است که هر تغییری که روی تصویر مورد نظر از هدوپ بدهیم، میتوانیم به اسم خودمان روی مخزن داکر ذخیره کنیم و روی هر تعداد سرور که نیاز باشد، نسخه اختصاصی خودمان را روی داکر بارگذاری و اجرا نمائیم.
اجرای آنلاین هدوپ
یکی از روشهای سریع تست و کار با هدوپ، اجرای آنلاین آن است بدین صورت که در فضایی که شرکت Cloudera روی وب در اختیار شما قرار می دهد، فایلهای خودتان را آپلود می کنید، کدهای انتخاب و تلخیص (Map/Reduce) را هم روی سرور قرار داده و آنها را اجرا می کنید. این روش سریعترین روش ممکن و آسان ترین آن است و بیشتر برای شروع کار و آشنایی اولیه با مفاهیم و ابزار هدوپ کاربرد دارد و برای ادامه کار، بهتر است سراغ یکی از روشهای فوق بروید.
