Meysam's Experiences

MeyEx ,محلی برای انتشار تجربیات من در زمینه های مرتبط با حوزه ی تولید نرم افزار

Meysam's Experiences

MeyEx ,محلی برای انتشار تجربیات من در زمینه های مرتبط با حوزه ی تولید نرم افزار

Meysam's Experiences

در زمینه ی تولید نرم افزار فعالیت دارم. نوشته های این بلاگ به طور خاص در مورد تمامی زمینه هایی که منتهی به تولید نرم افزار و یا تجربیاتی که در محیط کاریم کسب می کنم خواهند بود. [البته فعلا به دلیل مشغله های جانبی دیگر و داشتن مخاطب در آن حوزه ها, مطالب کمی غیر نرم افزار شده است!]
در این بلاگ سعی شده که مطالب به صورت تخصصی و دسته بندی شده منتشر شوند

تابلوی اعلانات
جدیدترین نظرات

Data Mining in Cloud Computing

دوشنبه, ۲۹ دی ۱۳۹۳، ۱۱:۳۱ ب.ظ

داده کاوی در پردازش ابری

 

این مقاله در خصوص استفاده داده کاوی در پردازش ابری توضیح می دهد. داده کاوی برای استخراج داده های بالقوه مفید از اطلاعات خام استفاده می شود. یکپارچه شدن تکنیک های داده کاوری در فعالیت های روزمره به یک امر عادی تبدیل شده است. هر روزه مردم با تبلیغات هدفمند و تکنیک هایی که به کسب و کارها برای کاهش هزینه ها کمک می کند مواجه می شوند. تکنیک های داده کاوی و برنامه های کاربردی در چارچوب پردازش ابری بسیار مورد نیاز هستند. پیاده سازی تکنیک های داده کاوی در پردازش ابری امکان استخراج اطلاعات با معنی و مفید را از درون انبارهای داده که به صورت مجازی یکپارچه شده اند را می دهد که این خود باعث کاهش هزینه های زیرساخت و فضای نگه داری اطلاعات می شود.

 

کلمات کلیدی: پردازش ابری, داده کاوی

 

معرفی

اینترنت در حال تبدیل شدن به بک ابزار حیاتی در زندگی هر روزه ما است. هر دو گروه کاربران حرفه ای و شخصی رو به افزایش هستند.  تعجب آور نیست که کسب و کار به صورت رو به رشدی با اینترنت گره می خورند.  شاید یکی از انقلابی ترین مفاهیمی که در سال های اخیر مطرح شده است پردازش ابری باشد. ابر, همان طور که معمولا به آن ارجاع داده می شود, شامل استفاده از منابع پردازشی – سخت افزار و نرم افزار – که به صورت خدمات در بستر اینترنت ارائه می شود. (که به صورت یک ابر در اغلب نمودار ها نمایش داده می شود). بسیاری از شرکت هایی که در حال انتخاب یک جایگزین برای ایجاد زیرساخت های خود به جهت میزبانی پایگاه های داده یا نرم افزار هستند, یک شریک سوم برای میزبانی خود بر روی سرور های بزرگ آن ها دارند, بنابراین آن شرکت به اطلاعات و نرم افزار های خود در بستر اینترنت دسترسی خواهد داشت.

 

 

 

 

استفاده از پردازش ابری در حال کسب شهرت از طریق قابلیت سیار بودن, دسترس پذیری بالا و گسترده و هزینه ی پایین است. در طرف دیگر پردازش ابری مخاطرات بیشتری را برای داده ها و اطلاعات شرکت ها ایجاد می کند.

تکنیک های داده کاوی تکامل یافته اند و بیشتر مورد استفاده قرار گرفته اند, کشف دانش در پایگاه های داده به شکل فزاینده ای حیاتی شده است, در زمینه های همچون: کسب و کار, پزشکی, علوم, مهندسی, داده های مکانی و ... .

روند ظهور پردازش ابری  برای کاربران آن یک منفعت منحصر به فرد فراهم می کند و آن دسترسی بی سابقه به داده های با ارزشی است که می توانند به بینش ارزشمندی تبدیل شوند که به آن ها کمک می کند تا به اهداف کسب و کار خود برسند.

 

 

2. برخی جنبه ها راجع به پردازش ابری

پردازش ابری, نمایان گر نرم افزار و سخت افزار که به صورت یک سرویس از طریق اینترنت ارائه می شود می باشد. پردازش ابری یک مفهوم جدید است که استفاده از پردازش به عنوان یک ابزار را تعریف می کند که اخیرا توجه را به خود جلب کرده است.

در شکل (1) نشان داده شده است که چارچوب پردازش در طول نیمه اخیر قرن در 6 مرحله جابه جا شده است:

  • مردم از پایانه ها برای اتصال به رایانه های mainframe قوی که به وسیله ی کاربران زیاد به اشتراک گذاشته شده اند استفاده می کنند.
  • رایانه های مستقل به حدی قدرتمند شدند که نیازهای روز مره ی کاربران را پاسخ می دهند.
  • شبکه های رایانه ای امکان اتصال چنیدن رایانه به یکدیگر را فراهم می کند.
  • شبکه های رایانه ای محلی توانستند به دیگر شبکه های محلی متصل شوند تا شبکه های بزرگتری را ایجاد کنند.
  • شبکه های الکترونیکی منابع ذخیره سازی و توان پردازشی اشتراکی را تسهیل کردند.
  • پردازش ابری اجازه ی بهره برداری از تمامی منابع قابل دسترس در اینترنت را از طریق یک روش ساده و مقیاس پذیر می دهد.

 


شکل 1. تغییر الگوی پردازش در نیم قرن اخیر [1]

 

طبق تعریف موسسه ملی استاندارد و فناوری, "پردازش ابری الگویی است برای دسترسی همه جایی  و مناسب  به شبکه های متقاضی جهت اشتراک گذاری منابع قابل تنظیم محاسباتی ( برای مثال: شبکه ها, سرورها, ذخیره ساز ها, برنامه ها و خدمات) که می توانند با کمترین تلاش مدیریتی و تعامل با فراهم کننده ی سرویس مشروط و منتشر شوند. این مدل ابری شامل پنج ویژگی ضروری, سه الگوی خدمات, و چهار مدل استقرار می باشد." [2]

مشخصه های ضروری پردازش ابری شامل: خود سرویسی در زمان نیاز, دسترسی وسیع به شبکه, استخر منابع, قابلیت ارتجاع سریع و سرویس اندازه گیری شده می باشد. مدل خدماتی که پردازش ابری را ارائه می کند شامل: نرم افزار به عنوان سرویس, سکوی کاری به عنوان سرویس و زیر ساخت به عنوان سرویس می باشند. مدل های استقرار پردازش ابری شامل: ابر خصوصی, ابر انجمنی, ابر عمومی و ابر تلفیقی می باشد.

 

جدول 1 جزئیات شرکت های ارائه دهنده ی خدمات پردازش ابری و ویژگی های کلیدی آن ها

ویژگی های کلیدی

نام سرویس پردازش ابری

برنامه های کاربردی بیشتر نسبت به دیگر سیستم های عامل

Sun Microsystems Sun Cloud

مدیریت نیروی یکپارچه که به شما برای برنامه ریزی, پیش بینی, مانیتور و مدیریت فعال تر مصرف نیرو در سرور های BladeCenter کمک می کند.

IBM Dynamic Infrastructure

طراحی شده برای تسهیل محاسبات وب مقیاس برای توسعه دهندگان.

Amazon EC2

عدم اتمام دوره ی استفاده ی رایگان تا زمانی که بیش از حد مجاز, از منابع استفاده نکنید.

Google App Engine

عدم اتمام دوره ی استفاده ی رایگان تا زمانی که بیش از حد مجاز, از منابع استفاده نکنید.

 

در حال حاضر تخفیف برای "شتاب دهنده ی توسعه" را ارائه می نماید. 15-30% تخفیف برای هزینه ی شارژ 6 ماهه اول.

Microsoft Azure

استفاده از زیر ساخت کاملا آن دی مند یا ادغام آن با کامپوننت های اختصاصی برای دست یابی به نیازمندی های خاص.

AT&T Synaptic Hosting

 

 

ارائه ی Load Balancing و پشتیبانی 24 ساعته در 7 روز هفته به صورت رایگان.

GoGrid Cloud Computing

ارائه ی راه حل های ابری اتوماسیون, خدمات مشتریان و سکوی کاری, همچنین. شفافیت از طریق اطلاعات زمان واقعی بر عملکرد سیستمی و امنتی در trust.salesforce.com .

Salesforce

 

پردازش ابری همه ی منابع موجود در اینترنت را ارائه می نماید در واقع توان پردازشی بی نهایت را ارائه می نماید. در حالی که پردازش ابری در حال تبدیل شدن به تکنولوژی موثر می شود, می تواند بخش فناوری اطلاعات را تحت تاثیر قرار دهد.

3. برخی جنبه های داده کاوی

داده کاوی یافتن الگوهای مفید و یا گرایش ها از میان مقدار زیادی از داده را ارائه می کند. داده کاوی به صورت "نوعی از تجزیه و تحلیل پایگاه داده است که برای یافتن الگوها و یا رابطه هایی بین گروه های داده تلاش می کند. تجزیه و تحلیل از روش های آماری پیشرفته, از قبیل تحلیل خوشه, و برخی اوقات تکنیک های هوش مصنوعی و شبکه های عصبی را به کار می گیرد. یک هدف اصلی از داده کاوی کشف روابط ناشناخته در میان داده ها خصوصا زمانی که داده ها از پایگاه های داده ی مختلف می آیند, می باشد."  [4]

 

جدول شماره 2 مهم ترین تکنیک های داده کاوی و توضیحاتی در مورد آن ها

توضیح

تکنیک

کاربردی برای کاوش بین داده و یافتن گروه های طبیعی. اعضای یک خوشه بیشتر شبیه به هم هستند تا دیگر اعضای یک گروه متفاوت دیگر. مثال های رایج شامل پیدا کردن گروه مشتریان جدید و کشف علوم زندگی می باشد.

Clustering

رایج ترین تکنیک برای پیش بینی نتیجه ی خاص مانند پاسخ دهی/ عدم پاسخ دهی, مشتریان با ارزش کم/ متوسط/ زیاد, مستعد خرید / عدم خرید

Classification

یافتن قوانین انجمنی همراه با اقلام تکراری متداول, برای تحلیل سبد خرید فروشگاه ها, فروش متداخل, تحلیل ریشه یابی. مفید برای دسته بندی محصولات, نگه داری در فروشگاه؛ و ...

Association

تکنیکی برای پیش بینی نتایج دنباله دار عدد از قبیل ارزش طول عمر مشتری, ارزش خانه ....

Regression

ارزش گذاری ویژگی ها بر اساس قوت ارتباط با ویژگی هدف. موارد کاربرد شامل یافتن فاکتورهایی که بیشترین ارتباط را با مشتریانی که به یک پیشنهاد پاسخ می دهند, فاکتورهایی که بیشتر ارتباط را با سلامت بیماران دارند.

Attribute Importance

تشخیص موارد غیر معمولا و ... بر اساس .... . مثال های رایج شامل مراقبت از سلامت..., گزارش ... ,

Anomaly Detection

ویژگی های جدید خطی از ویژگی های موجود تولید می کند. قابل کاربرد برای داده های متنی, تحلیل ... معنایی, فشرده سازی داده, تجزیه ی داده و ..., و تشخیص الگو.

Feature Extraction

 

با توجه به اینکه تکنیک های داده کاوی متنوع و نیاز عظیمی به کشف الگوها و گرایشات که در داده ها قابل استخراج هستند که منجر به تولید دانش می شوند, و از غیر این روش قابل دست یابی نمی باشد, تعجبی ندارد که داد کاوی در زمینه های متنوعی مورد استفاده قرار می گیرد.

داده کاوی, استخراج اطلاعات پیش گویانه مخفی در پایگاه های داده بزرگ, یک تکنولوژی جدید قدرتمند با پتاسنیل عظیم برای کمک به شرکت ها برای تمرکز بر روی اطلاعات مهم بیشتری در انباره های داده ی آن ها می باشد. ابزارهای داده کاوی که گرایشات و رفتارهای آینده را پیش بینی می کنند, به شرکت ها برای اتخاذ تصمیم های فعال و دانش بنیان کمک می کند.

کسب و کارها می توانند در مورد میزان فروش خوب یک محصول یا توسعه ی کمپین تبلیغاتی جدید با استفاده از ارتباطات جدیدی که از طریق الگوریتم های داده کاوی فراهم شده است تخمین هایی داشته باشند.

دولت ها می توانند فعالیت های غیر قانونی و یا تحریم شده که توسط افراد, انجمن ها و یا دیگر دولت ها انجام می شود را با پیاده سازی تکنیک های داده کاوی تشخیص دهند.

به طور خلاصه, داده کاوی در اکثر زمین های فعالتی استفاده های توسعه داده شده ای دارد.

 

4. داده کاری در پردازش ابری

در چهارچوب پردازش ابری  تکنیک های داده کاوی و برنامه های کاربردی بسیار مورد نیاز هستند. در حالی که پردازش ابری در حال رسوخ هرچه بیشتر و بیشتر در تمامی رده های پردازش های کسب و کاری و علمی است, این تبدیل به یک منطقه بزرگ و قابل توجه برای داده کاوی می شود.  " پردازش ابری گرایشاتی از سرویس های اینترنتی که بر اساس ابرهایی از سرورها برای انجام وظایف متکی هستند را نشان می دهد. داده کاوی در پردازش ابری فرآیند استخراج اطلاعات ساختاریافته از منابع داده ای وبی غیر ساختاریافته یا نیمه ساختاریافته می باشد."

داده کاوی در پردازش ابری به سازمان ها امکان متمرکز سازی مدیریت نرم افزار و ذخیره سازی داده, همراه با اطمینان از اثر, خدمات امن و قابل اعتماد برای کاربران آن ها را می دهد. [6]   در حالی که پردازش ابری به نرم افزارها و سخت افزارهایی که از طریق اینترنت به عنوان سرویس ارائه می شوند اشاره می کند, در پردازش ابری نرم افزارهای داده کاوی نیز از همین طریق فراهم می شود.

 

اثرات مهم ابزارهای داده کاوی که با استفاده از پردازش ابری ایجاد می شوند عبارتند از:

  • مشتریان فقط هزینه ی ابزار های داده کاوی که مورد نیازشان هست را می پردازند – که این امر هزینه ها را کاهش می دهد چرا که آن ها مجبور به پرداخت هزینه برای بسته های داده کاوی پیچیده که مورد استفاده یشان نیست, نمی باشند.
  • مشتری مجبور به نگه داری یک زیرساخت سخت افزاری نیست, به طوری مشتری می تواند داده کاوی را از طریق یک مرورگر وب به کار بگیرد – این بدین معنی است که مشتری تنها ملزم به پرداخت هزینه ای است که بر اثر استفاده از پردازش ابری ایجاد شده است.

"پردازش ابری گرایشاتی از سرویس های اینترنتی که بر اساس ابرهایی از سرورها برای انجام وظایف متکی هستند را نشان می دهد. داده کاوی در پردازش ابری فرآیند استخراج اطلاعات ساختاریافته از منابع داده ای وبی غیر ساختاریافته یا نیمه ساختاریافته می باشد."

داده کاوی در پردازش ابری به سازمان ها امکان متمرکز سازی مدیریت نرم افزار و ذخیره سازی داده, همراه با اطمینان از اثر, خدمات امن و قابل اعتماد برای کاربران آن ها را می دهد.[6]

 پیاده سازی تکنیک های داده کاوی از طریق پردازش ابری به کاربران اجازه می دهد تا اطلاعات معنی دار را از انباره های داده ای که به صورت مجازی یکپارچه شده است بازیابی کنند که این منجر به کاهش هزینه ی زیرساخت و ذخیره سازی می شود.

 

نتیجه گیری

فناوری داده کاوی که از طریق پردازش ابری فراهم شده است یک مشخصه کاملا مورد نیاز است برای کسب و کارهای امروزی برای اتخاذ تصمیم های  دانش گرا, در حالی که این به آن ها کمک می کند تا رفتارهای پیش بینی شده داشته باشند. این مقاله یک دید کلی از ضرورت و سودمندی داده کاوی در پردازش ابری فراهم می کند. در حالی که نیاز برای ابزارهای داده کاوی هر روز در حال رشد است, توانایی یکپارچه سازی آن ها در پردازش ابری سخت تر و سخت تر می شود.

 

منابع

[1] Jeffrey Voas and Jia Zhang, “Cloud Computing: New Wine or Just a New Bottle?”, IEEE Internet Computing Magazine, 2009, Link: http://www.cmlab.csie.ntu.edu.tw/~jimmychad/CN2011/Readings/CloudComputingNewWine.pdf.

[2] Peter Mell, and Timothy Grance, “The NIST Definition of Cloud Computing”, The National Institute of Standards and Technology, USA, 2011, Link: http://csrc.nist.gov/publications/nistpubs/800-145/SP800-145.pdf.

[3] IT Strategists, “Top Cloud Computing Companies and Key Features”, Link: http://www.itstrategists.com/Top-Cloud-Computing-Companies.aspx.

[4] Merriam-Webster Dictionary, “Definition of data mining”, Link: http://www.merriam-webster.com/dictionary/data%20mining.

[5] ORACLE, “Oracle Data Mining Mining Techniques and Algorithms”, Link: http://www.oracle.com/technetwork/database/options/advanced-analytics/odm/odm-techniques-algorithms-097163.html.

[6] Bhagyashree Ambulkar and Vaishali Borkar, “Data Mining in Cloud Computing”, MPGI National Multi Conference 2012 (MPGINMC-2012), 7-8 April 2012, Link: http://research.ijcaonline.org/ncrtc/number6/m

نظرات (۰)

هیچ نظری هنوز ثبت نشده است

ارسال نظر

ارسال نظر آزاد است، اما اگر قبلا در بیان ثبت نام کرده اید می توانید ابتدا وارد شوید.
شما میتوانید از این تگهای html استفاده کنید:
<b> یا <strong>، <em> یا <i>، <u>، <strike> یا <s>، <sup>، <sub>، <blockquote>، <code>، <pre>، <hr>، <br>، <p>، <a href="" title="">، <span style="">، <div align="">
تجدید کد امنیتی