داده کاوی چیست ؟

فرایند ایجاد یا کشف دانش جدید از مجوعه داده های موجود داده کاوی گفته می شود .البته داده کاوی تعاریف دیگری نیز دارد در ادامه به  تعاریف فوق اشاره خواهیم کرد.

داده کاوی (data mining ) عبارتی که از چند سال پیش بسیار شنیده می شود وروز به روز دولتهاوشرکت ها  بسیاری مهم  بودن آن پی می برندوبر ارزش آن افزوده می شود .

داده کاوی برای تجزیه وتحلیل بررسی مقادیر عظیمی از داده ها برای کشف قوانین و

الگوی جدید استفاده می شود .

داده کاوی استخراج داده های قابل فهم از مجموعه از داده های نامفهوم و گنگ است.

داده کاوی استخراج الگوی های پنهان وقوانین وابستگی وتغییرات ودیگر ساختار ها از

داده های عظیم اطلاعاتی است.

چرا باید از داده کاوی (data mining) استفاده کرد:

• میزان دیتا (اطلاعات ) تولید شده روز به روز بیشتر می شود .
• نیازمند اطلاعات جدیدی در مورد این دیتای تولید شده هستیم .
• نسبت این داده ها هیچ دانشی نداریم.

از طرف دیگر پیشرفت تکنولوژیهای ذخیره سازی اطلاعات امکان ذخیره سازی اطلاعات

با حجم بالا محقق شدن داده کاوی را امکان پذیر می کند

• تنوع زیاد در ذخیره سازی داده ها
• پیشرفت تکنولوی ذخیره سازی دیتا
• دیتابیس
• اطلاعات متنی و فاقد ساختار مشخص

تفاوت روش های آماری با داده کاوی

خلاصه از تفاوت از بین علم آماروداده کاوی بصورت زیر است

آمار برای داده هایی با اندازه و حجم کم استفاده می شود.

داده کاوی برای داده های با حجم بزرگ بکار می رود .

نوع داده ها

در آمار دادها برای پاسخ گویی به یک سوال جمع آوری می شود(مطالعه های نمونه موردی-طراحی آزمایشها- بررسی نظر سنجی-مطالعه داده های مشاهده ی)

در داده کاوی برای استفاده های ممکن در زمانهای اینده استفاده می شود (پروژه های داده کاوی تجاری-داده کاوی صوتی و تصویری-داده های درمانی وپزشکی -آب و وهوا)

پیش پردازش دادها

آمار بصورت دستی انجام می گیرد

داده کاوی :داده ها توسط انسان با استفاده از کامپیوتر بصورت هوشمند انجام می گیرد .

اهداف اصلی علم آمار

برازش مدل

آزمون مدل (فرضیه)

اهداف اصلی داده کاوی

جستجو و کشف قوانین جدید

کلاسبندی داده ها

محل کاربرد داده کاوی

امروز داده کاوی گستره زیادی را در بر می می گیرد  به عبارت دیگر هر جایی که داده ی موجود باشد داده کاوی معنا پیدا میکند از قبیل پزشکی -هوا شناسی -بازاریابی -تصادفات -ولی در حالت کلی دو کار کرد اصلی داده کاوی عبارتندز:

• تفسیر وتحلیل الگو
• پیشبینی

البته برای نمایان شدن نتایج  پروژه های داده کاوی مستلزم داشتن داده های با کیفیت بالا هست (داده ها با اطمینان بالا-سازگاری-بالا بودن دقت داده ها-کامل بودن دیتاست )

درقسمت تجاری و بازاریابی میتوان به موراد زیر زیر شرکت ها و موسسات تجازی را به

عملیات داده اکوی نیازمند می کند :

• شناسایی رفتار مشتری

در این قسمت شرکت مورد نظر سعی میکند با جمع آوری وثبت خرید ها مشتری قبلی علایق ونیازمندیها مشتری را پیدا کند در خرید قبلی مثلا از طریق سایت کالاهای مورد نظر را به مشتری پیشنهاد دهند.

• شناسایی علایق مشتری

شناسایی علایق مشتری از طریق خریدها یا خدمات قبلی که از شرکت یا کوسسه تجاری گرفته است مثلا شرکت بیمه می تواند با استفاده از خدماتی قبلی که مشتری از شرکت گرفته است سرویس هایه جدید با احتمال پذیرش بالا را به مشتری پیشنهاد دهد.

• پیش بینی میزان فروش یک محصول خاص

با استفاده از فروشهای قبلی این درتاریخ خاص که صورت گرفته است.

• شناسایی بازار هدف

با استفاده از داده های موجود شرکت یا موسسه میداند چه سرویس یا محصولی در

مناطق مورد نظر ارائه دهد.

در زیر بصورت تیتر وار به چند مورد نیز اشاره میکنیم :

• کلاسبندی مشتریان بر اساس نیازمندیها بوسیله داده کاوی
• آنالیر سبد خرید مشتریان
• کشف الگوی مصرف مشتریان
• تشخیص کلاهبرداری
• تشخیص سایت های فیشینگ
• شناسایی ایمیل هایه اسپم
• شناسایی مشتریان وفادار
• بررسی تاثیرات داروها برای بیماران
• تحلیل عکس های معدنی و جغرافیایی
• تحلیل وبرسی تصاویر پزشکی
• مدیریت ریسک

مراحل چندگانه داده کاوی (چرخه داده کاوی CRISP-DM )

چرخه استاندارد داده کاوی که شامل هفت مرحله بصورت زیر است :

قدم اول :شناخت مارکت وتجارت مورد نظر

قدم دوم :فهم وشناخت داده های پروژه داده کاوی

قدم سوم :پیش پردازش و آماده کردن دیتاست

قدم چهارم :پیاده سازی بر روی دیتاست مورد نظر

قدم پنجم :بررسی نتایج انجام پروژه داده کاوی بر روی دیتاست مورد نظر

قدم ششم :عمل نتایج داده کاوی بر روی دیتاست

در حالت کلی مجوعه الگوریتم های داده کاوی بصورت زیر تقسیم بندی می شود :

• کلاسبندی (Classification)
• خوشه بندی(Clustering)
• قوانین انجمنی (Association Rules)
• یک تقسیم بندی دیگری در مورد الگوریتم های یادگیری ماشین وجود دارد بصورت زیر است “
• یادگیری با ناظر (Supervised Learning)
• یادگیری بدون ناظر (Unsupervised Learning)
• یادگیری نیمه ناظر (Semi-Supervised Learning)

نرم افزار های داده کاوی برای انجام پروژه های داده کاوی :

انجام پروژه های داده کاوی با وکا (weka)

انجام پروژه های داده کاوی با R

انجام پروژه های داده کاوی با راپید ماینر (rapid miner)

انجام  پروژه های داده کاوی spss modeler

انجام  پروژه های داده کاوی clementine

انجام  پروژه های داده کاوی متلب (matlab)

انجام  پروژه های داده کاوی پایتون (python )

سایر نرم افزارهای کاربردی که برای پروژه داده کاوی کاربرد دارد .