مقدمه ­ای بر داده ­کاوی

در دو دهه قبل توانایی های فنی بشر در برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند

در دو دهه قبل توانایی های فنی بشر در برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند[‎1].

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند: داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده[1] و دیگر مخازن بزرگ اطلاعات، ذخیره شده است. داده کاوی بطور همزمان از چندین رشته علمی بهره می برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه های عصبی، آمار، شناسایی الگو، سیستم های مبتنی بر دانش[2]، حصول دانش[3]، بازیابی اطلاعات[4]،محاسبات سرعت بالا^[5] و بازنمایی بصری داده^[6] . داده کاوی در اواخر دهه 1980 پدیدار گشته، در دهه 1990 گامهای بلندی در این شاخه از علم برداشته شده و انتظار می رود در این قرن به رشد و پیشرفت خود ادامه دهد [‎2].

واژه های «داده کاوی» و «کشف دانش در پایگاه داده»^[7] اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل1-1 نشان داده شده است.

فهرست مطالب

1 مقدمه ای بر داده‌کاوی… 3

1-1 چه چیزی سبب پیدایش داده کاوی شده است؟. 4

1-2 مراحل کشف دانش…. 6

1-3 جایگاه داده کاوی در میان علوم مختلف… 11

1-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟. 12

1-5 داده کاوی و انبار داده ها 13

1-6 داده کاوی و OLAP. 14

1-7 کاربرد یادگیری ماشین و آمار در داده کاوی… 15

2- توصیف داده ها در داده کاوی… 15

2-1 خلاصه سازی و به تصویر در آوردن داده ها15

2-2 خوشه بندی 16

2-3 تحلیل لینک… 16

3- مدل های پیش بینی داده ها17

3-1 Classification. 17

3-2 Regression. 17

3-3 Time series. 18

4 مدل ها و الگوریتم های داده کاوی… 18

4-1 شبکه های عصبی 18

4-2 Decision trees. 22

4-3 Multivariate Adaptive Regression Splines(MARS). 24

4-4 Rule induction. 25

4-5 K-nearest neibour and memory-based reansoning(MBR). 26

4-6 رگرسیون منطقی… 27

4-7 تحلیل تفکیکی 27

4-8 مدل افزودنی کلی (GAM). 28

4-9 Boosting. 28

5 سلسله مراتب انتخابها29

منابع