روشها و تکنیک های داده کاوی

دانلود تحقیق کامپیوتر

روشها و تکنیک های داده کاوی

تکنیک‌‌های داده کاوی به چند دسته تقسیم می شوند که سه دسته اصلی عبارتند از خوشه بندی ، طبقه بندی  و کشف قواعد انجمنی . در ادامه هر یک از این روش‌ها را به طور کلی معرفی می نماییم.

مقدمه  داده کاوی

داده‌کاوی توسط ابزارهای الگوریتمیک، الگوها، تغییرات، آنومالی‌ها، قوانین، و ساختارهای مهم آماری، و رویدادها را از مجموعه داده‌های عظیم استخراج می‌کند.[۵] می‌توان گفت که داده کاوی در جهت کشف اطلاعات پنهان و روابط موجود در بین داده های فعلی و پیش بینی موارد نامعلوم و یا مشاهده نشده عمل می کند. برای انجام عملیات کاوش لازم است قبلاً روی داده های موجود پیش پردازش‌هایی انجام گیرد. عمل پیش پردازش اطلاعات خود از دو بخش کاهش اطلاعات، و خلاصه سازی و کلی سازی داده ها تشکیل شده است.

خوشه بندی
فرآیند خوشه بندی سعی دارد که یک مجموعه داده را به چندین خوشه  تقسیم نماید بطوریکه داده‌های قرار گرفته در یک خوشه با یکدیگر شبیه بوده و با داده های خوشه های دیگر متفاوت باشند. در حال حاضر روش‌های متعددی برای خوشه بندی داده ها وجود دارد که بر اساس نوع داده ها، شکل خوشه ها، فاصله داده ها و غیره عمل خوشه بندی را انجام می دهند.

مهم‌ترین روش‌های خوشه بندی در زیر معرفی شده اند:

۱٫روش‌های خوشه‌بندی مبتنی بر تقسیمبندی
این روش‌ها، داده های موجود در یک مجموعه داده را به k خوشه تقسیم می کنند، بطوریکه هر خوشه دو خصوصیت زیر را داراست:
•    هر خوشه یا گروه حداقل شامل یک داده می باشد.
•    هر داده موجود در مجموعه داده دقیقاً به یک گروه یا خوشه تعلق دارد.

معیار اصلی در چنین مجموعه داده هایی میزان شباهت داده های قرار گرفته در هر خوشه می باشد. در حالیکه داده‌های قرار گرفته در دو خوشه مختلف از نظر شباهت با یکدیگر فاصله زیادی دارند. مقدار k که به عنوان پارامتر استفاده می گردد، هم می تواند به صورت پویا تعیین گردد و هم اینکه قبل از شروع الگوریتم خوشه بندی مقدار آن مشخص گردد.

۲٫ روش‌های سلسله مراتبی
روش‌های سلسله مراتبی به دو دسته کلی روش‌های پایین به بالا  و روش‌های بالا به پایین  تقسیم می‌گردند. روش‌های سلسله مراتبی پایین به بالا به این صورت عمل می کنند که در شروع هر کدام از داده ها را در یک خوشه جداگانه قرار می دهد و در طول اجرا سعی می کند تا خوشه هایی نزدیک به یکدیگر را با هم ادغام نماید. این عمل ادغام تا زمانی که یا تنها یک خوشه داشته باشیم و یا اینکه شرط خاتمه برقرار گردد، ادامه می یابد. روش‌های بالا به پایین دقیقاً به طریق عکس عمل می کنند، به این طریق که ابتدا تمام داده ها را در یک خوشه  قرار می دهد و در هر تکرار از الگوریتم، هر خوشه به خوشه های کوچک‌تر شکسته می شود و این کار تا زمانی ادامه می-یابد که یا هر کدام از خوشه ها تنها شامل یک داده باشند و یا شرط خاتمه الگوریتم برقرار گردد. شرط خاتمه معمولاً تعداد کلاستر یا خوشه می باشد.

فهرست مطالب

۲-۱- مقدمه    ۷
۲-۲- داده‌کاوی    ۷
۲-۲-۱- خوشه‌بندی    ۸
۲-۲-۱-۱- روشهای تقسیمبندی    ۸
۲-۲-۱-۲- روشهای سلسله مراتبی    ۸
۲-۲-۱-۳- روشهای مبتنی بر چگالی    ۹
۲-۲-۲- طبقه‌بندی    ۹
۲-۲-۲-۱- طبقه‌بندی مبتنی بر قواعد    ۱۰
۲-۲-۳- کشف قواعد انجمنی    ۱۲
۲-۲-۳-۱- تعاریف و مفاهیم اصلی در قواعد انجمنی    ۱۲
۲-۲-۳-۱-۱- تقسیم بندی قواعد انجمنی    ۱۴
۲-۲-۳-۱-۲- استخراج قواعد تک‌سطحی تک بعدی دودویی    ۱۴
۲-۲-۳-۱-۲-۱- مرحله پیوست    ۱۶
۲-۲-۳-۱-۲-۲- مرحله هرس    ۱۷
۲-۲-۳-۱-۳- محاسبه اطمینان و استخراج قواعد نهایی    ۱۷
۲-۳- داده‌کاوی توزیع شده    ۱۷
۲-۶-۱- داده‌کاوی توزیع شده    ۳۳
۲-۶-۲- کارهای مهم انجام شده در زمینه داده‌کاوی با استفاده از عامل    ۳۶
۲-۷- جمع‌بندی    

منابع