انتخاب ویژگی با الگوریتم گرگ خاکستری جهت افزایش دقت خلاصه سازی متن بر خط

در این پست متن پایان نامه ای با عنوان انتخاب ویژگی با الگوریتم گرگ خاکستری جهت افزایش دقت خلاصه سازی متن بر خط قرار داده شده است. انتخاب ویژگی معمولاً برای کاهش ابعاد مجموعه داده و افزایش دقت در الگوریتم های یادگیری ماشین استفاده می شود. در این پایانامه انتخاب ویژگی با الگوریتم گرگ خاکستری برای کاهش ابعاد و همچنین افزایش دقت در متن کاوی با الگوریتم یادگیری ماشین KNN و همچنین روش اطلاعات متقابل MUTUAL INFORMATION در نظر گرفته شده است.

این پایانامه در 138 صفحه در قالب Word و PDF برای علاقه مندان در حوزه متن کاوی و استخراج ویژگی ای موثر از دیتاست آماده شد است همچنین پاورپوینت ارائه این پایانامه با عنوان پاورپوینت انتخاب ویژگی با الگوریتم گرگ خاکستری برای متن کاوی در همین سایت قرار داده شده است. در ادامه به بررسی خلاصه وار از قسمت ای مهم این پایان نامه پرداخته می شود.

چکیده

خلاصه‌سازی متن یکی از کارهای اساسی در بازیابی متون در اسناد است. یکی از راه‌کارهای اساسی در خلاصه سازی متن استفاده از تکنیک‌های متن‌کاوی است. متن کاوی یکی از زیر شاخه‌های اساسی در داده‌کاوی و یادگیری ماشین است. روش پیشنهادی از ترکیب روش‌‌های پالایش و لفافه برای انتخاب ویژگی استفاده می‌کند. در فاز پالایش انتخاب ویژگی به کمک اطلاعات متقابل و در فاز لفافه انتخاب ویژگی با الگوریتم گرگ خاکستری و الگوریتم طبقه بند k نزدیکترین همسایه صورت می‌گیرد.

از KNN برای محاسبه برازندگی عامل‌ها در GWO استفاده می‌شود. هدف از ترکیب روش‌های لفافه و فیلتر این است که به طور همزمان سرعت و دقت روش پیشنهادی برای انتخاب ویژگی بالا برود. نتایج به دست آمده نشان دادند که روش پیشنهادی کارایی خوبی داشته است و انتخاب ویژگی‌ می‌تواند کارایی نهایی مدل‌های طبقه‌بند را بهبود بخشد.

واژه های کلیدی: خلاصه سازی متن، داده کاوی، متن کاوی، الگوریتم گرگ خاکستری، روش اطلاعات متقابل، یادگیری ماشین

مقدمه

با رشد سریع تکنولوژی های تبادل اطلاعات، حجم زیادی از داده های الکترونیکی در دنیای وب و کتابخانه¬های دیجیتال تولید و جمع آوری شده است و سالانه 30 درصد نیز به حجم این داده های الکترونیکی افزوده می شود. این انفجار داده های الکترونیکی، استخراج اطلاعات را برای کاربران بسی مشکل ساخته است.

ايده خلاصه سازي خودكار متن نيز به اواخر دهه 1950 ميلادي معطوف مي شود. طي اين سال ها تلاش هاي بسياري براي رسيدن به اين هدف انجام گرفت در. اين راستا هم از اطلاعات سطح پايين (اطلاعات آماري) و هم از اطلاعات سطح بالاي (مدل هاي دامنه اي) موجود در اسناد استفاده شد، اما حاصل يك نتيجه تقريبي از خلاصه يك متن بود كه با نمونه هاي انساني فاصله مشهودي داشت.

البته امروزه نيز ساخت يك سيستم خلاصه ساز توانا كه خلاصه هاي بسيار خوانا توليد كرده و نتايج بسيار قانع كننده اي داشته باشد، فرآيند بسيار پيچيده اي خواهد بود.

فهرست مطالب

فصل اول: بررسی منابع

1-1-بیان مسأله

1-2-اهمیت و ضرورت تحقیق

1-3-پردازش زبان طبيعي

1-4-خلاصه سازي خودكار متن

1-4-1-اهميت و لزوم خلاصه سازی

1-4-2-فرایند خلاصه سازی

1-5-انواع خلاصه

1-5-1-نوع منبع ورودی

1-5-2-خلاصه خروجی

1-5-3-هدف خلاصه سازی

1-6-سیستم های خلاصه ساز را براساس سطوح مختلف پردازش متن

1-6-1-روش سطحی

1-6-2-روش معنایی

1-6-3-روش ترکیبی

1-7-مراحل اصلى خلاصه سازى استخراجى

1-7-1-برچسب زنى کلمات

1-7-2-رویکرد مبتنى بر قواعد

1-7-3-رویکرد آمارى مبتنى بر مدل هاى مارکوف

1-7-4-رویکرد ماکزیمم آنتروپى

1-9-سابقه تحقیق

1-10-نوآوری تحقیق

1-11-اهداف تحقیق

1-11-1-هدف اصلی

1-11-2-هدف فرعی

1-12-فرضیه های تحقیق

1-13- سوالات تحقیق

1-14-روش انجام تحقیق

1-15-تعاریف

1-15-1-خلاصه سازی متن

1-15-2-زبان طبيعي

1-16- ساختار پایان نامه

فصل دوم: مواد و روش ها

مقدمه

2-1-مراحل خلاصه سازي

2-1-1-پیش پردازش متن

2-1-2-تجزیه مورفولوژی

2-1-3-رفع ابهام

2-1-4-تشخیص و حذف کلمه هاي بی اثر

2-1-5-ریشه یابی کلمات و یافتن کلمات کلیدي

2-2-پردازش متن خلاصه استخراجی

2-2-1-روش سطحی

2-2-2-روش موجودیتی- معنایی

2-2-3-روش هم مکانی

2-3-روش های مبتنی بر گراف

2-3-1-روش های زنجیره لغوی

2-3-2-سطح کلامی

2-3-3-روش ترکیبی

2-4-خلاصه استخراجی

2-4-1-روش هاي بر پایه پردازش سطحی

2-4-1-1-روش هاي بر پایه کلمات و مکان

2-4-1-2-خلاصه ساز GistSumm

2-4-1-3-روش lead based

2-4-1-4-خلاصه ساز FarsiSum

2-5-روش هاي موجودیتی- بر پایه معنی

2-5-1-استفاده از زنجیره لغوي

2-6-روش هاي بر پایه گراف

2-6-1-روش Text Rank

2-7-روش هاي بر پایه هم مکانی

2-7-1-روش های بر پایه ساختار کلامی

2-8-1-روش هاي بر پایه آموزش یادگیري

2-8-2-ترکیب روش سطحی و معنایی

2-8-3-روش افزایش و کاهش جمله

2-8-4-روش بر پایه هستان شناسی

فصل سوم: نتایج و بحث

مقدمه

3-1-معرفی گرگ خاکستری

3-2-مدل ریاضی و الگوریتم

3-3-ماشین های بردار پشتیبان (SVM)

3-3-1-طبقه بندی ماشین بردار پشتیبان

3-8-1-1-دسته بندی خطی داده های دارای نویز

3-8-1-2-حالتی که داده ها به صورت خطی جدا نشوند

3-3-مراحل انجام پایان‌نامه

فصل چهارم: روش پیشنهادی

مقدمه

4-1-اجزای روش پیشنهادی

4-1-1-پردازش متن

4-1-2- پیش‌پردازش

4-1-3-استخراج ویژگی

4-2-ویژگی های لغوی

4-2-1- وزن‌دهی به ویژگی‌ها

4-3-کاهش ابعاد داده‌ها

4-4-1- انتخاب ویژگی با اطلاعات متقابل

4-4-2- انتخاب ویژگی به کمک الگوریتم گرگ خاکستری

4-4-3-محاسبه برازندگی عامل‌ها

4-5- الگوریتم طبقه‌بند نزدیکترین همسایه

4-6- مجموعه داده مورد استفاده

4-7- نتیجه گیری

4-8-ارزیابی روش پیشنهادی

فصل پنجم: نتیجه گیری و ارزیابی نتایج

مقدمه

5-1- ارزیابی روش پیشنهادی

5-1-1-تقسیم‌بندی داده ها

5-1-2-معیارهای ارزیابی

5-2- نتایج به دست آمده

5-2-1-تعداد ویژگی‌های استخراج شده

5-2-2- تعداد ویژگی‌های انتخاب شده

5-2-3- نتایج بر اساس معیارهای کارایی

5-3- مقایسه نتایج

5-4- مقایسه با سایر کارها

5-5- نتیجه گیری و پیشنهادات کارهای آتی

منابع

فلوچارت روند کلی روش پیشنهادی

نتیجه گیری

خلاصه‌سازی متن یکی از کارهای اساسی در بازیابی متون در اسناد است. یکی از راه‌کارهای اساسی در خلاصه سازی متن استفاده از تکنیک‌های متن‌کاوی است. متن کاوی یکی از زیر شاخه‌های اساسی در داده‌کاوی و یادگیری ماشین است. البته با توجه به حجم بالای داده‌ها در متن کاوی، این زمینه در زیرشاخه داده‌کاوی قرار می‌گیرد. با توجه به اینکه متن یک داده بدون ساختار است.

باید با استفاده از ابزارهای مناسب، متن را تبدیل به یک مجموعه داده‌ای با ساختار مناسب کرد. از همین رو یکی از الزامات اولیه در متن کاوی پیش پردازش متن است. پس از پیش پردازش باید ویژگی‌های مناسب متن استخراج گردد. ویژگی‌های مورد استفاده در متن، همان کلماتی هستند که در متن وجود دارند.

بر اساس موارد گفته شده، در این پژوهش سعی شده است روشی برای خلاصه سازی متن بر اساس روش‌های داده‌کاوی و متن‌کاوی ارائه گردد. بر همین اساس در روش پیشنهادی پس از دریافت داده‌ها پیش پردازش مناسب روی متن صورت گرفت. در این مرحله از نشانه‌سازی بهره برده شد. پس از اینکه نشانه‌ها در متن مشخص شدند، باید ویژگی‌های مناسب از متن استخراج گردد.

برای استخراج ویژگی از متن، در این پایان‌نامه از روش کیسه‌ی کلمات یا n-gram با حداکثر n=3 استفاده شده است. پس از اینکه ویژگی‌ها استخراج شدند با روش TF-IDF ویژگی‌ها وزن‌دهی شدند. این دو مرحله، مرحله پردازش متن بودند. خروجی این دو مرحله یک مجموعه داده حجیم با تعداد زیادی ویژگی است. در گام بعدی به کمک MI و GWO ویژگی‌های مناسب برای ساخت مدل طبقه‌بند KNN انتخاب شدند.

در نهایت مدل طبقه بندی KNN ساخته شد و معیارهای کارایی به دست آمده و مورد مقایسه قرار گرفتند.

درباره محصول

داکیومنت انتخاب ویژگی با الگوریتم گرگ خاکستری جهت افزایش دقت خلاصه سازی متن بر خط در 138 صفحه در قالب word و pdf بصورت زیپ شده قابل دانلود می باشد. این محصول به صورت یک داکیومنت کامل است و توسط کارشناسان پی استور بازنگری و تایید شده می باشد. این محصول دارای نشان تضمین کیفیت پی استور می باشد. برای دانلود محصول آن ر ا خریداری فرمایید. به محض خرید محصول لینک دانلود در دسترس خواهد بود. در صورت بروز هرگونه مشکل با واحد فروش پی استور تماس حاصل فرمایید.