• مقالات آموزشی
    • آموزش برنامه نویسی
    • آموزش الگوریتم
    • آموزش شبکه های کامپیوتری
    • آموزش های عمومی
  • ترجمه مقاله
    • لیست ترجمه کامل مقالات
    • لیست ترجمه مفهومی مقالات
  • تحقیق و پژوهش
    • لیست داکیومنت پایان‌نامه
    • لیست داکیومنت سمینار
  • پیاده سازی
    • سی پلاس پلاس ++C
    • برنامه نویسی OpenGL
    • سی شارپ #C
    • پایتون Python
    • اندروید Android
    • پی اچ پی PHP
    • متلب Matlab
  • پاورپوینت
    • پاورپوینت الگوریتم های بهینه سازی
    • پاورپوینت شبکه‌های کامپیوتری
    • پاورپوینت مهندسی کامپیوتر
    • پاورپوینت یادگیری ماشین
    • پاورپوینت درس و تحقیق
    • قالب آماده پاورپوینت
  • فیلم آموزشی
    • لیست فیلم های آموزشی
  • قالب آماده
    • لیست قالب آماده HTML
  • دانلود رایگان
  • مجله پی استور
  • ابزارهای آنلاین
    • برنامه نویسی آنلاین
    • تبدیل مبنای آنلاین
  • سفارش تدریس آنلاین
  • آموزش برنامه نویسی
  • آموزش الگوریتم
  • آموزش شبکه
  • آموزش عمومی

ورود

رمز عبور را فراموش کرده اید؟

هنوز عضو نشده اید؟ عضویت در سایت
  • درباره ما
  • تماس با ما
  • سفارش تدریس آنلاین
پی استور
0

ورود و ثبت نام

مقالات آموزشی
  • ترجمه مقاله
    • لیست ترجمه کامل مقالات
    • لیست ترجمه مفهومی مقالات
  • تحقیق و پژوهش
    • لیست داکیومنت پایان‌نامه
    • لیست داکیومنت سمینار
  • پیاده سازی
    • سی پلاس پلاس ++C
    • برنامه نویسی OpenGL
    • سی شارپ #C
    • پایتون Python
    • اندروید Android
    • پی اچ پی PHP
    • متلب Matlab
  • پاورپوینت
    • پاورپوینت الگوریتم های بهینه سازی
    • پاورپوینت شبکه‌های کامپیوتری
    • پاورپونت مهندسی کامپیوتر
    • پاورپوینت یادگیری ماشین
    • پاورپوینت درس و تحقیق
      • عمومی
      • مشاهیر و اشخاص
      • واقعیت مجازی
      • طراحی سایت
      • برنامه نویسی
      • علوم کامپیوتر
      • اینترنت اشیاء
      • سیستم عامل
      • ارز دیجیتال
      • کسب و کار
      • تکنولوژی
      • علوم
    • قالب آماده پاورپوینت
  • فیلم آموزشی
    • لیست فیلم های آموزشی
  • قالب آماده
    • قالب آماده HTML
  • مجله پی استور
  • ابزارهای آنلاین
    • برنامه نویسی آنلاین
    • تبدیل مبنای آنلاین

استخراج ویژگی از متن با روش اطلاعات متقابل Mutual Information

خانهفروشگاههوش مصنوعیداده کاویاستخراج ویژگی از متن با روش اطلاعات متقابل Mutual Information
استخراج ویژگی با روش اطلاعات متقابل

در این پست آموزش استخراج ویژگی با روش اطلاعات متقابل Mutual Information یا MI قرار داده شده است. برای انتخاب یا استخراج ویژگی یا همان Feature از متن می توان از روش های مختلفی استفاده کرد. روش اطلاعات متقابل بین دو متغیر معیاری برای نشان دادن میزان وابستگی متقابل آن دو متغیر می‌باشد. مفهوم اطلاعات متقابل ذاتاً مرتبط با آنتروپی یک متغیر که میزان اطلاعات موجود در یک متغیر دیگر را نشان می‌دهد، می‌باشد.

cropped-aminjalilzadeh.png

مدرس: امین جلیل زاده رزین

کارشناس ارشد رشته مهندسی کامپیوتر — نرم افزار

امین جلیل زاده رزین از بنیانگذاران مجموعه آموزشی پی استور و مدرس دانشگاه فنی و حرفه ای هستند. ایشان علاوه بر پژوهش در حوزه های الگوریتم های ابتکاری، فرا ابتکاری، یادگیری ماشین، شبکه و پایگاه داده در زبان های برنامه نویسی متعدد، نظیر ++C، سی شارپ، PHP ،Java، متلب MATLAB و Python تسلط و سابقه تدریس فعال دارند.

این روش جزو روش های فیلتری یا آماری در دسته بندی محسوب می شود. در این آموزش قصد داریم نحوه فیلترینگ یا بدست آوردن ویژگی های مهم و موثر از بین کل ویژگی های استخراج شده از یک متن را به کمک روش Mutual Information یا MI توضیح دهیم. یکی از مشکلات اکثر محققین در نحوه استفاده از این روش بر روی دیتاست یا مجموعه داه ها می باشد که در این آموزش بصورت کامل همراه با مثال روش اطلاعات متقابل بر روی یک دیتاست اعمال خواهد شد.

مقدمه

با پیشرفت علم حجم اسناد متنی موجود بر روی رسانه‌های دیجیتال و اینترنت، افزایش یافته است و این موضوع ضرورت استفاده از سیستم‌های خودکار تشخیص و دسته‌بندی متن را بیشتر پررنگ می‌کند. روش‌های دسته‌بندی متن جزو روش‌های یادگیری ماشین هستند و استخراج و انتخاب ویژگی مرحله‌ی بسیار مهم در رویه‌ی دسته‌بندی متون به شمار می‌رود، زیرا در این مرحله واژه‌های کلیدی انتخاب می‌شوند تا به‌عنوان بهترین نمایش‌دهنده برای سند متنی مورد استفاده قرار بگیرند.

هدف روش‌های انتخاب ویژگی به دست آوردن یک مجموعه‌ی کوچک‌تر از ویژگی‌های موجود در سند می‌باشند که به طرز مؤثری محتوای سند را بیان می‌کند.

الگوریتم‌های مختلفی برای دسته‌بندی متون وجود دارد. مشکلی که در دسته‌بندی متن وجود دارد، حجم زیاد ویژگی‌ها است که باعث کاهش دقت نتایج دسته‌بندی می‌شود. برای انتخاب و برای حل این مشکل و کاهش ابعاد ویژگی‌ها از متدهای انتخاب ویژگی استفاده می‌کنند.

استخراج ویژگی از متن – پیش پردازش

اولین مرحله در دسته‌بندی متن تبدیل اسناد به صورت رشته‌ای از کاراکترها با فرمت‌های مختلف می‌باشد که برای روش‌های یادگیری و طبقه‌بندی نمایش داده می‌شود. همواره بهتر است در بازیابی اطلاعات ریشه کلمه را پیدا کرده تا بتوان آن کلمه را به صورت واحد در اسناد به کار برد و این کلمه‌ی واحد، منجر به نمایش مقدار ویژگی در متن می‌شود. شکل ‏زیر فرآیند دسته‌بندی متن را نمایش می‌دهد.

توکن‌بندی

مطابق با شکل فوق در ابتدا بعد از این‌که اسناد خوانده شدند این فر‌آیند انجام می‌گیرد. این فرآیند به این صورت است که جریان متن به کلمه‌ها، عبارات، نشانه‌ها یا عناصر معنی‌دار شکسته می‌شود که به هر کدام از آن‌ها توکن گفته شده و به این فرآیند توکن‌بندی Tokenization می‌گویند.

ریشه‌یابی

در مرحله‌ ریشه‌یابی،‌ ریشه کلمه‌ها به فرم اصلی در می‌آید و هر گونه پیشوند و پسوندی از ابتدا و انتهای آن حذف می‌شود.

حذف کلمات ایست یا توقف

کلمات ایست به کلمه‌هایی گفته می‌شود که حاوی هیچ‌گونه معنی مفیدی نیستند مانند حروف ربط و حروف اضافه. لیست کلمات توقف برای اکثر زبان ها باید استخراج شود که با استفاده از این لیست می‌توان دید که اگر این کلمه‌ها در داخل اسناد متنی وجود داشته باشد از اسناد حذف می‌شود و اگر کلمه در لیست نبود حذف نمی‌شود و با این کار از تعداد ویژگی‌ها کم می‌شود. نمونه‌ای از کلمات ایست می‌توان به کلمه‌های و، در، به، که، از، این، را، است، با، برای و غیره اشاره کرد. عبارات تاکید یا نشانه‌گذاری هم شامل – _ # ) ( * } { ! . … / : ] [ , : ? “ ” می‌باشد.

نمایش متون

برای نمایش متون می‌توان از روش فضای برداری استفاده نمود. با این نمایش می‌توان ویژگی‌ها را از داخل اسناد استخراج کرد.

در مدل فضای برداری، سندها به وسیله برداری از کلمه‌ها نمایش داده می‌شوند و مجموعه سندها به وسیله ماتریس کلمه در سند A، نمایش داده می‌شوند. همان‌طور که در جدول زیر نشان داده شده است مجموعه {F1,…,Fn} بیانگر فضای کلمه‌ها است و کلمه‌ای را نشان می‌دهد که حداقل یکبار در سند به کار رفته است. همچنین مجموعه {D1,…,Dn} مجموعه اسنادی را نشان می‌دهد که به کمک روش نمایش برداری نمایش داده شده‌اند.

هر عضو این ماتریس، وجود کلمه در یک سند را نشان می‌دهد. به طور کلی ماتریس A به شکل (A=(ajk نشان داده می‌شود که در آن ajk نشان‌دهنده‌ی وزن کلمه‌ی j ام در سند k ام است. تعداد سطرها در ماتریس یعنیm نشان‌دهنده‌‌ی تعداد کلمه‌ها در مجموعه کلمه‌ها است که m معمولا بسیار بزرگ است و یکی از مشکلات دسته‌بندی است.

انتخاب خصیصه یا ویژگی

انتخاب ویژگی یا خصیصه یک مرحله‌ی بسیار مهم در رویه‌ی دسته‌بندی به شمار می‌رود، زیرا در این مرحله واژه‌های کلیدی انتخاب می‌شوند تا به عنوان بهترین نمایش‌دهنده برای سند متنی مورد استفاده قرار بگیرند. اگر تعداد واژه‌های کلیدی انتخاب شده کم باشد صحت و کارایی سیستم تحت تاثیر قرار می‌گیرد و کاهش می‌یابد و در مقابل اگر تعداد واژه‌های کلیدی انتخاب شده زیاد باشد باعث کاهش کارایی سیستم در بعد زمان خواهد شد و سرعت آموزش در فاز آموزش پایین می‌آید.

روش‌های انتخاب ویژگی

روش‌های انتخاب ویژگی به دو دسته‌ی

  • روش‌های فیلتری یا پالایشی یا آماری Filtering method
  • روش‌های روکشی یا پوششی Wrapper methods

این روش‌ها ساده‌ترین روش انتخاب ویژگی‌ها می‌باشند و اساس آن بر پایه‌ی نگه داشتن ویژگی‌هایی می‌باشد که بیشترین امتیاز را از تابعی که اهمیت نسبی یک واژه را می‌سنجد دریافت می‌کند. هر سند Di شامل تمام کلمه‌ها، فاصله‌ها، علایم و برچسب‌هایی هست که در آن سند موجود می‌باشد.

  • روش فرکانس سند DF) Document Frequency)
  • روش وزن‌دهی منطقی
  • روش فرکانس کلمه TF)Term Frequency)
  • روش فرکانس معکوس سند IDF) Inverse Document Frequency)
  • روش فرکانس کلمه-فرکانس معکوس سند TF-IDF
  • روش بهره اطلاعاتی  (Information Gain (IG
  • روش اطلاعات متقابل (Mutual Information (MI
  • روش(CHI)  یا statistic x2
  • روش ضریب همبستگی Correlation Coefficient
  • روش SCHI

پیش نمایش 1

Your browser does not support the video tag.

توجه: ممکن است که به خاطر سرعت پایین اینترنت، نمایش آنلاین با کیفیت پایین تر از کیفیت ویدئوی اصلی نمایش داده شوند. این ویدئو یک نسخه 17 دقیقه ای از آموزش می باشد.

مشخصات فیلم آموزشی

نام اثر: استخراج ویژگی از متن با روش اطلاعات متقابل Mutual Information
مدرس: مهندس امین جلیل زاده
مدت زمان: 35 دقیقه
زبان آموزش: فارسی
نوع آموزش: تئوری
حجم فایل: 1 فایل با فرمت rar با حجم (63 مگابایت)
فرمت ویدئو: MP4 با کیفیت متوسط

پس از خرید این مجموعه آموزشی پاورپوینت + فیلم آموزشی  در اختیار شما قرار خواهد گرفت.

درباره استخراج ویژگی از متن

آموزش استخراج ویژگی از متن با روش اطلاعات متقابل Mutual Information عنوان محصولی است که در این پست به آن پرداخته شده است. در این آموزش به توضیح و تشریح کامل روش اطلاعات متقابل Mutual Information پرداخته شده و بصورت کامل توسط گروه پشتیبانی پی استور تست و بازبینی شده است. محصول دارای نشان تضمین کیفیت پی استور می باشد. برای دانلود محصول آن را خریداری کنید.

گارنتی 7 روزه بازگشت هزینه

تضمین کیفیت و گارانتی بازگشت هزینه
توجه: کیفیت این محصول توسط پی استور تضمین شده و در صورت عدم رضایت از محصول، به انتخاب شما:

  • ۱۰۰ درصد مبلغ پرداختی در حساب کاربری شما شارژ می‌شود.
  • و یا 80 درصد مبلغ پرداختی به حساب بانکی شما عودت داده می‌شود.

مباحث مرتبط با دسته بندی متن

انتخاب ویژگی با الگوریتم گرگ خاکستری جهت افزایش دقت خلاصه سازی متن بر خط
داکیومنت انتخاب ویژگی با الگوریتم گرگ خاکستری جهت افزایش دقت خلاصه سازی متن بر خط
پیش‌بینی موفقیت در بانکداری تلفنی با الگوریتم‌های یادگیری ماشین
داکیومنت پیش‌بینی موفقیت در بانکداری تلفنی با الگوریتم‌های یادگیری ماشین
دسته بندی متون احساسی با ویژگی های Bigram مبتنی بر الگوریتم تکاملی
داکیومنت دسته بندی متون احساسی با ویژگی های Bigram مبتنی بر الگوریتم تکاملی
بررسی اثر سه کلاسه کردن دسته‌بندی بر روی دقت تشخیص اسپم در ایمیل‌ های فارسی – تشخیص اسپم در ایمیل‌
داکیومنت بررسی اثر سه کلاسه کردن دسته‌بندی بر روی دقت تشخیص اسپم در ایمیل‌ های فارسی
امتیاز
5.00 از 2 رأی
5.00 2 رای
39,000 تومان
تاریخ انتشار: 21 مهر 1398
تاریخ بروزرسانی: 23 بهمن 1398
حجم فایل: 63 مگابایت
فرمت فایل MP4
نسخه: 1.0
شناسه اثر: ندارد
دانلود شده توسط: 305 نفر

تاکنون 305 نفر این محصول را تهیه کرده اند و 2 نظر برای آن ثبت شده است.

نظرات و دیدگاه ها
  • عارف
    13 مرداد 1401
    امتیاز 5 از 5
    پاسخ

    انتخاب ویژگی به روش iG رو هم لطفا بزارید

  • مدیریت و پشتیبانی
    21 مهر 1398
    امتیاز 5 از 5
    پاسخ

    نظرات و پیشنهادات خود را با ما در میان بگذارید.

قوانین ثبت دیدگاه

  • لطفاً دیدگاه های خود را فارسی تایپ کنید.
  • دیدگاه های نامرتبط به مطلب تایید نخواهد شد.
  • از درج دیدگاه های تکراری پرهیز نمایید.
  • سوالات تخصصی خودتان را از طریق تیکت پشتیبانی مطرح کنید.

لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دسته‌بندی موضوعی: داده کاوی فیلم آموزشی هوش مصنوعی

قیمت 39,000 تومان

افزودن به علاقه مندی ها
امتیاز
5.00 از 2 رأی
5.00 2 رای
39,000 تومان

تاریخ انتشار: 21 مهر 1398
تاریخ بروزرسانی: 23 بهمن 1398
حجم فایل: 63 مگابایت
فرمت فایل MP4
نسخه: 1.0
شناسه اثر: ندارد
دانلود شده توسط: 305 نفر

2 بازخورد (مشاهده نظرات)

قیمت: 39,000 تومان

تماس با ما
  • دفتر پشتیبانی: 04144225175 (ساعت کاری 8:00 الی 16:00)
  • آی دی تلگرام: programerPstore
درباره پی استور

تیم توسعه پی استور با هدف ارائه مطالب مفید علمی در گرایش های مختلف پروژه های علمی مختلف را جمع آوری می کند و در قالب یک محصول تست شده و قابل اجرا همراه با توضیحات و نحوه اجرا، انتشار می دهد. امید است با عنایت الهی و کوشش اساتید و دانشجویان همراهمان بتوانیم قدم کوچکی در تولید محتوای علمی کشور داشته باشیم.

مجوز های اخذ شده
اینماد نشان ملی   پروانه نشر دیجیتال
  • حساب کاربری من
  • سوالات متداول
  • راهنمای خرید و دانلود
پی استور
  • همکاری با ما
  • قوانین و مقررات
  • حریم خصوصی
تمامی حقوق برای پی استور محفوظ است.
keyboard_arrow_up