روش نیو بیزین
تئوری بیزین توسط توماس بیز در سال (1702-1761) پیشنهاد شد. قضیه بیزین یک روش از محاسبات احتمالی است و احتمال رخدادی که در آینده رخ خواهد داد وابسته به رخدادی است که قبلا رخ داده است. این تئوری توانایی خود یادگیری در سیستم هوشمند دارد که به‌صورت گسترده استفاده می‌شود. از تئوری بیزین می‌توان برای پیشبینی حوادث آینده بر اساس حوادث حاضر طبق نظریه‌ی آمار و احتمال استفاده کرد. دسته بندی نیو بیزین بر پایه قضیه Bayes و فرضیه های استقلال بین پیش بینی کننده ها است. یک مدل Bayesian برای ساختن، ساده و آسان است که بدون پارامتر پیچیده تکراری است که باعث می شود برای مجموعه های داده های بسیار بزرگ مفید باشد. به رغم سادگی ، دسته بندی بیزین اغلب جالب است و به طور گسترده ای مورد استفاده قرار می گیرد.
الگوریتم
قضیه نیو بیزین ( naive bayesian) روش محاسبه احتمال posterior (خلفی)، (P (c | x)، P (c)، P (x) و P (x | c را فراهم می کند. دسته بندی naive bayesian فرض می کند که اثر ارزش یک پیش بینی (x) بر یک کلاس داده (c) مستقل از مقادیر پیش بینی کننده های دیگر است. این فرض استقلال شرطی طبقه است.
- (P (c | x) احتمال خلفی کلاس (هدف) پیش بینی کننده (ویژگی) است.
- (P (c) احتمال قبلی کلاس است.
- (P (x | c) این احتمال است که احتمال کلاس پیش بینی کننده داده شده است.
- (P (x) احتمال قبلی پیش بینی کننده است.
در مدل ZeroR هیچ پیش بینی کننده ای وجود ندارد، در مدل OneR ما تلاش می کنیم بهترین پیش بینی کننده را بیابیم، Bayesian ساده گرا شامل همه پیش بینی کننده ها با استفاده از قانون بیزین و فرضیه های استقلال بین پیش بینی کننده ها است.
مثال 1
در این مثال ما از یک دیتاست [4] آب و هوا استفاده می کنیم.
احتمال ابتلا به خلفی را می توان از ابتدا محاسبه کرد، ساخت یک جدول فرکانس برای هر ویژگی در برابر هدف. سپس، تبدیل جداول فرکانس به جداول احتمال داده شده و در نهایت از معادله بیس برای محاسبه احتمال خلفی برای هر کلاس استفاده کنید. کلاس با بیشترین احتمال خنثی نتایج حاصل از پیش بینی است.
همچنین جداول احتمال برای همه چهار پیش بینی کننده نیو بیزین عبارت است از:
مثال 2
در این مثال ما 4 ورودی (پیش بینی کننده) برای نیو بیزین داریم. احتمالات نهایی خلفی می تواند بین 0 تا 1 استاندارد شود.
مشکل فرکانس صفر
وقتی یک مقدار ویژگی (Outlook = Overcast) با هر مقدار کلاس رخ می دهد (Play Golf = no) را به شمارش برای هر ترکیبی از کلاس ویژگی اضافه کنید (برآوردگر لاپلاس).
پیش بینی های عددی
متغیرهای عددی قبل از ساختن جداول فرکانس آنها باید به همتایان دسته ای خود (Binning) تبدیل شوند. گزینه دیگری که ما استفاده می کنیم استفاده از توزیع متغیر عددی است تا یک حدس خوب از فرکانس باشد. به عنوان مثال، یک رویه معمول، توزیع نرمال برای متغیرهای عددی است.
تابع چگالی احتمال برای توزیع نرمال با دو پارامتر (میانگین و انحراف استاندارد) تعریف می شود.
| مثال: | ||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||
مشارکت پیش بینی کننده
به دست آوردن اطلاعات Kononenko’s به عنوان مجموع اطلاعاتی که توسط هر یک از ویژگی ها به دست می آید، می تواند توضیحی در مورد چگونگی ارزش پیش بینی کننده ها بر احتمال کلاس را تحت تاثیر قرار دهد.
سهم پیش بینی کننده ها نیز می تواند با ترسیم نانوگرام ها (Nomogram ) تجسم یابد. نمودارهای نوموگرافی نسبت شانس برای هر ارزش هر یک از پیش بینی ها است. طول خطوط مربوط به نسبت عرض شانس است، که نشان دهنده اهمیت پیش بینی کننده مرتبط است. همچنین اثرات ارزش های فردی پیش بینی کننده را نشان می دهد.
