الگوریتم نیوبیزین

روش نیوبیزین

از تئوری بیزین می‌توان برای پیش‌بینی حوادث آینده بر اساس حوادث حاضر طبق نظریه‌ی آمار و احتمال استفاده کرد. دسته بندی نیوبیزین بر پایه قضیه Bayes و فرضیه‌های استقلال بین پیش بینی کننده‌ها است. یک مدل Bayesian برای ساختن، ساده و آسان است که بدون  پارامتر پیچیده تکراری است که باعث می‌شود برای مجموعه‌های داده‌های بسیار بزرگ مفید باشد. به رغم سادگی ، دسته بندی بیزین اغلب جالب است و به طور گسترده‌ای مورد استفاده قرار می‌گیرد.

الگوریتم

قضیه نیوبیزین ( naive bayesian) روش محاسبه احتمال posterior (خلفی)، (P (c | x)، P (c)، P (x) و P (x | c را فراهم می‌کند. دسته بندی naive bayesian فرض می‌کند که اثر ارزش یک پیش بینی (x) بر یک کلاس داده (c) مستقل از مقادیر پیش بینی کننده‌های دیگر است. این فرض استقلال شرطی طبقه است.

• (P (c | x) احتمال خلفی کلاس (هدف) پیش بینی کننده (ویژگی) است.
• (P (c) احتمال قبلی کلاس است.
• (P (x | c) این احتمال است که احتمال کلاس پیش بینی کننده داده شده است.
• (P (x) احتمال قبلی پیش بینی کننده است.

در مدل ZeroR هیچ پیش بینی کننده‌ای وجود ندارد، در مدل OneR ما تلاش می‌کنیم بهترین پیش بینی کننده را بیابیم، Bayesian ساده گرا شامل همه پیش بینی کننده‌ها با استفاده از قانون بیزین و فرضیه‌های استقلال بین پیش بینی کننده‌ها است.

مثال ۱

در این مثال ما از یک دیتاست آب و هوا استفاده می‌کنیم.

احتمال ابتلا به خلفی را می‌توان از ابتدا محاسبه کرد، ساخت یک جدول فرکانس برای هر ویژگی در برابر هدف. سپس، تبدیل جداول فرکانس به جداول احتمال داده شده و در نهایت از معادله بیس برای محاسبه احتمال خلفی برای هر کلاس استفاده کنید. کلاس با بیشترین احتمال خنثی نتایج حاصل از پیش بینی است.

همچنین جداول احتمال برای همه چهار پیش بینی کننده نیوبیزین عبارت است از:

مثال ۲

در این مثال ما ۴ ورودی (پیش بینی کننده) برای نیوبیزین داریم. احتمالات نهایی خلفی می‌تواند بین ۰ تا ۱ استاندارد شود.

مشکل فرکانس صفر

وقتی یک مقدار ویژگی (Outlook = Overcast) با هر مقدار کلاس رخ می‌دهد (Play Golf = no) را به شمارش برای هر ترکیبی از کلاس ویژگی اضافه کنید (برآوردگر لاپلاس).

پیش بینی های عددی

متغیرهای عددی قبل از ساختن جداول فرکانس آن‌ها باید به همتایان دسته‌ای خود (Binning) تبدیل شوند. گزینه دیگری که ما استفاده می‌کنیم استفاده از توزیع متغیر عددی است تا یک حدس خوب از فرکانس باشد. به عنوان مثال، یک رویه معمول، توزیع نرمال برای متغیرهای عددی است.

تابع چگالی احتمال برای توزیع نرمال با دو پارامتر (میانگین و انحراف استاندارد) تعریف می‌شود.

مشارکت پیش بینی کننده

به دست آوردن اطلاعات Kononenko’s به‌عنوان مجموع اطلاعاتی که توسط هر یک از ویژگی‌ها به دست می‌آید، می‌تواند توضیحی در مورد چگونگی ارزش پیش بینی کننده‌ها بر احتمال کلاس را تحت تاثیر قرار دهد.

سهم پیش بینی کننده‌ها نیز می‌تواند با ترسیم نانوگرام‌ها (Nomogram ) تجسم یابد. نمودارهای نوموگرافی نسبت شانس برای هر ارزش هر یک از پیش بینی‌ها است. طول خطوط مربوط به نسبت عرض شانس است، که نشان دهنده اهمیت پیش بینی کننده مرتبط است. همچنین اثرات ارزش‌های فردی پیش بینی کننده را نشان می‌دهد.

مراجع

https://en.wikipedia.org/wiki/Naive_Bayes_classifier

https://www.saedsayad.com/naive_bayesian.htm