الگوریتم نیو بیزین naive bayesian

روش نیو بیزین

تئوری بیزین توسط توماس بیز در سال (۱۷۰۲-۱۷۶۱) پیشنهاد شد. قضیه بیزین یک روش از محاسبات احتمالی است و احتمال رخدادی که در آینده رخ خواهد داد وابسته به رخدادی است که قبلا رخ داده است. این تئوری توانایی خود یادگیری در سیستم هوشمند دارد که به‌صورت گسترده استفاده می‌شود.

یک مدل Bayesian برای ساختن، ساده و آسان است که بدون پارامتر پیچیده تکراری است که باعث می‌شود برای مجموعه‌های داده‌های بسیار بزرگ مفید باشد. به رغم سادگی ، دسته بندی بیزین اغلب جالب است و به طور گسترده‌ای مورد استفاده قرار می‌گیرد.

الگوریتم

قضیه نیو بیزین ( naive bayesian) روش محاسبه احتمال posterior (خلفی)، (P (c | x)، P (c)، P (x) و P (x | c را فراهم می‌کند. دسته بندی naive bayesian فرض می‌کند که اثر ارزش یک پیش بینی (x) بر یک کلاس داده (c) مستقل از مقادیر پیش بینی کننده‌های دیگر است. این فرض استقلال شرطی طبقه است.

• (P (c | x) احتمال خلفی کلاس (هدف) پیش بینی کننده (ویژگی) است.
• (P (c) احتمال قبلی کلاس است.
• (P (x | c) این احتمال است که احتمال کلاس پیش بینی کننده داده شده است.
• (P (x) احتمال قبلی پیش بینی کننده است.

در مدل ZeroR هیچ پیش بینی کننده‌ای وجود ندارد، در مدل OneR ما تلاش می‌کنیم بهترین پیش بینی کننده را بیابیم، Bayesian ساده گرا شامل همه پیش بینی کننده‌ها با استفاده از قانون بیزین و فرضیه‌های استقلال بین پیش بینی کننده‌ها است.

آموزش الگوریتم K نزدیک‌ترین همسایه KNN عنوان اثری است که در این بخش به آن پرداخته شده است. در این آموزش به توضیح و تشریح کامل روش K همسایه نزدیک و فیلم آموزشی الگوریتم وال ( نهنگ ) WOA در متلب پرداخته شده و به صورت روان توضیح داده شده است. برای دسترسی به لینک زیر مراجعه کنید.

• آموزش الگوریتم K نزدیکترین همسایه KNN — کلیک کنید.
• فیلم آموزشی الگوریتم وال (نهنگ) WOA در متلب — کلیک کنید.

مثال ۱

در این مثال ما از یک دیتاست آب و هوا استفاده می‌کنیم.

احتمال ابتلا به خلفی را می‌توان از ابتدا محاسبه کرد، ساخت یک جدول فرکانس برای هر ویژگی در برابر هدف. سپس، تبدیل جداول فرکانس به جداول احتمال داده شده و در نهایت از معادله بیس برای محاسبه احتمال خلفی برای هر کلاس استفاده کنید. کلاس با بیشترین احتمال خنثی نتایج حاصل از پیش بینی است.

همچنین جداول احتمال برای همه چهار پیش بینی کننده نیو بیزین عبارت است از:

مثال ۲

در این مثال ما ۴ ورودی (پیش بینی کننده) برای نیو بیزین داریم. احتمالات نهایی خلفی می‌تواند بین ۰ تا ۱ استاندارد شود.

مشکل فرکانس صفر

وقتی یک مقدار ویژگی (Outlook = Overcast) با هر مقدار کلاس رخ می‌دهد (Play Golf = no) را به شمارش برای هر ترکیبی از کلاس ویژگی اضافه کنید (برآوردگر لاپلاس).  در سورس کد موجود در لینک زیر به بحث انتخاب ویژگی با ACO برای NB یعنی استفاده از الگوریتم کلونی مورچگان (ACO) را برای انتخاب ویژگی برای الگوریتم یادگیری ماشین نیو بیزین (Naive Bayesian) یا همان NB می‌پردازد که می‌توانید نگاهی به این فایل بیندازید.

• پیاده سازی انتخاب ویژگی با الگوریتم کلونی مورچه ACO برای NB در متلب — کلیک کنید.

پیش بینی‌های عددی

متغیرهای عددی قبل از ساختن جداول فرکانس آن‌ها باید به همتایان دسته‌ای خود (Binning) تبدیل شوند. گزینه دیگری که ما استفاده می‌کنیم استفاده از توزیع متغیر عددی است تا یک حدس خوب از فرکانس باشد. به عنوان مثال، یک رویه معمول، توزیع نرمال برای متغیرهای عددی است.

تابع چگالی احتمال برای توزیع نرمال با دو پارامتر (میانگین و انحراف استاندارد) تعریف می‌شود.

مشارکت پیش بینی کننده

به دست آوردن اطلاعات Kononenko’s به‌عنوان مجموع اطلاعاتی که توسط هر یک از ویژگی‌ها به دست می‌آید، می‌تواند توضیحی در مورد چگونگی ارزش پیش بینی کننده‌ها بر احتمال کلاس را تحت تاثیر قرار دهد.

سهم پیش بینی کننده‌ها نیز می‌تواند با ترسیم نانوگرام‌ها (Nomogram ) تجسم یابد. نمودارهای نوموگرافی نسبت شانس برای هر ارزش هر یک از پیش بینی‌ها است. طول خطوط مربوط به نسبت عرض شانس است، که نشان دهنده اهمیت پیش بینی کننده مرتبط است. همچنین اثرات ارزش‌های فردی پیش بینی کننده را نشان می‌دهد.

مراجع

https://en.wikipedia.org/wiki/Naive_Bayes_classifier

https://www.saedsayad.com/naive_bayesian.htm