تبدیل دیتاست NSL-KDD برای استفاده الگوریتم های یادگیری ماشین در متلب

در این پست تبدیل دیتاست NSL-KDD برای استفاده الگوریتم‌های یادگیری ماشین در متلب (دیتاست سیستم تشخیص نفوذ) قرار داده شده است. دیتاست NSL-KDD در سال ۲۰۰۹ بعنوان نسخه جدید تجدید نظر شده در مجموعه داده اصلی KDDCup99 ارائه شد که با حجم کم ویژگی های سودمند و چالش برانگیز KDDCup را حفظ کرد.

امروزه این دیتاست به عنوان یک مجموعه داده ارزشمند برای بررسی کارایی روش‌ها و الگوریتم‌های امنیت سایبری و سیستم‌های تشخیص نفوذ بکار گرفته می‌شود. در ادامه شرح مختصری از این دیتاست داده می‌شود.

دیتاست NSL-KDD

قبل از پرداختن به مسئله تبدیل دیتاست NSL-KDD در متلب شرح کلی از دیتاست داده می‌شود. همانطور که گفته شد دیتاست NSL-KDD در سال ۲۰۰۹ بعنوان نسخه جدید تجدید نظر شده در مجموعه داده اصلی KDDCup99 ارائه شد. از یک طرف ، NSL-KDD ویژگی‌های سودمند و چالش برانگیز KDDCup را حفظ کرد.

از طرف دیگر ، با حذف رکوردهای اضافی، عقلانی کردن تعداد نمونه‌ها و حفظ تنوع نمونه‌های انتخاب شده، به اشکالاتی که از مجموعه داده اصلی به ارث رسیده است پرداخته است. شایان ذکر است که مجموعه داده NSL-KDD برای به حداکثر رساندن سختی پیش بینی، که ویژگی‌های برجسته آن را تشکیل می‌دهد، گردآوری شده است.

به منظور طبقه بندی سوابق به پنج سطح ، مجموعه داده‌های اولیه با استفاده از چندین طبقه بندی معیار مورد ارزیابی قرار گرفت و هر نمونه با تعداد پیش بینی‌های موفقیت آمیز آن حاشیه نویسی شد. برای هر گروه، میزان سوابق انتخاب شده معکوس با درصد ضبط از مجموعه داده اصلی KDDCup 99 است.

در کل ۴۲ ویژگی برای دیتاست در نظر گرفته شده که ۴۱ ویژگی مربوط به داده‌های جمع آوری شده و ویژگی آخر نیز به عنوان برچسب هدف با عنوان نرمال یا حمله می‌باشد.

در این تحقیق از مجموعه‌های KDDTrain+ ، KDDTest+  و KDDTest-21 مجموعه داده‌های NSL-KDD استفاده شده است. مجموعه +KDDTrain به عنوان مجموعه داده برای آموزش شامل ۱۲۵۹۷۳ نمونه است که شامل ۵۸۶۳۰ مورد ترافیک حمله و ۶۷۳۴۳ نمونه ترافیک عادی است.

مجموعه +KDDTest شامل ۲۲۵۴۴ نمونه است و برای تست از آن استفاده می‌شود و به عنوان زیر مجموعه‌ای از مجموعه +KDDTest، مجموعه KDDTest-21 شامل کل ۱۱۸۵۰ نمونه است. اعتبارسنجی متقابل بر روی مجموعه +KDDTrain در آزمایشات انجام می‌شود ، یک مرور کلی از موارد موجود در جدول زیر نشان داده شده است.

تبدیل دیتاست NSL-KDD

در تبدیل این دیتاست به دیتاست رقمی و قابل قبول برای الگوریتم‌های یادگیری از نرم افزار متلب استفاده شده است. ابتدا کل نمونه‌ها در ۵ دسته یا گروه دسته بندی می‌شوند که برای حالت Normal عدد ۱  و برای بقیه حالت‌های حمله عددهای ۲ تا ۵ بسته به نوع حمله در نظر گرفته می‌شود. حملات در ۴ دسته Dos، Probing، R2L و U2R دسته بندی می‌شوند. طبق برنامه نوشته شده در کل ۳۹ حمله در دیتاست وجود دارد که به شرح جدول زیر گروه بندی شده‌اند.

مشخصات ویژگی های دیتاست NSL-KDD

همانطور که قبلاً هم گفته شده در این دیتاست ۴۲ ستون وجود دارد که ۴۱ ستون یا ویژگی مربوط به شبکه هست و ستون ۴۲ نیز برای برچسب گذاری نوع حمله و نرمال بودن است. (البته یک ستون ۴۳ نیز وجود دارد که از آن استفاده نمی شود). جدول زیر مشخصات ۴۱ ویژگی یا ستون مربوطه را نمایش می‌دهد.

شماره گذاری ویژگی ها

از ۴۱ ویژگی موجود ۳ ویژگی با خاصیت symbolic یا سمبلیک وجود دارد که عددی نیست و باید بصورت عددی تغییر کنند تا برای الگوریتم‌های یادگیری ماشین قابل فهم باشند و بقیه بصورت continuous یا پیوسته هستند که بصورت عددی است و لازم نیست دستکاری شوند. ۳ ویژگی با خاصیت سمبلیک هر کدام شامل نوع‌های مختلفی هستند که بسته به جایگاهشان و دیده شدن در هر سطر دیتاست به ترتیب از شماره ۱ الی آخرین نوع شماره گذاری شده‌اند. جدول زیر این نوع‌ها را نشان می‌دهد.

محتویات فایل دانلودی

برنامه مربوط به تبدیل دیتاست NSL-KDD برای استفاده الگوریتم های یادگیری ماشین در متلب شامل ۹ فایل می‌باشد که ۵ فایل txt. برای خواندن اطلاعات دیتاست خام می‌باشد و ۳ فایل mat. که با علامت قرمز در تصویر نشان داده شده همان دیتاست‌های آماده می‌باشد که توسط فایل prepare.m ایجاد شده و آماده استفاده در الگوریتم های یادگیری ماشین می‌باشد. تصویر زیر محتویات فایل دانلودی را نشان می‌دهد.

درباره تبدیل دیتاست NSL-KDD

سورس کد آماده تبدیل دیتاست NSL-KDD خام به دیتاست رقمی در متلب در متلب ۲۰۱۷ نوشته شده است. این کد بصورت کامل توسط گروه پشتیبانی پی استور تست و اجرا شده است و دارای نشان تضمین کیفیت پی استور می‌باشد. برای دانلود اثر آن را خریداری کنید. بمحض خرید فایل لینک دانلود در دسترس خواهد بود.