مقدمه ای بر آموزش داده کاوی با پایتون – معرفی 14 کتابخانه مهم و کاربردی داده کاوی با پایتون

در دنیای امروز با توجه به افزایش داده ها و لزوم به کارگیری این داده ها برای اهداف مختلف تجاری، اقتصادی، شخصی و غیره، بحث داده کاوی و مخصوصاً داده کاوی با پایتون مطرح می شود. علم داده کاوی و کاربرد آن برای بهبود و افزایش کارایی سازمان ها و دولت ها لازم و ضروری است و در این میان استفاده از یک زبان برنامه نویسی مناسب برای داده کاوی، به دلیل پردازش حجم بزرگ داده ای، مهم است. زبان برنامه نویسی پایتون این خصوصیت را دارد که بتوان آن را در داده کاوی بکار برد بنابراین در این پست با آموزش داده کاوی در پایتون و معرفی انواع کتابخانه های مهم و کاربردی باهم خواهیم بود همچنین برای آشنایی بیشتر در خلال توضیحات بهترین منابع آموزشی در این حوزه را از بزرگترین مراکز یادگیری مانند فرادرس معرفی خواهیم کرد.

مفهوم داده کاوی Data Mining

قبل از هر چیز باید با مفهوم داده کاوی و اینکه داده کاوی یا Data Mining چیست؟ آشنا شویم. داده کاوی به معنای استخراج داده های با مفهوم از میان حجم عظیمی از داده های خام است که یک فرآیند محاسباتی بوده و الگوهایی را از یک مجموعه ای بزرگ کشف می کند. داده کاوی شاخه ای از علوم کامپیوتر است که ترکیبی از هوش مصنوعی، مدیریت پایگاه داده، یادگیری ماشین، الگوریتم ریاضی و آمار می باشد. علم داده کاوی در سال های اخیر بسیار محبوب شده و بسیاری از شرکت ها از این علم برای پیشرفت و پیشبرد اهداف و کار های خود استفاده می کنند.

کاربرد های داده کاوی

قبل از پرداختن به بحث داده کاوی با پایتون، کاربرد های داده کاوی را در زمینه های مختلفی بیان می کنیم. می توان گفت داده کاوی در هسته و کانون تحقیقات تحلیلی در صنایع مختلف و رشته ها قرار دارد لذا کاربرد های داده کاوی در علوم مختلف زیاد می باشد و در اینجا به چند مورد از این کاربردها، اشاره می کنیم.

• سیستم های تشخیص نفوذ: مانند نرم افزار های ویروس کش
• سیستم های مدیریتی: مانند مدیریت ارتباط با مشتریان
• سیستم های بانکی: مانند تخصیص دادن اعتبار به مشتریان
• اقتصادی و مالی: مانند پیش بینی قیمت سهام
• علوم سیاسی و اجتماعی: مانند پیش بینی رفتار دولت ها
• علوم پزشکی: مانند سیستم های تشخیص بیماری
• و خیلی موارد دیگر

همانطور که مشاهده می کنید، می توان گفت در هر شاخه و رشته علم می توان از داده کاوی استفاده کرد. بطور کلی برای رشته هایی که مفهوم داده در آنها معنا دارد می توان از داده کاوی استفاده کرد. آموزش داده کاوی برای کار با داده ها لازم و ضروری است و برای استخراج الگوهای مناسب از داده ها، بایستی مفاهیم موجود در علم داده کاوی را فرا گرفت. امروزه شرکت های بزرگ کوچک برای پیشبرد اهداف خود از علم داده استفاده می کنند و فعالیت در این حوزه بیش از پیش رونق گرفته است. حتی فرصت های شغلی برنامه نویسی زیادی را برای برنامه نویسان فراهم کرده است.

روش ها و تکنیک های داده کاوی

تکنیک ها و روش های زیادی وجود دارد که می توان از آنها برای انجام داده کاوی استفاده کرد، با این وجود 5 تکنیک برتر داده کاوی که در حال حاضر توسط افراد و شرکت های بزرگ استفاده می شود را بایستی دانست. این تکنیک ها عبارتند از:

• کاهش نگاشت MapReduce
• خوشه بندی Clustering
• تجزیه و تحلیل پیوندها Link Analysis
• سیستم های توصیه Recommendation Systems
• تجزیه و تحلیل مکرر مجموعه ها Frequent Itemset Analysis

البته این مفاهیم کلی هستند و برای یک Data Scientist آگاهی از تکنیک های فوق لازم و ضروری است در مقالات آینده بیشتر راجع به این تکنیک ها صحبت خواهیم کرد. در این مقاله هدف ما داده کاوی با پایتون است و باید بدانیم اولین قدم در داده کاوی، آماده‌سازی داده‌ ها است که روش‌های مختلفی با استفاده از کتابخانه‌های متفاوت پایتون وجود دارد. آماده‌سازی داده برای الگوریتم‌های یادگیری ماشین که یکی از ابزارهای داده کاوی با پایتون محسوب می‌شود شامل تحلیل داده‌ها، مدیریت داده‌های ناکامل، نرمال ساختن داده‌ها و دسته‌بندی داده‌ها به انواع آن ها می باشد.

داده کاوی با پایتون و کتابخانه های مورد نیاز

زبان برنامه نویسی پایتون، یکی از بهترین زبان های برنامه نویسی داده کاوی است. پایتون به دلیل سادگی، انعطاف بالا، همه منظوره بودن و ایجاد برنامه‌های کاربردی و تحلیل داده مورد توجه همگان قرار گرفته‌ است. این زبان محبوب مورد استفاده اکثر برنامه نویسان است. این زبان برنامه نویسی با داشتن کتابخانه‌های مختلف باعث شده است که برنامه نویسان زیادی به این زبان روی بیاورند. پایتون با داشتن کتابخانه‌های متعدد و دسترسی آسان به آن ها، موجب گرایش بسیاری از برنامه نویسان به آموزش پایتون شده‌ است. پایتون یکی از محبوب ترین زبان هایی است که توسط دانشمندان داده و توسعه دهندگان نرم افزار به طور یکسان برای کارهای داده کاوی و علم داده استفاده می شود. می توان از این زبان برنامه نویسی برای پیش بینی نتایج، خودکارسازی وظایف، ساده سازی فرآیندها و ارائه بینش های هوش تجاری استفاده کرد.

امکان کار با داده ها در پایتون وجود دارد، اما تعداد زیادی کتابخانه متن باز وجود دارد که کار داده کاوی با پایتون را خیلی ساده تر می کند. مطمئناً نام برخی از این کتابخانه ها را شنیده اید، اما آیا کتابخانه های مفید دیگری نیز برای داده کاوی با پایتون وجود دارند؛ که شما نام آن ها را نشنیده باشید؟ در این بخش مجموعه ای از مهمترین کتابخانه های پایتون برای داده کاوی ارائه شده است که شامل زمینه هایی مانند پردازش داده ها، مدل سازی و تجسم داده ها است.

1- کتابخانه Scrapy

یکی از مشهورترین کتابخانه های داده کاوی با پایتون، کتابخانه Scrapy است که به ایجاد برنامه های خزنده (ربات های عنکبوتی spider bots) کمک می کند که می تواند داده های ساختار یافته را از وب واکشی کند – به عنوان مثال، آدرس های اینترنتی یا اطلاعات تماس –  این کتابخانه یک ابزار عالی برای آماده سازی داده های مورد استفاده در مدل های یادگیری ماشین با پایتون است.

توسعه دهندگان از این ماژول برای جمع آوری داده ها از API ها استفاده می کنند. این چارچوب کامل در طراحی رابط کاربری خود از اصل تکرار خود پیروی می کند در نتیجه، این ابزار، کاربران را ترغیب می کند تا کد های سراسری بنویسند که می تواند برای ساخت و مقیاس بندی خزنده های بزرگ مجدداً مورد استفاده قرار گیرد. نمونه ای از کد نویسی با این کتابخانه را مشاهده می کنید.

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://www.zyte.com/blog/']

    def parse(self, response):
        for title in response.css('.oxy-post-title'):
            yield {'title': title.css('::text').get()}

        for next_page in response.css('a.next'):
            yield response.follow(next_page, self.parse)

2- کتابخانه BeautifulSoup

BeautifulSoup یکی دیگر از کتابخانه های بسیار محبوب برای خزیدن وب و عملیات crawling برای جمع آوری داده از وب است. اگر می خواهید داده هایی را که در برخی از وب سایت ها موجود است اما CSV یا API مناسب را ندارند می توانید از این کتابخانه برای جمع آوری داده ها استفاده کنید، BeautifulSoup می تواند به شما کمک کند تا داده های جمع آوری شده را در قالب مورد نیاز تنظیم کنید. به عنوان مثال نمونه ای از کد نویسی با این کتابخانه را مشاهده می کنید که محتویات یک سایت را در قالب HTML برای ما برمی گرداند.

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

3- کتابخانه NumPy

NumPy یک ابزار عالی برای محاسبات علمی و انجام عملیات اولیه و پیشرفته مبتنی بر آرایه است. این کتابخانه بسیاری از ویژگی های مفید را برای انجام عملیات روی آرایه ها و ماتریس های پایتون را ارائه می دهد. این کتابخانه به پردازش آرایه هایی که مقادیر یک نوع داده را ذخیره می کند، کمک می کند و انجام عملیات ریاضی روی آرایه ها و بردار سازی آن ها را آسان تر می کند. در حقیقت، برداری از عملیات ریاضی بر روی نوع آرایه NumPy باعث افزایش عملکرد برنامه نویسی می شود و زمان اجرا را تسریع می کند. تکه کد زیر با استفاده از کتابخانه Numpy ماتریس 2*3 را به براحتی به ماتریس 3*2 تبدیل می کند.

import numpy as np
a = np.array([(8,9,10),(11,12,13)])
print(a)
a=a.reshape(3,2)
print(a)

4- کتابخانه SciPy

این کتابخانه مفید شامل ماژول هایی برای جبر خطی، ادغام، بهینه سازی و آمار است. عملکرد اصلی کتابخانه SciPy بر اساس NumPy ساخته شده است؛ بنابراین آرایه های آن از این کتابخانه استفاده می کنند. SciPy برای انواع پروژه های برنامه نویسی علمی (علوم، ریاضیات و مهندسی) عالی عمل می کند. این برنامه روال های عددی کارآمدی مانند بهینه سازی عددی، ادغام و سایر موارد را در زیر ماژول ها ارائه می دهد همچنین مستندات گسترده، کار با این کتابخانه را بسیار آسان می کند. برای نمونه کد زیر با استفاده از این کتابخانه دترمینان ماتریس 2*2 را با دستور det محاسبه می کند.

from scipy import linalg
import numpy as np
#define square matrix
array = np.array([ [4,5], [3,2] ])
#pass values to det() function
linalg.det( array )

5- کتابخانه Pandas

Pandas کتابخانه ای است که به توسعه دهندگان کمک می کند تا با داده های “برچسب گذاری شده” و “رابطه ای” کار کنند. این کتابخانه بر اساس دو ساختار اصلی “سری ها” (یک بعدی، مانند فهرستی از اقلام) و “قاب داده ها” (دو بعدی ، مانند یک جدول با چند ستون) عمل می کند. کتابخانه Pandas امکان تبدیل ساختارهای داده به اشیاء DataFrame یا قاده داده، مدیریت داده های مفقود شده و افزودن/حذف ستون ها از DataFrame، ضبط فایل های از دست رفته و ترسیم داده ها با هیستوگرام یا کادر نمودار را فراهم می آورد. این مورد برای درگیری، دستکاری و تجسم داده در داده کاوی لازم و ضروری است.

import numpy as np
import pandas as pd
df = pd.read_csv("/content/churn.csv")
df.shape
(10000,14)
df.columns
Index(['RowNumber', 'CustomerId', 'Surname', 'CreditScore', 'Geography', 'Gender', 'Age', 'Tenure', 'Balance', 'NumOfProducts', 'HasCrCard','IsActiveMember','EstimatedSalary', 'Exited'], dtype='object')
df.drop(['RowNumber', 'CustomerId', 'Surname', 'CreditScore'], axis=1, inplace=True)
df.shape 
(10000,10)

در مثال بالا پس از خواندن یک فایل با نام churn.csv و مشخص کردن تعداد سطر های و ستون های آن براحتی 4 ستون با نام های اشاره شده را از داده ها حذف می کند و این کار براحتی با دستور drop قابل انجام است.

6- کتابخانه Keras

Keras یک کتابخانه عالی برای ایجاد شبکه های عصبی و مدل سازی است. استفاده از آن بسیار ساده است و توسعه پذیری خوبی را در اختیار توسعه دهندگان قرار می دهد. کتابخانه از بسته های دیگری مانند Theano یا TensorFlow به عنوان پشتوانه خود استفاده می کند علاوه بر این، مایکروسافت CNTK (Microsoft Cognitive Toolkit) را به عنوان پشتیبان دیگری برای این کتابخانه اعلام کرده است. اگر می خواهید سریع با استفاده از سیستم های جمع و جور برنامه نویسی و آزمایش کنید؛ کتابخانه Keras یک انتخاب عالی برای داده کاوی با پایتون است.

from numpy import loadtxt
from keras.models import Sequential
from keras.layers import Dense
# load the dataset
dataset = loadtxt('pima-indians-diabetes.csv', delimiter=',')
# split into input (X) and output (y) variables
X = dataset[:,0:8]
y = dataset[:,8]
# define the keras model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# compile the keras model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# fit the keras model on the dataset
model.fit(X, y, epochs=150, batch_size=10)
# evaluate the keras model
_, accuracy = model.evaluate(X, y)
print('Accuracy: %.2f' % (accuracy*100))

کد نوشته شده در بالا نمونه ای از ایجاد و آموزش شبکه عصبی مصنوعی است که به راحتی با استفاده از کتابخانه keras قابل پیاده سازی می باشد. برای یادگیری این کتابخانه قدرتمند می توانید آموزش برنامه نویسی یادگیری عمیق با Keras را تهیه و مطالعه کنید.

7- کتابخانه SciKit-Learn

کتابخانه SciKit-Learn یک استاندارد صنعتی برای پروژه های داده کاوی و علوم داده مستقر در پایتون است. کتابخانه Scikits گروهی از بسته ها در SciPy Stack است که برای عملکرد های خاصی مانند پردازش تصویر ایجاد شده است. کتابخانه Scikit-learn از عملیات ریاضی SciPy برای نشان دادن یک رابط مختصر به رایج ترین الگوریتم های یادگیری ماشین استفاده می کند.

برنامه نویسان داده کاوی از این کتابخانه برای انجام کارهای استاندارد یادگیری ماشین و داده کاوی مانند خوشه بندی، رگرسیون، انتخاب مدل، کاهش ابعاد و طبقه بندی استفاده می کنند. مزیت دیگر این کتابخانه در مستندات بروز شده و فراوان آن است که  کیفیت و عملکرد داده کاوی با پایتون را بالا می برد. تکه کد زیر نمونه ای از عملیات یادگیری و پیش بینی یک مجموعه داده تصویر با استفده از این کتابخانه است.

import numpy as np
from sklearn.datasets import load_iris
from sklearn.svm import SVC
X, y = load_iris(return_X_y=True)

clf = SVC()
clf.set_params(kernel='linear').fit(X, y)
SVC(kernel='linear')
clf.predict(X[:5])
array([0, 0, 0, 0, 0])

clf.set_params(kernel='rbf').fit(X, y)
SVC()
clf.predict(X[:5])
array([0, 0, 0, 0, 0])

8- کتابخانه PyTorch

کتابخانه PyTorch یک چارچوب مناسب برای برنامه نویسی داده کاوی در پایتون است که یادگیری عمیق را بخوبی انجام می دهد. این ابزار امکان انجام محاسبات Tensor با شتاب GPU را فراهم می کند. همچنین برای کارهای دیگر – به عنوان مثال، برای ایجاد نمودارهای محاسباتی پویا و محاسبه گرادیان به صورت خودکار استفاده می شود. PyTorch مبتنی بر Torch است، که یک کتابخانه یادگیری عمیق متن باز است که در C اجرا می شود و دارای یک بسته در Lua است. کد زیر نمونه ای از برنامه نویسی پایتون با استفاده از کتابخانه PyTorch است.

import torch
import math

dtype = torch.float
device = torch.device("cpu")
# device = torch.device("cuda:0") # Uncomment this to run on GPU

# Create random input and output data
x = torch.linspace(-math.pi, math.pi, 2000, device=device, dtype=dtype)
y = torch.sin(x)

# Randomly initialize weights
a = torch.randn((), device=device, dtype=dtype)
b = torch.randn((), device=device, dtype=dtype)
c = torch.randn((), device=device, dtype=dtype)
d = torch.randn((), device=device, dtype=dtype)

learning_rate = 1e-6
for t in range(2000):
    # Forward pass: compute predicted y
    y_pred = a + b * x + c * x ** 2 + d * x ** 3

    # Compute and print loss
    loss = (y_pred - y).pow(2).sum().item()
    if t % 100 == 99:
        print(t, loss)

    # Backprop to compute gradients of a, b, c, d with respect to loss
    grad_y_pred = 2.0 * (y_pred - y)
    grad_a = grad_y_pred.sum()
    grad_b = (grad_y_pred * x).sum()
    grad_c = (grad_y_pred * x ** 2).sum()
    grad_d = (grad_y_pred * x ** 3).sum()

    # Update weights using gradient descent
    a -= learning_rate * grad_a
    b -= learning_rate * grad_b
    c -= learning_rate * grad_c
    d -= learning_rate * grad_d

print(f'Result: y = {a.item()} + {b.item()} x + {c.item()} x^2 + {d.item()} x^3')

9- کتابخانه TensorFlow

کتابخانه TensorFlow نیز یک چارچوب پایتون محبوب برای یادگیری ماشین و یادگیری عمیق است که در Google Brain توسعه یافته است. این کتابخانه بهترین ابزار برای وظایفی مانند شناسایی اشیا، تشخیص گفتار و بسیاری موارد دیگر است. این کار در شبکه های عصبی مصنوعی که باید چندین مجموعه داده را مدیریت کنند، کمک می کند. این کتابخانه شامل لایه های مختلف کمک کننده (tflearn ،tf-slim ،skflow) است که عملکرد این کتابخانه را بیشتر می کند. کتابخانه TensorFlow با نسخه های جدید خود، دائماً در حال گسترش است. برای یادگیری این کتابخانه می توانید آموزش برنامه نویسی یادگیری عمیق با پایتون را تهیه کنید. نمونه ای از کد پایتون با استفاده از این کتابخانه را مشاهده می کنید.

import tensorflow as tf
mnist = tf.keras.datasets.mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10)
])
predictions = model(x_train[:1]).numpy()
predictions

10- کتابخانه XGBoost

از این کتابخانه برای پیاده سازی الگوریتم های یادگیری ماشین در چارچوب Gradient Boosting استفاده می شود. کتابخانه XGBoost قابل حمل، انعطاف پذیر و کارآمد است. این کتابانه با هدف تقویت درخت موازی به تیم های برنامه نویسی برای حل بسیاری از مسائل علم داده کمک می کند. مزیت دیگر کتابخانه XGBoost این است که توسعه دهندگان می توانند کد یکسانی را در محیط های اصلی توزیع شده مانند Hadoop ،SGE و MPI اجرا کنند.

11- کتابخانه Matplotlib

می توان گفت Matplotlib یک کتابخانه استاندارد برای داده کاوی با پایتون است که به ایجاد تجسم داده ها مانند ترسیم ها و نمودارهای دو بعدی (هیستوگرام، پراکندگی، نمودار مختصات غیر دکارتی) کمک می کند. Matplotlib یکی از کتابخانه هایی است که در پروژه های داده کاوی بسیار مفید است که یک API شی گرا برای جاسازی نمودارها در برنامه ها را فراهم می کند.

به لطف این کتابخانه است که پایتون می تواند با ابزارهای علمی مانند MatLab یا Mathematica رقابت کند. با این حال ، هنگام استفاده از این کتابخانه برای ایجاد تجسم پیشرفته، توسعه دهندگان باید بیش از حد معمول کد بنویسند. توجه داشته باشید که کتابخانه های نقشه کشی رایج با Matplotlib کار می کنند. برای یادگیری این کتابخانه قدرتمند، آموزش کار با کتابخانه Matplotlib در پایتون را تهیه و مطالعه فرمایید.

12- کتابخانه Seaborn

کتابخانه Seaborn بر اساس Matplotlib است و به عنوان یک ابزار یادگیری ماشین پایتون مفید برای تجسم مدل های آماری عمل می کند. نقشه های حرارتی و سایر انواع تجسم که داده ها را خلاصه کرده و توزیع های کلی را به تصویر می کشد. هنگام استفاده از این کتابخانه، از گالری گسترده ای از تجسم (از جمله مجموعه های پیچیده مانند سری های زمانی، نمودارهای مشترک و نمودارهای ویولن) بهره مند می شوید.

13- کتابخانه Bokeh

این کتابخانه یک ابزار عالی برای ایجاد تجسم تعاملی و مقیاس پذیر در داخل مرورگرها با استفاده از ابزارک های جاوا اسکریپت است. کتابخانه Bokeh کاملاً مستقل از Matplotlib است. این برنامه بر تعامل متمرکز است و تجسم را از طریق مرورگرهای مدرن ارائه می دهد. مشابه اسناد داده محور (d3.js). این مجموعه ای از نمودارها، توانایی های متقابل (مانند پیوند نمودارها یا افزودن ابزارک های جاوا اسکریپت) و یک ظاهر طراحی شده را ارائه می دهد.

14- کتابخانه Plotly

این ابزار مبتنی بر وب برای تجسم داده است که بسیاری از گرافیک های مفید خارج از Box را ارائه می دهد می توانید و برای آشنایی با دستورات این کتابخانه می توانید از وب سایت Plot.ly کمک بگیرید. این کتابخانه در برنامه های کاربردی تعاملی وب بسیار خوب کار می کند. سازندگان آن مشغول توسعه کتابخانه با گرافیک و ویژگی های جدید برای پشتیبانی از چندین نمای پیوند یافته، انیمیشن و یکپارچه سازی متقابل هستند.

سخن آخر

در این پست در رابطه با آموزش داده کاوی با پایتون صحبت شد و 14 کتابخانه مهم و کاربردی داده کاوی با پایتون تشریح گردید. توجه داشته باشید این فهرست به هیچ وجه کامل نیست و اکوسیستم پایتون بسیاری از ابزارهای دیگر را ارائه می دهد که می تواند برای کار در داده کاوی و علوم داده مفید باشد. دانشمندان داده، برنامه نویسان و مهندسان نرم افزار درگیر در پروژه های داده کاوی که از پایتون استفاده می کنند، از بسیاری از این ابزارها استفاده خواهند کرد، زیرا برای ایجاد مدل های یادگیری ماشین ML با عملکرد بالا در پایتون ضروری هستند. اگر شما نیز کتابخانه های مفید پایتون دیگری را برای داده کاوی و پروژه های یادگیری ماشین ML می شناسید؟ خوشحال می شویم در همین پست، آن ها را به ما و دوستانتان معرفی کنید. همانطور که در ابتدای این پست نیز تاکید کردیم برای تهیه آموزش های کلی برنامه نویسی داده کاوی با پایتون می توانید از بزرگترین مرجع فیلم های آموزش پایتون کشور یعنی فرادرس کمک بگیرید و در هر بخش از مطالب این پست، لینک های مربوطه برای آموزش کامل ارائه شده است. امیدواریم مطالب فوق برای شما مفید بوده باشد. موفق و پیروز باشید.

پاورپوینت الگوریتم های داده کاوی – معرفی 7 دسته مهم در دیتا ماینینگ

پاورپوینت الگوریتم های داده کاوی با قابلیت ویرایش در 18 اسلاید مناسب برای ارائه های درسی دانش آموزان و دانشجویان عزیز آماده و بصورت طراحی آکادمیک اسلاید برای ارائه کلاسی آماده شده است.

همین الان کلیک کنید