围观SVM模型在分类和预测问题上的强悍表现!

01 前言

笔者在上一期的《 手把手教你如何由浅入深地理解线性SVM模型 》中分享了线性SVM模型的来龙去脉,得到很多读者朋友的点赞和支持,本文继续分享SVM模型的其他知识,即两个实战的案例,分别用于解决分类问题和预测问题。本文所使用到的数据集,读者朋友可以在文末找到下载链接。

02 分类问题的解决

本实战部分所使用的数据集是关于手体字母的识别,当一个用户在设备中写入某个字母后,该设备就需要准确地识别并返回写入字母的实际值。 很显然,这是一个分类问题,即根据写入字母的特征信息(如字母的宽度、高度、边际等)去判断其属于哪一种字母。 该数据集一共包含20 000个观测和17个变量,其中变量letter为因变量,具体的值就是20个英文字母。 接下来利用SVM模型对该数据集的因变量做分类判断。

首先使用线性可分SVM对手体字母数据集建模,由于该模型会受到惩罚系数C的影响,故应用交叉验证的方法,从给定的几种C值中筛选出一个相对合理的,代码如下:

# 导入第三方模块

from sklearn  import svm

import pandas  as pd

from sklearn  import model_selection

from sklearn  import metrics

# 读取外部数据

letters = pd.read_csv( r'C:\Users\Administrator\Desktop\letterdata.csv' )

# 数据前5行,见表13-1

letters.head()

上表中反映了手体字母数据集的前5行观测,都是关于手写体的长、宽及坐标信息特征。 通常在建模前都需要将原始数据集拆分为两个部分,分别用于模型的构建和测试,具体代码如下:

# 将数据拆分为训练集和测试集

predictors = letters.columns[ 1 :]

X_train,X_test,y_train,y_test = model_selection.train_test_split(

letters[predictors],                                             

letters.letter,

test_size =  0.25

random_state =  1234 )

# 使用网格搜索法,选择线性可分SVM“类”中的最佳C值

C=[ 0.05 , 0.1 , 0.5 , 1 , 2 , 5 ]

parameters = { 'C' :C}

grid_linear_svc = model_selection.GridSearchCV(estimator = svm.LinearSVC(),

param_grid =parameters,

scoring= 'accuracy' ,cv= 5 ,verbose = 1 )

# 模型在训练数据集上的拟合

grid_linear_svc.fit(X_train,y_train)

# 返回交叉验证后的最佳参数值

grid_linear_svc.best_params_, grid_linear_svc.best_score_

out:

({ 'C'0.1 },  0.69153333333333333 )

# 模型在测试集上的预测

pred_linear_svc = grid_linear_svc.predict(X_test)

# 模型的预测准确率

metrics.accuracy_score(y_test, pred_linear_svc)

out:

0.71479999999999999

如上结果所示,经过5重交叉验证后,发现最佳的惩罚系数C为0.1,模型在训练数据集上的平均准确率只有69.2%,同时,其在测试数据集的预测准确率也不足72%,说明线性可分SVM模型并不太适合该数据集的拟合和预测。 接下来,使用非线性SVM模型对该数据集进行重新建模,代码如下:

# 使用网格搜索法,选择非线性可分SVM“类”中的最佳C值和核函数

kernel=[ 'rbf' , 'linear' , 'poly' , 'sigmoid' ]

C=[ 0.1 , 0.5 , 1 , 2 , 5 ]

parameters = { 'kernel' :kernel, 'C' :C}

grid_svc = model_selection.GridSearchCV(estimator = svm.SVC(),

param_grid =parameters,

scoring= 'accuracy' ,cv= 5 ,verbose = 1 )

# 模型在训练数据集上的拟合

grid_svc.fit(X_train,y_train)

# 返回交叉验证后的最佳参数值

grid_svc.best_params_, grid_svc.best_score_

out:

({ 'C'5'kernel''rbf' },  0.97340000000000004 )

# 模型在测试集上的预测

pred_svc = grid_svc.predict(X_test)

# 模型的预测准确率

metrics.accuracy_score(y_test,pred_svc)

out:

0.9788

如上结果所示,经过5重交叉验证后,发现最佳的惩罚系数C为5,最佳的核函数为径向基核函数。 相比于线性可分SVM模型来说,基于核技术的SVM表现了极佳的效果,模型在训练数据集上的平均准确率高达97.34%,而且其在测试数据集的预测准确率也接近98%,说明利用非线性可分SVM模型拟合及预测手体字母数据集是非常理想的。

03 预测问题的解决

本实战部分所使用的数据集来源于UCI网站,是一个关于森林火灾方面的预测,该数据集一共包含517条火灾记录和13个变量,其中变量area为因变量,表示火灾产生的森林毁坏面积,其余变量主要包含火灾发生的坐标位置、时间、各项火险天气指标、气温、湿度、风力等信息。 接下来利用SVM模型对该数据集的因变量做预测分析:

# 读取外部数据

forestfires = pd.read_csv( r'C:\Users\Administrator\Desktop\forestfires.csv' )

# 数据前5行,见表13-2。

forestfires.head()

如上表所示,火灾发生的时间(month和day)为字符型的变量,如果将这样的变量带入模型中,就必须对其做数值化转换。 考虑到月份可能是火灾发生的一个因素,故将该变量做保留处理,而将day变量删除。 数据清洗如下:

# 删除day变量
forestfires.drop('day',axis = 1, inplace = True)
# 将月份做数值化处理
forestfires.month = pd.factorize(forestfires.month)[0]
# 预览数据前5行
forestfires.head()

如上表所示,day变量已被删除,而且month变量也成为数值型变量。 表中的应变量为area,是一个数值型变量,通常都需要对连续型的因变量做分布的探索性分析,如果数据呈现严重的偏态,而不做任何的修正时,直接带入到模型将会产生很差的效果。 不妨这里使用直方图直观感受area变量的分布形态,操作代码如下:

# 导入第三方模块
import seaborn as sns
import matplotlib.pyplot as plt
from scipy.stats import norm

# 绘制森林烧毁面积的直方图
sns.distplot(forestfires.area, bins = 50, kde = True, fit = norm, 
            hist_kws = {'color':'steelblue'}, 
               kde_kws = {'color':'red', 'label':'Kernel Density'}, 
               fit_kws = {'color':'black','label':'Nomal', 'linestyle':'--'})
# 显示图例
plt.legend()
# 显示图形
plt.show()

如上图所示,从分布来看,数据呈现严重的右偏。 建模时不能够直接使用该变量,一般都会将数据做对数处理,代码如下:

# 导入第三方模块
from sklearn import preprocessing
import numpy as np

# 对area变量做对数变换
y = np.log1p(forestfires.area)
# 将X变量做标准化处理
predictors = forestfires.columns[:-1]
X = preprocessing.scale(forestfires[predictors])

接下来基于上面清洗后的数据将其拆分为两部分,分别用于模型的构建和测试。 需要注意的是,在建模时必须对参数C、 和y做调优处理,因为默认的SVM模型参数并不一定是最好的。 代码如下:

# 将数据拆分为训练集和测试集
X_train,X_test,y_train,y_test = model_selection.train_test_split(X, y, test_size = 0.25, random_state = 1234)

# 构建默认参数的SVM回归模型
svr = svm.SVR()
# 模型在训练数据集上的拟合
svr.fit(X_train,y_train)
# 模型在测试上的预测
pred_svr = svr.predict(X_test)
# 计算模型的MSE
metrics.mean_squared_error(y_test,pred_svr)

out:
1.9258635953335212

# 使用网格搜索法,选择SVM回归中的最佳C值、epsilon值和gamma值
epsilon = np.arange(0.1,1.5,0.2)
C= np.arange(100,1000,200)
gamma = np.arange(0.001,0.01,0.002)
parameters = {'epsilon':epsilon,'C':C,'gamma':gamma}
grid_svr = model_selection.GridSearchCV(estimator = svm.SVR(),param_grid =parameters,
                                               scoring='neg_mean_squared_error',
                                   cv=5,verbose =1, n_jobs=2)
# 模型在训练数据集上的拟合
grid_svr.fit(X_train,y_train)
# 返回交叉验证后的最佳参数值
print(grid_svr.best_params_, grid_svr.best_score_)

out:
{'C': 300, 'gamma': 0.001, 'epsilon': 1.1000000000000003} -1.99405794977

# 模型在测试集上的预测
pred_grid_svr = grid_svr.predict(X_test)
# 计算模型在测试集上的MSE值
metrics.mean_squared_error(y_test, pred_grid_svr)

out:
1.7455012238826526

如上结果所示,经过5重交叉验证后,非线性SVM回归的最佳惩罚系数C为300、最佳的 值为1.1、最佳的Y值为0.001,而且模型在训练数据集上的负MSE值为-1.994。 为了实现模型之间拟合效果的对比,构建了一个不做任何参数调整的SVM回归模型,并计算得到该模型在测试数据集上的MSE值为1.926,相比于经过调参之后的模型来说,这个值要高于1.746。 进而可以说明,在利用SVM模型解决分类或预测问题时,需要对模型的参数做必要的优化。

04 结语

OK,本文的案例实战分享就到这里,欢迎在公众号的留言区域讨论。 同时,也欢迎各位朋友转发与分享文中的内容,让更多的人学习和进步。

封面图来源:Photo by Luca Bravo  on  Unsplash

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章