【机器学习】SVM支持向量机

欢迎大家来到IT世界,在知识的湖畔探索吧!

一、SVM 相关概念

1.1 通俗易懂的 SVM 算法描述

SVM（支撑向量机）呢，简单来说就是在两类数据中间找一条“最宽的路”。这条路的中间线就是用来分类的边界（也叫“决策边界”），路越宽，分类的效果就越好。核心思想就是找“最宽的路”（最大间隔）：假设这两类数据是路上的两群行人，SVM 的目标就是在这两群人中间划出一条最宽的隔离带（称为“间隔”），隔离带的中间线就是最终的分类边界。关键在于“边缘的人（支持向量）”：隔离带的宽度是由离边界最近的那几个行人（叫做“支撑向量”）决定的，其他行人对隔离带的位置和宽度没啥影响。允许“少量越界”：要是这两群人交错得很厉害（数据线性不可分），SVM 会允许少量行人暂时走进隔离带，不过还是会尽量让隔离带足够宽，平衡好分类错误和间隔大小（这就是“软间隔”）。核函数：当数据线性不可分的时候（就像缠绕的毛线团），把数据映射到高维空间，让它变得线性可分。

1.2 专业术语描述 SVM 相关概念

• 1.基本概念
• 定义：支持向量机（SVM）是一种常用于分类任务的机器学习算法，旨在通过一个“最佳”分隔线（在高维空间中是超平面）将不同类别的数据分开。
• 超平面：在二维空间中是一条直线，三维空间中是一个平面，更高维度空间中是一个多维空间的平面，是SVM用于分隔数据的决策边界。

欢迎大家来到IT世界,在知识的湖畔探索吧!

• 支持向量：是离超平面最近的数据点，对确定分类边界至关重要，去掉它们分类边界可能改变。
• 最大间隔：SVM要找到的超平面需使两类数据点到该超平面的距离最大，可提高模型对未知数据的预测能力。

• 2.工作原理
• 线性可分情况：当数据集中的不同类别可通过一条直线（二维）或超平面（高维）分开时，SVM寻找的就是这个能使两边数据点离超平面距离最大的超平面。
• 非线性可分情况：现实中数据常是非线性可分的，SVM通过核技巧将原始数据映射到更高维空间，使数据在高维空间中线性可分，进而找到分隔超平面。常见的核函数有线性核、多项式核、径向基核（RBF核）等。
• 3.算法优势
• 高效分类：能有效分开不同类别的数据，处理高维数据有优势，适合数据维度高于样本数量的情况，如文本分类、基因数据分析等。
• 抗过拟合能力强：通过最大化间隔确定分类边界，对噪声数据和异常值不太敏感，提高了模型的泛化能力。
• 4.模型评估 训练好SVM模型后，常用精确度、召回率、F1分数等指标评估其性能。精确度是分类器预测为正的样本中实际为正的比例；召回率是所有实际为正的样本中分类器正确预测为正的比例；F1分数是精确度和召回率的调和平均值，综合评估分类模型性能。
• 5.模型调参 SVM有几个重要超参数需调参优化模型，如C参数，C越大对训练数据拟合能力越强但可能过拟合，C越小模型泛化能力越强但可能欠拟合；选择适合数据的核函数可提高模型准确性；用于RBF核的gamma参数，值越大影响范围越小，值越小影响范围越大。通常使用交叉验证来选择最优参数。

1.3 以代码方式，理解SVM

1.3.1 解决分类问题示例：使用 iris 数据集，训练SVM模型并预测

问题背景：根据鸢尾花的花瓣长度和宽度，将其分为3类（山鸢尾、变色鸢尾、维吉尼亚鸢尾）。这里简化为二分类问题（区分山鸢尾和变色鸢尾）。

数据特点：

• 输入特征：花瓣长度（cm）、花瓣宽度（cm）
• 输出标签：0（山鸢尾）、1（变色鸢尾）

代码分段解析

• 步骤1：导入库和数据

import numpy as np import matplotlib.pyplot as plt from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler # 加载鸢尾花数据集（只取前两类） iris = datasets.load_iris() X = iris.data[:, 2:4] # 花瓣长度和宽度 y = iris.target.copy() y[y == 2] = 1 # 将第三类（维吉尼亚鸢尾）也标记为1，转为二分类问题 # 拆分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

欢迎大家来到IT世界,在知识的湖畔探索吧!

• 步骤2：数据标准化（SVM对尺度敏感）

欢迎大家来到IT世界,在知识的湖畔探索吧!scaler = StandardScaler() scaler.fit(X_train) X_train_scaled = scaler.transform(X_train) X_test_scaled = scaler.transform(X_test)

• 步骤3：创建并训练SVM模型（线性核）

# 使用线性核的SVM分类器 svm_clf = SVC(kernel='linear', C=1.0) # C是软间隔的惩罚参数，C越小允许越多错误 svm_clf.fit(X_train_scaled, y_train)

• 步骤4：预测与评估

欢迎大家来到IT世界,在知识的湖畔探索吧!# 预测测试集 y_pred = svm_clf.predict(X_test_scaled) accuracy = np.mean(y_pred == y_test) print(f"分类准确率：{accuracy:.2f}")

• 步骤5：可视化决策边界和支撑向量

def plot_svm_decision_boundary(clf, ax=None, plot_support_vectors=True): if ax is None: ax = plt.gca() x_min, x_max = X_train_scaled[:, 0].min() - 1, X_train_scaled[:, 0].max() + 1 y_min, y_max = X_train_scaled[:, 1].min() - 1, X_train_scaled[:, 1].max() + 1 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100)) Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) ax.contourf(xx, yy, Z, alpha=0.2) ax.set_xlim(xx.min(), xx.max()) ax.set_ylim(yy.min(), yy.max()) ax.set_xlabel('花瓣长度（标准化后）') ax.set_ylabel('花瓣宽度（标准化后）') if plot_support_vectors: ax.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=300, linewidth=1, facecolors='none', edgecolors='k') plt.figure(figsize=(8, 6)) plot_svm_decision_boundary(svm_clf) plt.scatter(X_train_scaled[y_train==0, 0], X_train_scaled[y_train==0, 1], c='red', label='山鸢尾') plt.scatter(X_train_scaled[y_train==1, 0], X_train_scaled[y_train==1, 1], c='blue', label='变色鸢尾') plt.legend() plt.title('SVM决策边界与支撑向量（线性核）') plt.show()

• 完整且添加字体的代码如下

欢迎大家来到IT世界,在知识的湖畔探索吧!# 步骤1. 导入库和数据 import numpy as np import matplotlib.pyplot as plt from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler # 设置中文字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体为黑体 plt.rcParams['axes.unicode_minus'] = False # 解决负号显示问题 # 加载鸢尾花数据集（只取前两类） iris = datasets.load_iris() X = iris.data[:, 2:4] # 花瓣长度和宽度 y = iris.target.copy() y[y == 2] = 1 # 将第三类（维吉尼亚鸢尾）也标记为1，转为二分类问题 # 拆分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 步骤2：数据标准化（SVM对尺度敏感）¶ # 数据标准化（SVM对尺度敏感） scaler = StandardScaler() scaler.fit(X_train) X_train_scaled = scaler.transform(X_train) X_test_scaled = scaler.transform(X_test) # 步骤3：创建并训练SVM模型（线性核） # 创建并训练SVM模型（线性核） svm_clf = SVC(kernel='linear', C=1.0) # C是软间隔的惩罚参数，C越小允许越多错误 svm_clf.fit(X_train_scaled, y_train) # 步骤4：预测与评估 # 预测与评估 y_pred = svm_clf.predict(X_test_scaled) accuracy = np.mean(y_pred == y_test) print(f"分类准确率：{accuracy:.2f}") # 步骤5：可视化决策边界和支撑向量 def plot_svm_decision_boundary(clf, ax=None, plot_support_vectors=True): if ax is None: ax = plt.gca() x_min, x_max = X_train_scaled[:, 0].min() - 1, X_train_scaled[:, 0].max() + 1 y_min, y_max = X_train_scaled[:, 1].min() - 1, X_train_scaled[:, 1].max() + 1 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100)) Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) ax.contourf(xx, yy, Z, alpha=0.2) ax.set_xlim(xx.min(), xx.max()) ax.set_ylim(yy.min(), yy.max()) ax.set_xlabel('花瓣长度（标准化后）') ax.set_ylabel('花瓣宽度（标准化后）') if plot_support_vectors: ax.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=300, linewidth=1, facecolors='none', edgecolors='k') plt.figure(figsize=(8, 6)) plot_svm_decision_boundary(svm_clf) plt.scatter(X_train_scaled[y_train==0, 0], X_train_scaled[y_train==0, 1], c='red', label='山鸢尾') plt.scatter(X_train_scaled[y_train==1, 0], X_train_scaled[y_train==1, 1], c='blue', label='变色鸢尾') plt.legend() plt.title('SVM分类决策边界可视化') # 明确的中文标题 plt.show()

分类准确率：1.00

• 代码输出解读：

1. 准确率：通常在二分类问题中可达90%以上（取决于数据和参数）。

2. 可视化结果：

背景颜色表示分类区域，中间的实线是决策边界，虚线是间隔边界（由支撑向量决定）。

黑色圆圈标记的点是支撑向量，它们决定了决策边界的位置。

1.3.2 解决回归问题示例：使用波士顿房价数据集，训练SVM模型并预测

• 实现代码

import numpy as np import matplotlib.pyplot as plt import warnings from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.svm import SVR from sklearn.metrics import mean_squared_error, r2_score # 忽略过时警告（波士顿房价数据集已被sklearn弃用） warnings.filterwarnings('ignore') # 加载波士顿房价数据集 boston = load_boston() X = boston.data y = boston.target feature_names = boston.feature_names # 特征名称列表 # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 创建SVM回归器（RBF核） svr = SVR(kernel='rbf', C=100, gamma=0.1) svr.fit(X_train, y_train) # 预测并计算指标 y_pred = svr.predict(X_test) mse = mean_squared_error(y_test, y_pred) r2 = r2_score(y_test, y_pred) # R²分数（越接近1越好） print(f"均方误差(MSE)：{mse:.2f}") print(f"决定系数(R²)：{r2:.2f}") # ------------------- 可视化部分 ------------------- plt.figure(figsize=(16, 12)) # 子图1：真实值vs预测值对比 plt.subplot(2, 2, 1) plt.scatter(y_test, y_pred, alpha=0.7, edgecolor='k', c='royalblue') # 绘制理想对角线（预测值=真实值） plt.plot([y.min(), y.max()], [y.min(), y.max()], 'k--', lw=2, label='理想预测线') plt.xlabel('真实房价 (千美元)') plt.ylabel('预测房价 (千美元)') plt.title(f'真实值 vs 预测值 (MSE={mse:.2f}, R²={r2:.2f})') plt.legend() # 子图2：残差分析图（预测误差分布） plt.subplot(2, 2, 2) residuals = y_test - y_pred # 残差（真实值-预测值） plt.scatter(y_pred, residuals, alpha=0.7, edgecolor='k', c='firebrick') plt.axhline(y=0, color='k', linestyle='--', lw=2, label='无误差线') plt.xlabel('预测房价 (千美元)') plt.ylabel('残差 (真实值-预测值)') plt.title('残差分析图（误差分布）') plt.legend() # 子图3：关键特征与目标变量关系（选择RM特征：平均房间数） plt.subplot(2, 2, 3) feature_idx = np.where(feature_names == 'RM')[0][0] # 获取"RM"特征的索引 plt.scatter(X_test[:, feature_idx], y_test, alpha=0.6, edgecolor='k', c='goldenrod', label='真实值') plt.scatter(X_test[:, feature_idx], y_pred, alpha=0.6, edgecolor='k', c='darkgreen', marker='x', label='预测值') plt.xlabel('平均房间数 (RM)') plt.ylabel('房价 (千美元)') plt.title('关键特征(RM)与房价的真实/预测关系') plt.legend() # 子图4：特征重要性（基于核模型的近似重要性） plt.subplot(2, 2, 4) # 计算特征重要性（通过排列重要性近似，需要安装scikit-learn>=0.23） from sklearn.inspection import permutation_importance result = permutation_importance( svr, X_test, y_test, n_repeats=10, random_state=42, n_jobs=2 ) sorted_idx = result.importances_mean.argsort()[::-1] # 降序排列 plt.barh(feature_names[sorted_idx], result.importances_mean[sorted_idx], color='mediumpurple', edgecolor='k') plt.xlabel('排列重要性（对模型性能的影响程度）') plt.title('特征重要性分析（基于排列重要性）') plt.tight_layout() plt.show()

欢迎大家来到IT世界,在知识的湖畔探索吧!测试集准确率：1.00

执行结果：