移动通信流量预测：技术原理与实现#

1.1.1 HDF5 格式#

HDF5 特点

HDF5（Hierarchical Data Format version 5）是一种用于存储和组织大量数据的文件格式，具有以下特点：

1. 层次结构：

   • 类似文件系统的树形结构
   • 支持组（Group）和数据集（Dataset）
   • 可以存储元数据（Metadata）

2. 高效存储：

   • 支持压缩存储
   • 支持分块存储
   • 支持并行读写

3. 数据类型支持：

   • 支持多种数据类型（整型、浮点型、字符串等）
   • 支持多维数组
   • 支持复杂数据结构

4. 应用场景：

   • 科学计算数据
   • 大规模数值数据
   • 需要快速读写的场景

# HDF5 文件读取示例
import h5py

# 打开HDF5文件
with h5py.File("data.h5", "r") as f:
    # 查看文件结构
    print("文件结构：")
    for key in f.keys():
        print(f"  - {key}")
    
    # 读取数据集
    data = f["data"]
    print(f"\n数据集信息：")
    print(f"  形状: {data.shape}")  # (1488, 10000, 5)
    print(f"  数据类型: {data.dtype}")
    print(f"  压缩方式: {data.compression}")

1.1.2 CSV 格式#

CSV 特点

CSV（Comma-Separated Values）是一种简单的表格数据存储格式，具有以下特点：

1. 结构特点：

   • 纯文本格式
   • 以逗号分隔字段
   • 每行代表一条记录

2. 优势：

   • 人类可读
   • 通用性强
   • 易于导入导出
   • 支持大多数数据处理工具

3. 局限性：

   • 不支持复杂数据结构
   • 存储效率较低
   • 不支持元数据
   • 大文件处理较慢

4. 应用场景：

   • 小型数据集
   • 需要人工查看的数据
   • 需要与其他系统交换的数据

# CSV 文件读取示例
import pandas as pd

# 读取CSV文件
df = pd.read_csv("data.csv")

# 显示数据信息
print("数据信息：")
print(f"  行数: {len(df)}")
print(f"  列数: {len(df.columns)}")
print("\n数据类型：")
print(df.dtypes)

3.1.1 线性回归（Linear Regression）#

数学原理

• 模型形式：y = w₁x₁ + w₂x₂ + … + wₙxₙ + b
• 目标函数：最小化均方误差（MSE）
• 求解方法：最小二乘法或梯度下降

适用情况

• 数据量较小
• 特征间线性关系明显
• 需要快速部署的场景
• 对模型可解释性要求高

# 线性回归模型
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler

# 数据标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 模型训练
model = LinearRegression()
model.fit(X_train_scaled, y_train)

# 模型评估
train_score = model.score(X_train_scaled, y_train)
test_score = model.score(X_test_scaled, y_test)
print(f"训练集R²分数: {train_score:.4f}")
print(f"测试集R²分数: {test_score:.4f}")

3.1.2 Lasso回归（Lasso Regression）#

数学原理

• 目标函数：min( MSE + α∑|wᵢ| )
• L1正则化：促使部分权重变为0
• 特征选择：自动选择重要特征

适用情况

• 特征数量多
• 存在冗余特征
• 需要模型简化
• 对特征选择有需求

# Lasso回归模型
from sklearn.linear_model import LassoCV

# 使用交叉验证选择最佳alpha
model = LassoCV(
    alphas=[0.001, 0.01, 0.1, 1.0, 10.0],
    cv=5,
    max_iter=10000
)
model.fit(X_train_scaled, y_train)

# 查看选择的特征
selected_features = np.where(model.coef_ != 0)[0]
print(f"选择的特征数量: {len(selected_features)}")
print(f"最佳alpha值: {model.alpha_:.4f}")

3.1.3 支持向量回归（SVR）#

数学原理

• 核心思想：寻找一个超平面，使得所有样本点到超平面的距离不超过ε
• 核函数：将数据映射到高维空间
• 优化目标：最大化间隔，最小化误差

适用情况

• 数据存在非线性关系
• 样本量适中
• 对异常值敏感
• 需要较好的泛化能力

# 支持向量回归模型
from sklearn.svm import SVR
from sklearn.model_selection import GridSearchCV

# 参数网格
param_grid = {
    "kernel": ["rbf", "linear", "poly"],
    "C": [0.1, 1, 10],
    "epsilon": [0.01, 0.1, 0.5]
}

# 网格搜索
model = GridSearchCV(
    SVR(),
    param_grid,
    cv=5,
    scoring="neg_mean_squared_error"
)
model.fit(X_train_scaled, y_train)

# 输出最佳参数
print(f"最佳参数: {model.best_params_}")
print(f"最佳分数: {-model.best_score_:.4f}")

3.1.4 决策树回归（Decision Tree）#

数学原理

• 分割标准：最小化子集的方差
• 递归分割：将数据空间划分为矩形区域
• 预测方法：叶节点取平均值

适用情况

• 需要模型可解释性
• 数据存在明显的分段特征
• 特征类型混合
• 对异常值不敏感

# 决策树回归模型
from sklearn.tree import DecisionTreeRegressor
from sklearn.tree import export_graphviz
import graphviz

# 模型训练
model = DecisionTreeRegressor(
    max_depth=5,
    min_samples_split=10,
    min_samples_leaf=5,
    random_state=42
)
model.fit(X_train, y_train)

# 可视化决策树
dot_data = export_graphviz(
    model,
    out_file=None,
    feature_names=[f"feature_{i}" for i in range(X_train.shape[1])],
    filled=True,
    rounded=True
)
graph = graphviz.Source(dot_data)
graph.render("decision_tree")

3.1.5 多层感知器（MLP）#

数学原理

• 网络结构：输入层 → 隐藏层 → 输出层
• 激活函数：ReLU、Sigmoid、Tanh
• 优化方法：反向传播 + Adam优化器
• 正则化：Dropout和L2正则化

适用情况

• 数据量大
• 存在复杂的非线性关系
• 对预测精度要求高
• 计算资源充足

# 多层感知器模型
from sklearn.neural_network import MLPRegressor
from sklearn.model_selection import RandomizedSearchCV

# 参数分布
param_dist = {
    "hidden_layer_sizes": [(64,), (64, 32), (128, 64)],
    "activation": ["relu", "tanh"],
    "solver": ["adam", "sgd"],
    "alpha": [0.0001, 0.001, 0.01],
    "learning_rate": ["constant", "adaptive"]
}

# 随机搜索
model = RandomizedSearchCV(
    MLPRegressor(max_iter=1000, random_state=42),
    param_dist,
    n_iter=20,
    cv=5,
    scoring="neg_mean_squared_error"
)
model.fit(X_train_scaled, y_train)

# 输出最佳参数
print(f"最佳参数: {model.best_params_}")
print(f"最佳分数: {-model.best_score_:.4f}")

# 训练曲线可视化
plt.plot(model.best_estimator_.loss_curve_)
plt.title("Training Loss Curve")
plt.xlabel("Iterations")
plt.ylabel("Loss")
plt.show()

4.1.1 均方误差（MSE）#

指标特点

MSE对异常值敏感，值域为[0, +∞)，越小越好，单位与原始数据的平方相同。

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_test, y_pred)

4.1.2 平均绝对误差（MAE）#

直观评估

MAE对异常值不敏感，值域为[0, +∞)，越小越好，单位与原始数据相同，更直观。

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_test, y_pred)

4.1.3 R²分数（决定系数）#

解释能力

R²表示模型解释的数据变异比例，值域为(-∞, 1]，越接近1越好，可以比较不同量纲的模型。

from sklearn.metrics import r2_score
r2 = r2_score(y_test, y_pred)

4.2.1 预测误差分布分析#

分布分析

通过分析误差分布可以了解误差是否服从正态分布，是否存在系统性偏差，以及模型的预测稳定性。

# 计算预测误差
errors = y_pred - y_test

# 绘制误差分布直方图
plt.hist(errors, bins=50)
plt.xlabel("Prediction Error")
plt.ylabel("Frequency")
plt.title("Error Distribution")

4.2.2 最大误差分析#

异常检测

分析最大误差样本可以发现模型的预测盲点，识别异常数据，指导模型改进方向。

# 找出预测误差最大的样本
worst_indices = np.argsort(np.abs(errors))[-5:][::-1]
for idx in worst_indices:
    print(f"样本 {idx}: 真实值={y_test[idx]:.2f}, 预测值={y_pred[idx]:.2f}, 误差={errors[idx]:.2f}")