LSTM与Transformer的混合架构在时间序列预测领域应用广泛。Transformer擅长捕捉全局依赖，LSTM则能精准提取局部动态，二者结合后，在超长时序处理、资源受限部署等场景中表现突出。
到2025年，这一方向仍是学术界的热点。从近几年顶会情况来看，相关研究的中稿率较为稳定。若想在该领域发文，“差异化创新”是关键。若追求快速出成果，可重点关注记忆增强、稀疏化与蒸馏、多模态时序融合等方向。
另外，无需在“基础结构”上耗费过多精力，应多关注垂直场景。像电网负荷预测这类领域，数据刚开放，缺少最优模型，存在较多机会。
矿山突水涌水量预测相关论文
1、方法：提出融合LSTM与Transformer的时间序列预测模型，用于矿山突水涌水量预测。借助LSTM提取时序特征，结合Transformer的注意力机制增强全局信息捕捉能力，通过超参数调优提高预测精度。经实测数据验证，该模型优于传统方法。
2、创新点
• 提出LSTM-Transformer混合模型，融合长期依赖捕捉和自注意力机制。
• 采用随机搜索和贝叶斯优化调整超参数，提升预测精度和泛化能力。
• 在宝泰龙矿数据上进行验证，模型预测效果超过传统方法。
3、参数设置
| Parameter | Setup parameter | Meaning |
|---|---|---|
| hidden_layers | 2 | LSTM number of hidden layers |
| LSTM Units | 64 | The number of neurons in both LSTM and Transformer hidden layers is 64 |
| head | 4 | Number of attention heads in the transformer self-attention mechanism |
| Transformer model | 2 | Number of transformer encoder layers |
| Dropout | 0.1 | Dropout reduces overfitting by randomly zeroing out the outputs of some neurons during training |
| Batch_size | 8 | Volume of input data for a single batch |
| Loss function | MSE | The loss function is to evaluate the predictive performance of the model by calculating the difference between the real value and the predicted value |
| Optimizer | Adam | Adam is an extended algorithm for stochastic gradient descent |
| Weight_decay | 0.1 | Weight_decay is to reduce overfitting by adding a penalty term to the loss function |
| Epochs | 100 | Update the number of iterations |
| Learning_rate | 0.001 | The learning rate is the key parameter used to adjust the rate of gradient descent |
智能电网启动策略相关论文
1、方法：提出Transformer-LSTM-PSO模型，用于智能电网启动策略的时间序列预测。该模型融合Transformer的自注意力机制、LSTM的短期动态建模能力以及PSO算法的参数优化功能，明显提升预测精度和效率。
2、创新点
• 提出Transformer-LSTM-PSO混合模型，融合自注意力机制、时序建模与参数优化技术。
• 在多电力数据集测试中，模型预测误差（RMSE/MAE）低于基准方法，精度有较大提升。
• 实验显示模型能高效处理复杂电网数据，为智能电网启动策略提供新技术支持。
3、模型在不同数据集上的表现
| Model | Datasets | NYISO Electric Market dataset | | | | EIA Electric Power Dataset | | | | ENTSO-E Power System Dataset | | | | IEA electricity dataset | | | | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | | | RMSE | MAE | SMAPE | R2 | RMSE | MAE | SMAPE | R2 | RMSE | MAE | SMAPE | R2 | RMSE | MAE | SMAPE | R2 | | AC0 | | 151.29 | 141.58 | 0.79 | 0.86 | 156.63 | 130.28 | 0.78 | 0.91 | 138.88 | 135.08 | 0.85 | 0.85 | 142.44 | 113.12 | 0.82 | 0.88 | | GA | | 141.28 | 121.88 | 0.79 | 0.86 | 157.18 | 128.11 | 0.77 | 0.90 | 131.39 | 135.85 | 1.00 | 0.86 | 148.76 | 145.77 | 0.90 | 0.87 | | AFSA | | 141.03 | 128.78 | 0.78 | 0.85 | 141.63 | 104.12 | 0.68 | 0.88 | 133.22 | 171.26 | 1.02 | 0.87 | 140.77 | 131.92 | 0.65 | 0.87 | | LS | | 144.28 | 124.88 | 0.82 | 0.89 | 160.18 | 131.11 | 0.80 | 0.93 | 134.39 | 138.85 | 1.03 | 0.89 | 151.76 | 148.77 | 0.93 | 0.90 | | OurS | | 136.23 | 92.12 | 0.68 | 0.94 | 121.21 | 88.12 | 0.62 | 0.94 | 118.23 | 107.12 | 0.68 | 0.60 | 118.53 | 97.12 | 0.61 | 0.93 |
GNSS观测相关论文
1、方法：提出Transformer增强的LSTM网络，用于检测GNSS中的NLOS信号并预测伪距误差。结合Transformer的自注意力机制和LSTM的时间序列建模能力，提升车辆定位的准确性和稳定性。
2、创新点
• 提出Transformer增强的LSTM网络，用于检测GNSS中的NLOS信号和预测伪距误差。
• 引入Transformer的自注意力机制，提升模型对时空信息的捕捉能力，增强泛化性能。
• 实验证明该方法在NLOS检测和伪距误差预测任务中表现优于传统方法，能有效避免轨迹发散，提高车辆定位的准确性。
3、不同模型的性能对比
| Model | Precision | Recall | F1-Score | Acc. | |
|---|---|---|---|---|---|
| SVM | LOS | 0.80 | 1.00 | 0.89 | 0.80 |
| NLOS | 0.39 | 0.01 | 0.01 | ||
| SVM* | LOS | 0.91 | 0.72 | 0.80 | 0.72 |
| NLOS | 0.38 | 0.70 | 0.49 | ||
| XGboost | LOS | 0.86 | 0.88 | 0.87 | 0.79 |
| NLOS | 0.47 | 0.42 | 0.45 | ||
| DL [26] | LOS | 0.86 | 0.83 | 0.84 | 0.76 |
| NLOS | 0.40 | 0.47 | 0.43 | ||
| DL (ours) | LOS | 0.86 | 0.90 | 0.88 | |
| NLOS | 0.51 | 0.42 | 0.46 | 0.98 |
时空预测相关论文
1、方法：提出SwinLSTM新方法，将Swin Transformer的自注意力机制与LSTM的时间序列建模能力相结合，用于时空预测任务。实验验证显示，SwinLSTM在多个数据集上表现出色，预测精度高于传统方法。
2、创新点
• 提出SwinLSTM新方法，结合Swin Transformer块和简化版LSTM，用于时空预测任务。
• 将CNN中的卷积结构替换为自注意力机制，更高效地捕捉全局空间依赖关系。
• 在多个数据集上验证，SwinLSTM优于传统方法，尤其在预测精度上。
3、不同方法的预测表现
| Method | Frame1↓ | Frame2↓ | Frame3↓ | Frame4↓ |
|---|---|---|---|---|
| VPN [14] | 0.744 | 1.031 | 1.251 | 1.444 |
| ST-ResNet [40] | 0.688 | 0.939 | 1.130 | 1.288 |
| FRNN [22] | 0.682 | 0.823 | 0.989 | 1.183 |
| PredRNN [33] | 0.634 | 0.934 | 1.047 | 1.263 |
| PredRNN++[31] | 0.641 | 0.855 | 0.979 | 1.158 |
| E3d-LSTM [32] | 0.620 | 0.773 | 0.888 | 1.158 |
| MIM [34] | 0.554 | 0.737 | 0.887 | 0.999 |
| SwinLSTM | 0.324 | 0.401 | 0.473 | 0.525 |
