中国人民大学高瓴人工智能学院长聘副教授孙浩团队与北京航空航天大学杨立军教授团队合作，在Nature子刊Nature Machine Intelligence（《自然-机器智能》）发表题为“Learning spatiotemporal dynamics with a pretrained generative model”的Article文章，提出了一种基于扩散生成模型的动态系统预测算法，称为 S3GM（Sparse-Sensor-assisted Score-based Generative Model）。该方法融合了物理先验知识与实验测量数据，旨在解决现代科学与工程中的一大关键挑战：从稀疏的传感器测量数据中重建复杂的时空物理场。研究团队展示了 S3GM 即使在数据极为不完整和有噪声的情况下，也能够准确预测燃烧、流动、气候演变及其他众多物理系统的动态过程，为动力系统建模提供了新的思路。文章共同第一作者为李泽宇（北航）、韩旺（北航），共同通讯作者为孙浩（人大）、邓岳（北航）、杨立军（北航）。

如何从稀疏的传感器测量数据中重建复杂的时空物理场是现代科学与工程中的一大关键难题。比如，航空航天发动机测试中，传感器的数量、类型、分布以及测量信噪比等往往非常有限，难以获取发动机内部完整的物理过程。传统重构方法难以对复杂的动力学进行精确重构，而现有的深度学习方法在面对不同的传感器配置时往往难以泛化。

为了解决这一难题，研究团队提出了一种基于扩散生成模型的动态系统预测算法，称为 S3GM。S3GM 模型分为两个阶段（图1）：

图1用 S3GM 建模动力系统的示意图。S3GM模型分为预训练（子图c）和生成（子图d）两个阶段

在第一阶段，S3GM在通过物理先验知识获取的时空数据上进行基于扩散模型自监督预训练，联合建模系统状态变量和参数之间的复杂动力学关系，并通过时空分离的注意力机制来减缓算力消耗；

在第二阶段，利用预训练的扩散模型作为先验，结合稀疏的传感器数据进行后验采样来对动力系统进行重建和预测。为了生成满足观测的动力系统随时间演化的状态变量和参数，模型将完整的待重构序列分为两段子序列，其中一段直接依赖于观测数据而另一段为外推序列（不直接依赖于观测数据）。对于依赖于观测数据的子序列，S3GM并行生成多个样本，并通过添加观测一致性和序列一致性约束来生成连续帧；对于不直接依赖于观测数据的子序列，S3GM采用自回归形式逐段生成以保证最优的效果。这种后验采样的方法不仅可以处理各种不同的传感器分布、类型等，还可以处理任意长的时间序列。

图2Kuramoto-Sivashinsky系统的重构与预测。上、中、下三行代表模型在三种不同的观测类型下的重构/预测结果

研究人员在多个不同的物理系统上验证了 S3GM 的有效性，结果囊括了反应扩散系统（图2）、湍流系统以及真实的气候观测数据（图3），在每个例子中测试了各种不同的观测数据形式（包含任意时空分布的稀疏测量、统计量测量以及未来时刻预测等），S3GM 可以根据相应的观测信息对动力系统的状态变量和参数进行有效重构而无需重新训练。这意味着 S3GM 相比于传统的端到端训练方式不仅泛化能力更好，而且面对高稀疏性以及噪声数据具有更好的鲁棒性。

图3湍流流场重构结果展示。相较于其它方法，S3GM 拥有更低的重构误差，并且更能够满足湍流场的统计指标（湍流能谱）

此外，S3GM 利用仅在仿真数据上预训练的模型，成功从真实流场的极稀疏测量数据中重构出流场信息（图4），证明了该模型即使在极端数据稀疏和噪声条件下的泛化能力和鲁棒性。

图4利用实验室测量的稀疏数据重构完整流场。子图a为实验装置图、子图b表示测量数据仅从流场单一截面处获取，而子图c和d展示了 S3GM 重构的结果

“S3GM 从有限的、有噪声的数据中进行泛化的能力，使其成为在数据收集具有挑战性的现实场景中的强大工具”，团队研究人员表示表示，“该模型为我们提供了一种理解和预测自然界与工程复杂系统的新方法”。

研究人员计划进一步优化该模型的计算效率，并探索其在更具挑战性的动力系统中的应用。这一工作为利用预训练生成模型来改善小数据条件下对高度复杂动力学的预测奠定了基础，为推进科学理解和技术发展提供了新的可能性。

本研究工作获得国家自然科学基金委（重大科研仪器研制项目、重点项目、重大研究计划培育项目、面上项目）以及国家重点研发计划的支持。

论文链接：

https://www.nature.com/articles/s42256-024-00938-z