近期,我所与武汉大学合作,在遥感大模型与对地观测人工智能领域完成了一项系统性研究工作,相关成果以“从深度学习到地球尺度智能:通用遥感大模型路线图(From Deep Learning to Earth-Scale Intelligence: A Roadmap for Universal Large Remote Sensing Models)”为题,被电气电子工程领域顶级期刊《Proceedings of the IEEE》正式接收并在线发表。该项研究成果,为遥感大模型迈向“地球尺度智能”指明了清晰的发展路线图。
遥感在对地观测中发挥着关键作用,为土地利用监测、灾害评估、环境保护与城市规划等众多应用提供了不可或缺的数据支撑。然而,遥感数据天然具有传感器模态多样、成像条件复杂、地理区域和时序特征高度异质的特点,传统针对特定任务训练的深度学习模型在面对未见场景或分布外数据时往往难以泛化。如何构建可跨区域、跨任务、跨模态稳健迁移的通用大模型,已成为遥感智能化发展亟待突破的核心瓶颈。
针对这一问题,本研究系统梳理了大型遥感模型从传统深度学习方法迈向多模态基础模型的演进历程,凝练出推动这一进程的四个关键转变,并将其组织为面向“地球尺度智能”的连贯路线图。地球尺度智能,是指模型持续观测地球、从多源时空数据中学习统一时空表征与语义知识,并面向全球尺度真实决策产出可靠、可执行推理的能力,是大型遥感模型长期发展的共同目标。

图1:遥感大模型在架构与应用上四大转变的总体概览。文本与视觉输入经由遥感大模型核心,结合物理先验,贯通从数据获取、下游任务到决策支持的完整链路。
本研究将大型遥感模型的发展归纳为四个关键转变,共同构成迈向地球尺度智能的连贯路线图:
· 从深度学习到大模型:依托海量、地理分布多样的无标注遥感档案数据(如 Sentinel-2、Landsat),通过对比学习、掩码图像建模等自监督预训练范式,构建强大而通用的表征,并借助适配器等参数高效微调策略高效适配下游任务。
· 从视觉到多模态:模型从单一视觉分析扩展到融合语言、元数据与时序信号的多模态交互,通过视觉-语言预训练与视觉-语言推理,支持图像描述、视觉问答、视觉定位及像素级推理等以人为中心的交互式解译。
· 从数据驱动到物理融合:将物理机制与先验(如辐射传输、物理信息神经网络、可微水云模型)融入大模型,显著提升了地球系统参数反演与时空预测任务的稳健性、可解释性和物理一致性。
· 从封闭集到开放世界评估:评估方法从传统封闭集数据集,演进为综合、分层、面向开放世界的基准体系(如 CHOICE、UrBench、GeoBench-VLM、DisasterM3),使评估能够真实反映跨区域、跨传感器迁移与长尾复杂性等现实挑战。

图2:从深度学习到大模型的转变示意图。涵盖光学预训练数据集、单模态与多模态视觉预训练,以及面向遥感大模型的微调策略。

图3:从视觉到多模态的转变示意图。展示遥感图像-文本预训练(CLIP 式对比预训练、LLaVA 式视觉引导预训练)与视觉-语言推理的技术路径。

图4:从数据驱动到物理融合的转变示意图。包含地球系统参数反演、面向时空预测的预训练范式,以及物理机制与时空预测模型的集成。

图5:面向大型遥感模型的评估数据集总览。
覆盖遥感视觉基础模型评估(场景分类、目标检测、语义分割、变化检测、统一数据集)与多模态模型评估(图像描述、视觉问答、视觉定位、分层基准、开放世界场景)两大体系。
在系统梳理已有进展的基础上,本研究进一步凝练了制约该领域发展的关键挑战与研究前沿,并展望了四个相互关联的发展方向:
(1)如何克服数据不均衡与标注稀缺:现有数据集存在显著的地理偏差(集中于北美、欧洲与东亚),亟需开放数据共享、社区化标注与合成数据生成等协同努力;
(2)如何构建真正统一的时间-空间-光谱表征:在骨干网络层面以统一方式融合三个维度,而非分别处理或简单拼接;
(3)如何弥合从训练到部署的效率鸿沟:通过模型压缩、知识蒸馏与低比特量化,使含数亿乃至数十亿参数的大模型可在卫星、无人机等算力受限的边缘平台部署;
(4)如何增强深度空间推理并确保输出可信:结合语言引导的场景图推理与外部知识库,在保证地理精度与可解释性的同时抑制幻觉风险。
该研究系统地刻画了遥感大模型从“看见”地球到能够“理解、推理并描述”地球的范式跃迁,同时构建了贯通数据、模型、评估三个维度的层级化分类体系,明晰了该领域的发展脉络、关键挑战与未来方向,为遥感学界推动基础模型的创新研究与实际落地提供了系统性参考,对加速大型遥感模型在灾害应急、环境监测与国家安全等关键全球性应用中的部署具有重要意义。
论文链接:https://doi.org/10.1109/JPROC.2026.3701064
版权所有: 河南省科学院空天信息研究所
地址: 河南省郑州市郑东新区崇实里228号 邮政编码: 450046 豫ICP备2023021652号-1