空间数据智能大模型之遥感AI大模型技术路线快览

admin管理员组

文章数量:1444396

空间数据智能大模型之遥感AI大模型技术路线快览

背景说明

随着国产卫星的不断发射升空，国内各类型卫星遥感数据资源，包括光学卫星、雷达卫星、多光谱卫星等数据资源的不断丰富，同时伴随着GPT、deepseek等AI技术的快速发展，空间数据智能大模型也迎来了一波建设浪潮，其中遥感AI大模型建设也进入到了新的阶段，以下内容参考《空间数据智能大模型研究--2024 年中国空间数据智能战略发展白皮书》内容，分享关于遥感AI大模型建设的一些技术。

现有遥感AI大模型技术路线

遥感AI大模型的输入源数据包括多光谱遥感数据、SAR影像、高光谱影像、多视角影像、激光点云、文本描述、遥感指数、矢量数据等数据内容，主要应用场景任务包括地物单要素分割、地物全要素分割、地物变化检测、地物要素多视重建、地物目标检测与场景理解等。

存在问题

目前大模型处理遥感信息的领域存在着许多问题，例如模型基于零散的小数据集训练、 遥感信息挖掘和表达不够、地学等先验知识利用不足、模型精度和泛化能力较差、单一遥感数据信息局限性、面向细分任务训练代价大、大量研究人员低水平重复的问题。同时，大模型本身具有训练数据信息维度更高，有利于学习到本质特征；适用自监督学习算法，降低训练研发成本；学习任务无关的通用知识，支持低成本的细分任务泛化；具有进一步突破现有模型结构精度局限的潜力等优势。因此，基于上述大模型的存在的问题与潜力，遥感大模型的研究思路总体趋于两个方向，即基于现有的其他大模型进行遥感适配与运用遥感数据进行预训练的重新构建。

分割一切大模型（Segment Anything Models，SAM）

分割一切大模型（Segment Anything Models，SAM）是指一类神经网络模型，用于图像分割任务，所以在遥感图像应用中还存在一些问题。SAM 对于高分辨率遥感影像的分割表现较好，能够准确地分割各类地物，但在处理低分辨率的全球土地利用数据方面表现不佳。并且，由于遥感图像需要具有语义信息，而 SAM 生成的 Mask 却缺乏标签，这使得提示语义信息变得困难。SAM 专为分割和检测任务设计，无法完成一些遥感特有任务，如变化检测和矢量输出。当遥感图像中地物边界定义不明确（由于复杂的场景），SAM 难以对遥感图像目标进行全面的分割，其结果严重依赖于提示的类型、位置和数量。遥感数据的多样性也是一个问题，SAM 的多模态主要集中在 Prompt，而在 Prompt 之外的数据模态只有自然图像。SAM存在网络结构限制问题，作为普通图像编码器，在效率和精细程度上难以满足遥感细粒度任务。但 SAM 也兼具一些在遥感应用中的优势。虽然 SAM 只针对自然图像进行训练，但却能对高分辨率的遥感图像进行识别和分析，展现出强大的泛化能力和对图像的理解能力。这为视觉多模态大模型的研究提供了实验证明的基础，证明了视觉大模型是可行的。

基于现有其他大模型的遥感适配

现有 CV/NLP 大模型，具备很强的通用知识学习和表达能力，在经过少量的遥感知识引导或者提示下，可以很好的适配遥感任务。例如，

• MAE 拥有自监督学习的特点，具有大规模遥感图像预训练的潜力。
• SAM 拥有 zero- shot 实例分割特点，可用于遥感图像语义分割，遥感样本标注。
• Grounding-DINO 通过开放集目标检测，在基于文本提示的遥感图像目标检测具有重大潜力。
• CLIP 和 BLIP 分别基于图文匹配、图像描述的特点，用于遥感图像分类，遥感图像-文字数据集构建。
• DELL.E 具有文本提示图像生成的能力，可用于辅助遥感图像生成。

将上述的模型用于辅助生成遥感预训练数据集，用于后续处理。通过分割大模型（SAM、FastSAM）以及遥感提示，开展遥感图像半自动标注；运用图-文匹配大模型（BLIP、CoCa）实现遥感图像-文本匹配数据集或者遥感场景分类数据集构建;使用图像生成模型大模型（DELL.E），实现遥感图像自动模拟与生成。再利用视觉大模型提取遥感图像的特征，再嵌入Adapter 或者微调分类器，减少对遥感样本的以来，提升泛化能力。通过在 Fast SAM 提取特征，并经过 Adapter 完成遥感图像特征提取的适配，完成变化检测任务。基于遥感模型为大模型生成提示，配合大模型完成遥感任务。基于遥感变化监测网络独立生成变化监测点，生成点提示，用 SAM 分割能力，进行特征提取。综合利用视觉、文本等大模型通用性能共同完成遥感的语义分割。以实现基于现有的大模型进行遥感适配，建立遥感大模型。

基于遥感数据预训练的大模型建构

其需要从数据到模型训练再到任务实现的完整流程。从遥感样本库构建出发，针对遥感大模型利用超大规模参数来挖掘遥感数据中的信息，包含样本影像、物候信息、矢量文件、地面观测信息、POI 信息遥感多模态知识的遥感样本库，构建出多模态遥感图谱化知识库，具备高质量、场景完整、模态多样、且大规模训练数据，满足模型对多传感器、多时相、多气象条件、跨区域、跨分辨率等应用场景的需求。

在此基础上，针对遥感大模型的训练，建立多模型遥感知识理解与规则表达，提出“对象-数据-场景-任务”一体化的知识理解和表达方法，利用多模态遥感样本涉及的知识和规则，对数据源多样以及模态多样化的遥感数据进行大模型训练与优化。

总结

遥感大模型是解决遥感信息快速智能提取的有效和必然途径。目前，现有的视觉大模型在应用于遥感数据中还存在一些缺陷，包括训练数据的不足、网络结构的限制以及应用场景的差异等。因此，为了进一步提高遥感数据的处理效率和精度，需要采取一系列策略来发展遥感 AI 大模型。

一方面，可以利用已有的视觉、自然语言和文本等大模型，通过对遥感数据和应用场景的调整和适配，来提升其在遥感领域的性能。例如，可以通过引入遥感数据的知识和先验信息，对现有大模型进行迁移学习或微调，使其更适合处理遥感数据。这种方法可以节省训练成本，同时保持大模型的泛化能力和精度。

另一方面，可以从利用遥感数据进行预训练开始，设计更加针对遥感数据特点和应用场景的网络结构，以提高大模型的精度和效率。通过在大规模遥感数据上进行预训练，并结合领域知识和先验信息，使大模型能够更好地理解和分析遥感数据，实现快速智能提取。

随着遥感大模型的发展，可以从面向单一任务具有良好泛化能力和精度的大模型逐渐转向在广泛的任务和领域中具有通用性能力的预训练基础模型。这种预训练基础模型可以为不同的遥感任务提供基础支持，减少重复训练的成本，同时具备较高的精度和泛化能力。通过适配现有大模型和利用遥感数据预训练，可以发展出更加智能高效的遥感大模型，为遥感信息提取和应用带来更好的效果和效率。

本文标签： 空间数据智能大模型之遥感AI大模型技术路线快览