多时相遥感影像变化检测是指对同一地理区域、不同时间获取的遥感影像进行自动变化发现、识别与解释的遥感处理与分析技术。随着卫星遥感技术及人工智能理论方法的快速发展，基于多时相遥感影像数据驱动和模型驱动的传统变化检测方法正朝着数据—模型—知识联合驱动的方向转型和演变，以更加自动化、精细化和智能化的方式，解决多领域的地表时空变化检测问题。本文在总结多时相遥感数据源从同构到异构、变化检测模型从传统到智能、变化检测应用从理论到落地过程中存在问题的基础上，以光学遥感影像变化检测任务为例，梳理和分析了人工智能时代下变化检测技术的发展历程。从无监督、监督、弱监督3个方面探讨了遥感变化检测从传统到前沿技术的转型特点与趋势，并进一步提出了未来需重点突破模型的物理可解释性、泛化及迁移能力、跨数据—跨场景—跨领域应用水平等关键问题。

下载:  原图 | 高精图 | 低精图

本文主要关注机器学习对于多时相遥感变化检测的影响及演变模式，重点探究传统变化检测方法在人工智能时代的继承、延续和转型方式，进而剖析当前遥感变化检测发展趋势及所面临的新问题与新挑战。

下载:  原图 | 高精图 | 低精图

（1）数据驱动的变化检测阶段。采用传统的影像处理与分析技术，如波段代数计算、特征变换、指数提取、分类等进行变化提取。典型的算法主要依赖于前后时相遥感影像光谱反射率及其衍生指数（如归一化植被指数等）的比较，包括波段差值法、比值法、回归分析法、变化矢量分析（CVA）、主成分变换（PCA）、独立主成分变换（ICA）、分类后比较法等（ 佟国峰 等，2015 ； 张良培和武辰，2017 ； Liu等，2012 ， 2021 ）。该阶段方法的主要特点是：1）主要面向中、低分辨率遥感影像，基于独立像素假设，变化检测过程中较少考虑像素间的空间相关性；2）多为数据驱动，该阶段的数据通常是指“小数据”或者是特定类型数据。从数据本身的物理特性如光谱、反射特性等出发分析图像上的变化分布规律，因此具有较明确的物理含义；3）未完全使用先验信息，判读解译依赖于专家知识和人工经验，算法整体性能高度依赖于多时相数据的质量；同时，受分类精度和变化阈值设定影响显著，易出现漏检和错检误差累积的现象。

（2）模型驱动的变化检测阶段。该阶段吸收和利用了机器学习、模式识别领域涌现出的优秀算法并应用于遥感变化检测，主流算法包括结合了人工神经网络（ANN）、条件随机场（MRF）、决策树（DT）、随机森林（RF）、支持向量机（SVM）和极限学习机（ELM）等（ 眭海刚 等，2018 ； 杜培军 等，2012a ； Khelifi和Mignotte，2020 ）。在机器学习的有力促进下，通过学习样本和先验知识去促进建模，再由模型去反向解释数据，从而构建出具有弱人工智能特点的变化检测方法。其特点在于：1）具备了自动学习变化模式的能力；2）可以选择和利用已有的先验知识与样本信息训练模型；3）开始关注和利用邻域像素及其空间关系信息（ Bruzzone和Prieto，2000 ； Kasetkasem和Varshney，2002 ； Liu等，2017b ）；4）具备对于隐含特征、潜在知识的表示和推理（ Du等，2014 ）；5）多种监督策略及组合集成学习（ Tan等，2019 ； Roy等，2014 ； Du等，2013 ； Wang等，2018 ）。虽然对比前一阶段，该阶段方法在智能化和自动化程度上有了较大提升，但仍存在对于有效样本的学习不充分、变化特征的提取组合方式单一、信息冗余及模型的泛化和迁移能力较差等问题，易造成“一个数据提一种方法”、“一个场景配一种方案”的瓶颈问题，很大程度上限制了变化检测方法的实际应用能力及智能化水平。

（3）数据—模型—知识驱动的变化检测阶段。随着先进机器学习的不断发展，尤其是深度学习的兴起，极大地引领了遥感变化检测的前沿研究（ Shi等，2020 ； Khelifi和Mignotte，2020 ； Shafique等，2022 ）。该阶段从数据—模型—知识角度联合驱动变化检测方法的构建，在变化特征的有效学习、变化模型的稳健构建、大数据模式的分析和传统方法的深度化等方面进行了诸多尝试。如基于深度变化矢量分析方法（DCVA）、深度分类网络构建方法、生成对抗网络（GAN）和迁移学习的弱监督方法等（ Saha等，2019 ； Wang等，2019 ； Yang等，2019 ； Jiang等，2020 ）。该阶段方法的特点是：1）基于先进机器学习算法如集成学习、强化学习、迁移学习、深度学习等强大的计算与学习能力；2）由数据、模型和知识3者共同驱动；3）协同采用多种监督策略。虽然在检测性能和精度上有了较大的提升，但仍存在如模型过度依赖于样本的数量和质量，基于深度学习变化检测模型的普适性和物理可解释性相对偏低，模型的迁移性和效率不尽人意等难题。

下载:  原图 | 高精图 | 低精图

随着遥感影像分辨率的提升，延续并突破传统无监督变化检测方法在面向高空间分辨率和高光谱分辨率数据的局限性是其转型过程中一个重要的发展方向。如基于经典压缩变化矢量分析方法（C ² VA）所构建的多尺度形态学和超像素重构方法、空—谱波段衍生方法等，对原始谱段信息进行特征衍生和特征重构，以增强高空间分辨率影像中的变化目标表达，提升无监督高空间分辨率遥感数据变化检测的有效性（ Bovolo等，2012 ；Liu等，2017，2019，2021）。针对高光谱影像，层次聚类和序列光谱变化矢量分析方法，将复杂光谱变化迭代切分至不同显著性层级以有效探测不同类型变化（ Liu等，2015a ， 2015b ）。在此基础上进行自适应波段子空间选择，使用少数具有代表性和辨别性的波段子集实现与使用全谱段相同的检测效果（ Liu等，2017c ）。此外，多时相联合光谱解混方法也充分顾及多时相光谱变化和不变化端元在单像元内的混合特性，实现亚像素级别的多类变化自动探测与判别，是无监督变化检测发展中值得深入研究的问题（ Liu等，2016 ； Guo等，2021 ）。

无监督变化检测的另一重要前沿发展趋势是对传统方法的深度化，其核心是将人工变化特征提取转换为利用深度学习实现的深度特征提取（如 图3 可选模块所示）。传统方法中的人工特征提取多依赖于先验知识，且通常仅能提取浅层变化特征。而深度无监督变化检测方法能提取潜在的多层变化特征，利用预检测出的部分高置信度结果来计算损失函数，从而训练出高效的变化检测网络。如深度变化矢量分析（DCVA）方法和深度慢特征分析（DSFA）方法，均是基于传统方法的特征深度化模型（ Saha等，2019 ； Du等，2019 ）；如基于图卷积网络和度量学习的变化检测（GMCD），采用孪生全卷积网络、多尺度动态图卷积网络和基于度量学习的伪标签生成机制，以无监督方式完成模型的训练（ Tang等，2022 ）。

3.2 监督变化检测

早期的监督变化检测技术主要关注的是多时相遥感影像的像素级分类及检测。发展中期开始利用像素邻域及上下文信息进行空—谱联合分类，同时也关注面向对象的变化检测方法。最新发展则是利用深度特征提取进一步优化空间邻域信息的表达，并开始关注场景级的变化检测。

监督变化检测本质上可看作为监督分类问题，根据变化信息的生成与比较所处的阶段不同，可分为两大类方法：（1）先分类后检测（或分类后比较）方法；（2）先比较后分类方法，分别如 图4（a） 和（b）所示。两类方法架构中通常包含语义标签数据输入、分类器选择和变化提取3个主要步骤。对于前者来说，传统方法主要依赖原始光谱数据的分类后比较，其优势在于可以提供详尽的变化类别迁移（“from-to”）信息，但受限于单期遥感影像分类精度（检测精度近似于双时相分类精度的乘积）（ Lu等，2004 ）。单时相分类误差会传播至多时相变化检测过程，造成误差的累积效应。后者则直接对多时相数据进行差值或叠加后分类，从而获得完整的变化检测结果（ Soares和Hoffer，1995 ； Nemmour和Chibani，2006 ）。但现实中通常极难获得完备的多时相精细变化检测样本，极大地限制了其有效的应用场景。

随着机器学习对于影像特征提取能力的不断提高，提取除光谱信息外的多维变化特征并融合分类，从而实现变化目标的建模与识别，是监督变化检测技术发展中的一个重要方向。如使用影像不同特征（如光谱、空间、纹理、指数因子），构建加权距离相似度和模糊集融合模型等进行监督变化检测（ 杜培军和柳思聪，2012c ）；分别提取邻域—对象—场景级的特征以捕获不同层次的变化空间信息，经特征降维融合后利用分类器进行变化检测（ Wang等，2020 ）。其中，不同分类器如SVM、ELM、最邻近分类器（KNN）等（ Volpi等，2013 ； Wang等，2018 ）也分别展现了其在变化检测应用中的适用性与有效性。在单分类器结果的基础上，充分利用机器学习中的集成学习等先进理论方法，可实现有效的特征互补和决策融合，从而进一步提升变化检测的精度，降低漏检和虚检误差，如使用旋转森林（RoF）、证据理论（D-S）、模糊积分等（ Du等，2013 ； Feng等，2018 ； Wang等，2018 ； Tan等，2019 ）。利用监督分类后的类别概率变化进行变化矢量分析判断变化，在监督与无监督方法的集成使用上也进行了有益的探索（ Chen等，2011 ， 2012 ）。此外，具有更高语义层面的场景变化检测方法相继被提出并逐渐得到关注，从而更好地描述场景对的多时相变化并分析地表类别迁移（ Wu等，2017 ）。

同样在深度学习的影响下，传统监督变化检测方法也开始逐渐走向深度化。对于先分类后检测方法来说，深度学习网络可对单时相影像提取多层、多尺度的深度特征并用于分类，再比较分类结果从而定位检测出变化（ 图4（a） ）。该类方法如基于注意力度量的深度网络（DSAMNet），使用多个ResNet模块提取多尺度深度特征并集成注意力模块来增强特征提取的性能（ Shi等，2022 ）；基于双时相语义推理网络（Bi-SRNet）变化检测模型，利用CNN的跨时相语义推理注意力模块，增强了两时相预测图的语义一致性（ Ding等，2022 ）。对于先比较后分类方法来说，首先对输入的双时相遥感影像生成初始变化差异特征，再利用深度检测网络实现深度变化特征的提取与检测（ 图4（b） ）。如基于光谱—空间注意机制的孪生神经网络（SSA-SiamNet）和基于语义分段编码器—解码器体系结构的变化检测方法等（ Wang等，2022 ； Peng等，2019 ）。

图5  传统弱监督变化检测技术框架

Fig. 5  The framework of traditional weakly-supervised change detection technique

下载:  原图 | 高精图 | 低精图

弱监督变化检测方法在其发展过程中，受到机器学习特别是深度学习的影响，传统模型在走向深度化的过程中演变出了两种典型架构（ 图6 ）。一种是基于不完全监督的深度变化检测架构（ 图6（a） ），其关键步骤包括：深度变化检测网络、特征空间对齐和重构网络的构建。该架构中有标签和无标签的训练数据分两路交替训练，经过变化检测网络后不同标签类型获得的结果精度评价标准不一致，所以需要额外使用一个损失函数（Loss ₂ ）协助特征空间对齐。重构网络和决定训练是否终止的损失函数（Loss ₃ ）的定义与构建，也是影响最终检测精度的关键之一。该架构的主要特点在于只需部分有良好标签的数据，因此普适性较高、可跨数据集使用。目前使用该架构的方法如结合强化学习、迁移学习和生成式对抗网络等（ Jiang等，2020 ， 2022 ）。

4　挑战与展望

在遥感大数据和人工智能时代背景下，先进机器学习和深度学习的引入，促使传统遥感变化检测的精度、效率以及自动化程度均具有了大幅提升。但面对多源异构的遥感数据和复杂多变的应用场景时，变化检测在数据、模型和应用层面上依旧面临诸多问题与挑战。

4.1　数据层面：多源异构大数据的集成与处理

（1）异构数据集成的挑战。传统变化检测方法主要依赖于同源同质遥感数据的处理，尤其是来源于同一传感器、获取于相近季节条件和高质量成像参数的数据，但是如此高约束的时序影像在现实中通常难以获取。多源异构或称之为多模态变化检测能克服以上限制，允许利用来自于不同传感器、不同分辨率甚至是不同维度的数据（如光学、SAR、LiDAR、GIS等），但需着重考虑不同域、不同统计分布及图像间不一致的类别标签等，尤其是利用不同类型传感器数据时，其测量的不同物理量不可直接拿来比较等问题（ Luppino等，2019 ）。现有该方向上的工作面向的遥感传感器类型及数据规模都相对有限，以小尺度、有限源、双时相的遥感影像为主，对于多源异构、大尺度变化检测研究甚少。因此，如何解决多模态数据的协同分析处理难题，有效地抑制或消除异构数据导致的时—空—谱信息表达不一致性，既是今后变化检测研究中一个重要的研究方向，也是面临的一项重要挑战。

（2）高精度预处理的挑战。高精度预处理是多时相遥感变化检测的重要前提，主要包括辐射校正、大气校正、几何校正、物候归一化、图像增强、图像配准、时空融合等步骤。传统变化检测通常是针对两幅同源同分辨率影像进行的预处理，而多源异构遥感数据的输入则极大地增加了预处理的难度，如考虑多源数据的特征匹配、多分辨率影像的高精度校正和配准等（ Han和Byun，2015 ）。此外，因影像空间分辨率及数据质量的提升，不可避免地引入如光照、地形、阴影等成像环境所造成的伪变化。如何实现多源异构数据的高精度预处理，有效消除成像环境差异导致的伪变化信息，保留地表真实变化信息，是今后变化检测研究中亟需关注的重点问题之一。

（3）多维变化提取融合的挑战。虽然图像融合技术已相对成熟，但对于异源、异质甚至异维的遥感影像而言，数据本身存在巨大的本质及语义鸿沟，目前仍未具备有效的理论技术方案以满足其高效融合的需求。对于异构数据而言，特征级融合更容易集成和处理来自多平台、多传感器、多角度的影像信息（ 李树涛 等，2021 ）。而传统变化检测处理主要基于对地观测的二维影像，随着多角度光学卫星立体观测、激光测高、InSAR数据处理的广泛深入，将促使遥感变化检测从二维走向三维，实现多维度的变化目标描述。因此，如何构建跨越数据语义鸿沟的多维变化提取与融合方法，实现更为立体化、多样化的变化专题信息提取，是需要重点关注的又一研究方向。

4.2　模型层面：智能化变化检测模型

当前大部分无监督算法研究仍只关注二类变化检测问题，对于多类变化检测问题中类别数目的自动确定、多类变化的特征表达和深度建模分析等仍处于起步探索阶段（ Liu等，2019b ）。尤其在大范围地理区域、复杂地表类别等变化检测场景中，极易出现变化类型的显著性不一、数量不均衡、受伪变化影响大等问题。如何利用无监督的方式有效捕获多类变化特征，以此建立不同时相数据之间的变化表征，综合考虑数据—模型的强耦合关联关系，以提升无监督模型在跨数据源、跨场景上的鲁棒性，将是今后无监督自动变化检测研究中的重点和难点。

虽然监督和弱监督变化检测方法可以提供详细的变化转移信息，但算法需要充分的高质量先验样本作为支撑，而完备的多时相变化先验知识在现实中通常难以有效获取（ Khelifi和Mignotte，2020 ）。虽然端到端的监督和弱监督深度变化检测模型研究取得了一定的进展，但高效的样本生成机制与深度检测网络的耦合作用机制仍不明确。特别面向跨时相、跨场景、跨要素时的样本缺失、样本不精确等问题时，仍无行之有效的解决方案。未来研究中，一方面应考虑如何构建自动化的样本学习和扩增方式以减少人工标注，同时采用迁移学习、主动学习、强化学习等多种手段提高高质量标注数据或者变化特征的获取，以有效解决小样本、不平衡样本、不精确样本下的变化检测难题。另一方面需要探索非监督与监督变化检测的有效结合方式，特别是如何将两者优势特点充分体现在深度网络架构设计中，协同实现复杂地表变化的高精度建模。

因此，未来的变化检测方法构建需考虑“数据—模型—知识”3者耦合驱动下的新模型，从“小数据”向“大数据”延伸，从物理模型和算法模型分离到两者耦合关联，从本领域知识拓展至跨领域知识驱动。重点突破模型的物理可解释性、泛化及迁移能力，解决在无样本、少样本和有样本场景下的智能化检测应用难题。

4.3　应用层面：高可信变化检测应用

尽管基于人工智能的遥感影像变化检测技术在性能上比传统模型有较大提升，但是目前研究仍只停留在模型设计层面，存在只针对特定数据、面向小场景应用等明显缺陷。同时，在现实大多数应用场景中，需要优先考虑变化漏检率的抑制，并在此基础上提升模型对于错检率的有效判别。但模型应用的效率和精度与实际精细化检测应用需求相比还存在较大差距，特别是以应用驱动的智能化、高可信变化检测成功案例少之甚少。在物联网、云计算、大数据等背景下，遥感变化检测将是一种不断完善社会服务、以需求为导向性质的技术，如何将其真正应用落地（如智慧农业、智慧城市、智慧海洋）是值得认真思考和待解决的问题，而不只是局限于单一算法模型精度的不断提升。

因此，面向高水平的变化检测应用需要重点考虑如下几点：（1）构建面向多源多模态数据的算法模型，提升模型在跨区域、跨要素、跨数据集上的泛化能力与应用水平；（2）打破常规双时相、多时相固定输入及在小数据、小场景上的限制，实现时相域上近实时和长时序、空间域上大范围、大场景的变化检测应用；（3）打通“要素—对象—场景—功能”的变化检测应用，实现复杂场景下“变化检测”到“变化解释”的跨越；（4）将传统意义上的本地单机化检测处理迁移至云计算平台（如Google Earth Engine等），以有效降低数据存储和计算成本，促使低成本、大尺度、长时序、高性能的“云”变化检测应用成为可能。

<div class="sec" data-v-5ab8c338="" style="padding: 0px; margin: 0px; color: rgb(44, 62, 80); font-family: Verdana, &quot;t YaHei&quot;

5　结论

/span>

本文以光学遥感影像变化检测问题为例，回顾了人工智能时代背景下多时相遥感影像变化检测技术的转型和发展趋势。在机器学习的深度参与和影响下，遥感变化检测技术从数据驱动正迈向数据—模型—知识的耦合驱动，从简单的人工特征提取走向智能化的深度特征表达，从样本信息的未充分利用走向更为精准的样本学习与反馈，从简单变化检测任务走向更为复杂的多源、多类、多场景、多时序应用任务。此外，通过深入剖析当前变化检测技术仍面临的来自于数据、模型和应用层面的挑战，重点需突破模型的物理可解释性、泛化及迁移能力、跨数据—跨场景—跨领域应用水平等关键问题。展望未来，多模态遥感变化检测、有效样本学习策略与模型耦合、非监督与监督模型组合、高可信和智能化变化检测服务、云平台变化检测应用等将是今后可关注的重要发展趋势和热点研究主题。

 

 

上一篇：基于夜间灯光数据估算安徽省县级尺度城镇…

下一篇：没有了！