深度学习和遥感影像支持的矢量图斑地类解译真实性检查方法
1 引言 准确、可靠的空间数据是决策制定和重大工程应用的关键保障。目前的空间数据质量检查主要包括属性检查和图形检查。属性检查主要针对要素的完备性、一致性以及属性精度等进行检查。图形检查主要检查点、线、面的拓扑关系是否按照要求建立,建立的拓...
- 作者:郭子慧,刘伟来源:地球信息科学学报|2021年01月11日
1 引言
准确、可靠的空间数据是决策制定和重大工程应用的关键保障。目前的空间数据质量检查主要包括属性检查和图形检查。属性检查主要针对要素的完备性、一致性以及属性精度等进行检查。图形检查主要检查点、线、面的拓扑关系是否按照要求建立,建立的拓扑关系是否完整且正确,是否存在伪结点、悬挂点、冗余点等[1]。例如,吴长彬等[2]提出基于知识与规则的地籍数据质量检查方法,通过分析提取和依靠专家经验建立地籍知识与规则库,包括空间关系规则与属性知识规则。覃东华等[3]基于FME平台设计了一种针对地理国情监测矢量数据接边的检查方法,该方法可对重要地理国情要素数据的几何、属性接边情况进行快速检查,提高了地理国情监测数据的质量和生产效率。钱海忠等[4]提出基于制图综合知识的数据检查:在对数据进行重要性排序的基础上,提出基于模糊型知识的人机协同的数据检查方法,和基于精确型知识的自动数据检查方法,并给出详细的数据检查程序流程。刘建军等[5]设计开发出1:50 000 DLG数据质量检查软件,检查软件的功能包括数据的完整性、结构一致性、位置精度、属性精度、接边精度以及资料源质量和元数据质量等。北京吉威技术公司开发Geoway 3.6的“质量检查”模块包括图形检测、拓扑检测、属性检测、接边检查以及其他检测功能,能够对数据图形的几何现象,地物的属性信息,拓扑构建结果以及各种矛盾数据进行检查和控制[6]。结合以上研究发现,近年来针对矢量数据质量检查的研究大多仍只注重属性检查和图形检查,鲜少注意到图斑地类解译真实性的问题。如图1所示,在工业用地的地类图斑里出现了其他用地类型,该图斑的地类标注与实地不一致,即图斑的地类解译真实性存在问题,目前的空间数据质量检查还无法解决这一类问题。随着国家重大政策和工程项目的开展,对图斑地类解译真实性检查的需求日渐迫切,如《第三次全国土地调查总体方案》[7](国土调查办发〔2018〕1号)和《第三次全国国土调查实施方案》[8]中明确指出:为了保证调查成果的真实性和准确性,按照三调有关技术标准的要求,建立调查成果的县市级自检、省级检查、国家级核查三级检查制度,其中县级检查的主要任务就是通过外业调查,检查图斑的地类属性是否和实地一致。伴随着高分遥感、深度学习和场景分类等关键技术的突破,以高分遥感影像为参考,借助深度学习的场景解译技术为矢量图斑地类解译真实性检查提供了一种新的解决思路。
图1
图1 矢量图斑地类解译真实性检查结果示意
Fig. 1 A sketch of the task of checking the authenticity of the land type interpretation of vector patches
遥感影像场景分类是一个复杂的数据处理过程。传统的目视解译方法虽然简单易操作、灵活性强,但需解译人员具有丰富的经验、专业的知识,而且花费时间长,难以适应海量遥感影像分类。近年来,深度学习[9]成为遥感影像解译和模式识别的新热点,其中最具代表性的特征是端到端、层次化的场景学习能力。深度学习通过建立类似于人脑的分层模型结构,对输入数据逐级提取从底层到高层的特征,从而能很好地建立从底层信号到高层语义的映射关系。当前多数分类、回归等学习方法为浅层结构算法,其局限性在于在有限样本和计算单元的情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约。深度学习的出现为遥感影像的解译提供了一种新方法,能更好地提取遥感影像的特征,极大的增强复杂模型的表述能力[10],并展现了强大的从少数样本集中学习数据集本质特征的能力,使其在场景分类任务中有着更好的表现。
针对传统图斑地类解译真实性检查效率低,解译精度差等不足,本文提出深度学习和高分遥感影像支持的矢量图斑地类解译真实性检查方法,首先对分割后的训练样本进行自动化标注与纯化;然后利用Inception_v3深度学习模型,通过迁移学习对遥感影像分割斑块进行场景分类处理;最后以高分遥感影像斑块的场景分类结果作为参照依据,对场景分类结果与矢量图斑原始数据进行叠加分析,自动查找不匹配信息,实现矢量图斑地类解译真实性检查。
2 研究方法
对于矢量图斑地类解译真实性检查,本文的研究方法主要分为3个部分:① 样本自动生成与纯化,自动获取高质量标注训练数据;② 深度学习模型构建,利用模型迁移完成场景分类工作;③ 矢量图斑地类解译真实性检查,通过对分类结果和图斑原始数据进行叠加分析,实现可疑图斑的自动提取。技术路线如图2所示。
图2
图2 矢量图斑地类解译真实性检查技术路线
Fig. 2 The technical route of the check of the authenticity of the land type interpretation of vector patches
2.1 样本自动生成与纯化
本文训练样本来源于上海市三调数据和徐州市贾汪区三调数据。上海市数据来自上海市规划和自然资源局,0.1 m高分辨率无人机影像,顾及上海市地物分布特征(建筑密集)以及已有研究基础[11],无人机影像初始分割大小为300像素×300像素,尽可能确保分割单元中地物的完整性;徐州市贾汪区数据来自徐州市自然资源和规划局,1 m分辨率高分二号影像,鉴于贾汪区地处郊区,地物分布较为稀疏,本文选取初始分割大小为50像素×50像素。为保证模型输入大小的一致性,将2组分割单元的大小调整至299像素×299像素,满足模型的输入要求;2组影像均包含RGB波段,影像信息丰富,包含多种地物,可以为地物分类提供足够的信息。图斑地类解译真实性检查的研究区位于江苏省徐州市贾汪区青山泉镇和大吴镇,总面积150.12 km2, 研究区影像为1 m分辨率高分二号影像,包含RGB波段,将影像分割为50像素×50像素的影像单元,为满足深度学习模型需要,调整影像单元大小至299像素×299像素。研究区(117°16'45"E—117°27'15"E,34°18'35"N—34°27'45"N)概况及训练样本样例如图3所示。
图3
图3 研究区概况及样本样例
Fig. 3 Research area overview and samples
影像分割是影像解译至关重要的一项预处理,没有正确的分割就没有正确的解译[12]。本文利用三调矢量图斑对高分遥感影像进行粗分割,生成初步的影像图斑;然后,利用网格化分割方法,对影像图斑进行分解,生成规则的处理单元;最后,将分解的处理单元关联原始图斑的地理位置信息,实现处理单元标签的自动标注,以此完成训练样本的自动生成和标注。
由于原始图斑地类解译的真实性存在误差,影像单元地类复杂等原因,初步自标注的样本可能存在误标注,需要进行检验和纯化处理。本文采用 2种差异性分类器对自标注样本进行分类,然后对分类结果进行交叉验证,以此得到纯净的训练数据集,具体方法如下:选用AlexNet[13]和VGG16[14] 2个差异性分类器,利用现有的样本进行训练,然后将自标注样本分别输入训练后的AlexNet和VGG16进行验证,具体的模型训练过程见第2.2节,对于输出结果,采用交叉验证的方法,若2个分类器得到相同的分类结果即认定样本纯净,否则进行目视判别,得到最终的数据集作为研究所用的训练集,用于迁移学习的模型训练,样本纯化过程如图4所示。数据集信息如表1所示。
图4
图4 自标注样本纯化流程
Fig. 4 Purification process of self-labeled samples
表1 Inception_v3模型训练集信息
Tab. 1
类别 | 训练集数量 | 验证集数量 | 测试集数量 | 合计 |
---|---|---|---|---|
工业用地 | 797 | 100 | 200 | 1097 |
林地 | 763 | 108 | 217 | 1088 |
耕地 | 9033 | 1214 | 2429 | 12 676 |
水体 | 665 | 94 | 189 | 948 |
住宅用地 | 2222 | 317 | 634 | 3173 |
合计 | 13 480 | 1833 | 3669 | 18 982 |
新窗口打开| 下载CSV
试验发现,利用纯化后样本训练的模型对研究区数据进行判别具有更高的精度。利用纯化后的样本训练模型,在模型测试阶段获得0.966的精度,未经纯化的样本训练所得的模型在模型测试阶段精度仅达到0.896。分析发现,未纯化的样本存在一定量的易混淆样本,这些样本地类特征不明显,样本间地类特征存在相似性,难以清晰地区分其地物类别。这种类型的样本数据不利于模型特征学习,导致模型在训练过程中出现混淆现象,极大地影响了模型的性能。样本经过纯化后,可以较好地剔除这些易混淆类,从而提升模型性能。
2.2 模型
深度学习需要大量高质量标注的样本数据,而现实情况通常只有少量高质量的数据样本,迁移学习可以将某个任务上学习到的知识或模式应用到不同但相关的领域或问题中[15],有效地解决数据样本不足的问题。迁移学习依赖于经过预训练的卷积神经网络,本文对VGG16和Inception_v3模型进行实验,结果见表2。对于本文而言,Inception_v3模型效果明显优于VGG16,后续实验全部利用 Inception_v3模型处理。
表2 场景分类所用模型效果对比
Tab. 2
学习方法 | 模型 | 验证集精度 | 测试集精度 |
---|---|---|---|
迁移学习 | VGG16 | 0.916 | 0.902 |
Inception_v3 | 0.966 | 0.934 |
新窗口打开| 下载CSV
本文选用的Inception_v3网络使用100万张图片,2500万个参数进行训练[15],此网络作为迁移学习的预训练网络,已广泛地应用到土地利用/土地覆盖场景分类中。对于深度学习模型的选择,获得高质量模型常见的做法就是增加模型的深度(层数)或者是其宽度(层核或者神经元数),但是往往会出现以下的缺陷:① 参数太多,若训练数据集有限,容易过拟合;② 网络越大计算复杂度越大,难以应用;③ 网络越深,梯度越往后穿越容易消失,难以优化模型。而Inception模型引入Inception 结构,解决计算量大的问题;全连接层全部替换为简单的全局平均pooling,参数更少,虽然网络深,但参数只是AlexNet 的1/12倍;引入残差单元,通过直接将输入信息绕道传到输出,保护信息的完整性[16,17],有效地解决了以上问题。
Inception_v3模型进行了如下改进,使得模型可以更好地解决分类问题[18]。
(1)引入卷积拆分的思想,将一个较大的二维卷积拆分成2个较小的一维卷积,这样做的目的是,一方面节约大量的参数,加速运算并减轻过拟合,另一方面增加一层非线性扩展模型的表达能力。
(2)Inception_v3优化Inception模块的结构。如图5所示,第一部分使用2个3×3卷积代替了传统的5×5;第二部分减小特征图,增多滤波器,使用n×1→1×n(任意n×n的卷积都可以通过1×n卷积后接n×1卷积来替代)结构;第三部分使用卷积池化并行结构。
图5
图5 Inception 模块
Fig. 5 Inception module
实验表明,使用Inception模块构建的训练参数数量只有AlexNet的1/12,但是在ImageNet上的图像分类准确度却高出AlexNet大约10%[19],所以本文选用此模型作为样本分类器。图6为Inception_v3模型结构,蓝框部分即为Inception 模块。
图6
图6 Inception_v3模型结构
Fig. 6 Structure diagram of the Inception_v3 model
学习过程分为2个部分,模型训练和模型测试。在模型训练阶段,利用迁移学习,对预训练的Inception_v3模型进行训练,通过引入一层全连接层实现新数据的分类,模型的训练过程分为前向传播过程和反向传播过程[20]。前向传播阶段,将影像单元输入到网络中,由卷积层与池化层进行特征提取,并将所得特征输入至Softmax分类器,计算损失函数;反向传播阶段,通过逐层计算损失函数与网络参数的偏导完成权值与偏置的更新,然后通过参数微调优化模型[21],模型结构如图6所示。训练过中可调节的参数包括批处理值、训练步数、初始学习率、学习率衰减系数、学习率衰减速度。模型测试阶段中,测试样本输入模型,本文使用3600个左右的测试样本,测试精度达到0.966。
本文采用动态学习率,选取自然指数衰减函数,学习过程中学习率按自然指数值呈梯度下降,本文对学习率衰减系数进行了几组对照试验,研究发现学习率衰减系数过小会造成训练前期学习率衰减过快,影响模型训练速度,后期学习率过小,影响模型精度,所以本文选取0.70为初始学习率衰减系数,试验结果如图7所示,经过对照试验得出,当学习率衰减系数为0.90时,模型性能最佳,图8为学习率衰减系数为0.90时的动态变化曲线图。通过学习率衰减函数,使学习率在训练过程中动态衰减,使得训练以0.10的较大学习率迅速收敛,之后通过不断减小学习率,直至趋近于0,保证后期训练不会产生大的波动,确保模型具有较优的精度。
图7
图7 学习率衰减系数对模型精度的影响
Fig. 7 Effect of learning rate attenuation coefficient on model accuracy
图8
图8 Inception_v3学习率动态变化曲线
Fig. 8 Inception_v3 learning rate dynamic curve
实验部署在GPU Qudro P4000,编程语言为Python 3.5,深度学习框架为Tensorflow。训练时的超参数如表3所示。训练后的模型精度和损失变化,如图9所示。
表3 超参数信息表
Tab. 3
参数 名称 |
批处理值/ (个/次) |
步数/ 步 |
初始/ 学习率 |
学习率/ 衰减系数 |
学习率衰减 速度/(步/次) |
---|---|---|---|---|---|
参数值 | 100 | 200 000 | 0.10 | 0.90 | 10 000 |
新窗口打开| 下载CSV
图9
图9 Inception_v3模型训练精度变化
Fig. 9 Training accuracy change of Inception_v3 model
如图9可知,由于训练初期,学习率较大,所以loss曲线迅速收敛。随着学习率的不断衰减,学习速度变慢,loss曲线趋于平稳。在模型训练至100 000次时,训练精度开始收敛,之后趋于平稳,此时模型特征提取能力最佳。网络模型在测试集上,得到0.966的准确率,证明网络模型有效。
2.3 矢量图斑真实性检查
根据高分遥感影像分辨率将研究区高分影像分割为50像素×50像素的处理单元,根据深度学习模型性能将分割单元调整至299像素×299像素,并将分割后的处理单元导入训练好的改进Inception_v3模型进行场景分类,场景分类结果作为“三调”矢量图斑地类解译真实性检查的参照依据。在真实性检查过程中,将“三调”矢量图斑与网格相交,网格尺寸与处理单元尺寸一致,为50像素×50像素,为避免分割后处理单元内有效部分过小,影响图斑解译精度,以45像素×45像素单位网格作为优选的待检查网格。如图10所示,图中蓝色网格为50像素×50像素的初始网格,红色线条围成的是“三调”矢量图斑,在网格中图斑所占面积大于或等于45像素×45像素,符合优选网格的条件,如图中红色网格所示,则红色网格为优选后的网格,即仅对红色网格单元进行图斑地类解译真实性检查。优选后的处理单元关联原始矢量图斑的地理位置信息,实现对优选后处理单元信息的自动标注,用于可疑单元的筛选。
图10
图10 地类解译真实性检查中的优选网格示意
Fig. 10 Optimal grid schema in authenticity check of geographic interpretation
将处理单元场景分类结果作为图斑地类解译真实性检查参照依据,生成检查参照表,连接检查参照表与优选后处理单元属性表的连接字段和判别字段,本文所说的连接字段是指分类结果表与优选后处理单元属性表的名称字段,关联后使优选后处理单元与分类结果表中的处理单元一一对应;判别字段指的是所需判别的字段,在本文中即分类结果表的类别字段与优选后分割单元的用地类型字段,关联后若数据类别不匹配,则认定为可疑单元,可疑单元所在的图斑即为可疑图斑,以此方法对矢量图斑的地类解译进行真实性检查。
图11展示了提取出的部分可疑图斑,如图11(a)所示,在工业用地的图斑内检测出含有耕地和水体,可见图11(a)地类标注有误;图11(b)为耕地,利用本文方法检测出含有工业用地;图11(c)为住宅用地,检测后发现含有耕地;图11(d)展示了划分为水体的图斑,检测发现含有耕地类型;图11(e)为林地,检测出含有耕地,地类标注真实性有误。
图11
图11 部分可疑图斑展示
Fig. 11 Some suspicious spots
3 精度评价
为了获取“三调”矢量图斑地类解译真实性检查结果,需要进行2个步骤:土地利用分类效果评价和图斑地类解译真实性检查效果评价。对于土地利用类别分类,通过各类地物分类精确率(P)和召回率(R)以及模型整体分类准确率(OA)衡量。对于图斑地类解译真实性检查,通过对检测到的图斑进行分析,采用提取的准确率(A)、精确率(P)、召回率(R)来衡量图斑地类解译真实性检查结果。
3.1 土地利用分类效果评价
在分类实验中,采用预训练的Inception_v3模型进行迁移学习,通过动态学习率加强模型训练精度,经过实验,采用批处理值为100,初始学习率为0.10,衰减系数为0.90,衰减速度为10 000,训练200 000步,这些参数使得模型具有较好的训练精度和测试精度。表4显示了模型对于各类地类分类的精确率,召回率和F1值以及模型的整体分类准确率。
表4 模型分类结果
Tab. 4
精确率(P) | 召回率(R) | F1 | 准确率(OA) | |
---|---|---|---|---|
工业用地 | 0.909 | 0.875 | 0.892 | 0.934 |
林地 | 0.965 | 0.925 | 0.945 | |
耕地 | 0.929 | 0.936 | 0.933 | |
水体 | 0.899 | 0.910 | 0.905 | |
住宅 | 0.981 | 0.994 | 0.987 | |
均值 | 0.937 | 0.928 | 0.932 |
新窗口打开| 下载CSV
从表4可看出,模型对于研究区的整体分类准确率为0.934,平均精确率为0.937,平均召回率为0.928。对于每一种类而言,工业用地的F1值较低,即便如此也达到了0.892,F1平均值为0.932,由此可见,模型可以满足基本的分类工作。其中,林地及住宅用地地物特征明显,与其他用地类别区分明显,获得了较高的精确率;工业用地往往形状复杂,与其他用地类型的区别不够明显,造成了较低的精度,见图12(a);耕地及水体图像特征上存在相似性,区分不明显,精度较低,见图12(b)。
图12
图12 特征区别度低的用地类型展示
Fig. 12 Land use types with low characteristic differentiation
3.2 图斑地类解译真实性检查效果评价
本文通过分析分类结果与优选后分割单元信息列表,自动查找不匹配信息,实现矢量图斑真实性检查。表5显示了地类标注真实性检查效果,图13展示了大吴镇地类解译真实性检查结果。
表5 矢量图斑地类解译真实性检查效果
Tab. 5
准确率(A) | 精确率(P) | 召回率(R) |
---|---|---|
0.766 | 0.925 | 0.817 |
新窗口打开| 下载CSV
图13
图13 大吴镇矢量图斑地类解译真实性检查结果
Fig. 13 The results of the check of the authenticity of the land type interpretation of vector patches in Dawu Town
表5针对的是地类解译真实性检查的效果,以研究区内大吴镇为例,如图13所示,排除部分非处理图斑,包括道路、沟渠等细长型图斑,模型共提取出了53个可疑图斑,其中误判图斑共有4个,即图斑地类标注正确却被判定为可疑图斑;准确找出错误图斑49个,11个错误图斑没有被找出,由此可得,图斑地类标注检查准确率为0.766,精确率为0.925,召回率为0.817,可疑图斑提取效果较好。通过分析,得出以下2个原因:
(1)选用的Inception_v3模型具有较好的分类精度。利用此模型对每一个分割单元进行类别判别,获得较高的分类精度,分类精度越高,可疑单元查找得越精确,对于可疑图斑的提取越精确。
(2)可疑图斑判定方法严格。只要图斑内存在一个可疑单元,此图斑即为可疑图斑,此判定方法使得图斑地类解译真实性检查获得较高的召回率。
4 结论与展望
4.1 结论
在矢量数据质量检查工作中,研究者们往往注重于图形检查和属性检查,往往会忽视图斑地类解译真实性的问题。本文针对矢量图斑地类解译真实性问题,利用深度学习作为媒介进行图斑地类解译真实性检查,通过训练好的Inception_v3模型对研究区样本进行场景分类,并将分类结果与优选后网格属性表关联,提取出可疑图斑,研究取得了以下成果:
(1)样本的自动生成与纯化。大数据下的深度学习面临最大的困难就是高质量的带标签样本的获取,本文利用矢量图斑已有的标注信息,通过地理位置信息将样本所需的标签信息自动标注到样本数据中,实现了样本数据标签的自动标注。传统的样本纯化多是通过目视解译,效率较低。本文利用深度学习分类器给规模化样本纯化提供了一种新思路,利用2种差异性的分类模型对样本进行分类处理,使用交叉验证的方法对大量样本进行筛选优化,得到高质量的样本集。本研究通过样本自动标注与纯化,产生了近19 000张高质量的带标签的处理单元。通过此方法节省了大量的人力和时间,实现样本的自动标注和纯化。
(2)利用迁移学习完成研究区场景分类。训练一个新模型需要大量的样本数据,现实的情况是高质量样本数据少,不足以训练一个新的模型,迁移学习可有效地解决这一问题。本文利用Inception_v3模型进行迁移学习,获得较高的分类精度。Inception_v3模型能够在增加网络深度和宽度的同时减少参数,能够在少量样本的情况下,避免过度拟合,获得较高的训练精度。本文使用近14 000张训练样本,近1900张验证样本,近3600张测试样本,获得了0.966的测试精度。本文还在Inception_v3模型的基础上加入了动态学习率,使模型在训练前期迅速收敛,随着学习率不断的减小,模型训练趋于平稳,确保模型不会出现大的波动。将训练好的模型应用于研究区也获得了较好的效果,模型的整体分类准确率为0.934,平均精确率为0.937,平均召回率为0.928。
(3)矢量图斑地类解译真实性检查。本文的矢量图斑质量检查主要针对的是图斑的地类解译信息,通过训练好的模型对研究区分割好的图像斑块进行场景分类,利用分类结果作为参照表,对比原矢量图斑的地类属性表,通过关联对应的字段,查找出类别信息不符的分割单元,从而提取出可疑图斑。本文的方法在研究区矢量图斑地类解译真实性检查中获得0.766的准确率,精确率为0.925,召回率为0.817。
4.2 展望
本文提出的方法较好地解决了矢量图斑地类解译真实性问题,提高了矢量数据的准确性和可靠性,有助于提高国家重大工程项目矢量图斑质量检查的准确性。但目前本方法只能对图斑内纯净的分割单元进行检查,暂时未对混合格网进行处理,这对图斑的检查结果会有影响,目前能够检查的格网单元占比总体格网单元约为80%左右;以大吴镇为例(图13),由于部分图斑面积过小,尤其是线状图斑,以本文所用的方法难以进行检查,因此做忽略处理。针对以上不足,未来将通过改进图斑分割方法和深度学习模型,实现对矢量图斑地类解译的全覆盖、高可信检查。