摘要
倾斜摄影自动化建模生成的连续不规则三角网中,各种地物不能单独进行物理区分。为了利用这些数据中代表单个地物的部分，例如单幢建筑，我们需要进行单体化处理以识别和提取这些独立部分。这可以帮助后续分析聚焦于感兴趣的个体，而不受复杂场景的干扰。本文提出一种基于深度学习的倾斜摄影建筑物提取技术。构建了一种基于U-Net与ResNeXt的深度卷积神经网络，输入包括数字正射影像(DOM)和倾斜摄影数据，可有效提取建筑物的多边形底面。并且比较了不同算法的提取精度，结果表明基于ResNeXt的网络取得最高的建筑物分割Intersection over Union（IOU）达到0.8255。提出的“动态虚拟单体”技术, 可以通过渲染将提取的矢量底面动态绑定到原始倾斜摄影表面，实现对单个建筑的选择表达和查询。实证表明, 该技术交互式查询和空间分析的有效性。本技术方法自动化程度较高、准确度优良，可以进一步推动倾斜摄影数据在三维城市建模与GIS分析中应用。
背景
三维(3D)建筑整体建模涉及在航拍图像中选择单个建筑并查询建筑信息，在各个领域具有重要意义。例如，3D建筑整体建模可以帮助建筑师、城市规划者和政策制定者对建筑和城市空间的开发、设计和可持续性做出明智的决策。精确的建筑物三维模型可以帮助土木工程和建筑检测潜在的设计冲突，并在灾害管理和应急响应中评估脆弱性或规划疏散路线。与二维（2D）建模相比，3D建模更接近人类的视觉习惯，提供更多的信息，表达更多的空间关系。团体用户和个人用户都对3D GIS有着迫切的需求。3D建筑整体建模作为3D GIS应用中的主要功能之一，其发展受到多种因素的影响。3D数据采集的经济成本和时间成本是早期影响3D GIS广泛应用的最关键制约因素。随着计算机图形学、虚拟现实技术、制图技术等各种理论和技术的不断发展，三维GIS逐渐成为近年来GIS研究的主流方向之一。已经出现了新的3D数据采集方法，例如倾斜摄影测量，而不是3D数据生成的手动建模。倾斜摄影测量使用飞机从垂直移动到倾斜，多个传感设备同时捕获图像。倾斜摄影模型由自动批量建模生成。倾斜摄影模型具有高精度、高效率、高真实感、低成本等优点，有潜力成为3D GIS的重要数据源。
图1：遥感影像上多边形叠加的建筑物选择
技术路线
深度卷积神经网络被应用于建筑底部提取，并提出了阴影体渲染技术，用于将底部多边形附加到倾斜摄影模型提供的建筑表面。研究首先对倾斜摄影模型数据进行预处理，转换为DOM和数字地表模型（DSM）栅格数据，作为深度卷积神经网络的输入。然后，构建了基于U-Net的深度卷积神经网络，以ResNeXt50作为骨干网络。该网络被用于从倾斜航空摄影数据中自动提取建筑物轮廓，并将其准确性与不同算法进行比较。随后，利用阴影体渲染技术，将提取的矢量基础数据绑定到倾斜摄影模型的建筑物表面上，从而实现使用倾斜摄影的动态虚拟建筑单体构建方法。
图2：整体流程
结果
从表1的实验结果可以看出，对于每种算法，基于倾斜摄影建模数据提取建筑物的准确率均高于单独使用DOM提取建筑物的准确率。随机森林实验中DOM和倾斜摄影建模数据之间的IOU差距大于其他两种算法。基于ResNeXt50实验的U-Net下IOU差距最小。由于倾斜摄影建模数据可以为深度学习提供更详细的特征，因此比较了三种倾斜摄影数据算法的IOU。基于ResNeXt50的U-Net提取建筑物足迹的IOU值为0.8255，高于基于VGG-19的U-Net中的0.8143，也高于随机森林中的0.7532。该结果表明使用基于ResNeXt50的U-Net提取建筑物足迹多边形的精度高于其他两种算法的精度。上述发现证明，基于ResNeXt50的U-Net从倾斜照片中提取是最准确和最优的。
表 1：实验结果
创新
本研究提出的动态虚拟整体技术建筑的成功选型，为其不同功能的多种应用提供了坚实的基础。其中一个应用是倾斜摄影模型的交互式查询。用鼠标点击3D场景中的建筑物，得到交点O，将直角坐标系中的O点转换为地理坐标系中的P点。通过查找点P所在的底层多边形，返回找到的多边形的几何数据，包括ID值和属性信息(如图3a所示)。此外，倾斜摄影模型的SQL查询和空间查询的实现也可以通过动态虚拟单体技术实现（如图3b、3d所示）。在数据库中选择满足SQL查询和空间查询条件的多边形对象集合，通过渲染模板阴影体将多边形附加到倾斜摄影建模数据上，并以特定颜色高亮显示相应的建筑物表面。此功能将有助于专题地图和其他产品(如图3c所示)。
图 3：倾斜摄影模型动态虚拟单体化技术：（a）查询属性，（b）缓存区查询，（c）专题图表达，（d）周边查询
结论
全自动倾斜摄影建模技术解决了3D GIS应用的3D数据源问题。然而，倾斜摄影建模数据是全元素切片数据，无法对单个建筑物进行操作。本研究提出了一种用于倾斜摄影建模数据的动态虚拟整体方法。通过阴影体渲染技术将矢量建筑足迹附加到倾斜摄影建模数据的表面，建立矢量底层数据与倾斜摄影建模数据的动态关联。在不切割数据的情况下，实现了倾斜摄影建模数据的奇异表达和面向对象的查询。提出了一种基于U-Net深度卷积神经网络结构的深度卷积神经网络，用于从倾斜地理图像中提取建筑物的底面，从而提高全自动倾斜摄影模型整体过程的有效性。本研究提出了一种基于深度学习的方法，用于从倾斜摄影中提取单体数据，从而实现了倾斜摄影建模数据的动态虚拟单体化。本方法中使用的深度学习网络基于U-Net架构，以ResNeXt50作为U-Net结构的骨干网络。比较实验表明，该方法高效可行，与传统算法相比具有更高的提取精度。它实现了对倾斜摄影的全自动化表达，支持将倾斜摄影建模数据二维整合到GIS应用中，并有效推动了倾斜摄影建模数据在测绘、规划和智慧城市等行业的广泛应用。
图 4：基于U-Net的倾斜摄影数据提取建筑物示意图