2018上半年工作小结-影像深度学习

随着WGDC2018顺利结束,2018上半年的工作也暂告一段落,年后这4个月中,零零散散做了一些深度学习在影像方面的事情,从街景、无人机、遥感影像、火星都有所涉及。正好利用WGDC上的演讲幻灯片稍作修改,做个工作小节。

街景

地理领域的影像包含很多,不仅仅只有遥感影像,其实只要和地理位置有关的影像都可以为地理分析工作提供数据支持,街景也是有位置的,可以为城市规划和城市景观研究提供一定的支持。

我们在北京六环内,沿着道路,每隔100m会有一个采样点,每个采样点覆盖了前后左右四个方向,360度范围的街景数据,一共采集了50多万张街景图片。

通过深度学习中的语义分割模型,将其中的建筑物、天空,绿化等分割出来,并计算其相应的比例。进而得到每个采样点上的360°视觉范围的建筑物比例、天空比例,绿化比例。
再将这些点聚合到自然街区中,又可以进一步的了解到各个街区中的建筑物覆盖度信息情况。右下角的这个图,便是北京六环内的视觉建筑物覆盖度。

在线地址

同样的,结合目标检测算法,还可以从街景中了解到,城市街道上的车辆与行人的数量情况。

遥感影像

遥感影像是地理领域一个非常重要的方面,影像中蕴含的信息非常丰富,从农业估产、制图到水体污染研究等等,应用非常广泛,而CNN可以在制图方面提供坚实的技术基础。

语义分割-建筑物提取&道路提取

道路提取中,基本模型用的是LinkNet34,数据源来自SpaceNet,模型最后的mIOU在76%左右

建筑物提模型用的也是LinkNet34,数据源来自SpaceNet,模型最后的mIOU在82%左右

目标检测-常见地物检测

无人机

无人机影像的一个案例是对于烟草的识别,模型使用的是TensorFlow Object Detection API,对于烟草的识别相对来说比较简单,结构背景相对单一,mAP可达95.33%

火星撞击坑

火星这个一开始是为了给遥感所一位同学做个尝试,可能因为撞击坑大小差别太大,导致对于小目标和大目标的识别效果并不太理想

深度学习可以为地理领域的影像研究中提供非常强的技术支持,可以说是一个质的提升,在图像解译中相比于传统的ENVI、EERDAS来说,其效率和准确率不是一个量级。国内外利用深度学习技术研究影像的公司也越来越多,尤其是对于遥感影像的研究,比如Orbital Insight、DevelopmentSeed等等,可以说这方面的发展将会越来越好。