War city profiles drawn from satellite images

重大自然地质灾害和武装冲突往往对城市建筑造成严重破坏。一般的，人们对损毁状况的了解大多依赖于目击报告和新闻报道，这类渠道获得的损毁信息很不完整、带有较大偏误。卫星遥感为监测城市损毁提供了一种大范围近实时、无接触式的手段。但是在此场景下，被摧毁的建筑只占城市建筑总数的极少一部分。这意味着：被损毁的建筑(正样本)数量远远少于未损毁的建筑(负样本)，即，样本严重不平衡，这对遥感城市损毁评估提出了挑战。再有，这期间难以快速获得高分率的遥感图像，即使通过高分辨率遥感图像检测损毁建筑，依然存在较高的错检和误检率。

中分辨率遥感图像具有全球覆盖、重访频率高、免费获取等优势，但每栋建筑在其上仅占据数个像素，难以有效辨识建筑形状和纹理等信息（图1），而且受光照变化的影响，同一建筑物在不同时间的图像中可能具有不同的颜色。这种时域偏移会显著增加了假阳性率，即未被破坏的建筑物被识别为被破坏的建筑物。由于严重的样本不平衡，在复杂的城市环境中，即使很小的假阳性率也会导致非常高的预测错误。

图1. 0.5m和10m遥感图像中的受损建筑。

现有建筑损毁检测方法侧重于某一时间点损毁前后卫星图像间的差异，而忽略了损毁的时间模式（图2）。损毁建筑在灾害或武装冲突期间不可能重建，也就是，建筑损毁在时间上具有明显的规律。受此启发，借鉴自然语言处理领域思路，本文提出了一种时序知识引导的检测方案(TKDS)。在变化检测中，可以嵌入不同的机器学习模型作为TKDS的探测器(detector)，为了大幅度提升城市损毁识别结果，本文构建了Pixel-based Transformer model (PtNet)作为TKDS的探测器（图3）。接下去，分别用0.5m和10m分辨率的遥感图像检测2011-2018年叙利亚内战期间的6座城市、用10m分辨率的Sentinel-2数据检测2022-2023年乌克兰4座城市的建筑损毁。结果表明，TKDS-PtNet的F1值比ResNet高出一倍（在10m分辨率遥感图像上高出2.5倍）。在进行损毁评估前，对TKDS-PtNet的迁移能力、可解释性和检测结果的可靠性进行了详实的验证。

图2. 已有变化检测方法(a->b)和TKDS(a->c)的比较。

总起来说，TKDS-PtNet提供了一种近实时城市损毁监测的方法，可以基于中、高分辨率遥感图像，从地面数据稀疏或难以接近的环境中及时生成高质量的损毁信息。它也适用于气象、自然地质灾害造成的基础设施损毁检测上，辅助于估算和评估受灾损失。

该研究成果以“War city profiles drawn from satellite images”为题发表在2024年4月份的Nature Cities上(https://www.nature.com/articles/s44284-024-00060-6)。