- 利用AIST的大规模AI云计算系统“ABCI”，实现对JAXA运行的人造卫星“大地2号”的SAR观测数据的大规模学习
- 使用通过均衡土地利用和土地覆盖偏差构建的学习数据集构建专门针对日本土地的 SAR 基本模型
- 我们希望利用基础模型，降低SAR图像解译的门槛，扩大SAR的使用范围，因为SAR图像解译需要专业知识
针对国土的SAR基本模型的构建及其预期应用。用于日本整体土地利用和土地覆盖地图的高分辨率土地利用和土地覆盖地图由 JAXA 提供。
米乐m6官方网站（以下简称“AIST”）智能平台研究部首席研究员 Nevrez Imamoglu、首席研究员 Ali Caglayan、研究组组长 Toru Kamiyama、首席研究官 Chiaki Tsutsumi，与米乐m6官方网站（以下简称“JAXA”）合作“大地 2”(ALOS-2)已装备合成孔径雷达 (SAR)，专门针对国家土地的 SAR，使用覆盖日本土地的 PALSAR-2 定期获取的高分辨率观测模式下的 SAR 数据基础模型
这次，考虑到日本土地的特点（70% 是森林），我们提前选择了用于学习的点，以避免学习偏向于特定的土地利用/土地覆盖类型，并均衡学习数据中包含的土地利用/土地覆盖的比例。 PALSAR-2 的观测数据覆盖了整个国家，但通过提取包含选定点的范围作为图像块，我们创建了一个反映各种土地利用和土地覆盖的学习数据集。使用这个数据集无监督学习，我们建立了针对特定国家领土的SAR数据的基本模型。当我们使用迁移学习进行土地利用/土地覆盖估计时，我们获得的估计结果比使用基于随机创建的训练数据集的基本模型或首先不使用基本模型进行的估计的估计结果要准确得多，并确认使用均衡数据集的基本模型表现出高性能。最初，基本模型和高阶增值产品预计将由 JAXA 和 AIST 等研究人员使用，但通过利用这一基本模型，我们可以期望通过降低 SAR 图像解译的门槛（需要专业知识），将 SAR 的使用范围扩大到更广泛的人群。
这一成果是根据AIST和JAXA之间的《卫星数据AI分析方法研究开发协议》进行的。该研究成果的详细内容将于2025年6月4日至6月5日举行的日本遥感学会第78届（令和七春）学术会议上公布。
SAR 是一种使用微波的遥感技术。通过使用卫星和飞机的合成孔径技术，可以获得高分辨率图像作为昼夜观测数据。其中，1GHz至2GHz频段的微波（称为L波段）对空气中的水蒸气和植被具有很高的渗透性，因此它们被用来了解灾害期间地形和情况的变化，例如在森林茂密的日本。 JAXA的人造卫星“大地2号”（ALOS-2）配备了L波段SAR PALSAR-2，无论天气、白天还是黑夜，持续对包括日本在内的世界各地进行观测。
另一方面，将SAR的使用扩展到更广泛的领域也存在挑战。人工智能技术越来越多地被引入，因为解释SAR数据需要专业知识，但大规模计算和获取大量数据的成本很高。为了解决这个问题，可以引入一个基本模型。构建基础模型需要大量数据和大规模计算，但一旦构建完成，就可以构建能够通过少量学习执行各种任务的 AI 模型。
迄今为止，JAXA 人造卫星“大地 2 号”上的 PALSAR-2 SAR 数据，特别是通过日本陆地高分辨率观测获得的丰富 SAR 数据，还没有基本模型。 AIST与JAXA签订了《卫星数据AI分析方法研究开发协议》，利用AIST的大规模AI云计算系统“ABCI”对PALSAR-2数据进行了大规模计算。
该成果是基于 AIST 政策预算项目“物理领域的生成型 AI 基本模型的研究与开发”而得出的。此外，这项工作是在“ABCI 30开发加速利用”计划的支持下，使用AIST和AIST Solutions提供的ABCI 30进行的。
Daichi-2 上的 PALSAR-2 正在以 3 m 等高分辨率模式观测日本整个陆地区域。此外，定期进行这种观测，以检测地震等引起的地壳运动，几乎全国的数据每年大约更新四次，与Daichi-2的轨道一致。这个结果是针对图像开发的无监督学习方法之一。屏蔽自动编码器 (MAE)MixMAE进行大规模预学习并根据全国观测到的丰富SAR数据建立了基本模型。
SAR观测包括从传感器向地球发射无线电波，并测量从地面或水面反射并返回到传感器的无线电波的强度，以观测地面或水面的状态。由于波长与人眼看到的波长不同，SAR 图像与熟悉的气象卫星图像明显不同，需要专业知识来解读图像。 AI 在 SAR 图像中的应用正在扩大，以帮助解释这一点，但根据目的从头开始构建 AI 会带来成本问题，例如 AI 学习所需的数据准备和计算。通过提前完成基础学习，基础模型可以通过少量的额外学习（称为迁移学习）来适应各种问题。
底层模型的性能不仅受到数据量的影响，还受到数据中包含的信息多样性的影响。例如，日本70%的土地被森林覆盖，如果随机训练数据，预计知识会偏向森林。事实上，除了森林之外，日本还有许多不同类型的土地，例如城市地区、河流、耕地等。因此，我们平等地参考了国内已有的土地利用和土地覆盖数据以及指定的森林、城市地区、水体（河流、湖泊等）和耕地面积。为了将数据用于学习，我们准备了超过 300,000 个训练数据，分为以指定点为中心的 256 x 256 像素小图像（图像块）。另外，特定于 SAR散斑噪声和反射条件，我们设计了一个损失函数，忽略了反射无线电波强度极强的区域的影响。基本模型是通过使用我们创建的训练数据集和我们设计的损失函数执行无监督学习来构建的。
图1 国家SAR基础模型训练数据构建。 ALOS-2/PALSAR-2观测点是根据土地利用和土地覆盖率选择的。 JAXA 提供的高分辨率土地利用土地覆盖图。
*这是对原始论文中的数字的引用或修改。
基本模型本身无法满足特定目的，但通过使用针对特定目的定制的少量数据集执行迁移学习，可以将其用于多种目的。在这项工作中，通过迁移学习来估计土地利用和土地覆盖，目的是评估基本模型的性能（图 2）。
图 2 使用迁移学习后的 AI 模型估算茨城县的土地利用和土地覆盖。 JAXA 提供的高分辨率土地利用土地覆盖图（正确的地图）。
*原始论文中的数字被引用或修改。
使用基本模型时发现，与不使用基本模型估算土地利用和土地覆盖的模型相比，精度提高了 10% 以上，部分原因是它提前学习了大规模的 SAR 数据，并且已经提取了对理解 SAR 数据有用的信息。
未来，我们将把我们构建的基础模型作为灾害检测、城市变化检测等各种应用的重点，积累SAR数据的实际例子，并评估基础模型的性能。此外，目前人工智能从图像中获得的信息还很难转化为人类易于理解的语言解释，但基础模型使得语言与图像、语言与声音等不同类型的信息更容易融合，使得用语言解释SAR数据的解释结果成为可能。此外，我们可以期待应用程序中另一种语言模型可以理解语言中表达的解释，并帮助完成诸如决定是否重复观察等任务。通过这些努力，我们的目标是使以前需要专业知识的SAR数据的理解更加直观、快捷，并在未来进一步扩大SAR的用途。
会议名称：日本遥感学会第78届（2020年春季）学术讲座
标题：ALOS2 单通道 SAR 图像的自监督预训练和图像分割任务
作者：Nevrez Imamoglu、Ali Caglayan、Toru Kouyama