AIで不要なオブジェクトを除去して建物ファサードの全景を 復元＜福田知弘氏＞

AIで不要なオブジェクトを除去して建物ファサードの全景を復元

2022.01.18

パラメトリック・ボイス　　　　　　　　　　　　　　　大阪大学　福田知弘

2022年もどうぞよろしくお願い申し上げます。
前回のコラムでは、「都市のすがた」を可視化するために、ストリートビュー画像と深層学習
を用いて、建物ファサードのカラー推定と建物の機能分類を自動化する方法を紹介しました。
この方法を開発してみると、ストリートビューの画像では、分析対象である建物が街路樹など
の障害物（不要なオブジェクト）で隠されてしまい、ファサードの全景を確認できず、正確に
推定できない場合がありました。
写真から建物ファサードの全景を復元することはできないか？新たなプロジェクトがはじまり
ました。

AIを応用したアプローチ
上述の課題解決に向けて、都市景観の写真に含まれる不要なオブジェクトを自動的に除去する
画像処理技術は、都市景観の調査分析や環境影響評価のために必要とされており広く研究され
ています。不要な視覚的要素を仮想的に除去することにより、計画・設計者や施工者・維持管
理者などの専門家のための検討だけでなく、住民・利用者などのステークホルダーエンゲージ
メントにとっても、不要なオブジェクトを除去した後の景観を直感的に把握することができ、
合意形成につなげることができます。
オブジェクト除去の処理プロセスはこれまで、不要なオブジェクトを除去した後に補完（イン
ペインティング）するファサード情報を事前に取得する必要があり、手間と時間がかかってい
ました。筆者らは、この処理を効率化すべく、まず、不要なオブジェクトを高い精度で自動検
出・除去し、それらのオブジェクトで遮蔽されていた建物のファサード情報を自動補完するこ
とで、もっともらしい建物全景画像を生成する方法を開発しました（図1） *1。

セグメンテーションで自動検出し、除去した領域をGANで修復
図2は、深層学習のセマンティックセグメンテーションとGAN（敵対的生成ネットワーク）に
よる補完処理を用いて、建物の手前にある不要なオブジェクトを自動除去して建物ファサード
情報を補完するワークフローを示しています。　
深層学習を応用したセマンティックセグメンテーションは、現実世界の画像をピクセル単位で
カテゴリー別（例えば、歩行者、車、植栽、歩道など）に抽出することができます。GANは、
深層学習を用いた生成モデルであり、存在しないデータの生成や、既存のデータをその特徴に
応じて変換することを可能にします。
まず、GANベースの画像補完のために、建物ファサードの学習用データセットを作成しました。
学習のための写真は、ストリートビューサービスから入手して、分類器を使ってクリーニング
します。これにより、都市景観の写真の中に、建物ファサードが含まれているかどうか、建物
の手前に不要なオブジェクトがあるかどうかを分類することができます。
次に、Cityscapesデータセットに基づいたセマンティックセグメンテーションにより、スト
リートレベルでの不要なオブジェクト（歩行者、ライダー、植栽、自動車など）を検出・除去
します。最後に、除去領域の周辺環境に注意を払いながら除去領域を補完するために、画像補
完を導入します。
ストリートレベルの写真に対して建物ファサードの補完を高精度で実現するために、カスタマ
イズされたデータセットで学習することで、検出された不要なオブジェクト領域を補完します。
このために、深層学習に基づく画像補完モデルを採用しています。図3は、データセットをカ
スタマイズするための作業フレームを示しています。まず、ストリートネットワークとサンプ
リングポイントの座標を収集します（図3a、3b）。次に、道路中心線上の隣接する2点の座標
から直交するファサードのたわみ角を計算し、ストリートビューサービスから建物のファサー
ド画像を取得します（図3c、3d）。
このデータセットを作成し、画像補完モデルを学習した後、テストデータセットと検証データ
セットに実装しました。

結果
図1は、不要なオブジェクトの自動除去と建物ファサード補完の実験結果を比較したものです。
左の列から順に、不要なオブジェクトが含まれるオリジナル画像、不要なオブジェクト（人、
ライダー、樹木、車）をセマンティックセグメンテーションにより抽出した結果、筆者らの方
法により補完した結果、従来の方法による結果、マニュアル作業により作成した正解画像です。
画質評価の結果、提案方法は、大きな穴を短い実行時間で補完するのに適しており、生成され
る画像の品質の高さと精細さのバランスが取れていることがわかりました。総じて提案方法は、
効率的かつ軽快であり、人間の視点から建築環境にある不要なオブジェクトを除去する際の影
響を評価するのに役立ちます。
最後に、この研究成果は、2021年9月7日に大阪大学よりプレスリリースしました *2。