JP7096033B2

JP7096033B2 - 建築物抽出システム

Info

Publication number: JP7096033B2
Application number: JP2018062645A
Authority: JP
Inventors: 竜平濱口
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2022-07-05
Anticipated expiration: 2038-03-28
Also published as: JP2019175139A

Description

本発明は建築物抽出システムに関する。

航空写真や衛星画像など、上空から取得した画像等のデータから建物を抽出する技術が研究されている。特許文献１には、航空写真等の画像上にて作業者が抽出したい建物を含む作業領域を指定し、当該作業領域にて建物の輪郭を自動的に抽出するシステムが開示されており、また下記特許文献２には、上空からレーザスキャナなどを用いて取得したＤＳＭ（Digital Surface Model：数値表層モデル）を使用して建物の輪郭を抽出する装置が開示されている。

特許文献３には、歩行者を認識するための物体検出装置において、３つのスケールを有するアンサンブル検出器が開示されており、スケールにより検出するべき歩行者の画像のサイズが異なることが開示されている。

特開２０１１－７６１７８号公報特開２０１３－１０１４２８号公報特開２０１８－５５２０号公報

発明者らは、例えば、建物の異動（新築や取り壊し）を検出する作業負荷を軽減するために、畳み込みニューラルネットワークを利用して建物を抽出する手法を開発している。
発明者らは、建物の抽出に用いるニューラルネットワークとして、畳み込み層とプーリング層とを含むモデルや、拡張畳み込み演算を用いたモデルを用いて実験をした。しかしながら、各モデルは、建物の大きさなどの属性によって建物の抽出精度に得意や不得意があり、どちらのモデルを用いても、建物の抽出における見落としを抑制することが困難であった。

本発明は上記課題を鑑みてなされたものであって、その目的は、建物の抽出における見落としを抑制することが可能な建築物抽出システムを提供することにある。

（１）第１のグループに属する複数の建物について、学習用入力画像と、当該学習用入力画像に含まれる当該複数の建物の形状を示す情報の教師データとを用いて学習された第１の建物検出器と、前記第１のグループと異なる第２のグループに属する複数の建物について、学習用入力画像と、当該複数の建物の形状を示す情報の教師データとを用いて学習された第２の建物検出器と、地表上の学習対象領域が上空から撮影された入力画像の特徴情報を、前記第１の建物検出器および前記第２の建物検出器に入力する入力部と、前記入力された入力画像の特徴情報に対する、前記第１の建物検出器の出力と前記第２の建物検出器の出力とを統合する統合部と、を含み、前記第１の建物検出器および第２の建物検出器は、互いに異なる種類のニューラルネットワークを含む、を含む建築物抽出システム。

（２）（１）において、前記第１のグループに属する複数の建物の面積は、第１の範囲に属し、前記第２のグループに属する複数の建物の面積は、前記第１の範囲と異なる第２の範囲に属する、建築物抽出システム。

（３）（２）において、前記第１の建物検出器の出力に含まれる建物、および、前記第２の建物検出器の出力に含まれる建物を面積に基づいて除去するフィルタをさらに含む、建築物抽出システム。

（４）（１）から（３）のいずれかにおいて、前記第１の建物検出器は、拡張畳み込み演算を行う畳み込み層を含み、前記第２の建物検出器は、プーリング層を含む、建築物抽出システム。

（５）（２）において、前記第１の範囲の最大値は、前記第２の範囲の最大値より小さく、前記第１の建物検出器は、拡張畳み込み演算を行う畳み込み層を含み、前記第２の建物検出器は、プーリング層を含む、建築物抽出システム。

（６）（１）から（３）のいずれかにおいて、前記第１のグループおよび前記第２のグループのうちいずれかに属する複数の建物について、第１の種類のニューラルネットワークを含み、前記学習用入力画像と、前記学習用入力画像に含まれる当該複数の建物の形状を示す情報の教師データとを用いて学習された第１の候補検出器と、第２の種類のニューラルネットワークを含み、前記学習用入力画像と、前記学習用入力画像に含まれる当該複数の建物の形状を示す情報の教師データとを用いて学習された第２の候補検出器とのそれぞれの、建物の形状の検出精度を評価する評価部と、前記評価部により評価された検出精度に基づいて、前記第１の候補検出器および前記第２の候補検出器のうち一つを、前記第１の建物検出器および前記第２の建物検出器のうちいずれかとして選択する検出器選択部と、をさらに含む、建築物抽出システム。

（７）（１）から（６）のいずれかにおいて、前記統合部は、前記入力された入力画像の特徴情報に対する、前記第１の建物検出器の出力と前記第２の建物検出器の出力とのいずれかにおいて建物と認識された領域を、建物のある領域と判定する、建築物抽出システム。

本発明の実施形態にかかる建築物抽出システムのハードウェア構成の一例を示す図である。建築物抽出システムの機能構成を示すブロック図である。学習検出器の種類を説明する図である。スケールの違いを説明する図である。学習検出器の構成の概要を示す図である。プーリングモデルの学習検出器に含まれる層を説明する図である。ダイレーションモデルの学習検出器に含まれる層を説明する図である。拡張畳み込み演算における層構造の一例を説明する図である。学習検出器を学習させる処理の一例を示すフロー図である。窓画像のそれぞれに対する学習実行部の処理の一例を示すフロー図である。教師データの一例を示す図である。学習検出器を評価する処理の一例を示すフロー図である。評価結果を示す図である。建物の領域を判定する処理の概要を説明する図である。処理対象画像から全体出力画像を生成する処理の流れを示すフロー図である。

以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。

本実施形態にかかる建築物抽出システムでは、ニューラルネットワークを用いた学習済みモデルである建物検出器に、建物を抽出する処理の対象領域とする地表を撮影した航空写真や衛星画像等（航空写真や衛星画像に基づくオルソ画像であってよく、以下では「処理対象画像」と表記する）の特徴情報を入力し、建物検出器から出力された画像に基づいて建物領域を判定・抽出する。建築物抽出システムは、処理対象画像から建物を識別する際には、３つの建物検出器を用いる。また、３つの建物検出器は、それぞれ、面積がＳ，Ｍ，Ｌの範囲に属する建物をより高精度に検出するように構成されている。例えば、面積の範囲Ｓは４５ｍ^２未満であり、面積の範囲Ｍは、４５ｍ^２以上１３１ｍ^２未満であり、面積の範囲Ｌは１３１ｍ^２以上である。おおむね、面積の範囲Ｌに属する建物はマンションや大型商業施設に対応し、面積の範囲Ｍはアパートや小売店に対応し、面積の範囲Ｓは一般家屋に対応する。

また、本実施形態にかかる建築物抽出システムでは、面積の範囲Ｓ，Ｍ，Ｌのそれぞれについて、ニューラルネットワークの種類や、入力される学習用画像のスケール（縮尺）が互いに異なる複数の建物検出器に対して学習が行われ、面積の範囲Ｓ，Ｍ，Ｌのそれぞれについて、複数の建物検出器から最も良い建物検出器が選択され、選択された建物検出器が、処理対象データからの建物領域の検出に用いられる。

図１は、本発明の実施形態にかかる建築物抽出システムのハードウェア構成を示す図である。建築物抽出システムは、学習サーバ１を含む。学習サーバ１は、サーバコンピュータであり、プロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作する。またプロセッサ１１は通信部１３を制御し、入出力部１４に接続されたデバイスを制御する。ここでは、プロセッサ１１は、いわゆるＣＰＵ（Central Processing Unit）や、並列計算機として用いられるＧＰＵ（Graphics Processing Unit）を含んでよい。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、フラッシュメモリやＤＶＤ－ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。

記憶部１２は、ＲＡＭやフラッシュメモリ等のメモリ素子やハードディスクドライブによって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、各部から入力される情報や演算結果を格納する。

通信部１３は、他の装置と通信する機能を実現するものであり、例えば有線ＬＡＮの集積回路などにより構成されている。通信部１３は、それぞれプロセッサ１１の制御に基づいて、他の装置との間で情報を送受信する。また通信部１３は、受信された情報をプロセッサ１１や記憶部１２に入力する。通信部１３は、例えばＬＡＮにより他の機器と接続されている。

入出力部１４は、表示出力デバイスをコントロールするビデオコントローラや、入力デバイスからのデータを取得するコントローラなどにより構成される。入力デバイスとしては、キーボード、マウス、タッチパネルなどがある。入出力部１４は、プロセッサ１１の制御に基づいて、表示出力デバイスに表示データを出力し、入力デバイスをユーザが操作することにより入力されるデータを取得する。表示出力デバイスは例えば外部に接続されるディスプレイ装置である。

次に、建築物抽出システムの機能の概要について説明する。図２は、建築物抽出システムの機能構成を示すブロック図である。建築物抽出システムは、機能的に、学習データ取得部５１と、学習実行部５２と、学習検出器セット５３と、評価データ取得部５６と、評価実行部５７と、検出器選択部５８と、実行検出器セット６１と、対象データ入力部６５と、出力取得部６６と、フィルタ部６７と、統合部６８と、画像出力部６９とを含む。これらの機能は、主に、プロセッサ１１が記憶部１２に格納されたプログラムを実行し、記憶部１２に格納されるデータにアクセスすることで実現される。これらの全ての機能が、学習サーバ１により実行されてもよいし、その一部の機能が他のサーバで実行されてもよい。例えば、対象データ入力部６５、実行検出器セット６１、出力取得部６６、フィルタ部６７、統合部６８、画像出力部６９の機能が、プロセッサ１１、記憶部１２、通信部１３、入出力部１４を有する他のサーバにより実現されてもよい。

学習検出器セット５３は、複数の学習検出器５４を有する。本実施形態では、学習検出器５４の数は６であり、学習検出器５４のそれぞれは、面積の範囲Ｓ，Ｍ，Ｌに関わらず共通の学習がなされる共通部５４０と、それぞれ面積の範囲Ｓ，Ｍ，Ｌに応じた学習がなされる個別部５４１，５４２，５４３とを有する。学習検出器５４のそれぞれは、互いに異なる、ニューラルネットワークの種類と入力される学習用画像のスケールの組み合わせについて学習がなされる。

学習データ取得部５１は、学習用入力画像と、その学習用入力画像に含まれる建物の形状を示す教師データとを取得する。学習実行部５２は、学習用入力画像と教師データとを用いて学習検出器５４を学習させる。

評価データ取得部５６は、評価用入力画像と、その評価用入力画像に含まれる建物の形状を示す正解データとを取得する。評価用入力画像および正解データは、学習用入力画像および教師データと同じであってもよい。評価実行部５７は、評価用入力画像と正解データとを用いて、学習検出器５４のそれぞれについて、個別部５４１，５４２，５４３のそれぞれについて、その建物の形状の検出精度を評価する。

検出器選択部５８は、評価実行部５７により評価された検出精度に基づいて、面積の範囲Ｓ，Ｍ，Ｌのそれぞれについて、入力対象データに対する建物の検出を行う学習検出器５４を選択する。選択された学習検出器５４の少なくとも一部は、実行検出器セット６１を構成する実行検出器６２，６３，６４として使用される。より具体的には、面積の範囲Ｓについて選択された学習検出器５４に含まれる共通部５４０および個別部５４１の組み合わせが、面積の範囲Ｓに対応する実行検出器６２に含まれる、共通部６２０および個別部６２１となる。面積の範囲Ｍについて選択された学習検出器５４に含まれる共通部５４０および個別部５４２の組み合わせが、面積の範囲Ｍに対応する実行検出器６３に含まれる、共通部６３０および個別部６３１となる。面積の範囲Ｌについて選択された学習検出器５４に含まれる共通部５４０および個別部５４３の組み合わせが、面積の範囲Ｌに対応する実行検出器６４に含まれる、共通部６４０および個別部６４１となる。

対象データ入力部６５は、入力対象画像を取得し、その入力対象画像を必要に応じ加工し、入力対象画像を実行検出器６２，６３，６４に入力する。出力取得部６６は、実行検出器６２，６３，６４が出力する出力画像を取得する。

フィルタ部６７は、実行検出器６２，６３，６４の出力画像に含まれる建物を、面積に基づいて除去し、フィルタされた出力画像を生成する。

統合部６８は、フィルタされた、実行検出器６２，６３，６４の出力画像を統合する。統合部６８は、実行検出器６２，６３，６４の出力画像のいずれかにおいて建物と認識された領域が、建物のある領域と判定された画像を生成する。

画像出力部６９は、統合部６８により統合された画像を記憶部１２や表示出力デバイスへ出力する。

次に、学習検出器セット５３およびそれに含まれる学習検出器５４の詳細について説明する。図３は、学習検出器５４の種類を説明する図である。図３に示される表の「Ｎｏ」は、６つの学習検出器５４に振られた番号を示す。「スケール」はその番号の学習検出器５４に投入される学習用入力画像のスケールを示し、はじめに用意される学習用入力画像をスケールに示される倍率で調整（必要に応じた拡大または縮小）され、スケールにかかわらず同じピクセル数を有するように切り出された学習用入力画像（以下では切り出された学習用入力画像を「窓画像」と記載する）が学習検出器５４に入力される。「モデル種類」はその番号の学習検出器５４の内部を構成するニューラルネットワークの種類を示す。「Ｐｏｏｌｉｎｇ」はＣＮＮ（Convolutional Neural Network）の中でも畳み込み層とプーリング層とを組み合わせたモデル（以下では「プーリングモデル」と記載する）であることを示し、「Ｄｉｌａｔｉｏｎ」は拡張畳み込み演算を行う畳み込み層を用いるモデル（以下では「ダイレーションモデル」と記載する）であることを示す。

図４は、スケールの違いを説明する図である。図４（ａ）は、スケールが０．５倍の場合の窓画像の一例であり、図４（ｂ）、図４（ｃ）は、それぞれ、スケールが１倍、２倍の場合の窓画像の一例である。図４（ａ）～（ｃ）に示される窓画像は、同じ領域を含んでいる。窓画像のピクセル数は、どれもＰｘ×Ｐｙである。ＰｘおよびＰｙの値は、例えば３２や６４であってよい。スケールが０．５倍の場合の学習用入力画像は、スケールが１．０の場合の学習用入力画像を、縦横のドット数が１／２倍になるように縮小する（間引く）ことで得られ、スケールが２．０倍の場合の学習用入力画像は、スケールが１．０の場合の学習用入力画像を縦横のドット数が２倍になるように拡大する（ドット間に線形補間等によるドットを配置する）ことで得られる。この学習用入力画像の拡大または縮小は、学習データ取得部５１により行われる。

図５は、学習検出器５４の構成の概要を示す図である。学習検出器５４は、前述のように、共通部５４０と個別部５４１，５４２，５４３を有する。共通部５４０は複数の層を有し、また個別部５４１，５４２，５４３は、同じ数の層を有する。共通部５４０の１番目の層には調整された学習用入力画像が入力され、最後の層の出力である特徴情報は、個別部５４１，５４２，５４３のそれぞれの１番目の層に入力される。個別部５４１，５４２，５４３の出力は、例えば１６×１６ドットの画像であり、その各ドットはそのドットの位置における建物の存在確率を示す。

図６は、プーリングモデルの学習検出器５４に含まれる層を説明する図であり、図６には各層が、処理順に記載されている。所属の欄において、「共通」と記載される層は共通部５４０に存在し、「個別」と記載される層は個別部５４１，５４２，５４３に存在する。ここで、「個別」に記載される層は、個別部５４１，５４２，５４３のそれぞれに存在している。処理種類は、各層の種類を示しており、「ｉｎｐｕｔ」は入力層、「ｃｏｎｖｏｌｕｔｉｏｎ」は畳み込み層、「ｐｏｏｌｉｎｇ（ｓ２）」は、ストライド（カーネルの適用間隔）が２であるプーリング層を示している。カーネルサイズは、畳み込みフィルタのサイズを表すパラメータである。ここでは処理対象が画像であることに対応して、カーネルは２次元であり、カーネルサイズの値「ｋ」は“ｋ×ｋ”フィルタであることを意味する。各層の「特徴マップ数」は、当該層にて抽出される特徴マップの数であり、チャネルともよばれる。なお、ストライドは特に記載のない限り１であり、層ごとの記載を省略している。

図７は、ダイレーションモデルの学習検出器に含まれる層を説明する図である。図７の記載も図６の記載に準じているが、ダイレーションモデルにおける「ｃｏｎｖｏｌｕｔｉｏｎ」の層は拡張畳み込み層を示しており、その拡張畳み込み層の設定が拡張係数の欄に示されている。

拡張畳み込み演算についてさらに説明する。図８は、拡張畳み込み演算における層構造の一例を説明する図である。学習用入力画像などの入力画像は空間的に２次元のデータであるが、ここでは図示及び説明の簡素化のため、学習検出器５４への入力データを１次元データに単純化して説明する。具体的には、図８にて一番下に位置する入力層にて水平方向に並ぶ複数の“○”印が入力データを構成する。“○”印で表す入力データの要素３０は、入力画像における画素（又は画素値）に相当する。図８に示される畳み込み層はいわゆる特徴抽出層であり、特徴抽出層に続く層の記載を省略している。

図８に示されるニューラルネットワークは特徴抽出層として７層の畳み込み層を有し、各畳み込み層が拡張畳み込み演算を行う。入力層の上に位置する第１層の畳み込み層は拡張係数ｄ＝１の拡張畳み込み演算を行う。具体的には第１層にて“○”印で表す複数のユニット３１それぞれにて畳み込み演算が行われ、各ユニット３１は入力層の隣り合う２つの要素３０の値に重みを乗じて足し合わせた値を出力する。

第２層の畳み込み層は拡張係数ｄ＝２の拡張畳み込み演算を行う。具体的には第２層にて“○”印で表す複数のユニット３２それぞれにて畳み込み演算が行われ、各ユニット３２は第１層にて１つ置きのユニット３１の出力値に重みを乗じて足し合わせた値を出力する。

また、第３層の畳み込み層は拡張係数ｄ＝３の拡張畳み込み演算を行い、第３層の“○”印で表す各ユニット３３は第２層にて３つ置きのユニット３２の出力値に重みを乗じて足し合わせた値を出力し、第４層の畳み込み層は拡張係数ｄ＝４の拡張畳み込み演算を行い、第４層の“○”印で表す各ユニット３４は第３層にて７つ置きのユニット３３の出力値に重みを乗じて足し合わせた値を出力する。第５層の各ユニット３５は、ｄ＝３の拡張畳み込み演算を行い、また、第６層の各ユニット３６、第７層の各ユニット３７は、それぞれｄ＝２，ｄ＝１の拡張畳み込み演算を行う。

ここで、図８に示す特徴抽出層の構造において、第１層～第４層からなる部分をフロントエンド部と称し、これに続く第５層～第７層からなる部分を局所特徴抽出部と称することにする。フロントエンド部は、入力層に続く複数の畳み込み層であり、フロントエンド部では、当該畳み込み層の並び順に従って拡張係数ｄが特徴抽出層における最大値まで増加する。一方、局所特徴抽出部は、フロントエンド部に続く複数の畳み込み層であり、局所特徴抽出部では当該畳み込み層の並び順に従って拡張係数が減少する。

図８は、第７層の或る１つのユニット３７の出力に畳み込まれる第１層から第６層のユニット及び入力層の接続関係を線で例示している。拡張畳み込み演算では、拡張係数ｄに応じて指数関数的にカーネルの適用範囲が拡張される。例えば、図８のｄ＝１～４の畳み込み演算のカーネルは、いずれも２つの入力を畳み込むフィルタ、つまりサイズが２のフィルタであるが、ｄ＝１のカーネルにより畳み込まれる２つの入力の１次元データの並びでの間隔は１であるのに対して、ｄ＝２のカーネルにより畳み込まれる２つの入力の間隔は２であり、またｄ＝３では当該間隔は４、ｄ＝４では当該間隔は８となる。つまり、間隔は２^ｄ－１に設定されている。

フロントエンド部におけるユニットおよび入力層の接続関係からわかるように、拡張畳み込み演算では、カーネルの適用範囲を拡張することで、少ない層数で受容野を広げることができる。そして、畳み込みだけで受容野を広げるので、一般的なＣＮＮで用いるプーリング層が不要となり、プーリング層による解像度低下を回避できる。また、適用範囲を拡大する一方で、当該範囲内の要素を間引いて残った一部の要素しか畳み込まないことで、重みパラメータの増大が抑制される。

一方、フロントエンド部のように、順に拡張係数ｄが増加するように層を積み重ねる構造は、最上層における近傍ユニット間の相関が弱まるという問題や、入力データのローカルな特徴を拾いにくくなるという問題を有する。局所特徴抽出部はこの問題を解決するために設けられており、フロントエンド部と局所特徴抽出部とを組み合わせることで、第７層のあるユニットにおいて近傍ユニット間の相関が弱まるという問題や、第１層のユニット３１ａ，３１ｂが隣り合っているというローカルな情報を把握できないという問題が解決されている。

言い換えると、フロントエンド部の後に局所特徴抽出部を設けた構成とすることで、フロントエンド部にて拡張畳み込み演算を積極的に利用し解像度を一切落とさずにコンテキストを得ると共に、局所特徴抽出部ではフロントエンド部により分散された局所特徴を集約する。これにより、コンテキストの情報と局所特徴の情報を有効活用でき、小さく密集したオブジェクトも認識可能となっている。

次に、これまでに説明した学習検出器５４を、スケールに応じた学習用入力画像と、その学習用画像に含まれる建物の形状を示す教師データとを用いて学習させる処理の詳細について説明する。

図９は、学習検出器５４を学習させる処理の一例を示すフロー図である。図９には、学習データ取得部５１および学習実行部５２の処理が記載されており、この処理により、学習検出器５４が学習される。また、図９に示される処理は、学習検出器５４ごとに繰り返し回数だけ行われる。

学習データ取得部５１は、記憶部１２に格納された学習用画像を取得する（ステップＳ１０１）。学習用画像は、建物を抽出する処理の対象領域とする地表を撮影した航空写真や衛星画像等（航空写真や衛星画像に基づくオルソ画像であってよい）である。次に、学習データ取得部５１は、学習用画像のサイズを、学習検出器５４のスケールに合わせるように設定する（ステップＳ１０２）。例えば、学習検出器５４のスケールが０．５倍であれば学習用画像を０．５倍に縮小し、スケールが２倍であれば学習用画像を２倍に拡大する。なお、ステップＳ１０２の処理をする代わりに、予めスケールの種類のそれぞれに対応した複数の学習用画像を準備しておき、学習データ取得部５１が学習検出器５４のスケールに対応する画像を読み込んでもよい。

そして、学習実行部５２は、スケールに合わせるように設定された学習用画像から、学習検出器５４に入力する窓画像を切出す（ステップＳ１０３）。窓画像は、Ｐｘ×Ｐｙのサイズであり、１つの学習用画像から、ランダムに位置を選択し、選択した位置をもとに学習用画像から窓画像を切り出す。

学習実行部５２は、学習用画像から切り出された窓画像を入力し、出力を教師データと比較することで学習検出器５４を学習させる（ステップＳ１０４）。

図１０は、窓画像のそれぞれに対する学習実行部５２の処理の一例を示すフロー図であり、ステップＳ１０４の処理をさらに詳細に説明する図である。ステップＳ１０４では、はじめに、学習実行部５２は、学習検出器５４の共通部５４０へ、学習用画像から切り出された窓画像を入力する（ステップＳ１２１）。これにより、学習検出器５４の共通部５４０が窓画像を処理し、さらに共通部５４０の出力を個別部５４１，５４２，５４３が処理する。そして、学習実行部５２は、学習検出器５４の個別部５４１，５４２，５４３のそれぞれの出力画像を取得する（ステップＳ１２２）。ここで、以下では、面積の範囲Ｓに対応する個別部５４１の出力画像を出力画像（Ｓ）、面積の範囲Ｍに対応する個別部５４２の出力画像を出力画像（Ｍ）、面積の範囲Ｌに対応する個別部５４３の出力画像を出力画像（Ｌ）と記載する。また、個別部５４１，５４２，５４３の出力画像をまとめて出力画像（Ｓ，Ｍ，Ｌ）と記載する。ここで、出力画像（Ｓ，Ｍ，Ｌ）の各ドットの値は、建物の領域の存在確率を示している。

次に、学習実行部５２は、学習検出器５４の出力画像（Ｓ，Ｍ，Ｌ）と、教師データとの誤差を算出する（ステップＳ１２３）。ここで、教師データは、学習用画像データに含まれる建物の形状を示す情報である。

図１１は、教師データの一例を示す図である。図１１に示される教師データは、図４に示される窓画像を含む学習用画像に対応しているビットマップ画像である。図１１に示される教師データは、面積が範囲Ｓに属する建物の領域（例えばＡ）と、範囲Ｍに属する建物の領域（例えばＢ）と、範囲Ｌに属する建物の領域（例えばＣ）とが区別されている。教師データは、例えば、建物のない領域のドットの値を０、面積が範囲Ｓ，Ｍ，Ｌの建物の領域のドットの値をそれぞれ１，２，３に設定された画像であってもよい。また、教師データは、面積が範囲Ｓに属する建物の領域のドットの値が１である画像と、面積が範囲Ｍに属する建物の領域のドットの値が１である画像と、面積が範囲Ｌに属する建物の領域のドットの値が１である画像との複数のレイヤーに相当する画像であってもよい。

学習実行部５２は、誤差の算出において、学習用画像の窓画像の中央の１６×１６ドットに相当する位置の画像を教師データから切り出し、そして、出力画像（Ｓ，Ｍ，Ｌ）のそれぞれと、教師データとを比較する。ここで、学習実行部５２は、教師データのうち建物のない領域および範囲Ｓに属する建物の領域については出力画像（Ｓ）との誤差を算出するが、範囲Ｍ，Ｌに属する建物の領域については誤差を算出しない。同様に、学習実行部５２は、範囲Ｓ，Ｌに属する建物の領域について出力画像（Ｍ）との誤差を算出せず、範囲Ｓ，Ｍに属する建物の領域について出力画像（Ｌ）との誤差を算出しない。これにより、個別部５４１，５４２，５４３のそれぞれが、面積の範囲Ｓ，Ｍ，Ｌの建物の検出に適するように学習が進む。

次に、学習実行部５２は、算出された誤差に基づいて、誤差逆伝播法（バックプロパゲーション）などにより、個別部５４１，５４２，５４３における重み等のパラメータの値を変更する（ステップＳ１２４）。また、学習実行部５２は、個別部５４１，５４２，５４３のそれぞれの最上位の層から共通部の最下層に伝播させるべき誤差を積算し（ステップＳ１２５）、積算された誤差に基づいて、誤差逆伝播法などにより、共通部５４０における重み等のパラメータの値を変更する（ステップＳ１２６）。

ステップＳ１０３およびステップＳ１０４（図９）に示される学習の処理は、ある学習用画像から学習に用いるすべての窓画像が取得されるまで繰り返される。この処理のセットは、すべての学習検出器５４のそれぞれに対して繰り返し行われ、それにより、各学習検出器５４が学習される。ここで、ステップＳ１０３の処理の代わりに、学習に用いる複数の窓画像をまとめて切り出す処理を行ってもよい。この場合、窓画像を入力し学習検出器５４を学習させる処理が切り出された窓画像のそれぞれについて行われるように、ステップＳ１０４の処理が繰り返し実行されてよい。

次に、学習済の学習検出器５４を評価し、実際に処理対象画像から建物の領域を抽出する処理を実行させるための学習検出器５４を実行検出器６２，６３，６４として選択する処理の詳細について説明する。

図１２は、学習検出器５４を評価する処理の一例を示すフロー図である。この処理では、はじめに、評価データ取得部５６は、記憶部１２から評価用画像および正解データを取得する（ステップＳ２０１）。評価用画像は学習用画像と同じであってもよく、異なってもよい。評価用画像の縮尺は学習用画像と同じである。正解データは評価用画像のうち面積の範囲Ｓ，Ｍ，Ｌのそれぞれに属する建物の領域を示す画像であり、評価用画像と学習用画像とが同じ場合は、正解データは教師データであってよい。また、図１２には図示されていないが、評価データ取得部５６は、学習データ取得部５１と同様に、評価用画像のサイズを学習検出器５４のスケールに合わせるように設定する。

次に、評価実行部５７は、評価用画像から、学習検出器５４に入力する窓画像を切出す（ステップＳ２０２）。より具体的には、評価実行部５７は、切り出される領域がこれまでに切り出された窓領域と比べて所定数のドットがずれるように窓画像を切り出す。所定数のドットは１ドット以上、１６ドット以下の任意の大きさとすることができる。所定数の上限である１６は、学習検出器５４の出力が１６×１６ドットの画像であることに対応している。所定数は学習検出器５４の出力の縦または横の大きさ以下である。評価実行部５７は、評価用画像から切り出された窓画像を学習検出器５４へ入力し（ステップＳ２０３）、学習検出器５４の個別部５４１，５４２，５４３のそれぞれの出力画像（Ｓ，Ｍ，Ｌ）を取得する（ステップＳ２０４）。ここで、評価実行部５７は、取得された出力画像を、各ドットの存在確率の値が閾値より大きいか小さいかに基づいて２値化し、２値化された出力画像を記憶部１２に格納する。以下の処理では、出力画像は２値化された出力画像を指すものとする。そして、すべての窓画像について学習検出器５４の処理を行うまで、ステップＳ２０２からＳ２０４の処理を繰り返す（ステップＳ２０５参照）。

すべての窓画像についての出力画像（Ｓ，Ｍ，Ｌ）が得られると、評価実行部５７は、それらの窓画像に対応する位置に出力画像（Ｓ）が配置された全体画像（Ｓ）と、それらの窓画像に対応する位置に出力画像（Ｍ）が配置された全体画像（Ｍ）と、それらの窓画像に対応する位置に出力画像（Ｌ）が配置された全体画像（Ｌ）と、を生成する（ステップＳ２０６）。より具体的には、評価実行部５７は出力画像（Ｓ，Ｍ，Ｌ）を窓画像の配置に対応するように互いに所定数のドットずれるように配置することで、全体画像（Ｓ，Ｍ，Ｌ）を生成する。ここで、窓画像を切出す際のずれの大きさである所定数のドットが１６ドットより小さい場合、各窓画像から得られる出力画像（Ｓ，Ｍ，Ｌ）のうち少なくとも一部のドットが他の窓画像についての出力画像（Ｓ，Ｍ，Ｌ）と重なる。評価実行部５７は、複数の窓画像の出力において位置が重なるドットについては、出力画像のドットの値が平均された平均値を全体画像（Ｓ，Ｍ，Ｌ）におけるドットの値とする。これにより、隣り合う出力画像（Ｓ，Ｍ，Ｌ）の境界が滑らかにつながらない場合であっても、それに起因する不整合が全体画像に表れることを防ぐことができる。

そして、評価実行部５７は全体画像と正解データとを比較し、学習検出器５４の個別部５４１，５４２，５４３のそれぞれについて精度を評価する（ステップＳ２０７）。精度の評価は、例えば、評価実行部５７は正解データのうち面積の範囲Ｓに属する建物が存在する領域に、出力画像（Ｓ）において建物と判定された領域が存在する割合（Ｒｅｃａｌｌ）を求めることで行う。評価実行部５７は、正解データのうち面積の範囲Ｍ，Ｌに属する建物の領域と、出力画像（Ｍ）、出力画像（Ｌ）に存在する建物の領域とにおいても、同様に精度を評価する。

ステップＳ２０２からステップＳ２０７の処理により、１つの学習検出器５４の精度が評価される。そして、評価実行部５７は、すべての学習検出器５４について精度を評価していない場合、ステップＳ２０２からの処理を繰り返し（ステップＳ２０８）、これにより、評価実行部５７は、すべての学習検出器５４の精度を評価する。

図１３は、評価実行部５７による評価結果を示す図である。図１３における「Ｎｏ」は、図３に示されるものと同じく、学習検出器５４に振られた番号を示す。図１３の例では、面積の範囲がＳである、個別部５４１の出力については、スケールが１．０倍かつダイレーションモデルである学習検出器５４が最も精度がよい。また、面積の範囲がＭである個別部５４２の出力については、スケールが１．０倍かつプーリングモデルの学習検出器５４が最も精度がよく、面積の範囲がＬである個別部５４３の出力については、スケールが０．５倍かつプーリングモデルの学習検出器５４が最も精度がよい。

学習検出器５４の精度が評価されると、検出器選択部５８は、面積の範囲Ｓ，Ｍ，Ｌのそれぞれについて、最も精度の高い学習検出器５４を、実行検出器６２，６３，６４として選択する（ステップＳ２０９）。実行検出器６２は、面積の範囲Ｓについて最も精度の高い学習検出器５４に含まれる、共通部５４０（以下では共通部６２０という）と個別部５４１（以下では個別部６２１という）との組み合わせである。実行検出器６３は、面積の範囲Ｍについて最も精度の高い学習検出器５４に含まれる、共通部５４０（以下では共通部６３０という）と個別部５４２（以下では個別部６３１という）との組み合わせである。実行検出器６４は、面積の範囲Ｌについて元も精度の高い学習検出器５４に含まれる、共通部５４０（以下では共通部６４０という）と個別部５４３（以下では個別部６４１という）との組み合わせである。

ここで、図１３の記載からもわかるように、ダイレーションモデルはプーリングモデルに比べて小さな変化をとらえやすい傾向があるため、面積の範囲（の最大値）が小さいものではダイレーションモデルが有利になり、面積の範囲が大きいものではプーリングモデルが有利になる。また、スケールが小さいと細かな情報が減る一方、大規模な建物の形状を判定しやすくなる傾向がある。そのため、面積の範囲（の最大値）が小さいものではスケールが大きい方が有利になり、面積の範囲が大きいものではスケールが小さい方が有利になる。

したがって、図１３の例においても、面積の範囲の最大値が小さいものに対応する実行検出器６２として、スケールが大きめの１．０倍であり、ダイレーションモデルである学習検出器５４が選択され、面積の範囲の最大値が大きいものに対応する実行検出器６４として、スケールが小さめの０．５倍であり、プーリングモデルである学習検出器５４が選択されている。

検出器選択部５８は、単に後述の対象データ入力部６５が処理対象画像を入力し出力画像を取得する対象となる学習検出器５４を示す情報を記憶部１２に保存することで、学習検出器５４を選択してもよいし、実行検出器６２，６３，６４の実体として、選択された学習検出器５４の共通部５４０、個別部５４１等をコピーすることで学習検出器５４を実行検出器６２，６３，６４として選択してもよい。

次に、実行検出器６２，６３，６４を用いて、処理対象画像から建物の領域を判定する処理について説明する。図１４は、建物の領域を判定する処理の概要を説明する図である。

はじめに、対象データ入力部６５は、処理対象画像を面積の範囲Ｓに適した実行検出器６２に入力し、出力取得部６６は、実行検出器６２の出力に基づいて全体出力画像（Ｓ）を取得する（ステップＳ３０１）。全体出力画像（Ｓ）は、処理対象画像の全体について、実行検出器６２により建物が存在すると判定された領域を示す画像である。後述の全体出力画像（Ｍ）、全体出力画像（Ｌ）は、同様に、それぞれ、実行検出器６３，６４により建物が存在すると判定された領域を示す画像である。

図１５は、処理対象画像から全体出力画像を生成する処理の流れを示すフロー図であり、ステップＳ３０１の処理を詳細に説明する図である。はじめに、対象データ入力部６５は、処理対象画像のスケールを、実行検出器６２に設定されたスケールに合わせる（ステップＳ３２１）。対象データ入力部６５は、処理対象画像のスケールと実行検出器６２のスケールが異なる場合には処理対象画像を拡大または縮小することにより、スケールを合わせる。次に、対象データ入力部６５は、スケールが合わせられた処理対象画像から窓画像を切出す（ステップＳ３２２）。窓画像のサイズや処理対象画像から窓画像を切出す手法については、評価用画像から窓画像を切出す手法と同じであるので説明を省略する。次に、対象データ入力部６５は、実行検出器６２へ窓画像を入力する（ステップＳ３２３）。すると、実行検出器６２は、入力された窓画像について建物の領域を検出する処理を行い、出力取得部６６は、実行検出器６２の出力画像を取得する（ステップＳ３２４）。ここで、図示していないが、出力取得部６６は、取得された出力画像を、各ドットの存在確率の値が閾値より大きいか小さいかに基づいて２値化し、２値化された出力画像を記憶部１２に格納する。以下の処理では、出力画像は２値化された出力画像を指すものとする。そして、すべての窓画像について学習検出器５４の処理を行うまで、ステップＳ３２２からＳ３２４の処理を繰り返す（ステップＳ３２５参照）。

なお、建物検出器が実行検出器６２，６３，６４の個別部６２１，６３１，６４１に対応し、建物検出器へ入力される処理対象画像の特徴情報が、それぞれ共通部６２０，６３０，６４０の出力であってよい。なお、学習検出器５４や実行検出器６２，６３，６４は、共通部５４０，６２０、６３０，６４０を含まなくてもよい。この場合、面積の範囲Ｓ、Ｍ、Ｌのそれぞれについて学習用入力画像や処理対象画像が入力され、建物検出器へ入力される処理対象画像の特徴情報は、単なる処理対象画像やその窓画像であってよい。

すべての窓画像についての出力画像が得られると、評価実行部５７は、それらの窓画像に対応する位置に出力画像が配置された全体出力画像（Ｓ）を生成する（ステップＳ３２６）。

次に、フィルタ部６７は、全体出力画像（Ｓ）に、面積に基づくフィルタをかける（ステップＳ３０２）。この処理は、より具体的には、フィルタ部６７は、全体出力画像（Ｓ）において建物が存在すると判定された領域の面積（領域のドット数とスケールから求められる）を算出し、その面積が面積の範囲Ｓに応じた許容範囲にない領域を全体出力画像（Ｓ）から削除する。具体的には許容範囲は、８９．２ｍ^２未満である。なお、フィルタ部６７の処理は行われなくてもよい。

また、対象データ入力部６５は、処理対象画像を面積の範囲Ｍに適した実行検出器６３に入力し、出力取得部６６は、実行検出器６３の出力に基づいて全体出力画像（Ｍ）を取得する（ステップＳ３０３）。この処理の詳細は、実行検出器６２から全体出力画像（Ｓ）を取得する処理と同様であるので詳細の説明は省略する。

次に、フィルタ部６７は、全体出力画像（Ｍ）に、面積に基づくフィルタをかける（ステップＳ３０４）。この処理は、より具体的には、フィルタ部６７は、全体出力画像（Ｍ）において建物が存在すると判定された領域の面積（領域のドット数とスケールから求められる）を算出し、その面積が面積の範囲Ｍに応じた許容範囲にない領域を全体出力画像（Ｍ）から削除する。具体的には許容範囲は、２２．３ｍ^２以上８９．２ｍ^２未満である。

また、対象データ入力部６５は、処理対象画像を面積の範囲Ｌに適した実行検出器６４に入力し、出力取得部６６は、実行検出器６４の出力に基づいて全体出力画像（Ｌ）を取得する（ステップＳ３０５）。この処理の詳細は、実行検出器６２から全体出力画像（Ｌ）を取得する処理と同様であるので詳細の説明は省略する。

次に、フィルタ部６７は、全体出力画像（Ｌ）に、面積に基づくフィルタをかける（ステップＳ３０６）。この処理は、より具体的には、フィルタ部６７は、全体出力画像（Ｌ）において建物が存在すると判定された領域の面積（領域のドット数とスケールから求められる）を算出し、その面積が面積の範囲Ｌに応じた許容範囲にない領域を全体出力画像（Ｍ）から削除する。具体的には許容範囲は、６５．４ｍ^２以上である。

そして、統合部６８は、全体出力画像（Ｓ）、全体出力画像（Ｍ）、全体出力画像（Ｌ）の縮尺が一致するように、これらのうち少なくとも１つを拡大または縮小する処理を実行する（ステップＳ３０７）。なお、この処理は、フィルタ部６７の処理の前に行われてもよい。

統合部６８は、その処理がなされた全体出力画像（Ｓ）、全体出力画像（Ｍ）、全体出力画像（Ｌ）を統合する（ステップＳ３０８）。言い換えると、統合部６８は、全体出力画像（Ｓ）、全体出力画像（Ｍ）、全体出力画像（Ｌ）のいずれかにおいて建物と認識された領域を、建物のある領域と判定し、その判定がされた領域を示す統合された画像を生成する。より具体的には、統合部６８は、フィルタされた全体出力画像（Ｓ）、全体出力画像（Ｍ）、全体出力画像（Ｌ）の各ドットの論理和をとることで、統合された画像を生成する。ここで、全体出力画像（Ｓ）、全体出力画像（Ｍ）、全体出力画像（Ｌ）の各ドットは、建物が存在すると判定された領域において１であり、そうでない領域において０であるとする。

そして、画像出力部６９は、統合部６８により生成された画像を記憶部１２や表示出力デバイスへ出力する。

面積の範囲Ｓ，Ｍ，Ｌのそれぞれに好適なスケールやモデルの種類を有する実行検出器６２，６３，６４を用いて建物の領域が判定された画像を取得し、さらに統合部６８によりそれらの画像を統合することで、処理対象画像から判定される建物の精度を向上させ、特に見逃しを減らすことができる。

例えば、図１３に示される評価結果に基づいて、検出器選択部５８が、実行検出器６２，６３，６４として、それぞれ、スケールが１．０倍かつダイレーションモデル、スケールが１．０倍でプーリングモデル、スケールが０．５倍でプーリングモデルの学習検出器５４を選択した場合、ある実験では、見逃しの指標であるＲｅｃａｌｌの値が８７．０％であり、実行検出器６２，６３，６４として、どれもスケールが１．０倍でプーリングモデルとした場合における値である８２．０％や、実行検出器６２，６３，６４として、どれもスケールが１．０倍でダイレーションモデルとした場合における値である８３．８％を上回っている。ここで、Ｒｅｃａｌｌの値は、正解として与えられる建物の領域のうち、建物が存在すると判定された領域の数を、正解として与えられる建物の領域の数でわった数である。建物の領域の判定において、見落としを減らすことは一般的に容易ではないので、この効果は非常に大きいものとなる。

これまでに説明した実行検出器６２，６３，６４を組み合わせた建築物抽出システムを用いることで、航空写真や衛星画像といったリモートセンシング画像から様々なサイズの構造物や建築物等をより高精度に認識できるようになる。そして、建築物抽出システムを、建物の新築や滅失などの把握に利用することができ、家屋異動に関する統計の基礎情報の取得を可能とする。さらに、建物領域を精度良く抽出可能となることで、個々の建物の時間的変移をより容易に把握し、また、抽出された建物領域の大きさや形状から建物の詳細属性（例えば、戸建、マンション、工場といった建物の種類）を判別することもより容易になる。

そして、画像からの建物に関するこれらの情報抽出作業の自動化が図られることで、広範囲の地表を処理対象とした当該作業を低コストで高速に行うことが可能となる。

これまでに、本発明の実施形態について説明してきたが、本発明の趣旨の範囲内で様々な変形をすることができる。例えば、面積の範囲が３つではなく、２つや４つ以上でもよい。また、モデルの種類の数やスケールの種類の数が異なっていてもよい。また、個別部は建物の面積の範囲に応じて最適化されなくてもよい。例えば建物の高さなど、他の手法で分類されたグループに応じて個別部が最適化されてもよい。

１学習サーバ、１１プロセッサ、１２記憶部、１３通信部、１４入出力部、３０要素、３１,３２，３３，３４，３５，３６，３７ユニット、５１学習データ取得部、５２学習実行部、５３学習検出器セット、５４学習検出器、５４０共通部、５４１，５４２，５４３個別部、５６評価データ取得部、５７評価実行部、５８検出器選択部、６１実行検出器セット、６２，６３，６４実行検出器、６２０，６３０，６４０共通部、６２１，６３１，６４１個別部、６５対象データ入力部、６６出力取得部、６７フィルタ部、６８統合部、６９画像出力部。

Claims

第１のグループに属する複数の建物について、学習用入力画像と、当該学習用入力画像に含まれる当該複数の建物の形状を示す情報の教師データとを用いて学習された第１の建物検出器と、
前記第１のグループと異なる第２のグループに属する複数の建物について、学習用入力画像と、当該複数の建物の形状を示す情報の教師データとを用いて学習された第２の建物検出器と、
地表上の学習対象領域が上空から撮影された入力画像の特徴情報を、前記第１の建物検出器および前記第２の建物検出器に入力する入力部と、
前記入力された入力画像の特徴情報に対する、前記第１の建物検出器の出力と前記第２の建物検出器の出力とを統合する統合部と、
を含み、
前記第１の建物検出器および第２の建物検出器は、互いに異なる種類のニューラルネットワークを含み、
前記第１のグループに属する複数の建物の面積は、第１の範囲に属し、
前記第２のグループに属する複数の建物の面積は、第２の範囲に属し、
前記第１の範囲の最大値は、前記第２の範囲の最大値より小さく、
前記第１の範囲の最小値は、前記第２の範囲の最小値より小さく、
前記第１の建物検出器は、拡張畳み込み演算を行う畳み込み層を含み、
前記第２の建物検出器は、プーリング層を含む、
建築物抽出システム。
第１のグループに属する複数の建物について、学習用入力画像と、当該学習用入力画像に含まれる当該複数の建物の形状を示す情報の教師データとを用いて学習された第１の建物検出器と、
前記第１のグループと異なる第２のグループに属する複数の建物について、学習用入力画像と、当該複数の建物の形状を示す情報の教師データとを用いて学習された第２の建物検出器と、
地表上の学習対象領域が上空から撮影された入力画像の特徴情報を、前記第１の建物検出器および前記第２の建物検出器に入力する入力部と、
前記入力された入力画像の特徴情報に対する、前記第１の建物検出器の出力と前記第２の建物検出器の出力とを統合する統合部と、
を含み、
前記第１のグループに属する複数の建物の面積は、第１の範囲に属し、
前記第２のグループに属する複数の建物の面積は、前記第１の範囲と異なる第２の範囲に属し、
前記第１の範囲の最大値は、前記第２の範囲の最大値より小さく、
前記第１の範囲の最小値は、前記第２の範囲の最小値より小さく、
前記第１のグループおよび前記第２のグループを含む複数のグループのそれぞれについて設けられ、互いに異なる種類のニューラルネットワークを含む第１の候補検出器および第２の候補検出器と、
前記複数のグループのそれぞれについて、第１の種類のニューラルネットワークを含み、前記学習用入力画像と、前記学習用入力画像に含まれる当該グループに属する複数の建物の形状を示す情報の教師データとを用いて学習された前記第１の候補検出器と、第２の種類のニューラルネットワークを含み、前記学習用入力画像と、前記学習用入力画像に含まれる当該グループに属する複数の建物の形状を示す情報の教師データとを用いて学習された前記第２の候補検出器とのそれぞれの、建物の形状の検出精度を評価する評価部と、
前記評価部により評価された検出精度に基づいて、前記第１のグループについて設けられる前記第１の候補検出器および前記第２の候補検出器のうち一つを、前記第１の建物検出器として選択し、前記第２のグループについて設けられる前記第１の候補検出器および前記第２の候補検出器のうち一つを、前記第２の建物検出器として選択する検出器選択部と、
をさらに含む、
建築物抽出システム。
請求項１または２に記載の建築物抽出システムにおいて、
前記第１の建物検出器の出力に含まれる建物、および、前記第２の建物検出器の出力に含まれる建物を面積に基づいて除去するフィルタをさらに含む、
建築物抽出システム。
請求項１から３のいずれかに記載の建築物抽出システムにおいて、
前記統合部は、前記入力された入力画像の特徴情報に対する、前記第１の建物検出器の出力と前記第２の建物検出器の出力とのいずれかにおいて建物と認識された領域を、建物のある領域と判定する、
建築物抽出システム。