JP6808787B1 - 建物変化識別装置及びプログラム - Google Patents

Abstract

【課題】より容易かつ確実に建物の時間的な変化を識別することのできる建物変化識別装置及びプログラムを提供する。【解決手段】建物変化識別装置は、上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに、各々建物の部分である確率を算出する算出部と、対応する画像範囲でそれぞれ算出された確率の分布に基づいて、画像の間での建物の変化種別を特定する変化特定部と、を備える。【選択図】図２

Description

この発明は、建物変化識別装置及びプログラムに関する。

従来異なる時期に上空から撮影された俯瞰画像の差分などに基づいて、建物の変化、すなわち、新築、改築、増築又は滅失などを検出し、識別する技術がある。しかしながら、俯瞰画像では、撮影の季節、時間帯及び天気などの影響により、撮影画像における各波長の輝度が大きく変化して建物の変化が誤検出される場合があるという問題がある。

特許文献１では、別途取得される地表面の高度データ（ＤＳＭ：Digital Surface Model）を画像データと対応付けて合成することで、高さの変化の検出により、より精度よく建物の変化を検出する技術が開示されている。

特開２０１６−９９３１６号公報

しかしながら、高度データを撮影データと別途取得して合成するには手間がかかり、コストや所要時間が増加する。また、高度データが撮影データと同時期に生成されているとは限らないので、使用に制限があるという課題がある。

この発明の目的は、より容易かつ確実に建物の時間的な変化を識別することのできる建物変化識別装置及びプログラムを提供することにある。

上記目的を達成するため、本発明の一の態様は、
上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに、各々建物の部分である確率を算出する算出部と、
前記画像の対応する範囲でそれぞれ算出された前記確率の分布の差異を識別して、前記画像の間での建物の変化種別を特定する変化特定部と、
を備えることを特徴とする建物変化識別装置である。

また、本発明の他の一の態様は、
コンピュータを、
上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに、各々建物の部分である確率を算出する算出手段、
前記画像の対応する範囲でそれぞれ算出された前記確率の分布の差異を識別して、前記画像の間での建物の変化種別を特定する変化特定手段、
として機能させることを特徴とするプログラムである。

本発明に従うと、より容易かつ確実に建物の時間的な変化を識別することができるという効果がある。

処理装置の機能構成を示すブロック図である。 建物形状の変化検出に係る処理の流れを示す図である。 旧撮影画像及び建物確率分布を模式的に説明する図である。 新撮影画像及び建物確率分布を模式的に説明する図である。 建物変化検出処理の制御手順を示すフローチャートである。 建物抽出モデル学習処理の制御手順、及び変化特定モデル学習処理の制御手順をそれぞれ示すフローチャートである。 第２実施形態の処理装置の機能構成を示すブロック図である。 第２実施形態の処理装置で実行される建物変化検出処理の制御手順を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の建物変化識別装置である処理装置１の機能構成を示すブロック図である。

処理装置１は、通常のコンピュータ（ＰＣ）であってよい。処理装置１は、制御部１１と、記憶部１２と、入出力インターフェイス１３（Ｉ／Ｆ）と、操作受付部１４と、表示部１５などを備える。

制御部１１は、各種演算処理を行うプロセッサであり、例えば、ＣＰＵ（Central Processing Unit）などを備える。ＣＰＵは、記憶部１２からプログラムなどを読み込んで実行することで各種制御処理を行う。

記憶部１２は、各種データを記憶するメモリである。メモリには、ＲＡＭと不揮発性メモリとが含まれる。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供し、一時データを記憶する。不揮発性メモリは、プログラム、設定データ及び建物変化識別結果のデータなどを記憶保持する。不揮発性メモリにはフラッシュメモリが含まれ、あるいは、これに代えて又は加えてＨＤＤ（Hard Disk Drive）などが含まれてもよい。また、初期制御プログラムなどは、ＲＯＭ（Read Only Memory）に格納されていてもよい。プログラムには、後述の建物変化検出処理に係るプログラム１２１、並びに当該プログラム１２１で用いられる（実行内容の一部である）第１学習済モデル１２２及び第２学習済モデル１２３が含まれる。

入出力インターフェイス１３は、周辺機器と接続するための接続端子１３１及び外部機器との間で信号の送受信を行うための通信部１３２などを備える。周辺機器としては、大型の補助記憶装置、例えば、データベース装置２１、並びにＣＤＲＯＭ、ＤＶＤ及びＢｌｕ−ｒａｙ（登録商標）などの可搬型記憶媒体（光学ディスク）を読み取る光学読取装置２２などが挙げられる。また、可搬型記憶媒体に磁気テープが含まれ、この磁気テープを読み取る読取装置が周辺機器に含まれてもよい。接続端子には、ＵＳＢ（Universal Serial Bus）など各種規格に応じたものが含まれてよい。あるいは、ＬＡＮ（Local Area Network）などのネットワーク回線を介して通信部が外部から取得するものであってもよい。データベース装置２１及び／又は可搬型記憶媒体に記憶されたデータには、第１学習済モデル１２２の生成に用いられる第１学習データ２０１、第２学習済モデル１２３の生成に用いられる第２学習データ２０２、及び建物変化検出処理に係るプログラム１２１により建物の変化の検出対象となる旧撮影画像データ２０３及び新撮影画像データ２０４などが含まれる。新撮影画像データ２０４は、旧撮影画像データ２０３よりも後（異なる時期）に同一の範囲を含んで撮影された画像のデータである。

旧撮影画像データ２０３及び新撮影画像データ２０４は、上空から俯瞰して（見下ろして）撮影された航空写真及び衛星写真などの可視光画像（撮影画像）のデータである。これらのデータは、オルソ補正がなされた画像（オルソ画像）であってもよい。また、旧撮影画像データ２０３及び新撮影画像データ２０４では、通常、撮影された日付（季節）及び時間帯（日付と時間帯をまとめて時期と記す）、並びに撮影を行った正確な位置などのうち少なくとも一部が互いに異なる。

第１学習データ２０１は、適宜なサイズの過去の撮影画像データである。第１学習データ２０１は、建物の部分とそれ以外とを判別するための機械学習モデルを学習させて第１学習済モデル１２２を生成するデータであり、各画素（各単位領域）が建物の部分であるか否か（建物範囲の内外）をそれぞれ示す２値データが教師データとして付されている。

第２学習データ２０２は、２枚の同一エリアの撮影画像間で対象の建物の変化種別を識別する機械学習モデルを学習させて第２学習済モデル１２３を生成するデータである。第２学習データ２０２は、同一エリアの２枚の画像の組からなり、各組のエリアには、それぞれ対象とする建物が一つ定められている。対象とする建物は、例えば、エリアの中央に位置する建物であってよい。第２学習データ２０２には、各組の画像ごとに建物の変化種別を示す情報が教師データとして含まれている。

第１学習データ２０１及び第２学習データ２０２の教師データは、それぞれ、第１学習データ２０１及び第２学習データ２０２と別個のファイルで保持されていてもよい。第１学習データ２０１では、画像内に複数の建物が含まれていてよい。第２学習データ２０２では、対象の建物以外の建物が含まれていても、それらは変化種別に対して考慮されない。

操作受付部１４は、例えば、キーボードやマウスなどの入力デバイスを備え、ユーザなど外部からの入力操作を受け付ける。入力デバイスには、タッチパネル（タッチセンサ）などが含まれていてもよい。

表示部１５は、制御部１１の制御により表示画面にメニュー、ステータス及び処理結果などの表示を行わせる。表示画面は、特には限られないが、例えば、液晶表示画面である。操作受付部１４がタッチパネルを有する場合には、表示画面は、当該タッチパネル（タッチセンサ）と重ねて設けられる。

次に、建物形状の変化検出動作について説明する。
図２は、本実施形態の建物形状の変化検出に係る処理の流れを示す図である。

旧撮影画像データ２０３及び新撮影画像データ２０４は、取得されて読み込まれると、それぞれ第１学習済モデル１２２に入力されて、各々、各画素（各単位領域）が建物の部分である確率を示すマップデータ（建物確率分布データ）が出力される（ＰＲ１：後述の建物変化検出処理におけるステップＳ１０１〜Ｓ１０３に対応。ＰＲ２：同処理のステップＳ１０４〜Ｓ１０６に対応）。確率は０〜１の間の値であり、適宜な精度、例えば、８ビットで表現されればよい。各画素についての当該８ビットの値が２５６段階の画素値と等価、すなわち確率に応じた濃淡画像と同等に扱われて以降の処理が行われる。これらＰＲ１、ＰＲ２の処理が算出部（算出手段）を構成する。

第１学習済モデル１２２には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）が用いられる。ＣＮＮは、特徴抽出部と判別部を有する。特徴抽出部では、入力された画像データが予め設計された回数畳み込み（及びプーリング）されて、特徴マップが生成される。判別部では、得られた特徴マップの全要素が全結合されるなどによって各画素が建物の部分である確率を算出し、建物確率分布データを出力する。畳み込みのフィルタ係数及び全結合の重み付け係数などは、第1学習済モデル１２２の学習、生成時に定められる。

得られた建物確率分布データから、例えば、建物である確率が基準値以上である画素を検出し、当該基準値以上の確率の画素位置が連続するひとつながりの画素（所定の条件を満たす画素）の範囲、すなわち、建物範囲を含むエリア（判定領域）を設定、抽出する（ＰＲ３：領域設定部。後述の建物変化検出処理におけるステップＳ１０７に対応）。この建物範囲は、建物を抽出するための基準となるものであって、高精度で境界を特定する必要はない。このとき、建物の改築などによる拡大や移動を考慮して、建物サイズに対して所定の余裕（余分領域）を含めてエリアが設定される。例えば、エリアのサイズは、建物の縦幅又は横幅のうち大きい方を更に所定の係数倍（係数は１より若干大きく、例えば、１．０１〜１．５０など）した縦横幅を有する正方形とされる。また、対象となる建物を特定するために、例えば、エリアの中央が対象となる建物の範囲内であるように（例えば、建物の重心位置（確率に応じた重み付けであってもよいし、確率が基準値以上のエリア内の各画素に均等な重みを付したものであってもよい）がエリアの中央と一致するなど）設定される。エリアに一部又は全部が含まれた対象外の建物は、別個に当該建物を対象として中央に配置されるようにエリアが設定されればよい。

旧撮影画像データ２０３（一方の画像）に係る建物確率分布データで設定されたエリアと同一エリアが新撮影画像データ２０４に係る建物確率分布データでも設定される。両データで同一エリア（対応する範囲）に設定されたこれらの判定領域データ（入力データ）の組は、第２学習済モデル１２３（変化特定部が有する学習済モデル）に順次入力されて、各々確率の分布に基づいて対象の建物の変化種別（変化の有無及び変化の内容）の特定、出力がなされる（ＰＲ４：変化特定部、変化特定手段。後述の建物変化検出処理のステップＳ１０８〜Ｓ１１１に対応）。変化の種別には、例えば、新築、改築、及び滅失が含まれる。新築は、旧撮影画像データ２０３に建物がない位置に新撮影画像データ２０４では建物が築かれている状態である。改築は、旧撮影画像データ２０３に建物があった位置に新撮影画像データ２０４では異なる形状の建物が存在する状態であって、元の建物の増築又は一部取り壊しなども含む。滅失は、旧撮影画像データ２０３で建物があった位置に新撮影画像データ２０４で建物がない状態であって、取り壊し及び災害などによる消失が含まれる。本実施形態の処理装置１では、これら３種類に加えて「変化なし」が第２学習済モデル１２３から出力され得る。

なお、新築の場合には旧撮影画像データ２０３でエリア設定がなされない。新撮影画像データ２０４で別個に特定された（新撮影画像データ２０４が一方の画像となる）建物の確率が基準以上の画素範囲を抽出し、旧撮影画像データ２０３に対応して設定されたエリアと重複しない場合には、新撮影画像データ２０４で抽出された当該画素範囲に応じたエリアが両画像データに追加設定されてよい。

建物のサイズは各々異なるので、設定エリア（判定領域）のデータは、所定の画素数のエリアに縮尺変換される。この所定の画素数で定められるエリアは、第２学習済モデル１２３への入力サイズとして予め定められたサイズ（固定サイズ）である。すなわち、大きい建物は縮小され、小さい建物は拡大されて、データ上では同程度の大きさとなる。拡大時には、適宜線形補間などで画素が追加されてよく、縮小時には、重み付け平均などで複数画素が統合されてよい。

第２学習済モデル１２３では、例えば、ＣＮＮが用いられている。１組２枚の判定領域データは、２次元面に対して垂直な方向に重ねられて、３次元データとして特徴抽出部に入力され、予め定められたフィルタサイズに応じた畳み込み（及びプーリング）が所定回数なされればよい。特徴抽出部で得られた特徴マップの各データが判別部に入力され、判別対象とされる建物の変化種別の各確率を各々算出する。ここでは、得られた確率のうち、例えば、最大のものが選択されて変化種別の識別結果として出力されてよい。

図３は、旧撮影画像及び建物確率分布を模式的に説明する図である。
図３（ａ）に示すように、例えば、旧撮影画像に建物Ａ１〜Ａ３、Ｂ２の屋根などが写っている。このうち建物Ａ１は、突出部分Ａ１ｃ、Ａ１ｄなどを有している。屋根には、その傾きと日射方向との関係により、日の当たっている部分Ａ１ａと日陰部分Ａ１ｂとが存在し、反射光量の違いにより、撮影データ上では異なる輝度及び色調となっている。また、建物Ａ１などの影Ｃ１が生じている。

この撮影画像のデータを第１学習済モデル１２２に入力して、各画素に対応する部分が建物に含まれる確率を算出することで、スカラー値の確率として一次元的な定量評価値の分布が得られる。例えば、図３（ｂ）に示すように、屋根は輝度の違いにかかわらず適切に建物であるとして高確率（白色）で求められている。これらの日照などの影響は、機械学習時に織り込まれて、第１学習済モデル１２２を用いて建物の確率分布として表すことで、通常、無視できる程度の差に収まる。ここでは、突出部分Ａ１ｃ、Ａ１ｄのように、建物の構造に応じて屋根部分よりも若干確率が低くなる部分や、建物Ａ１に続く影Ｃ１に応じて建物である確率が若干上がる部分などが生じているものとして示しているが、これらも、屋根との材質、位置、影のかかり方の相違、学習状況などに応じて正確に判断し得る場合がある。

図４は、新撮影画像及び建物確率分布を模式的に説明する図である。
図４（ａ）に示すように、上記建物Ａ１〜Ａ３に対して異なる時期、時間帯及び天気の状態（ここでは、例えば薄曇りなどで図３に示した例よりも濃淡の差が小さい）で撮影を行うと、屋根のうち日の当たる面と日陰の面が異なっていたり、また、日光の反射が小さくなって屋根の色調が変化したりする。ここでは、建物Ａ１に対し、さらに増築部分Ａ１ｅが示されている。図４（ｂ）に示すように、日照などの影響は、旧撮影画像と同様に第１学習済モデル１２２により概ね確実に識別された確率値が算出される。すなわち、異なる時期に撮影された画像に写る建物をその確率分布間で比較することで、影や見かけ上の色調などの違いの影響が除去されて、より適切に建物の形状を判断することができるようになる。増築部分Ａ１ｅは、新撮影画像において建物である確率が旧撮影画像よりも大きく確率が上昇しており、影Ｃ１との差分が第２学習済モデル１２３により特定されて改築（増築）の識別がなされる。また、いずれの場合も、建物の輪郭部分で確率値が漸減しているが、旧撮影画像と新撮影画像との間で同様の特性を示すことから、この輪郭を確実に決めずともその漸減パターンの類似性などに基づいて変化種別が判断され得る。工事などに伴って一方の外壁にシートや足場が設けられた場合などには、輪郭の位置としては大きく変わらなくともこの確率の漸減パターンが変化するなどにより識別が可能である。

図５は、本実施形態の処理装置１で実行される建物変化検出処理の制御部１１による制御手順を示すフローチャートである。この建物変化検出処理は、例えば、操作受付部１４が開始命令を受け付けることで開始される。

建物変化検出処理が開始されると、制御部１１は、旧撮影画像データ２０３を取得する（ステップＳ１０１）。制御部１１は、取得した画像データを第１学習済モデル１２２に入力して（ステップＳ１０２）、当該第１学習済モデル１２２から出力された建物確率分布データを取得する（ステップＳ１０３）。

制御部１１は、新撮影画像データ２０４を取得する（ステップＳ１０４）。制御部１１は、取得した画像データを第１学習済モデル１２２に入力して（ステップＳ１０５）、当該第１学習済モデル１２２から出力された建物確率分布データを取得する（ステップＳ１０６）。

制御部１１は、取得された２枚の建物確率分布データからそれぞれ所定の確率基準値以上の画素を検出し、ひとつながりの領域をまとめて建物範囲として特定する。制御部１１は、建物範囲を含み、周囲に上述の余分領域を付加したエリア（判定領域）を設定する（ステップＳ１０７）。一方の建物確率分布データに設定されたエリアに対して、他方の建物確率分布データに同一のエリアが設定されていない場合には、制御部１１は、当該他方の建物確率分布データにも対応するエリアを設定する。

制御部１１は、設定されたエリアに応じた同一範囲の２つ（１組）の判定領域データを第２学習済モデル１２３に入力する（ステップＳ１０８）。制御部１１は、第２学習済モデルから出力された建物変化種別のデータを取得する（ステップＳ１０９）。制御部１１は、取得された建物変化種別とエリアの位置情報とを対応付けて出力する（ステップＳ１１０）。

制御部１１は、設定された全てのエリアの判定領域データが第２学習済モデル１２３に入力されたか（建物変化種別の出力が取得されたか）否かを判別する（ステップＳ１１１）。入力されていない判定領域データがあると判別された場合には（ステップＳ１１１で“ＮＯ”）、制御部１１の処理は、ステップＳ１０８に戻る。全ての判定領域データが第２学習済モデルに入力されたと判別された場合には（ステップＳ１１１で“ＹＥＳ”）、制御部１１は、建物変化検出処理を終了する。

次に、第１学習済モデル１２２及び第２学習済モデル１２３の生成について説明する。
上述のように、建物である確率を画素ごとに算出する第１学習済モデル１２２及び対象の建物の変化種別を特定する第２学習済モデル１２３には、いずれもＣＮＮが用いられている。これら第１学習済モデル１２２及び第２学習済モデル１２３は、機械学習モデルの構造として、入力データのサイズ、フィルタのサイズ、畳み込み（及びプーリング）の繰り返し回数及び各パラメータの初期値などが定められてから、順次それぞれ第１学習データ２０１、第２学習データ２０２が入力されて学習が行われる。入力データに応じた出力データと対応する教師データとが比較され、比較結果におけるずれが誤差逆伝播法により各パラメータにフィードバックされて当該パラメータが調整されていく。

第１学習済モデル１２２の学習時に入力される第１学習データ２０１の撮影データは、建物の数や面積の比率などは限られないが、種々の形状及びサイズの建物が含まれ、また、通常建物と誤認されやすい影（時間帯や季節などに依存する）、建物以外の構造物、光の反射状態が大きく異なる屋根、周囲の植生状態などがバランスよく含まれるとよい。

第２学習済モデル１２３の学習時に入力される第２学習データ２０２には、上述の各変化種別のものがそれぞれ適切な数ずつ含まれる。第２学習済モデル１２３の学習データは、第１学習済モデル１２２の学習が終了して、第１学習済モデル１２２が確定して得られてから生成される。

図６は、（ａ）第１学習済モデル１２２の生成に係る建物抽出モデル学習処理の制御部１１による制御手順、及び（ｂ）第２学習済モデル１２３の生成に係る変化特定モデル学習処理の制御部１１による制御手順をそれぞれ示すフローチャートである。

これらの処理は、例えば、操作受付部１４への所定の命令操作の入力の受付に応じて開始される。
建物抽出モデル学習処理が開始されると、図６（ａ）に示すように、制御部１１は、第１学習データ２０１を取得して順次設計された機械学習モデルに入力する（ステップＳ２０１）。制御部１１は、機械学習モデルに基づいて入力された第１学習データ２０１の各画素における建物確率を算出する（ステップＳ２０２）。

制御部１１は、算出した建物確率と教師データとを比較して。ずれ分を誤差逆伝播法により各パラメータにフィードバックさせて調整する（ステップＳ２０３）。制御部１１は、建物変化の識別に係る全ての第１学習データ２０１が機械学習モデルに入力されたか否かを判別する（ステップＳ２０４）。入力されていないものがあると判別された場合には（ステップＳ２０４で“ＮＯ”）、制御部１１の処理は、ステップＳ２０１に戻る。全て入力されたと判別された場合には（ステップＳ２０４で“ＹＥＳ”）、制御部１１は、学習させていた機械学習モデルを第１学習済モデルとして確定させる（ステップＳ２０５）。そして、制御部１１は、建物抽出モデル学習処理を終了する。

第１学習済モデルが確定して第２学習済モデルを生成するための第２学習データが生成された後に、変化特定モデル学習処理が起動されると、図６（ｂ）に示すように、制御部１１は、学習データを取得して各組のうち選択したものを設計された機械学習モデルに入力する（ステップＳ２５１）。制御部１１は、機械学習モデルにより建物の変化種別を特定する（ステップＳ２５２）。

制御部１１は、特定した変化種別と教師データとを比較し、誤っていた場合に当該誤りを誤差逆伝播法により各パラメータに反映して調整を行う（ステップＳ２５３）。制御部１１は、全ての組の学習データが機械学習モデルに入力されたか否かを判別する（ステップＳ２５４）。入力されていない組のデータがあると判別された場合には（ステップＳ２５４で“ＮＯ”）、制御部１１の処理は、ステップＳ２５１に戻る。

全ての組の学習データが機械学習モデルに入力されたと判別された場合には（ステップＳ２５４で“ＹＥＳ”）、制御部１１は、機械学習モデルを第２学習済モデルとして確定し（ステップＳ２５５）、変化特定モデル学習処理を終了する。

なお、これら第１学習済モデル１２２及び第２学習済モデル１２３の学習処理は、処理装置１で実行される必要はなく、他のコンピュータで生成された学習済モデルのデータが処理装置１に送られて記憶部１２に記憶されてもよい。

以上のように、第１実施形態の処理装置１は、制御部１１を備える。制御部１１は、算出部として、上空から異なる時期に撮影された画像のそれぞれ画素ごとに、当該画素が各々建物の部分である確率を算出し、変化特定部として、画像の対応する（同一の）範囲でそれぞれ算出された建物である確率の分布に基づいて、画像の間での建物の変化種別を特定する。
このように、一度建物である確率のスカラー値に変換してから建物の変化種別を識別することで、建物に対する日射方向、強度、影、異なる色部分などの影響を排除した一次元的な評価値とするので、容易に異なる時期の撮影データ間で確実な変化種別の識別を行うことが可能になり、識別の誤りを低減することができる。また、確率分布に基づいて識別を行うことで、建物の輪郭を特定してから変化種別の判断をする必要がなく、処理の手間及び費用が低減される。また、これにより輪郭特定精度に応じた誤認を低減することができる。

また、制御部１１は、変化特定部として、異なる時期の同一範囲での確率の分布をそれぞれ示す入力データに対して変化種別を出力するように学習された第２学習済モデル１２３を有する。これにより固定の基準値などで判断することによる検出の誤りの発生を抑制し、また、熟練者の技能を必要としない。

また、制御部１１は、領域設定部として、算出部として一方の画像で算出した建物の確率が所定の条件を満たす建物範囲を含むエリアを設定する。そして、制御部１１は、変化特定部として、設定されたエリアに対応する建物の変化種別を特定する。すなわち、画素単位で設定された建物である確率に基づいて、建物単位でエリアを設定し、当該エリアが対象とする建物について、変化種別の判断を行う。すなわち、建物範囲が確率値の高い一つながりの領域として判断されるので、処理が容易である。さらに、異なる時期に検出された領域の確率分布同士を比較することで時期の前後で改築などの変化があったか否かが特定されるので、基準値などに基づいて厳密に建物の範囲の境界を規定する必要がなく、また、撮影条件などに応じて確率値の微妙な大小などが出ても適切な判断が可能となる。

また、本実施形態のプログラム１２１を処理装置１、１ａにインストールして制御部１１に処理を行わせることで、特別なハードウェア構成を用意したり、熟練の技などに頼ったりすることなく、容易な処理でより確実に安定して建物の変化種別（変化有無及び変化内容）を識別することが可能になる。

［第２実施形態］
次に、第２実施形態の処理装置１ａについて説明する。
図７は、処理装置１ａの機能構成を示すブロック図である。

処理装置１ａは、第１実施形態の処理装置１と比較して、第２学習済モデル１２３の代わりに第３学習済モデル１２４（第１の特定部）及び第４学習済モデル１２５（第２の特定部）が記憶部１２に記憶されている。その他の構成は同一であり、同一の構成には同一の符号を付して説明を省略する。

第３学習済モデル１２４は、建物の変化有無のみ（変化種別の一部）を特定する機械学習モデルである。第４学習済モデル１２５（第２の特定部）は、建物の変化がある場合（上記一部に該当しない入力データ）に、変化の内容が新築、改築及び滅失のうちいずれであるか（一部以外の変化種別）を特定する学習済モデルである。すなわち、本実施形態では、第２学習済モデル１２３で変化なしを含む変化種別を一度で特定するのではなく、まず第３学習済モデル１２４で変化の有無を識別したのち、変化があると識別されたエリアについてのみ、変化の内容が第４学習済モデル１２５により特定される。第３学習済モデル１２４及び第４学習済モデル１２５では、いずれもＣＮＮが用いられている。

第３学習済モデル１２４の生成は、第２学習済モデル１２３の生成と同一の学習データによって行われてもよいが、教師データは変化の有無に係る正解のみを与える。第４学習済モデル１２５の生成は、第２学習済モデル１２３の学習データのうち変化ありのもののみにより行われてもよいが、実際の変化なしの割合に比して何らかの変化がある割合は小さいので、変化ありのもののみを集めた学習データを別個に用意してもよい。

図８は、第２実施形態の処理装置１ａで実行される建物変化検出処理の制御部１１による制御手順を示すフローチャートである。
この建物変化検出処理は、第１実施形態の処理装置１における建物変化検出処理と比較して、ステップＳ１０８、Ｓ１０９の処理がステップＳ１２１〜Ｓ１２６の処理に置き換えられている。その他の処理内容は同一であり、同一の処理内容には同一の符号を付して詳しい説明を省略する。

ステップＳ１０７の処理で判定領域のエリアが設定されると、制御部１１は、両画像データの同一エリアの部分画像データを第３学習済モデル１２４に入力する（ステップＳ１２１）。制御部１１は、第３学習済モデル１２４から出力された建物変化の有無の識別結果を取得する（ステップＳ１２２）。

制御部１１は、建物の変化があったか否かを判別する（ステップＳ１２３）。変化がなかったと判別された場合には（ステップＳ１２３で“ＮＯ”）、制御部１１は、当該建物の位置データと、変化なしの変化種別とを対応付けて出力する（ステップＳ１２６）。それから、制御部１１の処理は、ステップＳ１１１に移行する。変化があったと判別された場合には（ステップＳ１２３で“ＹＥＳ”）、制御部１１は、当該変化があったと識別された２枚の部分画像データを第４学習済モデル１２５に入力する（ステップＳ１２４）。制御部１１は、第４学習済モデル１２５から出力された変化の内容を建物変化種別として建物位置と対応付けて出力する（ステップＳ１２５）。それから、制御部１１の処理は、ステップＳ１１１に移行する。

以上のように、第２実施形態の処理装置１ａでは、学習済モデルとして、建物の変化種別のうち一部を特定する第３学習済モデル１２４と、当該一部に該当しない入力データに対し、他の変化種別を特定する第４学習済モデル１２５と、を有する。このように、学習による判断の選択肢を学習済モデルごとに少数に絞ることで、機械学習モデルをより誤りなく判断可能に学習させることが可能となる。特に、第３学習済モデル１２４において、他の種別と比較して数が多い「変化なし」を先に特定するように学習させることで、判断が難しくなりやすい「変化なし」と多少の改築などとの差異の判断精度を向上させることができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、単一の建物を対象とした判定領域データを第２学習済モデル１２３に入力して当該単一の建物の変化種別を各々検出することとしたが、複数の建物が含まれる判定領域データにより当該複数の建物の変化種別を一括して判断することとしてもよい。

また、上記実施の形態では、変化種別として変化なし、新築、改築、滅失の４種類に分類するものとして説明したがこれに限られない。より多くの種類に分類してもよい。例えば、改築は、元の形状に一部追加された増築、形状自体が変化した建替、元の形状の周囲などに付属物などが設けられた設置などにさらに分類されてもよい。また、これらの場合などには、上記第２実施形態の処理装置１ａのように２段階の学習済モデルだけではなく、さらに３つ以上の学習済モデル（２つ以上の第２の特定部）により順番に変化種別が特定されてもよい。このときの識別の順番は、適宜調整されてよい。

また、上記実施の形態では、画素単位で建物である確率を算出することとしたが、所定数の画素を含む単位領域ごとに確率が算出されてもよい。

また、建物である確率の算出などは、必ずしも第１学習済モデル１２２を用いて得られたものである必要はない。日照などの影響を受ける元の撮影画像から一度建物である確率の分布データに変換されればその他の方法で求められた確率値の分布データであってもよい。

また、学習済モデル（機械学習モデル）は、確率分布データの生成が適切に可能であり、また、生成された確率分布データの差異を適切に識別可能な手法であれば、ＣＮＮに限られない。ＣＮＮを応用した種々の手法や、ＣＮＮ以外の他の手法が用いられた学習済モデルであってもよい。

また、上記実施の形態では、確率分布のデータから建物である範囲を抽出し、建物範囲のサイズに応じて縮尺変換を行って同一サイズの判定領域データにより変化種別の判断を行うこととしたが、これに限られるものではない。大きい建物を複数の判定領域に分割してもよい。また、分割と縮尺変換とが併用されてもよい。

また、建物範囲の検出設定は、上記実施の形態で示したものに限られず、例えば、撮影条件などに応じて基準となる画素値が画像データごと又は画像データの更にエリアごとなどに応じて可変されてもよい。また、上記実施の形態では、一続きの部分を一つの建物として検出したが、状況に応じて隣の建物と一体か否かの判断がなされてもよい。また、建物の抽出条件として、一続きの部分が所定の下限値以上の面積を有するものに限定してもよい。

また、上記実施の形態では、プログラム１２１が第１学習済モデル１２２及び第２学習済モデル１２３（又は第２実施形態の第３学習済モデル１２４及び第４学習済モデル１２５）を含むものとして説明したが、第１学習済モデル１２２及び第２学習済モデル１２３は、プログラム本体から呼び出して実行可能であれば、当該プログラム本体とは別個に頒布、更新可能であってもよい。

また、上記実施の形態では、第１学習済モデル１２２及び第２学習済モデル１２３を含むプログラム１２１が記憶部１２の不揮発性メモリ又はＨＤＤなどに記憶されるものとして説明したが、これに限られない。プログラム１２１は、ＣＤＲＯＭ、ＤＶＤ、又はＢｌｕ−ｒａｙなどの光学ディスクといった可搬型記憶媒体に記憶されてよい。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した処理装置１、１ａの構成、処理内容及び処理手順などの具体的な細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

１、１ａ 処理装置
１１ 制御部
１２ 記憶部
１２１ プログラム
１２２ 第１学習済モデル
１２３ 第２学習済モデル
１２４ 第３学習済モデル
１２５ 第４学習済モデル
１３ 入出力インターフェイス
１３１ 接続端子
１３２ 通信部
１４ 操作受付部
１５ 表示部
２１ データベース装置
２２ 光学読取装置
２０１ 第１学習データ
２０２ 第２学習データ
２０３ 旧撮影画像データ
２０４ 新撮影画像データ

Claims (5)

1. 上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに、各々建物の部分である確率を算出する算出部と、
   前記画像の対応する範囲でそれぞれ算出された前記確率の分布の差異を識別して、前記画像の間での建物の変化種別を特定する変化特定部と、
   を備えることを特徴とする建物変化識別装置。
2. 前記変化特定部は、前記異なる時期の前記対応する範囲での前記確率の分布をそれぞれ示す入力データに対して前記変化種別を出力するように学習された学習済モデルを有することを特徴とする請求項１記載の建物変化識別装置。
3. 前記学習済モデルは、
   前記変化種別のうち一部を特定する第１の特定部と、
   前記一部に該当しない前記入力データに対し、当該一部以外の前記変化種別を特定する第２の特定部と、
   を有することを特徴とする請求項２記載の建物変化識別装置。
4. 前記画像のうち一方で前記算出部により算出された建物の確率が所定の条件を満たす建物範囲を含む判定領域を設定する領域設定部を備え、
   前記変化特定部は、前記判定領域を前記対応する範囲として、当該判定領域に対応する建物の前記変化種別を特定する
   ことを特徴とする請求項１〜３のいずれか一項に記載の建物変化識別装置。
5. コンピュータを、
   上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに、各々建物の部分である確率を算出する算出手段、
   前記画像の対応する範囲でそれぞれ算出された前記確率の分布の差異を識別して、前記画像の間での建物の変化種別を特定する変化特定手段、
   として機能させることを特徴とするプログラム。