JP6982242B2 - 学習データ生成装置、変化領域検出方法及びコンピュータプログラム - Google Patents

Description

本発明は、機械学習に用いられる学習用データの生成を支援する技術に関する。

近年、ほぼ同一の空間（以下「対象空間」という。）が異なる日時で撮像された画像を用いて、その対象空間に存在する構造物等の時間的な変化を検出する技術が注目されている。例えば、このような技術を用いて、新設された建物や道路等の建設物を検出する試みがなされている。

また、このような技術は地図の更新作業に用いられる場合もある。この場合、更新箇所の特定には、地図と同様に対象空間を俯瞰して撮像された衛星画像等の画像が用いられる。更新箇所を特定するためには対象空間に新たに建設された建造物を把握する必要があるが、このためには大量の衛星画像から新規建造物を見つけ出す作業が必要になる。しかしながら、この作業を人手で行うには膨大な時間的コスト及び人的コストがかかる。そのため、時系列の衛星画像の画像データに画像処理を施すことによって、対象空間における新規建造物を衛星画像間の時系列変化として検出する方法が考えられている（例えば非特許文献１参照）。

J. Tang, C. Deng, G. B. Huang and B. Zhao, "Compressed-Domain Ship Detection on Spaceborne Optical Image Using Deep Neural Network and Extreme Learning Machine," in IEEE Transactions on Geoscience and Remote Sensing, vol. 53, no. 3, pp. 1174-1185, March 2015.

画像間の時系列変化を検出するアルゴリズムの１つに機械学習に基づく検出方法がある。機械学習に基づく検出方法は、教師有り学習に基づく検出方法と教師無し学習に基づく検出方法とに分類される。教師有り学習に基づく検出方法では、対象空間において変化が発生した領域（以下「変化領域」という。）と、変化が発生していない領域（以下「非変化領域」という。）との一方又は両方が撮像された画像を大量に収集し、変化領域の画像が変化有りとして検出される確率を最大化するように画像データを学習する。

一般に、変化領域の識別を目的とした画像データの学習に用いられるデータ（以下「学習データ」という。）には、変化前後の画像、又はそれらの画像から取得されるパラメータと、それらの画像又はパラメータに対応づけられる変化の有無を示すラベルと、が含まれる。例えば、画像から得られるパラメータは、変化の有無を識別するための特徴量や特徴ベクトルである。一般に、画像の特徴量は画素値に基づく演算によって取得され、特徴ベクトルは変化領域に対応する画像を符号化したデータに基づく演算により、符号量や動きベクトル等の情報として取得される。

従来、学習データの作成のために変化領域が撮像された画像を取得する場合、異なる日時で撮像された画像データを比較して変化の有無を識別するとともに変化領域の画像データを抽出する作業を人手で行っていた。また、変化領域の有無の有無に加え、建造物の変化を検出するためには、変化領域の画像データに対して検出しようとする変化のラベリングが必要になるとともに、そのラベリングを行うためには検出しようとする変化が撮像された領域を画像から検出する必要があり、従来はこのようなラベリングの作業も人手で行っていた。そのため、従来は、このような学習データの作成に膨大な時間的コスト及び人的コストがかかっていた。

上記事情に鑑み、本発明は、画像内の変化を検出する装置が用いる学習データの作成に係る負荷を軽減することができる技術を提供することを目的とする。

本発明の一態様は、第１地図を示す第１地図データと、前記第１地図と略同一の空間を示し、かつ前記第１地図とは異なる時点の前記空間を表す第２地図を示す第２地図データとに基づいて、前記第１地図と前記第２地図との間における前記空間の変化領域を検出する検出部と、前記第１地図が表す前記空間が撮像された第１画像、及び前記第２地図が表す前記空間が撮像された第２画像から、前記検出部によって検出された前記変化領域に対応する画像を取得する変化領域画像取得部と、を備える学習データ生成装置である。

本発明の一態様は、上記の学習データ生成装置であって、前記検出部は、前記第１地図データ及び前記第２地図データから前記変化領域の視覚的特徴を示すデータを取得する。

本発明の一態様は、上記の学習データ生成装置であって、前記第１差分画像及び前記第２差分画像は、前記変化領域が第１の値で表され、前記変化領域以外の領域が第２の値で表された画像である。

本発明の一態様は、上記の学習データ生成装置であって、前記変化領域画像取得部は、前記変化領域を示す画像データと、前記変化領域に係る変化の有無を示す情報とを対応付けたデータを生成する。

本発明の一態様は、上記の学習データ生成装置であって、前記第１画像の撮像範囲を示す第１位置情報に基づいて前記第１画像内における前記変化領域の位置を示す第１差分位置情報を取得し、前記第２画像の撮像範囲を示す第２位置情報に基づいて前記第２画像内における前記変化領域の位置を示す第２差分位置情報を取得する差分位置情報取得部と、前記差分位置情報取得部によって取得された前記第１差分位置情報に基づいて前記空間を変化領域と、それ以外の領域とで表す第１差分画像を生成し、前記差分位置情報取得部によって取得された前記第２差分位置情報に基づいて前記空間を変化領域と、それ以外の領域とで表す第２差分画像を生成する差分画像生成部と、をさらに備え、前記変化領域画像取得部は、前記差分画像生成部によって生成された前記第１差分画像に基づいて、前記第１画像から前記変化領域に対応する第１変化領域画像を抽出し、前記差分画像生成部によって生成された前記第２差分画像に基づいて、前記第２画像から前記変化領域に対応する第２変化領域画像を抽出する。

本発明の一態様は、第１地図を示す第１地図データと、前記第１地図と略同一の空間を示し、かつ前記第１地図とは異なる時点の前記空間を表す第２地図を示す第２地図データとに基づいて、前記第１地図と前記第２地図との間における前記空間の変化領域を検出する検出ステップと、前記第１地図が表す前記空間が撮像された第１画像、及び前記第２地図が表す前記空間が撮像された第２画像から、前記検出ステップにおいて検出された前記変化領域に対応する画像を取得する変化領域画像取得ステップと、を有する変化領域検出方法である。

本発明の一態様は、第１地図を示す第１地図データと、前記第１地図と略同一の空間を示し、かつ前記第１地図とは異なる時点の前記空間を表す第２地図を示す第２地図データとに基づいて、前記第１地図と前記第２地図との間における前記空間の変化領域を検出する検出ステップと、前記第１地図が表す前記空間が撮像された第１画像、及び前記第２地図が表す前記空間が撮像された第２画像から、前記検出ステップにおいて検出された前記変化領域に対応する画像を取得する変化領域画像取得ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、画像内の変化を検出する装置が用いる学習データの作成に係る負荷を軽減することが可能となる。

実施形態の学習データ生成装置１の機能構成の具体例を示す図である。 実施形態の学習データ生成装置１が学習データを生成する処理の具体例を示すフローチャートである。 実施形態における差分地図データ生成処理の具体例を示すフローチャートである。 実施形態における差分位置情報取得処理の具体例を示すフローチャートである。 実施形態における差分画像生成処理の具体例を示すフローチャートである。 実施形態における変化領域検出処理の具体例を示すフローチャートである。 実施形態における第１地図及び第２地図の具体例を示す図である。 実施形態における第１差分画像及び第２差分画像の具体例を示す図である。 実施形態における第１画像及び第２画像の具体例を示す図である。 実施形態における第１変化領域画像及び第２変化領域画像の具体例を示す図である。

図１は、実施形態の学習データ生成装置１の機能構成の具体例を示す図である。学習データ生成装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。学習データ生成装置１は、プログラムの実行によって地図データ記憶部１１、位置情報記憶部１２、サイズ情報記憶部１３、画像データ記憶部１４、差分地図データ取得部２１、差分位置情報取得部２２、差分画像生成部２３及び変化領域画像取得部２４を備える装置として機能する。なお、学習データ生成装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

地図データ記憶部１１、位置情報記憶部１２、サイズ情報記憶部１３及び画像データ記憶部１４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。地図データ記憶部１１は、第１地図データ及び第２地図データを記憶する。地図データは、変化領域の検出対象となる空間（以下「対象空間」という。）の地図を示す情報である。第１地図データによって示される対象空間は、第２地図データによって示される対象空間とほぼ同一の空間である。また、第１地図データと第２地図データとはそれぞれ異なる時点の対象空間を示す。以下の説明では第１地図データは、第２地図データによって示される対象空間よりも時系列的に過去の対象空間を示すものとする。また、地図データ記憶部１１は、第１地図データ及び第２地図データを予め記憶しているものとする。

例えば地図データは、構造物や自然物等の地図に反映される対象物の形状を平面、若しくはポリゴンデータで該構造物や自然物等の存在する領域と対応づけられる地図上の領域に反映したものであればよい。具体的な例としては、地図上に家屋や無壁舎等の建造物を表す階層構造のデータ（例えばポリゴンデータ）である。なお、建造物の位置が明らかである場合、地図データは対象空間が撮像された画像データと、建造物の位置情報とが対応づけられた情報であってもよい。

位置情報記憶部１２は、第１位置情報及び第２位置情報を記憶する。ここでいう位置情報とは、画像に撮像された空間の範囲を示す情報である。第１位置情報は後述する第１画像データが示す画像に撮像された空間の範囲を示し、第２位置情報は後述する第２画像データが示す画像に撮像された空間の範囲を示す。例えば、第１位置情報及び第２位置情報は、緯度及び経度の組み合わせで表される。位置情報記憶部１２は、第１位置情報及び第２位置情報を予め記憶しているものとする。

サイズ情報記憶部１３は、第１サイズ情報及び第２サイズ情報を記憶する。サイズ情報は、画像のサイズを示す情報である。第１サイズ情報及び第２サイズ情報は、それぞれ後述する第１画像データ及び第２画像データによって表される画像のサイズを示す。サイズ情報記憶部１３は、第１サイズ情報及び第２サイズ情報を予め記憶しているものとする。

画像データ記憶部１４は、第１画像データ及び第２画像データを記憶する。第１画像データ及び第２画像データは、対象空間が撮像された画像データである。第１画像データによって示される対象空間は、第２画像データによって示される対象空間とほぼ同一の空間である。また、第１画像データと第２画像データとはそれぞれ異なる時点で撮像された対象空間を示す。第１画像データは第１地図データとほぼ同じ時点の対象空間を示し、第２画像データは第２地図データとほぼ同じ時点の対象空間を示す。

すなわち、第１画像データは、第２画像データによって示される対象空間よりも時系列的に過去の対象空間を示す。画像データ記憶部１４は、第１画像データ及び第２画像データを予め記憶しているものとする。なお、本実施形態では、対象空間が撮像された衛星画像が第１画像データ及び第２画像データとして取得されるものとする。また、以下では、第１画像データが示す画像を第１画像といい、第２画像データが示す画像を第２画像という。

差分地図データ取得部２１（本発明における検出部の一例）は、地図データ記憶部１１から第１地図データ及び第２地図データを取得する。差分地図データ取得部２１は、第１地図データによって示される対象空間と、第２地図データによって示される対象空間との間の視覚的変化を示すデータを取得する。ここで、対象空間の視覚的変化とは、地図から見て取れる対象空間の変化を意味する。例えば、地図から見て取れる対象空間の変化には、対象空間における建造物の有無の変化や、建造物の形状の変化などが挙げられる。

例えば、地図データがこのような視覚的変化をポリゴンデータや画像データで表すものである場合、視覚的変化を示すデータは地図データ間の差分データとして取得することができる。このような差分データ（以下「差分地図データ」という。）を取得すれば、一方の地図に存在し、他方の地図に存在しない建造物等を含む領域の地図データを抽出することができる。一般に、地図データには対象領域の視覚的特徴を示すデータと、視覚的特徴の属性を示す文字や記号、数値等を示すデータとが含まれる。差分地図データ取得部２１は、地図データに含まれる各種データのうち視覚的特徴を示すデータの差分を差分地図データとして取得する。

ここで視覚的特徴とは、地図データの対象領域における画像間の差分を表す情報である。より具体的に言えば、視覚的特徴は、検出したい変化が表れた領域を示す情報であり、その領域の画像間の差分を表す情報を含んでもよい。例えば、視覚的特徴とは、エッジの長さ、数、エッジ同士が交差するコーナーの角度、コーナー同士の距離、エッジとコーナーによって囲われる領域の変化等である。

すなわち、差分地図データは、対象空間において、視覚的特徴に係る変化が時間の経過に伴い発生した領域（以下「変化領域」という。）の地図データである。以下、対象空間において時間的な変化が発生していない領域を変化領域に対して非変化領域という。差分地図データ取得部２１は、取得した差分地図データを差分位置情報取得部２２に出力する。

差分位置情報取得部２２は、位置情報記憶部１２から第１位置情報及び第２位置情報を取得するとともに、差分地図データ取得部２１から差分地図データを取得する。差分位置情報取得部２２は、第１位置情報及び第２位置情報と、差分地図データとに基づいて差分位置情報を取得する。差分位置情報は、画像内での変化領域の位置を示す情報である。例えば、差分位置情報は、画像を示す各画素を単位とするピクセル座標によって表される。

具体的には、差分位置情報取得部２２は、第１位置情報と差分地図データとに基づいて第１画像における変化領域の位置を示す第１差分位置情報を取得し、第２位置情報と差分地図データとに基づいて第２画像における変化領域の位置を示す第２差分位置情報を取得する。差分位置情報取得部２２は、取得した第１差分地図情報及び第２差分地図情報を差分画像生成部２３に出力する。

差分画像生成部２３は、サイズ情報記憶部１３から第１サイズ情報及び第２サイズ情報を取得するとともに、差分位置情報取得部２２から第１差分位置情報及び第２差分位置情報を取得する。差分画像生成部２３は、第１サイズ情報及び第２サイズ情報と、第１差分位置情報及び第２差分位置情報とに基づいて差分画像を生成する。差分画像は、対象空間を変化領域と非変化領域とのいずれかで表した画像である。例えば、差分画像は、変化領域を値“１”で表し、非変化領域を値“０”で表す二値画像である。変化領域を複数の種類に分類して識別する場合には変化領域は複数の値で表されてもよい。

具体的には、差分画像生成部２３は、第１差分位置情報と第１サイズ情報とに基づいて第１画像に対応する第１差分画像を生成し、第２差分位置情報と第２サイズ情報とに基づいて第２画像に対応する第２差分画像を生成する。差分画像生成部２３は、第１差分画像を示す第１差分画像データと、第２差分画像を示す第２差分画像データと、を変化領域画像取得部２４に出力する。

変化領域画像取得部２４は、画像データ記憶部１４から第１画像データ及び第２画像データを取得するとともに、差分画像生成部２３から第１差分画像データ及び第２差分画像データを取得する。変化領域画像取得部２４は、第１画像データ及び第２画像データと、第１差分画像データ及び第２差分画像データとに基づいて第１画像及び第２画像に撮像された変化領域を検出する。

具体的には、変化領域画像取得部２４は、第１画像データと第１差分画像データとに基づいて第１画像から変化領域が撮像された部分の画像データを抽出する。ここで、第１差分画像データは、第１画像と同じ画像サイズを有する第１差分画像を示す画像データである。例えば、第１差分画像が、変化領域を値“１”で表し、非変化領域を値“０”で表す二値画像である場合、変化領域画像取得部２４は第１画像の各画素値に、第１差分画像の同じ座標の画素値を乗算する。その結果、第１画像において非変化領域がマスキングされる。変化領域画像取得部２４は、第１画像からマスキングされていない部分の画像（すなわち変化領域の画像）を抽出する。

変化領域画像取得部２４は、上記と同様の処理を行うことにより、第２画像データと第２差分画像データとに基づいて第２画像から変化領域が撮像された部分の画像データを抽出する。変化領域画像取得部２４は、第１画像から抽出した変化領域の画像を示す画像データ（以下「第１変化領域画像データ」という。）と、第２画像から抽出した変化領域の画像を示す画像データ（以下「第２変化領域画像データ」という。）と、を学習データとして出力する。

図２は、実施形態の学習データ生成装置１が学習データを生成する処理の具体例を示すフローチャートである。まず、学習データ生成装置１において、差分地図データ取得部２１が差分地図データ生成処理を実行する（ステップＳ１）。差分地図データ取得部２１が差分地図データ生成処理を実行することにより、第１地図データと第２地図データとの差分を示す差分地図データが取得される。

続いて、差分位置情報取得部２２が差分位置情報取得処理を実行する（ステップＳ２）。差分位置情報取得部２２が差分位置情報取得処理を実行することにより、第１画像内での変化領域の位置を示す第１差分位置情報と、第２画像内での変化領域の位置を示す第２差分位置情報と、が取得される。

続いて、差分画像生成部２３が差分画像生成処理を実行する（ステップＳ３）。差分画像生成部２３が差分画像生成処理を実行することにより、第１画像と同じサイズの画像であって、変化領域と非変化領域とで対象空間を表す第１差分画像データと、第２画像と同じサイズの画像であって、変化領域と非変化領域とで対象空間を表す第２差分画像データと、が取得される。

続いて、変化領域画像取得部２４が変化領域検出処理を実行する（ステップＳ４）。変化領域画像取得部２４が変化領域検出処理を実行することにより、第１画像から抽出された変化領域の画像を示す第１変化領域画像データと、第２画像から抽出された変化領域の画像を示す第２変化領域画像データと、が取得される。

学習データ生成装置１は、取得された第１変化領域画像データ及び第２変化領域画像データを、学習データとして出力する。

図３は、実施形態における差分地図データ生成処理の具体例を示すフローチャートである。まず、差分地図データ取得部２１が地図データ記憶部１１から第１地図データ及び第２地図データを取得する（ステップＳ１１）。差分地図データ取得部２１は、差分地図データの取得方法を判定する（ステップＳ１２）。ここでは、差分地図データの取得方法として、次の２つの方法を想定する。

第１の方法は、第１地図と第２地図との非交差部分を抽出する方法（非交差抽出）である。この方法は、第１地図と第２地図とを重ね合わせた際に各地図の線分が交差しない非交差部分を抽出する方法であり、いずれか一方の地図にのみ存在する建造物等を抽出する方法である。一方、第２の方法は、第１地図データと第２地図データとの数値的な差分を取得する方法である。この方法は、地図上の同じ位置に対応するデータ値の差分をとる方法であり、非変化領域については差分がなく、変化領域についてのみ差分が得られる。

なお、これらの２つの方法のどちらを差分地図データの取得に用いるかは、学習データの生成に用いる地図データの種類や性質等に応じて決定されるとよい。ここでは、差分地図データの取得方法を示す情報が予め学習データ生成装置１に記憶されており、この情報に基づいて取得方法が判定されるものとする。なお、差分地図データの取得方法は、ステップＳ１２の実行時にユーザによって指定されてもよい。

差分地図データの取得方法として第１の方法が判定された場合（ステップＳ１２：非交差）、差分地図データ取得部２１は、第１地図と第２地図との非交差部分を識別し、第１地図データ及び第２地図データから非交差部分を示す地図データを抽出する（ステップＳ１３）。

一方、差分地図データの取得方法として第２の方法が判定された場合（ステップＳ１２：差分）、差分地図データ取得部２１は、第１地図データ及び第２地図データのどちらを基準として差分をとるかを判定する（ステップＳ１４）。ここでは、基準とする地図データを示す情報が予め学習データ生成装置１に記憶されており、この情報に基づいて基準とする地図データが判定されるものとする。なお、基準とする地図データは、ステップＳ１４の実行時にユーザによって指定されてもよい。

基準とする地図データとして第１地図データが判定された場合（ステップＳ１４：第１地図データ）、差分地図データ取得部２１は、第１地図データに対する第２地図データの差分を抽出する（ステップＳ１５）。具体的には、差分地図データ取得部２１は、第２地図データのデータ値から第１地図データのデータ値を減算して得られる差分が所定値以上である領域の地図データを抽出する。

基準とする地図データとして第２地図データが判定された場合（ステップＳ１４：第２地図データ）、差分地図データ取得部２１は、第２地図データに対する第１地図データの差分を抽出する（ステップＳ１６）。具体的には、差分地図データ取得部２１は、第１地図データのデータ値から第２地図データのデータ値を減算して得られる差分が所定値以上である領域の地図データを抽出する。

差分地図データ取得部２１は、ステップＳ１３、Ｓ１５又はＳ１６において抽出された地図データを差分地図データとして差分位置情報取得部２２に出力する（ステップＳ１７）。

図４は、実施形態における差分位置情報取得処理の具体例を示すフローチャートである。まず、差分位置情報取得部２２が位置情報記憶部１２から第１位置情報及び第２位置情報を取得するとともに、差分地図データ取得部２１から差分地図データを取得する（ステップＳ２１）。差分位置情報取得部２２は、第１位置情報及び第２位置情報と、差分地図情報とに基づき、第１画像及び第２画像のそれぞれについて差分位置情報を取得する（ステップＳ２２）。

具体的には、差分地図データ取得部２１は、第１位置情報が示す対象空間の位置情報（すなわち第１画像に撮像された対象空間の位置情報）と、差分地図情報が示す変化領域の位置情報とを照らし合わせ、第１画像内での変化領域の位置を示す第１差分位置情報を取得する。同様に、差分地図データ取得部２１は、第２位置情報が示す対象空間の位置情報（すなわち第２画像に撮像された対象空間の位置情報）と、差分地図情報が示す変化領域の位置情報とを照らし合わせ、第２画像内での変化領域の位置を示す第２差分位置情報を取得する。

差分地図データ取得部２１は、取得した第１差分位置情報及び第２差分位置情報を差分画像生成部２３に出力する（ステップＳ２３）。

図５は、実施形態における差分画像生成処理の具体例を示すフローチャートである。まず、差分画像生成部２３は、サイズ情報記憶部１３から第１サイズ情報及び第２サイズ情報を取得するとともに、差分位置情報取得部２２から第１差分位置情報及び第２差分位置情報を取得する（ステップＳ３１）。差分画像生成部２３は、第１サイズ情報に基づいて第１画像と同じサイズの画像である第１サイズ画像を生成するとともに、第２サイズ情報に基づいて第２画像と同じサイズの画像である第２サイズ画像を生成する（ステップＳ３２）。

ここで、第１サイズ画像は、差分画像生成部２３が差分画像生成処理で生成する第１差分画像の元となる画像データである。第１サイズ画像は、第１画像と同じサイズの画像であればどのような画像であってもよい。例えば、第１サイズ画像は全画素が同じ色を表す画像であってもよいし、全画素値がＮｕｌｌ値である画像であってもよい。同様に、第２サイズ画像は、第２差分画像の元となる画像データであり、第２画像と同じサイズの画像であればどのような画像であってもよい。

差分画像生成部２３は、ブロック及び画素のどちらを差分画像の単位領域とするかを判定する（ステップＳ３３）。ここでは、差分画像を生成する際の単位領域を示す情報が予め学習データ生成装置１に記憶されており、この情報に基づいて差分画像の単位領域が判定されるものとする。なお、差分画像の単位領域は、ステップＳ３２の実行時にユーザによって指定されてもよい。

差分画像の単位領域としてブロックが判定された場合（ステップＳ３３：ブロック）、差分画像生成部２３は、第１サイズ画像及び第２サイズ画像を所定の大きさのブロックに分割する（ステップＳ３４）。差分画像生成部２３は、第１サイズ画像及び第２サイズ画像の各ブロックが第１地図と第２地図との差分領域（すなわち変化領域）に対応するか否かを判定する（ステップＳ３５）。

具体的には、差分画像生成部２３は、第１差分位置情報に基づいて第１サイズ画像の各ブロックの位置が第１画像内での変化領域の位置に対応するか否かを判定する。同様に、差分画像生成部２３は、第２差分位置情報に基づいて第２サイズ画像の各ブロックの位置が第２画像内での変化領域の位置に対応するか否かを判定する。

差分画像生成部２３は、第１サイズ画像及び第２サイズ画像の各画素値をステップＳ３５の判定結果に基づいて更新する（ステップＳ３６）。例えば、差分画像生成部２３は、変化領域に対応するブロックに所属する各画素値を“１”に更新し、変化領域に対応しない（すなわち非変化領域に対応する）ブロックに所属する各画素値を“０”に更新する。これにより、第１サイズ画像及び第２サイズ画像は、変化領域に対応する値を持つ画素と、非変化領域に対応する値を持つ画素とで構成された画像となる。

一方、差分画像の単位領域として画素が判定された場合（ステップＳ３３：画素）、差分画像生成部２３は、第１サイズ画像及び第２サイズ画像の各画素が第１地図と第２地図との差分領域（すなわち変化領域）に対応するか否かを判定する（ステップＳ３７）。差分画像生成部２３は、第１サイズ画像及び第２サイズ画像の各画素値をステップＳ３７の判定結果に基づいて更新する（ステップＳ３８）。

差分画像生成部２３は、ステップＳ３６又はＳ３８で更新した第１サイズ画像を示す画像データを第１差分画像データとして出力し、更新後の第２サイズ画像を示す画像データを第２差分画像データとして出力する（ステップＳ３９）。

図６は、実施形態における変化領域検出処理の具体例を示すフローチャートである。まず、変化領域画像取得部２４は、画像データ記憶部１４から第１画像データ及び第２画像データを取得するとともに、差分画像生成部２３から第１差分画像データ及び第２差分画像データを取得する（ステップＳ４１）。

変化領域画像取得部２４は、第１差分画像データ及び第２差分画像データを用いて第１画像データ及び第２画像データをマスキングする（ステップＳ４２）。具体的には、変化領域画像取得部２４は、第１差分画像データを用いて第１画像データをマスキングし、第２差分画像データを用いて第２画像データをマスキングする。例えば、第１差分画像において、“１”が変化領域を表し、“０”が非変化領域を表す場合、マスキングされた後の第１画像は、元の第１画像のうち非変化領域の画像のみがマスキングされた画像となる。

変化領域画像取得部２４は、マスキング後の第１画像及び第２画像においてマスキングされていない部分の画像データを抽出する（ステップＳ４３）。この処理によって、第１画像データ及び第２画像データから、変化領域の画像を示す画像データが抽出される。変化領域画像取得部２４は、第１画像データから抽出した画像データを第１変化領域画像データとして出力し、第２画像データから抽出した画像データを第２変化領域画像データとして出力する（ステップＳ４４）。

図７は、実施形態における第１地図及び第２地図の具体例を示す図である。図７（Ａ）は第１地図の具体例を示し、図７（Ｂ）は第２地図の具体例を示す。図７（Ａ）及び図７（Ｂ）における斜線部は道路を表す。上述のとおり、第１地図と第２地図とはほぼ同一の対象空間（図中の太線枠内の空間）を示すとともに、第１地図は第２地図が示す対象領域よりも過去の対象領域を示す。図７は、対象空間内の空間Ａ（破線で囲まれた部分の空間）が、何もない状態から建造物Ｂ１〜Ｂ７が建設された状態に変化したことを表している。この例の場合、差分地図データ生成処理では空間Ａの部分の地図データが差分地図データとして取得される。また、この例の場合、差分位置情報取得処理では、第１画像及び第２画像の各画像内における空間Ａの位置情報が差分位置情報として取得される。

図８は、実施形態における第１差分画像及び第２差分画像の具体例を示す図である。図８（Ａ）は図７（Ａ）の第１地図に対応する第１差分画像の具体例を示し、図８（Ｂ）は図７（Ｂ）の第２地図に対応する第２差分画像の具体例を示す。上述のとおり、第１差分画像は第１画像と同じサイズを有し、第２差分画像は第２画像と同じサイズを有する。この例の場合、差分画像生成処理では、対象空間を空間Ａの領域（すなわち変化領域）とそれ以外の領域（すなわち非変化領域）とで表す画像が第１差分画像及び第２差分画像として生成される。図８は、変化領域を“１”で表し、非変化領域を“０”で表す差分画像の例を示す。

図９は、実施形態における第１画像及び第２画像の具体例を示す図である。図８（Ａ）は第１画像の具体例を示し、図８（Ｂ）は第２画像の具体例を示す。上述のとおり、第１画像は第１地図の作成時期とほぼ同時期に撮像されたものであり、第２画像は第２地図の作成時期とほぼ同時期に撮像されたものである。図８は、第１画像及び第２画像にも、図７に示す地図上の変化と同様の変化が表れていることを示している。

図１０は、実施形態における第１変化領域画像及び第２変化領域画像の具体例を示す図である。図１０（Ａ）は図９（Ａ）の第１画像が図８（Ａ）の第１差分画像でマスキングされた結果を示し、図１０（Ｂ）は図９（Ｂ）の第２画像が図８（Ｂ）の第２差分画像でマスキングされた結果を示す。この例の場合、変化領域検出処理では、図１０（Ａ）のマスキングされていない部分の画像データが第１変化領域画像データとして取得され、図１０（Ｂ）のマスキングされていない部分の画像データが第２変化領域画像データとして取得される。

このように構成された実施形態の学習データ生成装置１は、画像内の変化領域を機械学習による学習結果に基づいて検出する装置に、画像間の変化の有無を学習させる際に必要となる学習データを学習対象の画像に対応する地図データを用いて生成する。そのため、実施形態の学習データ生成装置１によれば、学習データの作成に係る負荷を軽減することができる。

＜変形例＞
実施形態の学習データ生成装置１は、地図データの差分に基づいて抽出した変化領域の画像データを学習データとして取得したが、学習データ生成装置１は、抽出した画像データに変化の有無を示すラベルを付加したデータを学習データとして取得してもよい。このような学習データを取得することにより、教師有り学習の学習データの作成に係る負荷を軽減することができる。これに対して、学習データ生成装置１は、ラベルが付加されていない変化領域画像データを学習データとして取得することにより、教師無し学習の学習データの作成に係る付加を軽減することができる。

また、上記の実施形態では、学習データ生成装置１が第１画像及び第２画像として衛星画像を用いる例を説明したが、第１画像及び第２画像は地図データに対応する画像であれば他の画像であってもよい。例えば、第１画像及び第２画像は航空画像であってもよいし、ドローン等などで空撮した画像であってもよい。

また、上記の実施形態では、建造物の有無や違いなどを識別して地図上の変化領域を検出する例を説明したが、建造物に限らず、道路や歩道、公園など建造物以外の物を識別対象としてもよい。例えば、地図データに海や山といった自然物のポリゴンデータが含まれる場合、自然物の変化を検出することも可能である。このように、識別対象のポリゴンデータを用意することで、その識別対象の学習データを自動生成することができる。

また、上記の実施形態では、地図データや画像の位置を合わせる処理を行っているが、位置を合わせる必要がない場合は省略してもよい。

以上のような構成により、上記の学習データ生成装置１は、ほぼ同じ領域を示し、かつ時系列的に異なる２つの電子地図の間における模様に係る変化を有する領域を検出する。そして、学習データ生成装置１は、検出された領域に対応し、かつ、２つの電子地図のそれぞれに時間的に対応する現実の空間の画像を取得することで、現実の空間の変化前の画像と変化後の画像を容易に抽出することを可能とする。ここでいう模様とは上記の視覚的特徴の一例であり、視覚的特徴は模様のような視認できる特徴であればどのようなものであってもよい。

上述した実施形態における学習データ生成装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、機械学習に用いられる学習用データの生成する装置に適用可能である。

１…学習データ生成装置、 １１…地図データ記憶部、 １２…位置情報記憶部、 １３…サイズ情報記憶部、 １４…画像データ記憶部、 ２１…差分地図データ取得部、 ２２…差分位置情報取得部、 ２３…差分画像生成部、 ２４…変化領域画像取得部

Claims (7)

1. 第１地図を示す第１地図データと、前記第１地図と略同一の空間を示し、かつ前記第１地図とは異なる時点の前記空間を表す第２地図を示す第２地図データとに基づいて、前記第１地図と前記第２地図との間における前記空間の変化領域を検出する検出部と、
   前記第１地図が表す前記空間が撮像された第１画像、及び前記第２地図が表す前記空間が撮像された第２画像から、前記検出部によって検出された前記変化領域に対応する画像を取得する変化領域画像取得部と、
   を備える学習データ生成装置。
2. 前記検出部は、前記第１地図データ及び前記第２地図データから前記変化領域の視覚的特徴を示すデータを取得する、
   請求項１に記載の学習データ生成装置。
3. 前記変化領域画像取得部は、前記変化領域を示す画像データと、前記変化領域に係る変化の有無を示す情報とを対応付けたデータを生成する、
   請求項１または２に記載の学習データ生成装置。
4. 前記第１画像の撮像範囲を示す第１位置情報に基づいて前記第１画像内における前記変化領域の位置を示す第１差分位置情報を取得し、前記第２画像の撮像範囲を示す第２位置情報に基づいて前記第２画像内における前記変化領域の位置を示す第２差分位置情報を取得する差分位置情報取得部と、
   前記差分位置情報取得部によって取得された前記第１差分位置情報に基づいて前記空間を変化領域と、それ以外の領域とで表す第１差分画像を生成し、前記差分位置情報取得部によって取得された前記第２差分位置情報に基づいて前記空間を変化領域と、それ以外の領域とで表す第２差分画像を生成する差分画像生成部と、
   をさらに備え、
   前記変化領域画像取得部は、前記差分画像生成部によって生成された前記第１差分画像に基づいて、前記第１画像から前記変化領域に対応する第１変化領域画像を抽出し、前記差分画像生成部によって生成された前記第２差分画像に基づいて、前記第２画像から前記変化領域に対応する第２変化領域画像を抽出する、
   請求項１から３のいずれか一項に記載の学習データ生成装置。
5. 前記第１差分画像及び前記第２差分画像は、前記変化領域が第１の値で表され、前記変化領域以外の領域が第２の値で表された画像である、
   請求項４に記載の学習データ生成装置。
6. 第１地図を示す第１地図データと、前記第１地図と略同一の空間を示し、かつ前記第１地図とは異なる時点の前記空間を表す第２地図を示す第２地図データとに基づいて、前記第１地図と前記第２地図との間における前記空間の変化領域を検出する検出ステップと、
   前記第１地図が表す前記空間が撮像された第１画像、及び前記第２地図が表す前記空間が撮像された第２画像から、前記検出ステップにおいて検出された前記変化領域に対応する画像を取得する変化領域画像取得ステップと、
   を有する変化領域検出方法。
7. 第１地図を示す第１地図データと、前記第１地図と略同一の空間を示し、かつ前記第１地図とは異なる時点の前記空間を表す第２地図を示す第２地図データとに基づいて、前記第１地図と前記第２地図との間における前記空間の変化領域を検出する検出ステップと、
   前記第１地図が表す前記空間が撮像された第１画像、及び前記第２地図が表す前記空間が撮像された第２画像から、前記検出ステップにおいて検出された前記変化領域に対応する画像を取得する変化領域画像取得ステップと、
   をコンピュータに実行させるためのコンピュータプログラム。

Images