JP7174298B2 - 差異検出装置、差異検出方法及びプログラム - Google Patents

Description

本発明は、差異検出装置、差異検出方法及びプログラムに関する。

異なる時刻における地上のほぼ同じ位置の空間領域を、人工衛星又は航空機が上空から撮影する場合がある。異なる時刻に撮影された空間領域に対象物が存在するか否かに応じて画像間に差異が生じている領域（以下「差異領域」という。）が画像において検出されることによって、撮影された空間領域における対象物の有無の時系列変化が検出される。

差異領域が画像において検出されることによって、例えば、地上において新規に建築された建物（以下「新規建物」という。）が検出される。ここで、異なる時刻に撮影された画像を人が見比べて、画像内の差異領域に表された新規建物を人が検出する。例えば地図の更新のために新規建物が検出される場合、時系列の大量の画像を人が見比べる。大量の画像を人が見比べるので、時間的コスト及び人的コストは高い。

そこで、時間的コスト及び人的コストを削減するために、ニューラルネットワークを用いた機械学習によって、差異検出装置が差異領域を検出する技術が提案されている（非特許文献１参照）。非特許文献１では、異なる時刻に撮影された空間領域を表す画像間の差異領域を、差異検出装置が検出する。差異検出装置は、検出された差異領域を表す差異領域データを生成する。

R. C. Daudt, B. L. Saux, and A. Boulch, "Fully convolutional siamese networks for change detection,"in 2018 IEEE International Conference on Image Processing, ICIP 2018, Athens, Greece, October 7-10, 2018, pp. 4063-4067, 2018.

しかしながら、画像間の差異領域ではない領域を、画像間の差異領域として差異検出装置が誤検出してしまう場合がある。例えば、屋根の色が変更された既存建物の領域を、新規建物が存在することに起因する差異領域として差異検出装置が誤検出してしまう場合がある。このように、画像間の差異領域を検出する精度が低い場合がある。

上記事情に鑑み、本発明は、画像間の差異領域を検出する精度を向上させることが可能である差異検出装置、差異検出方法及びプログラムを提供することを目的としている。

本発明の一態様は、第１空間領域の画像である第１画像と、前記第１空間領域とほぼ同じ位置の第２空間領域の画像である第２画像との間における差異の度合いを表す差異度と、前記第１空間領域に対象物が存在する確率を表す第１確率データと、前記第２空間領域に対象物が存在する確率を表す第２確率データとを取得する取得部と、前記差異度と前記第１確率データと前記第２確率データとを関連付け、関連付けの結果に基づいて、前記第１画像及び前記第２画像の間に差異が生じている領域を検出する検出部とを備える差異検出装置である。

本発明の一態様は、第１空間領域の画像である第１画像に対して、前記第１空間領域に対象物が存在する確率を表す予め準備された第１確率データをマスク画像として用いて、マスク処理の結果として得られた画像である第１確率画像を生成する第１領域マスク部と、前記第１空間領域とほぼ同じ位置の第２空間領域の画像である第２画像に対して、前記第２空間領域に対象物が存在する確率の推定値を表す第２確率データをマスク画像として用いて、マスク処理の結果として得られた画像である第２確率画像を生成する第２領域マスク部と、前記第１確率データと前記第２確率データとを関連付け、関連付けの結果に基づいて、前記第１画像及び前記第２画像の間に差異が生じている領域を検出する検出部とを備える差異検出装置である。

本発明により、画像間の差異領域を検出する精度を向上させることが可能である。

第１実施形態における、差異検出装置の構成例を示す図である。 第１実施形態における、第２差異領域データの生成例を示す図である。 第１実施形態における、差異検出装置が実行する推定動作の例を示すフローチャートである。 第１実施形態における、第１領域検出部が実行する推定動作の例を示すフローチャートである。 第１実施形態における、第１属性検出部が実行する推定動作の例を示すフローチャートである。 第１実施形態における、第２領域検出部が実行する推定動作の例を示すフローチャートである。 第１実施形態における、第１学習装置の構成例を示す図である。 第１実施形態における、属性学習装置の構成例を示す図である。 第１実施形態における、第２学習装置の構成例を示す図である。 第１実施形態の変形例における、第２領域検出部が実行する推定動作の例を示すフローチャートである。 第２実施形態における、差異検出装置の構成例を示す図である。 第３実施形態における、差異検出装置の構成例を示す図である。 第３実施形態における、第１領域マスク部が実行する動作の例を示すフローチャートである。 第３実施形態における、第２領域マスク部が実行する動作の例を示すフローチャートである。 第３実施形態における、第３領域検出部が実行する推定動作の例を示すフローチャートである。

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、差異検出装置１ａの構成例を示す図である。差異検出装置１ａは、画像間の差異領域を検出する情報処理装置である。画像間の差異領域は、異なる時刻において画像に撮影された空間領域における対象物の有無に応じて生じる。画像に撮影される対象物（被写体）は、例えば、建物、道路である。撮影された画像は、静止画像でもよいし、動画像でもよい。撮影された画像のフレームの形状は、例えば矩形である。差異検出装置１ａは、例えばニューラルネットワークを用いたモデルを用いて、画像間の差異領域を検出する。

ニューラルネットワークを用いたモデルを用いて差異検出装置１ａが差異領域を検出する場合、差異検出装置１ａの動作の段階には、学習フェーズと、推定フェーズとがある。学習フェーズにおいて、情報処理装置（学習装置）が、差異検出装置１ａに用いられるモデルの機械学習を実行する。推定フェーズにおいて、差異検出装置１ａは、学習済のモデルを用いて、画像間の差異領域を検出する。

差異検出装置１ａは、第１領域検出部１０と、第１属性検出部１１と、第２属性検出部１２と、第２領域検出部１３とを備える。第１属性検出部１１は、データの流れに関して、第２領域検出部１３の前段に備えられる。

差異検出装置の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。差異検出装置の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

第１領域検出部１０は、第１画像及び第２画像を取得する。第１画像及び第２画像は、互いに異なる時刻にほぼ同じ位置の空間領域が撮影された画像群のうちの２枚の画像である。第１画像は、例えば、過去において人工衛星又は航空機等によって上空から撮影された地域の画像（過去画像）である。第２画像は、例えば、第１画像の撮影時刻よりも現在時刻に近い時刻において、人工衛星又は航空機等によって上空から撮影されたほぼ同じ地域の画像（現在画像）である。第１画像のサイズは、例えば第２画像のサイズと同じである。

第１領域検出部１０に保持された学習済のモデル（第１領域モデル）は、第１画像及び第２画像を入力とすることによって、第１差異領域データ（第１領域モデルの出力）を生成する。第１領域検出部１０は、複数の領域に分割された第１画像及び第２画像を入力とすることによって、領域単位で第１差異領域データを生成してもよい。第１領域検出部１０は、第１差異領域データを、第２領域検出部１３に出力する。

第１差異領域データは、第１画像及び第２画像の間における画素値の差異の度合い（差異度）を各要素とする行列データである。画像間における画素値の差異の度合いは、撮影された地上に存在する対象物が時系列変化している確率を、画素単位で表す。

第１差異領域データ（変化マスク画像）は、行列データの各要素を各画素とする画像の形式で表現される。第１差異領域データのサイズは、第１画像及び第２画像の各サイズと同じである。第１差異領域データの画素は、第１画像及び第２画像における同じ座標の画素に対応付けられている。

第１差異領域データにおける値は、第１画像及び第２画像の間における画素値の差異の度合い（差異度）を表す。差異度は、第１画像及び第２画像の間における画素値の変化度として、行列の要素（画像の画素）ごとに推定される。差異度の範囲は、０から１までの範囲である。すなわち、第１差異領域データにおける値は、第１画像の撮影時刻から第２画像の撮影時刻までの間における、撮影された地上に存在する対象物が時系列変化している確率を表す。確率値の範囲は、０から１までの範囲である。確率値に対して変換処理が実行された結果の整数部は、画像の形式で表現される第１差異領域データ等の画素値として利用可能である。確率値に対して実行される変換処理（以下「画像変換処理」」という。）では、例えば、確率値に所定値（例えば２５５）が乗算された結果が画素値として導出される。

第１差異領域データの値は、確率値が１に近くなるほど、画像変換処理によって例えば白に近い色（明るい色）で表現される。第１差異領域データの値は、確率値が０に近くなるほど、画像変換処理によって例えば黒に近い色（暗い色）で表現される。

第１属性検出部１１は、第１画像（過去画像）を取得する。第１属性検出部１１に保持された学習済のモデル（第１属性モデル）は、第１画像を入力とすることによって、第１属性データ（第１属性モデルの出力）を生成する。第１属性検出部１１は、複数の領域に分割された第１画像を入力とすることによって、領域単位で第１属性データを生成してもよい。第１属性検出部１１は、第１属性データを第２領域検出部１３に出力する。

第１属性データ（第１確率データ）は、第１画像の画素が対象物を表している画素である確率を各要素とする行列データである。第１画像の画素が対象物を表している画素である確率は、例えば地図データに基づいて、画素ごとに導出される。

第１属性検出部１１に保持された学習済のモデルは、別途作成された地図データに基づいて学習されたモデルである。地図データは、撮影された空間領域における対象物の位置（有無）を表す。第１属性検出部１１は、第１画像の画素が対象物を表している確率を、第１画像における対象物の色等に関係なく、地図データを用いて学習されたモデルの出力として画素ごとに導出する。

第１属性データ（属性マスク画像）は、例えば、行列データの各要素を各画素とする画像の形式で表現される。確率値に所定値（例えば、２５５）が乗算された結果の整数部は、画素値として利用可能である。第１属性データのサイズは、第１画像のサイズと同じである。第１属性データの画素は、第１画像における同じ座標の画素に対応付けられている。第１属性データの画素の画素値は、画素が対象物を表している確率が高いほど大きい。すなわち、第１属性データの画素の画素値は、画素が対象物の位置に対応付けられている確率が高いほど大きい。

対象物が例えば建物である場合、第１属性データにおいて建物の位置に対応付けられていない要素の確率値は０である。第１属性データにおいて建物の位置に対応付けられている要素の確率値は１である。地図データが画像の形式で表現される場合、地図データの画素は、確率値が１に近くなるほど、画像変換処理によって例えば白に近い色（明るい色）で表現される。地図データの画素は、画素値が０に近くなるほど、画像変換処理によって例えば黒に近い色（暗い色）で表現される。

第２属性検出部１２は、第２画像（現在画像）を取得する。第２属性検出部１２に保持された学習済のモデル（第２属性モデル）は、第２画像を入力とすることによって、第２属性データ（第２属性モデルの出力）を生成する。第２属性検出部１２は、複数の領域に分割された第２画像を入力とすることによって、領域単位で第２属性データを生成してもよい。第２属性検出部１２は、第２属性データを第２領域検出部１３に出力する。

第２属性データ（第２確率データ）は、第２画像の画素が対象物を表している画素である確率を各要素とする行列データである。第２画像の画素が対象物を表している画素である確率は、例えば地図データに基づいて、画素ごとに導出される。

なお、差異領域の検出の目的（例えば、新規建物を検出する目的、新規の道路を検出する目的）に応じて、複数の種類の対象物（例えば、建物及び道路）を表す各確率が、第１属性データ及び第２属性データにおいて導出されてもよい。

第２属性検出部１２に保持された学習済のモデルは、別途作成された地図データに基づいて学習されたモデルである。第２属性検出部１２は、第２画像の画素が対象物を表している確率を、第２画像における対象物の色等に関係なく、地図データを用いて学習されたモデルの出力として画素ごとに導出する。

第２属性データ（属性マスク画像）は、例えば、行列データの各要素を各画素とする画像の形式で表現される。確率値に所定値（例えば、２５５）が乗算された結果の整数部は、画素値として利用可能である。第２属性データのサイズは、第２画像のサイズと同じである。第２属性データの画素は、第２画像における同じ座標の画素に対応付けられている。第２属性データの画素の画素値は、画素が対象物を表している確率が高いほど大きい。すなわち、第２属性データの画素の画素値は、画素が対象物の位置に対応付けられている確率が高いほど大きい。

第１属性データと同様に、第２属性データにおいて建物の位置に対応付けられていない要素の確率値は０である。第２属性データにおいて建物の位置に対応付けられている要素の確率値は１である。

第２領域検出部１３は、第１差異領域データ、第１属性データ及び第２属性データを取得する。第２領域検出部１３は、第１差異領域データ、第１属性データ及び第２属性データを連結する。

第２領域検出部１３に保持された学習済のモデル（第２領域モデル）は、第１差異領域データ、第１属性データ及び第２属性データを入力とすることによって、第２差異領域データ（第２領域モデルの出力）を生成する。第２領域検出部１３は、複数の領域に分割された第１差異領域データ、第１属性データ及び第２属性データを入力とすることによって、領域単位で第２差異領域データを生成してもよい。第２領域検出部１３は、第２差異領域データを、所定の外部装置（例えば、画像認識装置）に出力する。

第２差異領域データは、第１差異領域データの各画素を各要素とする行列データである。第２差異領域データは、例えば、行列データの各要素を各画素とする画像の形式で表現される。確率値に所定値（例えば、２５５）が乗算された結果の整数部は、画素値として利用可能である。すなわち、第２差異領域データは、第２領域検出部１３よりも後段で実行される処理において変化マスク画像として利用可能である。第２差異領域データのサイズは、第１画像及び第２画像の各サイズと同じである。第２差異領域データの画素は、第１差異領域データにおける同じ座標の画素と、第１画像及び第２画像における同じ座標の画素とに対応付けられている。

第２差異領域データは、空間領域の対象物が撮影されている画像のみから得られる特徴データが変化している確率と、ほぼ同じ空間領域の地図データを利用して得られる属性（対象物）データが変化している確率との組み合わせに基づいて、空間領域において対象物が変化している確率を表すデータである。また、第２差異領域データは、画像の形式で表現されることで、対象物が変化している確率が低いほど黒くなるような画素値で表現される。これによって、第２差異領域データは、対象物が変化していない画素が例えば黒く塗りつぶされているマスク画像（変化マスク画像）として利用可能である。

図２は、第２差異領域データ（変化マスク画像）の生成例を示す図である。第１領域検出部１０は、第１領域モデル１００を備える。第１属性検出部１１は、第１属性モデル１１０を備える。第２属性検出部１２は、第２属性モデル１２０を備える。第２領域検出部１３は、第２領域モデル１３０を備える。

第１領域検出部１０は、第１画像２００及び第２画像２０１を取得する。第１領域モデル１００は、第１画像２００及び第２画像２０１を入力として、第１差異領域データ３００を生成する。第１領域検出部１０は、第１差異領域データ３００を、第２領域検出部１３に出力する。

第１属性検出部１１は、第１画像２００を取得する。第１属性モデル１１０は、第１画像２００（過去画像）を入力として、第１属性データ３０１（過去属性データ）を生成する。第１属性データ３０１は、第１画像２００における対象物の領域を、地図データに基づいて表す。第１属性検出部１１は、第１属性データ３０１を、第２領域検出部１３に出力する。

第２属性検出部１２は、第２画像２０１を取得する。第２属性モデル１２０は、第２画像２０１（現在画像）を入力として、第２属性データ３０２（現在属性データ）を生成する。第２属性データ３０２は、第２画像２０１における対象物の領域を、地図データに基づいて表す。第２属性検出部１２は、第２属性データ３０２を、第２領域検出部１３に出力する。

第２領域検出部１３は、第１差異領域データ、第１属性データ及び第２属性データを取得する。第２領域モデル１３０は、連結された第１差異領域データ３００、第１属性データ３０１及び第２属性データ３０２を入力とする。

第２領域検出部１３に保持された第２領域モデル１３０は、第１差異領域データ３００の各画素値（各確率値）を、第１属性データ３０１及び第２属性データ３０２の間の差に応じて変更する。第２領域モデル１３０は、第１属性データ３０１及び第２属性データ３０２の間の差が大きい領域（例えば、閾値以上の領域）を、第１差異領域データ３００における差異領域として検出する。

なお、第２領域検出部１３は、第１差異領域データ３００の各画素値（各確率値）を、第１属性データ３０１及び第２属性データ３０２の間の差異度と閾値との比較結果に基づいて変更してもよい。

第２領域モデル１３０は、第１属性データ３０１及び第２属性データ３０２の間の差異度が低い領域に対応付けられた第１差異領域データ３００の各画素値を小さくする。例えば、新規建物である確率を第１差異領域データ３００の画素値が表している場合、第２領域モデル１３０は、第１属性データ３０１及び第２属性データ３０２の両方において建物の位置に対応付けられている画素（差異度が低い領域の画素）を、第１差異領域データ３００において検出する。

第１属性データ３０１及び第２属性データ３０２の両方のほぼ同じ位置において、ほぼ同じ画素値を持っている画素は、新規建物以外の建物（既存建物）を表す画素である可能性がある。そこで、第２領域モデル１３０は、第１差異領域データ３００において検出された各画素の画素値（例えば新規建物である確率を表す確率値）を小さくする。

このように、第２領域検出部１３は、第１差異領域データ３００において、第１属性データと第２属性データとの差が大きい領域を、差異領域として検出する。ここで、第２領域検出部１３は、第１差異領域データ３００において画素値が大きい領域（差異度が高い領域。差異度が一定値以上である領域。）を、差異領域として検出する。

第２領域検出部１３は、第１属性データ及び第２属性データの間の差異度に応じて変更された各画素値を含む第１差異領域データ３００を、第２差異領域データ３０３として、所定の外部装置（例えば、画像認識装置）に出力する。

このように、第２領域検出部１３は、過去及び現在の地図の同一位置における対象物の時系列変化の有無と、地図データが示す地域が撮影された画像の時系列変化との両方に基づいて、撮影された画像間の差異領域を検出する。例えば、既存建物の屋根の色が時系列変化した場合でも、第１属性モデル１１０及び第２属性モデル１２０の学習に用いられた地図データ（属性データの教師データ）における既存建物の時系列変化がないことに基づいて、第１領域検出部１０が既存建物を新規建物と誤検出する可能性を低減することが可能である。

次に、推定フェーズにおける差異検出装置１ａが実行する推定動作の例を説明する。
図３は、差異検出装置１ａが実行する推定動作の例を示すフローチャートである。第１領域検出部１０が、差異の検出対象である第１画像２００及び第２画像２０１を取得する。第１領域検出部１０が、第１画像２００及び第２画像２０１に基づいて、第１差異領域データ３００を生成する（ステップＳ１０１）。第２領域検出部１３が、第１差異領域データ３００を取得する（ステップＳ１０２）。

第１属性検出部１１が、第１画像２００（過去画像）を取得する。第１属性検出部１１が、第１画像２００に基づいて、第１属性データ３０１（過去属性データ）を生成する（ステップＳ１０３）。第２領域検出部１３が、第１属性データ３０１を取得する（ステップＳ１０４）。第２属性検出部１２が、第２画像２０１（現在画像）を取得する。第２属性検出部１２が、第２画像２０１に基づいて、第２属性データ３０２（現在属性データ）を生成する（ステップＳ１０５）。

第２領域検出部１３が、第２属性データ３０２を取得する（ステップＳ１０６）。第２領域検出部１３が、連結された第１差異領域データ、第１属性データ及び第２属性データに基づいて、第２差異領域データ３０３を生成する（ステップＳ１０７）。

図４は、第１領域検出部１０が実行する推定動作の例を示すフローチャートである。図３に示されたステップＳ１０１において、第１領域検出部１０は、第１画像２００及び第２画像２０１を取得する（ステップＳ２０１）。第１領域検出部１０に保持されている学習済みの第１領域モデル１００は、第１画像２００及び第２画像２０１を取得する（ステップＳ２０２）。

第１領域モデル１００は、第１画像２００及び第２画像２０１の各画素値を第１領域モデル１００の入力として、複数の確率値（第１領域モデル１００の出力）を生成する。生成された確率値の個数は、例えば第１画像２００の画素数（サイズ）と等しい（ステップＳ２０３）。第１領域モデル１００は、複数の確率値（第１領域モデル１００の出力）に基づいて、第１差異領域データ３００を生成する。第１領域検出部１０は、第１差異領域データ３００を、第２領域検出部１３に出力する（ステップＳ２０４）。

図５は、第１属性検出部１１が実行する推定動作の例を示すフローチャートである。図３に示されたステップＳ１０３において、第１属性検出部１１が、第１画像２００を取得する（ステップＳ３０１）。第１属性検出部１１に保持されている学習済みの第１属性モデル１１０は、第１画像２００を取得する（ステップＳ３０２）。

第１属性モデル１１０は、第１画像２００の各画素値を第１属性モデル１１０の入力として、複数の確率値（第１属性モデル１１０の出力）を生成する。生成された確率値の個数は、第１画像２００の画素数（サイズ）と等しい（ステップＳ３０３）。第１属性モデル１１０は、複数の確率値（第１属性モデル１１０の出力）に基づいて、第１属性データ３０１を生成する。第１領域モデル１００は、第１属性データ３０１を、第２領域検出部１３に出力する（ステップＳ３０４）。

なお、図３に示されたステップＳ１０５において第２画像２０１を用いる第２属性検出部１２が実行する推定動作は、図５に示されたように第１画像２００を用いる第１属性検出部１１が実行する推定動作と同様である。

図６は、第２領域検出部１３が実行する推定動作の例を示すフローチャートである。第２領域検出部１３は、第１差異領域データ３００、第１属性データ３０１及び第２属性データ３０２を取得する（ステップＳ４０１）。第２領域検出部１３に保持されている学習済みの第２領域モデル１３０は、第１差異領域データ３００、第１属性データ３０１及び第２属性データ３０２を取得する（ステップＳ４０２）。

第２領域モデル１３０は、第１差異領域データ３００、第１属性データ３０１及び第２属性データ３０２の各画素値を第２領域モデル１３０の入力として、複数の確率値（第２領域モデル１３０の出力）を生成する。生成された確率値の個数は、例えば第１差異領域データ３００の画素数（サイズ）と等しい（ステップＳ４０３）。

第２領域検出部１３は、閾値以上の画素値を表す各画素を、第１差異領域データ３００において検出する。画素値の閾値の範囲は、差異度「０」に対応する画素値（例えば０）から差異度「１」に対応する画素値（例えば２５５）までの各画素値のうちから、モデルの精度に応じて選択されてもよい。第２領域検出部１３は、検出された各画素に対応する第２差異領域データ３０３（変化領域データ）を生成する（ステップＳ４０４）。

次に、学習フェーズにおける学習装置の機械学習動作の例を説明する。
図７は、第１学習装置２の構成例を示す図である。第１学習装置２は、第１領域検出部１０に保持される第１領域モデル１００を機械学習によって生成する情報処理装置である。

第１学習装置２は、第１学習記憶部２０と、第１領域学習部２１とを備える。第１学習装置２の一部又は全部は、ＣＰＵ等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。第１学習装置２の一部又は全部は、例えば、ＬＳＩ、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等を用いた電子回路を含むハードウェアを用いて実現されてもよい。

第１学習記憶部２０は、第１学習画像及び第２学習画像を含む学習画像群と、地図データとを記憶する。学習画像群は、機械学習用の画像群である。第１学習画像及び第２学習画像は、互いに異なる時刻に上空から撮影された地上におけるほぼ同じ位置の空間領域を表す画像の組である。

地図データは、家屋及び無壁舎等の対象物の位置をポリゴンの配置を用いて表現する電子地図データである。地図データは、対象物の種類に対応付けられた層ごとに対象物を表すデータ（レイヤデータ）の形式で、対象物の位置データを含んでもよい。

なお、地図データは、対象物の位置を正確に表現することが可能であれば、ポリゴンを用いる代わりに、対象物の形状を表す画像の配置を用いて、対象物の位置を表現してもよい。

第１学習記憶部２０は、第１差異領域データの教師データ（以下「第１領域教師データ」という。）を記憶する。第１学習画像及び第２学習画像と、地図データと、第１領域教師データとは、空間領域の位置と時刻とに関して、互いに対応付けられている。

第１領域教師データは、地図データを用いて予め作成される。例えば、第１領域教師データは、ほぼ同じ位置の空間領域を表す第１地図データ及び第２地図データのいずれか一方のみに存在する対象物の位置を、ポリゴン又は画像の配置を用いて表現するデータである。第１地図データ及び第２地図データのいずれか一方のみに存在する対象物の位置は、差異領域における対象物の位置であり、例えば新規建物の位置である。

第１領域学習部２１に保持されているモデルは、エンコーダ及びデコーダを保持するＵ－Ｎｅｔ等の全層畳み込みネットワーク（Fully Convolution Network）に類似するネットワークを備えるモデルである。エンコーダは、畳み込み層及びプーリング層の繰り返しを用いて、データを符号化する。デコーダは、アップサンプリング層、逆畳み込み層及びプーリング層の繰り返しを用いて、データを復号する。第１領域学習部２１に保持されているモデルのネットワーク構造は、例えば、非特許文献１に示されたネットワーク構造に類似する構造でもよい。第１領域学習部２１に保持されているモデルは、２個のエンコーダと１個のデコーダとを備えてもよい。

学習フェーズにおいて、第１領域学習部２１は、第１学習画像及び第２学習画像と、第１領域教師データとを取得する。第１領域学習部２１に保持されているモデルは、第１学習画像及び第２学習画像（学習画像の組）と、第１領域教師データとを入力として、第１差異領域データ３００の推定データ（推定変化マスク画像）を出力する。

第１領域学習部２１は、第１差異領域データ３００の推定データと第１領域教師データとの評価誤差が最小になるように、第１領域学習部２１に保持されているモデルのネットワークのパラメータを更新する。評価誤差は、例えば、バイナリ・クロス・エントロピ（Binary Cross-Entropy）等の損失関数、平均絶対誤差（MAE：Mean Absolute Error）又は平均二乗誤差（Mean Squared Error）である。

第１領域学習部２１は、例えば、誤差逆伝播法を用いてパラメータを更新する。第１領域学習部２１は、ネットワークのパラメータが更新されたモデルを、第１領域モデル１００として第１領域検出部１０に出力する。

図８は、属性学習装置３の構成例を示す図である。属性学習装置３は、第１属性検出部１１に保持される第１属性モデル１１０を機械学習によって生成する情報処理装置である。属性学習装置３は、第１属性検出部１１に保持される第１属性モデル１１０だけでなく、第２属性検出部１２に保持される第２属性モデル１２０を、機械学習によって生成してもよい。

属性学習装置３は、属性学習記憶部３０と、属性学習部３１とを備える。属性学習装置３の一部又は全部は、ＣＰＵ等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。属性学習装置３の一部又は全部は、例えば、ＬＳＩ、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等を用いた電子回路を含むハードウェアを用いて実現されてもよい。

属性学習記憶部３０は、学習画像群と、地図データとを記憶する。属性学習部３１は、第１属性データ又は第２属性データの教師データ（以下「属性教師データ」という。）を記憶する。属性教師データは、地図データを用いて予め作成される。属性教師データは、学習画像の各画素値が対象物の属性を表している確率を各要素とする行列データである。例えば、属性教師データは、学習画像の各画素値が建物を表している確率を各要素とする行列データである。学習画像群と、地図データと、属性教師データとは、空間領域の位置と時刻とに関して、互いに対応付けられている。

属性学習部３１に保持されているモデルは、エンコーダ及びデコーダを保持するＵ－Ｎｅｔ等の全層畳み込みネットワークに類似するネットワークを備えるモデルである。属性学習部３１に保持されているモデルのネットワーク構造は、例えば、非特許文献１に示されたネットワーク構造に類似する構造でもよい。

学習フェーズにおいて、属性学習部３１は、学習画像群のうちの学習画像（過去の学習画像）と、属性教師データとを取得する。属性学習部３１に保持されているモデルは、学習画像と、属性教師データとを入力として、第１属性データ３０１の推定データ（推定属性マスク画像）を出力する。

属性学習部３１は、第１属性データ３０１の推定データと属性教師データとの評価誤差が最小になるように、属性学習部３１に保持されているモデルのネットワークのパラメータを更新する。属性学習部３１は、例えば、誤差逆伝播法を用いてパラメータを更新する。属性学習部３１は、ネットワークのパラメータが更新されたモデルを、第１属性データ３０１として第１属性検出部１１に出力する。

属性学習部３１に保持されているモデルは、第１属性データ３０１の推定データが生成される際に用いられた過去の学習画像よりも新しい学習画像（現在の学習画像）と、属性教師データとを入力として、第２属性データ３０２の推定データ（推定属性マスク画像）を出力してもよい。属性学習部３１は、ネットワークのパラメータが更新されたモデルを、第２属性データ３０２として第２属性検出部１２に出力してもよい。

なお、属性学習部３１において、過去の学習画像を用いて生成されたモデルは、現在の学習画像における対象物を検出することが可能である。このため、属性学習部３１は、第１属性モデル１１０が生成される際に用いられた学習画像群（過去の学習画像群）を用いて学習されたモデルを、第２属性モデル１２０として第２属性検出部１２に出力してもよい。

図９は、第２学習装置４の構成例を示す図である。第２学習装置４は、第２領域検出部１３に保持される第２領域モデル１３０を機械学習によって生成する情報処理装置である。

第２学習装置４は、第２学習記憶部４０と、第２領域学習部４１とを備える。第２学習装置４の一部又は全部は、ＣＰＵ等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）であるメモリに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。第２学習装置４の一部又は全部は、例えば、ＬＳＩ、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等を用いた電子回路を含むハードウェアを用いて実現されてもよい。

第２学習記憶部４０は、第２差異領域データの教師データ（以下「第２領域教師データ」という。）を記憶する。第１学習画像及び第２学習画像と、地図データと、第１差異領域データと、第２領域教師データとは、空間領域の位置と時刻とに関して、互いに対応付けられている。

第２領域教師データは、地図データを用いて予め作成される。例えば、第２領域教師データは、ほぼ同じ位置の空間領域を表す第１地図データ及び第２地図データのいずれか一方のみに存在する対象物の位置を、ポリゴン又は画像の配置を用いて表現するデータである。

第２領域学習部４１に保持されているモデルは、エンコーダ及びデコーダを保持するＵ－Ｎｅｔ等の全層畳み込みネットワークに類似するネットワークを備えるモデルである。第２領域学習部４１に保持されているモデルのネットワーク構造は、例えば、非特許文献１に示されたネットワーク構造に類似する構造でもよい。第２領域学習部４１に保持されているモデルは、２個のエンコーダと１個のデコーダとを備えてもよい。

学習フェーズにおいて、第２領域学習部４１は、第１属性データ３０１及び第２属性データ３０２と、第１差異領域データ３００と、第２領域教師データとを取得する。第２領域学習部４１に保持されているモデルは、第１属性データ３０１及び第２属性データ３０２と、第１差異領域データ３００と、第２領域教師データとを入力として、第２差異領域データ３０３の推定データ（推定変化マスク画像）を出力する。

第２領域学習部４１は、第２差異領域データ３０３の推定データと第２領域教師データとの評価誤差が最小になるように、第２領域学習部４１に保持されているモデルのネットワークのパラメータを更新する。第２領域学習部４１は、例えば、誤差逆伝播法を用いてパラメータを更新する。第２領域学習部４１は、ネットワークのパラメータが更新されたモデルを、第２領域モデル１３０として第２領域検出部１３に出力する。

以上のように、第１実施形態の差異検出装置１ａは、第２領域検出部１３（取得部、検出部）を備える。第２領域検出部１３は、差異度と、第１属性データ（第１確率データ）と、第２属性データ（第２確率データ）とを取得する。差異度は、第１画像２００（第１空間領域が第１時刻において撮影された画像）と、第２画像２０１（第２空間領域が第２時刻において撮影された画像）との間における画素値の差異の度合いを画素ごとに表す。第１属性データは、第１画像２００に撮影された第１空間領域に対象物が存在する確率を画素ごと表す。第２属性データは、第２画像２０１に撮影された第２空間領域に対象物が存在する確率を画素ごと表す。第１属性データ及び第２属性データは、例えば、地図データに基づいて生成される。第２領域検出部１３は、差異度と第１属性データと第２属性データとを関連付ける。ここで、関連付けとは、例えば機械学習において、差異領域を出力するネットワーク（モデル）に、差異度と第１属性データと第２属性データとを第２領域検出部１３が入力することである。関連付けとは、差異度、第１属性データ及び第２属性データの対応付けに応じて差異領域を導出するヒューリスティックに基づいて決められた信号処理を第２領域検出部１３が実行する際に、差異度、第１属性データ及び第２属性データを第２領域検出部１３が対応付けることでもよい。差異度、第１属性データ及び第２属性データは、０から１までの確率値として、それぞれ表現可能である。ヒューリスティックに基づいて決められた信号処理では、例えば、空間領域における対象物が変化している確率（最終的な差異度）として、各画素の画素値（各要素の確率値）の加重平均値が得られる。ヒューリスティックに基づいて決められた信号処理では、例えば、空間領域における対象物が変化している確率（最終的な差異度）として、第１属性データと第２属性データとの差に応じて得られる係数に差異度が乗算された結果の値が得られてもよい。第２領域検出部１３は、関連付けの結果（例えば、ネットワークの入力）に基づいて、差異領域を検出する。

これによって、画像間の差異領域を検出する精度を向上させることが可能である。

第１属性データ３０１及び第２属性データ３０２は、人がラベル付けしたことによって生成されたデータではなく、差異検出装置１ａによって生成されたデータである。このため、第１属性データ３０１及び第２属性データ３０２の精度は高い。差異検出装置１ａは、第１属性データ３０１及び第２属性データ３０２を短時間で生成することができる。

人が作成した地図データ（例えば、オープンソースの地図データ）に誤りが含まれている場合、差異検出装置１ａは、人が作成した地図データにおける誤りを、第１属性データ３０１及び第２属性データ３０２を用いて訂正してもよい。

（変形例）
ニューラルネットワーク等のモデルを差異検出装置１ａが使用しない場合における、差異検出装置１ａが実行する推定動作の例を説明する。

図１０は、第２領域検出部１３が実行する推定動作の例を示すフローチャートである。第２領域検出部１３は、第１差異領域データ３００、第１属性データ３０１及び第２属性データ３０２を取得する（ステップＳ５０１）。第２領域検出部１３は、第１差異領域データ３００の画素値と、第１属性データ３０１の画素値と、第２属性データ３０２の画素値との平均値を、撮影された空間領域における同じ位置に対応付けられた画素ごとに導出する（ステップＳ５０２）。第２領域検出部１３は、閾値以上の平均値を表す各画素に対応する差異領域を表す第２差異領域データ３０３を生成する（ステップＳ５０３）。

（第２実施形態）
第２実施形態では、画像ではなく地図データに基づいて第１属性データ３０１が生成される点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を説明する。

第２領域検出部１３は、地図データに基づいて生成された第１属性データ３０１を入力として、第２差異領域データ３０３を生成してもよい。

図１１は、差異検出装置１ｂの構成例を示す図である。差異検出装置１ｂは、画像間の差異領域を検出する情報処理装置である。差異検出装置１ｂは、例えばニューラルネットワークを用いたモデルを用いて、画像間の差異領域を検出する。

差異検出装置１ｂは、第１領域検出部１０と、第２属性検出部１２と、第２領域検出部１３と、属性データ記憶部１４とを備える。

属性データ記憶部１４は、第１属性データ３０１を記憶する。第１属性データ３０１は、撮影された空間領域における対象物の位置をポリゴンの配置を用いて表現する地図データ（過去の実際の属性データ）を用いて、予め生成される。第１属性データ３０１は、図８に示された属性学習記憶部３０に記憶されている属性教師データでもよい。第２領域検出部１３は、第１属性データ３０１を、属性データ記憶部１４から取得する。

なお、属性データ記憶部１４は、第１属性データ３０１及び第２属性データ３０２を記憶してもよい。第２領域検出部１３は、第２属性データ３０２を、属性データ記憶部１４から取得してもよい。

以上のように、第２実施形態の差異検出装置１ｂは、属性データ記憶部１４を備える。属性データ記憶部１４は、第１属性データ３０１を記憶する。第１属性データ３０１は、地図データ（過去の実際の属性データ）を用いて、予め生成される。第２領域検出部１３は、第１属性データ３０１を、属性データ記憶部１４から取得する。

これによって、地図データ（過去の実際の属性データ）を用いて、画像間の差異領域を検出する精度をさらに向上させることが可能である。

（第３実施形態）
第３実施形態では、第１画像に関して予め準備された属性データと第２画像の属性データの推定値とに基づいて差異が検出される点が、第１実施形態及び第２実施形態と相違する。第３実施形態では、第１実施形態及び第２実施形態との相違点を説明する。

図１２は、差異検出装置１ｃの構成例を示す図である。差異検出装置１ｃは、画像間の差異領域を検出する情報処理装置である。差異検出装置１ｃは、例えばニューラルネットワークを用いたモデルを用いて、画像間の差異領域を検出する。

第３実施形態では、第１画像に関して予め準備属性データと、第２画像の属性データの推定値とに基づいて、第１画像及び第２画像の間の差異領域が検出される。すなわち、第１画像に関して予め準備された属性データが、画素ごとに導出される。属性データは、画素値として利用される。属性データは、画像変換処理によって画素値に変換されてもよい。第２画像の属性データの推定値が、第２画像の画素ごとに導出される。属性データの推定値は、画素値として利用される。属性データの推定値は、画像変換処理によって画素値に変換されてもよい。

第３実施形態では、第１画像に対応する属性データと、第２画像に対応する属性データの推定値とが、差異領域であるか否かが判定される対象データとされる。これによって、差異検出装置１ｃは、属性データに基づいて、第１画像及び第２画像の間の差異領域を検出することができる。

差異検出装置１ｃは、第２属性検出部１２と、属性データ記憶部１４、第１領域マスク部１５と、第２領域マスク部１６と、第３領域検出部１７とを備える。

属性データ記憶部１４は、第１属性データ３０１を記憶する。第１属性データ３０１は、撮影された空間領域における対象物の位置をポリゴンの配置を用いて表現する地図データ（過去の実際の属性データ）を用いて、予め生成される。第１属性データ３０１は、図８に示された属性学習記憶部３０に記憶されている属性教師データでもよい。第１領域マスク部１５は、第１属性データ３０１を、属性データ記憶部１４から取得する。

図１３は、第１領域マスク部１５が実行する動作の例を示すフローチャートである。第１領域マスク部１５は、第１画像２００と、第１属性データ３０１とを取得する（ステップＳ６０１）。第１領域マスク部１５は、第１画像２００に対して第１属性データ３０１（第１確率データ）をマスク画像として用いて、マスク処理の結果として第１属性領域画像４００（第１確率画像）を生成する（ステップＳ６０２）。第１領域マスク部１５は、第１属性領域画像４００を、第３領域検出部１７に出力する（ステップＳ６０３）。

図１４は、第２領域マスク部１６が実行する動作の例を示すフローチャートである。第２領域マスク部１６は、第２画像２０１と、第２属性データ３０２とを取得する（ステップＳ７０１）。ここで、第２属性データ３０２は、第２属性モデル１２０によって推定された属性データ（確率データの推定値）である。第２属性データ３０２は、画像の形式で表現される。第２属性データ３０２は、第２属性検出部１２に第２画像２０１が入力された結果として得られる。第２属性データ３０２の各画素値に対応する各確率値の範囲は、第１実施形態に記載されているように、０から１までの範囲である。

第２領域マスク部１６は、第２画像２０１に対して第２属性データ３０２をマスク画像として用いて、マスク処理の結果として第２属性領域推定画像４０１を生成する（ステップＳ７０２）。第２領域マスク部１６は、第２属性領域推定画像において閾値以上の画素値を表す画素を、第３領域検出部に出力する（ステップＳ６０３）。ここで、第２属性領域推定画像４０１において閾値未満の画素値を表す画素の画素値は、０に置き換えられる。

図１５は、第３領域検出部１７が実行する推定動作の例を示すフローチャートである。第３領域検出部１７は、第１属性領域画像４００と、閾値処理された第２属性領域推定画像４０１とを取得する（ステップＳ８０１）。第３領域検出部１７に保持されている学習済みの第３領域モデル１４０は、第１属性領域画像４００と、閾値処理された第２属性領域推定画像４０１とを取得する（ステップＳ８０２）。

第３領域モデル１４０は、第１属性領域画像４００、閾値処理された第２属性領域推定画像４０１の各画素値を第３領域モデル１４０の入力として、複数の確率値（第３領域モデル１４０の出力、第３差異領域データ）を生成する。生成された確率値の個数は、例えば第１差異領域データ３００の画素数（サイズ）と等しい（ステップＳ８０３）。

第３領域検出部１７は、閾値以上の確率値又は画素値を表す各画素に対応する第３差異領域データ３０４を生成する（ステップＳ８０４）。ここで、確率値の閾値の範囲は、０から１までの範囲である。

第３領域モデル１４０は、第１属性領域画像４００と、閾値処理された第２属性領域推定画像４０１とが連結されたデータを入力として、第３差異領域データを生成するように学習されたモデルである。

第３領域モデル１４０と第２属性モデル１２０とは、互い独立に学習できる。閾値を有する正規化線形関数を利用したユニット（threshold rectified linear unit）と第２領域マスク部１６がみなされることで、第３領域モデル１４０と第２領域モデルとは、互い独立ではなく一つのモデルとして学習してもよい。

以上のように、第２実施形態の差異検出装置１ｃは、第１領域マスク部１５と、第２領域マスク部１６と、第３領域検出部１７とを備える。第１領域マスク部１５は、第１画像２００に対して、第１空間領域に対象物が存在する確率を表す予め準備（予め用意）された第１属性データ３０１（第１確率データ）を、マスク画像として用いる。第１領域マスク部１５は、マスク処理の結果として得られた画像である第１属性領域画像４００（第１確率画像）を生成する。第２領域マスク部１６は、第２画像２０１に対して、第２空間領域に対象物が存在する確率の推定値を表す第２属性データ３０２（第２確率データ）を、マスク画像として用いる。第２領域マスク部１６は、マスク処理の結果として得られた画像である第２属性領域推定画像４０１（第２確率画像）を生成する。第２領域マスク部１６は、第２属性領域推定画像４０１において閾値未満の画素値を表す画素の画素値を、０に置き換えてもよい。第３領域検出部１７は、第１属性領域画像４００と第２属性領域推定画像４０１とを関連付ける。第３領域検出部１７は、関連付けの結果に基づいて、第１画像２００及び第２画像２０１の間に差異が生じている領域を検出する。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、複数の画像の差異領域を検出する情報処理装置（画像処理装置）に適用可能である。

１ａ，１ｂ，１c…差異検出装置、１０…第１領域検出部、１１…第１属性検出部、１２…第２属性検出部、１３…第２領域検出部、１４…属性データ記憶部、１５…第１領域マスク部、１６…第２領域マスク部、１７…第３領域検出部、２０…第１学習記憶部、２１…第１領域学習部、３０…属性学習記憶部、３１…属性学習部、４０…第２学習記憶部、４１…第２領域学習部、１００…第１領域モデル、１１０…第１属性モデル、１２０…第２属性モデル、１３０…第２領域モデル、１４０…第３領域モデル、２００…第１画像、２０１…第２画像、３００…第１差異領域データ、３０１…第１属性データ、３０２…第２属性データ、３０３…第２差異領域データ、３０４…第３差異領域データ、４００…第１属性領域画像、４０１…第２属性領域推定画像

Claims (7)

1. 第１空間領域の画像である第１画像と、前記第１空間領域とほぼ同じ位置の第２空間領域の画像である第２画像との間における差異の度合いを表す差異度と、前記第１空間領域に対象物が存在する確率を表す第１確率データと、前記第２空間領域に対象物が存在する確率を表す第２確率データとを取得する取得部と、
   前記差異度と前記第１確率データと前記第２確率データとを関連付け、関連付けの結果に基づいて、前記第１画像及び前記第２画像の間に差異が生じている領域を検出する検出部と
   を備える差異検出装置。
2. 前記検出部は、前記第１画像及び前記第２画像において前記第１確率データ及び前記第２確率データの差が閾値以上である領域を、前記差異が生じている領域として検出する、請求項１に記載の差異検出装置。
3. 前記検出部は、前記第１画像及び前記第２画像において前記差異度が一定値以上である領域を、前記差異が生じている領域として検出する、請求項１又は請求項２に記載の差異検出装置。
4. 前記検出部は、前記差異度と前記第１確率データと前記第２確率データとを、学習済のニューラルネットワークに入力し、
   前記学習済のニューラルネットワークは、前記差異が生じている領域を出力する、請求項１から請求項３のいずれか一項に記載の差異検出装置。
5. 第１空間領域の画像である第１画像に対して、前記第１空間領域に対象物が存在する確率を表す予め準備された第１確率データをマスク画像として用いて、マスク処理の結果として得られた画像である第１確率画像を生成する第１領域マスク部と、
   前記第１空間領域とほぼ同じ位置の第２空間領域の画像である第２画像に対して、前記第２空間領域に対象物が存在する確率の推定値を表す第２確率データをマスク画像として用いて、マスク処理の結果として得られた画像である第２確率画像を生成する第２領域マスク部と、
   前記第１確率データと前記第２確率データとを関連付け、関連付けの結果に基づいて、前記第１画像及び前記第２画像の間に差異が生じている領域を検出する検出部と
   を備える差異検出装置。
6. 差異検出装置が実行する差異検出方法であって、
   第１空間領域の画像である第１画像と、前記第１空間領域とほぼ同じ位置の第２空間領域の画像である第２画像との間における差異の度合いを表す差異度と、前記第１空間領域に対象物が存在する確率を表す第１確率データと、前記第２空間領域に対象物が存在する確率を表す第２確率データとを取得するステップと、
   前記差異度と前記第１確率データと前記第２確率データとを関連付け、関連付けの結果に基づいて、前記第１画像及び前記第２画像の間に差異が生じている領域を検出するステップと
   を含む差異検出方法。
7. 請求項１から請求項５のいずれか一項に記載の差異検出装置としてコンピュータを機能させるためのプログラム。

Images