JP4521235B2 - 撮影画像の変化抽出装置及び方法 - Google Patents

Description

本発明は、様々な撮影位置、照明条件、角度、縮尺で撮影された複数の画像から地物変化を抽出するための方法、及び、装置に関する。

空中写真画像から地物変化の抽出方法としては、地域を撮影した静止画像と、平面数値地図あるいは立体数値地図とを用いるものがある。具体的には地図を画像に重畳し、図形テンプレートを用いて新規地物を画像から見つける技術（例えば、特許文献１参照）。
又、入力画像から求めた特徴量と、参照画像から求めた特徴量を比較して変化抽出する技術がある（例えば、特許文献２参照）。この技術においては特徴量として輪郭情報を用いている。

特開２０００−３１０９４０号公報

特開２００２−２０３２４３号公報

上記特許文献１に開示された従来技術に関しては、適切な地図が存在しない場合には変化抽出ができなかった。また特許文献２に開示された従来技術に関しては、幾何特徴や画像特徴、関係特徴など複数特徴を用いて変化判定できなかった
本発明は、オルソ画像だけでなく、異なる撮影位置、照明条件、角度、縮尺で撮影された複数の画像から生成した地物輪郭特徴とその内部画像特徴および地物間の位置関係特徴からなる地物フットプリントを照合することにより地物変化を抽出することができる地物変化抽出装置を提供するものである。

本願で開示する発明の代表的なものは以下の通りである。
幾何特徴、画像特徴、空間特徴から構成される地物のフットプリント情報を２以上の撮影画像から作成して生成された複数のフットプリント情報を比較する。この比較により抽出される変化データを出力する画像の変化抽出方法。

本発明によると、特徴点の抽出と照合に基づく旧画像により作成したフットプリントと新画像との初期位置合わせと、エッジ照合及び輪郭形状内の領域包含率により旧フットプリントに対応する地物の新画像における画像領域を探索し、周囲の探索結果を利用して連動的に探索位置を修正することができる。また、新旧画像間の対応する地物の画像領域に対して、輪郭の照合だけでなく、地物輪郭内部の領域構成の特徴量に基づく地物変化について評価できる。
これにより、単眼視やオルソなどの新旧(航空、衛星)画像から変化情報を抽出することが容易に実現できる。

以下、図面を用いて本願発明の実施例を説明する。尚、以下説明する実施例は、コンピュータに読み込まれて実行されるプログラムで規定されるものであってもよいし、ハードウェア、又は両者の協調処理によって実現されるものであっても良い。

図１に、新旧画像の照合に基づいた地物の変化抽出処理の機能構成の一実施例を示す。
本発明の処理装置は、旧画像データ１０２、旧画像により作成した旧フットプリント１０１、新画像データ１０３などを入力データとする。さらに処理装置は、フットプリントと新画像との初期位置合わせを行う初期重畳処理部１０４と、旧フットプリントに対応する地物の新画像における画像領域を探索するためのフットプリントフィッティング部１０５と、新画像から抽出した新フットプリント１０６と旧フットプリント情報を比較することにより変化情報を抽出するための変化抽出部１０７を有し、変化データ１０８を装置の出力とする。
新旧画像１０２と１０３は、オルソ画像に限らず、撮影の時期や位置が異なり、照明条件、角度、縮尺等が異なる空中写真画像又は衛星画像である。本実施例では新旧画像との言葉を用いているが、当然に同時刻に撮影したものであっても構わない。

まず、地物のフットプリント情報について定義する。図３に示すように、フットプリントは、幾何特徴、画像特徴、空間特徴による三種類の特徴の何れか、又はその組み合わせから構成する。幾何特徴は、輪郭や内部の領域情報から構成される、内部特徴は１又は複数の領域毎に位置、サイズ、傾き方向などの情報の少なくとも１から構成される。さらに領域毎の輪郭線分の情報も用いることができる。画像特徴は色彩又はエッジ特徴の少なくとも１つから構成される。また、空間特徴は、地物の空間位置情報又は隣接地物間の位置関係から構成される。なお以下、旧画像から作成した地物フットプリント情報を「旧フットプリント」と呼び、新画像から抽出した地物フットプリント情報を「新フットプリント」と呼ぶ。

旧フットプリントは、旧画像上の地物領域内をクリックする等の指定入力に基づいて地物領域を自動的に抽出して領域の輪郭形状を抽出し、さらに内部特徴等を抽出することで作成でき例えば特開２００３−１４０４８２に記載の技術を用いることができる。または、人手で地物の輪郭形状を描画することによって作成してもよい。新フットプリントは、旧フットプリントを新画像に対応づけるフットプリントフィッティングにより得た新画像の地物領域から自動的に抽出する。尚、新フットプリントは次の変化抽出で旧フットプリントとして利用されることになる。
フットプリント情報は、変化抽出のたびに作成するか、又は、旧フットプリントについては記憶しておいたものを繰り返し利用してもよい。フットプリントの利用によって本願では変化抽出を容易に行うことができる。

次に図１に記載される各部の機能について説明する。 まず、新旧画像の照合による変化抽出処理のフローの一実施例を図２に示す。
新旧衛星画像とフットプリント情報の入力を行う（ステップ２０１）。次に初期重畳処理部１０４では、旧画像から特徴点を抽出し、図４にて後述する照合により新画像１０１との位置合わせのためのパラメータを算出する。そして、算出されたパラメータを用いて旧画像１０２から作成したフットプリント１０３を新画像の位置と合わせるように幾何変換を行う（ステップ２０２）。

ステップ２０３においては、フットプリントフィッティング部１０５が、エッジ照合、輪郭形状内の領域包含率により旧フットプリントに対応する地物の新画像１０１における画像領域を探索する。
さらに比較・変化抽出部１０７では、新旧画像間の対応する地物に対して、幾何、内部領域と空間特徴から構成される新旧フットプリント情報を比較することにより変化情報を抽出し（ステップ２０４）、変化データを出力する（ステップ２０５）する。

次に各部の処理について詳細に説明する。初期重畳処理２０２の初期重畳処理の一実施例を図４に示す。画像特徴の抽出（ステップ４０１）では、まず、異なる解像度の同一画像から構成されるピラミッド画像空間、例えば、段階的に解像度の高くなる同一領域の画像を仮想的に積み上げた空間、の中で、空間一次微分や二次微分などの画像処理オペレータにより、各画素の縦横方向での勾配の値を計算する。ピラミッド画像を利用することで、異なる縮尺の画像に対応した画像の特徴量を構築することができる。次に、ピラミッド画像空間の中で、元画像の同一の位置に対応する画素の勾配の値を求め、値が予め決めた閾値より大きく、隣接する画像の中で勾配が最も急な画素位置を代表的な画像位置（特徴点）とする。これにより、異なる解像度の画像空間の中で勾配の大きさに特徴を持つ画像位置を代表的な特徴点として選択できる。

次に、特徴点の画像特徴と傾き方向の算出を行う（ステップ４０２）。具体的には、元画像の画素ごとに、予め決められた大きさのウィンドウの中で輝度の平均値と分散値を計算する。次に、このウィンドウの中にある画素の輝度値、平均輝度値、輝度の分散値の少なくとも１つを特徴点の画像特徴とする。特徴点の傾き角度の算出では、まず、勾配値が予め決めた閾値より大きいエッジ位置を抽出する。次に、隣接したエッジ画素との間の勾配角度の差があらかじめ定めた値より小さいエッジ点を線分点の候補位置として選択し、ハフ変換で線分情報を求める。そして、特徴点との距離が最も近い線分を選択して特徴点の傾き角度とする。線分の長さが閾値より小さければ、この画素を特徴点としないように特徴点から排除する。

次に、新旧画像間の特徴点ペア（対応する特徴点ペア）を選択する（ステップ４０３）。まず、新旧画像の特徴点間の類似度を計算する。具体的には、新画像のある特徴点に対して、旧画像の任意特徴点との間で、傾き角度の差により新画像を回転して、特徴点の位置を中心として予め定められた大きさのウィンドウの中にある画素の輝度値、平均輝度値、輝度の分散値などの特徴点の画像特徴により類似度（ユークリッド距離）を計算する。このように、新画像の特徴点に対して、旧画像の特徴点から最も高い類似度を持つ特徴点を求める。更に、選択された旧画像の特徴点に対して、新画像の特徴点の中でその新画像の特徴点が最も高い類似度を持てれば、この二つの特徴点を新旧画像間の対応特徴点ペアとして選択する。

次に、重畳のためのパラメータを算出する（ステップ４０４）。ここでは、新旧画像間の位置あわせのための回転角度、シフトベクトル、倍率など、三つの位置合わせのためのパラメータを計算する。回転角度の算出では、まず、対応特徴ペアとして選択された特徴点ペア間の傾き角度の差を計算する。そして、対応特徴点ペア間の、傾き角度の差を用いて、角度差のヒストグラムを求める。これにより、一番高いヒストグラム値を持つ角度差を新旧画像間の位置合わせのための回転角度とする。

位置あわせの移動方向と距離を示すシフトベクトルの算出は、まず、前記対応特徴点ペアとして選択された特徴点ペア間のシフトベクトルを計算する。次に、すべての特徴点マッチングペア間のシフトベクトル移動方向(角度)と距離の平均値を計算し、平均シフトベクトルを求める。そして、平均シフトベクトルと同じ方向を持ち、シフト距離が予め決めた閾値より小さくなる対応特徴点ペアを選択し、再度平均シフトベクトルを求めて新旧画像間の位置合わせのためのシフトベクトルとする。

倍率の算出では、まず、前記対応特徴ペアとして選択された特徴点の中で、新画像に属する特徴点グループと旧画像に属する特徴点グループに分ける。次に、それぞれの特徴点グループにおいて特徴点間の距離の和を計算する。そして、距離の和の比率を新旧画像間の照合倍率とする。
フットプリントフィッティング２０３では、新画像において旧フットプリントに対応する画像領域を選択する。図５は、フットプリントフィッティングの全体処理フローの一実施例である。

まず新画像の領域分割を行う（ステップ５０１）。画像領域の分割では、境界情報を利用する。ここでの境界情報は、領域を囲む情報として、及び、領域間の区別をするために利用する。以下のステップでは、このように抽出した境界情報を用いて高精度の領域分割を行う。領域分割では、同一の境界領域の中に位置し、隣接画素間の色彩の差が予め決めた閾値より小さい画像領域を抽出する。ここで、空間１、２次微分で求めた勾配値が予め決めた閾値より大きい画像位置を検出することによりエッジ情報を抽出する。
次に、フィッティング評価値を計算する（ステップ５０２）。旧フットプリントの輪郭形状を中心とする新画像内の隣接画像領域において、旧フットプリントに対応する画像領域を決定する。このプロセスを、フットプリントフィッティングと言う。

上記２式を用いて、エッジ情報の重複率Ｍ_edgeと領域の包含率Ｍ_areaを計算する。数１の中で、FLは旧フットプリントの領域内にあるエッジ情報の画素数を表し、EPは旧フットプリントのエッジ情報と重なる新画像のエッジ画素数を表す。数２の中で、Ｓ_footprintはフットプリントの領域面積を表し、数３はフットプリントの領域と重ねる画像領域の面積を表す。
次に、地物の画像位置を選択する（ステップ５０３）。予め決めた閾値より大きなエッジ情報の重複率（数１）を持ち、最大の領域包含率 (数２)を持つ画像位置があれば、フットプリントフィッティングの位置として選択する。以上の条件を満足する位置がなければ、旧画像にあるフットプリント位置をフットプリントフィッティングの位置として選択する。

次に、フットプリントフィッティングの協調補正を行う（ステップ５０４）。フットプリントフィッティング結果に基づいて、フットプリントフィッティングの位置の協調補正を行う。まず、協調補正の対象となるフットプリントのフィッティング位置を中心として予め決めた範囲からフットプリントのフィッティング位置を探す。次に、これらのフットプリントを適当な画像位置にフィッティングするための位置移動量と移動方向の平均値を求め、平均移動ベクトルを計算する。ここで協調補正の対象となるフットプリントを適当な画像位置にフィッティングするための移動距離と方向のそれぞれが上記求めた平均移動距離と方向との差が、予め決めた閾値以内であれば補正しないこととしても良い。閾値以上であれば、協調補正の対象となるフットプリントのフィッティング移動距離と方向のそれぞれが、最も近いフットプリントのフィッティングのための移動距離と方向との差が予め決めた閾値より小さければ、この最も近い地物のフィッティング移動ベクトルを協調補正の対象となるフットプリントのフィッティング移動ベクトルとする。閾値以上であれば、平均フィッティング移動ベクトルを選択する。

比較・変化抽出２０４では、フットプリントフィッティングにより決定された新画像において旧フットプリントに対応する画像位置から新フットプリント情報を抽出し、新旧フットプリント情報の照合により変化抽出を行う。図６は、フットプリントフィッティング処理のフローである。
まず、新旧フットプリントの画像領域を抽出する（ステップ６０１）。画像領域抽出では、ステップ５０１に述べる方式を利用する。旧画像から、旧フットプリントの輪郭形状に含まれる画像領域を抽出して旧フットプリントの画像領域とし、新画像から、フットプリントフィッティングされた画像位置から旧フットプリントの輪郭形状と重なる画像領域を抽出して新フットプリントの画像領域とする。

次に、新旧フットプリントの画像領域を重畳する（ステップ６０２）。フットプリントフィッティングの位置を基準として、新旧フットプリントの画像領域を重畳する。ステップ６０３、６０４では、すべての新フットプリントの画像領域に対して、新フットプリントの画像領域ごとに以下の処理で変化抽出の処理を行う。
まず、重畳した画像領域を選択する（ステップ６０３）。新フットプリントの画像領域と重畳した旧画像の領域を抽出する。

次に、領域の比較による変化領域を抽出する（ステップ６０４）。新フットプリント領域のサイズとステップ２で求めた旧フットプリントの領域のサイズを計算して比較する。領域サイズの差が予め決めた閾値より大きければ変化領域として抽出し、小さければ変化がない領域とする。図７には、変化領域抽出例を示す。
次に、フットプリント照合値を計算する（ステップ６０５）。数４に示すように、輪郭線分、輪郭領域内の特徴比較により照合値を計算する。

数３では、旧フットプリントxに対して、変化の評価関数C(X)を計算する。数３の中で、ω_p、ω_e、ω_sは重み係数である。
P(x)、E(x)、S(x)は次に示す式、数４乃至６に示すように求める。

数４は新画像の中で対応線分が存在する旧フットプリントxの輪郭線分の比率を計算する関数を表し、数５は旧フットプリントxの輪郭線分と新画像中の対応する画像位置から抽出される線分間の重複比率を求める関数を表す。また、数６は変化領域比率を計算する関数を表す。
次に、変化を記述する（ステップ６０６）。上記計算した評価値を用いた変化に関する記述、例えば、「変化なし」、「改築」、「滅失」などの概念で変化を評価する。高い評価値に対して「変化なし」で、小さい評価値に対して「滅失」で、両者の真中にある評価値に対して「改築」と言う概念で表示する。

図８では、新旧（衛星写真、航空写真）画像の照合に基づく変化抽出の実施例を示す。まず、新旧画像、旧画像により作成した旧フットプリントなどを入力データ（８０１）とし、旧画像により作成したフットプリントと新画像との初期位置合わせのための初期重畳（８０２）を行う。次に、旧フットプリントに対応する地物の新画像における画像領域を探索するためのフットプリントフィッティング（８０３）を行い、新旧フットプリントの比較によりフットプリント照合値を計算して変化評価（８０４）を行う。上記求めた照合値により変化なし、改築、滅失などの変化について記述し、変化した領域（８０４の影部分）を出力する。

変化抽出処理装置の一実施例の構成図。 変化抽出処理の一実施例を説明するフロー。 地物のフットプリントの構成の一実施例を説明する図。 初期重畳処理の一実施例のフロー。 フットプリントフィッティング処理の一実施例のフロー。 比較・変化抽出処理の一実施例のフロー。 変化領域抽出の一実施例。 変化抽出実施例。

符号の説明

１０１ 旧フットプリント
１０２ 旧画像データ
１０３ 新画像データ
１０４ 初期重畳処理部
１０５ フットプリントフィッティング部
１０６ 新フットプリント
１０７ 比較・変化抽出部
１０８ 変化データ。

Claims (8)

1. １の撮影画像から、少なくとも地物輪郭特徴と地物輪郭の内部特徴とを含む第１のフットプリント情報を抽出し、
   上記撮影画像から抽出した特徴点に基づいて他の撮影画像と重畳処理を行い、
   上記第１のフットプリント情報に対応する画像領域を上記他の撮影画像から抽出し、上記抽出された画像領域から第２のフットプリント情報を抽出し、
   上記第１のフットプリント情報ｘに対する第２のフットプリント情報の変化の評価関数C(x)についての下記式
   C(x)＝ω _ｐ P（x）＋ω _ｅ Ｅ(x)＋ω _ｓ （１−S(x)）
   ここで、ω _ｐ 、ω _ｅ 、ω _ｓ は重み係数、
   P（x）は、上記第１のフットプリント情報の輪郭線分の数に対する上記第２のフットプリント情報の対応輪郭線分が存在する線分の数の比率、
   Ｅ(x)は、上記第１のフットプリント情報の輪郭線分の長さに対する上記第２のフットプリント情報の対応線分の長さの比率、
   S(x)は、上記第１のフットプリント情報の領域サイズに対する上記第２のフットプリント情報の対応変化領域のサイズの比率
   を用いて、フットプリント照合値を計算し、
   上記フットプリント照合値が第１の値のときに滅失、上記第１の値よりも大きい第２の値のときに改築、上記第２の値よりも大きい第３の値のときに変化なしとして、上記滅失、改築、変化なしのいずれかを出力することを特徴とする撮影画像の変化抽出方法。
2. 上記重畳処理は、上記特徴点と上記他の撮影画像から抽出した特徴点との類似度を算出することにより行い、さらに重畳のためのパラメータを算出することを特徴とする請求項１記載の撮影画像の変化抽出方法。
3. 上記画像領域の抽出は、エッジ情報の重複率と領域の包含率とに基づいて行うことを特徴とする請求項１又は２に記載の撮影画像の変化抽出方法。
4. 前記画像領域の抽出は、隣接地物間の位置関係に基づいて行うことを特徴とする請求項１乃至３いずれかに記載の撮影画像の変化抽出方法。
5. １の撮影画像から抽出した、少なくとも地物輪郭特徴と地物輪郭の内部特徴とを含む第１のフットプリント情報と他の撮影画像の重畳する初期重畳処理部と、
   上記第１のフットプリント情報に対応する画像領域を上記他の撮影画像から抽出し、上記抽出された画像領域から第２のフットプリント情報を抽出する抽出部と、
   上記第１のフットプリント情報ｘに対する第２のフットプリント情報の変化の評価関数C(x)についての下記式
   C(x)＝ω _ｐ P（x）＋ω _ｅ Ｅ(x)＋ω _ｓ （１−S(x)）
   ここで、ω _ｐ 、ω _ｅ 、ω _ｓ は重み係数、
   P（x）は、上記第１のフットプリント情報の輪郭線分の数に対する上記第２のフットプリント情報の対応輪郭線分が存在する線分の数の比率、
   Ｅ(x)は、上記第１のフットプリント情報の輪郭線分の長さに対する上記第２のフットプリント情報の対応線分の長さの比率、
   S(x)は、上記第１のフットプリント情報の領域サイズに対する上記第２のフットプリント情報の対応変化領域のサイズの比率
   を用いて、フットプリント照合値を計算する計算部と、
   前記フットプリント照合値が第１の値のときに滅失、前記第１の値よりも大きい第２の値のときに改築、前記第２の値よりも大きい第３の値のときに変化なしとして、前記滅失、改築、変化なしのいずれかを出力する出力部
   を有することを特徴とする撮影画像の変化抽出装置。
6. 前記初期重畳処理部では、上記２の撮影画像の位置あわせパラメータを用いて、上記撮影画像のフットプリント情報の幾何変換を行うことを特徴とする請求項５記載の撮影画像の変化抽出装置。
7. 上記第１のフットプリント情報に対応する画像領域の抽出は、エッジ情報の重複率と領域の包含率とに基づいて行うことを特徴とする請求項５又は６に記載の撮影画像の変化抽出装置。
8. 上記第１のフットプリント情報に対応する画像領域の抽出は、隣接地物間の位置関係に基づいて行うことを特徴とする請求項５乃至７いずれかに記載の撮影画像の変化抽出装置。

Images