JP4250248B2

JP4250248B2 - 地理画像変化域の抽出方法、及び地理画像変化域の抽出装置

Info

Publication number: JP4250248B2
Application number: JP05748599A
Authority: JP
Inventors: 幸夫小杉; 啓輔亀山; 秀樹高石; 直哉森谷; 繁角本; 健土居原
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 1999-01-29
Filing date: 1999-01-29
Publication date: 2009-04-08
Anticipated expiration: 2019-01-29
Also published as: JP2000222565A

Description

【０００１】
【発明の属する技術分野】
本発明は、市街地図更新、防災画像処理、環境工学、航空写真、衛星画像などに係わる地理画像処理分野で巾広く必要とされる撮影条件・撮影時点の異なる複数の画像の正規化および変化域抽出を行う画像変換処理技術に関するものであり、特に撮影の際に複雑な歪みを受けた画像を補正しつつ建造物の損壊・消失・新設、土地利用形態や植生・汚染状況の変化域を抽出する技術に関するものである。
【０００２】
【従来の技術】
従来、異なる時点で撮影された航空写真等から、新規建造物等の変化域を抽出する作業は、左右の眼で独立した画像を観測する特殊技能を身につけた専門家が画像上の差異を逐一検出するという手作業に依存していたため、全国規模の詳細地図の更新作業に要する手間は膨大なものとなり、近年の高精度ナビゲーション等のコスト要因となっていた。また、大震災などの災害時には、理想的なアングルでの撮影が困難な為、大きな歪みを含んだ写真からの変化域抽出の手作業は難航を極め、災害復旧作業停滞の一因ともなっていた。
【０００３】
【発明が解決しようとする課題】
本発明では撮影条件の差などによって異なった歪みを含んだ、撮影時点の異なる２枚の地理画像間の歪みを補正するとともに、建造物の新規出現・倒壊、土地利用形態の変化等局所的に経時的変化の生じた部分を自動的に抽出しようとするものである。このように２枚の画像間の非線型歪みを補正する類似技術としては、頭部ＭＲＩ画像などについては、ピクセルごとのグレースケールをマッチングスコアとした「非線形画像変換装置および標準画像計算方法」（特許出願番号：特願平５−２５２５１４号；発明者小杉他）があるが、地理画像のように長方形や正方形を要素とした建造物形状、周期性の高い市街地区分、道路分布を基本とする画像にあっては、単なるピクセル値だけを頼りとしたマッチング処理では復元可能な補正量は極微小となり、歪みのある実画像については、実質的に適用不可能であった。
【０００４】
【課題を解決するための手段】
地理画像の非線型変換および経時変化域抽出の際重要なのは、二つの画像間の本質的な差異のみを定量化し得るマッチングスコアの算出方法である。人間が二つの航空写真の対応づけを行う場合を考えると、まず、大きな街路や大きな建造物の形状等を頼りとした大域的検索が行なわれ、次いで細かな路地や小家屋・樹木などの照合へと処理が行われる。特にこれらの作業の中で個々の街並みや建造物の幾何学的特徴が大きな情報を与えているものと考えられる。また、建造物の多くは街路に平行な矩形に分解表現できる場合が極めて多い。そこで、本発明では、特定の色や輝度レベル条件を満たす建造物候補領域を街路に平行な辺を有するＮ種類の大きさの矩形にスペクトル分解表現し、このスペクトル成分から構成される次式のＮ次元ベクトルＦＶ１をもって、特定のピクセル周辺の画像特徴とする。
ＦＶ１＝（Ｐ_１，Ｐ_２…Ｐ_Ｎ）（１）
ここに、Ｐ_１，Ｐ_２…Ｐ_Ｎは街路主方向に辺を有するＮ種のサイズの矩形（構造化要素）を大きい順に優先的に使用し、対象領域内の建造物候補領域を埋め尽くしたとき、使用した各矩形の頻度を矩形サイズ順に並べたスペクトル分布を表わすものとする。このスペクトル表現では、面積の少ない構造化要素の頻度が強調され過ぎる傾向がある。面積の効果を補正した次式を用いることでこの点を改善することができる。
ＦＶ２＝（Ｌ_１ ^２Ｐ_１，Ｌ_２ ^２Ｐ_２，…，Ｌ_Ｎ ^２Ｐ_Ｎ）（２）
ここで、Ｌ_ｉ（ｉ＝１…Ｎ）はｉ番目に大きい矩形の辺の長さを表わすものとし、辺の２乗すなわち面積比の係数を乗じることを意味する。
また、計算量を低減するために、式（３）によって定義されるスカラ特徴量Ｆによって画像の特徴を表わすことも可能である。
Ｆ＝Ｌ_１ ^３Ｐ_１＋Ｌ_２ ^３Ｐ_２＋…Ｌ_Ｎ ^３Ｐ_Ｎ（３）
ここで、Ｌ_ｉ（Ｉ＝１…Ｎ）はｉ番目に大きい矩形の辺の長さを表わすものとする。これは、辺の２乗が面積比に対応することから、事実上サイズを重みとしたことに対応する。
すなわち上記の課題は
異なる地理画像から変化域を抽出する方法であって、
地理画像Ａ及び地理画像Ｂから、前記地理画像Ａと前記地理画像Ｂとの共通な街路を特定し、この共通な街路を基準街路とする工程と、
地理画像Ａ及び地理画像Ｂを、前記基準街路に並行な辺を有する矩形図形に分解する工程と、
地理画像Ａにおける前記矩形図形と地理画像Ｂにおける前記矩形図形とからマッチングスコアを生成するマッチングスコア生成工程と、
前記マッチングスコアに基づいて地理画像Ｂを伸縮する工程と、
前記地理画像Ａの矩形図形と前記伸縮された地理画像Ｂの矩形図形とを比較し、前記比較の結果、一致しない前記矩形図形を抽出する工程と
を有することを特徴とする地理画像変化域の抽出方法によって解決される。
上記マッチングスコアに基づいて地理画像Ｂを伸縮する工程は、
地理画像Ａの矩形図形と地理画像Ｂの矩形図形とを比較し、前記地理画像Ｂの矩形図形の移動ベクトルを生成する工程と、
前記移動ベクトルに基づいて地理画像Ｂを伸縮する工程と
を有する。
上記マッチングスコア生成工程は、
矩形図形をＮ種類の大きさの矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像ＡのＮ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成工程である。
上記マッチングスコア生成工程は、
矩形図形をＮ種類の辺を二乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像ＡのＮ次元ベクトルと地理画像ＢのＮ次元ベクトルを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成工程である。
上記マッチングスコア生成工程は、
矩形図形をＮ種類の辺を三乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像ＡのＮ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成工程である。
又、上記の課題は、異なる地理画像から変化域を抽出する装置であって、
地理画像Ａ及び地理画像Ｂから、前記地理画像Ａと前記地理画像Ｂとの共通な街路を抽出させる手段と、
地理画像Ａを前記共通な街路に並行な辺を有する矩形図形に分解させる手段と、
地理画像Ｂを前記共通な街路に平行な辺を有する矩形図形に分解させる手段と、
地理画像Ａにおける前記矩形図形と地理画像Ｂにおける前記矩形図形とからマッチングスコアを生成するマッチングスコア生成手段と、
前記マッチングスコアに基づいて地理画像Ｂを伸縮させる手段と、
前記地理画像Ａの矩形図形と前記伸縮された地理画像Ｂの矩形図形とを比較し、前記比較の結果、一致し無い前記矩形図形を抽出させる手段と
を有することを特徴とする地理画像変化域の抽出装置によって解決される。
上記マッチングスコアに基づいて地理画像Ｂを伸縮させる手段は、
地理画像Ａの矩形図形と地理画像Ｂの矩形図形とを比較し、地理画像Ｂの矩形図形の移動ベクトルを生成させる手段と、
前記移動ベクトルに、基づいて地理画像Ｂを伸縮させる手段と
を有する。
上記マッチングスコア生成手段は、
矩形図形をＮ種類の大きさの矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像Ａの前記Ｎ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成手段である。
上記マッチングスコア生成手段は、
矩形図形をＮ種類の辺を二乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像Ａの前記Ｎ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成手段である。
上記マッチングスコア生成手段は、
矩形図形をＮ種類の辺を三乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像Ａの前記Ｎ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成手段である。
【０００５】
【発明の実施の形態】
以上の特徴量を用いた地理画像の経時変化域抽出方法の処理全体の流れを図１に、また図１中※印を付した特徴量算出部の詳細な処理の流れを図２に示す。
以下、特徴量の算出方法及び全体の処理の流れを図に従って説明する。図１に示すように異った時点で撮影された画像Ａ及び画像Ｂについて、それぞれ街路方向を考慮した構造化要素に分解することで、画像内の微小領域ごとに定義される特徴量Ｆ_Ａ及びＦ_Ｂを算出する。
この具体的な算出方法を図２に示す。先ず、入力画像全体をピクセル値に応じて２値化する。次に、ノイズを除去するためにＥｒｏｓｉｏｎとＤｉｌａｔｉｏｎの処理を順に行う。ここでＥｒｏｓｉｏｎとは、構造化要素（例えば円板状）を面図形の輪郭の内側に沿って一巡させ、その軌跡部分をもとの面図形から削り取る操作を意味し、Ｄｉｌａｔｉｏｎは面図形の輪郭の外側に沿って構造化要素を一巡させ、その軌跡部分をもとの面図形に付け加える操作を意味する。両操作を行うことで、構造化要素の２倍以内の径の面図形はノイズとみなされ除去されるが、ある程度の大きさを有する面図形については元通りの形状が維持される。
以上のノイズ除去操作の後、注目している画像上のピクセルの上下左右に一定の（例えば正方形状）近傍域を設定する。続いて、この近傍域内の正値部分から成る面図形を、街路方向に平行な辺を持つ矩形の構造化要素にスペクトル分解する。スペクトル分解された結果は前出の式（１）あるいは（２）、あるいは（３）を用いて定量化され、注目しているピクセル周辺の画像特徴量とされる。
なお、構造化要素の矩形の向きを決定するためには、図２の下部に示すように、画像を２次元フーリエ変換し、その結果を極座標表示した際、円周上のピーク点によって街路主方向を決定するものとする。
以上の処理によって、画像Ａについて得られた特徴量Ｆ_Ａと、画像Ｂについて得られた特徴量Ｆ_Ｂとの間の差の絶対値
｜Ｆ_Ａ−Ｆ_Ｂ｜（４）
によって、マッチングスコアを定義する。なお、特徴量としてＦＶ１あるいはＦＶ２を用いた部分には、ＡＢ両画像について定義される（５）式によってマッチングスコアを算出する。
‖ＦＶ（Ａ）−ＦＶ（Ｂ）‖ （５）
ただし、‖‖はベクトルのノルムを表わす。
以上のように算出されたマッチングスコアは、画像Ｂの微小域ｂを△ｘ，△ｙ移動させる移動ベクトルを作用させた画像Ｂと、固定したままの画像Ａの間で評価される。上記移動ベクトルは同時に多数生成し、マッチングスコア｜Ｆ_Ａ−Ｆ_Ｂ｜の最も小さいものを採用するものとする。（移動ベクトル候補の競合）
同様の操作は微小域ｂの周辺のピクセルに対しても行なわれ、各々競合に勝ち残った移動ベクトルどうしが一定の近傍範囲の中で今度は平均化される。（協調動作）平均化された移動ベクトルにもとづいて、画像Ｂの各小領域はそれぞれ移動する。次に、この移動先を基点として、さらに移動を行う移動ベクトル候補△ｘ’，△ｙ’を再度複数生成する。
上記遂次動作は数回〜数十回繰り返される。また、遂次動作の後半では、ピクセル値のみの比較を行う従来法によるマッチングスコアの評価へと評価規準を変更する。
これは、図３に示すように、本手法（ｂ）が広い探索範囲にわたって、単峰性マッチングスコアを与え、大域的な最適解探索において優れた能力を発揮するのに対して、従来法（ａ）では、大域的探索に向いていないものの、最終的なマッチングの精度を確保するうえでは鋭い感度を有するからである。
以上述べてきた移動ベクトルの競合と協調の動作により、画像Ｂは画像Ａに最も良く合うように伸縮され、撮影条件の差が補償される。また、この動作終了後に、マッチングスコア｜Ｆ_Ａ−Ｆ_Ｂ｜が一定のしきい値θ以上の領域を表示することで、新規建造物、倒壊、撤去等の経時変化が生じた領域のみを表示することができる。
【０００６】
【発明の効果】
上述（１）（２）式のベクトルによって地理画像の特徴を表わすと、小さい建造物や複雑な街並みを有する地域ではベクトルの後半の要素の比率が高くなり、他方、大きい建造物や単純な街並みを有する地域ではベクトルの前半（大きな構造化要素）の成分が大きくなり、人間が認識する際の「街並みの複雑さ」を定量的に表現可能である。また、（３）式では、この街並みの複雑さが増すに従ってＦ値が減少するというように、複雑さの程度をスカラー量で一元的に表現可能である。この特徴量を用いて定義される２画像間のマッチングスコアは、２画像間のズレの量の広い範囲に亙って単峰性の特性を持つ。撮影条件の差による２画像間のズレは一般的には２次元的に生じるが、ズレの量とマッチングスコアの関係を２画像の一致点を含む切断線に沿って１次元表示した例を図３に示す。同図（ａ）はピクセル値評価を用いた従来法によるマッチングスコアで、同図（ｂ）は本発明によるマッチングスコアの特性である。以上のように本発明では大きなヅレを有する２つの画像のマッチングを実行する際の指標としても常に真の解への収束を実現することが可能である。従来法（ａ）のみを用いた場合には、途中の極小解（ローカルミニマ）に補足されるため、真の解へ到達が困難となる。
本発明の実施例を以下に示す。図４、図５は一年間隔で同じ地域を撮影した航空写真で、図５の方は、困難な撮影条件を想定して人工的に歪めてある。この実施例では矩形の特殊な場合として、正方形の構造化要素を用い、（３）式においてＮ＝３として処理を行った。歪みを吸収する写像が完了した段階でマッチングスコアの低下している場所を黒地に白ヌキの形で画像表現した結果を図６に示す。この結果は専門家が手作業によって詳細に検討した建造物等の変化域（図７に白ヌキの形で表現）をほぼ正確に検出していて、経時変化自動検出における本発明の有効性を示すものである。
【図面の簡単な説明】
【図１】本発明による画像処理装置の全体の構成を示すブロック図である。
【図２】街路方向構造化要素分解による幾何学的特徴量算出部の構成を示すブロック図である。
【図３】本発明で用いているマッチング指標と画素移動量の関係を示す線図である。
【図４】処理すべき入力画像を示す線図である。
【図５】処理すべき入力画像を示す線図である。
【図６】本発明によって検出した建造物の変化候補域を示す線図である。
【図７】専門家の手作業によって検出した建造物の変化候補域を示す線図である。

Claims

異なる地理画像から変化域を抽出する方法であって、
地理画像Ａ及び地理画像Ｂから、前記地理画像Ａと前記地理画像Ｂとの共通な街路を特定し、この共通な街路を基準街路とする工程と、
地理画像Ａ及び地理画像Ｂを、前記基準街路に並行な辺を有する矩形図形に分解する工程と、
地理画像Ａにおける前記矩形図形と地理画像Ｂにおける前記矩形図形とからマッチングスコアを生成するマッチングスコア生成工程と、
前記マッチングスコアに基づいて地理画像Ｂを伸縮する工程と、
前記地理画像Ａの矩形図形と前記伸縮された地理画像Ｂの矩形図形とを比較し、前記比較の結果、一致しない前記矩形図形を抽出する工程と
を有することを特徴とする地理画像変化域の抽出方法。
マッチングスコアに基づいて地理画像Ｂを伸縮する工程は、地理画像Ａの矩形図形と地理画像Ｂの矩形図形とを比較し、前記地理画像Ｂの矩形図形の移動ベクトルを生成する工程と、
前記移動ベクトルに基づいて地理画像Ｂを伸縮する工程と
を有することを特徴とする請求項１に記載の地理画像変化域の抽出方法。
マッチングスコア生成工程は、
矩形図形をＮ種類の大きさの矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像ＡのＮ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成工程であることを特徴とする請求項１又は請求項２に記載の地理画像変化域の抽出方法。
マッチングスコア生成工程は、
矩形図形をＮ種類の辺を二乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像ＡのＮ次元ベクトルと地理画像ＢのＮ次元ベクトルを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成工程であることを特徴とする請求項１又は請求項２に記載の地理画像変化域の抽出方法。
マッチングスコア生成工程は、
矩形図形をＮ種類の辺を三乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像ＡのＮ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成工程であることを特徴とする請求項１又は請求項２に記載の地理画像変化域の抽出方法。
異なる地理画像から変化域を抽出する装置であって、
地理画像Ａ及び地理画像Ｂから、前記地理画像Ａと前記地理画像Ｂとの共通な街路を抽出させる手段と、
地理画像Ａを前記共通な街路に並行な辺を有する矩形図形に分解させる手段と、
地理画像Ｂを前記共通な街路に平行な辺を有する矩形図形に分解させる手段と、
地理画像Ａにおける前記矩形図形と地理画像Ｂにおける前記矩形図形とからマッチングスコアを生成するマッチングスコア生成手段と、
前記マッチングスコアに基づいて地理画像Ｂを伸縮させる手段と、
前記地理画像Ａの矩形図形と前記伸縮された地理画像Ｂの矩形図形とを比較し、前記比較の結果、一致し無い前記矩形図形を抽出させる手段と
を有することを特徴とする地理画像変化域の抽出装置。
マッチングスコアに基づいて地理画像Ｂを伸縮させる手段は地理画像Ａの矩形図形と地理画像Ｂの矩形図形とを比較し、地理画像Ｂの矩形図形の移動ベクトルを生成させる手段と、
前記移動ベクトルに基づいて地理画像Ｂを伸縮させる手段と
を有することを特徴とする請求項６に記載の地理画像変化域の抽出装置。
マッチングスコア生成手段は、
矩形図形をＮ種類の大きさの矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像Ａの前記Ｎ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成手段であることを特徴とする請求項６又は請求項７に記載の地理画像変化域の抽出装置。
マッチングスコア生成手段は、
矩形図形をＮ種類の辺を二乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像Ａの前記Ｎ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成手段であることを特徴とする請求項６又は請求項７に記載の地理画像変化域の抽出装置。
マッチングスコア生成手段は、
矩形図形をＮ種類の辺を三乗した矩形にスペクトル分解し、Ｎ次元ベクトルを生成し、地理画像Ａの前記Ｎ次元ベクトルと地理画像ＢのＮ次元ベクトルとを比較し、この比較の結果に基づいてマッチングスコアを生成するマッチングスコア生成手段であることを特徴とする請求項６又は請求項７に記載の地理画像変化域の抽出装置。