JP3776591B2 - 地図情報更新方法および装置 - Google Patents
地図情報更新方法および装置 Download PDFInfo
- Publication number
- JP3776591B2 JP3776591B2 JP14842798A JP14842798A JP3776591B2 JP 3776591 B2 JP3776591 B2 JP 3776591B2 JP 14842798 A JP14842798 A JP 14842798A JP 14842798 A JP14842798 A JP 14842798A JP 3776591 B2 JP3776591 B2 JP 3776591B2
- Authority
- JP
- Japan
- Prior art keywords
- map
- feature
- image
- information
- graphic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、地図情報更新方法および装置に関し、さらに詳しくは、地域を撮影した画像を利用し、当該地域の地図に建物の高さ情報および建物を含む地物の属性情報を登録して地図情報の更新を行う地図情報更新方法および装置に関する。
【０００２】
【従来の技術】
特開平5-181411号公報「地図情報照合更新方式」には、(X,Y,Z)座標列からなる立体数値地図に対して座標変換を行って中心投影図を作成し、それと航空写真画像を照合し、照合図から地図情報を利用して経年変化や景観情報を抽出し、地図情報を更新する従来技術が開示されている。
特開平5-181949号公報「画像位置合わせ装置」には、教示画像から抽出した特徴点を照合用特徴点として地図と対応付けしておき、この照合用特徴点を利用して対応点対抽出を行い、地図と画像の位置合わせを行う従来技術が開示されている。
【０００３】
【発明が解決しようとする課題】
上記特開平5-181411号公報に開示の従来技術では、(X,Y,Z)座標列からなる立体地図を中心投影図に変換し画像とを照合するために、地図の変換パラメータ算出の基準となる地図と画像の同一地点の座標を複数点求めているが、その選出技術については考慮されていない。
また、上記画像から建物の高さ情報を検出して平面地図を立体地図に変換する技術については考慮されていない。
また、画像から地物の形状を表す画素(セグメント)を抽出しているが、地物が他の地物に一部隠されている場合や地物の立体形状が地図に表されている形状より複雑な場合、また、地物を表す画素の特徴が複雑な場合は、図形形状に近いセグメントを抽出できない可能性がある。したがって、その場合はセグメントと図形との照合がうまくいかず地物の特徴を検出できない。
また、地図において図形情報の更新時間を登録する手段がないので、図形情報の発生時間がわからない。また図形の過去の情報を保存できない。
【０００４】
また、上記特開平5-181949号公報に開示の従来技術では、画像の解像度が地図の精度に比べて十分でない場合や、地物の形が地図の図形で表現されている形状より複雑である場合や、また、地物の一部分が他の地物に隠されている場合に、精度の高い対応点を選出できない。したがって、これらの場合、精度の高い地図と画像の照合ができない。
【０００５】
そこで、本発明の第１の目的は、中心投影図に変換した地図と画像との照合において、画像の解像度が地図の精度に比べて十分でない場合や、地物の形が地図の図形で表現されている形状より複雑である場合や、また、地物の一部分が他の地物に隠されている場合でも、基準となる建物と図形とを照合し地図と画像の同一地点の座標を選出することにより、容易に精度の高い地図と画像との照合が出来る地図情報更新装置を提供することにある。
また、本発明の第２の目的は、斜めから撮影された画像から建物の高さを検出することにより、平面地図を立体地図に変換することができる、あるいは立体地図の高さ情報を更新することができる地図情報更新装置を提供することにある。また、本発明の第３の目的は、画像における地物の立体形状や特徴が複雑である場合においても、照合した図形を画像の地物の形状および属性のモデルとすることにより地物の形状および属性を規定し、地物を表す画素の解析処理を行ことにより、ユーザーが指定した特徴を有する地物、地図と画像で特徴が変化した地物、または過去の画像と最新の画像とで特徴が変化した地物を検出できる地図情報更新装置を提供することにある。
また、本発明の第４の目的は、地図の各図形における情報発生時間がわかり、また図形の過去の情報を保持できる地図情報更新装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明は、
地域を撮影した静止画像と、(X,Y)座標列からなる平面数値地図あるいは(X,Y,Z)座標列からなる立体数値地図とを用いて、前記地図に対して前記画像の座標系への座標変換を行い該地図を該画像に照合し、
前記画像における地物の形状および属性のモデルとして前記地図の図形を利用して該画像にける地物の形状や画素特性値(明るさ、色相、彩度)およびテクスチャといった特徴を解析することにより、該画像から建物の高さ情報および建物を含む地物の属性情報を検出し、
該検出した高さ情報および属性情報を前記地図に登録することにより地図情報を更新するようにしている。
【０００７】
また、地域を撮影した静止画像と、(X,Y)座標列からなる平面数値地図あるいは(X,Y,Z)座標列からなる立体数値地図とを用いて、前記地図を射影変換して前記画像に重畳することにより地図の図形と画像の対応地物を対応付ける照合手段と、
照合図形を建物の形状および属性のモデルとして利用して前記画像における建物の形状解析を行うことにより建物の高さ情報を検出する建物高さ検出手段と、
ユーザによる特徴の指定にしたがい、照合図形を建物等の地物の形状および属性のモデルとして利用して前記画像における地物の画素特性値(明るさ、色相、彩度)やテクスチャの特徴解析を行うことによりユーザーの指定した特徴を有する建物等の地物を検出するユーザー指定特徴地物検出手段と、
前記検出した建物の高さ情報および前記建物等の地物の属性情報を図形に登録することにより個々の図形情報を更新する図形情報更新手段とを具備するようにしている。
【０００８】
また、ユーザによる図形の属性の指定にしたがい、前記照合図形を地物の形状および属性のモデルとして利用して前記画像における地物の画素特性値やテクスチャの特徴解析を行い、前記指定された図形の属性から求められる特徴と比較することにより、特徴が変化している前記画像における地物を検出する地図/画像特徴変化地物検出手段をさらに具備するようにしている。
【０００９】
また、前記照合手段により作成された、地図の図形と新画像の対応地物とを対応付けた新照合図形と、地図の図形と旧画像の対応地物とを対応付けた旧照合図形とを建物等の地物の形状および属性のモデルとして利用して新旧の画像における地物の画素特性値やテクスチャの特徴解析を行い、前記地図の図形を媒介として該図形に対応する地物の過去の特徴と地物の新しい特徴とを比較することにより、特徴が変化している地物を検出する(旧)画像/(新)画像特徴変化地物検出手段をさらに具備するようにしている。
【００１０】
また、前記図形情報更新手段に代えて、検出した建物の高さ情報および地物の属性情報に、さらに情報更新時間を追加してそれぞれの図形に登録することより、以前の情報を消去することなく新たな情報を登録して個々の図形情報を更新する図形情報更新手段を具備するようにしている。
【００１１】
【発明の実施の形態】
以下、図を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態にかかる地図情報更新方法および装置の機能構成例である。
まず、入力部を説明する。
記憶装置101は、上記装置の内部、あるいは上記装置が接続しているネットワーク上に存在する。また、記憶装置101は、地図ファイル102および画像103を含む。
【００１２】
地図102は、(x,y)座標列からなるの平面数値地図(以下平面地図と記す)、あるいは、(x,y,z)座標列からなる立体数値地図(以下立体地図と記す)であり、ともに、ベクトルデータ構造をしており、広い地域の地物の位置や形状情報、属性情報を含む。立体地図には、平面地図に図形の基準高さと相対高さの情報が加えられている。
したがって、立体地図における建物を表す図形は、真上から見た形状情報に加えて地表面と屋根面の高さ情報を持ち、建物を多角柱として表現する。
また、属性情報とは、家屋や道路、土地といった地物の種類の情報などの図形に付属する情報である。
木造やコンクリート造、２階建てや３階建てといった建物の種類や、田畑や裸地、草地、森といった土地の種類などのさらに詳細な情報は詳細属性情報とする。
【００１３】
画像103は、地域のある時点の情報を含む画像(以下(新)画像と記す)や、それより過去の時点の地域の情報を含む画像(以下(旧)画像と記す)であり、これらはラスターデータ構造をしており、地物の特徴は画素の明るさ、色相、彩度やテクスチャにより表される。
また画像は撮影時間情報を併せ持つ。
この画像のソースは、航空写真や衛星画像である。
ユーザーが指定した地図更新該当地域の画像が、スキャナーによる読み込みやネットワークを通じたダウンロードにより記憶装置101に入力される。
【００１４】
次に、処理部を説明する。
図形操作手段104は、地図と画像の照合時におけるユーザーの図形操作に関する指示を地図/画像照合手段106に伝える。
また、建物高さ検出時におけるユーザーの手動補正に関する指示を建物高さ検出手段108に伝える。
地図/画像照合手段106は、地図を画像に照合するための処理を行う。
地図/画像照合手段106に平面地図と(新)画像とを入力すると、平面地図/(新)画像照合図107が出力される。
建物高さ検出手段108は、地図/画像照合図を利用して建物の形状解析を行い、建物の高さ情報を検出する。
建物高さ検出手段に平面地図/(新)画像照合図107を入力すると、平面地図に高さが付加されて立体地図となり、立体地図/(新)画像照合図109が出力される。
【００１５】
代表的特徴地物指定手段105は、検出する地物の特徴に関するユーザーの指示をユーザー指定特徴地物検出手段111に伝える。
ユーザー指定特徴地物検出手段111は、入力された立体地図/(新)画像照合図109を利用して、検出属性指定手段105によりユーザーが指定した特徴的な地物の画素特性値やテクスチャと、(新)画像における地物の画素特性値やテクスチャとを比較することにより、ユーザーが指定した特徴を有する地物を検出する。
地図/画像特徴変化地物検出手段112は、入力された立体地図/(新)画像照合図109を利用して、図形の属性情報から求められる地物の画素特性値やテクスチャと、(新)画像における各地物の画素特性値やテクスチャを比較することにより、特徴が変化した地物を検出する。
(新)画像/(旧)画像特徴変化地物検出手段113は、立体地図と(新)画像とを照合した立体地図/(新)画像照合図109と、同一の立体地図と(旧)画像とを照合した立体地図/(旧)画像照合図110とを利用して、地物の(新)画像と(旧)画像とにおける画素特性値やテクスチャを対応図形を媒介として比較することにより、特徴が変化した地物を検出する。
【００１６】
図形情報更新手段114は、建物高さ検出手段108やユーザー指定特徴地物検出手段111、地図/画像特徴変化地物検出手段112、(新)画像/(旧)画像特徴変化地物検出手段113が検出した建物の高さ情報や建物を含む地物の属性情報を、それぞれの対応図形に登録し情報の更新を行うときに、更新時間情報をも登録することにより、それぞれの図形の過去の情報を消さずに保存しながら個々の図形情報を更新する。
処理内容表示手段117は、地図/画像照合手段106、建物高さ検出手段108、ユーザー指定特徴地物検出手段111、地図/画像特徴変化地物検出手段112、(旧)画像/(新)画像特徴変化地物検出手段113が行う処理の内容を表示する。
最後に、出力部を説明する。
記憶装置115はの記憶装置101と同様の装置であり、処理部において図形情報が更新された立体地図116が出力され格納される。
【００１７】
図２は、地図情報更新方法および装置の処理手順を示すフローチャートである。
ステップ201では、ユーザーの指示に従い、記憶装置101内の管理領域の地図から更新該当地域の平面地図を地図/画像照合手段106に入力する。
立体地図の情報を更新する場合は、立体地図を入力する。
ステップ202では、記憶装置101内にある更新該当地域の(新)画像を地図/画像照合手段106に入力する。
建物の高さ情報を更新する場合は、建物の立体形状を表す地域を斜めから撮影した斜め画像を使用する。
ステップ203では、地図/画像照合手段106は、図３に示した地図/画像照合処理の流れに従って平面地図と(新)画像とを照合する。
処理内容表示手段117による処理の過程の表示例を図８に示す。
【００１８】
以下、図３の処理の流れと図８の表示例に従い地図/画像照合処理を説明する。
平面地図と(新)画像とを照合するため、平面地図を(新)画像と同じ視点を持つ中心投影図に変換し(新)画像に重畳する。
そのため、平面地図と(新)画像の対応点を選出し、地図変換行列を算出する。
平面地図と(新)画像の対応点選出のポイントは、双方から直接対応点を選出するのではなく、画像における照合の基準となる建物(以下基準建物と記す)と、それに対応する図形(以下基準図形と記す)を照合したの後、図形の各頂点に対応する画像の座標点を算出することにより、対応点を選出する点にある。
これにより、画像の解像度が十分でない場合や、地物の形状が地図の図形で表現されている形状より複雑である場合や、また地物の一部分が他の地物に隠されている場合でも，精度の高い対応点を選出することが可能である。
なお、ここでは、後の建物高さの検出処理、ユーザー指定特徴地物や特徴変化地物の検出処理のために、地図の二次元座標( x,y )と画像の座標( u,v )との関係でなく、地図の三次元座標( x,y,z )と画像の座標( u,v )との関係を表す地図変換行列を算出する。
【００１９】
ステップ301では、地図/画像対応点を求めるために、基準建物数分だけステップ302から323を繰り返す。
基準建物の高さは、測量データなどにより既知である必要がある。
基準建物の個数は、多いほど地図と画像との照合精度が高まるが、図８の(a)のように領域801中の建物に加え他の画像の隅から建物802、803、804というように、画像の四隅からそれぞれ1個程度でも良く、全基準建物から同一平面上に無い地図/画像対応点が6点以上求まることが必要条件である。
なお、図８の(a)においては基準領域801および他の基準建物802、803、804と代表的な道路のみを表示しており、その他の地物は省略している。
図８〜図１２において、ハッチで表示されたものは画像を示し、実線で表示されたものは地図を示す
ステップ302では、図８の(b)は図８(a)中の領域801であるが、ここで示すように、ユーザーの指示に従い、画像から基準建物805の存在する領域806を選択し、選択領域806の座標をサブピクセルまで計測できるようにするために図８の(d)のように拡大して表示する。
ステップ303では、図８の(c)に示すように、ユーザーの指示に従い地図から基準建物805に対応する基準図形807を選択する。
ステップ304では、ユーザーの指示に従い基準図形807の既知高さを入力する。
ステップ305では、基準図形807を画像の表示枠の大きさを基準に拡大縮小して画像の拡大領域上に表示する。
さらに、ユーザーの操作指示を伝える図形操作手段104により、基準図形を移動、変形し、図８の(d)の図形808のように基準建物の屋根809におおよそ一致させる。以下この図形を屋根図形808とする。
【００２０】
ステップ306からステップ310においては、屋根図形808と基準建物の屋根面809が最も良く一致する位置を自動検出し、実線で示す屋根図形810のように基準建物の屋根面809に重畳して照合する。
ステップ306では、図８の(d)のように屋根図形の各頂点のx座標、y座標をそれぞれ±δ移動する。
δの値は、画像の解像度や屋根図形808の初期重畳位置からユーザーが判断し指定する。
ステップ307では、移動中の屋根図形808のそれぞれの位置において、屋根図形808における図形上のエッジ強度Erを測定する。
この図形上のエッジ強度とは、照合した図形枠に沿った各座標において測定した画像のエッジ強度(画素の明るさの変化の大きさ、色相の変化の大きさ)の合計値のことである。
【００２１】
図９を参照しながら図形上のエッジ強度について説明する。
まず、照合図において、重畳した図形線分上において本発明の一特徴であるフィルタ処理を行い、各座標点における画像のエッジ強度を測定する。
なお、画像における既存のフィルタ処理については、は、「高木幹雄，下田陽久監修，"画像解析ハンドブック"，東京大学出版会，東京，1991」などに詳しい。
図８の(d)に等しい図９の(a)において、図形901の線分上の座標点pij 902を中心とした(( 2m+1 )画素×( 2n+1 ))画素の長方形の範囲903を考える。
図９の(b)のように、各座標における画素の明るさ、あるいは色相の値をf( i+k,j+l )( k=-m〜m、l=-n〜n )とする。
それに対して、図９の(c)のように、フィルタの各重み係数の値をw( i+k,j+l )( k=-m〜m、l=-n〜n )とする。
このとき、フィルタの出力値gijは、
【００２２】
【数１】
【００２３】
となる。
このフィルタの出力値gijを、図形901上の座標点pij902におけるエッジ強度とする。
【００２４】
なお、本発明におけるフィルタ以外に、フィルタとしては、SobelフィルタやRobinsonフィルタなどの画像処理おける既存のエッジ抽出フィルタを、図形901の線分の向きからエッジの方向を予想することにより、選択して使用しても良い。
あるいは、図形901の線分の向きから画像の建物904における屋根と壁の境界のエッジの方向を予測したフィルタを作成することも可能である。
【００２５】
フィルタを作成する場合ついて、図９の(a)の図形901上の座標点pij 902の付近の拡大図である図９の(d)をもとに説明する。
フィルタの範囲には２種類ある。
一つは、図９の(e)や(f)のような、図形の線分905上の座標点pij 906を中心とした(7画素×7画素)の正方形の領域907である。
もう一つは、図９の(g)のように、図形線分905を中心とした片側幅3画素の帯状の領域908である。
領域907の大きさや領域908の幅は、ユーザーが、画像の解像度や対象地物の状態に合わせて(5画素×5画素)や（9画素×9画素）というように適切な大きさを選択する。
【００２６】
フィルタの型にも２種類ある。
＋を正の値の重み係数、−を負の値の重み係数とした場合に、一つは、図９の(e)や(g)のように図形線分909、911が重畳している画素に対する重み係数を0とし、その上下に＋と−の重み係数を配置した一次微分型である。
もう一つは、図９の(f)のように図形線分910が重畳している画素に+の重み係数を配置し、その外側の１画素に対する重み係数を0とし、さらにその外側に−の重み係数を配置した二次微分型である。
重み係数については、明るさや色の変化のない平坦な面においてはフィルタ出力値gijが0になるように各値を調整する。
【００２７】
このようにして作成したフィルタや既存のフィルタを用いて、図形枠に沿った各座標点でエッジ強度を測定する。
それらエッジ強度を合計した値は、図形線分に沿った画素の明るさの変化の大きさや色相の変化の大きさを示しており、これを図形上のエッジ強度Eとする。
つまり、
【００２８】
【数２】
【００２９】
となる。但し、（i,j）は図形線分上の画素の座標である。
【００３０】
この図形上のエッジ強度は、対象物の明るさの変化や色相の変化が大きい部分に図形が重畳されているときほど大きくなる。
画像においては、建物の稜や背景との境界線は明るさや色相の変化が他の部分に比べて大きい場合が多い。
図形全体にわたって、図９の(h)のＡ912ように図形線分が建物の稜線や背景との境界線とややずれているとき、Ｂ913のように一致しているとき、Ｃ914のように全く一致していないときを考えると、図形上のエッジ強度は、図９の(i)のように、図形全体にわたって、Ｂ913のようなときが最も大きく、次いでA912のようなときが大きく、そしてＣ914のようなときが最も小さくなる。
このようにして、図形上のエッジの強度を測定することにより、図形線分が、建物の稜や背景との境界線に一致しているか否かを判定する事ができる。
【００３１】
図３に戻り、ステップ308では、図形を移動させながら測定した屋根図形上のエッジ強度Erの最大値において、図形線分の単位長さあたりの値が、ユーザーが設定したしきい値より大きいか否かを判定する。しきい値は、画像の解像度や状態に依存する。
ステップ309では、エッジ強度Erの最大値の単位長さあたりの値がしきい値より大きいので、図８の(d)の屋根図形810と屋根809のように一致していると判定する。
ステップ310では、エッジ強度Erの最大値の単位長さあたりの値がしきい値より小さいので、画像において屋根と背景の境界の明るさや色相の差が不明確なために屋根図形と画像の屋根の一致を判定できないとする。
この場合、屋根図形が屋根に一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、屋根図形を画像における屋根に一致させる。
【００３２】
ステップ311では、図８の(e)に示すように、壁の稜を表す図形811を画像の拡大領域上に発生させる。以下この図形を壁稜図形811とする。
ステップ312からステップ316においては、壁稜図形811と基準建造物の壁812が最も良く一致する位置を自動検出し、壁稜図形813のように基準建物の壁812に重畳して照合する。
ステップ312では、壁稜図形811を、屋根図形814に接続する頂点を中心として±θ回転する。θの値は、画像の解像度等からユーザーが判断し指定する。
画像における壁812の各稜が平行であると近似できる場合は、壁稜図形811の各線分を同時に回転させる。
また、そうでない場合は、各線分を別々に回転させる。
【００３３】
ステップ313では、回転中の壁稜図形811のそれぞれの位置において、壁稜図形上のエッジ強度Ewを測定する。
画像における壁の各稜が平行であると近似できる場合は、壁稜図形の複数線分を一つの図形として図形上のエッジ強度を測定する。
また、そうでない場合は、各線分について別々に図形上のエッジ強度を測定する。
ステップ314では、測定した壁稜図形上のエッジ強度Ewの最大値において、図形線分の単位長さあたりの値が、ユーザーが設定したしきい値より大きいか否かを判定する。しきい値は、画像の解像度、状態に依存する。
ステップ315では、エッジ強度Ewの最大値の単位長さあたりの値がしきい値より大きいので、図８の(e)の壁稜図形813と壁812のように壁稜図形が壁に一致していると判定する。
ステップ316では、エッジ強度Ewの最大値の単位長さあたりの値がしきい値より小さいので、画像において壁の境界の明るさや色相の差が不明確なために壁稜図形と画像の壁の一致を判定できないとする。
この場合、壁稜図形が壁に一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、壁稜図形を画像における壁に一致させる。
【００３４】
ステップ317では、図８の(f)に示すように、建物の地表面境界線を表す図形815を画像の拡大領域上に発生させる。以下この図形を地表面境界図形815とする。ステップ318からステップ322においては、地表面境界図形815と基準建物の地表面境界が最も良く一致する位置を自動検出し、地表面境界図形816のように基準建物の地表面境界に重畳して照合する。
ステップ318では、地表面境界図形815を、屋根側から地表面の方へδだけ鉛直方向に降下させる。
δの値は、画像の解像度等からユーザーが判断し指定する。
ステップ319では、移動中の地表面境界図形815のそれぞれの位置において、地表面境界図形上のエッジ強度Egを測定する。
ステップ320では、測定した地表面境界図形上のエッジ強度Egの最大値において、図形線分の単位長さあたりの値が、ユーザーが設定したしきい値より大きいか否かを判定する。しきい値は、画像の解像度や状態に依存する。
ステップ321では、エッジ強度Egの最大値の単位長さあたりの値がしきい値より大きいので、図８の(f)の地表面境界図形816のように、地表面境界図形が地表面に一致していると判定する。
ステップ322では、エッジ強度Egの最大値の単位長さあたりの値がしきい値より小さいので、画像において地表面境界の明るさや色相の差が不明確なために地表面境界図形と画像の地表面の一致を判定できないとする。
この場合、地表面境界図形が地表面画像と一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、地表面境界図形を地表面に一致させる。
【００３５】
ステップ323では、ステップ302からステップ322までの処理により、図８の(f)のように基準建物に照合された基準図形の頂点の座標と、それに対応する画像での基準建物のサプピクセルレベルの座標を検出することにより、平面地図/画像対応点を検出する。
ステップ324では、検出された地図/画像対応点から、上記地図を上記画像と同じ視点を持つ中心投影図に幾何変換するための地図変換行列を算出する。
【００３６】
ここで、地図の幾何変換のために画像座標と地図座標の関係を考える。
地図と画像の関係は、地図座標から画像座標への射影変換行列で表される。
これを地図変換行列とする。
地図座標( X,Y,Z )と画像座標( u,v )の関係を、斉示座標系で表現すると、
【００３７】
【数３】
【００３８】
となる。但し、C11からC33は射影変換行列の成分である。また、ｈは0でない実数であり、画像の奥行き方向の距離に関係している。
斉示座標系を画像の座標系に変換すると、
【００３９】
【数４】
【００４０】
となる。
すなわち地図座標( X,Y,Z )と画像座標( u,v )の関係は、
【００４１】
【数５】
【００４２】
【数６】
【００４３】
と表される。
地図座標点( Xi,Yi,Zi )に対応する画像座標点( ui,vi )が分かれば、
(4)，(5)式をC11からC33を未知数とする方程式
【００４４】
【数７】
【００４５】
【数８】
【００４６】
として表すことができる。
先に求めた地図/画像対応点の地図座標( Xi,Yi,Zi )と画像座標( ui,vi )を(7)，(8)式に代入し最小二乗法で全行列要素を求め、地図変換行列を完成させる。
【００４７】
ステップ325では、情報更新の対象図形を、求めた地図変換行列をもとに(5)、(6)式に従って中心投影図に変換し、画像に重畳することにより照合する。
その結果、図８の(g)のような地図/画像照合図が出力される。
【００４８】
図２に戻り、ステップ204では、建物高さ検出手段108は、図４に示した高さ情報検出処理の流れに従って、建物の高さ情報を(新)画像から検出し、平面地図に建物の高さ情報を加え立体地図に変換する。
処理の過程の表示例を図１０に示す。
なお、立体地図の高さ情報を更新する場合も同様の手法である。
【００４９】
以下、図４の処理の流れと図１０の表示例に従い高さ情報検出処理を説明する。
ステップ401では、高さの検出対象である建物を示す全ての図形についてステップ402からステップ410までの処理を行い、画像から建物図形の高さを取得する。
この建物高さ検出のポイントは、図形に高さを与えて鉛直方向に上昇させながら図形上のエッジ強度を測定することにより、図形と屋根が最も良く一致する位置を自動検出する点にある。
【００５０】
初期状態では、建物図形は、図１０の(a)の図形1001のように、建物1002の地表面に照合されている。
ステップ402では、建物図形について、高さの調査範囲h1からh2を図形の属性より決定する。
例えば、二階建て家屋ならば、h1=3mからh2=9mというように決定する。
ステップ403では、h1からh2までδh刻みの各高さhについて、ステップ404からステップ405の処理を行う。
刻み幅δhは、画像の解像度を超えない最大の値とする。
【００５１】
ステップ404では、(5)、(6)式をもとに、地図/画像照合図上に上記建造物図形の屋根を表す屋根図形を発生させる。
屋根図形の平面座標は、元の図形の平面座標とし、高さ座標には高さhを用いる。
従って、hを増加させると、図１０の(b)のように、屋根図形1003は、照合図上でA1004、B1005、C1006と鉛直方向に上昇していく。
ステップ405では、先に図９を例に説明したように、屋根図形の形状をもとに屋根図形の各座標点においてエッジ強度測定フィルタを作成し、図形上の全座標点にわたってエッジ強度を測定することにより、図形上のエッジ強度Erを測定する。
画像における建物の屋根と壁の境界では、明るさや色相が大きく変化する。
したがって、屋根の位置に図形が一致していれば、図形上のエッジ強度も大きくなる。
図１０の(c)に示すように、横軸に図形の高さを、縦軸に図形線分の単位長さあたりの図形上のエッジ強度をとると、屋根図形はb1005の位置で最大値となる。
【００５２】
ステップ406では、屋根図形1003のh1からh2までの移動時に測定した屋根図形上のエッジ強度Erの最大値を検出する。
高さの誤検出を防ぐために、その最大値の図形線分の単位長さあたりの値が、しきい値より大きいかを判定する。
ステップ407では、屋根図形上のエッジ強度Erの最大値の単位長さあたりの値がしきい値より大きいので、図１０の(c)のように、図形枠上のエッジ強度最大値における上記屋根図形の高さhを検出する。
ステップ408では、エッジ強度Erの最大値の単位長さあたりの値がしきい値より小さいので、画像において屋根と背景の明るさや色相の差が不明確なために屋根図形と画像の屋根の一致を判定できないとする。
この場合、屋根図形が建物の屋根と一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、屋根図形を建物の屋根に一致させ、その高さhを検出する。
図１０の(d)は得られた立体地図(新)画像照合図である。
ステップ409では、検出した屋根の高さhを図形の属性情報として登録する。
ステップ410では、さらに図形に高さの更新時間を属性情報に付して登録する。
【００５３】
図１２の(a)のように、建物1201の高さh0と登録時刻t0とを消去せずに対応図形に保存しておき、そこに高さh1と登録時刻t1とを追加する。
したがって、建物1201については、時刻t0からt1までは、高さはh0、時刻t1以降は、高さh1となる。
高さ情報を取り出す際は、ユーザーの指定時間に合わせて情報を選ぶ。
【００５４】
図２に戻り、ステップ205では、平面地図は、ステップ203とステップ204の処理により、立体地図になっている。
この立体地図と(新)画像の照合図を利用し、(新)画像から特徴的な地物を検出し、立体地図の図形の属性情報を更新する。
ここでのポイントは、地物の検出において画像から地物の形状を認識する際に、重畳した図形形状を利用する点にある。
ステップ205でユーザーは、特徴的な地物の検出において、「ユーザー指定情報を基準とするか」、「地図情報を基準とするか」、「(旧)画像情報を基準とするか」の何れかを選択する。
【００５５】
ステップ206では、ステップ205において、ユーザーが、「ユーザー指定情報を基準とするか」を選択した場合に、図５に示すユーザー指定特徴地物検出処理を行う。
以下、図５の処理の流れに従いステップ206のユーザー指定特徴地物検出を説明する。
ステップ501では、立体地図/(新)画像照合図109を入力する。
ユーザーは、照合図において、基準となる特徴的な地物(以下基準地物と記す)を指定する。
基準地物とは、ある特徴を有する地物で、例えば、地物自身の性質により、あるいは、災害などのためにある特徴的な色相やテクスチャをもつ家屋や道路，土地といった地物である。
ユーザーが、指定した地物の個数分だけこのステップ502を繰り返す。
ステップ502では、ユーザーの指定した地物に照合した図形につき、図形内の特性値(明るさ、色相、彩度)分布を測定することにより、地物の特徴を表す。
【００５６】
ここで、図１１を参照しながら、図形内の画素特性値分布について説明する。
図１１の(a)に示すように、画像における建物1101に重畳した立体建物図形1102から壁図形1103を選択し、図１１の(b)に示すように、図形1103内の画素を壁を表す画素として画像より切り出す。
図形内の画素特性値分布とは、切り出した図形内の画素1104について求めた特性値の分布やテクスチャのことである。これにより壁の特徴を記述する。
この手法のポイントは、立体地図の図形を建物のモデルとして利用することにより、画像における建物の形状を認識することにある。
この図では、壁図形内の特性値分布より、建物の特徴を規定しているが、屋根図形を利用することも可能であり、また、屋根と壁をともに用いて総合的に特徴を規定することも可能である。
これは、ユーザーの指示による。
また、この手法は、建物だけでなく、どの地物にも適用できる。
【００５７】
図５に戻り、ステップ503では、ユーザーが指定した全基準地物において図形内の特性値分布の平均、分散などから基準分布を求める。
これをもって、ユーザー指定地物の特徴の基準とする。
ステップ504では、属性情報更新の対象図形は、基準地物の照合図形に登録された家屋や道路といった属性と、同じ属性を有する図形とする。
これらの対象図形について、ステップ505からステップ508の処理を行う。
ステップ505では、先に図１１を用いて説明したように、照合図において、基準地物に照合された図形と同じ属性の全図形について図形内の特性値分布を測定する。
例えば、ユーザーが、壁図形内の特徴をもって建物の特徴を規定している場合は、全建物図形の壁図形内の特性値分布を調べる。
ステップ506では、各図形について求めた図形内特性値分布と、先に求めたユーザー指定地物の基準分布と比較する。
【００５８】
比較方法は、図１１の(c)に示すように、画素特性値の累積度数分布にし、kolmogorov-Smirnov検定に従う。
これは、画素特性値(明るさ、色相、彩度)zに対して、基準の累積分布1105をcs(z)、対象図形内の特性値分布測定値1106をc(z)とするとき、しきい値δに対して、
【００５９】
【数９】
【００６０】
が成り立つとき、対象図形の分布c(z)は基準分布cs(z)と同じ分布であるとする検定方法である。
δの大きさは、画像の質や基準となるユーザー指定地物における図形内の特性値分布の分散の大きさによる。
ここでは、２つの特性値分布の比較方法として、Kolmogorov-Smirnov検定を挙げたが、Smoothed-Difference検定に従っても良い。あるいは、同時生起行列によって検定を行っても良い。
【００６１】
ステップ507では、基準分布との差がしきい値δ以内であるので、対象図形の特性値分布がユーザー指定地物と同じであると判断して、図形を検出する。
ユーザー指定地物の画素の特徴に対して、木造やコンクリート造といったように図形の既存の詳細な属性が対応する場合は、その詳細属性情報を図形に登録する。
ユーザー指定地物の特徴と図形の既存の詳細属性が対応しない場合は、「ユーザー指定特徴地物」という属性情報を図形に登録する。
ステップ508では、属性情報を登録した図形に属性更新時間情報を登録する。
例えば、図１２の(B)のように、建物1202の属性a0と登録時刻t0とを消去せずに対応図形に保存しておき、そこに属性a1と登録時刻t1とを追加する。
したがって、建物1202については、時刻t0からt1までは、属性はa0、時刻t1以降は、属性a1とする。
属性情報を取り出す際は、ユーザーの指定時間に合わせて情報を選ぶ。
ステップ501からステップ508では、ユーザーが指定した特徴を有する地物を検出する場合を例として挙げたが、同様の手法で、ユーザーが指定した特徴を持たない地物を検出することも可能である。
【００６２】
図２に戻り、ステップ207では、ステップ205において、ユーザーが、「地図情報を基準とするか」を選択した場合に、図６に示す地図/画像特徴変化地物検出処理を行う。
以下、図６の処理の流れに従いステップ207の地図/画像属性変化地物検出を説明する。
ステップ601では、立体地図/(新)画像照合図を入力する。ユーザーは、家屋や畑地といった図形の属性を指定して、情報更新の対象図形を決める。対象図形数分だけステップ602を繰り返す。
ステップ602では、全対象図形につき、図１１の(a)、(b)のように図形内の特性値分布を測定する。
ステップ603では、測定した全対象図形の図形内の特性値分布の平均分布、分散などを求める。これをもって、対象図形の対応する地物の特徴の基準とする。
【００６３】
ステップ604では、全対象図形について、ステップ605からステップ607の処理を行う。
ステップ605では、先に測定した個々の対象図形の図形内の特性値分布と、基準分布とを比較する。比較方法は、ユーザー指定属性地物検出時と同じとする。
ステップ606では、基準分布との差がしきい値δ以上であるので、対象図形における図形内の特性値分布が準値分布と異なる、つまり、属性が変化していると判断して、図形を検出し、詳細属性情報を図形に登録する。
変化後の地物の画素の特徴に対して、コンクリート造家屋や稲作地といったように図形の既存の詳細な属性が対応する場合は、その詳細属性情報を図形に登録する。
変化後の地物の特徴と図形の既存の詳細属性が対応しない場合は、「地図/画像特徴変化地物」という属性情報を図形に登録する。
ステップ607では、対象図形に更新時間情報を登録する。
時間情報の登録方法は、ユーザー指定属性地物検出時と同じとする。
【００６４】
図２に戻り、ステップ208では、ステップ205において、ユーザーが、「(旧)画像情報を基準とするか」を選択した場合に、まず、地図/画像照合手段106により、地物の情報の基準となる(旧)画像と立体地図とを照合し、立体地図/(旧)画像照合図を作成する。
(旧)画像については、画素の明るさの取り得る範囲や平均値が(新)画像と同じになるように補正をしておく。
ステップ209では、ステップ208で作成した立体地図/(旧)画像照合図と、すでにある立体地図/(新)画像照合図とを利用して、(旧)画像と(新)画像とにおいて特徴の変化した地物を検出する。
【００６５】
以下、図７の処理に従いステップ209の(旧)画像/(新)画像属性変化情報検出を説明する。
ステップ701では、立体地図/(旧)画像照合図と、立体地図/(新)画像照合図を入力する。
ユーザーは、家屋や畑地といった属性を指定して、情報更新の対象図形を決める。
全対象図形につきステップ702からステップ706を繰り返す。
ステップ702では、立体地図/(旧)画像照合図において、対象図形につき、図１１の(a)、(b)のように対象図形内の画素を切り出し、図形内特性値分布を測定する。
この測定値を対象図形の特徴の基準値とする。
【００６６】
ステップ703では、立体地図/(新)画像照合図において、同一の対象図形につき、図１１の(d)、(e)のように対象図形内の画素を切り出し、図形内の特性値分布を測定する。
ステップ704では、対象図形につき、立体地図/(旧)画像照合図における基準値と立体地図/(新)画像照合図とにおける測定値を比較する。
ここでのポイントは、図１１の(a)と(d)のように、(旧)画像と(新)画像とで撮影条件が異なる場合でも、図形を媒介として地物の特徴の比較ができる点にある。
比較方法は、ユーザー指定地物検出時と同じとする。
ステップ705では、測定値と基準値との差がしきい値δ以上であれば、(新)画像における地物の特徴が(旧)画像における同一地物の特徴と異なる、つまり、属性が変化していると判断して、図形を検出し、属性情報を図形に登録する。
変化後の地物の画素の特徴に対して、コンクリート造家屋や稲作地といったように図形の既存の詳細な属性が対応する場合は、その詳細属性情報を図形に登録する。
地物の特徴と図形の既存の詳細な属性が対応しない場合は、「(旧)画像/(新)画像特徴変化地物」という属性情報を図形に登録する。
ステップ706では、対象図形に更新時間情報を登録する。
時間情報の登録方法は、ユーザー指定属性地物検出時と同じとする。
【００６７】
【発明の効果】
本発明によれば、画像の解像度が地図の精度に比べて十分でない場合や、地物の形が地図の図形で表現されている形状より複雑である場合や、また、地物の一部分が他の地物に隠されている場合でも、精度の高い対応点を選出でき、対応点を選出しにくい場合でも、精度の高い地図と画像の照合が可能になる。
また、斜めから撮影された画像と地図を照合し、建物の高さ情報を検出し、平面地図から立体地図への変換や、立体地図の高さ情報の更新ができる。
また、地図/画像照合図において、照合した図形を地物の形状や属性のモデルとすることにより画像における地物の形状や属性を規定するので、他の地物に隠れていたり地物の立体形状や特徴が複雑なために画像からのみでは地物の立体形状を抽出できないような場合でも、ユーザーが指定した特徴の地物、あるいは、特徴が変化した地物を検出できる。
さらに、過去の画像と最新の画像を比較し、属性が変化した地物を検出する際には、過去の画像と最新の画像との撮影位置などの条件が異なる場合でも、それぞれの画像に照合した地図を媒介して地物を比較することにより、個々の地物の新旧の属性を比較して変化を検出することが可能になる。
また、地図の個々の図形情報を更新する際に、過去の情報に、登録時間情報を加えた新たな情報を追加できる。
また、これにより、図形に過去の情報も保存できる。
また、地図全体を更新するのではなく、地図の図形毎に情報を更新することにより、更新にかかる費用を軽減できる。
【図面の簡単な説明】
【図１】本発明にかかる地図情報更新装置の機能構成図である。
【図２】本発明にかかる地図情報更新処理のフローチャートを示す図である。
【図３】地図と画像の照合処理のフローチャートを示す図である。
【図４】建物の高さの検出処理のフローチャートを示す図である。
【図５】ユーザー指定特徴地物の検出処理のフローチャートを示す図である。
【図６】地図/画像特徴変化地物の検出処理のフローチャートを示す図である。
【図７】 (旧)画像/(新)画像特徴変化地物の検出処理のフローチャートを示す図である。
【図８】地図と画像との照合処理の表示例を示す図である。
【図９】図形上エッジ強度を説明するための図である。
【図１０】建物の高さの検出処理の表示例を示す図である。
【図１１】図形内画素特性値を説明するための図である。
【図１２】図形情報更新処理を説明するための図である。
【符号の説明】
１０１ 記憶装置
１０２ 地図
１０３ 画像
１０４ 図形操作手段
１０５ 代表的特徴地物指定手段
１０６ 地図/画像照合手段
１０７ 平面地図/(新)画像照合図
１０８ 建物高さ検出手段
１０９ 立体地図/(新)画像照合図
１１０ 立体地図/(旧)画像照合図
１１１ ユーザー指定特徴地物検出手段
１１２ 地図/画像特徴変化地物検出手段
１１３ (旧)画像/(新)画像特徴変化地物抽出手段
１１４ 図形情報更新手段
１１５ 記憶装置
１１６ 更新地図
１１７ 処理内容表示手段
【発明の属する技術分野】
本発明は、地図情報更新方法および装置に関し、さらに詳しくは、地域を撮影した画像を利用し、当該地域の地図に建物の高さ情報および建物を含む地物の属性情報を登録して地図情報の更新を行う地図情報更新方法および装置に関する。
【０００２】
【従来の技術】
特開平5-181411号公報「地図情報照合更新方式」には、(X,Y,Z)座標列からなる立体数値地図に対して座標変換を行って中心投影図を作成し、それと航空写真画像を照合し、照合図から地図情報を利用して経年変化や景観情報を抽出し、地図情報を更新する従来技術が開示されている。
特開平5-181949号公報「画像位置合わせ装置」には、教示画像から抽出した特徴点を照合用特徴点として地図と対応付けしておき、この照合用特徴点を利用して対応点対抽出を行い、地図と画像の位置合わせを行う従来技術が開示されている。
【０００３】
【発明が解決しようとする課題】
上記特開平5-181411号公報に開示の従来技術では、(X,Y,Z)座標列からなる立体地図を中心投影図に変換し画像とを照合するために、地図の変換パラメータ算出の基準となる地図と画像の同一地点の座標を複数点求めているが、その選出技術については考慮されていない。
また、上記画像から建物の高さ情報を検出して平面地図を立体地図に変換する技術については考慮されていない。
また、画像から地物の形状を表す画素(セグメント)を抽出しているが、地物が他の地物に一部隠されている場合や地物の立体形状が地図に表されている形状より複雑な場合、また、地物を表す画素の特徴が複雑な場合は、図形形状に近いセグメントを抽出できない可能性がある。したがって、その場合はセグメントと図形との照合がうまくいかず地物の特徴を検出できない。
また、地図において図形情報の更新時間を登録する手段がないので、図形情報の発生時間がわからない。また図形の過去の情報を保存できない。
【０００４】
また、上記特開平5-181949号公報に開示の従来技術では、画像の解像度が地図の精度に比べて十分でない場合や、地物の形が地図の図形で表現されている形状より複雑である場合や、また、地物の一部分が他の地物に隠されている場合に、精度の高い対応点を選出できない。したがって、これらの場合、精度の高い地図と画像の照合ができない。
【０００５】
そこで、本発明の第１の目的は、中心投影図に変換した地図と画像との照合において、画像の解像度が地図の精度に比べて十分でない場合や、地物の形が地図の図形で表現されている形状より複雑である場合や、また、地物の一部分が他の地物に隠されている場合でも、基準となる建物と図形とを照合し地図と画像の同一地点の座標を選出することにより、容易に精度の高い地図と画像との照合が出来る地図情報更新装置を提供することにある。
また、本発明の第２の目的は、斜めから撮影された画像から建物の高さを検出することにより、平面地図を立体地図に変換することができる、あるいは立体地図の高さ情報を更新することができる地図情報更新装置を提供することにある。また、本発明の第３の目的は、画像における地物の立体形状や特徴が複雑である場合においても、照合した図形を画像の地物の形状および属性のモデルとすることにより地物の形状および属性を規定し、地物を表す画素の解析処理を行ことにより、ユーザーが指定した特徴を有する地物、地図と画像で特徴が変化した地物、または過去の画像と最新の画像とで特徴が変化した地物を検出できる地図情報更新装置を提供することにある。
また、本発明の第４の目的は、地図の各図形における情報発生時間がわかり、また図形の過去の情報を保持できる地図情報更新装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明は、
地域を撮影した静止画像と、(X,Y)座標列からなる平面数値地図あるいは(X,Y,Z)座標列からなる立体数値地図とを用いて、前記地図に対して前記画像の座標系への座標変換を行い該地図を該画像に照合し、
前記画像における地物の形状および属性のモデルとして前記地図の図形を利用して該画像にける地物の形状や画素特性値(明るさ、色相、彩度)およびテクスチャといった特徴を解析することにより、該画像から建物の高さ情報および建物を含む地物の属性情報を検出し、
該検出した高さ情報および属性情報を前記地図に登録することにより地図情報を更新するようにしている。
【０００７】
また、地域を撮影した静止画像と、(X,Y)座標列からなる平面数値地図あるいは(X,Y,Z)座標列からなる立体数値地図とを用いて、前記地図を射影変換して前記画像に重畳することにより地図の図形と画像の対応地物を対応付ける照合手段と、
照合図形を建物の形状および属性のモデルとして利用して前記画像における建物の形状解析を行うことにより建物の高さ情報を検出する建物高さ検出手段と、
ユーザによる特徴の指定にしたがい、照合図形を建物等の地物の形状および属性のモデルとして利用して前記画像における地物の画素特性値(明るさ、色相、彩度)やテクスチャの特徴解析を行うことによりユーザーの指定した特徴を有する建物等の地物を検出するユーザー指定特徴地物検出手段と、
前記検出した建物の高さ情報および前記建物等の地物の属性情報を図形に登録することにより個々の図形情報を更新する図形情報更新手段とを具備するようにしている。
【０００８】
また、ユーザによる図形の属性の指定にしたがい、前記照合図形を地物の形状および属性のモデルとして利用して前記画像における地物の画素特性値やテクスチャの特徴解析を行い、前記指定された図形の属性から求められる特徴と比較することにより、特徴が変化している前記画像における地物を検出する地図/画像特徴変化地物検出手段をさらに具備するようにしている。
【０００９】
また、前記照合手段により作成された、地図の図形と新画像の対応地物とを対応付けた新照合図形と、地図の図形と旧画像の対応地物とを対応付けた旧照合図形とを建物等の地物の形状および属性のモデルとして利用して新旧の画像における地物の画素特性値やテクスチャの特徴解析を行い、前記地図の図形を媒介として該図形に対応する地物の過去の特徴と地物の新しい特徴とを比較することにより、特徴が変化している地物を検出する(旧)画像/(新)画像特徴変化地物検出手段をさらに具備するようにしている。
【００１０】
また、前記図形情報更新手段に代えて、検出した建物の高さ情報および地物の属性情報に、さらに情報更新時間を追加してそれぞれの図形に登録することより、以前の情報を消去することなく新たな情報を登録して個々の図形情報を更新する図形情報更新手段を具備するようにしている。
【００１１】
【発明の実施の形態】
以下、図を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態にかかる地図情報更新方法および装置の機能構成例である。
まず、入力部を説明する。
記憶装置101は、上記装置の内部、あるいは上記装置が接続しているネットワーク上に存在する。また、記憶装置101は、地図ファイル102および画像103を含む。
【００１２】
地図102は、(x,y)座標列からなるの平面数値地図(以下平面地図と記す)、あるいは、(x,y,z)座標列からなる立体数値地図(以下立体地図と記す)であり、ともに、ベクトルデータ構造をしており、広い地域の地物の位置や形状情報、属性情報を含む。立体地図には、平面地図に図形の基準高さと相対高さの情報が加えられている。
したがって、立体地図における建物を表す図形は、真上から見た形状情報に加えて地表面と屋根面の高さ情報を持ち、建物を多角柱として表現する。
また、属性情報とは、家屋や道路、土地といった地物の種類の情報などの図形に付属する情報である。
木造やコンクリート造、２階建てや３階建てといった建物の種類や、田畑や裸地、草地、森といった土地の種類などのさらに詳細な情報は詳細属性情報とする。
【００１３】
画像103は、地域のある時点の情報を含む画像(以下(新)画像と記す)や、それより過去の時点の地域の情報を含む画像(以下(旧)画像と記す)であり、これらはラスターデータ構造をしており、地物の特徴は画素の明るさ、色相、彩度やテクスチャにより表される。
また画像は撮影時間情報を併せ持つ。
この画像のソースは、航空写真や衛星画像である。
ユーザーが指定した地図更新該当地域の画像が、スキャナーによる読み込みやネットワークを通じたダウンロードにより記憶装置101に入力される。
【００１４】
次に、処理部を説明する。
図形操作手段104は、地図と画像の照合時におけるユーザーの図形操作に関する指示を地図/画像照合手段106に伝える。
また、建物高さ検出時におけるユーザーの手動補正に関する指示を建物高さ検出手段108に伝える。
地図/画像照合手段106は、地図を画像に照合するための処理を行う。
地図/画像照合手段106に平面地図と(新)画像とを入力すると、平面地図/(新)画像照合図107が出力される。
建物高さ検出手段108は、地図/画像照合図を利用して建物の形状解析を行い、建物の高さ情報を検出する。
建物高さ検出手段に平面地図/(新)画像照合図107を入力すると、平面地図に高さが付加されて立体地図となり、立体地図/(新)画像照合図109が出力される。
【００１５】
代表的特徴地物指定手段105は、検出する地物の特徴に関するユーザーの指示をユーザー指定特徴地物検出手段111に伝える。
ユーザー指定特徴地物検出手段111は、入力された立体地図/(新)画像照合図109を利用して、検出属性指定手段105によりユーザーが指定した特徴的な地物の画素特性値やテクスチャと、(新)画像における地物の画素特性値やテクスチャとを比較することにより、ユーザーが指定した特徴を有する地物を検出する。
地図/画像特徴変化地物検出手段112は、入力された立体地図/(新)画像照合図109を利用して、図形の属性情報から求められる地物の画素特性値やテクスチャと、(新)画像における各地物の画素特性値やテクスチャを比較することにより、特徴が変化した地物を検出する。
(新)画像/(旧)画像特徴変化地物検出手段113は、立体地図と(新)画像とを照合した立体地図/(新)画像照合図109と、同一の立体地図と(旧)画像とを照合した立体地図/(旧)画像照合図110とを利用して、地物の(新)画像と(旧)画像とにおける画素特性値やテクスチャを対応図形を媒介として比較することにより、特徴が変化した地物を検出する。
【００１６】
図形情報更新手段114は、建物高さ検出手段108やユーザー指定特徴地物検出手段111、地図/画像特徴変化地物検出手段112、(新)画像/(旧)画像特徴変化地物検出手段113が検出した建物の高さ情報や建物を含む地物の属性情報を、それぞれの対応図形に登録し情報の更新を行うときに、更新時間情報をも登録することにより、それぞれの図形の過去の情報を消さずに保存しながら個々の図形情報を更新する。
処理内容表示手段117は、地図/画像照合手段106、建物高さ検出手段108、ユーザー指定特徴地物検出手段111、地図/画像特徴変化地物検出手段112、(旧)画像/(新)画像特徴変化地物検出手段113が行う処理の内容を表示する。
最後に、出力部を説明する。
記憶装置115はの記憶装置101と同様の装置であり、処理部において図形情報が更新された立体地図116が出力され格納される。
【００１７】
図２は、地図情報更新方法および装置の処理手順を示すフローチャートである。
ステップ201では、ユーザーの指示に従い、記憶装置101内の管理領域の地図から更新該当地域の平面地図を地図/画像照合手段106に入力する。
立体地図の情報を更新する場合は、立体地図を入力する。
ステップ202では、記憶装置101内にある更新該当地域の(新)画像を地図/画像照合手段106に入力する。
建物の高さ情報を更新する場合は、建物の立体形状を表す地域を斜めから撮影した斜め画像を使用する。
ステップ203では、地図/画像照合手段106は、図３に示した地図/画像照合処理の流れに従って平面地図と(新)画像とを照合する。
処理内容表示手段117による処理の過程の表示例を図８に示す。
【００１８】
以下、図３の処理の流れと図８の表示例に従い地図/画像照合処理を説明する。
平面地図と(新)画像とを照合するため、平面地図を(新)画像と同じ視点を持つ中心投影図に変換し(新)画像に重畳する。
そのため、平面地図と(新)画像の対応点を選出し、地図変換行列を算出する。
平面地図と(新)画像の対応点選出のポイントは、双方から直接対応点を選出するのではなく、画像における照合の基準となる建物(以下基準建物と記す)と、それに対応する図形(以下基準図形と記す)を照合したの後、図形の各頂点に対応する画像の座標点を算出することにより、対応点を選出する点にある。
これにより、画像の解像度が十分でない場合や、地物の形状が地図の図形で表現されている形状より複雑である場合や、また地物の一部分が他の地物に隠されている場合でも，精度の高い対応点を選出することが可能である。
なお、ここでは、後の建物高さの検出処理、ユーザー指定特徴地物や特徴変化地物の検出処理のために、地図の二次元座標( x,y )と画像の座標( u,v )との関係でなく、地図の三次元座標( x,y,z )と画像の座標( u,v )との関係を表す地図変換行列を算出する。
【００１９】
ステップ301では、地図/画像対応点を求めるために、基準建物数分だけステップ302から323を繰り返す。
基準建物の高さは、測量データなどにより既知である必要がある。
基準建物の個数は、多いほど地図と画像との照合精度が高まるが、図８の(a)のように領域801中の建物に加え他の画像の隅から建物802、803、804というように、画像の四隅からそれぞれ1個程度でも良く、全基準建物から同一平面上に無い地図/画像対応点が6点以上求まることが必要条件である。
なお、図８の(a)においては基準領域801および他の基準建物802、803、804と代表的な道路のみを表示しており、その他の地物は省略している。
図８〜図１２において、ハッチで表示されたものは画像を示し、実線で表示されたものは地図を示す
ステップ302では、図８の(b)は図８(a)中の領域801であるが、ここで示すように、ユーザーの指示に従い、画像から基準建物805の存在する領域806を選択し、選択領域806の座標をサブピクセルまで計測できるようにするために図８の(d)のように拡大して表示する。
ステップ303では、図８の(c)に示すように、ユーザーの指示に従い地図から基準建物805に対応する基準図形807を選択する。
ステップ304では、ユーザーの指示に従い基準図形807の既知高さを入力する。
ステップ305では、基準図形807を画像の表示枠の大きさを基準に拡大縮小して画像の拡大領域上に表示する。
さらに、ユーザーの操作指示を伝える図形操作手段104により、基準図形を移動、変形し、図８の(d)の図形808のように基準建物の屋根809におおよそ一致させる。以下この図形を屋根図形808とする。
【００２０】
ステップ306からステップ310においては、屋根図形808と基準建物の屋根面809が最も良く一致する位置を自動検出し、実線で示す屋根図形810のように基準建物の屋根面809に重畳して照合する。
ステップ306では、図８の(d)のように屋根図形の各頂点のx座標、y座標をそれぞれ±δ移動する。
δの値は、画像の解像度や屋根図形808の初期重畳位置からユーザーが判断し指定する。
ステップ307では、移動中の屋根図形808のそれぞれの位置において、屋根図形808における図形上のエッジ強度Erを測定する。
この図形上のエッジ強度とは、照合した図形枠に沿った各座標において測定した画像のエッジ強度(画素の明るさの変化の大きさ、色相の変化の大きさ)の合計値のことである。
【００２１】
図９を参照しながら図形上のエッジ強度について説明する。
まず、照合図において、重畳した図形線分上において本発明の一特徴であるフィルタ処理を行い、各座標点における画像のエッジ強度を測定する。
なお、画像における既存のフィルタ処理については、は、「高木幹雄，下田陽久監修，"画像解析ハンドブック"，東京大学出版会，東京，1991」などに詳しい。
図８の(d)に等しい図９の(a)において、図形901の線分上の座標点pij 902を中心とした(( 2m+1 )画素×( 2n+1 ))画素の長方形の範囲903を考える。
図９の(b)のように、各座標における画素の明るさ、あるいは色相の値をf( i+k,j+l )( k=-m〜m、l=-n〜n )とする。
それに対して、図９の(c)のように、フィルタの各重み係数の値をw( i+k,j+l )( k=-m〜m、l=-n〜n )とする。
このとき、フィルタの出力値gijは、
【００２２】
【数１】
となる。
このフィルタの出力値gijを、図形901上の座標点pij902におけるエッジ強度とする。
【００２４】
なお、本発明におけるフィルタ以外に、フィルタとしては、SobelフィルタやRobinsonフィルタなどの画像処理おける既存のエッジ抽出フィルタを、図形901の線分の向きからエッジの方向を予想することにより、選択して使用しても良い。
あるいは、図形901の線分の向きから画像の建物904における屋根と壁の境界のエッジの方向を予測したフィルタを作成することも可能である。
【００２５】
フィルタを作成する場合ついて、図９の(a)の図形901上の座標点pij 902の付近の拡大図である図９の(d)をもとに説明する。
フィルタの範囲には２種類ある。
一つは、図９の(e)や(f)のような、図形の線分905上の座標点pij 906を中心とした(7画素×7画素)の正方形の領域907である。
もう一つは、図９の(g)のように、図形線分905を中心とした片側幅3画素の帯状の領域908である。
領域907の大きさや領域908の幅は、ユーザーが、画像の解像度や対象地物の状態に合わせて(5画素×5画素)や（9画素×9画素）というように適切な大きさを選択する。
【００２６】
フィルタの型にも２種類ある。
＋を正の値の重み係数、−を負の値の重み係数とした場合に、一つは、図９の(e)や(g)のように図形線分909、911が重畳している画素に対する重み係数を0とし、その上下に＋と−の重み係数を配置した一次微分型である。
もう一つは、図９の(f)のように図形線分910が重畳している画素に+の重み係数を配置し、その外側の１画素に対する重み係数を0とし、さらにその外側に−の重み係数を配置した二次微分型である。
重み係数については、明るさや色の変化のない平坦な面においてはフィルタ出力値gijが0になるように各値を調整する。
【００２７】
このようにして作成したフィルタや既存のフィルタを用いて、図形枠に沿った各座標点でエッジ強度を測定する。
それらエッジ強度を合計した値は、図形線分に沿った画素の明るさの変化の大きさや色相の変化の大きさを示しており、これを図形上のエッジ強度Eとする。
つまり、
【００２８】
【数２】
となる。但し、（i,j）は図形線分上の画素の座標である。
【００３０】
この図形上のエッジ強度は、対象物の明るさの変化や色相の変化が大きい部分に図形が重畳されているときほど大きくなる。
画像においては、建物の稜や背景との境界線は明るさや色相の変化が他の部分に比べて大きい場合が多い。
図形全体にわたって、図９の(h)のＡ912ように図形線分が建物の稜線や背景との境界線とややずれているとき、Ｂ913のように一致しているとき、Ｃ914のように全く一致していないときを考えると、図形上のエッジ強度は、図９の(i)のように、図形全体にわたって、Ｂ913のようなときが最も大きく、次いでA912のようなときが大きく、そしてＣ914のようなときが最も小さくなる。
このようにして、図形上のエッジの強度を測定することにより、図形線分が、建物の稜や背景との境界線に一致しているか否かを判定する事ができる。
【００３１】
図３に戻り、ステップ308では、図形を移動させながら測定した屋根図形上のエッジ強度Erの最大値において、図形線分の単位長さあたりの値が、ユーザーが設定したしきい値より大きいか否かを判定する。しきい値は、画像の解像度や状態に依存する。
ステップ309では、エッジ強度Erの最大値の単位長さあたりの値がしきい値より大きいので、図８の(d)の屋根図形810と屋根809のように一致していると判定する。
ステップ310では、エッジ強度Erの最大値の単位長さあたりの値がしきい値より小さいので、画像において屋根と背景の境界の明るさや色相の差が不明確なために屋根図形と画像の屋根の一致を判定できないとする。
この場合、屋根図形が屋根に一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、屋根図形を画像における屋根に一致させる。
【００３２】
ステップ311では、図８の(e)に示すように、壁の稜を表す図形811を画像の拡大領域上に発生させる。以下この図形を壁稜図形811とする。
ステップ312からステップ316においては、壁稜図形811と基準建造物の壁812が最も良く一致する位置を自動検出し、壁稜図形813のように基準建物の壁812に重畳して照合する。
ステップ312では、壁稜図形811を、屋根図形814に接続する頂点を中心として±θ回転する。θの値は、画像の解像度等からユーザーが判断し指定する。
画像における壁812の各稜が平行であると近似できる場合は、壁稜図形811の各線分を同時に回転させる。
また、そうでない場合は、各線分を別々に回転させる。
【００３３】
ステップ313では、回転中の壁稜図形811のそれぞれの位置において、壁稜図形上のエッジ強度Ewを測定する。
画像における壁の各稜が平行であると近似できる場合は、壁稜図形の複数線分を一つの図形として図形上のエッジ強度を測定する。
また、そうでない場合は、各線分について別々に図形上のエッジ強度を測定する。
ステップ314では、測定した壁稜図形上のエッジ強度Ewの最大値において、図形線分の単位長さあたりの値が、ユーザーが設定したしきい値より大きいか否かを判定する。しきい値は、画像の解像度、状態に依存する。
ステップ315では、エッジ強度Ewの最大値の単位長さあたりの値がしきい値より大きいので、図８の(e)の壁稜図形813と壁812のように壁稜図形が壁に一致していると判定する。
ステップ316では、エッジ強度Ewの最大値の単位長さあたりの値がしきい値より小さいので、画像において壁の境界の明るさや色相の差が不明確なために壁稜図形と画像の壁の一致を判定できないとする。
この場合、壁稜図形が壁に一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、壁稜図形を画像における壁に一致させる。
【００３４】
ステップ317では、図８の(f)に示すように、建物の地表面境界線を表す図形815を画像の拡大領域上に発生させる。以下この図形を地表面境界図形815とする。ステップ318からステップ322においては、地表面境界図形815と基準建物の地表面境界が最も良く一致する位置を自動検出し、地表面境界図形816のように基準建物の地表面境界に重畳して照合する。
ステップ318では、地表面境界図形815を、屋根側から地表面の方へδだけ鉛直方向に降下させる。
δの値は、画像の解像度等からユーザーが判断し指定する。
ステップ319では、移動中の地表面境界図形815のそれぞれの位置において、地表面境界図形上のエッジ強度Egを測定する。
ステップ320では、測定した地表面境界図形上のエッジ強度Egの最大値において、図形線分の単位長さあたりの値が、ユーザーが設定したしきい値より大きいか否かを判定する。しきい値は、画像の解像度や状態に依存する。
ステップ321では、エッジ強度Egの最大値の単位長さあたりの値がしきい値より大きいので、図８の(f)の地表面境界図形816のように、地表面境界図形が地表面に一致していると判定する。
ステップ322では、エッジ強度Egの最大値の単位長さあたりの値がしきい値より小さいので、画像において地表面境界の明るさや色相の差が不明確なために地表面境界図形と画像の地表面の一致を判定できないとする。
この場合、地表面境界図形が地表面画像と一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、地表面境界図形を地表面に一致させる。
【００３５】
ステップ323では、ステップ302からステップ322までの処理により、図８の(f)のように基準建物に照合された基準図形の頂点の座標と、それに対応する画像での基準建物のサプピクセルレベルの座標を検出することにより、平面地図/画像対応点を検出する。
ステップ324では、検出された地図/画像対応点から、上記地図を上記画像と同じ視点を持つ中心投影図に幾何変換するための地図変換行列を算出する。
【００３６】
ここで、地図の幾何変換のために画像座標と地図座標の関係を考える。
地図と画像の関係は、地図座標から画像座標への射影変換行列で表される。
これを地図変換行列とする。
地図座標( X,Y,Z )と画像座標( u,v )の関係を、斉示座標系で表現すると、
【００３７】
【数３】
となる。但し、C11からC33は射影変換行列の成分である。また、ｈは0でない実数であり、画像の奥行き方向の距離に関係している。
斉示座標系を画像の座標系に変換すると、
【００３９】
【数４】
となる。
すなわち地図座標( X,Y,Z )と画像座標( u,v )の関係は、
【００４１】
【数５】
【数６】
と表される。
地図座標点( Xi,Yi,Zi )に対応する画像座標点( ui,vi )が分かれば、
(4)，(5)式をC11からC33を未知数とする方程式
【００４４】
【数７】
【数８】
として表すことができる。
先に求めた地図/画像対応点の地図座標( Xi,Yi,Zi )と画像座標( ui,vi )を(7)，(8)式に代入し最小二乗法で全行列要素を求め、地図変換行列を完成させる。
【００４７】
ステップ325では、情報更新の対象図形を、求めた地図変換行列をもとに(5)、(6)式に従って中心投影図に変換し、画像に重畳することにより照合する。
その結果、図８の(g)のような地図/画像照合図が出力される。
【００４８】
図２に戻り、ステップ204では、建物高さ検出手段108は、図４に示した高さ情報検出処理の流れに従って、建物の高さ情報を(新)画像から検出し、平面地図に建物の高さ情報を加え立体地図に変換する。
処理の過程の表示例を図１０に示す。
なお、立体地図の高さ情報を更新する場合も同様の手法である。
【００４９】
以下、図４の処理の流れと図１０の表示例に従い高さ情報検出処理を説明する。
ステップ401では、高さの検出対象である建物を示す全ての図形についてステップ402からステップ410までの処理を行い、画像から建物図形の高さを取得する。
この建物高さ検出のポイントは、図形に高さを与えて鉛直方向に上昇させながら図形上のエッジ強度を測定することにより、図形と屋根が最も良く一致する位置を自動検出する点にある。
【００５０】
初期状態では、建物図形は、図１０の(a)の図形1001のように、建物1002の地表面に照合されている。
ステップ402では、建物図形について、高さの調査範囲h1からh2を図形の属性より決定する。
例えば、二階建て家屋ならば、h1=3mからh2=9mというように決定する。
ステップ403では、h1からh2までδh刻みの各高さhについて、ステップ404からステップ405の処理を行う。
刻み幅δhは、画像の解像度を超えない最大の値とする。
【００５１】
ステップ404では、(5)、(6)式をもとに、地図/画像照合図上に上記建造物図形の屋根を表す屋根図形を発生させる。
屋根図形の平面座標は、元の図形の平面座標とし、高さ座標には高さhを用いる。
従って、hを増加させると、図１０の(b)のように、屋根図形1003は、照合図上でA1004、B1005、C1006と鉛直方向に上昇していく。
ステップ405では、先に図９を例に説明したように、屋根図形の形状をもとに屋根図形の各座標点においてエッジ強度測定フィルタを作成し、図形上の全座標点にわたってエッジ強度を測定することにより、図形上のエッジ強度Erを測定する。
画像における建物の屋根と壁の境界では、明るさや色相が大きく変化する。
したがって、屋根の位置に図形が一致していれば、図形上のエッジ強度も大きくなる。
図１０の(c)に示すように、横軸に図形の高さを、縦軸に図形線分の単位長さあたりの図形上のエッジ強度をとると、屋根図形はb1005の位置で最大値となる。
【００５２】
ステップ406では、屋根図形1003のh1からh2までの移動時に測定した屋根図形上のエッジ強度Erの最大値を検出する。
高さの誤検出を防ぐために、その最大値の図形線分の単位長さあたりの値が、しきい値より大きいかを判定する。
ステップ407では、屋根図形上のエッジ強度Erの最大値の単位長さあたりの値がしきい値より大きいので、図１０の(c)のように、図形枠上のエッジ強度最大値における上記屋根図形の高さhを検出する。
ステップ408では、エッジ強度Erの最大値の単位長さあたりの値がしきい値より小さいので、画像において屋根と背景の明るさや色相の差が不明確なために屋根図形と画像の屋根の一致を判定できないとする。
この場合、屋根図形が建物の屋根と一致してない可能性があるので、ユーザーの指示を図形画像操作手段104により伝えて手動補正を行い、屋根図形を建物の屋根に一致させ、その高さhを検出する。
図１０の(d)は得られた立体地図(新)画像照合図である。
ステップ409では、検出した屋根の高さhを図形の属性情報として登録する。
ステップ410では、さらに図形に高さの更新時間を属性情報に付して登録する。
【００５３】
図１２の(a)のように、建物1201の高さh0と登録時刻t0とを消去せずに対応図形に保存しておき、そこに高さh1と登録時刻t1とを追加する。
したがって、建物1201については、時刻t0からt1までは、高さはh0、時刻t1以降は、高さh1となる。
高さ情報を取り出す際は、ユーザーの指定時間に合わせて情報を選ぶ。
【００５４】
図２に戻り、ステップ205では、平面地図は、ステップ203とステップ204の処理により、立体地図になっている。
この立体地図と(新)画像の照合図を利用し、(新)画像から特徴的な地物を検出し、立体地図の図形の属性情報を更新する。
ここでのポイントは、地物の検出において画像から地物の形状を認識する際に、重畳した図形形状を利用する点にある。
ステップ205でユーザーは、特徴的な地物の検出において、「ユーザー指定情報を基準とするか」、「地図情報を基準とするか」、「(旧)画像情報を基準とするか」の何れかを選択する。
【００５５】
ステップ206では、ステップ205において、ユーザーが、「ユーザー指定情報を基準とするか」を選択した場合に、図５に示すユーザー指定特徴地物検出処理を行う。
以下、図５の処理の流れに従いステップ206のユーザー指定特徴地物検出を説明する。
ステップ501では、立体地図/(新)画像照合図109を入力する。
ユーザーは、照合図において、基準となる特徴的な地物(以下基準地物と記す)を指定する。
基準地物とは、ある特徴を有する地物で、例えば、地物自身の性質により、あるいは、災害などのためにある特徴的な色相やテクスチャをもつ家屋や道路，土地といった地物である。
ユーザーが、指定した地物の個数分だけこのステップ502を繰り返す。
ステップ502では、ユーザーの指定した地物に照合した図形につき、図形内の特性値(明るさ、色相、彩度)分布を測定することにより、地物の特徴を表す。
【００５６】
ここで、図１１を参照しながら、図形内の画素特性値分布について説明する。
図１１の(a)に示すように、画像における建物1101に重畳した立体建物図形1102から壁図形1103を選択し、図１１の(b)に示すように、図形1103内の画素を壁を表す画素として画像より切り出す。
図形内の画素特性値分布とは、切り出した図形内の画素1104について求めた特性値の分布やテクスチャのことである。これにより壁の特徴を記述する。
この手法のポイントは、立体地図の図形を建物のモデルとして利用することにより、画像における建物の形状を認識することにある。
この図では、壁図形内の特性値分布より、建物の特徴を規定しているが、屋根図形を利用することも可能であり、また、屋根と壁をともに用いて総合的に特徴を規定することも可能である。
これは、ユーザーの指示による。
また、この手法は、建物だけでなく、どの地物にも適用できる。
【００５７】
図５に戻り、ステップ503では、ユーザーが指定した全基準地物において図形内の特性値分布の平均、分散などから基準分布を求める。
これをもって、ユーザー指定地物の特徴の基準とする。
ステップ504では、属性情報更新の対象図形は、基準地物の照合図形に登録された家屋や道路といった属性と、同じ属性を有する図形とする。
これらの対象図形について、ステップ505からステップ508の処理を行う。
ステップ505では、先に図１１を用いて説明したように、照合図において、基準地物に照合された図形と同じ属性の全図形について図形内の特性値分布を測定する。
例えば、ユーザーが、壁図形内の特徴をもって建物の特徴を規定している場合は、全建物図形の壁図形内の特性値分布を調べる。
ステップ506では、各図形について求めた図形内特性値分布と、先に求めたユーザー指定地物の基準分布と比較する。
【００５８】
比較方法は、図１１の(c)に示すように、画素特性値の累積度数分布にし、kolmogorov-Smirnov検定に従う。
これは、画素特性値(明るさ、色相、彩度)zに対して、基準の累積分布1105をcs(z)、対象図形内の特性値分布測定値1106をc(z)とするとき、しきい値δに対して、
【００５９】
【数９】
が成り立つとき、対象図形の分布c(z)は基準分布cs(z)と同じ分布であるとする検定方法である。
δの大きさは、画像の質や基準となるユーザー指定地物における図形内の特性値分布の分散の大きさによる。
ここでは、２つの特性値分布の比較方法として、Kolmogorov-Smirnov検定を挙げたが、Smoothed-Difference検定に従っても良い。あるいは、同時生起行列によって検定を行っても良い。
【００６１】
ステップ507では、基準分布との差がしきい値δ以内であるので、対象図形の特性値分布がユーザー指定地物と同じであると判断して、図形を検出する。
ユーザー指定地物の画素の特徴に対して、木造やコンクリート造といったように図形の既存の詳細な属性が対応する場合は、その詳細属性情報を図形に登録する。
ユーザー指定地物の特徴と図形の既存の詳細属性が対応しない場合は、「ユーザー指定特徴地物」という属性情報を図形に登録する。
ステップ508では、属性情報を登録した図形に属性更新時間情報を登録する。
例えば、図１２の(B)のように、建物1202の属性a0と登録時刻t0とを消去せずに対応図形に保存しておき、そこに属性a1と登録時刻t1とを追加する。
したがって、建物1202については、時刻t0からt1までは、属性はa0、時刻t1以降は、属性a1とする。
属性情報を取り出す際は、ユーザーの指定時間に合わせて情報を選ぶ。
ステップ501からステップ508では、ユーザーが指定した特徴を有する地物を検出する場合を例として挙げたが、同様の手法で、ユーザーが指定した特徴を持たない地物を検出することも可能である。
【００６２】
図２に戻り、ステップ207では、ステップ205において、ユーザーが、「地図情報を基準とするか」を選択した場合に、図６に示す地図/画像特徴変化地物検出処理を行う。
以下、図６の処理の流れに従いステップ207の地図/画像属性変化地物検出を説明する。
ステップ601では、立体地図/(新)画像照合図を入力する。ユーザーは、家屋や畑地といった図形の属性を指定して、情報更新の対象図形を決める。対象図形数分だけステップ602を繰り返す。
ステップ602では、全対象図形につき、図１１の(a)、(b)のように図形内の特性値分布を測定する。
ステップ603では、測定した全対象図形の図形内の特性値分布の平均分布、分散などを求める。これをもって、対象図形の対応する地物の特徴の基準とする。
【００６３】
ステップ604では、全対象図形について、ステップ605からステップ607の処理を行う。
ステップ605では、先に測定した個々の対象図形の図形内の特性値分布と、基準分布とを比較する。比較方法は、ユーザー指定属性地物検出時と同じとする。
ステップ606では、基準分布との差がしきい値δ以上であるので、対象図形における図形内の特性値分布が準値分布と異なる、つまり、属性が変化していると判断して、図形を検出し、詳細属性情報を図形に登録する。
変化後の地物の画素の特徴に対して、コンクリート造家屋や稲作地といったように図形の既存の詳細な属性が対応する場合は、その詳細属性情報を図形に登録する。
変化後の地物の特徴と図形の既存の詳細属性が対応しない場合は、「地図/画像特徴変化地物」という属性情報を図形に登録する。
ステップ607では、対象図形に更新時間情報を登録する。
時間情報の登録方法は、ユーザー指定属性地物検出時と同じとする。
【００６４】
図２に戻り、ステップ208では、ステップ205において、ユーザーが、「(旧)画像情報を基準とするか」を選択した場合に、まず、地図/画像照合手段106により、地物の情報の基準となる(旧)画像と立体地図とを照合し、立体地図/(旧)画像照合図を作成する。
(旧)画像については、画素の明るさの取り得る範囲や平均値が(新)画像と同じになるように補正をしておく。
ステップ209では、ステップ208で作成した立体地図/(旧)画像照合図と、すでにある立体地図/(新)画像照合図とを利用して、(旧)画像と(新)画像とにおいて特徴の変化した地物を検出する。
【００６５】
以下、図７の処理に従いステップ209の(旧)画像/(新)画像属性変化情報検出を説明する。
ステップ701では、立体地図/(旧)画像照合図と、立体地図/(新)画像照合図を入力する。
ユーザーは、家屋や畑地といった属性を指定して、情報更新の対象図形を決める。
全対象図形につきステップ702からステップ706を繰り返す。
ステップ702では、立体地図/(旧)画像照合図において、対象図形につき、図１１の(a)、(b)のように対象図形内の画素を切り出し、図形内特性値分布を測定する。
この測定値を対象図形の特徴の基準値とする。
【００６６】
ステップ703では、立体地図/(新)画像照合図において、同一の対象図形につき、図１１の(d)、(e)のように対象図形内の画素を切り出し、図形内の特性値分布を測定する。
ステップ704では、対象図形につき、立体地図/(旧)画像照合図における基準値と立体地図/(新)画像照合図とにおける測定値を比較する。
ここでのポイントは、図１１の(a)と(d)のように、(旧)画像と(新)画像とで撮影条件が異なる場合でも、図形を媒介として地物の特徴の比較ができる点にある。
比較方法は、ユーザー指定地物検出時と同じとする。
ステップ705では、測定値と基準値との差がしきい値δ以上であれば、(新)画像における地物の特徴が(旧)画像における同一地物の特徴と異なる、つまり、属性が変化していると判断して、図形を検出し、属性情報を図形に登録する。
変化後の地物の画素の特徴に対して、コンクリート造家屋や稲作地といったように図形の既存の詳細な属性が対応する場合は、その詳細属性情報を図形に登録する。
地物の特徴と図形の既存の詳細な属性が対応しない場合は、「(旧)画像/(新)画像特徴変化地物」という属性情報を図形に登録する。
ステップ706では、対象図形に更新時間情報を登録する。
時間情報の登録方法は、ユーザー指定属性地物検出時と同じとする。
【００６７】
【発明の効果】
本発明によれば、画像の解像度が地図の精度に比べて十分でない場合や、地物の形が地図の図形で表現されている形状より複雑である場合や、また、地物の一部分が他の地物に隠されている場合でも、精度の高い対応点を選出でき、対応点を選出しにくい場合でも、精度の高い地図と画像の照合が可能になる。
また、斜めから撮影された画像と地図を照合し、建物の高さ情報を検出し、平面地図から立体地図への変換や、立体地図の高さ情報の更新ができる。
また、地図/画像照合図において、照合した図形を地物の形状や属性のモデルとすることにより画像における地物の形状や属性を規定するので、他の地物に隠れていたり地物の立体形状や特徴が複雑なために画像からのみでは地物の立体形状を抽出できないような場合でも、ユーザーが指定した特徴の地物、あるいは、特徴が変化した地物を検出できる。
さらに、過去の画像と最新の画像を比較し、属性が変化した地物を検出する際には、過去の画像と最新の画像との撮影位置などの条件が異なる場合でも、それぞれの画像に照合した地図を媒介して地物を比較することにより、個々の地物の新旧の属性を比較して変化を検出することが可能になる。
また、地図の個々の図形情報を更新する際に、過去の情報に、登録時間情報を加えた新たな情報を追加できる。
また、これにより、図形に過去の情報も保存できる。
また、地図全体を更新するのではなく、地図の図形毎に情報を更新することにより、更新にかかる費用を軽減できる。
【図面の簡単な説明】
【図１】本発明にかかる地図情報更新装置の機能構成図である。
【図２】本発明にかかる地図情報更新処理のフローチャートを示す図である。
【図３】地図と画像の照合処理のフローチャートを示す図である。
【図４】建物の高さの検出処理のフローチャートを示す図である。
【図５】ユーザー指定特徴地物の検出処理のフローチャートを示す図である。
【図６】地図/画像特徴変化地物の検出処理のフローチャートを示す図である。
【図７】 (旧)画像/(新)画像特徴変化地物の検出処理のフローチャートを示す図である。
【図８】地図と画像との照合処理の表示例を示す図である。
【図９】図形上エッジ強度を説明するための図である。
【図１０】建物の高さの検出処理の表示例を示す図である。
【図１１】図形内画素特性値を説明するための図である。
【図１２】図形情報更新処理を説明するための図である。
【符号の説明】
１０１ 記憶装置
１０２ 地図
１０３ 画像
１０４ 図形操作手段
１０５ 代表的特徴地物指定手段
１０６ 地図/画像照合手段
１０７ 平面地図/(新)画像照合図
１０８ 建物高さ検出手段
１０９ 立体地図/(新)画像照合図
１１０ 立体地図/(旧)画像照合図
１１１ ユーザー指定特徴地物検出手段
１１２ 地図/画像特徴変化地物検出手段
１１３ (旧)画像/(新)画像特徴変化地物抽出手段
１１４ 図形情報更新手段
１１５ 記憶装置
１１６ 更新地図
１１７ 処理内容表示手段
Claims (5)
- 地域を撮影した静止画像と、(X,Y)座標列からなる平面数値地図あるいは(X,Y,Z)座標列からなる立体数値地図とを入力する入力部と、該静止画像と該地図とを照合する地図画像照合手段と、該静止画像から高さ情報を検出する高さ検出手段を有する地図情報処理装置における地図更新方法であって、
前記地図画像照合手段は、前記地図に前記静止画像の座標系への座標変換を行って該地図の図形と該静止画像の地物を照合し、
前記高さ検出手段は、前記静止画像中の建物に照合された建物の図形の高さを変化させて該図形上のエッジ強度を測定することにより、該建物の高さ情報を検出し、
該検出した高さ情報を前記地図に登録することにより地図情報を更新することを特徴とする地図情報更新方法。 - 地域を撮影した静止画像と、(X,Y)座標列からなる平面数値地図あるいは(X,Y,Z)座標列からなる立体数値地図とを入力する入力部と、
前記地図に前記静止画像の座標系への座標変換を行って該地図の図形と該静止画像の地物を照合する地図画像照合手段と、
前記静止画像中の建物に照合された建物の図形の高さを変化させて該図形上のエッジ強度を測定することにより、該建物の高さ情報を検出する高さ検出手段と、
該検出した高さ情報を前記地図に登録して地図情報を更新する地図情報更新手段とを具備することを特徴とする地図情報更新装置。 - 請求項１記載の地図情報更新方法において、
上記地図情報処理装置は地物指定手段と地物検出手段とを有し、上記地図中の図形には属性情報が対応付けられており、
該地物指定手段を介してユーザから属性情報の指定を受け、
前記地物検出手段は、前記地図画像照合手段によって照合された地図の図形と静止画像の地物の照合図から、該指定された属性を有する図形内の特性値分布を測定して該特性値分布から基準分布を算出し、各上記特性値分布と該基準分布とを比較することにより、特徴が変化している前記静止画像における地物を検出することを特徴とする地図情報更新方法。 - 請求項１記載の地図情報更新方法において、
上記地図情報処理装置は地物指定手段と地物検出手段とを有し、上記地図中の図形には属性情報が対応付けられており、
該地物指定手段を介してユーザから属性情報の指定を受け、
前記地物検出手段は前記指定された属性を有する図形を、前記地図画像照合手段によって照合された、新静止画像と地図の新照合図形と、該新静止画像より以前に撮像された旧静止画像と地図の旧照合図形とから検出し、新旧両者の静止図形内の特性値分布を測定して該特性値分布を比較することにより、旧静止画像と新静止画像の特徴が変化している地物の検出を行うことを特徴とする地図情報更新方法。 - 請求項１、３又は４のいずれかの請求項記載の地図情報更新方法において、
前記検出した建物の高さ情報又は地物の属性情報に、さらに情報更新時間を追加してそれぞれの図形に登録することを特徴とする地図情報更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14842798A JP3776591B2 (ja) | 1998-05-13 | 1998-05-13 | 地図情報更新方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14842798A JP3776591B2 (ja) | 1998-05-13 | 1998-05-13 | 地図情報更新方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11328378A JPH11328378A (ja) | 1999-11-30 |
| JP3776591B2 true JP3776591B2 (ja) | 2006-05-17 |
Family
ID=15452562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14842798A Expired - Lifetime JP3776591B2 (ja) | 1998-05-13 | 1998-05-13 | 地図情報更新方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3776591B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021125796A1 (en) * | 2019-12-16 | 2021-06-24 | Samsung Electronics Co., Ltd. | Method and apparatus for regeneration and prediction of tree map |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3992452B2 (ja) * | 2000-11-09 | 2007-10-17 | 日立ソフトウエアエンジニアリング株式会社 | 変化検出装置、変化検出方法及び該方法に係るプログラムを記憶した記憶媒体並びにシステム |
| JP2002157576A (ja) | 2000-11-22 | 2002-05-31 | Nec Corp | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 |
| JP5041638B2 (ja) | 2000-12-08 | 2012-10-03 | パナソニック株式会社 | デジタル地図の位置情報伝達方法とそれに使用する装置 |
| JP2003006680A (ja) * | 2001-06-20 | 2003-01-10 | Zenrin Co Ltd | ３次元電子地図データの生成方法 |
| US20050060299A1 (en) * | 2003-09-17 | 2005-03-17 | George Filley | Location-referenced photograph repository |
| JP4624287B2 (ja) * | 2006-03-17 | 2011-02-02 | 株式会社パスコ | 建物形状変化検出方法及び建物形状変化検出システム |
| US8339393B2 (en) | 2006-11-21 | 2012-12-25 | Nec Corporation | Three-dimensional map data generating system, three-dimensional map data generating method and three-dimensional map data generating program |
| JP5680267B2 (ja) * | 2008-08-06 | 2015-03-04 | コンテンツ株式会社 | 画像出力システム、画像出力装置、画像出力方法、及びプログラム |
| US8823732B2 (en) * | 2010-12-17 | 2014-09-02 | Pictometry International Corp. | Systems and methods for processing images with edge detection and snap-to feature |
| JP5642561B2 (ja) * | 2011-01-11 | 2014-12-17 | 株式会社パスコ | 家屋異動判読支援装置、家屋異動判読支援方法及び家屋異動判読支援プログラム |
| JP2012203458A (ja) * | 2011-03-23 | 2012-10-22 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
| KR101714174B1 (ko) * | 2015-07-22 | 2017-03-08 | 주식회사 엘지씨엔에스 | 구조물 영상 관리 방법, 영상처리장치, 및 영상조회장치 |
| JP6982419B2 (ja) * | 2017-06-30 | 2021-12-17 | 三菱スペース・ソフトウエア株式会社 | 画像比較装置、画像比較プログラムおよび画像比較方法 |
| CN111105498B (zh) * | 2019-12-31 | 2020-10-20 | 中航华东光电深圳有限公司 | 一种三维实时地图构建方法及装置 |
| CN114445359B (zh) * | 2022-01-24 | 2023-09-08 | 上海歆广数据科技有限公司 | 一种网格数据体系中电子地图质量控制系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05181949A (ja) * | 1991-12-26 | 1993-07-23 | Toshiba Corp | 画像位置合わせ装置 |
| JPH05181411A (ja) * | 1991-12-27 | 1993-07-23 | Toshiba Corp | 地図情報照合更新方式 |
| JP3378395B2 (ja) * | 1995-01-06 | 2003-02-17 | 株式会社日立製作所 | 地形情報の表示方法および地形情報管理装置 |
| JP3622094B2 (ja) * | 1995-10-05 | 2005-02-23 | 株式会社日立製作所 | 地図更新支援装置および地図情報の編集方法 |
-
1998
- 1998-05-13 JP JP14842798A patent/JP3776591B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021125796A1 (en) * | 2019-12-16 | 2021-06-24 | Samsung Electronics Co., Ltd. | Method and apparatus for regeneration and prediction of tree map |
| US11551415B2 (en) | 2019-12-16 | 2023-01-10 | Samsung Electronics Co., Ltd. | Method and apparatus for regeneration and prediction of tree map |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11328378A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11263808B2 (en) | Systems and methods for rapid three-dimensional modeling with real façade texture | |
| JP3776591B2 (ja) | 地図情報更新方法および装置 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| US8218853B2 (en) | Change discrimination device, change discrimination method and change discrimination program | |
| CN112793564B (zh) | 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统 | |
| CA2843944C (en) | System for automatic structure footprint detection from oblique imagery | |
| US6694064B1 (en) | Digital aerial image mosaic method and apparatus | |
| Sportouche et al. | Extraction and three-dimensional reconstruction of isolated buildings in urban scenes from high-resolution optical and SAR spaceborne images | |
| US8396284B2 (en) | Smart picking in 3D point clouds | |
| EP2074378B1 (en) | System for and method of processing laser scan samples and digital photographic images relating to building facades | |
| US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
| JP4103898B2 (ja) | 地図情報更新方法及び地図更新装置 | |
| JP2012517652A (ja) | シーン補間及び登録性能評価のための２ｄ電子光学的画像及び３ｄ点群データの融合 | |
| Freire et al. | Introducing mapping standards in the quality assessment of buildings extracted from very high resolution satellite imagery | |
| CN106504192A (zh) | 一种输电线路走廊地质灾害勘探影像处理方法及系统 | |
| JP2004198530A (ja) | 地図更新システム、地図更新方法及びコンピュータプログラム | |
| JP6146731B2 (ja) | 座標補正装置、座標補正プログラム、及び座標補正方法 | |
| JP3380457B2 (ja) | 地理画像上の影成分の除去方法及び地理画像処理装置、記録媒体 | |
| JP4088386B2 (ja) | 地図情報更新方法 | |
| Potuckova | Image matching and its applications in photogrammetry | |
| Johnston et al. | Estimating building floor plans from exterior using laser scanners | |
| Potůková | Image matching and its applications in photogrammetry | |
| Dowman et al. | Extraction of polygonal features from satellite images for automatic registration: The ARCHANGEL project | |
| CN116704138B (zh) | 倾斜摄影三维模型的建立方法及装置 | |
| WO2024018642A1 (ja) | 建屋内構造物認識システム及び建屋内構造物認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060223 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140303 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |