JP5396585B2 - 地物特定方法 - Google Patents

Description

本発明は、地物を撮影して得られた画像に基づいて、撮影された地物を地図上で特定する技術に関する。

電子地図データはカーナビゲーションなど種々の分野で活用されている。近年では、ユーザが直感的に把握しやすい地図を提供するため、建物などの地物を３次元モデルによるコンピュータグラフィックスで表した３次元地図なども提供されつつある。

３次元モデルを生成するための方法として、車載のビデオカメラで撮影した映像を活用する方法が提案されている。例えば、特許文献１および特許文献２は、車両に搭載した２台のライン画像撮像装置によって同じ景観を撮影したライン画像を解析することによって、移動経路から被撮像物体までの距離と高さとを計算する技術を開示している。
これらの技術では、カメラを設置した車両で、走行しながら建造物を撮影する。カメラは、車両の真横に位置する建造物が画角内に入るように斜め前、斜め後ろに向けて２台設置されている。この状態で移動しながら撮影すると、同一の建物を複数の地点で撮影することになる。従って、三角測量と同じ原理によって、建物までの距離等を算出することができるのである。

特開平３−１６７６７８号公報 特開２００６−１９５７５８号公報

特開２００２−２３７３２２号公報

しかし、従来技術では、撮影地点と建物の相対的な位置関係は分かるものの、現実に建物の絶対座標を特定することは困難であった。移動しながら撮影している車両の撮影地点、車両から建物までの相対的な距離などにそれぞれ誤差が含まれるからである。
従って、撮影した画像をもとに３次元モデルを生成したとしても、生成対象となった建物を、２次元の地図上で特定することは、容易ではなかった。
本発明は、かかる課題に鑑み、撮影された画像内の建物その他の地物を地図データ上で特定可能とすることを目的とする。

本発明は、地物を撮影して得られた画像に基づいて、撮影された地物をコンピュータによって特定する地物特定方法として構成することができる。
本発明では、コンピュータは、まず、地物を撮影した画像を表す画像データと、撮影を行った撮影地点を表す撮影地点情報とを入力する。
撮影地点情報は、後述する地図データを実効的な範囲で参照できる程度に、撮影を行った地点を限定できる情報であればよい。例えば、緯度経度などの座標情報としてもよいし、街区などの住所情報、撮影を行った道路名などとしてもよい。緯度経度などの座標情報は、例えば、ＧＰＳ（Global Positioning System）やジャイロ等を用いて検出することができる。

コンピュータは、画像内で特定される地物の代表点と撮影地点との間の撮影距離を求める。処理対象となる地物は、例えば、オペレータが指定するものとしてもよいし、画像の中央付近に写っている地物や、最大面積の地物など、所定の規則に基づいて自動的に設定するものとしてもよい。撮影距離は、後述するように算出するものとしてもよいし、例えば、レーザー測距装置などで計測してもよい。

次に、コンピュータは、地図データを参照して処理対象となっている候補地物を抽出する。候補地物は、撮影地点付近において撮影が可能な地点と地図データ内に存在する地物との距離が撮影距離に適合するものを抽出する。
候補地物の抽出は、例えば、次の手順で行うことができる。
まず撮影地点から撮影距離だけ離れた被写地点を求め、この被写地点を含む地物を特定する。撮影されているのは地物の表面であるから、被写地点が地物の内部に存在することはあり得ない。従って、地物の内部に被写地点が存在する場合には、撮影地点に誤差があるものとして、被写地点が地物の表面に一致するよう撮影地点を修正する。
次に、修正後の撮影地点が撮影可能な地点か否かを判断する。例えば、車両に搭載したカメラで地物を撮影している場合には、修正後の撮影地点が、車両が走行可能な位置となっているか否かを判断すればよい。この判断時には、地図データに基づいて、修正後の撮影地点から地物を見通すことができるか否かを考慮してもよい。修正後の撮影地点が、撮影可能な地点となっている場合には、その地物が候補地物として抽出される。
抽出された候補地物の周辺に存在する地物についても同様に、その地物の表面から撮影距離だけ離れた撮影地点を求め、撮影可能な地点か否かを判断することで、候補地物に追加してもよい。撮影地点に誤差が含まれている場合には、最初に特定された候補地物が正しいとは限らないからである。

本発明によれば、このように撮影地点と地物との間の距離に基づいて地図データを参照することにより、被写体となっている候補地物を抽出することができる。従って、撮影された画像内の地物を地図データ上で比較的容易に特定可能である。候補地物が一つだけに絞り込まれている場合には、その地物を被写体として特定すればよい。複数の候補地物が抽出されている場合には、オペレータがその中から選択するようにしてもよいし、後述する更なる絞り込みをかけるようにしてもよい。

本発明によれば、撮影された画像内の地物を地図データ上で特定可能となるため、画像を種々の用途に活用することが可能となる利点がある。
例えば、画像に基づいて地物の３次元モデルを生成した場合、生成された３次元モデルを２次元地図データと関連づけることによって、容易に絶対座標を特定することが可能となるため、３次元の地図データを比較的容易に生成することができるようになる。また、撮影した画像から地物の表面に相当する部分を切り出し、生成済みの３次元モデルに貼り付けるためのテクスチャを生成してもよい。更に、車両で撮影した画像内で目的地となる建物を指示することにより、経路探索の目的地を容易に指定可能としてもよい。

複数の候補地物が抽出された場合の絞り込みは、例えば、次の方法で行うことができる。
コンピュータは、候補地物のうち、地物の画像において設定される複数の代表点間の実距離を求める。実距離とは、画像内の代表点間の距離を、画角等に基づいて現実の距離に換算したものを言う。コンピュータは、この実距離に適合する地物を候補として絞り込むことができる。
こうすることによって、地物自体の寸法を考慮して、地物の候補を絞り込むことができる。代表点は任意に設定可能である。例えば、オペレータが指定してもよいし、画像処理によって特徴点を抽出してもよい。

画像が道路を移動しながら、移動の方向に直交する向きに撮影されたものである場合には、複数の代表点間の実距離は、移動の方向に沿う成分を有することが好ましい。これは、代表点間を結ぶベクトルが、移動方向の成分を含むことを意味する。
このように代表点を設定することによって、移動方向に直交する方向では撮影距離に基づいて地物候補を絞り込み、移動方向に沿う方向では実距離に基づき地物自体の寸法を考慮した絞り込みを行うことができる。２方向の距離で絞り込むことにより、効果的な絞り込みが可能となる利点がある。

代表点間の実距離による絞り込みは、地物の寸法に基づく絞り込みである。従って、その実効性をあげるために、実距離を求めるための代表点は、移動の方向における地物の両端を含めることが好ましい。
この場合には、被写体の地物表面における代表点の位置が限定されるため、候補地物を精度良く絞り込むことが可能となる利点がある。

本発明において、撮影地点から地物までの距離は、先に説明した測距による方法の他、次に示す手順で撮影された画像から算出するようにしてもよい。
この方法では、コンピュータは、複数地点で同一の地物を撮影した画像について、画像データ、撮影地点情報、および該撮影を行う際の撮影条件を入力しておく。例えば、移動しながら撮影した動画を構成する複数のフレーム画像を用いることができる。この方法では、撮影地点情報は、複数の地点間の距離を特定可能な情報とする。撮影条件としては、撮影時のカメラの方向、画角が含まれる。
これらのデータが得られている場合には、コンピュータは、複数の画像データ、撮影地点情報および撮影条件に基づいて、撮影距離を解析することができる。撮影地点情報に基づき複数地点間の移動距離が求まるから、画像データ内で被写体の地物が特定されると、撮影条件を考慮することにより、三角測量と同じ原理によって地物までの撮影距離を解析することができるのである。

本発明は、上述の特徴を必ずしも全て備えている必要はなく、適宜、これらの一部を省略してもよいし、これらの特徴を組み合わせて用いても良い。
本発明は、上述した地物特定方法の他、かかる方法を実現する地物特定装置として構成してもよい。また、地物特定方法をコンピュータによって実現するためのコンピュータプログラムとして構成してもよい。
更に、これらのコンピュータまたは経路案内データベースを記録するコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。

本発明の実施例について以下の順序で説明する。
Ａ．処理概要：
Ｂ．装置構成：
Ｃ．撮影位置の特定：
Ｄ．建物特定処理：

Ａ．処理概要：
図１は本実施例における処理概要を示す説明図である。
本実施例では、車両で道路を走行しながら、搭載したビデオカメラで街中の画像を撮影する。左側に撮影したビデオ画像を構成するフレーム画像の例を示した。画像内の２次元座標をｕ，ｖとする。
このフレーム画像内で、オペレータが特定の建物上の一点を指定した場合を考える。図中の例では、座標点（Ｕｐ、Ｖｐ）の点Ｐが指定されている。

図の右上には、２次元の地図データを示した。点ＣＰが撮影を行った地点である。破線ＳＡは、カメラの画角を表している。撮影した画像の幅と、点Ｐの位置を表すｕ０座標との比が分かれば、撮影地点ＣＰから点Ｐに至る方向Ａが分かる。従って、撮影地点ＣＰから点Ｐまでの距離が分かれば、オペレータが指示した建物ＢＬＤを２次元地図データ上で特定することができる。

図の右下には、３次元モデルによる画像例を示した。３次元モデルは、２次元地図データと関連づけられており、それぞれの建物に対して３次元表示するためのモデルを設定したデータベースである。
２次元地図データによって、点Ｐが建物ＢＬＤを指示していることが分かれば、３次元モデルにおいても、建物ＢＬＤ上に点Ｐを表示することが可能となる。

図中の例では、建物ＢＬＤの３次元モデルと、左側の画像内の点Ｐの建物とは形状が異なっている。３次元モデルにおいて点Ｐが建物ＢＬＤを指示していることが特定できれば、撮影されたフレーム画像を活用して３次元モデルの形状を修正することが可能となる。
また、フレーム画像から建物の表面画像を切り出して、３次元モデルの建物ＢＬＤの表面にテクスチャとして貼り付けることも可能となる。

このように、画面内で建物が指定された場合に、２次元地図データおよび３次元モデルにおいて、どの建物が指示されたのかを特定することによって、フレーム画像の情報を有効活用することが可能となる。図１の例では、点Ｐをオペレータが指定するものとして説明したが、画像内の特徴点の抽出などの画像処理によって特徴点Ｐを特定する場合も同様である。
本実施例では、このようにビデオカメラで撮影された画像内の建物を、２次元地図データおよび３次元モデル内で特定するための建物特定システムおよび建物特定処理を開示する。
本実施例では、建物を特定する場合を例示するが、本実施例で開示する方法は、建物に限らず、橋や高速道路、崖など２次元地図データ上で輪郭形状を明確に認識可能な人工および自然の地物に適用可能である。

Ｂ．装置構成：
図２は実施例としての建物特定システムの構成を示す説明図である。このシステムは、画像を撮影するための画像データ取得装置１００と、その処理をして撮影された画像内の建物を特定するための建物特定装置２００から構成されている。
本実施例では、両者を別体の構成としたが、単一の装置として構成してもよい。また、建物特定装置２００を多数の装置からなる分散処理システムとして構成してもよい。

実施例の画像データ取得装置１００は、車両上に種々の装置を搭載して構成されている。車両には、側方画像を撮影するためのビデオカメラ１２２が搭載されている。ビデオカメラ１２２は、車両の前後方向の対称軸に対してほぼ直角の姿勢角を保持可能な状態で固定されている。姿勢角は一定の状態が保持可能であれば、斜め前または斜め後ろ方向でも構わない。
広範囲・高精細の画像を効率的に取得するため、ビデオカメラ１２２は、ハイビジョンの広角カメラを利用することが好ましい。

車両には、取得されたデータをディジタルの画像データとして保存するためのハードディスク１１４およびこの保存等を制御するための制御部１１０が用意されている。制御部１１０は、例えば、汎用のコンピュータに、画像データ等を取得・管理するためのコンピュータプログラムをインストールすることで構成可能である。ハードディスク１１４には、ビデオカメラ１２２の姿勢、画角などの撮影条件も記録されている。

ＧＰＳ（Global Positioning System）１０２は撮影時の車両の位置情報（以下、「撮影位置」と称する）、即ち緯度経度を周期的に検出し、検出時刻と共に出力する。このデータは、画像データと併せて種々のハードディスク１１４に記録される。
もっとも、後述する通り、ＧＰＳ１０２の出力は、撮影位置の解析に必須のデータではないため、ＧＰＳ１０２を省略することも可能である。
車速センサ１０４は、車両が一定距離移動する度に車速パルスと呼ばれる信号を出力する。
本実施例では、撮影位置の精度を向上させるため、撮影中に基準位置、即ち緯度経度が既知の位置を通過した時点で、通過した時刻および基準位置の情報を記録するものとした。基準位置としては、例えば、既知の交差点の横断歩道などとすることができる。
車速パルスおよび基準位置パルスも、画像データと併せてハードディスク１１４に記録される。以下、これらのデータを「撮影データ」と総称することもある。

車両には、オペレータの指示に従って、この記録を行うため、基準位置入力部１１２が設けられている。基準位置入力部１１２は、制御部１１０と同様、汎用のコンピュータに、基準位置入力機能を実現するためのコンピュータプログラムをインストールすることで構成可能である。
本実施例では、ディスプレイ上に表示された地図１１２ｄにおいて、オペレータが記録すべき基準位置をマウス等でクリックすると、クリックされた時刻および基準位置の情報が記録される構成とした。地図表示に必要となる地図データは、ハードディスク１１４、やＣＤ−ＲＯＭなどの記録媒体に予め記録しておくようにしてもよいし、無線のネットワークを介して外部サーバから取得するようにしてもよい。
基準位置情報の入力は、上述の方法に限らず、緯度経度などの情報をキーボード等から直接入力するようにしてもよいし、記録すべき基準位置が予め設定されている場合には、それぞれの基準位置に対応づけられたコードを入力してもよい。更には、撮影時には基準位置情報の入力を省略し、単に通過時刻のみを入力するようにしてもよい。

本実施例では、制御部１１０および基準位置入力部１１２を、コンピュータプログラムのインストールによってソフトウェア的に実現するものとしたが、これらは専用の回路によってハードウェア的に構成することも可能である。

次に、建物特定装置２００の構成について説明する。
建物特定装置２００は、汎用のコンピュータに、画像データ処理用のコンピュータプログラムをインストールして構成されている。
上述のコンピュータプログラムのインストールにより、建物特定装置２００には、図示する種々の機能ブロックが構成される。もっとも、これらの機能ブロックの少なくとも一部は、ＡＳＩＣなどによってハードウェア的に構成することも可能である。

データ入力部２０６は画像データ取得装置１００で生成された画像データを入力する。画像データと併せてＧＰＳ１０２で検出された緯度経度、車速パルスおよび基準位置情報も入力する。
画像データ取得装置１００から建物特定装置２００へのデータの転送は、リムーバブルハードディスク１１４ａを用いるものとした。かかる方法に限らず、ＤＶＤその他の記録媒体を用いても良いし、ネットワーク経由で転送するようにしてもよい。

コマンド入力部２０２は、オペレータによるマウスやキーボードの操作を介して、軌跡設定部２０４等に必要なコマンドを入力する。オペレータから入力されるコマンドは、適宜、軌跡設定部２０４以外の機能ブロックにも受け渡されるが、図の煩雑化を避けるため、図中では軌跡設定部２０４に受け渡す様子のみを示した。

軌跡設定部２０４は、ＧＰＳ１０２で検出された緯度経度に基づいて撮影時の軌跡を設定する。ＧＰＳ１０２の出力には、位置誤差が含まれる。従って、本実施例では、ネットワークデータベース２２０および車速パルスの出力を利用して位置誤差を修正するものとした。
先に説明した通り、本実施例では、撮影時に、基準位置情報および車速パルスも併せて記録されている。車速パルスは、車両が一定距離移動する度に出力される信号であるため、車両の移動距離を表す信号となる。
基準位置情報は、予め既知の基準位置を通過した時刻を表す情報である。これらの情報を考慮すれば、基準位置からの経過時間と移動距離との関係を特定することができる。この処理については、後述する。
従って、この移動距離に適合するように、ＧＰＳ１０２で出力された緯度経度を修正することによって位置精度を向上させることができる。こうして設定された各時刻における位置情報はフレーム画像抽出部２０８に受け渡される。

フレーム画像抽出部２０８は、画像データから各フレーム画像を抽出し、その撮影時刻に対応する位置情報を対応づける。
ステレオマッチング部２１０は、同一の建物を写した複数のフレーム画像が撮影された位置情報に基づいてステレオマッチングによって、撮影位置から建物までの距離（以下、「撮影距離」と称する）を算出する。
画像内に多数の建物が写っている場合には、処理対象となる建物をオペレータが指示する。オペレータの指示に代えて、画像の中央付近に写っている建物や、画像内で最大面積の建物などの条件に従って、処理対象となる建物を自動的に設定するようにしてもよい。
ステレオマッチングによる距離の算出方法については後述する。
こうして算出された撮影距離は候補建物抽出部２１２、候補建物絞込部２１４にそれぞれ受け渡される。

候補建物抽出部２１２は、フレーム画像を撮影位置および撮影距離に基づいて、地図データベース２３０を参照しながら、撮影された地物の候補を抽出する。
この処理で用いられる地図データベース２３０には、２次元地図データ２３１、３次元モデル２３２が格納されている。２次元地図データ２３１は、図１の右上に示したように、２次元平面内で各地物の形状および位置を表した地図データである。３次元モデルは、図１の右下に示したように、建物を３次元的に表示するためのモデルである。本実施例では、３次元モデルは、２次元地図データ２３１と関連づけられているものとして説明する。
候補建物の抽出時には、２次元地図データ２３１を参照する。候補を抽出するための処理については、後述する。

候補建物絞込部２１４は、２次元地図データ２３１を参照して、候補建物抽出部２１２によって抽出された候補の絞込みを行う。本実施例では、撮影された建物の画像内で指定された２点間の距離を実寸に換算することによって、建物上で指定された２点間の実距離を求める。そして、この実距離に見合う寸法を有する建物を候補建物として絞り込むのである。絞込みの方法については後述する。

こうして候補建物抽出部２１２および候補建物絞込部２１４の作用によって、画像に撮影された建物を２次元地図データ２３１上で特定することができる。２次元地図データ２３１と３次元モデル２３２とは関連づけられているから、併せて３次元モデルも特定することができる。
２次元地図データ２３１に基づいて特定された建物の絶対座標を取得し、この絶対座標に対応する３次元モデル２３２を選択するようにすれば、２次元地図データ２３１と３次元モデル２３２が関連づけられていない場合でも、３次元モデル２３２の特定は可能である。

テクスチャ取得部２１６は、フレーム画像抽出部２０８から、フレーム画像を取得し、特定された３次元モデル２３２の表面に貼り付ける。こうすることによって、撮影された画像を活かした３次元モデルを生成することができる。
テクスチャ取得部２１６の機能は、フレーム画像を活用する一例にすぎず、建物特定装置２００に必須の機能ではない。
フレーム画像を活用するために、他の機能ブロックを設けても良い。例えば、図１に示したように、３次元モデルの形状が不完全な場合には、フレーム画像に適合するように３次元モデルを修正させるようにしてもよい。

Ｃ．撮影位置の特定：
図３は撮影位置の特定方法を示す説明図である。ビデオカメラ１２２で撮影された動画像を構成するフレームデータ、および車速パルス、基準位置パルスの関係を示した。図の上方のデータ群Ｔには、これらの各種データを時間基準で配置した状態を示した。

データ群Ｔに示す通り、フレームデータＦｒ１〜Ｆｒ１０は、一定の時間間隔で取得されている。本実施例では３０Ｈｚとした。
フレームデータは、任意の時刻に撮影された静止画の集合を用いることもできる。この場合、時間間隔は不定であっても良い。

車速パルスＰ１〜Ｐ６は、車両が一定距離移動するたびに取得される。本実施例では、約０．３９ｍ移動するごとに取得されている。
データ群Ｔは時間基準で並べたものであるため、車速パルスの間隔は車両の移動速度に応じて変化する。例えば、パルスＰ１、Ｐ２の間が狭いのは移動速度が比較的高かいからである。逆に、パルスＰ２、Ｐ３の間が広いのは移動速度が遅いからである。

基準位置パルスは、車両が横断歩道などの予め規定された基準位置を通過した時点で取得される。基準位置パルスは、車両がある程度の距離を移動した時点で取得されるものであるため、フレームデータおよび車速パルスに比較して、取得の頻度は低い。また、基準位置パルスは、撮影位置解析処理の精度を向上させるために初期位置として用いられるものであるため、このように低い頻度であっても支障はない。

下方のデータ群Ｒには、データ群Ｔに示した各データを撮影時の移動距離基準で並べた状態を示した。移動距離基準であるため、図示する通り、車速パルスＰ１〜Ｐ６が等間隔で並べられることになる。フレームデータＦｒ１〜Ｆｒ８は、それぞれの車速パルス間では車両が等速で移動しているという仮定の下で並べられる。この結果、例えば、フレームデータＦｒ２は、次の規則の下で並べられることになる。
ｔ１：ｔ２＝ｒ１：ｒ２；
ｔ１…データ群Ｔにおける車速パルスＰ１とフレームＦｒ２との間の時間；
ｔ２…データ群Ｔにおける車速パルスＰ２とフレームＦｒ２との間の時間；
ｒ１…データ群Ｒにおける車速パルスＰ１とフレームＦｒ２との間の距離；
ｒ２…データ群Ｒにおける車速パルスＰ２とフレームＦｒ２との間の距離；
他の各フレームデータおよび基準位置パルスも同様である。
こうすることにより、データ群Ｒに示すように、各フレームデータを撮影時の軌跡に沿って配置すること、即ち軌跡に沿う方向の位置を特定することが可能となる。

データ群Ｒにおいて、基準位置パルスがフレームデータＦｒ４に対応しているとする。基準位置パルスは既知の地点を通過した時点を示す信号であるから、基準位置パルスに対応する位置情報を取得することによって、フレームデータＦｒ４の撮影位置を特定することができる。
また、本実施例では、撮影位置はＧＰＳ１０２でも取得されているため、その誤差範囲内で、各フレームデータＦｒ１〜Ｆｒ１０の位置は特定されており、概ねの走行軌跡は既知である。
従って、ＧＰＳ１０２によって得られた走行軌跡に沿って、フレームデータＦｒ４を基準位置として、各フレームデータをデータ群Ｒで得られる移動距離に対応した位置に配置することによって、各フレームの撮影位置を、より精度良く特定することができる。

フレームデータの配置は、図示した方法に依らず、種々の方法を採ることができる。例えば、車速パルスに比較してフレームデータが十分に高い頻度で取得されている場合には、これらのフレームデータから、車速パルスと同期しているもののみを抽出するようにしてもよい。こうすることにより、等距離間隔で取得されたフレームデータ群を生成することが可能となる。車速パルスと同期しているフレームデータを抽出する場合、撮影位置の解析に要求される精度を考慮し、両者の時刻間に所定範囲内の誤差を許容してもよい。

Ｄ．建物特定処理：
図４は建物特定処理のフローチャートである。建物特定装置２００のＣＰＵが実行する処理である。
処理を開始すると、ＣＰＵはフレーム画像および位置情報を入力する（ステップＳ１０）。併せてビデオカメラ１２２の姿勢、画角などの情報も、この段階で入力してもよい。
そして、ＣＰＵは、建物の特徴点（図１の点Ｐ参照）の指定を受け付ける（ステップＳ１２）。本実施例では、フレーム画像を表示し、オペレータが、マウス等のポインティングデバイスを用いて画面内で特徴点を指示するものとした。特徴点は建物内部の点であれば任意に指定可能である。
オペレータによる指示に代えて、ＣＰＵがエッジ抽出などの画像処理によって特徴点を抽出するようにしてもよい。
次に、ＣＰＵはステレオマッチング処理によって撮影距離を算出する（ステップＳ１４）。

図５は撮影距離の算出方法を示す説明図である。図の上方には２次元地図の一部を拡大して示した。図示する通り、建物ＢＬＤ１〜ＢＬＤ３が建っている道路上を点Ｐ１から点Ｐ２に移動しながら面像を撮影したとする。建物ＢＬＤ１〜ＢＬＤ３の位置座標（緯度、経度）は既知である。

点Ｐ１において実線で示す画角Ａ１で建物を撮影した場合を考える。
図の下方に示す通り、この時点でのフレーム画像ＰＩＣ１には、建物ＢＬＤ１、ＢＬＤ２が撮影される。点Ｐ２に移動すると、破線で示す画角で建物が撮影される。点Ｐ１、Ｐ２でそれぞれ撮影されたフレーム画像を比較すると、建物ＢＬＤ１のコーナーＣＮＲの位置が相対的に移動する。

このフレーム画像ＰＩＣ１および点Ｐ２でのフレーム画像において、オペレータがエッジＥＤＧ１上の点を特徴点Ｐとして指定した場合を考える。特徴点は２次元地図上では、コーナーＣＮＲが指定されたことになる。
点Ｐ１とコーナーＣＮＲを結ぶ線と画角の端線とのなす角度を角度Ａ２とすると、点Ｐ１の時点では、コーナーＣＮＲに対応するエッジＥＤＧ１はフレーム画像ＰＩＣ１の幅ＳＣをＡ２／Ａ１で内分した点に写る。
点Ｐ２の時点では、角度Ａ２が大きくなるため、エッジＥＤＧ１の位置はフレーム画像内で図中右方向に移動する。この移動距離をＭＢとする。
点Ｐ１から点Ｐ２までの移動距離ＭＡは既知である。移動距離ＭＡは、点Ｐ１、点Ｐ２の位置座標から算出してもよいし、図３に示した通り車速パルスによって得られたフレーム間の距離を用いても良い。
こうして移動距離ＭＡ、ＭＢおよび画角Ａ１が求まると、これらの値に基づき、幾何学的に撮影位置からコーナーＣＮＲまでの撮影距離ＤＩＳＴを決定することができる。

本実施例では、後述する候補建物の絞込に使用するため、フレーム画像内で特徴点を２点指定するものとした。特徴点は、任意に指定可能であるが、車両の走行方向に位置が異なる点を指定することが好ましい。以下の説明では、建物ＢＬＤ１の他方のエッジＥＤＧ２上の点を２つめの特徴点として指定したものとする。
エッジＥＤＧ１に対して行ったのと同様の処理は、建物ＢＬＤ１の他方のエッジＥＤＧ２に対しても行うことができる。
また、距離ＤＩＳＴが求まれば、画角Ａ１に基づき、エッジＥＤＧ１、ＥＤＧ２間の実際の距離、即ち建物ＢＬＤ１の幅を特定することができる。

図４に戻り、建物特定処理について再び説明する。
ステレオマッチング処理（ステップＳ１４）によって撮影距離が求まると、ＣＰＵは位置情報に基づき候補建物を抽出する（ステップＳ１６）。まず、ＣＰＵは、処理対象となっているフレーム画像の位置情報から、撮影距離だけずれた地点（以下、「被写地点」と呼ぶ）を求める。そして、被写地点が含まれる建物を主候補建物として抽出する。
本実施例では、撮影の位置情報には誤差が含まれている。従って、上述の主候補建物に対して進行方向に隣接する数個の建物も候補建物として抽出する。周辺の建物を抽出する範囲は、撮影の位置情報に含まれる誤差範囲を考慮して設定すればよい。本実施例では、図３に示した通り、車速パルスを活用して位置情報の修正を行っているため、比較的、位置情報の精度は高い。従って、候補建物は、主候補建物に隣接するもののみを抽出した。位置情報の精度が低い場合には、主候補建物に対して、車両の進行方向および逆方向に数個ずつ隣接する建物を抽出するようにしてもよい。
こうして抽出された候補建物は、候補建物データに格納される。

ＣＰＵは、これらの候補建物に基づき位置情報を修正する（ステップＳ１８）。そして、修正後の位置情報が不適切となる候補建物を除外する（ステップＳ２０）。これは、図２における候補建物抽出部２１２の機能に相当する処理である。
ステップＳ１８、Ｓ２０の処理内容について、具体例を示しながら説明する。

図６は本実施例における処理例を示す説明図である。
道路ＲＤを走行しながら撮影した画像に基づくステレオマッチング処理によって、撮影距離ＤＩＳＴが得られているとする。
フレーム画像の撮影位置が、点Ｃ２１であるとすると、この点から撮影距離ＤＩＳＴだけ離れた点Ｐ２が被写位置となる。そして、被写位置Ｐ２を含む建物Ｂ２が主候補建物として抽出される。
また、主候補建物の両側に隣接する建物Ｂ１、Ｂ３がそれぞれ候補建物として抽出される。

指定された特徴点が候補建物Ｂ１、Ｂ３上にあるとすると、フレーム画像の撮影位置には点Ｃ２１に対して、進行方向に誤差があることになる。候補建物Ｂ１が撮影されているのだとすれば、撮影位置は、点Ｃ２１を進行方向に移動させた点Ｃ１１となる。候補建物Ｂ３が撮影されているのだとすれば、撮影位置は点Ｃ３１となる。
点Ｃ１１、Ｃ３１が撮影位置であるとすれば、そこから撮影距離ＤＩＳＴだけ離れた点Ｐ１、Ｐ３がそれぞれ被写位置になると考えられる。

図４のステップＳ１８では、このようにして各候補建物Ｂ１〜Ｂ３に対して、撮影位置Ｃ１１、Ｃ２１、Ｃ３１および被写位置Ｐ１、Ｐ２、Ｐ３を定めた上で、撮影位置および被写位置を修正する。
つまり、特徴点はフレーム画像に撮影された候補建物Ｂ１〜Ｂ３の表面の点であるから、被写位置は候補建物Ｂ１〜Ｂ３の道路ＲＤ側の面上に位置するはずである。かかる状態が実現されるよう、被写位置Ｐ１〜Ｐ３を道路ＲＤに交差する方向に移動させるのである。この修正後も撮影距離ＤＩＳＴは維持されるはずであるから、撮影位置Ｃ１１、Ｃ２１、Ｃ３１も同様に移動させる。
例えば、候補建物Ｂ１については、ベクトルＶ１１で示すように被写位置Ｐ１を点Ｑ１に移動させる。そして、ベクトルＶ１１を撮影位置Ｃ１１に適用することによって（図中のベクトルＶ１２）、撮影位置Ｃ１２を得る。
同様にして候補建物Ｂ２については、ベクトルＶ２１で示すように被写位置Ｐ２を点Ｑ２に移動させる。そして、ベクトルＶ２１を撮影位置Ｃ２１に適用することによって（図中のベクトルＶ２２）、撮影位置Ｃ２２を得る。
候補建物Ｂ３については、ベクトルＶ３１で示すように被写位置Ｐ３を点Ｑ３に移動させる。そして、ベクトルＶ３１を撮影位置Ｃ３１に適用することによって（図中のベクトルＶ３２）、撮影位置Ｃ３２を得る。

図４のステップＳ２０では、上述の修正後の撮影位置が不適切なものを候補建物から除外する。
図６の例では、撮影位置Ｃ１２は道路ＲＤから外れているため、不適切である。撮影位置Ｃ２１、Ｃ３１は道路ＲＤ上にあるため、不適切とは言えない。従って、候補建物Ｂ１は、候補から除外され、建物Ｂ２、Ｂ３が候補建物として抽出されることになる。
この例では、道路ＲＤからはみ出しているか否かで判断したが、撮影位置の適否の判断条件は種々の設定が可能である。例えば、撮影位置が道路ＲＤの反対車線に入るか否かという条件や、道路ＲＤの特定の車線からはみ出すか否かなどの条件、他の建物に邪魔されずに候補建物を見通すことができるか否かなどの条件を用いても良い。

図４に戻り、建物特定処理について引き続き説明する。
ステップＳ２０までの処理によって、候補建物が一つに絞り込まれている場合には（ステップＳ２２）、ＣＰＵは、抽出した結果を出力して（ステップＳ２６）、処理を終了する。
一つに絞り込まれていない場合には（ステップＳ２２）、ＣＰＵは、更に進行方向の整合性による絞込みを行い（ステップＳ２４）、候補建物を一つに絞り込んだ上で、結果を出力して（ステップＳ２６）、処理を終了する。

ステップＳ２４における絞込は、図２における候補建物絞込部２１４の機能に相当する処理である。この処理について、図６の処理例に基づいて説明する。
先に説明した通り、図６の処理例では、建物Ｂ２、Ｂ３が候補建物として抽出されている。
本実施例では、フレーム画像ＰＩＣ１内で特徴点が２点指定されており、ステレオマッチング処理によって２点間の距離が求められている（図５参照）。図６中に示す通り、この処理例では、フレーム画像ＰＩＣ１において建物の両端のエッジＥＤＧ１、ＥＤＧ２上の２点が指定されているものとし、その間の距離はＷ１と求められているとする。
ＣＰＵは、候補建物Ｂ２，Ｂ３の進行方向の幅Ｗ２、Ｗ３を、上述の距離Ｗ１と比較する。距離Ｗ１＝Ｗ３であるとすると、この比較によって、候補建物Ｂ３が指定された建物であると特定することができる。

図６の例では、建物の両端が特徴点として指定された場合を例示したが、上述の絞込みは、かかる場合に限らず適用可能である。
例えば、建物の両端以外の２点が特徴点として指定されたとする。この場合でも、指定された特徴点間の距離（図６中のＷ１に相当する距離）はステレオマッチングによって支障なく求めることができる。両端以外の点が指定されている場合には、候補建物Ｂ２、Ｂ３のうち、この距離以上の幅を有しているものを抽出すればよい。「Ｗ３＜特徴点間の距離≦Ｗ２」なる範囲にある場合には、候補建物Ｂ２が指定された建物であると特定することが可能である。

同様の絞込みは、特徴点が建物の高さ方向にのみ異なる２点で指定された場合にも適用可能である。例えば、図６中のエッジＥＤＧ１上で高さの異なる２点が特徴点として指定された場合である。ただし、この場合には、高さ方向に異なる２点間の距離をステレオマッチング処理で算出可能な情報、カメラの仰ぎ角などが得られている必要がある。また、２次元地図データにおいて各建物の高さが属性として記録されている必要がある。
これらの情報が得られている場合には、図６で説明したのと同じ手順で絞込みを行うことができる。つまり、フレーム画像に基づいて特徴点間の高さ方向の間隔を求めた上で、この間隔以上の高さを有している建物を抽出すればよい。

以上で説明した本実施例によれば、撮影した画像内の建物を、地図データ上で特定することができる。この結果、比較的軽い負荷で、画像を３Ｄモデルの生成、３Ｄモデル用のテクスチャ生成など、種々の用途に活用することができる。

（１） 実施例では、ステレオマッチングによって建物までの撮影距離を算出する例を示したが、特徴点を撮影時に指定し、レーザー測距装置などによって建物までの距離を実測するようにしてもよい。
（２） 実施例では、車速パルス等を用いて撮影位置を比較的精度良く解析する例を示した。図６に示したように、本実施例では、種々の条件を組み合わせて候補建物を抽出することができる。従って、撮影位置は、必ずしも厳密に解析されている必要はなく、撮影位置は、地図データを実効的な範囲で参照できる程度に、つまり図６で示した処理を許容される時間内で完了できる程度に撮影を行った地点を限定できる情報であればよい。

以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。

本実施例における処理概要を示す説明図である。 実施例としての建物特定システムの構成を示す説明図である。 撮影位置の特定方法を示す説明図である。 建物特定処理のフローチャートである。 撮影距離の算出方法を示す説明図である。 本実施例における処理例を示す説明図である。

符号の説明

１００…画像データ取得装置
１０２…ＧＰＳ
１０４…車速センサ
１１０…制御部
１１２…基準位置入力部
１１２ｄ…地図
１１４…ハードディスク
１１４ａ…リムーバブルハードディスク
１２２…ビデオカメラ
２００…建物特定装置
２０２…コマンド入力部
２０４…軌跡設定部
２０６…データ入力部
２０８…フレーム画像抽出部
２１０…ステレオマッチング部
２１２…候補建物抽出部
２１４…候補建物絞込部
２１６…テクスチャ取得部
２２０…ネットワークデータベース
２３０…地図データベース
２３１…２次元地図データ
２３２…３次元モデル

Claims (7)

1. 地物を撮影して得られた画像に基づいて、撮影された地物をコンピュータによって特定する地物特定方法であって、該コンピュータが実行する工程として、
   （ａ） 前記画像を表す画像データと、該撮影を行った撮影地点を表す撮影地点情報とを入力する工程と、
   （ｂ） 前記画像内で特定される前記地物の代表点と前記撮影地点との間の撮影距離を求める工程と、
   （ｃ） 地図データを参照して、前記撮影地点付近において撮影が可能な地点と、前記地図データ内に存在する地物との距離が、前記撮影距離に適合する地物を候補地物として抽出する工程とを備える地物特定方法。
2. 請求項１記載の地物特定方法であって、更に、
   （ｄ） 前記候補地物のうち、前記地物の画像において設定される複数の代表点間の実距離を求め、該実距離に適合する地物を候補として絞り込む工程を備える地物特定方法。
3. 請求項２記載の地物特定方法であって、
   前記画像は道路を移動しながら、該移動の方向に直交する向きに撮影されたものであり、
   前記複数の代表点間の実距離は、前記移動の方向に沿う成分を有する地物特定方法。
4. 請求項３記載の地物特定方法であって、
   前記代表点は、前記移動の方向における前記地物の両端を含む地物特定方法。
5. 請求項１〜４いずれか記載の地物特定方法であって、
   前記工程（ａ）は、複数地点で同一の地物を撮影した複数の画像について、画像データ、撮影地点情報、および該撮影を行う際の撮影条件を入力し、
   前記工程（ｂ）は、前記複数の画像データ、撮影地点情報および撮影条件に基づいて、前記撮影距離を解析する工程である地物特定方法。
6. 地物を撮影して得られた画像に基づいて撮影された地物を特定する地物特定装置であって、
   前記画像を表す画像データと、該撮影を行った撮影地点を表す撮影地点情報とを入力する入力部と、
   前記画像内で特定される前記地物の代表点と前記撮影地点との間の撮影距離を求める撮影距離取得部と、
   地図データを参照して、前記撮影地点付近において撮影が可能な地点と、前記地図データ内に存在する地物との距離が、前記撮影距離に適合する地物を候補地物として抽出する候補地物抽出部とを備える地物特定装置。
7. 地物を撮影して得られた画像に基づいて撮影された地物をコンピュータによって特定するためのコンピュータプログラムであって、
   前記画像を表す画像データと、該撮影を行った撮影地点を表す撮影地点情報とを入力する入力サブプログラムと、
   前記画像内で特定される前記地物の代表点と前記撮影地点との間の撮影距離を求める撮影距離取得サブプログラムと、
   地図データを参照して、前記撮影地点付近において撮影が可能な地点と、前記地図データ内に存在する地物との距離が、前記撮影距離に適合する地物を候補地物として抽出する候補地物抽出サブプログラムとを供えるコンピュータプログラム。

Images