WO2005038402A1 - ナビゲーション装置 - Google Patents

Abstract

　誤差数cmの範囲で移動体の現在位置を示すことができるナビゲーションシステムを提供する。　ナビゲーション装置１００は、車両等の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点の三次元座標を含む所定の三次元情報を予め生成する特徴点三次元地図生成装置１１０と、その所定の三次元情報を記録した記録媒体１２０と、移動体に備えられたカメラにより得られる現実の映像を、記録媒体１２０に記録された所定の三次元情報と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置，速度，加速度，視点方向，３軸回転姿勢，３軸回転速度，３軸回転加速度等の所定項目を出力，表示する地点検索ナビゲーション装置１３０とを備えている。

Description

明 細 書

ナビゲーシヨン装置

技術分野

[0001] 本発明は、車両や船舶，航空機等の移動体の進行方向や現在状況等をガイドする ためのナビゲーシヨン装置に関する。特に、本発明は、走行，航行する移動体の現 在位置を三次元の空間内に探索して、移動体の進行方向や車両姿勢等とともに三 次元地図上に表示することにより、移動する移動体の現在状況を高精度に出力，表 示することができるナビゲーシヨン装置に関する。

背景 S術

[0002] 一般に、車両等の移動をナビゲートするナビゲーシヨン装置としては、 GPS測地衛 星を利用したカーナビゲーシヨンシステムが知られている (例えば、特許文献 1—3参 照。）。 . '

GPSナビゲーシヨンシステムは、複数の測地衛星力も発せ れる時刻と位置データ を、車両に設置した受信装置で読み取り、各衛星からの電波到達時間の差から受信 地点の三次元座標を演算により求め、車両等の現在位置を表示するものである。こ のような GPSナビゲーシヨンシステムによれば、全地球的 等囲で受信地点の三次 元位置を計測すること力 きる。 '

[0003] ここで、 GP ナビゲーシヨンシス ムで得られる位置精度としては、従来は、電離層 における電波の反射や屈折等の影響があり、誤差が 50〜300メートルというところで

' めつ 7こ。 .

近年は、緯度'経度 '高度'^既知の点を利用して電波到達時間の誤差を計測し、そ れを修正信号として送信して受信地点の誤差を修正する方法が付加されるようになり 、誤差は十数メートル程度まで縮小されるようになった。

[0004] 特許文献 1 :特開平 11— 304513号

' 特許文献 2 :特開 2001— 255157号

特許文献 3：特開 2002— 357430号

発明の開示 発明が解決しょうとする課題

[0005] しかしながら、このように位置精度の誤差が数十メートルの範囲にある従来のナビゲ ーシヨンシステムでは、誤差が大きすぎて自動運転等には適用できなかった。例えば 、道路上で車両の自動運転を実現するためには、道路上の車両位置精度を数 cm程 度の誤差にまで高める必要があり、この精度は測量の精度に近く、従来のナビゲー シヨンシステムを利用する限り、いかなる方法であっても、数 cmの精度で、しかも、リア レタイムに連続的な位置計測をして、それを出力するようなことは不可能であった。 また、自動運転に限らず、例えば、自動車の車庫入れや、航空機の離着陸時、ロボ ットのナビゲーシヨンなどに用いる場合にも、数 cm程度の位置精度をリアルタイムに 取得することが必要であり、このようなナビゲーシヨンシステムは現在まで実現されて いない。 '

[0006] そこで、本願発明者は、鋭意研究の結果、移動体に搭載したカメラで撮影される動 画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で 特徴点を自動追跡し、多数の特徴点について重複演算してカメラ位置と回転角を高 . 精度に求めることができ、そのカメラ位置情報により、移動体の三次元位置座標を高 精度に表示し得ることに想到した。

[0007] すなわち、本発明は、従来の技術が有する問題を解決 るために提案されたもの であり、画像 理技術を用いて、移動体の移動経路について予め特徴点の三次元 座標を精度良く計測しておき、その三次元座標と、現実の移動体の移動時に撮影さ -れるカメラ映像を対比する とにより、移動体のカメラ位置を示す三次元座標を GPS ' システムより高精度に求め ことができ、誤差数 cmの範囲で移動体の現在位 を . 示すことができるナビゲーシヨン装置の提供を目的とする。

課題を解決するための手^

[0008] 上記目的を達成するため、本発明のナビゲーシヨン装置は、ナビゲーシヨン対象と なる移動体から観察される範囲における映像的な特徴点を三次元座標で記録した 記録媒体と、ナビゲーシヨン対象となる移動体に備えられたカメラにより得られる現実 の映像を、記録媒体を再生して得られる映像的な特徴点の三次元座標と比較し、現 · 実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラ の三次元座標上の位置、速度、加速度、視点方向、 3軸回転姿勢、 3軸回転速度、 3 軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の 項目を出力する地点検索ナビゲーシヨン装置とを備える構成としてある。

[0009] また、本発明のナビゲーシヨン装置は、記録媒体に記録される情報が、移動体から 観察される範囲における映像的な特徴点の種類とその三次元座標と、映像的な特徴 点を含む小領域の二次元画像の三次元配置とその三次元座標と、映像的な特徴点 を含む対象物の形状とその三次元座標と、映像的な特徴点以外の移動体の移動に ' 必要な周辺画像， CG等の形状と三次元座標と、移動体が移動する道路，車両走行 ' 路，又は予定航路等め画像， CGとその三次元形状及びその三次元座標とを含み、 これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれらの 属性情報を含んで、三次元地図とともに記録される構成としてある。.

[0010] また、本発明のナビゲーシヨン装置は、地点探索ナビゲーシヨン装置が、記録媒体 を再生する特徴点 3D地図再生部と、移動体の概略の現在位置を指定し、初期設定 時の探索範囲を限定する概略現在位置指定部と、記録媒体に記録された三次元地 図から、移動体の現在地周辺の複数の特徴点を読み出し、現在地の探索目標として 指定する現在地周辺特徴点指定部と、ナビゲーシヨン対象となる移動体に備えられ たカメラから当該移動体 與,の映像を取得するカメラ映像取得部と、カメラ映像取得 部で取得された映像を 録 る映像一時記録部と、映像一時記録部に記録された 映像内に、探索目標と同一物となるべき特徴点の候補を探し出す映像内特徴点探 索部と、映像内特徴点探索 ^部で得られた特徴点の候補と、現在地周辺の探索目標と を比較照合して同一物としての対応関係を求め、候補の中から所定数の対応点を決 .

J

定し、決定された対応点の三次元座標を記録媒体力 受け取る映像内特徴点対応 部と、決定された対応点とその三次元座標を用いて、移動体の現時点の状況を示す カメラ位置，方向，姿勢等の三次元データを演算により決定するカメラ座標演算部と 、カメラ座標演算部で決定された三次元データの組み合わせ又はそのすベてを、単 独で又は記録媒体に記録された地図、映像、属性等の情報とともに画面上に表示す る現在地点表示部とを備える構成としてある。

[0011] また、本発明のナビゲーシヨン装置は、記録媒体生成用の移動体に備えられたカメ ラにより得られる現実の映像に基づき、当該移動体力 観察される範囲における映像 的な特徴点を三次元座標で記録した、記録媒体に記録すべき情報を生成する特徴 点三次元地図生成装置を備える構成としてある。

[0012] また、本発明のナビゲーシヨン装置は、特徴点三次元地図生成装置が、記録媒体 生成用の移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映 像取得部と、カメラ映像取得部で取得された画像を記録する映像記録部と、映像記 憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部 と、特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡して フレーム画像間での対応関係を求める特徴点対応処理部と、特徴点対応処理部で 対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置 座標から各フレーム画像に対応したカメラベクトルを求める特徴点'カメラベクトル演 算部と、特徴点'カメラベクトル演算部において求められる各特徴点の三次元位置座 標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施し た特徴点の三次元座標とカメラべ外ルを自動的に決定する誤差最小化部と、誤差 最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を 含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーショ ン対象となる移動体の通路ととも 三次元地図として配歹 Iし.、'特徵点を含む対象物 等とともに記録媒体に言録する 3P地図生成記録部とを備える構成としてある。

[0013] また、本発明のナビゲーシヨン装置は、ナビゲーシヨン対象となる移動体に備えられ -たカメラにより得られる現実 映像に基づき、当該移動体から観察される範囲におけ る映像的な特徴点を三次元座標で生成するとともに、当該三次元座標からカメラベク トルを生成し、生成された三次元座標に基づいて三次元地図を生成しつつ、特 ^5：点 の三次元分布及び当該移動体に備えられたカメラの三次元座標上の位置、速度、 加速度、視点方向、 3軸回転姿勢、 3軸回転速度、 3軸回転加速度を含む所定項目 のうち、いずれか又はそれらを組み合わせた複数の項目を出力する特徴点三次元 地図生成表示装置を備える構成としてある。

[0014] そして、本発明の特徴点三次元地図生成表示装置は、移動体に備えられたカメラ から当該移動体の周囲画像を取得するカメラ映像取得部と、カメラ映像取得部で取 得された画像を記録する映像記録部と、映像記憶部に記録された画像データから、 所定数の特徴点を自動抽出する特徴点抽出部と、特徴点抽出部で抽出された特徴 点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求め る特徴点対応処理部と、特徴点対応処理部で対応関係が求められた特徴点の三次 元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応した カメラベクトルを求める特徴点-カメラベクトル演算部と、特徴点'カメラベクトル演算部 において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小にな るように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラべクト ' ルを自動的に決定する'誤差最小化部と、誤差最小化部で誤差の最小化処理が施さ れたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とそ の三次元座標及びその分布を、ナビゲーシヨン対象となる移動体の移動軌跡又は必 要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物等とと もに表示する 3D地図生成表示部とを備える構成としてある。

[0015] また、本発明のナビゲーシヨン装置は、特徴点'カメラベクトル演算部が、カメラベク トル及び特徴点の三次元座標演算に用レ、る任意の二つのフレーム画像 Fn及び Fn +ni (m=フレーム間隔）を単位画像として、所望の特徴点の三次元座標とカメラベク トルを求める単位演算を耨り翠し、二つのフレーム画像 Fn¾び Fn+mの間のフレー ム面像については、簡寿,化 tた演算によりカメラベクトル及び特徴点の三次元座標を 求め、誤差最小化部は、画像の進行とともに nが連続的に進行することにより、同一 特徴点にっレ、て複数回演等されて得られる各カメラベクトルと特徴点の三次元座標 の誤差が最小になるようにスケール調整して統合し、最終の三次元座標を決定する 構成としてある。 ' .

[0016] また、本発明の特徴点'カメラベクトル演算部は、フレーム間隔 mを、カメラから特徴 点までの距離に応じて、カメラ力も特徴点までの距離が大きいほど mが大きくなるよう に設定して単位演算を行う構成としてある。

[0017] また、本発明の特徴点'カメラベクトル演算部は、求められたカメラベクトル又は特 徴点の三次元座標の誤差の分布が大きレ、特徴点を削除し、必要が有れば他の特徴 点について再演算を行い、三次元座標演算の精度を上げる構成としてある。 [0018] また、本発明のナビゲーシヨン装置は、記録媒体と地点探索ナビゲーシヨン装置が 離間して備えられ、基地局又は他の移動体に備えられた記録媒体に記録された所 定の三次元情報が、通信回線を介して一又は二以上の地点探索ナビゲーシヨン装 置に送信される構成としてある。 ,

[0019] また、本発明のナビゲーシヨン装置は、地点探索ナビゲーシヨン装置が、 GPSによ つて得られた緯度経度高度データにより、概略現在位置指定部による移動体の概略 の現在位置を指定する構成としてある。

[0020] また、本発明の地点探索ナビゲーシヨン装置は、カメラ座標演算部で得られた現時 ' 点の移動体状況を示すカメラ位置，方向，姿勢等の三次元データを、緯度経度高度 に変換して GPSを捕正する補正信号として出力し、映像的特徴点が得られない場合 に GPSから位置データを得るための補助信号とする構成としてある。

[0021] そして、本発明のナビゲーシヨン装置は、ナビゲーシヨン対象となる移動体力 自動 車，航空機，船舶，人，ロボット，重機，宇宙船，深海探査船，移動部分を持つ機械 等である構成としてある。 ·

発明の効果

[0022] 以上のような本発明のナビゲーシヨン装置によれば、車両等の移動体に搭載された カメラで撮影される動画映像の複数のフレーム画像力ら充分な数の特徴点を自動検 出し、各フレーム間で特 t'点を自動追跡することにより、多数の特徴点について重複 演算して、カヌラベクトル (カメラ位置と回転角）と特徴点の三次元位置座標を高精度 に求めることができる。 ，

そして、得られた特徴点の三次元座標を予め記録媒体に格納し、その三次元座標 . を現実に移動する移動体力 撮影されたカメラ映像と対比することで、あるいは、カメ ラから得られた映像から、リアルタイムにカメラ位置の三次元座標を直接生成し、現在 . のカメラ位置を示す高精度な三次元情報を得ることができ、これによつて、移動体の ナビゲーシヨンシステムとして用いることができる。

' [0023] 具体的には、本発明のナビゲーシヨン装置では、車両等の移動体の現在地点座標 を GPSより高い精度でリアルタイムに取得するために、画像処理技術を用いて、画像 内の複数の特徴有る点に着目し、前もって特徴点の三次元座標を精度良く計測して おく。そして、その特徴点を三次元座標に記述した地図（3D地図）を記録媒体に格 納し、移動体側でその記録媒体を再生することで、特徴点の三次元座標を読み出す ことができる。さらに、移動体の現在地点で得られたカメラ画像から映像内の特徴点 を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知であ る特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算 により求めることで、カメラ位置を示す三次元座標、すなわち、現在の移動体の位置 を示す三次元座標を得ることができる。

また、記録媒体を備えず、移動体のカメラで取得した映像から、その場で特徴点を 自動抽出し、自動追跡'し、三次元地図と比較することなぐ直接三次元座標を取得し 、直接カメラ位置を求めることもできる。

[0024] これにより、走行する車両等の移動体の現在位置が、カメラ映像から直接的に、あ るいは、予め生成，記録された三次元地図によって正確に示されることになり、従来 の GPSシステムでは不可能であった、誤差範囲が数 cm程度の高精度なナビゲーシ ヨンシステムを実現することができる。

なお、記録媒体に記録しておくべき (又はリアルタイムで生成する）特徴点の三次元 座標を示す 3D地図を生成するには、予め、走行が予想される道路及ぴその周辺を 撮影し、記録し、それらの 像の に複数の特徴点を自動おるいは手動で抽出し、 それら特徴点を画像内 ネ复数点 *め、それらが動画像の各フレーム内で移動する軌 跡を追跡して、ェピポーラ幾何学により線形連立方程式を解くことで、各特徴点の三 次元地図を生成することが きる。 '

図面の簡単な説明

[0025] [図 1]本発明の第一実施形態に係るナビゲーシヨン装置の概略構成を示すプロック 図である。 '

[図 2]本発明の第一実施形態に係る特徴点三次元地図生成装置の概略構成を示す プ'ロック図である。

[図 3]本発明の第一実施形態に係る地点探索ナビゲーシヨン装置の概略構成を示す プロック図である。

. [図 4]本発明の第一実施形態に係るナビゲーシヨン装置における記録媒体に記録さ れた三次元座標とカメラ映像の対応関係を模式的に示す説明図である。

[図 5]本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的な カメラベクトルの検出方法を示す説明図である。.

[図 6]本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的な カメラベクトルの検出方法を示す説明図である。

[図 7]本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的な 力'メラベクトルの検出方法を示す説明図である。

[図 8]本発明の第一実施形態に係る特徴点三次元地図生成装置によるカメラべタト ' ルの検出方法におけ 望ましい特徴点の指定態様を示す説明図である。

[図 9]本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特徴 点の三次元座標とカメラベクトルの例を示すグラフである。

[図 10]本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特 徴点の三次元座標とカメラベクトルの例を示すグラフである。

[図 11]本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特 徴点の三次元座標とカメラベクトルの例を示すグラフである。

[図 12]本発明の第一実施形態に係る特徴点三次元地図生成装置において、カメラ カゝら特徴点の距離に応じて <複数 特徴点を設定し、複数'の.演算を繰り返し行う場合 を示す説明図である。 -

[013]本発明の第一実施形態に係るナビゲーシヨン装置に備えられる揺れ成分検出 部における揺れ成分検出 (^具体例を示す説明図である。

[図 14]本発明の第一実施形 ||に係る揺れ成分検出部で検出される揺れ成分に基づ. いて補正される安定化画像の一例を示す説明図である。

[図 15]本発明の第一実施形態に係る揺れ成分検出部で検出される揺れ成分に基づ いて捕正されるカメラベクトルの軌跡を示すグラフである。

[図 16]本発明の第一実施形態に係る特徴点三次元地図生成装置で求められたカメ ラベクトルの軌跡を生成された三次元地図中に表示した場合の図である。

[図 17]本発明の第一実施形態に係るナビゲーシヨン装置で生成，表示される三次元 形状 (三次元地図）の表示例を示す説明図である。 [図 18]本発明の第一実施形態に係る特徴点三次元地図生成装置における三次元 地図の生成方法を示す説明図である。

[図 19]本発明の第一実施形態に係る特徴点三次元地図生成装置における三次元 地図の更新方法を示す説明図である。 ' [図 20]本発明の第一実施形態に係る特徴点三次元地図生成装置で生成される三次 元地図の一例を示す図であり、（a)は三次元地図で表される道路の断面図であり、 ( b)は (a)に示す道路の三次元地図の一例で道路上空力 撮影した投影図であり、 (c )は (b)に示す三次元地図において三次元座標を取得するために使用されるォペレ ータ部品を示す図で る。

[図 21]図 20に示す道路の立体図であり、道路標識のオペレータ部品（CG部品）が合 成された図を示している。 ；

[図 22]図 21に示す CV映像中に手動により対象物の属性を取得し登録する場合を説 明する図であり、（a)は CV映像、（b) CV映像中に任意の点と直線を指定した状態、 (b)は指定された点と直線を登録することにより生成 '表示された三次元地図を示し ている。

[図 23]本発明の第一実施形態に係るナビゲーシヨン装置全体の動作の概要の一例 を示す説明図である。 . _Λ . s ノ

[図 24]本発明の第一実 开態に係るナビゲーシヨン装置全体の動作の概要の他の 一例を示す説明図である。

[図 25]本発明の第一実施^態に係るナビゲーシヨン装置全体の動作の概要の他の 一例を示す説明図である。 ■

[図 26]本発明の第一実施形'態に係るナビゲーシヨン装置全体の動作の概要の他の 一例を示す説明図である。 ' '

[図 27]本発明の第二.実施形態に係るナビゲーシヨン装置に付加されるオプション装 置の概略構成を示すブロック図である。

[図 28]本発明の第三実施形態に係るナビゲーシヨン装置の概略構成を示すプロック 図である。

[図 29]本発明の第三実施形態に係るナビゲーシヨン装置の他の実施形態の概略構 成を示すブロック図である。

[図 30]本発明の第四実施形態に係るナビゲーシヨン装置の概略構成を示すブロック 図である。

[図 31]本発明の第一〜第四実施形態に係るナビゲーシヨン装置を組み合わせた場 合の概略構成を示すブロック図である。

[図 32]本発明の第四実施形態におけるリアルタイムナビゲーシヨン方法により生成， 表示される特徴点の三次元座標と移動体の現在位置を示す説明図である。

[図 33]本発明の第四実施形態におけるリアルタイムナビゲーシヨン方法により生成， ' 表示される特徴点の兰次元座標と移動体の現在位置を示す説明図である。

[図 34]本発明の第四実施形態に係るナビゲーシヨン装置の具体的な構成を示すプロ ック図である。 ：

[図 35]本発明の第四実施形態に係るナビゲーシヨン装置における処理動作の内容を 示すブロック図である。

[図 36]本発明の第四実施形態に係るナビゲーシヨン装置を利用した具体例を模式的 に示す説明図である。

発明を実施するための最良の形態

以下、本発明に係るナビ ーシ,ヨン装置の好ましい実滅 態について、図面を参 照しつつ説明する。

-ここで、以下に示す本発明のナビゲーシヨン装置は、プログラム（ソフトウェア）の命 ,令によりコンピュータで実行される処理，手段，機能によって実現される。プログラム は、コンピュータの各構成要^に指令を送り、以下に示すような所定の処理や機能、 · 例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の 算出，カメラベクトルの演算等を'行わせる。このように、本発明のナビゲーシヨン装置 における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によつ て実現されるようになっている。

なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メ モリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体 力 読み出されたプログラムがコンピュータにインストールされて実行される。また、プ ログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実 行することもできる。

[0027] [第一実施形態]

まず、図 1〜図 26を参照して、本発明に係るナビゲーシヨン装置の第一実施形態 について説明する。

[基本構成]

図 1は、本発明の第一実施形態に係るナビゲーシヨン装置の概略構成を示すプロ ック図である。

同図に示す本実施 態に係るナビゲーシヨン装置 100は、特徴点三次元地図生 成装置 110と、記録媒体 120と、地点探索ナビゲーシヨン装置 130とを備えている。

[0028] 車両や航空機，船舶等の移動体の現在地点座標を GPSより高い精度でリアルタイ ムに取得できるようにするために、本実施形態では、画像処理技術を用いて、画像内 の複数の特徴有る点に着目し、特徴点三次元地図生成装置 110を使用して前もつ て特徴点の三次元座標を精度良く計測し、その特徴点を三次元座標に記述した地 図（3D地図）を生成する。生成した 3D地図は、例えば DVDやハードディスク， CDな

.どの記録媒体 120に記録する。

そして、本ナビグーシ ^ 置を烤用するナビゲー ヨン ¾ ^となる車両等の移動. 体側では、地点探索ナ ；ゲ一シヨン装置 130により、実際に移動する移動体に備えら

' れたカメラで得られた現在地点のカメラ画像から映像内の特徴点を抽出し、その特徴 点の方向と、記録媒体に予め記録された三次元座標が既知である特徴点の方向とを •

比較して、複数の特徴点の方向が一致する地点の座標を演算により求める。 . これによつて、移動体にィ M1られたカメラ位置を示す三次元座標、すなわち、現在 の移動体の位置を示す三次元座標を得ることができる。

. なお、本ナビゲーシヨン装置によってナビゲートされる移動体としては、例えば、自 動車，船舶，航空機，ロボット，移動する機械，移動する人等があり、また、その用途 等に応じて、重機 (重工業用機械)，深海探査船、移動部分を持つ機械、さらには宇 宙船等も含まれる。

[0029] 具体的には、ナビゲーシヨン対象となる移動体では、地点探索ナビゲーシヨン装置 130によって、記録媒体 120から読み出された複数の映像的な特徴点の三次元座 標を持つ画像を、走行車両や航空機等に取り付けたカメラから得られる映像内に探 索し、対応関係を求める。カメラから得られた二次元映像内に、記録媒体 120から得 られる三次元地図として記述された複数の特徴点との対応点を画像認識で求める。 次に、各対応点の方向が両者で一致する地点を、記録媒体中の三次元地図の中 に探索し、演算で求める。その位置がカメラの現在地点、すなわち、移動体の現在地 点となる。そして、記録媒体 120に記録された三次元地図中に、カメラを搭載した車 両の三次元的現在位置、速度、加速度、方向、回転速度、回転加速度、をリアルタイ ' ムで表示できることに ¾る。 ■

[0030] このようにして、本実施形態のナビゲーシヨン装置では、予め生成，記録された三次 元座標によって移動体の現在位置が正確に示されることになり、従来の GPSシステ ムでは不可能であった、誤差範囲が数 cm程度の高精度なナビゲーシヨンシステムを 実現することができる。

また、本実施形態では、特徴点の三次元座標を示す 3D地図を記録媒体に記録す ることで、量産し、酉己布できるようになる。これにより、本ナビゲーシヨン装置の利用者 は、その記録媒体を取得し、それを再生することで、特徴点の三次元座標を読み出 すことが可能となる。

記録媒体に記録して: fe べき特徴点の三次元座標を示す 3D地図を生成するには ,予め、 3D地図生成用車両等に搭載したカメラで走行が予想される道路及びその周 辺を撮影し、記録し、特徴 '三次元地図生成装置 110によって、それらの映像の中 に複数の特徴点を自動あるいは手動で抽出し、それら特徴点を面像内に複数点求 . め、それらが動画像の各フ^ーム内で移動する軌跡を追跡して、ェピポーラ幾何学 により線形連立方程式を解くことで、カメラ位置と各特徴点の三次元座標を示す三次 元地図（3D地図）を生成すること力できる。

[0031] ここで、 3D地図を精度良く生成するには、画像内の映像的な特徴点を検出し、そ の移動を追跡する技術を用いることが好ましい。特徴点の検出を自動化し、追跡も自 動化することで、手作業による作業を大幅に省略することができる。

画像内の特徴点から三次元座標とカメラ位置 (カメラベクトル)を求めるには、例え ば、同時に 6〜7点以上の特徴点があるように、特徴点を画像内で追跡する。そして、 それらの特徴点に対してェピポーラ幾何学を用い、特徴点の三次元座標とカメラ位 置を演算により求めることができる力 S、 6〜7点程度の特徴点では、得られる特徴点や カメラの位置精度は不十分なものとなる。 '

[0032] そこで、本実施形態では、後述するように、抽出，追跡する特徴点の数を十分に多 くし、また、十分なフレーム数を用いることで多重視差を取得し、有り余る特徴点とフ ' レーム数を得るようにしてある。有り余る特徴点と有り余るフレーム数による多重視差 を用い、統計処理を施して、重複する演算を繰り返し、カメラ位置の誤差分布を求め ' 、そこから統計処理により、精度の高いカメラ位置を求めるようにする。このようにする ことで、各フレームのカメラ位置は高精度で求められ、カメラ位置が高精度で求めら れれば、その後は、視差から三次元座標を求める技術で、画像内の全画素について の三次元座標が得られるようになる。

3D地図生成の詳細については更に後述する。

なお、記録媒体に記録すべき 3D:t也図生成用の移動体としては、例えば、自動車， 船舶，航空機，ロボット，移動する機械，移動する人等が含まれる。

[0033] このように、本実施形態のナビゲーシヨン装置 100は、 3D地図自体は予め特徴点 三次元地図生成装置: '^成され、生成された 3D地図が記録媒体 1²0に記録さ れ、それを地点探索ナ ゲニシヨン装置 130が備えられた車両等の移動体側で再生 することにより、現実の映像と 3D地図を比較して地点を探索できるようになつている。 従って、利用者側では、記 媒体 120のみを入手 (購入)し、地点探索ナビゲーショ ン装置 130を搭載した車両で再生，使用することができ、容易かつ安価に本ナビゲ . ーシヨン装置 100を利用す ' ことができる。

その意味で、特徴点三次元地図生成装置 110は、利用者側に備えられる必要はな ぐ記録媒体 120及び地点探索ナビゲーシヨン装置 130とは分離して設けることがで , きる。また、所定の 3D地図を生成して記録媒体 120に記録できれば、特徴点三次元 地図生成装置 110以外の構成によって 3D地図を生成，記録することも可能である。

[0034] [具体的構成]

以下、より具体的に、本実施形態のナビゲーシヨン装置 100を構成する特徴点三次 元地図生成装置 110と記録媒体 120及ぴ地点探索ナビゲーシヨン装置 130につい て説明する。

[特徴点三次元地図生成装置]

図 2は、本実施形態に係る特徴点三次元地図生成装置 110の概略構成を示すプ ロック図である。

特徴点三次元地図生成装置 110は、車両等の移動体に備えられたカメラにより得 られる現実の映像に基づき、移動体力 観察される範囲における映像的な特徴点の 三次元座標を含む所定の三次元情報を生成する。 '

[0035] 具体的には、図 2に すように、カメラ映像取得部 111,映像記録部 112,特徴点 抽出部 113，特徴点対応処理部 114，特徴点-カメラベクトル演算部 115，誤差最小 化部 116，揺れ成分検出部 117,絶対座標取得部 118及び 3D地図生成記録部 11 9を備えている。

カメラ映像取得部 11 ίは、移動する車両の車載カメラ等の移動体に備えられるカメ ラから移動体の周囲画像を取得する。

映像記録部 112は、カメラ映像取得部 111におレヽて取得した画像を記録する。

特徴点抽出部 113は、において、記録した画像の中に、特徴点となるべき小領域 画像を手動又は自動に り Jf定し神出する。 , " ノ

[0036] 特徴点対応処理部 1 'は-、自動抽出された特徴点を、各フレーム間で各フレーム

i像内におレ、て自動的に追跡することで、その対応関係を自動的に求める。 特徴点'カメラベクトル演蓽部 115は、対応関係が求められた特徴点の三次元位置 座標を求め、その三次元位置座標から各フレーム画像に対応したカメラベクトルを演 . 算で自動的に求める。 '

誤差最小化部 116は、複数の重複演算により、各カメラべ外ルと各特徴点の位置 の分布が最小になるように統計処理をし、さらに誤差の大きい特徴点を検出して、そ れを削除することで、全体の誤差を最小化処理する。

[0037] 摇れ成分検出部 117は、特徴点 ·カメラベクトル演算部 115におレ、て得られたカメラ ベクトノレ (カメラの三次元位置座標及び 3軸回転座標)から、あらかじめ予定された車 両位置 (カメラ位置と一対一に対応）と車両回転姿勢 (カメラ姿勢と一対一に対応）で ある予定カメラベクトルとのズレ成分を抽出する。そして、予定カメラベクトルと現時点 でのカメラベクトルとの差から、若しくは評価時点でのカメラベクトルとの差から、 置 ズレ成分信号及び回転ズレ成分信号を生成し、これらズレ成分信号のすべて、若しく は一部及びそれらの選択と組み合わせによる値を、目的に沿った適切な評価すべき 座標系に変換して、カメラ (カメラが固定される車両等の固定物）の揺れを評価し、出 力し、さらに、必要が有れば表示することができる。この揺れ成分検出の詳細につい ては後述する。 ' .

[0038] そして、求められたカメラベクトルとその摇れ成分に基づいて、ビデオ映像等の動画' 撮影において取得された画像のカメラの揺れに起因する不規則なプレ等を捕正し、 ブレのある画像力らブレのない画像を生成することができる（画像安定化処理)。また

、得られるカメラベクトルとそ 揺れ成分に基づいて、カメラ自身の位置と姿勢を駆動 制御して、画像安定ィ匕処理と同様に、画像を安定化させることができる (位置姿勢安 定化処理)。

さらに、得られたカメラベクトルに基づいて、画像內に指定した対象物を実写座標 系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常 に画枠の中心位置 (又は任意の所定位置）に表示されるよう.に、画像表示又はカメラ

(カメラが固定される固定 ）の位置及び姿勢を制御する€1 ができる（目的対象物口 ックォン処理)。このと ¾_;ぉックォン制御される対象画像は、摇れ成分を含んだままの オリジナル画像でもよぐまた、画像安定化処理され安定ィヒされた画像であっても良 レ、 _n

[0039] 絶対座標取得部 118は、予め定めた所定の基準点の既知の絶対座標から、求めら. れた三次元相対座標を絶对座標系に変換し、特徴点のすべての点、又は必要な所 定の点について絶対座標を与える。

なお、緯度経度等の絶対座標を必要としないときは、長さの基準を示す長さ基準点 により、各画像で長さ校正をし、スケール合わせができて、正しいスケールの座標を 取得できる。この場合には、特徴点 '·カメラベクトル演算部 115は、長さ基準点の両端 の三次元座標を求め、得られた三次元座標から長さ基準点の 2点間の距離を演算に より求める。そして、誤差最小化部 116において、特徴点'カメラベクトル演算部 115 で演算により得られた長さ基準点の 2点間の距離が、長さ基準点の既知の長さと一 致するように、重複演算を繰り返し、統計処理する。

勿論、座標基準点と長さ基準点を同時に用レ、ることもでき、その場合には、更に精 度を向上させることができる。 '

[0040] ここで、基準点は、後述するように、三次元相対座標を絶対座標に変換する際の基 準となる点であり、予め、任意の方法により既知の基準座標（三次元絶対座標）が計 測される点 (座標基準点)である。また、基準点は、三次元絶対座標が既知の基準点 とともに、又は三次元絶対座標が既知の基準点に換えて、長さが既知の基準点 (長さ 基準点）を含むことが きる。

長ざ基準点とは、 2点以上の点からなり、 2点間の距離を既知のものとして极ぅ基準 点であり、例えば、長さ基準点の間隔を 1メートルというように設定レ、画像内に 1メー トルの棒等を多数映るように設置することで得られる。そして、各画像に少なくとも一 つの長さ基準点が重複するように撮影する。このような長さ基準点を設けることで、長 さ基準点の既知の長さを基準として、後述するように、画像毎にスケールのキヤリブレ ーシヨンができ、精度を大幅に向上させることができる。

[0041] 長さ基準点は、座標基準点を複数設定するのと同様と捉えることもできるが、「長さ」 である長さ基準点を多数 する,ことは、「点」である座標基準点を多数設定するより も有効である。すなわち 標基,準点は全計測範囲に 2点のみ設定すれば絶対座標 変換でき、また、座標基準点がすべての画像から観察されるとは限らず、さらに、 . 複数の座標基準点を設定するよりも複数の長さ基準点を設ける方が費用や手間の点 で有利となる。従って、例えば全計測範囲において、座標基準点は 2点のみとし、長 · . さの基準を示す所定長 (例えば 1メートル)の棒を計測範囲に多数、しかもランダムに 設置するだけで、本発明に係る自動測量を実施でき、計測作業の手間も費用も大幅 に削減することができる。

なお、基準点 (座標基準点又は長さ基準点）についての三次元座標や長さの測量 はどのような方法であってもよく、例えば、三角法等の従来公知の測量方法によって 絶対座標や長さを取得しておくことができる。

[0042] 3D地図生成記録部 119は、誤差の最小化処理を施したカメラベクトルと特徴点、 又はその特徴点を含む小領域の画像の三次元形状と、その三次元座標と、その分 布を、車両等の移動体の通路（走行路，航路等）とともに三次元地図として配列し、 特徴点を含む対象物等とともに、記録媒体 120に記録する。

[0043] 以上のような特徴点三次元地図生成装置 110では、後述するように、ェピポ ラ幾 何により、 2フレーム画像から複数点の対応点を求めることで、記録媒体 120に記録 すべき特徴点の三次元地図を生成する。本実施形態では、対応点の三次元座標が 演算可能なェピポーラ幾何学を用いるとともに、さらに、対応点を自動検出すること、 7点程度の対応点と二フレーム画像があれば足りる演算を、すべてのフレームにわた つて演算して統計処理することにより誤差を最小にすることにより、高精度な 3D地図 を生成している すなわち、特徴点の数やフレームの数等の充分に多数の情報を用 いて、各特徴点の誤差を縮小.にし、エラーを含む特徴点を削除して精度の高い特徴 点三次元地図を生成するようにしてある。

[0044] [記録媒体]

図 3は、本実施形態に係る記録媒体 1'20及び地点探索ナビ 'グーション装置 130の 概略構成を示すブロック図である。

記録媒体 120は、 DVDやハードディスク， CDなどのデータを記録可能な媒体から なり、特徴点三次元地図生成装置 ,ΙΙΟで生成された三次元.地図情報を含む所定の 情報が記録，格納され ί る。 ,

.記録媒体 120に記録される情報としては、（1)移動体から観察可能な映像的な特徴 .点の特徴の種類とその三次^座標 (三次元地図）、（2)映像的な特徴点を含む小領 域の二次元画像の三次元配置とその三次元座標、（3)映像的な特徴点を含む対象 物の形状 (二次元又は三次元形状)とその三次元座標、（4)必ずしも特徴点ではない ' が、走行、航行に必要な周辺画像や CG等の形状 (二次元又は三次元形状）と三次 元座標、（5)移動体の移動路、例えば、道路、車両走行路、予定航路などの画像、 C . G及びその形状 (二次元又は三次元形状）と、その三次元座標、などがある。そして、 これらの情報のいずれ力 \又はそれらの組み合わせ、又はその全部を、必要に応じ てそれらの属性を含む形で、三次元地図とともに記録されるようになっている。

[0045] このように、記録媒体 120には、移動体力 観察可能な特徴点が記述されるが、そ の特 ί敷点の周囲の小領域の画像を含めて記録することで、移動体の現地点映像と 地図上の特徴点の対応がとり易くなり好ましい。

また、後述するように、地点探索ナビゲーシヨン装置 130において演算の結果求め + られるのは三次元座標であり、抽出される特徴点は人間の視覚から見た特徴点であ る必要はないが、利用者に理解し易い情報を出力するために、車両走行路の地図 や周辺の建築物等が記録されることが望ましい。

さらに、現在地点の認識には直接関係しない情報であっても、利用者の走行等を 助ける情報として、例えば、 ¾通標識や道路表示等の画像や CGとその属性が記録 ' されることで、より理解し易ぐ操作し易くなり好ましい。

[0046] [地点探索ナビゲーシヨン装置]

地点探索ナビゲーシヨン装置 130は、車両等の移動体側に設置される装置であり、 移動体に備えられたカメラにより得られる現実の映像を、記録媒体 120に記録された 所定の三次元情報と比較し、現実の映像と一致する三次元座標上の地点と方向を 求める。これによつて、移動体に備えられたカメラの三次元座標上の位置、速度、カロ 速度、視点方向、 3軸回転姿勢、 3軸回転速度、 3軸回転加速度を含む所定項目のう ち、いずれか又はそれらを組み合わせた複数の項目を出力する。

具体的には、図 3に示: t うに、 徴点 3D地図再生部 13i，概略現在位置指定部 132,現在地周辺特徴 指定部 133，カメラ映像取得部 134，映像一時記録部 135 ,映像内特徴点探索部 136，映像内特徴点対応部 137，カメラ座標演算部 138,現 在地点表示部 139を備え 1いる。 '

[0047] 特徴点 3D地図再生部 131は、記録媒体 120を再生し、記録されている所定の三 .

1

次元情報を読み出す。上述したように、記録媒体 120は、 DVDや CDとして提供され るので、利用者は自己の車両等に備えられたナビゲーシヨンシステムに記録媒体 12 0を装填し、再生する。特徴点 3D地図再生部 131では、記録媒体 120に記録されて いる特徴点 3D地図を再生する。再生された 3D地図には、特徴点の三次元座標と、 その属性が記述されている。

概略現在位置指定部 132は、移動体の概略の現在位置を何らかの手段で決定し て指定し、初期設定時の探索範囲を限定する。この現在位置の指定は、例えば利用 ' 者が手入力に指定することもでき、また、 GPSによって得られた緯度経度高度データ によって移動体の概略の現在位置を指定することもできる。移動体の概略位置情報 を指定，入力することにより、現在地点周辺の特徴点を探すのに大きな手力 Sかりとな る。そして、そのための手段として GPSを利用することができる。 GPSは本発明のナ ビゲーシヨン装置 100と比較して精度が悪いが、.概略位置の情報としては適当な精 度を持つといえ、概略位置情報の指定手段としては有効に利用できる。

[0048] 現在地周辺特徴点指定部 133は、記録媒体 120の 3D地図から現在地周辺の複 数の特徴点を読み出し、それを現在地の探索目標として指定し、映像内特徴点探索' 咅 に出力する。概略現在位置指定部 132の指定により概略位置が分かるので、 現在地周辺特徴点指示部 133では、記録媒体 120から現在地周辺の特徴点データ 取り込み、それらの特徴点を三次元座標として配分する。

カメラ映像取得部 134は、特徴点三次元地図生成装置 110のカメラ映像取得部 11 1と同様、車載カメラにより、移動する車両の車載カメラ等の移動体に備えられるカメ ラから移動体の周囲画像を取得する。

映像一時記録部 135は、特徴点三次元地図生成装置 110の映像記録部 112と同 様、カメラ映像取得部 134において取得した画像を記録する。 .

[0049] 映像内特徴点探索部 136は、映像一時記録部 135に言 g録された映像内に、現在 地周辺特徴点指定部 1 3で指定された探索目'標と同一物となるべき特徴点の候捕 をいくつか探 出す。

'映像内特徴点対応部 137は、映像内特徴点探索部 136で探索された特徴点の候 '補と現在地点周辺の探索目 ' '撣とを比較照合して一致点を探し出し、同一物としての 対応関係を求める。そして、 応関係が求められた候捕の中から演算に十分な数の 対応点を決定する。 .

ここで、記録媒体 120に記録された三次元座標とカメラ映像の一致点を求めるには

、例えば、マッチングや相関等の画像処理技術により行える。

図 4に、記録媒体 120に記録された三次元座標とカメラ映像の対応関係を二次元 的に示す。同図において、 はカメラ映像と三次元座標の対応が取れた特徴点であ り、 Xは対応が取れな力 た特徴点を示している。 r

20

[0050] カメラ座標演算部 138は、決定された対応点の三次元座標を記録媒体 120から受 け取り、決定された対応点とその三次元座標を用いて、現時点の車両状況を示す力 メラ位置、方向、姿勢等の三次元データを演算して決定する。記録媒体 120に記録 されている多数の特徴点と、取り込んだ映像の特徴点の三次元配列が一致する地点 力 求めるカメラ位置の三次元座標である。得られたカメラ位置の三次元座標、速度 、加速度、回転姿勢等のデータを表示することで、ナビゲーシヨンシステムが完了す る。

すなわち、現在地点表示部 139は、カメラ座標演算部 138で求められら現時点の 移動体の状況を示す兰次元データのいくつかの項目、又はその組み合わせ項目を 、単独で、あるいは地図、映像、属性等、記録媒体 120に記録されている情報ととも に、それらのうちのレ、くつか又は全部を目的の形式で走行地図，予定走行路等の地 図上に表示する。

[0051] このように、地点探索ナビゲーシヨン装置 130では、記録媒体 120に記録されてい る特徴点と、それに対応するリアルタイムで取り込んだ映像内の特徴点を複数個求め て、それらの観察方向が一致するような三次元地図上の視点を演算で求めることが でさる。 - そして、記録媒体 120 、特 ί零点の三次元情報以外に '地図や様々な情報が記 録してあるので、それら '†t¾と もに表示することができる。

.なお、本実施形態では、特に図示しないが、地点探索ナビゲ一シヨン装置 130は、 .さらに、カメラ座標演算部 1^8で決定された三次元データにより、本ナビゲーシヨン装 置を搭載する車両等の移動体を直接制御する制御装置を備えることができる。すな . わち、本ナビゲーシヨン装 で求められる高精度な位置情報に基づいて、車両等の 移動体を自動制御することができ、自動運転システムを実現することができる。

[0052] また、地点探索ナビゲーシヨン装置 130は、上述した特徴点三次元地図生成装置 110の機能を付加することにより、記録媒体 120のデータを更新するようにすることも できる。すなわち、地点探索ナビゲーシヨン装置 130において、利用者の車両等に搭 載したカメラによる映像を蓄積し、複数のフレームにわたる記録媒体の特徴点やその 特徴点を含む小領域画像との対応点を、カメラで取得した画像内で追跡し、特徴点 三次元地図生成装置 110と同様にして、複数のフレームにわたる記録媒体の特徴点

、又はその特徴点を含む小領域画像と、カメラで取得した映像内の小領域の画像と の対応関係から、既存の特徴点の移動等の座標更新データを演算で求め、その結 果を次回からの特徴点として付加することが可能である。 ' ' あるいは、カメラによる映像から新たな特徴点を検出して、三次元座標にカロえること で、次回からの特徴点として付カ卩し、次回からの特徴点として付加することが可能で ある。 '

[0053] このようにすると、利用者側に備えられる地点探索ナビゲーシヨン装置 130に、特徴 ' 点三次元地図生成装 S110に相当する装置を備えることで、地図を作りながら探索 をすることが可能となり、現地点探索と同時に、特徴点検出と三次元座標演算を同時 に行い、記録し、記録媒体のデータを更新し、次回からのデータとして用いることがで きる。これにより、データ更新装置やリアルタイムナビゲーシヨン装置を構成することが できる。データ更新装置については図 27を参照しつつ、また、リアルタイムナビゲー シヨン装置については図 30以下を参照しつつ、それぞれ後述する。

[0054] [カメラベクトル演算 ' 3D地図生成方法]

次に、上述した本実施形態の特徴点三次元地図生成装置 110 (必要に応じて地点 探索ナビゲーシヨン装脣 ³〇,）におけるカメラベクトル演算 び三次元情報（3D±也図 )の生成方法について ¾明する。

_複数の画像 (動画又は連続静止画）の特徴点力 カメラベクトルと特徴点の三次元 情報を求めるにはいくつか 方法があるが、本実施形態の特徴点三次元地図生成 装置 110では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡す. ることで、ェピポーラ幾何^!こより、カメラの三次元ベクトル及び 3軸回転ベクトルと特 徴点の三次元座標を求めるようにしてある。特徴点を充分に多くとることにより、カメラ ベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度 の高いカメラベクトルと特徴点の三次元座標を求めることができる。

[0055] まず、車載カメラ等によって画像を取得し、フレーム間で対応関係にある十分に多く の点を用い、カメラベクトルを精度良く演算で求める。原理的には 6点乃至 7点の特 徴点があれば三次元座標は求まる力 ^s、本実施形態では、例えば、 100点程度の十分 に多くの点を用いることで、解の分布を求め、その分布から統計処理により各ベクトル を求め、結果としてカメラベクトルを求める。

このようにして求められたカメラの三次元位置とカメラの 3軸回転から、それを各フレ ーム画像にデータとして付加し、複数のフレーム画像力 得られる複数の視差、,即ち 多重視差と、既に取得しているカメラの三次元位置から、対象物の特徴点の三次元 座標を演算で求めることができる。

[0056] なお、以上の処理は、車載カメラだけでなぐ例えば、人が手に持ってカメラを自由 に振り回して、対象物を撮影し、撮影後にその映像力 カメラベクトルを演算で求め、 カメラベクトルから、撮影した対象物の三次元形状を求めることができる。

そして、以上の処理を繰り返すことで、広範囲の三次元形状、即ち三次元地図（3D 地図）が生成されることになる'.。

[0057] [カメラベクトル演算]

カメラベクトルとは、カメラの持つ自由度のベクトルをいう。

一般に、静止した三次元物体は、位置座標 (X， Y, Z)と、それぞれの座標軸の回 転角（Φχ, γ, Φ ζ)の六個の自由度を持つ。従って、カメラベクトルは、カメラの位 置座標 (X, Υ, Ζ)とそれぞれの座標軸の回転角（Φχ, Φγ, . Φζ)の六個の自由度の ベクトルをいう。なお、カメラ 移動する場合は、自由度に移動方向も入る力 これは 上記の六個の自由度カ¾ 微分して導き出すことができる。

-このように、本実施形態の特徴点三次元地図生成装置 11Qにおけるカメラベクトル .の検出は、カメラは各フレ Α毎に六個の自由度の値をとり、各フレーム毎に異なる 六個の自由度を決定するこ である。

[0058] 以下、特徴点三次元地図生成装置 110における、より具体的なカメラベクトルと特 徴点の三次元座標の検出方法について、図 5以下を参照しつつ説明する。

特徴点三次元地図生成装置 110では、まず、特徴点抽出部 113において、適切に サンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽 出し、特徴点対応処理部 114で、複数のフレーム画像間で特徴点の対応関係を自 動的に求める。具体的には、カメラベクトルの検出の基準となる、十分に必要な数以 上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図 5〜図 7に示す 。図中「 + Jが自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自 動追跡される（図 7に示す対応点 1〜4参照)。

ここで、特徴点の抽出は、図 8に示すように、各画像中に充分に多くの特徴点を指 定，抽出することが望まし 図 8の〇印参照）、例えば、 100点程度の特徴点を抽出 する。 .

[0059] 続いて、特徴点'カメラベクトル演算部 115で、抽出された特徴点の三次元座標が 演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求めら れる。具体的には、特徴点'カメラベクトル演算部 115は、連続する各フレーム間に存 在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの 3軸回 転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトル の相対値を演算により連続的に算出する。'

本実施形態では、カメラ映像として原則的に 360度全周映像を使用し、 360度全周 映像のェピポーラ幾何からェピポーラ方程式を解くことによりカメラ運動 (カメラ位置と カメラ回転）を計算するようになっている。

[0060] 360度全周映像は、例えば広角レンズや魚眼レンズ付きカメラや複数台のカメラ、. あるいは回転カメラなどで撮影されるパノラマ映像や全方位映像， 360度全周囲映 像であり、通常のカメラで撮影される映像より広い範囲が示されるため、高精度なカメ ラベクトル演算をより簡^','迅速に算出することができ好ましい。なお、 360度全周映 像といっても、必ずしも 4 π全空間を含む映像のみでなぐ 360度全周の一部分を力 -メラベクトル演算用の映像と！^て扱うこともできる。その意味では、通常のカメラで撮影 される映像も、 360度全周!^の一部と捉えることができ、本実施形態におけるような 優れた効果は少ないものの、本質的に差異はなぐ本発明の 360度全周映像 (4 π 映像）と同様に扱うことができる。 '

[0061] 図 7に示す画像 1, 2は、 360度全周映像をメルカトール展開した画像であり、緯度 Ψ、経度 6とすると、画像 1上の点は（θ 1, Φ 1)、画像 2上の点は（6 2, ψ 2)となる 。そして、それぞれのカメラでの空間座標は、 zl = (cos φ lcos θ 1, cos φ lsin θ 1 , sin φ 1)、

(cos φ 2cos θ 2, cos φ 2sin θ 2, sin φ 2)である。カメラの移動べ タトルを t、カメラの回転行列を R、とすると、 zl^T[t] XRz2 = 0がェピポーラ方程式で ある。

十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解とし て t及び Rを計算することができる。この演算を対応する複数フレームに適用し演算す る。 . なお、図 7は、特徴点三次元地図生成装置 110における処理を理解し易くするため に、 1台または複数台のカメラで撮影した画像を合成した 360度全周囲の球面画像 を地図図法でレ、うメルカトール図法で展開したものを示している力 実際の特徴点三 次元地図生成装置 110の処理では、必ずしもメルカトール図法による展開画像であ る必要はない。

[0062] 次に'、誤差最小化部 116では、各フレームに対応する複数のカメラ位置と複数の特 徴点の数により、複数通り生 ϋる演算方程式により、各特徴点に基づくベクトルを複 数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように 統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、力 メラ回転及び複数の特徴点にっレ、て、 Levenberg- Marquardt法により最小自乗法の 最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求め る。 .

さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて 演 算することで、各特徴 及びカメラ位置での演算の精度を上げるようにする。

'このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

[0063] - 図 9〜図 11に、特徴点 ·力'メラベクトル演算部 115にお！/、て得られる特徴点の三次 元座標とカメラベクトルの例を示す。図 9〜図 11は、本実施形態におけるベクトル検 出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像 によって得られるカメラ及び対象物の相対的な位置関係を示す図である。

図 9では、図 7の画像 1, 2に示した特徴点 1〜4の三次元座標と、画像 1と画像 2の 間で移動するカメラベクトルが示されている。

図 10及び図 11は、充分に多くの特徴点とフレーム画像により得られた特徴点の位 置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する 〇印がカメラ位置であり、その周囲に位置する〇印が特徴点の位置と高さを示してい る。.

[0064] ここで、特徴点三次元地図生成装置 110における演算は、より高精度な特徴点と力 メラ位置の三次元情報を高速に得るために、図 12に示すように、カメラから特徴点の 距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。 . 具体的には、ベクトル検出部は、画像内には映像的に特徴がある特徴点を自動検 出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用い る n番目と n+m番目の二つのフレーム画像 Fnと Fn+mに着目して単位癀算とし、 n と mを適切に設定した単位演算を繰り返す。

mはフレーム間隔で り、カメラから画像内の特徴点までの距離によって特徴点を 複数段に分類し、カメラから特徴点までの距離が遠いほど mが大きくなるように設定し 、カメラから特徴点までの距離が近いほど mが小さくなるように設定する。このようにす るのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の 変化が少ないからである。 '

[0065] そして、特徴点の m値による分類を、十分にオーバーラップきせながら、複数段階 の mを設定し、画像の進行とともに nが連続的に進行するのにともなって、演算を連 続的に進行させる。そして、 nの進行と mの各段階で、同一特徴点について複数回重 複演算を行う。

このようにして、フレー 画像 Fnと Fn+mに着目した単位演算を行うことにより、 m 枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間か けて精密カメラベクトルを演算し、フレーム画像 Fnと Fn+mの間の m枚のフレーム（ 最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

[0066] m枚毎の精密カメラベクトル演算に誤差がなレ、とすれば、 m枚のフレームのカメラべ クトルの両端は、高精度演算をした Fnと Fn+mのカメラベクトルと重なることになる。 従って、 Fnと Fn+mの中間の m枚の最小単位のフレームについては簡易演算で求 め、簡易演算で求めた m枚の最小単位フレームのカメラベクトルの両端を、高精度演 算で求めた Fnと Fn+mのカメラベクトルに一致するように、 m枚の連続したカメラベク トルのスケール調整をすることができる。

これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わ せる とにより、演算処理を高速ィヒすることができるようになる。

[0067] ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、（1)高精度 演算では 100個以上の多くの特徴点を用いる場合に、簡易演算では最低限の 10個 程度の特徴点を用レ、る方法や、（2)同じ特徴点の数としても、特徴点とカメラ位置を同 等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するた め、その方程式の数を減らすことで、簡易演算とすることができる。これによつて、各 特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距 離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特 . 徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げる ことができる。

[0068] また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理 が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレ ーム数と、自動抽出した最低の特徵点数で演算を行い、カメラベクトルの概略値をリ アルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、 特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の 高いカメラベクトル値に置き換えて表示することができる。 . -

[0069] さらに、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追 跡を行うことが好ましい Λ·具体的には、三次元情報の追跡とは、まず、特徴点'カメラ ベクトノレ演算部 115，誤差最小化部 116を経て得られたカメラベクトルを概略のカメラ ベクトルと位置づけ、その後 < プロセスで生成される画像の一部として得られる三次 "元情報 (三次元形状）に基 て、複数のフレーム画像に含まれる部分的三次元情 報を隣接するフレーム間で 続的に追跡して三次元形状の自動追跡を行う。そして 、自動追跡で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部に お!/、てより高精度なカメラベクトルが求められる。

[0070] 上述した特徴点抽出部 113及び特徴点対応処理部 114では、特徴点を複数のフ レーム間画像内に自動追跡するが、'特徴点が消失するなどして特徴点の追跡フレー ム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変 化するために追跡精度にも一定の限界がある。そこで、特徴点追跡で得られるカメラ ベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報 (三次元形状 )を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることが できる。このような三次元形状の追跡は'、マッチング及び相関の精度を得やすぐ三 次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多く のフレームに亘つて追跡が可能であり、そのことでカメラベクトル演算の精度を向上さ せることができる。これは特徴点 ·カメラベクトル演算部 115により概略のカメラべクト ルが既知で'あり、三次元形状が既に分かっているから可能となるものである。

[0071] カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は 、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して 長距離では次第に夭きな誤差になるが、画像の一部分を切り取ったときの三次元形 状の誤差は相対的に少なぐ形状の変化と大きさに及ぼす影響はかなり少ないものと なる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて 有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける 形状の変化と大きさの変化を避けられなレ、まま追跡することになるので、誤差が大き かったり、対応点が見つからないなどの問題があつたが、三次元形状での追跡にお いては形状の変化が極めて少なぐし力、も原理的に大きさの変化もないので、正確な 追跡が可能となる。

[0072] ここで、追跡の対象となる 3：次元形状データとしては、例えば、特徴点の三次元分 布形状や、特徴点の三 分布形状力 求められるポリゴン面等がある。また、得ら れた三次元形状を、カメラ位置力 二次元画像に変換して、二次元画像として追跡 することも可能である。カメラ^⁷トルの概略値が既知であることから、カメラ視点から の二次元画像に投影変換が であり、カメラ視点の移動による対象の形状変化に も追従することが可能となる。

[0073] [揺れ成分検出]. '

そして、以上のようにして求められたカメラベクトルは、揺れ成分検出部 117におい て、あらかじめ予定されたカメラ位置とカメラ姿勢を示す予定カメラベクトルとのズレ成 分が抽出される。

揺れ成分検出部 117においては、例えば、車載カメラを搭載した車両位置 (すなわ ちカメラ位置) X， Υ, Zと、車両回転姿勢 (すなわちカメラ姿勢） Φχ, Φγ, Φζによる 揺れ成分である δΧ, δΥ， δΖ, δ Φχ, δ Φγ, δ Φζのすべてが評価の対象となる 。ここで、 δ , δΥ， SZ, 5 Φχ, δ Φγ, δ Φζとは、必ずしも ί敷分値や差分値では なぐ予定の位置及び予定の姿勢力 のズレを意味する。多くの場合は微分値で代 用することで揺れ成分は検出できるが、予定の位置と予定の姿勢が前もって決まって いれば、そ との差分が δ X, δΥ, δΖ, δ χ, δ Φγ, δ Φζとなる。

[0074] 具体的には、軌道上を走行する電車等においては、予定カメラベクトルは走行時に 計測される平均値に近レ、ものであるが、航空機のように三次元空間を航行する壤合 は、予定カメラベクトルは走行時のものと平均で一致することはない。

揺れ成分出力としては、 X， Υ， Ζ, Φχ， Φγ, Φζと、 δΧ, δΥ， δΖ, δ Φχ, δ Φ y, δ Φζの計 12個のパラメ タを出力することができる。 - 但し、いずれの揺れ評価を目的とするかによつて、パラメータの数はこの中から選択 的に組み合わせることができ、評価対象物に対応することができる。

[0075] すなわち、特徴点'カメラべ外ル演算部 115と揺れ成分検出部 117からの出力を 総合すると、 X, Υ, Ζと、 Φχ, γ, Φζと、 δΧ, δΥ， δΖと、 δ Φχ, δ Φγ, δ Φζ の 12のパラメータがある力 通常の画像安定化処理には δ Φχ, δ Φγ, δ Φζの 3つ のパラメータのみでよい。 方、力 ラを同時に複数用いてい'るような場合には、画像 の三次元位置の補正も' ¼能とな ので、 δΧ, 5Υ, δ Ζのパラメータを用意しておく 必要がある。また、通常、姿勢制御には、回転制御の場合には δ Φχ, δ Φγ, δ Φζ、 位置の制御を含むのであ まこれにカ卩えて δΧ， δΥ, δ Ζの計六個のパラメータが 必要となる。さらに、状況判呀を含めれば特徴点三次元地図生成装置 110からの出 力である X, Υ, Zと、 Φχ, <Iy， Φζ

も含めて必要となる場合もあるので、得られる 12個のパラメータの中力 選択的に組 み合わせて画像処理や姿勢制翻に用レ、ること力できる。

なお、この 12個の変数以外に、画像安定化や姿勢安定化に用いられる撮影条件 による他の係数としては、カメラの基準姿勢として画像の画枠での揺れ幅制限などが め "0。

[0076] 図 13に揺れ成分検出部 117における揺れ成分検出の具体例を示す。同図に示す 例は、車両にカメラを取り付けて走行し、その時に撮影した動画像力 揺れ成分検出 部 117で揺れを検出する場合となっている。

同図において、太線矢印はカメラを取り付けた車両の進行方向を示しており、カメラ の光軸を原点とするカメラの位置と姿勢をカメラ座標系 (Xc, Yc， Zc)とし（同図に示 す破線)、カメラが半固定状態で取り付けられた車両は車両座標系 (¾， Yt, Zt)とし (同図に示す実線)、常に車両進行方向に座標軸を変える座標系を回転世界座標系 (Xwr, Ywr, Zwr)とし（同図に示す 2点鎖線）、さらに、外界の静止系を表す座標系 を世界座標系（Xw， Yw, Zw)とする（同図に示す 1点鎖線)。そして、この四つの座 標系の関係を求めて、'評価に必要な座標系に変換して車両の揺れが表現されるよう になっている。

[0077] 特徴点 ·カメラベクトル演算部 115で得られるカメラベクトルはカメラ座標系 (Xc, Yc ， Zc)そのものである。カメラ座標系は、一般に任意の方向で設定されるから、車両の 摇れを検出するには、カメラ座標系をー且車両座標系（Xt, Yt, Zt)に変換する。こ の変換は単なる回転変換であり、一般には半固定であり、ー且設定すれば、その後 は計測を終了するまで変更はな 、。

車両進行方向を車両座標系（Xt, Yt, Zt)の 3軸の一つに選択することで揺れを評 価するのにふさわしい 寧系とすることができる。

[0078] また、車両の移動の Ift は静止座標系である世界座標系 (Xw， Yw, Zw)で表現 するのが適切である。速度を表現するには回転世界座標系（Xwr, Ywr, Zwr)で単 純に表現することができる力、ベクトノレとして表現するには世界座標系 (Xw， Yw, Z w)で表現するのがふさわしい。

摇れ評価にあたっては、禱れ評価に適した座標系で評価を行う。 '

揺れ信号は予定進路からのズレとして検出されるが、図 13に示す例では、車両の 平均進路を予定進路として揺れを評価している。そこで、世界座標系上でカメラの移 動軌跡を求め、その平均進路を求め、これを予定進路とする。

[0079] 本実施形態の摇れ成分検出部 117では、姿勢の基準となるジャイロ等を用レ、ること なぐ画像データを取得するカメラのみで揺れ成分の検出が可能となっている力 ^s、力 メラ 1台の場合、得られるカメラベクトルは相対値となり、ジャイロ等の世界座標系との 校正装置を持たないことから、誤差の蓄積が生じることになる。このため、常に車両に 対する摇れを評価するために、平均鉛直水平方向を与える必要がある。そこで、カメ ラ設置時点において、カメラ座標系の 1軸を車両に対する水平軸に合致させて設置 すれば、それが基準となって、後にも水平姿勢の校正が容易にできることになる。こ れにより、カメラ座標系 (Xc, Yc, Zc)は、車両座標系 .(Xt, Yt， Zt)に変換して摇れを 計測して評価すればよい。

評価される揺れとしては、位置ズレ成分 Xt， Yt, Ztと、回転成分 Φχΐ, Φγΐ, Φζί, 及び位置ズレ差分 5 Xt, δ Υΐ, s zt等である（但し、 ztと s ztは、進行方向速度及 ぴその加速度成分となるので、揺れの意味が他の成分とは異なる）。

[0080] 以上のような揺れ成分の評価において、評価すべき変数と表示は次のようなものが 挙げられる。 '，

世界座標系における車両位置表示：

Xw, Yw, Zw)

車両進行方向に回転した回転世界座標系における速度及ひ'加速度表示： δ Xwr, 5 Ywr, 5 Zwr) (厶 δ Xwr,厶 δ Ywr, Δ δ Zwr)

車両座標系における揺れ表示：

△Xt， ΔΥί,(ΔΖί)) (Δ Φχί, Δ Φγί, Δ ζί) ,

車両座標系とカメラ座，系の回転表示（半固^ :

Xc, Yc, Zc) =F (Xt, Yt, Zt)

世界座標系における進行 f; 向表示：

Xw, Yw, Zw) =G (Xt， Yt, Zt)

J . カメラ座標系における進 方向表示：

:Xc, Yc, Zc) =H (Xt， Yt, Zt).

世界座様系に対する車両座標系の原点移動、回転姿勢表示：

Xw, Yw, Zw) ( δ Xw, δ Yw, δ Zw)

[0081] 以上のような本実施形態の揺れ]^分検出部 117によれば、例えば、電車に取り付 けたカメラの場合には、揺れ成分検出部 117により、電車の揺れを解析'分析し、車 両ゃ線路の異常を発見することが可能となる。通常は水銀加速時計等の高額な装置 を使つて揺れを計測するのに対して、本実施形態の揺れ成分検出部 117を使用する ことにより、簡単に揺れ成分が検出でき、それを表示することができる。

そして、このような摇れ成分検出部 117を用いることにより、上述したような画像の安 定化処理やカメラの位置姿勢安定化処理、更には目的対象物のロックオン処理が実 現できるようになる。

[0082] 図 14は、摇れ成分検出部 117で検出された揺れ成分に基づく補正信号により安定 化画像に変換処理される画像の一例を示しており、例えば、同図（a) , (b)に示すよう に揺らぎのある画像が、同図（c) , (d)に示すように捕正された安定化画像として出力 ,表示されるようになる また、図 15は、補正されたカメラベクトルの軌跡を示すグラフ であり.、同図中、グラフ中央に直線櫛状に並ぶのがカメラ移動の軌跡であり、移動す るカメラの位置と高さを示している。

[0083] そして、以上のようにして各点の三次元位置相対座標が求められると、絶対座標取 得部 118において、各三次元相対座標に、予め絶対座標が測定された基準点の既 知の座標が与えられ、三次元相対座標が絶対座標系に変^され、計測点、基準点、 特徴点のすべての点（又は必要な所定の点）について、絶対座標が付与される。こ れにより、所望の計測点や、特徴点中の任意に指定した指定点についての最終的な 絶対座標が得られ、そのデ タカ D地図生成記録部 1 M.に記録され、 3D地図情 報として必要に応じて ¾力, -表^される。

[0084] .なお、以上の説明では、特徴点，カメラ座標と回転 (カメラベクトル)を特徴点'カメラ ベクトル演出部 115で同時; L求めるように説明した力 一度カメラベクトルが求められ れば、新たな特徴点，特徴点中の任意の指定点については、カメラべクトノレとともに . 再演算することなぐすでにネ寻られたカメラベクトルから、二らの画像、すなわち、二 つのカメラ位置を底辺とする頂点の一点として簡単に演算することができる。カメラべ クトルの精度が変わらないため、新たな特徴点や任意の指定点の精度も変わらない 。但し、再度カメラベクトルを求めて再演算すれば、精度は一般に向上することになる

[0085] 以上のように求められたカメラベクトルや特徴点の三次元座標は、生成された三次 元地図中に表示することができる。 例えば、図 16に示すように、車載カメラからの映像を平面展開して、各フレーム画 像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目 的平面の結合画像を生成し、同一の座標系に統合して表示する。そして、その共通 座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロ ットしていくことができる。

図 17に、本実施形態で生成される 3D地図の表示例を示す。

[0086] なお、以上の方法では、映像を取得するカメラは一台でも良ぐ複数のカメラであつ ても良い。カメラを同時に複数台設置し、複数のカメラ間距離による近距離計測を併 用することで、三次元 ½対距離の基準長を取得可能とし、また、移動体検出を可能 にし、移動体座標 ·距離-速度を計測可能とし、さらに、移動体部分の削除を可能と すること力 Sできる。 ：

カメラを二台用いることにより、絶対計測ができるようになり、絶対計測ができること で、カメラ一台による演算結果に基準長を与えることが可能となり、また、これによつて 、移動体検出が可能となる。従って、不必要な移動体については特徴点から削除す ることができる。

さらに、複数のカメラを用いることにより、絶対座標が既知である 2点以上の特徴点 を画像内に求め、特徴点埤 に^対座標を与えることができる。カメラ一台で計測し た場合には相対値が搏:0れるが、複数台使用すれば絶対距離が与えられる。そして

、既知の絶対座標を二点以上の特徴点として与えれば、絶対座標が得られる。

[0087] [3D地図生成]

次に、以上のように求められたカメラベクトルや特徴点の三次元座標に基づいて生 .

1

成される 3D地図の生成方法について、図 18及び図 19を参照して説明する。

図 18は、本実施形態の特徴点三次元地図生成装置 110で生成される三次元地図 の生成方法を示す説明図であり、図 19は、同様に、特徴点三次元地図生成装置 11 0で行われる三次元地図の更新方法を示す説明図である。

[0088] ナビゲーシヨン装置 (交通自動案内装置)で使用する 3D地図（三次元地図）として 、本実施形態では二種類の 3D地図の生成が可能であり、一つは CV映像地図であり 、もう一つは CV映像から生成する CG地図による三次元地図である。 CV映像とは、カメラベクトル映像、すなわち、 360度全周映像から得られるカメラ位 置及びカメラ姿勢（カメラベクトル）を全フレーム画像に亘つて取得し、各フレームに力 メラべクトノレ（CV値）を対応させた 360度全周映像のことである。なお、上述したように 、 360度全周映像ではない通常の映像であっても、 360度全周映像の一部分'として 位置づけることができる。

[0089] 図 18を参照しつつ、 CV映像地図から CG地図を生成するプロセスを以下に説明す る。

同図に示すように、まず、道路面を走行する車両に搭載したカメラによって走行空 間の全景映像を撮影して、 360度全周映像を取得する（S1801 :地上 4 π撮影映像） 取得した 360度全周映像に基づいて、上述したようなカメラベクトル演算を行い（S1 802： CV演算）、カメラベクトルを取得する。

そして、取得したカメラベクトルに対して、実写映像や既成の地図（S1807)等に基 づいてキャリブレーションを施し（S1803 :キャリブレーション）、さらに、 CV値は相対 値であることから既成の地図（S1807)と対比させることで緯度 '経度'高度を取得し て絶対座標取得（S1808)を行う。 -

[0090] 路面等を俯瞰で観察するため は、空撮映像 (S 1804)を撮影し、その空撮映像 について CV演算（S1 -する^:とによりカメラベクトルを取得し、同様に既成の地図 (S1807)等によりキャリブレーションし (S1806)、絶対座標を取得する（S1808)。 得られた各 CV値の誤差 修正して座標統合し（S1809)、これによつて、 CV映像 地図データベースを構築す （S1810)。 .

CV映像地図データベース (S1810)は、そのまま三次元地図として交通案内装置 に利用できるが、さらに、 CV映像に基づいて三次元 CG地図を生成することができる

[0091] 以下、カーナビゲーシヨン装置等においてより一般的に受けズれられている三次元 CG地図を CV映像地図から生成する方法について説明する。

図 18に示すように、 CV映像地図データベース（S1810)は、次のプロセスで安定 化処理（S1811)がなされる。 安定化処理は、 S1811に示すように、まず CG化される範囲を映像の一部切りだし 処理をし、画像スタビラィズにより画像の揺れを排除する。次に、仮想のカメラ移動方 向を決定して、走行方向指定及び横揺れ捕正により画像の誤差を修正する。さらに、 一定方向に一定スピードで走行する時間軸捕正を行う。この安定化処理は、画像を 所定の固定平面にロックオンして安定化処理を行う。

以上のようにして安定化処理された画像は、 MRSSピュア上に表示される（S1812 )。ここで、 .MRSSビユア（株式会社岩根研究所の製品名）とは、 Mixed Reality Simulation Systemピュアの略で、ピュア上で三次元座標を取得できる表示装置であ る。 '

[0092] 画像は上述した安定化処理（S1811)により安定化されているので、仮想走行面は 道路面と正確に平行に移動する。そこでは、対象物の平面の移動速度は走行カメラ 力 の垂直距離に対して逆比例し、近いものほど早 遠いものほど遅くなる。すなわ ち、対象平面の移動速度が距離と一対一の関係になるので、背景分離と対象物抽 出で目的とする対象物平面のみを選択的に取り出すことができる（S1813：ベクトル 選択抽出）。また、 MRSSピュア上で三次元計測（S1813)することにより、対象物の 座標を取得することもできる。

また、移動ベクトルに幅 ¾ffたせることで、ある範囲の ¾ ^物を選択的に取り出すこ と できる。 360度映像 徴により対象物を多視点に取得しているので、多視点テ スチヤ一抽出切り取り（S1814)により、背景や対象物のテクスチャーを方向別に抽 出して、 CGに貼り付けるこ ,ができる。

さらに、対象物の三次元座標指定（マニュアル)及びワイヤフレーム CG取得（S 181. 5)を行うことで、対象物の形状をワイヤフレームで抜き出すことができる。

[0093] 次に、表示されている目的の対象物に対し、手動で代表点をクリックし、対象物の 三次元座標を CG作成ツールへ置換（S1816)する。これにより、 3DSMAX等の CG 生成ツールに入力し、そのツール上で CGを生成することができる（S1817)。また、 簡単な図形は MRSSビユア上で生成できるようにする。すなわち、垂直線'水平線' 垂直面 ·水平面 ·垂直円柱等の CG生成 (S1818)や、図形回転'図形切断 '移動'簡 易加工（S1819)を行うことができる。 そして、生成した CGには、マニュアルで対象物の属性付加（SI 820)を行い、座標 統合して（S1821)、三次元 CG地図データベース（S1822)が構築される。

[0094] なお、以上のような CGを付加した三次元地図については、適宜 CGを簡略化し、あ るいは消去することが可能である。三次元地図における CGの果たす役割は、 "^つに はそれを人間が見るものだからである。従って、三次元地図を、もし人間が見ず、機 械が見る（認識する）だけでよいのであれば、使用目的に応じて、または必要とされる 精度に応じて、 CGの形状そのものを正確に生成する必要はなくなり、 CGの属' I"生とし ては、名称 (対象物の名前）と概略位置座標と概略の大きさ程度の登録でよいことに なる。また、さらに省略して、概略の大きさも無視でき、点，直線，面だけで表現して 登録することが可能な場合もあり得る。

[0095] 例えば、機械が見る場合には、色や価値は必要なく、道路標識'電柱'ガードレー ル等はその道路側の位置座標だけでよぐまた、形状も必要なぐ例えばガードレー ルは線又は面で近似する。従って、ガードレースなどは大まかな存在範囲だけを取 得し、道路標識はその存在位置座標を点で登録すればよぐ道路のセンターライン は連続する線で近似し、登録することで目的を達することができる。

このように、 CG三次元地図の生成については、可能な限り簡略化することができ、 それによつてコストダウンを図ることができる。

[0096] 次に、以上のようにし l,生成された CV映像地図を更新する場合について、図 19を 参照しつつ説明する。 .

- 図 19に示すように、 CV映像地図（S1901)を更新する場合には、まず、自動更新 の前処理を行っておく。

具体的には、映像中の目'印として適切な対象物等、新旧映像で比較するに適した 対象物を重要ポイントをマニュアル指定しておく（S 1902)。重要ポイントは、ある領 域を持った断片の画像である。また、画像としての特徴ある部分を自動抽出し (S190 3：特徴ポイント自動抽出）、重要ポイントと特徴点の三次元座標取得をする（S1904 ) ₀

[0097] 重要ポイントと特徴点は、必要に応じて映像に対応させて一部三次元部品化（S19 05)することにより、三次元座標とともに記録することができ（S1906)、これによつて、 更新のための自動更新機能を持つ CG映像地図データベース（S1907)が構築され ることになる。

以上のような前処理を経た後に、 CV映像地図データの更新処理を行う。 更新処理は、まず、更新用映像として 4 π撮影映像（360度全周映像)を取得する（ S1908)。すなわち、 CV映像地図データを更新するためには、更新用の映像を取 得して新旧映像を比較しなければならなレ、。

[0098] 新旧映像の比較は、まず、重要ポイントについて初期位置合わせを行い（S1909) 、更新映像の最初のフレームだけをマニュアルで重要ポイントの旧映像との対応を取 る（S1910)。次に、新'画像座標取得により（S1911)、更新画像の重要ポイントの三 次元座標と回転座標を取得する。

同様に、特徴点ポイント抽出（S1912)により特徴点を自動抽出し、特徴点ポイント 新旧対応（S1913)により新旧映像の対応をとり、新画像座標取得により（S1914)更 新画像の特徴ポイントの三次元座標と回転座標を取得する。

[0099] 三個以上の重要ポイントにより、あるいは、必要に応じて特徼ポイントも加えて、新 画像カメラ座標点取得 (S1915)により、更新画像のカメラベクトルを三角形を解く演 算で求めることができる。なお、特徴ポイントの抽出'新旧対応'座標取得 (S1912〜 S1914)については省略,し もよい。

このようにして、更新さ^ I 映像とそのカメラベクトルが取得されると（S1915)、その カメラベクトルによって、自動更新機能を持つ CV映像地図データベース（S1907)を 更新することができる。

さらに、 CG地図データを更新するためには、上述した新画像座標取得 (S1911) . により、重要ポイントの三次 座標を取得し、新旧座標を比較し (S1916)、更新対象 物を特定して (S1917)、同じ座標に有るか否かを自動判断する。座標が一致しない 場合には対象物を入れ替える必要があると判断し、図 18で示した CG生成によるマ ニュアル処理（S1918)により、更新のための CGを自動又はマニュアルで生成し、重 要ポイントを更新した三次元 CG地図データベース（S 1919)に、更新データを記録 する。

[0100] 図 20は、道路上空から撮影した映像に基づいて三次元地図を生成する場合の一 例を示している。同図に示す道路映像は 360度の CV映像であり、完全な平面図で はなく、地上数メートル力 観察した道路面となっている。

道路の三次元地図を生成する場合には、道路面の近傍の形状が重要であり、高い 計測精度が求められる。一般に、道路構造は、図 20 (a)の断面図に示すよな構造を してレ、ることが前もって分かっているので、その形状を予想して、三次元計測をするこ と力 Sできる。

[0101] また、 360度映像の特長を生力 て、道路面の直下を視点方向とする道路面表示 に設定することで、広い領域でのマッチング &グリップが可能となる。具体的には、通 ' 常任意方向では 15 * ί 5ピクセル程度の領域でのマッチング &グリップが限界であつ たが、直下表示では視点と道路面が直角に近い形となり、フレーム間画像は形状を 変更することなく移動するので、各フレームによる画像歪みを無視することができる。 これにより、例えば 50 * 50ピクセル以上の広い領域でのマッチング &グリップ（M&G )が可能となり、特徴の少ない道路面であってもマッチング &グリップが行え、計測精 度が向上する。

さらに、道路舗装面には道路標示 (センターライン，路肩ライン等)が決められた基 準で描かれていることから、そのパターンを PRMオペレータ. (PRM Operator)の部品 として予め用意しておき、 意さ たオペレータ部品と映像比較することで、その三 次元的位置を検出する¾ が可锥となる。

[0102] ,ここで、 PRMとは、 Parts Reconstruction Method (3D空間認識方法）の略であり、 本願出願人が既に特許出顋している対象物を認識するための技術である（国際出願 PCT/JP01/05387号参照）。具体的には、 PRM技術は、前もって予想される対象物 . の形状と属性を部品（オペレータ部品）としてすベて用意しておき、それら部品と現実 の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。車 両の自動案内走行や自動運転走行のために必要となる対象物の「部品」は、道路標 示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などで あり、これらは定形のものであるので、 PRM技術によりその認識は容易に行える。ま た対象物を CV映像中に検索する場合においても、その対象物の存在する予想三次 元空間を狭い範囲に限定することが可能となり、認識の効率ィ匕が可能となる。 [0103] 具体的には、道路面オペレータとしては、図 20 (c)に示すようなパターンがある。な お、オペレータ部品としては図示しない他のパターンも多数想定される力 S、三次元地 図におレ、ては道路全面の計測は必要なく、道路面を適切な間隔でサンプリングして 道路断面図を完成させればよいので、図 20に示す程度で十分であると言える。

さらに、三次元の PRMオペレータ部品 (PRM 3D Operator)も用意し、三次元的に マッチングすることで、例えば、道路の縁石部分の段差についても精度良く再現する こと力 Sできる。

[0104] 図 21は、図 20に示した道路を立体視した三次元地図を示す。

同図に示すように、 装道路の映像においては、 PRMオペレータは、図 20に示し たセンターライン等の道路面表示よりも、立体的な道路標識の認識においてその有 効性を発揮する。すなわち、道路標識の認識に関しては、図 21 (a)に示すように、 CV映像上に道路標識予想空間を想定して、その限定された空間で目的の道路標識 の種類と位置と形状と座標を認識することが可能となる。

CV映像は、実写画像上に道路標識予想空間を CGとして合成配置することができ、 その制限範囲のみで目的の道路標識を 索することが可能となる。

また、道路標識の形状やサイズ等は通常決まっているので、予め用意してある各道 路標識の三次元ォペレ Π 部 として（図 21 (b)参照 >\道路標識予想空間の中 に三次元的に決まった きさの標識を検索し、探し出すことが可能となる。そして、探 レ出された標識の種類と位置と座標と形状が認識される。

[0105] このように、 CV映像は、対象物が三次元座標を持つのと同じ扱いが可能であり、検

" . ,

索には極めて有利となる。道路標識のように、検索するものの形状が既に決まってい . るものについては、その三^ ^元位置における見かけの大きさを計算で求められるの で、 PRMオペレータを使用するのが有利であり、 PRMオペレータ部品として様々な標 識を用意しておくことで、用意された標識部品の中から一致する部品を探し出すこと で、対象標識を認識することが可能となる。

さらに、 MRSSピュアで表示される 360度実写の CV映像は、 CV映像内の任意の 点をマウスでクリックすることにより、（1)その指定した点の三次元座標を取得できるとと もに、（2)指定した任意の 2点間をマウスで直線に結び、その 2点間の距離を計測でき 、さらに、（3)任意の多角形をマウスで指定.入力することによりその多角形の面積を 計測することができる。従って、この機能を利用して CV映像中の目的対象物の位置 をマウスのクリック操作するだけで、（1)実写映像の中に属性の登録ポイントを指定す ることができ、（2)道路形状や道路標示を直線で登録でき、さらに、（3)路面や看板の 面を登録することが可能となる。

[0106] 図 22は、 CV映像中に手動により対象物の属性を取得し登録する場合の手順を示 す図であり、 MRSSピュアで同図（a)に示す CV映像が表示されてレ、る場合に、同図 (b)に示すように、マウスを用いて映像中に所望の点や直線を指定することができる。 指定した点や直線，面'は登録することができ、同図（c)に示すように三次元地図とし て出力'表示することができる。

このように CV映像の任意の点を指定して直線や面のみを登録することで三次 元地図が生成でき、その登録の際に属性についても分類しておけば属性抽出も同 時に完了し、所望の三次元地図を容易に生成 '取得することができる。

[0107] [ナビゲーシヨン動作]

次に、以上説明したような本実施形態に係るナビゲーシヨン装置における全体の動 作の概要を図 23〜図 26を参照しつつ説明する。

図²³に示すように、本寒旗形態 .ナビゲーシヨン の動作は大きく²つに分けら れ、一つは CV.映像地図生成装 g (特徴点三次元地図生成装置 110)側で行われる 前処理と、もう一つは車両等に積載されたナビゲーシヨン装置（地点探索ナビゲーシ ヨン装置 130)側で行われ 後処理である。

[0108] [前処理]

前処理としては、以下の '順により行う。

まず、図 23に示すように、車載カメラ等で 360度全周映像が取得され (S2201 : 36 9度映像撮影）、この 360度映像について CV演算により全フレームのカメラべクトノレ が取得される（S2202 : CVデータ付加）。なお、カメラで撮影される映像は原則として 360度全周映像であることが望ましいが、必ずしも 360度全周映像でなくてもよい。

CV演算で得られた CVデータは相対値であるので、これを実測データや GPS等に 基づレヽて絶対座標 (緯度 ·経度 ·高さ）に変換する（S2203：絶対座標取得)。 [0109] また、 CV映像中、後に計測基準となり得る画像部位を切り取り、当該部位の属性と ともに付加'記録する（S2204:指定基準部位座標及び属性付加)。ここでは、さらに 座標を与えてもよい。指定点は部分映像として切り取ることでデータ量を小さくする。 専用マークを静止物体の映像として取得することもできる。 .

CV映像中の重要ポイント及び看板等については、 CG化して属性とともに CV映像 に合成又は対応させておく（S2205 :指定 CG付加）。交通標識等は共通するもので あるので、共通の CGとしてその IDと座標のみを付カ卩する。

以上の手順により、各フレームに対応する CVデータ'属性等を生成する（S2206： CV映像生成)。なお、計測のみで映像を観察しない場合は、特徴部位のみの映像と する。そして、生成された CV映像は、 WEB, HDD又は DVD等により、後処理を行う ナビゲーシヨン装置側に配信する（S2207： CV映像配信)。

[0110] [後処理]

後処理としては、以下の手順により行う。

まず、図 23に示すように、配信された CV映像を WEB等を介して受信し、あるいは 購入した DVD等から読み取る（S2301： CV映像受信)。

また、車両に積載したカメラで現在の 360度映像を取得する（S2302 :リアルタイム 映像取得)。なお、ここでも取得映像は必ずしも 360度映像でなくてもよい。

そして、受信した CV映像と車載カメラで撮影されたリアルタイム映像を比較すること により、車両の現在位置を演算で求める（S2303 :リアルタイム車両位置計測）。なお .、この車両の現在位置の演算は、（1)CV演算で求める方法と、（2)座標が既知の指定 点から演算で車両の座標を求める方法と、（ 両者を組み合わせた中間の方法とがあ . る。

[0111] その後、求められた自車両の三次元位置を地図上に高精度 (例えば GPSの十倍 以上の精度）で表示し、ナビゲーシヨンに必要な項目を自動表示する（S2304：ナビ ゲーシヨン項目自動選択、 S2305 :マルチビユア表示）。このとき、ナビゲーシヨン目 的の属性を表示する。また、車両の座標と地図を比較し、自車両走行に必要な標識- 道路標示.案内板等を走行に合わせて順次選択することができる。さらに、表示画像 内で対象物をクリックすることにより属性表示することができる。 なお、自車両の三次元位置を表示すればナビゲーシヨンとしては十分であり、 CV 映像 (記録映像）自体は表示しなくてもょレヽ。 '

また、自車両の位置を三次元地図上に表示する場合に、 GPSは概略位置を求める 補助的情報として利用できる (後述する第二実施形態参照)。 '

[0112] 以上でナビゲーシヨン装置の全体の動作が完了するが、さらに、図 24に示すように 、ナビゲーシヨン装置側の後処理において、自車両の周囲の CV映像を任意の視角 で表示し、目的によって任意視点で表示することができる（図 24の S2306：任意視点 映像及び属性表示) _Dこのとき、交通標識等は共通の CG部品から取り出して表現す ' ることができる。また、夜間に昼間の映像を表示したり、積雪した冬に夏の映像を表示 することも可能である。

また、図 25に示すように、後処理において、車間距離や周囲を走行する車両の方 向と速度、路面状況等の走行状況の情報をリアルタイムで判断して、走行に必要な 認識 '判断の結果を表示することもできる（図 25の S2307：走行状況認識'判断)。

[0113] さらに、図 26に示すように、後処理において得られたデータは、他の車両や基地局 との間で送受信することが可能である（図 26の S2308：走行状況認識'判断データ 送受信)。 .

すなわち、自車両で認孿^ 断 た結果の走行状況認識:半」断データを他車両と *有するために、所定 デ ¹ "タを多謝料に送信することができ、同時に、周囲を走行 する他車両が認識'判断した結果の走行状況認識'判断データを受信して、自車両 の走行に反映させることが可能である (後述する第三実施形態参照)。

一 '

さらにまた、所定の基地局に自車両の走行状況認識 ·判断データを送信し、基地局. から送られる走行状況認識'判断データを受信して自車両の走行に反映させることも 可能である（後述する第三実施形態参照)。

[0114] . 以上説明したように本実施形態のナビゲーシヨン装置によれば、車両等の移動体 に搭載されたカメラで撮影される動画映像の複数のフレーム画像から充分な数の特 徴点を自動検出レ各フレーム間で特徴点を自動追跡することにより、多数の特徴点 について重複演算して、カメラベクトル (カメラ位置と回転角）と特徴点の三次元位置 座標を高精度に求めることができる。 そして、得られた特徴点の三次元座標を予め記録媒体に格納し、その三次元座標 を現実に移動する移動体から撮影されたカメラ映像と対比することで、あるいは、カメ ラ力 得られた映像から、リアルタイムにカメラ位置の三次元座標を直接生成し、現在 のカメラ位置を示す高精度な三次元情報を得ることができ、これによつて、移動体の ナビゲーシヨンシステムとして用いることができる。

[0115] 具体的には、本発明のナビゲーシヨン装置では、車両等の移動体の現在地点座標 を GPSより高い精度でリアルタイムに取得するために、画像処理技術を用いて、画像 内の複数の特徴有る点に着目し、前もって特徴点の三次元座標を精度良く計測して ' おく。そして、その特徴点を三次元座標に記述した地図（3D地図）を記録媒体に格 納し、.移動体側でその記録媒体を再生することで、特徴点の三次元座標を読み出す ことができる。さらに、移動体,の現在地点で得られたカメラ画像から映像内の特徴点 を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知であ る特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算 により求めることで、カメラ位置を示す三次元座標、すなわち、現在の移動体の位置 を示す三次元座標を得ることができる。

これにより、走行する車両等の移動体の現在位置が、カメラ映像から直接的に、あ るいは、予め生成，記録,された三次元地図によって ¾確に^されることになり、従来 の GPSシステムでは不 であった、誤差範囲が数 cm程度の高精度なナビゲーシ ヨンシステムを実現することができる。

[0116] [第二実施形態] .

次に、本発明のナビゲーシヨン装置の第二実施形態について、図 27を参照して説 . 明する。

図 27は、本発明の第二実施形態に係るナビゲーシヨン装置 100の概略構成を示 すブロック図であ 本実施形態のナビゲーシヨン装置 100は、選択的に付加するこ とができるオプション装置 300を備えるようになってレ、る。

同図に示すように、本実施形態では、オプション装置 300として、 3D地図属性付カロ , 装置 310， GPS装置 320,データ更新装置 330及びオプション表示装置 340を備え ること力 Sできる。 [0117] [3D地図属性付加装置]

3D地図属性付加装置 310は、記録媒体 120に記録される情報として、特徴点の三 次元座標以外の付加情報として属性情報を付加することができる。

ここで、特徴点の属性とは、例えば、特徴点の属するビルディングの名称，通りの名 称，住所，歴史の記述等があり、また、特徴点が標識の一部であればその標識の意 味等である。

具体的には、特徴点属性取得部 311におレ、て特徴点の属性を取得する。 所属対象物 3D形状座標取得部 312では、属性を付加すべき特徴点の三次元座 ' 標を特徴点三次元地 生成装置 110の特徴点'カメラベクトル演算部 115から入力 する。 ·

属性付加部 313では、入力された三次元座標に対応する属性情報を付加する。 ' 属性付き対象物 3D地図生成部 314では、属性情報が付加された三次元情報を特 徴点三次元地図生成装置 110の 3D地図生成部 119に戻す。

これにより、記録媒体 120に記録される三次元情報として特徴点の属性情報が付 カロされるようになる。

[0118] [GPS装置] -

GPS装置 320は、地点探索ナヒ:ゲーシヨン装置 ISOの概略現在位置指定部 132 に、 GPSによって得ら る緯度経度高度データを出力し、概略現在位置指定部 132 における移動体の概略の現在位置を指定する。

また、 GPS装置 320は、地点探索ナビゲーシヨン装置 130のカメラ座標演算部 138 'で得られた現時点の移動 {^況を示すカメラ位齓方向，姿勢等の三次元データを . 入力し、 GPSで得られるデータを補正し、映像から特徴点が得られない場合の補助 装置として利用する。 '

[0119] GPSは、本発明のナビゲーシヨン装置で得られる位置情報と比較して精度が悪い 力 概略位置を指定する情報としては適切である。 GPSからの概略位置情報があれ ば、地点探索ナビゲーシヨン装置 130により、現在地点周辺の特徴点を探すのに大 きな手がかりとなる。

また、このように精度の悪レ、 GPSを主体とした計測システムにおいては、本発明に よる高精度な位置データを捕正信号として利用して、 GPSシステムで得られたデータ を補正することにより、最終的に本発明と同等の精度を一定期間保持することが可能 となる。

さらに、本発明のナビゲーシヨン装置においてカメラ映像の取得が困難となる夜間 やトンネル内などにおいては、 GPSシステムとの併用が望ましい場合もある。

[0120] そこで、本実施形態では、ナビゲーシヨン装置 100のオプション装置として GPS装 置 320を組み合わせることで、計測可能地点ではナビゲーシヨン装置 100により計測 し、映像的な特徴点が充分に得られないような場合には、本装置で取得された最終 ' データによって GPS 捕正，校正することで、高精度に GPSシステムを稼働させるこ とができる。これによつて、本ナビゲーシヨン装置 100と GPSのそれぞれの長所を有 効活用することができる。 ：

具体的には、 GPSデータ取得部 321では、 GPSで得られたデータを取得する。

[0121] 装置座標演算部 322では、 GPSデータに基づいて、地点探索ナビゲーシヨン装置 130の概略現在位置指定部 132に入力する座標信号を生成，出力する。

GPSデータ補正部 323では、地点探索ナビゲーシヨン装置 130のカメラ座標演算 1 38で得られた精度の高い位置情報を入力し、 GPS計測装置との差を検出して、そこ 力も GPSの補正校正信^ ¾ 成する。なお、 GPSデータ捕 ίΕ部 323には、 GPS位 計測装置に生成しだ摩精度の補正校正信号を送るための出力端子が備えられる 現在地点表示部 324は、褲正校正信号で捕正された GPSデータを現在地点の表 示として出力，表示する。 ' · .

[0122] このようにして、本実施形 ¾では、 GPS装置 320をオプション装置として備えること により、通常は地点探索ナビゲ^"シヨン装置 130として作動し、夜間等の映像的な特 徴点を連続的に取得することが困難な場合には、 GPSによるナビゲーシヨン機能を 併用し、断片的に取得される地点探索ナビゲーシヨン装置 130から得られる地点デ ータを補正信号とし、高精度に補正された GPSデータを表示することができる。

なお、 GPS装置 320をオプションで備える本実施形態では、 GPSによるナビゲータ システムに必要なデータも記録媒体 120に記録することができる。 [0123] [データ更新装置]

データ更新装置 330は、記録媒体 120のデータを更新することができ、地点探索 ナビゲーシヨン装置 130に特 点三次元地図生成装置 110の機能を付加する装置 である。 ' 具体的には、データ更新装置 330は、映像記録部 331で、地点探索ナビゲーショ ン装置 130において取得されたカメラ映像を蓄積する。

特徴点データ再演算部 332では、複数のフレームにわたる記録媒体の特徴点やそ の特徴点を含む小領域画像との対応点を、カメラで取得した画像内で追跡し、特徴 点三次元地図生成装置 110と同様にして、複数のフレームにわたる記録媒体の特徴 点、又はその特徴点を含む小領域画像と、カメラで取得した映像内の小領域の画像 との対応関係から、既存の特徴点の移動等の更新データが求められる。

また、新規特徴点取得部 333では、カメラによる映像から新たな特徴点を検出して 、三次元座標にカ卩えることで、次回からの特徴点として付加し、次回からの特徴点と して付加する。

[0124] そして、特徴点データ更新部 334でデータが更新され、その更新データが更新デ ータ記録部 335によつて記録媒体 120に出力される。

このようにして、データ更新装置 330を備えることにより 利用者側に備えられる地 点探索ナビゲ シヨン装齄 1³0に、特徴点三次元地図生成装置 110に相当する機 能を付加することができ、地図を作りながら探索をすることが可能となり、現地点探索 .と同時に、特徴点検出と三次元座標演算を同時に行い、記録し、記録媒体のデータ を更新し、次回からのデータ して用いることができるようになる。

[0125] [オプション表示装置]

オプション表示装置 340は、地点探索ナビゲーシヨン装置 130で表示される表示内 容以外の付加的な情報を表示することができる。例えば、地点探索ナビゲーシヨン装 置 130における現在地点の認識には直接関係しなくとも、利用者の走行を助ける交 通標識や道路表示等の画像や CGを、オプション表示装置 340によって表示すること で、より理解し易ぐ操作し易いナビゲーシヨン装置とすることができる。

具体的には、現在地点周辺画像表示部 341では、地点探索ナビデーンヨン装置 1 30の特徴点 3D地図再生部 131及び現在地点表示部 139の表示画像データを入力 する。

表示画像属性 示部 342では、入力した表示画像データの属性を表示する。 また、交通標識等認識表示部 343では、現在地点から観察される交通標識や道路 表示等の画像や CGを表示する。

[0126] 以上説明したように、本実施形態に係るナビゲーシヨン装置によれば、予め 3D地 図生成用の車両等に搭載されたカメラで撮影された動画映像の複数のフレーム画像 力ら充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することに より、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めること ができる。

そして、得られたカメラ位置の三次元座標を予め記録媒体に格納し (あるレ、は、リア ルタイムにカメラ位置の三次元座標を生成し)、その三次元座標を現実に移動するナ ピゲーシヨン対象となる車両等力 撮影されたカメラ映像と対比することで、現在の力 メラ位置を示す高精度な三次元情報を得ることができ、これによつて、移動体のナビ ゲーシヨンシステムとして用いることができる。

[0127] [第三実施形態]

次に、本発明のナビゲマ ヨン 置の第三実施形態にり)/'、て、図 28及び図 29を 参照して説明する。

.図 28は、本努明の第三実施形態に係るナビゲーシヨン装置の概略構成を示すプロ ック図であり、図 29は、同じ 、本発明の第三実施形態に係るナビゲーシヨン装置の 他の実施形態の概略構成を示すプロック図である。

これらの図に示すナビゲ シヨン装置は、記録媒体 120と地点探索ナビゲーシヨン 装置 130が離間して備えられ、基地局や他の移動体に備えられた記録媒体 120に 記録された所定の三次元情報が、通信回線を介して一又は二以上の他の地点探索 ナビゲーシヨン装置 130に送信されるようになっている。

[0128] 具体的には、図 28に示すナビゲーシヨン装置は、サテライト通信方式を採用してお り、まず、所定の三次元情報を記録した記録媒体 120は、基地局となるサテライト装 置 400に備えられている。 サテライト装置 400は、受信部 411により、データ更新逆送信装置 350を介してデ ータ更新装置 332からの更新データが受信され、データ更新部 412により、記録媒 体 120のデータが随時更新できるようになっている。

そして、送信部 413により、記録媒体 120のデータが地点探索ナビゲーシヨン装置 に送信されるようになってレ、る。

[0129] 地点探索ナビゲーシヨン装置 130側には、受信装置 140が備えられている。

受信装置 140は、受信部 141により、通信回線を介してサテライト装置 400から送 信された記録媒体 120の三次元情報のデータを受信できるようなつてレ、る。

さらに、図 29に示すチビゲーシヨン装置は、図 28に示したサテライト通信方式にカロ えて、さらに、相互通信方式を採用しており、基地局との間のみでなく、移動体相互 間でもデータの送受信が行えるようになっている。

[0130] このような本実施形態のナビゲーシヨン装置によれば、記録媒体 120のデータを基 地局から受信し、更新データや新規取得データを基地局に送信し、さらには、直接 車両間でデータのやりとりをして、必要に応じてデータを更新し、他の車両とデータを 共有することができる。

これにより、一台の車両のみの場合と比較して、より広範囲で総合的なナビゲーショ ンシステムを実現すること きる _s

[0131] f己録媒体 120は、通常 i¾ VD,やハードディスクなどであり、固体として移動体側の 装置に装填し、あるいは設置される。

本実施形態では、基地局から記録媒体 120のデータを複数の車両に送信すること

■

で、記録媒体 120はソフトウ アそのもの、デジタルデータそのものとして扱うことがで きる。そして、ソフトウェアの受信は、固体としての記録媒体 120の装填と同じ意味と なり、再生装置の構成や規格等に左右されない分、利用範囲が拡張される。

また、本実施形態では、車両が新たに取得したデータを基地局に送り、また直接車 両間でやりとりすることができ、さらに、通信回線を用いることでデータの更新が容易 となり、周囲車両とのデータの共有も可能となり、リアルタイムデータのやりとりも可能 となる。

このようにして、本実施形態によれば、より汎用性に優れたナビゲーシヨン装置を提 供すること力 Sできる。

[0132] [第四実施形態]

さらに、本発明のナビゲーシヨン装置の第四実施形態について、図 30〜図 36を参 照しつつ説明する。 . 図 30は、本発明の第三実施形態に係るナビゲーシヨン装置の概略構成を示すプロ ック図である。

同図に示すように、本実施形態のリアルタイムナビゲーシヨン装置 200は、上述した 第一実施形態で示した記録媒体 120を省略し、ナビゲーシヨン対象となる移動体側 に、第一実施形態における特徴点三次元地図生成装置 110に地点探索ナビゲーシ ヨン装置 130の機能を持たせた、特徴点三次元地図生成表示装置 210を備えている

[0133] , 本リアルタイムナビゲーシヨン装置 200に備えられる特徴点三次元地図生成表示装 置 210は、第一実施形態で示したような記録媒体を備えず、ナビゲーシヨン対象とな る車両等の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動 体から観察される範囲における映像的な特徴点の三次元座標を、そのままリアルタイ ムで生成するとともに、カメラベクトルを生成する。 . .

そして、求められた特徴点の三 元座標から直接的-に 3D地図を生成し、特徴点の 三次元分布と、ナビゲ^J ^ヨン対象となる移動体に備えられたカメラの三次元座標上 の位置、速度、加速度、視点方向、 3軸回転 fe,勢、 3軸回転速度、 3軸回転加速度を .含む所定項目のうち、いず か又はそれらを組み合わせた複数の項目を出力，表示 する。

[0134] 具体的には、本実施形態' リアルタイムナビゲーシヨン装置 200は、図 30に示すよ うに、特徴点三次元地図生成表示装置 210を備えている。 , .

特徴点三次元地図生成表示装置 210は、第一実施形態の特徴点三次元地図生 成装置 110とほぼ同様の構成となっており、カメラ映像取得部 211,映像記録部 212 ,特徴点抽出部 213,特徴点対応処理部 214，特徴点'カメラべ外ル演算部 215， 誤差最小化部 216，揺れ成分検出部 217，絶対座標取得部 218及び 3D地図生成 表示部 219を備えている。このうち、カメラ映像取得部 211,映像記録部 212,特徴 点抽出部 213,特徴点対応処理部 214,特徴点-カメラベクトル演算部 215,誤差最 小化部 216，揺れ成分検出部 217及び絶対座標取得部 218については、第一実施 形態におけるカメラ映像取得部 111，映像記録部 112,特徴点抽出部 113，特徴点 対応処理部 114，特徴点 ·カメラベクトル演算部 115,誤差最小化部 116,揺れ成分 検出部 117及び絶対座標取得部 118と同様の構成となってレ、る。

[0135] 本実施形態の特徴点三次元地図生成表示装置 210では、 3D地図生成表示部 21 9は、誤差最小化部 216で誤差の最小化処理が施され、絶対座標取得部 218で絶 対座標が付与された特徴点又はその特徴点を含む小領域の画像の三次元形状とそ の三次元座標及びその'分布を、ナビゲーシヨン対象となる移動体の移動軌跡、さらに 、必要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物 等とともにこれらを直接表示するようになっている。

図 32及び図 33に、本実施形態におけるリアルタイムナビゲーシヨン方法により生成 ,表示される特徴点の三次元座標と移動体の現在位置を示す。

図 32 (a)に示すように、走行する車両の周囲の多数の特徴 が抽出され、その特 徴点から、車両が走行する道路と建物等の三次元地図が生成され、その地図中に移 動する車两の軌跡が示されている。図 32 (b)は、抽出された特徴点と求められた車 両の軌跡を、実際のカメラ! ¾像中 表示したものである。 . ノ

図 33は、図 32 (b)に す映像の平面展開画像であり、車両の走行軌跡と現在位 置，予定進路が映像中にプロットしてある。

[0136] このようにして、本実施形 φのリアルタイムナビゲーシヨン装置 200では、ナビゲー シヨン対象となる移動体で移動しながら、直接的に 3D地図を作りつつ、現在地点の 探索を行うことが可能となり、'特徴点検出と三次元座標演算，現地点探索を同時に行 レ、、記録し、記録媒体のデータを更新できるリアルタイムナビゲーシヨンを実現してい る。 '

上述した第一実施形態では、特徴点三次元地図生成装置 110は、画像の取得後 、オフライン処理で三次元地図を生成し、その後、三次元地図を記録媒体 120に記 録し、それを配布等することで、記録媒体 120に記録された特徴点と現時点の映像と 比較することで、現時点の位置を確認する方式を採っている。 本実施形態では、車両等で移動しつつ、リアルタイムに 3D地図を生成し、現在地 点の探索を行うことができ、記録媒体 120を省略することができる。これにより、例え ば、記録媒体 120に記録された特徴点三次元地図に記載されて！/、なレ、地域を走行 する場合や、記録媒体 120を備えていない場合等であっても、特徴点三次元地図を リアルタイムで生成しながら、現在地点を表示することができる。勿論、本実施形態に おいても、第一実施形態で示した記録媒体 120を併用することは可能である。

[0137] 従って、本発明に係るナビゲーシヨン装置としては、図 31に示すように、記録媒体 1 20を備える方式 (同図に示すナビゲーシヨン装置 100)と、記録媒体 120を省略する ' 方式（同図に示すナビゲーシヨン装置 200)とを実施でき、記録媒体 120を備える方 式においても、特徴点三次元地図生成装置 110を地点探索ナビゲーシヨン装置 130 と分離して設ける場合と、特徴点三次元地図生成装置 110と地点探索ナビゲーショ ン装置 130を一体的に設ける場合とが実施できる。

さらに、図 31に示すように、第一実施形態で示した各種のオプション装置 300を備 えることができ、本発明のナビゲーシヨン装置を搭載する移動体の種類や、移動経路 、移動範囲、使用目的等に応じて、オプション装置 300を選択的に組み合わせて採

, 用することができる。

[0138] 次に、以上のようなリアルタイムナビゲーシヨン機能を備えケこ本実施形態のリアルタ ィムナビゲーシヨン装嗇 20Όの詳細について、図 34〜図 36を参照しつつ説明する。 - 図 34は、リアルタイムナビゲーシヨン装置の一実施形態の概略構成を示すブロック - 図であり、移動体として道 を走行する車両にリアルタイムナビゲーシヨン装置が搭 載される場合を説明する。 . なお、以下に示すリアルタイムナビゲーシヨン装置の各部における処理動作の具体 的な内容は、対応する第一及び第二実施形態における内容と同様である。

[0139] [基本形]

同図に示すリアルタイムナビゲーシヨン装置 200におレ、て、画像取得部 200— Q1 は、車両に積載されたカメラにより周囲画像を取得する。

画像一時記録部 200— 02は、画像取得部 200— 01で取得された周囲画像を一次 記録する。 特徴点抽出部 200— 03は、画像一時記録部 200— 02に記録された周囲画像から ' 特徴点を抽出する。

特徴点追跡部 200— 04は、 P舞接する画像の中に特徴点を追跡する。

[0140] 特徴点追跡座標テーブル作成部 200— 05は、特徴点追跡部 200— 04で追跡した 複数の画像内における特徴点の各座標を記録しておく。

ベクトル演算部 200— 06は、画像内の特徴点の各座標のいくつかを選択して、カメ ラベクトル及び特徴点分布を演算で求める。

絶対座標変換部 200— 07は、ベクトノレ演算部 200— 06における演算結果に、絶 ' 対座標を与える。

特徴点分布図内力メラベクトル表示部 200— 08は、絶対座標が付与された演算結 果を特徴点の三次元分布とともに表示する。

[0141] [基準対象物による絶対座標変換]

地図部 200— 09には、移動体を構成する車两の予定走行路が記載してある。

基準対象物データベース部 200— 10には、車両の走行路から見える位置にあり、 座標と形状が既知である基準対象物が記載してある。基準対象物としては、移動体 が車両であるので、例えば、走行路の交差点毎にある信号機等が好適である。この 基準対象物データベース部.200 10により、概略位置が分 ればその基準対象物 (信号機等）の仕様が かるようになる。サイズ等は規格化されているので、形式が分 かれば既知の基準対象物として使える。

基準対象物認識部 200マ11は、画像取得部 200— 01で取得される周囲画像の中 にあり、形状と座標が既知である基準対象物を画像内において認識する。 . 基準対象物位置演算部 200— 12は、基準対象物認識部 200— 11で認識された 基準対象物の画像内位置から、'その基準対象物の三次元座標を演算で求める。 絶対座標変換部 200— 13は、基準対象物位置演算部 200— 12で得られた基準 対象物の三次元座標と、基準対象物の既知データとを比較して、座標を絶対座標に 変換する。

合成表示部 200— 14は、変換されたカメラの絶対座標を、あら力、じめ用意した地図 等とともに合成して表示する。 [0142] [姿勢制御]

カメラ姿勢信号取得部 200— 15は、ベクトル演算部 200— 06で得られ カメラベク トルから、カメラの 3軸姿勢信号を検出する。

車両姿勢制御部 200— 16は、カメラ姿勢信号取得部 200— 15で検出されたカメラ 3軸姿勢信号により、車両の姿勢制御を行う。

カメラベクトルから、カメラの回転成分を抽出できるので、車両姿勢を計測することが できる。そして、車両姿勢が目的の位置を保つように、車両姿勢信号からフィードバッ ク信号を生成し、車両姿勢制御を行うことができる。 ' また、水平及び鉛直方向は、車両静止時又は等加速度運動時に、水準器等でキヤ リブレーシヨンが可能である。

[0143] [GPSによる概略位置特定]

GPSデータ取得部 200— 17は、 GPSによる位置データを取得する。

概略位置座標取得部 200— 18は、 GPSによる位置データによって、車両の概略 位置及び方向を特定し、画像取得部 200— 01で取得される周囲画像中の基準対象 物を特定する。

第一実施形態で示したように、本発明のナビゲーシヨンシステムは、既存の GPSの 位置精度より優れているため、 GPSによる位置データを概略位置取得のために用い ることで、位置の絞り込みが可能となり、演算に有利となる。また、 GPSによる位置デ '-一タによって緯度経度を取得して、カメラ位置を緯度経度で表示することが可能であ - る。さらに、 GPSデータを り込むことにより、例えば、特徴点が見つからないような場 合には、 GPSによるナビゲ^-シヨンによって走行することが可能となる。 .

[0144] [並列カメラによる絶対測定捕正]

上述した画像取得部 200— 01は、視野が重複するように並列に配置され、位置関 係が固定されている複数のカメラを積載したカメラによる並列画像を取得する機能を 付カロすることができる。

そして、特徴点追跡部 200— 04では、複数のカメラによる画像力 特徴点の対応 点を並列画像内に検索する機能を付加することができる。

これにより、ベクトル演算部 200— 06では、並列画像内の各対応点の座標から、特 徴点及びカメラベクトルの絶対長を演算で求める機能を付加することができる。この 場合、並列カメラにより、すべてのカメラ位置で絶対長を取得できるので、長距離計 測にぉレ、て誤差の蓄積が少なレ、計測が行える。

[0145] [移動体ベクトル演算]

移動体特徴点追跡部 200— 19は、特徴点静止座標系の特徴点を取り除レ、たもの を移動体の特¾点として扱う。

移動追跡座標テーブル作成部 200— 20は、追跡した特徴点のテーブルを生成す る。 . ' 移動体ベクトル演算部 200— 21は、移動体別の移動体ベクトルを演算し、静止座 標系に変換し、先に求められている静止座標系の特徴点と合成することで、静止座 標系の特徴点と、移動体のベクトルを重ねて表示する。

この移動体ベクトル抽出処理の詳細を図 35に示す。

[0146] 図 35 (a)において、静止座標系によるカメラベクトル決定部 S3401においては、既 にカメラベクトル、すなわち、カメラ位置と方向が三次元的に汆められている。

静止座標系以外の移動体特徴点抽出部 S3402において、すべての特徴点の中 から、静止座標系以外の特徴点を選択，抽出し、それらが移動体における特徴点を 含むものと判断して、特搏点 定 ·カメラ移動とした特徴点追跡部 S3403において追 跡し、それをテーブル化 t'f一時保存し、'以下のプロセスで移動体の特徴点のベタト ルを演算で求める。

[0147] まず、特徴点は移動体で るから移雷カしている力 カメラから見れば、はじめは静止 座標系か移動座標系かの判断はできないので、すべて静止座標系の特徴点として . 扱うことになる。

特徴点固定 'カメラ移動とした特徴点追跡部 S3403において、特徴点の追跡を行 レ、、移動体特徴点追跡テーブル作成部 S3404により、特徴点追跡のテーブルを生 成する。.このテーブルには、移動体毎に異なるカメラ位置のグループが生成される。 'カメラは一つでも、移動体は特徴^の一群として観察され、その一群が一つのカメラ 位置に対応するように、移動体に対応する特徴点毎にカメラ位置が異なる場所に複 ' 数観'察されることになる。 [0148]' 特徴点座標系からみた複数のカメラ位置分類部 S3405において、レ、くつかのカメ ラ位置が求まり、それカメラ位置毎に移動体が分類される。カメラ位置毎に一群とする 特徴点の分類部 S3406において、特徴点を移動体毎に分類する。

カメラ位置と移動体は相対運動であるから、いつでも座標変換が可能である。そこ で、静止座標系からみた各特徴点群の座標系決定部 S3407において、カメラを元の 静止座標系表示に戻すことで、各移動体による特徴点群及び座標決定部 S3408に おいて、移動体毎の特徴点の座標も静止座標系に変換することができる。これにより 、移動体抽出部 S3409において、移動体を静止座標系の中に三次元的に抽出する ことができるようになる。

はじめから静止座標系を元として演算することもでき、その場合には、図 35 (b)に示 すようになる。 ：

[0149] 以上のようなリアルタイムナビゲーシヨン装置によれば、リアルタイム性を追求するた めに、演算を簡素化しており、大きなノヽ一ドディスク等の記録媒体を用いない。特徴 点を抽出して、カメラベクトルと特徴点を抽出し、特徴点の中から適切なもののみを演 算に使用し、他は表示のみとすることで、十分に多くの特徴点の分布図は大まかな 三次元形状の地図として生成する。 - そして、その中にカメラ;^ク,トノレ 表示することで、走行位顰を道路及び周辺の形状 の.中に、表示することが ¼きる。また、特徴点の中から演算用の特徴点を選択するこ とで、演算スピードを上げることができる。

[0150] . 図 36に、リアルタイムナビダーシヨン装置の応用例として、自動離着陸装置を示す 。同図は、本実施形態に係 リアルタイムナビゲーシヨン装置を、航空機の自動離着 . 陸装置 (又は案内装置)とじて応用した例を示している。

同図に示す例では、航空機の地上側の任意の位置に広角のカメラを取り付けてお く。カメラは地上側を撮影し、滑走路を一部その視界にとらえている。

カメラによって撮影した映像の中に十分多くの特徴点を自動検出し、追跡し、航空 機の三次元的位置と姿勢を演算によって求める。 ，

また、位置の再確認と位置精度の向上を目的として、地上に既知の対象物をもとら え、データベースに保存してある既知の部'品と比較し、それを映像中に認識し、名称 と形状と座標を確認する。

[0151] このようにして、絶対座標を取得し、航空機位置と姿勢は、地上の滑走路との位置 ' 関係として、高精度で三次元的に完全に関係付けられることになる。

航空機の目的の理想進路を設定し、本ナビゲーシヨン装置で取得された航空機の 実際の進路とのズレを検出し、制御することで、理想の進路近くの進入路を自動的に 得ることができるようになる。航空機の離陸においても全く同様に制御することができ る。 . ·

以上と同様の本ナビゲーシヨン装置の応用例としては、例えば、（1)自動離着陸装 置、（2)宇宙船自動ドッキング装置、（3)列車車両の自動停止位置確保装置、（4)車両 の自動駐車装置、（5)船舶自動接岸装置などに適用することができる。

[0152] 以上、本発明のナビゲーシ,ヨン装置について、好ましい実施形態を示して説明した 、本発明に係るナビゲーシヨン装置は、上述した実施形態にのみ限定されるもので はなぐ本発明の範囲で種々の変更実施が可能であることは言うまでもない。

例えば、本発明のナビゲーシヨン装置は、三次元地図を持つことから、適用する移 動体は、地上を走行する車両に限らず、三次元空間を航行するものであっても良い - 。飛行機でも利用可能であるから、着陸時の精度の高いナビゲーシヨンが可能である 。また、宇宙船から見え Mや星座を特徴点として、 宙規摸でのナビゲーシヨンも 可能である。 ,

産業上の利用可能性

[0153] . 以上のように本発明は、例えば、自動車に搭載されるカーナビゲーシヨン装置、飛 行機に搭載されるナビゲー ¾：ヨン装置、自動運転用のナビゲーシヨン装置、ロボット のナビゲーシヨン装置などに好適なナビゲーシヨン装置として利用することができる。

Claims

請求の範囲

[1] ナビゲーシヨン対象となる移動体力 観察される範囲における映像的な特徴点を三 次元座標で記録した記録媒体と、

ナビゲーシヨン対象となる移動体に備えられたカメラにより得られる現実の映像を、 前記記録媒体を再生して得られる映像的な特徴点の三次元座標と比較し、現実の 映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三 次元座標上の位置、速度、加速度、視点方向、 3軸回転姿勢、 3軸回転速度、 3軸回 転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目 を出力する地点検索ナビゲーシヨン装置と、

を備えることを特徴とするナビゲーシヨン装置。

[2] 前記記録媒体に記録される情報は、

移動体力 観察される範囲における映像的な特徴点の種類とその三次元座標と、 前記映像的な特徴点を含む小領域の二次元画像の三次元配置とその三次元座標 と、

前記映像的な特徴点を含む対象物の形状とその三次元座標と、

前記映像的な特徴点以外の移動体の移動に必要な周辺画像， CG等の形状と三 次元座標と、 , 移動体が移動する道路，車两走行路，又は予定航路等の画像， CGとその三次元 形状及びその三次元座標と、を含み、

これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれら の属性情報を含んで、三次元地図とともに記録される請求項 1記載のナビゲーシヨン '

[3] ■前記地点探索ナビゲーシヨン装置は、

前記記録媒体を再生する特徴点 3D地図再生部と、

移動体の概略の現在位置を指定し、初期設定時の搮索範囲を限定十る概略現在 位置指定部と、

前記記録媒体に記録された三次元地図から、移動体の現在地周辺の複数の特徴 点を読み出し、現在地の探索目標として指定する現在地周辺特徴点指定部と、 ナビゲーシヨン対象となる移動体に備えられたカメラから当該移動体周囲の映像を 取得するカメラ映像取得部と、

前記カメラ映像取得部で取得された映像を記録する映像一時記録部と、 前記映像一 Bき記録部に記録された映像内に、前記探索目標と同一物となるべき特 徴点の候捕を探し出す映像内特徴点探索部と、

前記映像内特徴点探索部で得られた特徴点の候補と、前記現在地周辺の探索目 標とを比較照合して同一物としての対応関係を求め、前記候補の中から所定数の対 応点を決定し、決定された対応点の三次元座標を前記記録媒体から受け取る映像 内特徴点対応部と、

前記決定された対応点とその三次元座標を用いて、移動体の現時点の状況を示 すカメラ位置，方向，姿勢等の三次元データを演算により決定するカメラ座標演算部 と、

前記カメラ座標演算部で決定された三次元データの組み合わせ又はそのすベてを 、単独で又は前記記録媒体に記録された地図、映像、属性等の情報とともに画面上 に表示する現在地点表示部と、 '

を備える請求項 1又は 2項記載のナビゲーシヨン装置。 -

[4] 記録媒体生成用の移動/本に備えられたカメラにより得られる現実の映像に基づき、 当該移動体から観察さ る範囲 (こおける映像的な特徴点を三次元座標で記録した、 前記記録媒体に記録すべき情報を生成する特徴点三次元地図生成装置を備える請 求項 1又は 2記載のナビゲ 7シヨン装置。

[5] 前記特徴点三次元地図生, ^装置は、

前記記録媒体生成用の 動体に備えられたカメラから当該移動体の周囲画像を取 得するカメラ映像取得部と、

前記カメラ映像取得部で取得された画像を記録する映像記録部と、

前記映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する 特徴点抽出部と、

前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡 してフレーム画像間での対応関係を求める特徴点対応処理部と、 前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求め るとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求め る特徴点 ·カメラベクトル演算部ど、

前記特徴点'カメラベクトル演算部において求められる各特徴点の三次元位置座 標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施し た特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、 前記誤差最小化部で誤差の最小化処理が施され,たカメラベクトルと特徴点又はそ の特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナ ' ビグーシヨン対象となる移動体の通路とともに三次元地図として配列し、特徴点を含 む対象物等とともに、前記記録媒体に記録する 3D地図生成記録部と、

を備える請求項 4記載のナビゲーシヨン装置。

[6] ナビゲーシヨン対象となる移動体に備えられたカメラにより得られる現実の映像に基 づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で生 成するとともに、当該三次元座標からカメラベクトルを生成し、

, 生成された三次元座標に基づいて三次元地図を生成しつつ、特徴点の三次元分 布及ぴ当該移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点 方向、 3軸回転姿勢、 3 回 速度、 3軸回転加速度を含む所定項目のうち、いずれ か又はそれらを組み合^せこ複数の項目を出力する特徴点三次元地図生成表示装 ¾

を備えることを特徴とする ピゲーシヨン装置。

[7] 前記特徴点三次元地図生成表示装置は、 .

移動体に備えられたカメラ力ら当該移動体の周囲画像を取得するカメラ映像取得 部と、

前記カメラ映像取得部で取得された面像を記録する映像記録部と、

前記映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する 特徴点抽出部と、

前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡 してフレーム画像間での対応関係を求める特徴点対応処理部と、 前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求め るとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求め る特徴点 ·カメラベクトル演算部と、

前記特徴点 ·カメラベクトル演算部において求められる各特徴点の三次元位置座 標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施し た特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、 前記誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はそ の特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナ ' ビグーシヨン対象となる移動体の移動軌跡又は必要に応じて移動予定路とともに三 次元地図として配列し、特徴点を含む対象物等とともに表示する 3D地図生成表示 部と、 ：

を備える請求項 6記載のナビゲーシヨン装置。

[8] 前記特徴点'カメラベクトル演算部は、

カメラベクトル及び特徴点の三次元座標演算に用レ、る任意の二つのフレーム画像 Fn及び Fn+m (m=フレーム間隔）を単位画像として、所望の特徴点の三次元座標 とカメラベクトルを求める単位演算を繰り返し、 ' - 前記二つのフレーム呵像 Fn及び Fn+mの間のフ ーム 1|F像については、簡素化 した演算 (こよりカメラベタ レ及ぴ特徴点の三次元座標を求め、

前記誤差最小化部は、

画像の進行とともに nが連 的に進行することにより、同一特徴点について複数回 演算されて得られる各カメラべ外ルと特徴点の三次元座標の誤差が最小になるよう . にスケール調整して統合し': "最終の三次元座標を決定する請求項 5又は 7記載のナ ビゲーシヨン装置。

[9] 前記特徴点 ·カメラベクトル演算部は、

前記フレーム間隔 mを、カメラから特徴点までの距離に応じて、カメラから特徴点ま での距離が大きいほど mが大きくなるように設定して単位演算を行う請求項 8記載の ナビゲーシヨン装置。

[10] 前記特徴点'カメラベクトル演算部は、 求められたカメラベクトル又は特徴点の三次元座標の誤差の分布が大きい特徴点 を削除し、必要が有れば、他の特徵点について再演算を行い、三次元座標演算の 精 itを上げる請求項 5又は 7記載のナビゲーシヨン装置。

[11] 前記記録媒体と前記地点探索ナビゲーシヨン装置が離間して備えられ、 .

基地局又は他の移動体に備えられた記録媒体に記録された前記所定の三次元情 報が、通信回癱を介して一又は二以上の地点探索ナビゲーシヨン装置に送信される 請求項 1又は 2記載のナビゲーシヨン装置。

[12] 前記地点探索ナビゲーシヨン装置は、 GPSによって得られた緯度経度高度データ により、前記概略現在位置指定部による移動体の概略の現在位置を指定する請求 項 1又は 6記載のナビゲーシヨン装置。

[13] 前記地点探索ナビゲーシヨン装置は、前記カメラ座標演算部で得られた現時点の ' 移動体状況を示すカメラ位置，方向，姿勢等の三次元データを、緯度経度高度に変 換して GPSを捕正する補正信号として出力し、映像的特徴点が得られない場合に G

PSから位置データを得るための捕助信号とする請求項 12記載のナビゲーシヨン装 置。

[14] 前記ナビゲーシヨン対象となる移動体は、自動車，航空機，船舶，人，ロボット，重 . 機，宇宙船，深海探査船，移動部分を持つ機械等である請求項 1又は 6記載のナビ ゲーシヨン装置。