WO2004048895A1

WO2004048895A1 - 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置

Info

Publication number: WO2004048895A1
Application number: PCT/JP2003/014815
Authority: WO
Inventors: Zhencheng Hu; Keiichi Uchimura
Original assignee: Kumamoto Technology & Industry Foundation
Priority date: 2002-11-22
Filing date: 2003-11-20
Publication date: 2004-06-10
Also published as: JPWO2004048895A1; AU2003302447A1

Abstract

画像データ生成部(405)は、道路形状データと道路形状モデルとの照合を行うことにより、姿勢データを推定すると共に、ナビゲート情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成して表示するための映像(画像)データを生成する。映像表示部(5)はその映像データに基づいた表示を行う。ナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことができ、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能になる。

Description

明細書移動体ナビゲ一卜情報表示方法および移動体ナビゲート情報表示装置技術分野

本発明は、いわゆるカーナビゲーション装置およびそれによるカーナビゲート情報の表示方法のような移動体ナビゲ一ト情報表示方法および移動体ナビゲート情報表示装置に関する。背景技術

自動車車両のような移動体の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して、行き先や道順など種々の案内情報の表示や音声出力を行うという、いわゆるカーナビゲ一シヨン装置のような移動体ナビゲ一卜装置が開発されている。

このような従来のカーナビゲーション装置では、車速センサからの車速パルスおよび地磁気センサからの地磁気による方角に基づいて、予め C D— R O Mのような記憶手段にデ一夕として格納されている地図上を自律航法制御部でトレースするとともに、 G P S (Gl obal Pos i t i oni ng Sys tem) 衛星から伝送される G P S信号に基づいて当該移動体の現在位置の確認を行う。この分野での開発初期のカーナビゲーシヨン装置では、計測誤差等の要因から、実際の走行位置と地図上での卜レース位置とが有意にずれてしまい、例えば実際には海岸線寄りの道路を走行中に、力一ナビゲーシヨン装置によって検出された自車の走行位置は海の中が示されている、といった明らかな誤動作（誤検出）などもあったが、このような有意の位置ずれが生じる場合には、位置補正（マップマッチング）を行うようにする技術などが開発されて、現在では自車の走行位置の検出精度は十分なものとなってきている。そしてこのようにして得られた自車の現在位置の情報と C D 一 R O Mなどの大容量データ記憶手段から得た地図情報とを重ね合わせることで、現在位置とその付近の所定範囲内の道路地図とを表す画像を、例えば液晶表示装置のような画像表示装置の画面に平面的な地図のような 2次元画像として表示すると共に、自車位置、進行方向、速度、地図情報、進路案内、最短経路、道路情報などのようないわゆるナビゲート情報を 2次元画像の地図に重ね合わせて、あるいは 2次元画像の地図の中の該当する位置に嵌め込んで、表示するようにしている。

従来のナビゲ一ション表示装置では、 2次元画像の道路平面地図または周囲景観を 3次元 C G化して立体的に表した道路地図中に、矢印などのアイコンで表示される走行位置および走行方向や、現在位置から目的地までの推奨ルート（最適経路）などの情報の画像を、重ねて表示するものもある。またさらには、道路交通情報受信機（V I C S ) などから得られる道路渋滞情報等をテキストラベルで画面上に表示するものもある。

ところが、このような従来の技術では、平面的（2次元的）な簡略化された地図や 3次元表現であっても C Gによって抽象的に簡略化して表現された画像を用いた間接的なナビゲ一ト情報しか提供することができないので、自動車に乗って運転しているドライバーにとっては、例えば現在位置や進路案内などの情報と実際にフロントガラス越しに見えている景観中の道路との対応関係が直観的には判りにくいという不都合がある。

これらの不都合を解決するために、地図情報の他に実写映像を利用するナビゲーション装置が、例えば特開平 1 0— 1 3 2 5 9 8号公報、特開平 1 1— 3 0 4 4 9 9号公報などによって提案されている。

特開平 1 0— 1 3 2 5 9 8号公報は、移動体の現在位置と進行方向を検出し、その検出された現在位置および進行方向に対応して表示すベきナピゲ一ト情報を選択し、車両のフロントガラスを通して見える進行方向前方の景観とほぼ相似したカメラアングルから撮像装置によって撮像された実写映像と、そのときの自車両の現在位置に対応して読み出されたナビゲート情報の画像とを重畳させて、例えば液晶表示パネルの画面などに表示することで、実際の道路およびその周囲の景観の映像とナビゲート情報との対応関係を視覚的に判りやすいものにして表示する、というものである。

また、一般的なカーナビゲ一シヨン装置ではナビゲート情報は主として映像表示部に映し出される映像情報であることから、運転者は運転中において注意力が散漫となりやすい虞がある。

そこで、特開平 1 1— 3 0 4 4 9 9号公報では、車体の前方を撮影する C C D カメラのような撮像装置を、例えば車両のフロントガラスの天井寄りの位置またはダッシュポー卜付近などに設けておき、その撮像装置によつて撮影された車体の前方の道路を含んだ景観の映像（画像）を、地図情報を表示する画面中の所定位置に子画面として嵌め込んで表示するという技術が提案されている。

この技術によれば、車両のドライバ一は運転中に画像表示装置の画面に表示された地図などのナビゲート情報を見ている状態でも、その画面内の所定位置に子画面として映し出された前方の景観の実写映像を見ることで、前方の景観に視線を戻さなくとも車両の前方状況を把握することができる。

また、その小画面の実写映像中に映し出される障害物が大きいと判断された場合や横から急に飛び出して来た物体があった場合などには、子画面の外形寸法 (画面サイズ）を大きくして表示するように設定したことで、前方の危険性の高い状態の発生を即座に視覚的にドライバーに伝えると共に、その危険性の高い前方状況をドライバーに対して高い視認性で見せるようにすることができ、延いてはさらなる安全運転を確することを可能とする、といった技術なども提案されている。

また、先行車両判定や自動操舵を行うためには、移動体の前方の道路等を含んだ景観をさちに正確にデータとして把握することが必要になるので、画像道路情報と地図道路情報を用いて 3次元道路形状を推定するという技術が、例えば特開 2 0 0 1 - 3 3 1 7 8 7号公報によって提案されている。この特開 2 0 0 1— 3 3 1 7 8 7号公報は、自車両の前景の画像データから抽出される画像道路形状と自車両の周辺の地図データとを、 3次元または 2次元で構成された一つの論理空間に投影し、この投影された双方の道路形状の論理空間における重なり状態に基づいて、道路形状、路面に対する自車両の姿勢、自車両の絶対位置などを推定する、というもので、単眼の C C Dカメラで撮影した映像に基づいて十分に正確な道路形状の推定を行って、正確な先行車両判定や自動操舵を実現する、というものである。

しかしながら、上記の特開平 1 0— 1 3 2 5 9 8号公報では、以下に述べるような問題点がある。すなわち、第 1に、画像情報は単純に背景映像として使われるだけであり、例えば行先表示の矢印の画像は画面の中央部から表示を開始して、車両の進行に連れて景観の後方（一般に表示画面の上側から下側）へと画面の中央部を例えば直線的に移動するように表示されるだけなので、例えばカーブした道路でのナビゲート情報の表示や、両側 4車線のような多車線が設けられている道路では、ナビゲート情報の表示が景観中のどの位置を正確に示しているのか判別できなかったり、あるいは全くずれた位置を指し示していたりすることになる場合があるという問題がある。

また、第 2に、カメラの姿勢パラメータはカメラの光軸の地面（あるいは水平方向）に対する角度として予め固定的に設定されているので、例えば走行中の車両の振動、操舵による車両のローリングやピッチング、上り坂や下り坂での車両の傾きなどに起因してカメラの姿勢が変化することに起因して、例えば右折位置のような道順や進行方向の矢印などによるナビゲート情報の画像は、実際の景観を撮影してなる映像に対して大幅にずれてしまい、実質的に誤った方向を指し示すことになつたり、どの位置で右折すればよいのかを示しているのかが判然としない表示となってしまうという問題がある。

例えば、第 8図に示した一例では、ナビゲート情報の画像である矢印 9 0 1は、明確に前方景観中の道路での左折位置を示しているように見える。しかし、一般的な乗用車や、運転席が高い位置にあるバスやトラックのような車両であっても、実際に車両の運転席からフロントガラス越しに見える道路の景観は、第 8図に示したような高い位置から見下ろしたような鳥瞰図的なものとはなり得ない。換言すれば、地上 1 0 mあるいはそれ以上の高さの、例えばジャンボジェット機のコックピットなどのように、自動車車両の運転席としては有り得ないような極めて高い位置にある運転席など以外からは、ビルディングゃ住宅などの建物が並んでいる景観における道路の映像を、第 8図に示したような曲り角やビルディングの裏の道までが鳥瞰図的に見渡せるように撮影することは、実際上不可能である。実際には、高々 l m前後の高さに運転者の視線が位置する一般的な乗用車や、高くても 2ないし 3 m程度の高さに運転者の視線が位置する大型トラックやバスのような一般的な自動車車両では、第 9図に一例を示したように、特に前後方向の密度が詰まっており、かつ進行方向の道路に対して交差する道路が沿線のビルデイング等で隠れてしまって見辛い傾向の景観（および実写映像）となる場合が多い。

第 1 OA図は、一般的な車両の運転席からの例えば lm程度の高さの視線における単位角度変化（路面に対する姿勢） Δ 0ε に対する路面への投影射像の変化の度合い（ALA) を模式的に表したものである。これに対して、第 1 0 B図は、第 1 OA図よりも高い例えば 1 Om程度の高さの視線における単位角度変化（路面に対する姿勢） A 0e に対する路面への投影射像の変化の度合い（ALB) を表したものである。この第 1 0 A図および第 1 0 B図に示したように、低い位置からの投影射像の変化の度合い（これが低い位置から撮影した場合の姿勢変化 Δ 0e に対する位置のずれの大きさに相当する） ALA と、高い位置からの投影射像の変化の度合い（これが高い位置から撮影した場合の姿勢変化 Δ 0εに対する位置のずれの大きさに相当する） ALBとでは、 ALA》LBであることが明らかである。このため、特開平 1 0— 1 32598号公報のように固定的な位置にナビゲート情報を重畳させて表示すると、車両の姿勢変化や、片勾配（カント； c a n t) など道路の立体的な形状等に因る道路に対する相対的な車両の姿勢変化などに起因して、ナビゲート情報の表示位置が実写映像での適切に表示すべき位置から大幅にずれるという事態が頻発してしまい、その結果、ナビゲート情報が景観中のどの位置を示しているのかなどをユーザー（運転者）が直観的に正確に把握することは困難あるいは不可能なものとなる。

さらに具体的には、特開平 1 0— 1 32598号公報のように景観の実写映像の画面中の中央線上のような固定的な位置にナビゲート情報の例えば矢印などを位置させるようにする技術では、車両の少しの姿勢変化でも景観の実写映像とナビゲート情報の画像との間でのずれが大幅なものとなり、またビルディングのような建物や樹木などの道路沿線で車両寄りにある景観によってそれよりも遠方の景観が遮られることが多いので、それに対処するためにさらに正確な位置にナビゲ一卜情報の画像を表示することが必要となるが、特開平 1 0— 1 32 598号公報ではそのような対処は不可能である。

また、実際には自動車のような移動体は一般に、走行中には車両のローリングやピッチングなどで頻繁に姿勢が変化することが多く、 'しかも上記のような理由から一般的な車両の高々 1乃至 3 m程度の高さからの景観中では、少しの姿勢変化でも大幅な位置ずれとなってしまうので、特開平 1 0— 1 3 2 5 9 8号公報の技術では、例えば道順を示す矢印のようなナビゲ一ト情報の表示位置が実写映像中での適正な表示位置から大幅にずれた状態になるという事態が多発する虞がある。しかも、そのような姿勢変化は、車両の駆動方式などの構造やエンジンの配置位置などで支配的に定まる重心位置の違いなどによって、車両の形式ごとで異なったものとなる場合が多いので、車両の形式ごとや姿勢変化の大きさや方向ごとで異なった対応をすることが必要となるが、そのような対応は特開平 1 0— 1 3 2 5 9 8号公報では不可能である。また、車体および運転者の身体を大きく傾斜させて曲線を通過する二輪車ゃスクー夕の場合には、車両の姿勢変化はさらに顕著なものとなるので、そのような二輪車向けのナビゲート装置の場合には、車両の姿勢変化に起因した表示位置のずれがさらに顕著なものとなってしまう。また、第 3に、道路地図データに附加されている道路名称、ランドマーク、病院などの道順案内などのナビゲートを行うに際して有力な目印となり得る場所を自車両の現在位置に基づいて 3次元的にリアルタイムに表示することが望ましいが、そのようなことは特開平 1 0— 1 3 2 5 9 8号公報では全く考慮されておらず、提案もされていない。しかも、第 9図に一例を示したように、道路沿線の目印となる建物は車両寄りの建物や景観などの背後に隠れて見辛いものとなる場合も多い。

特開平 1 1— 3 0 4 4 9 9号公報では、上記のような特開平 1 0— 1 3 2 5 9 8号公報に関するものと同様の問題点の他に、次のような問題点がある。すなわち、特開平 1 1 一 3 0 4 4 9 9号公報では、道路前方の景観の実写映像を子画面に表示するだけであるため、道路地図情報と実映映像との照合は、やはりドライバーが自分の頭の中で考えて行わなければならない。このため、例えば不慣れな (または初めて通るような）土地における交差や分岐等が多い道路を運転するドライバーにとっては、直観的にナビゲート情報を把握することが困難であり、延いてはユーザーが道順を間違ってしまったりナビゲート情報の意味する内容を誤認したり理解不能になったりする虞がある。特開 2 0 0 1— 3 3 1 7 8 7号公報では、次のような問題点がある。すなわち、特定な道路形状モデルがないため、多車線道路の場合では画像データから抽出する自車走行車線の中心線と道路地図データから推定する道路中心線との間で大きなずれを生じる可能性がある。また、自車走行車線の情報を推定できないので、車線変更や左折右折の際に正しいナビゲート情報を提供することができない。また、走行路面の片勾配は水平曲率に対応して変化するように設定されているという道路構造を考慮していないので、曲線道路では現在走行中の車線の隣の車線での路面に対する姿勢データの推定結果が大幅に変わってしまうこととなり、道路形状を正確に推定することができない虞がある。

また、画像からの道路特徴抽出を行うに際しては、道路形状の推定結果をフィードバックせずに単純にフレーム毎に微分フィルタによって輝度変化が大きい部分を白線として抽出するようにしているが、この手法によって得られる推定結果は天候の変化や路面上の影、汚れなどのような種々の環境的な要因の影響を極めて受けやすい。このため、道路特徴抽出データの表す道路形状モデルが実体の道路形状とは有意にずれた不正確なものとなる虞があるという問題などもある。本発明はかかる問題点に鑑みてなされたもので、その目的は、進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行って、ナビゲ一卜情報と実写映像また.は実視景観との対応関係をドライバ一が直観的に正確に認識することができるようにした、ナビゲート情報表示方法および移動体ナビゲ一ト情報表示装置を提供することにある。発明の開示

本発明による移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影するプロセスと、検出された移動体の現在位置に対応した移動体の運行に関するナビゲート情報を、予め道路地図デ一夕と関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、実写映像から景観中に含まれる道路の画像デ一夕である道路形状データを抽出するプロセスと、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載力メラまたは移動体の姿勢データを推定し、この姿勢データに基づいて移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定するプロセスと、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示するプロセスとを備えている。

また、本発明による移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影する撮像手段と、移動体の検出された現在位置に対応した移動体の運行に関するナピゲ一ト情報を、予め道路地図データと関連付けて記憶されていたナビゲ一ト情報の中から読み出し、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナピゲ一ト情報の撮影された実写映像における表示位置を決定し、撮影された実写映像のされた位置に読み出されたナビゲート情報を合成してなる画像を表示するためのデータを出力するデータ処理手段と、データ処理手段から出力されたデータに基づいて、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示する画像表示手段とを備えている。本発明による移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写映像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定する。そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示する。

このようにして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。

ここで、上記のナビゲート情報としては、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどが可能である。

また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示するようにすることなども可能である。

また、上記のデータ処理手段またはデータ処理を行うプロセスは、ナビゲート情報を 3次元拡張現実（Augmented Rea l i ty ) 空間内の仮想実体（vi r tual obj ec t) として表現し、既に得られた姿勢データに基づいて 2次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中に仮想実体として合成することなども可能である。このようにすることにより、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナゼゲ一ト情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すことが可能となる。

なお、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状デ一夕を遠近法的な 2次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な 2次元特徴空間の画像データに変換し、それらを 2次元特徴空間にて 2次元データどうしで照合して、被写体の道路の路面に対する車載力メラまたは移動体の姿勢デ一夕を推定するようにしてもよい。このようにすることにより、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、 3次元論理空間などで 3次元データ同士で行うといった情報量が極めて多くなりデータの高速処理が困難になる場合があることが想定されるような手法を用いなくとも、疑似 3次元的な 2次元特徴空間で 2次元データ同士で行うことができるので、その照合のプロセスの簡易化および高速化を達成することなどが可能となる。

なお、上記のカメラ姿勢データの出力を安定させるために、この姿勢データに、車体に付設された 3次元慣性センサから取得した角速度や加速度デー夕を統合するようにしてもよい。つまり、画像照合から求めた結果は直接的であり、高精度であるが、雑音や誤抽出に影響されやすい。その一方、 3次元慣性センサからの角速度や加速度データの累積で求めた結果は、累積誤差は高いが、安定しており、しかも高速である。この二つのセンサの統合によって、より安定した正確な車載カメラ姿勢データを求めることができる。

また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成するものとしてもよい。このようにすることにより、自動車車両のような移動体が多車線道路を走行している場合であっても、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲ ―ト情報を合成して表示することが可能となる。

また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアツプテープル（R S L ： Road Shape Look-up t ab l e) を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めて R S L値を算出し、その R S L値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにするこにより、天候の変化や路面上の影、汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。

また、上記の画像表示手段または画像表示を行うプロセスは、撮影された実写映像の中の適切であると決定された位置に読み出されたナビゲート情報を合成してなる画像を、例えばダッシュポートのほぼ中央部などに設置された力一ナビゲーション用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることが可能である。

あるいは、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成してなる画像を、いわゆる H U D (Head Up Di spl ay) 型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。

また、上記のデータ処理手段またはデータ処理を行うプロセスは、移動体の検出された現在位置に対応したナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、当該移動体の現在位置と道路地図デー夕とに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、車両に付けられた 3次元慣性センサ（ I N S ) から取得した方位データと統合し、統合した姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、その決定された位置に読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、上記の画像表示手段または画像表示プロセスは、ナビゲート情報の画像を移動体の運転席前面の透明窓の内側表面に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示するものであるようにすることなども可能である。図面の簡単な説明

第 1図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表した図である。

第 2 A図ないし第 2 D図は、 3次元車両座標系 V C Sおよび 3次元カメラ座標系 C C Sならびに 2次元投影画像座標系 I C Sの相対的位置関係を表した図である。

第 3図は、道路地図データによって表される点と線によるマツビングの一例を表した図である。

第 4図は、クロソィド曲線で近似してなる道路セグメント水平形状モデルを表した図である。

第 5図は、 2 D— 2 Dマッチングの際に用いられる道路水平形状モデルの一例を表した図である。

第 6図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。

第 7図は、中央処理部で行われる各種の演算に用いられる各種の数式を纏めて表した図である。

第 8図は、従来のナビゲートシステムにて表示可能であると主張されているナビゲート情報の画像を重畳してなる映像の一例を表した図である。

第 9図は、実際の自動車の運転席からフロントガラス越しに見える前方景観の一例を表した図である。

第 1 O A図は、一般的な車両の運転席からの視線における単位角度変化に対する路面への投影射像の変化の度合いを模式的に表し、第 1 0 B図は、第 1 0 A図よりも高い位置からの視線における単位角度変化に対する路面への投影射像の変化の度合いを表した図である。発明を実施するための最良の形態

以下、本発明の実施の形態について図面を参照して詳細に説明する。

第 1図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表したものである。なお、本発明の実施の形態に係る移動体ナビゲート情報表示方法は、この移動体ナビゲート情報表示装置の動作あるいは作用によって具現化されるものであるから、以下、それらを併せて説明する。

この移動体ナビゲート情報表示装置は、センサ入力部 1と、操作部 2と、地図管理部 3と、中央処理部 4と、映像表示部 5と、制御部 6とを、その主要部として備えている。

さらに詳細には、センサ入力部 1は、 CCD (固体撮像素子）カメラ 1 0 1と、 GP Sセンサ 1 0 2と、 I NSセンサ 1 0 3と、道路交通情報受信機（V I C S) 1 04とを備えている。 CCDカメラ 1 0 1はドライバーがフロントガラス越しに見る視線とほぼ同様のカメラアングルで車両前方の景観を撮影（撮像）するように、例えばこの移動体ナビゲート情報表示装置が搭載されている自動車のような移動体（以下、これを自車両または当該移動体もしくは自車とも呼ぶ）の運転席のダッシュボードの上または天井付近（図示省略）などに設置されている。この CCDカメラ 1 0 1は、例えば固定焦点距離の単眼方式のものであり、道路を含んだ前方の景観の画像を撮像してその画像信号を取り込む。取り込まれた画像信号は、中央処理部 4の画像メモリ（図示省略）にデータとして転送される。そして GP Sセンサ 1 02と I NSセンサ 1 0 3とで取得された当該移動体に関する走行方位のデータおよび車速データは、 CCDカメラ 1 0 1で取得された画像デ一夕と同期して、中央処理部 4へと転送—される。また、道路交通情報受信装置（V I C S) 1 04から受けられたデータも中央処理部 4に転送される。

操作部 2は、ユーザ一からのポタン操作またはリモコン入力装置（図示省略）などによって入力された操作命令に応答してシステム設定やモード変更などの命令を中央処理部 4に転送する。

地図管理部 3は、中央処理部 4からの読み出し命令に従って、操作部 2からの命令入力で指定された道路位置の各種情報を、所定の地理的領域の地図データを予め記録している地図デ一夕 CD 30 1から読み出して、中央処理部 4へと転送する。

中央処理部 4は、画像処理モジュール 40 1、測位処理モジュール 402、映像出力処理モジュール 40 3、制御出力処理モジュール 404という 4つのモジユールと、画像データ生成部 4 0 5とから、その主要部が構成されている。

画像処理モジュール 4 0 1は、車載 C C Dカメラの姿勢推定、走行車線追跡、害物検出、および車間距離計算などを行う。

測位処理モジュール 4 0 2は、センサ入力部 1からの方位及び車速を地図管理部 3の道路地図データとマップマッチングして、正しい道路位置情報の演算を行つてそのデータを出力する。

映像出力処理モジュール 4 0 3は、映像表示部 5における進路案内、自車位置、および地図情報を、 3次元拡張現実（Augment ed Real i ty) 空間内の仮想実体 (Vi r tual Obj ec t) として表現し、それを後述するような推定方法で求められた C C Dカメラ 1 0 1の姿勢パラメ一夕で 2次元道路映像へと投影して、移動体の前面の景観の実写映像と融合（合成）させる。また、悪天候状況での道路区画線強調表示や障害物などの危険表示などを行うためのデータ生成も行う。またさらには、道路地図に附加すべき情報として、例えば、ランドマーク、鉄道の駅、病院、ガソリンスタンドなどのような道順案内の際の目印となり得る物体の情報をアイコン化して、それをカメラ姿勢パラメ一夕を用いて道路の実写映像に投影する。

制御出力処理モジュール 4 0 4は、各解析結果を総合的に判断し、自車両に対する危険性の度合いに対応した警報等を出力するためのアラーム出力命令を、制御部 6に対して与える。

画像データ生成部 4 0 5は、主に画像処理モジュールおよび測位処理モジユールから出力されたデ一夕ならびに地図管理部 3から読み出された地図データに基づいて、自車両の現在走行中の走行車線認識、道路形状認識、障害物認識や、自車両の絶対路上位置認識、カメラ姿勢の推定などを行って、ナビゲート情報を実写映像中の適切な位置に合成して表示するためのデータを生成する。

映像表示部 5は、画像データ生成部 4 0 5によって生成されたデータに基づいて、ナビゲート情報を実写映像中の適切な位置に合成した映像（画像）を、例えば液晶表示パネルの画面に表示する。

制御部 6は、上記のようなアラーム出力命令に対応した警報等の出力の制御や、制御出力モジュールによる解析結果に対応した音声出力の制御、ブレーキの制御、操舵の制御などを、例えばそれらの制御量を調節するために設けられている各サ —ポモータ系などの動作を制御することによって行う。

次に、本発明による一実施の形態に係る移動体ナビゲート情報表示装置の、動作（機能）について説明する。

この移動体ナビゲ一卜情報表示装置では、自車両の現在位置を含む付近の地理に関する道路地図データを、 G P Sセンサ 1 0 2および I N Sセンサ 1 0 3ならびに測位処理モジュールによって検出された現在位置のデータに基づいて、画像データ生成部 4 0 5が、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成する。またそれと共に、実写映像から進行方向の景観中に含まれる道路の画像デー夕である道路形状データを、例えば道路の走行区分線の白線画像データ等に基づいて抽出する。

続いて、画像データ生成部 4 0 5は、道路形状データと道路形状モデルのデー夕とを照合して、 C C Dカメラ 1 0 1によって撮影される被写体となっている景観中の道路に対する C C Dカメラ 1 0 1の姿勢デ一夕（または自車両の姿勢データでも構わない）を推定する。なお、このとき、この姿勢データに、車体に付設された 3次元慣性センサから取得した角速度や加速度データを統合することが望ましい。

そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示することができるような画像データを生成する。

このようにして、画像データ生成部 4 0 5が、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定し、そのようにして生成された画像デ —夕に基づいて、映像表示部 5が、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成した表示を行うことができる。その結果、本実施の形態に係る移動体ナビゲート情報表示装置によれば、ナビゲ一ト情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することを可能とした映像を表示することができる。

ここで、上記のナビゲート情報とは、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどである。また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示することが望ましい。

また、画像データ生成部 4 0 5では、ナビゲート情報を 3次元拡張現実空間内の仮想実体として表現して、既に得られた姿勢デ一夕等に基づいて 2次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中の適切な位置に仮想実体として合成して、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナピゲ一ト情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すようにしている。

また、画像データ生成部 4 0 5では、道路形状データを遠近法的な 2次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な 2次元特徴空間の画像データに変換し、それらを 2次元特徴空間にて 2次元データ同士で照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定している。このように、姿勢データを推定するために行われる道路形状デ一夕と道路形状モデルのデータとの照合を、疑似 3次元的な 2次元特徴空間で 2 次元データ同士で行うようにしたことで、その照合のプロセスの簡易化および高速化が達成されている。

また、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成している。これにより、自動車車両のような移動体が多車線道路を走行しているときでも、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することができる。

また、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（RSL ： Road Shape Look-up table, 参照文献：胡振程「車載カメラの運動解析による複数移動体の抽出及び同時追跡に関する研究」熊本大学大学院自然科学研究科博士学位論文）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めて R S L値を算出し、その R S L値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることで、天候の変化や、路面上の影または汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。また、撮影された実写映像中の適切な位置にナビゲート情報を合成してなる画像を、例えばダッシュポートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置に表示するようにしてもよい。

または、撮影された実写映像における上記のような照合によって決定された適切な位置に、読み出されたナビゲート情報を合成してなる画像を、いわゆる HU D (Head Up Display) 型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。

あるいは、ナビゲート情報の画像を撮影された実写映像の中に合成するのではなく、上記のような照合によってナビゲ一ト情報の画像を表示するのに適切な位置であると決定された位置のデータを用いて、その位置に相当する運転席前面のフロントガラスの内側表面に、ナビゲート情報の画像を HUD的に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示してもよい。

次に、本発明に係る移動体ナビゲー卜情報表示装置および移動体ナビゲート情報表示方法の実施例について説明する。

第 2図 A〜第 2D図は、 3次元車両座標系 VC S (Xv, Yv, Ζν) および 3 次元カメラ座標系 CCS (Xc, Yc， Zc) ならびに 2次元投影画像座標系 I C S (xi, y i) の相対的位置関係を表したものである。ここで、 3次元車両座標系 VC Sの原点は車両後輪中央線の中点に位置しており、 Zv 軸は車両の中央線に、 Xv 軸， Yv 軸はそれぞれ左，上に指向するように、各々設定されているものとする。また、 3次元カメラ座標系 CC Sの原点は CCDカメラのレンズ中心点に位置しており、 Zc 軸はカメラの光軸に重なるように設定されているものとする。また、 2次元投影画像座標系 I C Sは Zc= f const (Zc= f なる平面）に位置しているものとする。

カメラ座標系 C C Sから画像座標系 I C Sへの変換関係は正投影である。従つて、第 7図に式 1に示したような行列による関係式として記述することができる。但し、 Pは CC S座標系内の座標 [Xc, Yc, Zc, 1 ] 、 pは I C S座標系内の座標 [xi, y i, 1 ] である。

Aは 3 X 4の投影マトリックスであり、一般に第.7図に式 2として示したように分解することができる。ここに、 Kはカメラ内部のパラメータマトリクスと呼ばれるもので、画像の横縦方向変形率（Sx， Sy) および画像中心点（uo, V 0) ならびに回転変形率によって定まるものである。この Kを第 7図に式 3 として表す。

カメラ姿勢マトリクス Mは、カメラ外部パラメ一夕マトリクスと呼ばれるもので、視点から対象モデル座標系への変換関係を示しており、一般に剛体の 3次元並進および回転変換によって第 7図に式 4として示したように表すことができるものである。ここに、 R11〜R33 (Rの要素全て）は回転パラメ一夕であり、 T x， Ty, Tz (Τの要素全て）は並進パラメータである。

ところでカメラ倍率は一般に 1で近似することも可能であることから、式 1 ~ 式 4に基づいて、'第 7図に式 5で示したような拘束式が成り立つ。

ここで、カメラ姿勢を代表する回転および並進の 6つのパラメータを姿勢べクトルで表示すると、画像座標系と車両座標系との投影関係は、第 7図の式 6で示したような数式で表現される。すなわち、式 6によれば、 2D— 3D空間における一つの対応点対（ρ， Ρ) は、カメラ姿勢データに対して第 7図に式 6で示したような一つの拘束式を決定することとなる。理論的には、このような 6つの対応点対があれば、カメラの姿勢を推定するためには十分である。

しかし、単純な単眼の C CDカメラによって撮像される前方景観のモノクロの実写画像データのみから 3次元空間の奥行きを正確かつ確実に推定することは、理論的に極めて困難あるいは不可能であるため、本実施例では、 2 D— 3 Dでの ( 2次元空間対 3次元空間照合による）マッチングを避けて、道路地図情報から多車線道路形状モデルを推定し、その多車線道路形状モデルを実写映像データから抽出された多車線道路形状データと 2 D— 2 D特徴空間でのマッチングに変換して、 2次元空間対 2次元空間での照合によってカメラ姿勢データを推定する。但し、このときの照合は 2 D— 2 D特徴空間でのマッチングのみには限定されないことは言うまでもない。この他にも、例えば前方景観の実写画像データ以外の情報源から 3次元空間の奥行きデータを正確かつ確実に推定し、そのデータを用いて 2次元空間対 3次元空間の照合を行うようにしてもよいことは言うまでもない。但し、その場合には、一般に処理すべきデータ量が 2 D— 2 D特徴空間でのマッチングの場合よりも多くなる傾向にあることは言うまでもない。

第 3図は、道路地図データによって表される点と線によるマツビングの一例を表したものである。道路地図データには一般にノードと呼ばれる道路セグメントの緯度経度と海抜などの 3次元位置情報、道路名称、等級、車線数、交差状況などが記録されている。道路幅は道路等級に基づいて推定することができる。また、一般に地図データに記載されたノード位置は道路中央線上にある。道路の構造は一般に、水平曲率と縦断曲率を用いる複雑曲面によって構成されている。

第 4図は、クロソイド（c l o tho i d) 曲線で近似してなる道路セグメント水平形状モデルを表したものである。このような道路セグメント水平形状モデルは、第 7図の式 7に示したような数式を用いてモデリングすることができる。ここで、式 7における c O i と c l i は、それぞれ水平曲線の初期曲率と曲率の変化パラメ一夕である。また n l i は上り車線数、 n r i は下り車線数、 w i はセグメント間の平均道路幅である。 L i はセグメント長さを示すものである。このモデルを用いて地図データに基づいて任意路上位置での道路形状モデルを簡易に極めて短時間で構築することができる。

車両の走行位置は一般に、道路中央線ではなく日本のような左側通行の慣習の国では左にオフセットしている場合が多いが、自車両の路上位置（車両座標系の原点から道路中央への偏移量）および向き（車両座標系の Z軸方向と道路水平接線との偏移角）の情報を用いることで、実際の走行位置が片車線にオフセットしていることに対応する道路中心線の道路水平形状モデルを、車両座標系 V C Sベースとした新しいモデルに変換することができる。

そして視認距離（実写映像として撮影されることが想定される領域）内の道路の路面が平坦であると仮定して、投影変換式である第 7図の式 6から、第 7図に式 8として示したような道路水平形状モデルの投影式を推定する。この第 7図の式 8では、 3次元の道路形状を言うなれば遠近法的に 2次元に投影したので、力メラ姿勢を推定するための照合方法としてデータ処理の繁雑化の虞のある 2 D— 3 Dマッチングを 2 D— 2 Dマッチングに簡単化することできる。

このように、本実施例では、道路地図データから推定される道路形状モデルと道路の実写映像から抽出される道路形状データとを 2次元の特徴空間で 2 D— 2 Dマッチングさせて最適な姿勢ベクトルを推定する。第 5図は、その 2 D— 2 D マッチングの際に用いられる道路水平形状モデルの一例を示したものである。なお、実際の道路環境では、太陽光線や人工照明などによる光の照射状況や天候状況等によつて車線の区切りを彔す道路白線の明度や色合いなどが大幅に変化する場合が多いため、道路形状モデルと実写映像から抽出された道路形状データとを直接的にうまくマッチングさせることができなくなる場合がある。そこで本実例では、道路白線ルックアップテーブル（R S L ) の概念を用いて、道路白線の明度値の代りにその存在確率を映像化することによって、高速かつ口バス卜な道路形状マッチングを実現することができる。

R S Lの値は、道路白線に近いほど高くなる。具体的な計算法としては、まず道路白線、区切り線、および道路領域の境界線候補を特徴領域として抽出し、画像を 2値化する（特徴領域に属する画素を 1とし、他の画素を 0とする）。そして第 7図に示した式 9を用いて各画素の R S L値を計算する。但しここに、 λ χ, γ は 2値化した画素値であり、 χ ί ,〗は R S L用の力一ネル係数である。雑音を抑制するために、カーネルサイズは通常 5又は 7に設定する。各係数は Gaus s in 分布式によって定める。カメラ姿勢推定の最終評価式を、第 7図の式 1 0に示す。ここに、 7? σ は道路水平形状モデルの 2次元投影点の集合である。この式 1 0によって、道路地図データに基づいて生成される道路形状モデルと実写映像から抽出される道路形状デー夕とを完全にマッチングする最高の R S L評価値を得ることができる。

6パラメータの姿勢ベクトル σ の最適値を求めるためには、種々のローカル極値サ一チ方法を用いることができるが、その中でも特に Ho o k eと J e e v e sの直接サーチアルゴリズムを好適に採用することができる（ R. Hooke and T. Jeeves. Direct search solution of numerical and statistical problems, " Journal of the Association for Computing Machinery (ACM) , p.212-229 (1961).) 。

このようにして求められたカメラ姿勢デ一夕は、ナビゲート情報を表示すべき位置を決定するためのデータの照合の際などに用いられる。また、このカメラ姿勢データはフィードバック量として次回の推定にも使用される。

第 6図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフロ一チャートである。

まず、 C CDカメラによって撮影された自車両の前方の道路を含んだ景観の実写映像のデータを取り込む（S 1) 。

またそれと共に、実写映像のデータの取り込みと同期して、 GP Sセンサおよび I NSセンサによって取得されたデータを取り込む（S 2) 。

そして、実写映像デー夕から道路の走行区分線などの白線や舗装面の境界線などの.区切り線領域を抽出して R S L値を算出する（S 3) 。

また、いわゆるマップマッチングによって自車両の現在位置（絶対位置）を求め（検出し）、その現在位置に対応した関連地図データを地図データ CDに記憶されている情報の中から読み出す（S 4) 。

実写映像として撮影されている景観中の道路に関する道路水平形状モデルを構築する（S 5) 。

更新されたカメラ姿勢べクトルに基づいて、道路水平形状モデルを遠近法的な 2次元空間に投影する（S 6) 。

道路映像の R S L表現と投影した道路水平形状モデルとのマッチングを行って評価値を求める（S 7) 。

得られた評価値が最大値であるか否かを判断する（S 8) 。このとき最大値と判断された場合には（3 8の丫）、そのときの姿勢ベクトルを出力し（S 9 ) 、その出力値を次回のサーチ起点としてフィードバックする（S 1 0 ) 。しかし最大値でなければ（S 8の N ) 、 Hooke & Jeeves 法によって姿勢べクトルを更新して（S 1 1 ) 再評価を行う（S 1 1〜 S 6〜S 8 ) 。このループは最大値が得られるまで（S 8の Yになるまで）繰り返される。なお、上記の評価値が最大となる姿勢べクトルと同時点で累積した角度および方位変化量をカルマンフィルタに入力して、統合した姿勢データを出力する。

また、以上の一連の動作は、次回のデータ取り込み〜処理の開始タイミングになると（3 1 2の丫）、再びデータ取り込みという第 1ステップから上記と同様の順を追って実行される。

以上、詳細に説明したように、本実施の形態に係る移動体ナビゲート情報表示装置または移動体ナビゲート情報表示手段によれば、ナビゲート情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成することができる。そしてその結果、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるような映像を、表示することが可能となる。

なお、上記実施の形態では、被写体として自車両の前方の景観を撮影し、その前方の景観に含まれている道路の実写映像にナビゲート情報を合成する場合について説明したが、この他にも、本発明の適用例としては、例えば実写映像（被写体）としては、本実施の形態のような道路の代りに、狭隘な地形に設けられた運河や港湾などを撮影すると共に、道路地図データの代りに航行予定の航路などの情報を含んだ電子海図データなどを用いて、操舵室の窓などから見える前方景観の実写映像の中に航行予定の航路などのナビゲート情報の画像を合成して表示することなども可能である。

以上説明したように、本発明の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置によれば、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写画像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状デ一夕を抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写画像における適切な表示位置を決定し、その撮影された実写画像の決定された適切な位置に、読み出されたナビゲ一ト情報を合成した画像を表示するようにしたので、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路め実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲ一ト情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となるという効果を奏する。

Claims

請求の範囲

1 . 移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、

検出された前記移動体の現在位置に対応した前記移動体の運行に関するナピゲ一ト情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、

前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、

前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、

前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成した画像を表示するプロセスと

を備えたことを特徴とする移動体ナビゲート情報表示方法。

2 . 前記道路形状データを遠近法的な 2次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な 2次元特徴空間の画像データに変換し、前記 2次元特徴空間で前記道路形状データと前記道路形状モデルのデ一夕とを 2次元データどうしで照合して、前記被写体の道路に対する前記車載力メラまたは前記移動体の姿勢データを推定する

ことを特徵とする請求の範囲第 1項記載の移動体ナビゲ一ト情報表示方法。

3 . 前記ナビゲート情報の表示位置を決定するプロセスにおいて、前記推定された移動体の姿勢データに、移動体に付設された 3次元慣性センサから取得した方位デ一夕を統合し、その統合した姿勢データに基づいて前記ナビゲート情報の表示位置を決定する

ことを特徴とする請求の範囲第 1項記載の移動体ナビゲー卜情報表示方法。

4 . 道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成することを特徴とする請求の範囲第 1項記載の移動体ナビゲート情報表示方法。

5 . 前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル（R S L ) を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めて R S L値を算出し、その R S L値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行うことを特徴とする請求の範囲第 1項記載の移動体ナビゲート情報表示方法。

6 . 前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲー卜情報を合成してなる画像を、画像表示装置の画面に表示する

ことを特徴とする請求の範囲第 1項記載の移動体ナビゲート情報表示方法。

7 . 前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示する

8 . 前記ナビゲート情報の画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示することで、前記ナビゲート情報の画像を前記運転席前面の透明窓から見える景観に合成して表示する

9 . 前記ナビゲート情報を 3次元拡張現実空間内の仮想実体として表現し、前記姿勢データに基づいて、前記 2次元特徴空間に変換してなる道路形状データの中で該当する位置に割り当てることで、前記ナビゲート情報を前記実写映像に合成する

ことを特徴とする請求の範囲第 1項記載の移動体ナビゲ一ト情報表示方法。

1 0 . 前記ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して前記撮影された実写映像に合成して表示することを特徴とする請求の範囲第 1項記載の移動体ナビゲート情報表示方法。

1 1 . 前記ナビゲート情報が、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである

1 2 . 移動体の現在位置を検出する現在位置検出手段と、

前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、

前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲ一卜情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状デーダを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢デー夕を推定し、前記姿勢データに基づいて、前記移動体の現在位置に対して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影されこ実写映像の前記決定された.位置に前記読み出されたナビゲート情報を合成してなる画像を表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲ一ト情報を合成した画像を表示する画像表示手段と

を備えたことを特徴とする移動体ナビゲート情報表示装置。

1 3 . 前記データ処理手段が、前記道路形状データを遠近法的な 2次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な 2 次元特徴空間の画像デ一夕に変換し、前記 2次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを 2次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定することを特徴とする請求の範囲第 1 2項記載の移動体ナビゲ一ト情報表示装置。

1 4 . 前記データ処理手段が、前記推定された移動体の姿勢データに、移動体に付設された 3次元慣性センサから取得した方位データを統合し、その統合した姿勢データに基づいて前記ナビゲート情報の表示位置を決定する

ことを特徴とする請求の範囲第 1 2項記載の移動体ナビゲー卜情報表示装置。

1 5 . 前記データ処理手段が、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する

ことを特徴とする請求の範囲第 1 2項記載の移動体ナビゲート情報表示装置。

1 6 . 前記データ処理手段が、前記道路形状モデルのデータと前記道路形状デ一夕とを照合するにあたり、道路ルックアップテーブル（R S L ) を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求'めて R S L値を算出し、その R S L値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行う

1 7 . 前記画像表示手段は、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を所定の表示画面に表示するものである

1 8 . 前記画像表示手段は、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成してなる画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示するものである

1 9 . 前記データ処理手段は、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナピゲ一ト情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路の画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに車両に付けられた 3次元慣性センサ（ I N S ) から取得した方位データを統合し、前記統合した姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲ一ト情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に前記読み出されたナピゲ一ト情報の画像を表示するためのデ一夕を出力するものであり、

前記画像表示手段は、前記ナビゲート情報の画像を、前記移動体の運転席前面の透明窓の内側表面に投射して表示することで、前記ナビゲ一ト情報の画像を前記運転席前面の透明窓から見える景観に合成して表示するものである

2 0 . 前記データ処理手段が、前記ナビゲート情報を 3次元拡張現実空間内の仮想実体として表現し、前記姿勢データに基づいて、前記 2次元特徴空間に変換してなる道路形状データの中で該当する位置に割り当てることで、前記ナビゲート情報を前記実写映像に合成する

2 1 . 前記ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して前記撮影された実写映像に合成して表示する - ことを特徴とする請求の範囲第 1 2項記載の移動体ナビゲート情報表示装置。

2 2 . 前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである