WO2006035755A1

WO2006035755A1 - 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置

Info

Publication number: WO2006035755A1
Application number: PCT/JP2005/017715
Authority: WO
Inventors: Zhencheng Hu; Keiichi Uchimura
Original assignee: National University Corporation Kumamoto University
Priority date: 2004-09-28
Filing date: 2005-09-27
Publication date: 2006-04-06
Also published as: US20080195315A1; US8195386B2; JPWO2006035755A1; JP4696248B2

Abstract

　ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができ、かつ、実写映像における例えば歩行者や道路工事中の現場の実写映像のような要注意な映像の視認性をナビゲーション情報の画像で妨げることのない移動体ナビゲート情報表示装置を提供することにある。画像データ生成部（４０５）は、道路形状データと道路形状モデルとの照合を行って、姿勢データを推定すると共に、ナビゲーション情報の画像を、移動体の前方の道路の実写映像中（または実景中）の適切な位置に正確に合成して表示するための映像（画像）データを生成し、３次元アイコン等として表示する。その映像データに基づいた表示を映像表示部（５）が行う。

Description

明細書

移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置技術分野

[0001] 本発明は、いわゆるカーナビゲーシヨン装置およびそれによるカーナビゲート情報の表示方法と呼ばれるような、移動体の現在位置の情報やそれに関連したナビゲーシヨンのための情報の収集 ·処理'表示等を行うための、移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置に関する。

背景技術

[0002] 自動車車両のような移動体の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して、行き先や道順など種々の案内情報の表示や音声出力を行うという、いわゆるカーナビゲーシヨン装置のような、移動体ナビゲート装置が開発されている。

[0003] このような従来のカーナビゲーシヨン装置では、車速センサーからの車速パルスおよび地磁気センサーからの地磁気による方角に基づ、て、予め CD— ROM (Comp act Disc Read Only Memory)のような記憶手段にデータとして格納されている地図上を自律航法制御部でトレースするとともに、 GPS衛星から伝送される GPS 信号に基づ、て当該移動体の現在位置の確認を行う。この分野での開発初期の力一ナビゲーシヨン装置では、計測誤差等の要因から、実際の走行位置と地図上でのトレース位置とが有意にずれてしま、、例えば実際には海岸線寄りの道路を走行中に、カーナビゲーシヨン装置によって検出された自車の走行位置は海の中が示されている、といった明らかな誤動作 (誤検出）なども、過去にはあった。しかし、そのような有意の位置ずれが生じる場合には、位置補正 (マップマッチング）を行うようにする技術などが開発されて、現在では、自車の走行位置の検出精度は十分なものとなつてきている。

[0004] このようにして得られた自車の現在位置の情報と、 CD— ROMなどの大容量データ記憶手段から得た地図情報とを、重ね合わせることで、現在位置とその付近の所定範囲内の道路地図とを表す画像を、例えば液晶表示装置のような画像表示装置の画面に平面的な地図のような 2次元画像として表示することが可能となっている。またそれと共に、自車位置、進行方向、速度、地図情報、進路案内、最短経路、道路情報などのような、いわゆるナビゲート情報を、 2次元画像の地図に重ね合わせて、ある Vヽは 2次元画像の地図の中の該当する位置に嵌め込んで、表示することなどが可能となっている。

[0005] 従来のナビゲーシヨン表示装置では、 2次元画像の道路平面地図または周囲景観を 3次元 CG化して立体的に表した道路地図中に、矢印などのアイコンで表示される走行位置および走行方向や、現在位置から目的地までの推奨ルート (最適経路)などの情報の画像を、重ねて表示するものもある。またさらには、 VICSセンサーなどから得られる道路渋滞情報等をテキストラベルで画面上に表示するものもある。

[0006] ところが、このような従来の技術では、平面的（2次元的)な簡略化された地図や 3次元表現であっても CGによって抽象的に簡略ィ匕して表現された画像を用いた間接的なナビゲーシヨン情報しか提供することができな、ので、自動車に乗って運転してヽるドライバーにとっては、例えば現在位置や進路案内などの情報と実際にフロントガラス越しに見えている景観中の道路との対応関係が直観的には判りにくいという不都合がある。

[0007] これらの不都合を解決するために、地図情報の他に実写映像を利用するナビゲーシヨン装置が、例えば特許文献 1、特許文献 2などによって提案されている。

[0008] 特許文献 1に開示された技術では、移動体の現在位置と進行方向を検出し、その検出された現在位置および進行方向に対応して表示すべきナビゲート情報を選択し、車両のフロントガラスを通して見える進行方向前方の景観とほぼ相似したカメラアングルカゝら撮像装置によって撮像された実写映像と、そのときの自車両の現在位置に対応して読み出されたナビゲート情報の画像とを重畳させて、例えば液晶表示パネルの画面などに表示する。そして、その結果、実際の道路およびその周囲の景観の映像とナビゲート情報との対応関係を視覚的に判りやすいものとして表示することが可能となると主張されている。また、一般なカーナビゲーシヨン装置では、ナビゲーシヨン情報は主として映像表示部に映し出される映像情報であることから、運転者は運転中にお、て注意力が散漫となりやす、虞がある。 [0009] そこで、特許文献 2では、車体の前方を撮影する CCDカメラのような撮像装置を、例えば車両のフロントガラスの天井寄りの位置またはダッシュボート付近などに設けておき、その撮像装置によって撮影された車体の前方の道路を含んだ景観の映像（画像)を、地図情報を表示する画面中の所定位置に子画面として嵌め込んで表示する、という技術が提案されている。この技術によれば、車両のドライバ一は運転中に画像表示装置の画面に表示された地図などのナビゲーシヨン情報を見ている状態でも、その画面内の所定位置に子画面として映し出された前方の景観の実写映像を見ることで、前方の景観に視線を戻さなくとも車両の前方状況を把握することできると説明されている。

[0010] また、その小画面の実写映像中に映し出される障害物が大きいと判断された場合や横力急に飛び出して来た物体があった場合などには、子画面の外形寸法 (画面サイズ)を大きくして表示するように設定したことで、前方の危険性の高い状態の発生を即座に視覚的にドライバーに伝えると共に、その危険性の高い前方状況をドライバ一に対して高い視認性で見せるようにすることができ、延いてはさらなる安全運転を確することを可能とする、 t 、つた技術なども提案されて、る。

[0011] また、先行車両判定や自動操舵を行うためには、移動体の前方の道路等を含んだ景観をさらに正確にデータとして把握することが必要になるので、画像道路情報と地図道路情報を用いて 3次元道路形状を推定するという技術が、例えば特許文献 3によって提案されている。この特許文献 3に開示された技術は、自車両の前景の画像データから抽出される画像道路形状と自車両の周辺の地図データとを、 3次元または 2次元で構成された一つの論理空間に投影し、この投影された双方の道路形状の論理空間における重なり状態に基づいて、道路形状、路面に対する自車両の姿勢、自車両の絶対位置などを推定するとヽぅもので、単眼の CCDカメラで撮影した映像に基づ、て十分に正確な道路形状の推定を行って、正確な先行車両判定や自動操舵を実現すると、うものである。

特許文献 1 :特開平 10— 132598号公報

特許文献 2：特開平 11― 304499号公報

特許文献 3 :特開 2001— 331787号公報発明の開示

[0012] し力しながら、上記の特許文献 1に開示された技術では、以下に述べるような問題点がある。すなわち、第 1に、画像情報は単純に背景映像として使われるだけであり、例えば行先表示の矢印の画像は画面の中央部力表示を開始して、車両の進行に連れて景観の後方 (一般に表示画面の上側力下側)へと画面の中央部を例えば直線的に移動するように表示されるだけである。

[0013] このため、例えばカーブした道路でのナビゲート情報の表示や、両側 4斜線のような多車線が設けられている道路では、ナビゲート情報の表示が景観中のどの位置を正確に示して、るのか判別できなかったり、あるいは全くずれた位置を指し示して!/ヽたりすることになる場合があるという問題がある。

[0014] また、第 2に、カメラの姿勢パラメータはカメラの光軸の地面 (あるいは水平方向）に対する角度として予め固定的に設定されているので、例えば走行中の車両の振動、操舵による車両のローリングやピッチング、上り坂や下り坂での車両の傾きなどに起因してカメラの姿勢が変化することに起因して、例えば右折位置のような道順や進行方向の矢印などによるナビゲート情報の画像は、実際の景観を撮影してなる映像に対して大幅にずれてしまい、実質的に誤った方向を指し示すことになつたり、右折位置が判然としな、表示となってしまう t 、う問題がある。

[0015] 例えば、図 13に示した一例では、ナビゲート情報の画像である矢印 901は、明確に前方景観中の道路での左折位置を示しているように見える。しかし、一般的な乗用車や、運転席が高い位置にあるバスやトラックのような車両であっても、実際に車両の運転席力もフロントガラス越しに見える道路の景観は、図 13に示したような高い位置から見下したような鳥瞰図的なものとはなり得ない。換言すれば、地上 10mあるいはそれ以上の高さの、例えばジャンボジェット機のコックピットなどのように、自動車車両の運転席としては有り得ないような極めて高い位置にある運転席など以外からは、ビルディングや住宅などの建物が並んでいる景観における道路の映像を、図 13に示したような曲り角やビルディングの裏の道までが鳥瞰図的に見渡せるように撮影することは、実際上不可能である。実際には、高々 lm前後の高さに運転者の視線が位置する一般的な乗用車や、高くても 2ないし 3m程度の高さに運転者の視線が位置する大型トラックやバスのような一般的な自動車車両では、図 14に一例を示したように、特に前後方向の密度が詰まっており、かつ進行方向の道路に対して交差する道路が沿線のビルディング等で隠れてしまって見辛、傾向の景観 (および実写映像)となる場合が多い。

[0016] 図 15は、（A)—般的な車両の運転席からの例えば lm程度の高さの視線における単位角度変化 (路面に対する姿勢） Δ Θ eに対する路面への投影射像の変化の度合い（ Δ LA)と、 (B)それよりも高、例えば 10m程度の高さの視線における単位角度変ィ匕 (路面に対する姿勢） Δ 0 eに対する路面への投影射像の変化の度合い（A LB)とを、模式的に比較して表したものである。この図 15に示したように、低い位置からの投影射像の変化の度合い (これが低い位置力撮影した場合の姿勢変化 Δ Θ eに対する位置のずれの大きさに相当する） A LAと、高い位置力もの投影射像の変化の度合い (これが高い位置力撮影した場合の姿勢変化 Δ Θ eに対する位置のずれの大きさに相当する） A LBとでは、 A LA > >LBであることが明らかである。このため、特許文献 1のように固定的な位置にナビゲート情報を重畳させて表示すると、車両の姿勢変化や、片勾配 (カント)など道路の立体的な形状等に因る道路に対する相対的な車両の姿勢変化などに起因して、ナビゲート情報の表示位置が実写映像での適切に表示すべき位置力も大幅にずれるという事態が頻発してしまい、その結果、ナビゲート情報が景観中のどの位置を示しているの力などをユーザー (運転者)が直観的に正確に把握することは困難あるいは不可能なものとなる。

[0017] さらに具体的には、特許文献 1のように景観の実写映像の画面中の中央線上のような固定的な位置にナビゲート情報の例えば矢印などを位置させるようにする技術では、車両の少しの姿勢変化でも景観の実写映像とナビゲート情報の画像との間でのずれが大幅なものとなり、またビルディングのような建物ゃ榭木などの道路沿線で車両寄りにある景観によってそれよりも遠方の景観が遮られることが多、ので、それに対処するためにさらに正確な位置にナビゲート情報の画像を表示することが必要となる力特許文献 1ではそのような対処は不可能である。

[0018] また、実際には自動車のような移動体は一般に、走行中には車両のローリングゃピツチングなどで頻繁に姿勢が変化することが多ぐし力も上記のような理由から一般的な車両の高々 1乃至 3m程度の高さからの景観中では、少しの姿勢変化でも大幅な位置ずれとなってしまうので、特許文献 1の技術では、例えば道順を示す矢印のようなナビゲート情報の表示位置が実写映像中での適正な表示位置から大幅にずれた状態になるという事態が多発する虞がある。

[0019] し力も、そのような姿勢変化は、車両の駆動方式などの構造やエンジンの配置位置などで支配的に定まる重心位置の違、などによって、車両の形式ごとで異なったものとなる場合が多いので、車両の形式ごとや姿勢変化の大きさや方向ごとで異なった対応をすることが必要となるが、そのような対応は特許文献 1では不可能である。また、車体および運転者の身体を大きく傾斜させて曲線を通過する二輪車やスタータの場合には、車両の姿勢変化はさらに顕著なものとなるので、そのような二輪車向けのナビゲート装置の場合には、車両の姿勢変化に起因した表示位置のずれがさらに顕著なものとなってしまう。

[0020] また、第 3に、道路地図データに附加されている道路名称、ランドマーク、病院などの道順案内などのナビゲートを行うに際して有力な目印となり得る場所を自車両の現在位置に基づいて 3次元的にリアルタイムに表示することが望ましいが、そのようなことは特許文献 1では全く考慮されておらず、提案もされていない。し力も、図 14に一例を示したように、道路沿線の目印となる建物は車両寄りの建物や景観などの背後に隠れて見辛、ものとなる場合も多、。

[0021] 特許文献 2の技術では、上記のような特許文献 1の技術の場合と同様の問題点の他に、次のような問題点がある。すなわち、特許文献 2では、道路前方の景観の実写映像を子画面に表示しているだけであるため、道路地図情報と実映映像との照合は、やはりドライバーが自分の頭の中で考えて行わなければならない。このため、例えば不慣れな (または初めて通るような）土地における交差や分岐等が多い道路を運転するドライバーにとっては、直観的にナビゲート情報を把握することが困難であり、延いてはユーザーが道順を間違ってしまったりナビゲート情報の意味する内容を誤認したり理解不能になったりする虞がある。

[0022] 特許文献 3の技術には、次のような問題点がある。すなわち、特定な道路形状モデルがな!/、ため、多車線道路の場合では画像データから抽出する自車走行車線の中心線と道路地図データ力推定する道路中心線との間で大きなずれを生じる可能性がある。また、自車走行車線の情報を推定できないので、車線変更や左折右折の際に正し、ナビゲーシヨン情報を提供することができな!/、。

[0023] また、走行路面の片勾配 (カント; cant)は水平曲率に対応して変化するように設定されて、ると!/、う道路構造を考慮して、な、ので、曲線道路では現在走行中の車線の隣の車線での路面に対する姿勢データの推定結果が大幅に変わってしまうこととなり、道路形状を正確に推定することができない虞がある。

[0024] また、画像力もの道路特徴抽出を行うに際しては、道路形状の推定結果をフィードバックせずに単純にフレーム毎に微分フィルタによって輝度変化が大き、部分を白線として抽出するようにしている力この手法によって得られる推定結果は天候の変化や路面上の影、汚れなどのような種々の環境的な要因の影響を極めて受けやすい。このため、道路特徴抽出してなるデータの表す道路形状モデルが実体の道路形状とは有意にずれた不正確なものとなる虞があるという問題などもある。

[0025] また、さらには、前方の実写映像にナビゲーシヨン情報の画像を合成するなどして表示する場合、例えばナビゲーシヨン情報の画像が、実写映像における歩行者やその他の障害物などのような要注意な映像と重なるなどして、その要注意な映像の存在の視認性を妨げてしまう虞がある。

[0026] 本発明は力かる問題点に鑑みてなされたもので、その目的は、進路案内、自車位置、地図情報などのナビゲーシヨン情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行って、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができ、かつ、実写映像における例えば歩行者や道路工事中の現場の実写映像のような要注意な映像の視認性をナビゲーシヨン情報の画像で妨げることのな V、ようにした、ナビゲート情報表示方法および移動体ナビゲート情報表示装置を提供することにある。

[0027] 本発明による第 1の移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報をユーザーによって設定された表示寸法および色調で合成した画像を表示するプロセスとを備えて、る。

また、本発明による第 1の移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、ユーザ一によつて設定された表示寸法および色調で表示される画像として合成してなる画像を表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づ!ヽて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、ユーザーによって設定された表示寸法および色調で表示される画像として合成して表示する画像表示手段とを備えている。

[0029] 本発明による第 1の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写映像力前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定する。そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に読み出されたナビゲート情報をユーザーによって設定された表示寸法および色調で合成してなる画像を表示する。

[0030] このようにして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲーシヨン情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲーシヨン情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。しかも、実写映像中に合成されるナビゲート情報の画像 (文字情報等も含めて画像と総称するものとする）の表示寸法および色調を、ユーザーが自らの好みに応じて適宜に設定することができるようにして!/、るので、ナビゲート情報の画像を実写映像中に合成してなる画像全体の視認性の低下が回避される。また、ユーザー自身がナビゲート情報の画像を自分にとって視認性の良、ものとなるようにカスタマイズすることが可能となる。

[0031] 本発明による第 2の移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との 3種類の分類を予め定義し、その各分類に対して優先順位を予め定めておき、前記ナビゲート情報が前記分類のうちのどれに該当するかを判別し、前記分類に対応した順序に従って、前記ナビゲート情報を、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスとを備えている。また、本発明による第 2の移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との 3種類の分類を予め定義し、その各分類に対して優先順位を予め定めておき、前記ナビゲート情報が前記分類のうちのどれに該当するかを判別し、前記分類に対応した順序に従って、前記撮影された実写映像の前記決定された位置に前記ナビゲート情報を画像として合成して表示するためのデータを出力するデータ処理手段と

、前記データ処理手段力出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報の画像を、前記分類に対応した順序に従って合成して表示する画像表示手段とを備えている。

[0033] 本発明による第 2の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、第 1の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置と同様にして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲーシヨン情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延、てはナビゲーシヨン情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。し力も、撮影された実写映像における決定された位置に、読み出されたナビゲート情報の画像を、上記のような優先順位に基づ、た分類に対応した順序に従って合成して表示するようにしているので、一度に多数のナビゲート情報の画像がーつの実写映像中に表示されることが回避され、延いてはナビゲート情報の画像を実写映像中に合成してなる画像全体の視認性の低下が防止される。

[0034] なお、上記の警告情報以外のナビゲート情報については、実写映像の中の警告対象物に対する移動体の現在位置が所定の距離内に入って以降に表示するようにしてもよい。このようにすることにより、ナビゲート情報の画像形成のためのデータ処理量が節約されると共に、ユーザーにとって必要なナビゲート情報の画像を、それが本当に必要となるまで近付いたときに、タイミング良く表示することが可能となる。

[0035] また、本発明による第 3の移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中力読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状デ一タとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を合成した画像を表示するプロセスであって、前記ナビゲート情報のうち、走行方向案内のためのグラフィック表示以外のナビゲート情報については、前記実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、前記仮想消失点または前記仮想地平線よりも上の領域に表示するプロセスとを備えている。

また、本発明による第 3の移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記ナビゲート情報のうち、走行方向案内のためのグラフィック表示以外のナビゲート情報については、前記実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、前記仮想消失点または前記仮想地平線よりも上の領域に合成して表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を合成して表示する画像表示手段とを備えている。

[0037] 本発明による第 3の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、第 1の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置と同様にして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲーシヨン情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延、てはナビゲーシヨン情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。し力も、ナビゲート情報のうち走行方向案内のためのグラフィック表示以外のナビゲート情報については、実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、仮想消失点または仮想地平線よりも上の領域に合成して表示するようにしてヽるので、道路や地面の実写映像の視認性をナビゲート情報の表示で妨げることがな!、。

[0038] また、本発明による第 4の移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中力読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状デ一タとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する 3次元アイコンとして、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスとを備えて！/、る。

[0039] また、本発明による第 4の移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を垂直軸または水平軸を中心に回転する 3次元アイコンとして合成してなる画像を表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する 3次元アイコンとして合成して表示する画像表示手段とを備えてヽる。

[0040] 本発明による第 4の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、第 1の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置と同様にして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲーシヨン情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延、てはナビゲーシヨン情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。し力も、ナビゲート情報の画像を、垂直軸または水平軸を中心に回転する 3次元アイコンとして、実写映像中に合成して表示するようにしたので、道路や地面の実写映像の視認性をナビゲート情報の表示で妨げることがない。

[0041] ここで、上記のナビゲート情報としては、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくとも

V、ずれか一つなどが可能である。

[0042] また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示するようにすればよい。

[0043] また、上記のデータ処理を行うプロセスまたはデータ処理手段は、ナビゲート情報を 3次元拡張現実 (Augmented Reality)空間内の仮想実体 (virtual object)として表現し、既に得られた姿勢データに基づいて 2次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中に仮想実体として合成することなども可能である。このようにすることにより、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すことが可能となる。

[0044] なお、上記のデータ処理を行うプロセスまたはデータ処理手段は、道路形状データを遠近法的な 2次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な 2次元特徴空間の画像データに変換し、それらを 2次元特徴空間にて 2次元データどうしで照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定するようにしてもよい。このようにすることにより、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、 3次元論理空間などで 3次元データどうしで行うと、つた情報量が極めて多くなりデータの高速処理が困難になる場合があることが想定されるような手法を用いなくとも、疑似 3次元的な 2次元特徴空間で 2次元データどうしで行うことができるので、その照合のプロセスの簡易化および高速ィ匕を達成することなどが可能となる。

[0045] また、上記のデータ処理を行うプロセスまたはデータ処理手段は、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されて!ヽると!ヽぅ道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成するものとしてもよい。このよう〖こすることにより、自動車車両のような移動体が多車線道路を走行している場合であつても、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することが可能となる。

[0046] また、上記のデータ処理を行うプロセスまたはデータ処理手段は、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル (RSL： Road Shaped Look-up table)を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めて RSL値を算出し、その RSL値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることにより、天候の変化や路面上の影、汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。

[0047] また、上記の画像表示を行うプロセスまたは画像表示手段は、撮影された実写映像の中の適切であると決定された位置に読み出されたナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーシヨン用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることが可能である。

[0048] あるいは、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成してなる画像を、いわゆる HUD (Head Up Display)型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。 [0049] また、上記のデータ処理を行うプロセスまたはデータ処理手段は、移動体の検出された現在位置に対応したナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、当該移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像カゝら景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、その姿勢データに基づヽて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、その決定された位置に読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、上記の画像表示手段または画像表示プロセスは、ナビゲート情報の画像を移動体の運転席前面の透明窓の内側表面に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示するものであるようにすることなども可能である

[0050] 以上説明したように、本発明の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置によれば、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写画像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定し、その姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写画像における適切な表示位置を決定し、その撮影された実写画像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示するようにしたので、例えば進路案内、自車位置、地図情報などのナビゲーシヨン情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲーシヨン情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となるという効果を奏する。し力も、実写映像における例えば歩行者や道路工事中の現場の実写映像のような要注意な映像の視認性をナビゲーシヨン情報の画像で妨げることを回避して、表示画像全体に亘つて視認性を良好なものとすることができる。

図面の簡単な説明

[図 1]本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表した図である。

[図 2]3次元車両座標系 VCSおよび 3次元カメラ座標系 CCSならびに 2次元投影画像座標系 ICSの相対的位置関係を表した図である。

[図 3]道路地図データによって表される点と線によるマッピングの一例を表した図である。

[図 4]クロソイド曲線で近似してなる道路セグメント水平形状モデルを表した図である。

[図 5]2D— 2Dマッチングの際に用いられる道路水平形状モデルの一例を表した図である。

[図 6]中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフロ一チャートである。

[図 7]中央処理部で行われる各種の演算に用いられる各種の数式を纏めて表した図である。

[図 8]最終的に表示される画像の一例を表した図である。

[図 9]合成画像中に表示される 3次元アイコンの回転を模式的に示した図である。

[図 10]実写映像の外側周囲に文字情報専用表示領域を予め設けた場合の画面構成の一例を表した図である。

[図 11]最終的に表示される画像の、他の（図 8とは別の）一例を表した図である。

[図 12]2つの 3次元アイコンを、互いに異なった位相で回転させて表示する状態を模式的に示した図である。

[図 13]特許文献 1にて表示可能であると主張されているナビゲート情報の画像を重畳してなる映像の一例を表した図である。

[図 14]実際の自動車の運転席力もフロントガラス越しに見える前方景観の一例を表した図である。

[図 15]—般的な車両の lm程度の高さの運転席力もの視線における単位角度変化に対する路面への投影射像の変化の度合、 (A)と、それよりも高、 10mのような高さからの視線における単位角度変化に対する路面への投影射像の変化の度合い (B)とを、模式的に比較して表した図である。

発明を実施するための最良の形態

[0052] 以下、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

[0053] 図 1は、本発明の移動体ナビゲート情報表示装置の概要構成を表したものである。

なお、本発明の実施の形態に係る移動体ナビゲート情報表示方法は、この移動体ナビゲート情報表示装置の動作あるいは作用によって具現ィ匕されるものであるから、以下、それらを併せて説明する。

[0054] この移動体ナビゲート情報表示装置は、センサー入力部 1と、操作部 2と、地図管理部 3と、中央処理部 4と、映像表示部 5と、制御部 6とを、その主要部として備えている。

[0055] さらに詳細には、センサー入力部 1は、 CCD (固体撮像素子)カメラ 101と、 GPSセンサ 102と、 INSセンサ 103と、 VICS104とを備えている。 CCDカメラ 101はドライバ一がフロントガラス越しに見る視線とほぼ同様のカメラアングルで車両前方の景観を撮影 (撮像)するように、例えばこの移動体ナビゲート情報表示装置が搭載されてヽる自動車のような移動体 (以下、これを自車両または当該移動体もしくは自車とも呼ぶ）の運転席のダッシュボードの上または天井付近（図示省略)などに設置されてヽる。この CCDカメラ 101は、例えば固定焦点距離の単眼方式のものであり、道路を含んだ前方の景観の画像を撮像してその画像信号を取り込む。取り込まれた画像信号は、中央処理部 4の画像メモリ（図示省略）にデータとして転送される。そして GPSセンサ 102と INSセンサ 103とで取得された当該移動体に関する走行方位のデータおよび車速データは、 CCDカメラ 101で取得された画像データと同期して、中央処理部 4へと転送される。また、道路交通情報受信装置である VICS 104から受けられたデータも中央処理部 4に転送される。 [0056] 操作部 2は、ユーザーからのボタン操作またはリモコン入力装置（図示省略)などによって入力された操作命令に応答してシステム設定やモード変更などの命令を中央処理部 4に転送する。

[0057] 地図管理部 3は、中央処理部 4からの読み出し命令に従って、操作部 2からの命令入力で指定された道路位置の各種情報を、所定の地理的領域の地図データを予め記録して!/、る地図データ CD301から読み出して、中央処理部 4へと転送する。

[0058] 中央処理部 4は、画像処理モジュール 401、測位処理モジュール 402、映像出力処理モジュール 403、制御出力処理モジュール 404という 4つのモジュールと、画像データ生成部 405とから、その主要部が構成されて、る。

[0059] 画像処理モジュール 401は、車載された CCDカメラ 101の姿勢推定、走行車線追跡、害物検出、および車間距離計算などを行う。

[0060] 測位処理モジュール 402は、センサー入力部 1からの方位及び車速を地図管理部

3の道路地図データとマップマッチングして、正、道路位置情報の演算を行ってそのデータを出力する。

[0061] 映像出力処理モジュール 403は、映像表示部 5における進路案内、自車位置、および地図情報を、 3次元拡張現実空間内の仮想実体として表現し、それを後述するような推定方法で求められた CCDカメラ 101の姿勢パラメータで 2次元道路映像へと投影して、移動体の前面の景観の実写映像と融合 (合成)させる。また、悪天候状況での道路区画線強調表示や障害物などの危険表示などを行うためのデータ生成も行う。またさらには、道路地図に附加すべき情報として、例えば、ランドマーク、鉄道の駅、病院、ガソリンスタンドなどのような道順案内の際の目印となり得る物体の情報をアイコン化して、それをカメラ姿勢パラメータを用いて道路の実写映像に投影する。

[0062] 制御出力処理モジュール 404は、各解析結果を総合的に判断し、自車両に対する危険性の度合いに対応した警報等を出力するためのアラーム出力命令を、制御部 6 に対して与える。

[0063] 画像データ生成部 405は、主に画像処理モジュールおよび測位処理モジュールから出力されたデータならびに地図管理部 3から読み出された地図データに基づいて、自車両の現在走行中の走行車線認識、道路形状認識、障害物認識や、自車両の絶対路上位置認識、カメラ姿勢の推定などを行って、ナビゲート情報を実写映像中の適切な位置に合成して表示するためのデータを生成する。その表示データは、さらに具体的には、次のような仮想空間内での 3次元モデリングルールに基づいて生成される。すなわち、

(1)ランドマークや施設情報は、それらを模式的に表現した 3次元アイコンで表示する。

(2)走行方向などの指示情報は、 3次元矢印で表示する。

(3)全てのナビゲート情報は、基本的にユーザーによって変更可能である。但し、各ナビゲート情報ごとに、そのデフォルトの表示寸法および色がそれぞれ予め定められていることは勿論である。例えば、病院を示すランドマークは、赤地に白十字の、所定の面積および厚みを有するプレート状の 3次元アイコンで表示するようにデフォルト設定されている力これをユーザーが例えば白地に赤白十字のプレート状の 3次元アイコンで表示するように変更することなども可能である。そのような設定のデータについては、操作部 2を用いてユーザーが入力する。そしてその入力された設定のデータはさらに画像処理モジュール 401を介して画像データ生成部 405へと入力される。そして、画像データ生成部 405にて、各種のナビゲート情報をその各々に対応した寸法および色合いで表示するためのデータが生成される。

(4)ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との 3種類の分類を予め定義しておく。その定義の情報は、画像データ生成部 405に予め格納されている。ここで、警告情報とは、例えば車線離れや障害物の接近 (または衝突の虞)等をユーザーに警告するための情報である。また、誘導情報とは、目的地への走行方向、駐車場の空き案内、ランドマークや通行路沿線の大きな施設の情報等である。また、付加情報とは、通行路沿線の中小施設や商店等の情報である。それら各分類のそれぞれに対して優先順位を予め定めておく。その優先順位の情報も、画像データ生成部 405に予め格納されている。そして、ナビゲート情報が前述の分類のうちのどれに該当するかを判別し、その分類に対応した順序に従って各ナビゲート情報を実写映像内の該当する位置に合成して表示するためのデータを、画像データ生成部 405にて生成する。 (5)警告情報以外のナビゲート情報については、実写映像 (または HUDの場合には実景)の中の警告対象物に対する移動体の現在位置が所定の距離内に入って以降に表示する。

(6)ナビゲート情報のうち、走行方向案内のための 3次元矢印や仮想道路ペインティングなどのようなグラフィック表示以外の、ナビゲート情報については、実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、仮想消失点または仮想地平線よりも上の領域に表示する。

(7)ナビゲート情報を、垂直軸または水平軸を中心に回転する 3次元アイコンとして、撮影された実写映像の決定された位置に合成して表示する。なお、回転する 3次元アイコンが、一画面内に複数個表示される場合には、それら複数個の 3次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示する。

(8)ナビゲート情報を、実写映像が透けて視認されるような半透明アイコンとして表示する。

(9)ナビゲート情報のうち、文字情報 (文字として表示される情報）については、実写映像内ではなぐ実写映像の外側周囲に予め設けられた表示領域に表示する。

[0064] 映像表示部 5は、画像データ生成部 405によって生成されたデータに基づいて、ナビゲート情報を実写映像中の適切な位置に合成した映像 (画像)を、例えば液晶表示パネノレの画面に表示する。

[0065] 制御部 6は、上記のようなアラーム出力命令に対応した警報等の出力の制御や、制御出力モジュールによる解析結果に対応した音声出力の制御、ブレーキの制御、操舵の制御などを、例えばそれらの制御量を調節するために設けられて、る各サーボモータ系などの動作を制御することによって行う。

[0066] 次に、この移動体ナビゲート情報表示装置の動作について説明する。

[0067] この移動体ナビゲート情報表示装置では、自車両の現在位置を含む付近の地理に関する道路地図データを、 GPSセンサ 102および INSセンサ 103ならびに測位処理モジュールによって検出された現在位置のデータに基づいて、画像データ生成部 405が、現在位置力も撮影されることが想定される道路に関する道路形状モデルを生成する。またそれと共に、実写映像から進行方向の景観中に含まれる道路の画像データである道路形状データを、例えば道路の走行区分線の白線画像データ等に基づいて抽出する。

[0068] 続いて、画像データ生成部 405は、道路形状データと道路形状モデルのデータとを照合して、 CCDカメラ 101によって撮影される被写体となつて！、る景観中の道路に対する CCDカメラ 101の姿勢データ (または自車両の姿勢データでも構わない）を推定する。

[0069] そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示することができるような画像データを生成する。

[0070] このようにして、画像データ生成部 405が、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定し、そのようにして生成された画像データに基づいて、映像表示部 5が、例えば進路案内、自車位置、地図情報などのナビゲーシヨン情報を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成した表示を行うことができる。その結果、本実施の形態に係る移動体ナビゲート情報表示装置によれば、ナビゲーシヨン情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することを可能とした映像を表示することができる。

[0071] ここで、上記のナビゲート情報とは、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどである。また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコンィ匕して、そのアイコンの画像を撮影された実写映像に合成して表示することが望ま U、。

[0072] また、画像データ生成部 405では、ナビゲート情報を 3次元拡張現実空間内の仮想実体として表現して、既に得られた姿勢データ等に基づいて 2次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中の適切な位置に仮想実体として合成して、例えば道順案内の目印となる建物についての文字または記号もしくは数字力もなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すようにしている。

[0073] また、画像データ生成部 405では、道路形状データを遠近法的な 2次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な 2次元特徴空間の画像データに変換し、それらを 2次元特徴空間にて 2次元データどうしで照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定している。このように、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、疑似 3次元的な 2次元特徴空間で 2次元データどうしで行うようにしたことで、その照合のプロセスの簡易化および高速ィ匕が達成されている。

[0074] また、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成して、る。これにより、自動車車両のような移動体が多車線道路を走行しているときでも、多車線道路の道路形状を正確に把握することができ、延、てはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することができる。

[0075] また、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルツクアップテーブル (RSL,参照文献：胡振程「車載カメラの運動解析による複数移動体の抽出及び同時追跡に関する研究」熊本大学大学院自然科学研究室博士学位論文）を用いて、実写映像力景観中に含まれる道路白線の存在確率を求めて RSL 値を算出し、その RSL値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることで、天候の変化や、路面上の影または汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。

[0076] また、撮影された実写映像中の適切であると決定された位置にナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーシヨン用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることの他にも能である。

[0077] または、撮影された実写映像における上記のような照合によって決定された適切な位置に、読み出されたナビゲート情報を合成してなる画像を、いわゆる HUD型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてちょい。

[0078] あるいは、ナビゲート情報の画像を撮影された実写映像の中に合成するのではなく、上記のような照合によってナビゲート情報の画像を表示するのに適切な位置であると決定された位置のデータを用いて、その位置に相当する運転席前面のフロントガラスの内側表面に、ナビゲート情報の画像を HUD的に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓力見える景観に合成して表示してもよい。

[0079] 次に、本実施の形態に係る移動体ナビゲート情報表示装置および移動体ナビゲート情報表示方法の、さらに具体的な実施例について説明する。

[0080] 図 2は、 3次元車両座標系 VCS (Xv, Yv, Ζν)および 3次元カメラ座標系 CCS (Xc , Yc, Zc)ならびに 2次元投影画像座標系 ICS (xi, yi)の相対的位置関係を表したものである。ここで、 3次元車両座標系 VCSの原点は車両後輪中央線の中点に位置しており、 Zv軸は車両の中央線に、 Xv軸， Yv軸はそれぞれ左，上に指向するように、各々設定されているものとする。また、 3次元カメラ座標系 CCSの原点は CCDカメラのレンズ中心点に位置しており、 Zc軸はカメラの光軸に重なるように設定されているものとする。また、 2次元投影画像座標系 ICSは Zc=fconst (Zc=fなる平面）に位置しているちのとする。

[0081] カメラ座標系 CCSから画像座標系 ICSへの変換関係は正投影である。従って、図 7 に式 1に示したような行列による関係式として記述することができる。但しここに、 Pは CCS座標系内の座標 [Xc, Yc, Zc, 1]、 pは ICS座標系内の座標 [xi, yi, 1]である。 [0082] Aは 3 X 4の投影マトリックスであり、一般に図 7に式 2として示したように分解することができる。ここに、 Kはカメラ内部のパラメータマトリクスと呼ばれるもので、画像の横縦方向変形率 (Sx, Sy)および画像中心点 (uo, vo)ならびに回転変形率 S 0によつて定まるものである。この Kを図 7に式 3として表す。

[0083] カメラ姿勢マトリクス Mは、カメラ外部パラメータマトリクスと呼ばれるもので、視点から対象モデル座標系への変換関係を示しており、一般に剛体の 3次元並進および回転変換によって図 7に式 4として示したように表すことができるものである。ここに、 R11 〜R33 (Rの要素全て）は回転パラメータであり、 Tx, Ty, Tz (Tの要素全て）は並進ノラメータである。

[0084] ところでカメラ倍率は一般に 1で近似することも可能であることから、式 1〜式 4に基づいて、図 7に式 5で示したような拘束式が成り立つ。

[0085] ここで、カメラ姿勢を代表する回転および並進の 6つのパラメータを姿勢ベクトルで表示すると、画像座標系と車両座標系との投影関係は、図 7の式 6で示したような数式で表現される。すなわち、式 6によれば、 2D— 3D空間における一つの対応点対（ ρ, Ρ)は、カメラ姿勢データに対して図 7に式 6で示したような一つの拘束式を決定することとなる。理論的には、このような 6つの対応点対があれば、カメラの姿勢を推定するためには十分である。

[0086] しかし、単純な単眼の CCDカメラによって撮像される前方景観のモノクロの実写画像データのみから 3次元空間の奥行きを正確かつ確実に推定することは、理論的に極めて困難あるいは不可能であるため、本実施例では、 2D— 3Dでの（2次元空間対 3次元空間照合による）マッチングを避けて、道路地図情報から多車線道路形状モデルを推定し、その多車線道路形状モデルを実写映像データカゝら抽出された多車線道路形状データと 2D— 2D特徴空間でのマッチングに変換して、 2次元空間対 2次元空間での照合によってカメラ姿勢データを推定する。但し、このときの照合は 2 D— 2D特徴空間でのマッチングのみには限定されな、ことは言うまでもな、。この他にも、例えば前方景観の実写画像データ以外の情報源力も 3次元空間の奥行きデータを正確かつ確実に推定し、そのデータを用いて 2次元空間対 3次元空間の照合を行うようにしてもよいことは言うまでもない。但し、その場合には、一般に処理すべきデータ量が 2D— 2D特徴空間でのマッチングの場合よりも多くなる傾向にあることは言うまでもない。

[0087] 図 3は、道路地図データによって表される点と線によるマッピングの一例を表したものである。道路地図データには一般にノードと呼ばれる道路セグメントの緯度経度と海抜などの 3次元位置情報、道路名称、等級、車線数、交差状況などが記録されている。道路幅は道路等級に基づいて推定することができる。また、一般に地図データに記載されたノード位置は道路中央線上にある。道路の構造は一般に、水平曲率と縦断曲率を用いる複雑曲面によって構成されて、る。

[0088] 図 4は、クロソイド（clothoid)曲線で近似してなる道路セグメント水平形状モデルを表したものである。このような道路セグメント水平形状モデルは、図 7の式 7に示したような数式を用いてモデリングすることができる。ここで、式 7における c0と clは、それぞれ水平曲線の初期曲率と曲率の変化パラメータである。また nliは上り車線数、 nriは下り車線数、 wiはセグメント間の平均道路幅である。 Liはセグメント長さを示すものである。このモデルを用いて地図データに基づ、て任意路上位置での道路形状モデルを簡易に極めて短時間で構築することができる。

[0089] 車両の走行位置は一般に、道路中央線ではなく日本のような左側通行の慣習の国では左にオフセットしている場合が多いが、自車両の路上位置（車両座標系の原点から道路中央への偏移量)および向き (車両座標系の Z軸方向と道路水平接線との偏移角）の情報を用いることで、実際の走行位置が片車線にオフセットしていることに対応する道路中心線の道路水平形状モデルを、車両座標系 VCSベースとした新し V、モデルに変換することができる。

[0090] そして視認距離 (実写映像として撮影されることが想定される領域）内の道路の路面が平坦であると仮定して、投影変換式である図 7の式 6から、図 7に式 8として示したような道路水平形状モデルの投影式を推定する。この図 7の式 8では、 3次元の道路形状を言うなれば遠近法的に 2次元に投影したので、カメラ姿勢を推定するための照合方法としてデータ処理の繁雑化の虞のある 2D 3Dマッチングを 2D— 2Dマツチングに簡単ィ匕することできる。

[0091] このように、本実施例では、道路地図データ力推定される道路形状モデルと道路の実写映像力抽出される道路形状データとを 2次元の特徴空間で 2D— 2Dマッチングさせて最適な姿勢ベクトルを推定する。図 5は、その 2D— 2Dマッチングの際に用いられる道路水平形状モデルの一例を示したものである。

[0092] なお、実際の道路環境では、太陽光線や人工照明などによる光の照射状況やの天候状況等によって車線の区切りを示す道路白線の明度や色合いなどが大幅に変化する場合が多いため、道路形状モデルと実写映像力も抽出された道路形状データとを直接的にうまくマッチングさせることができなくなる場合がある。そこで本実例では、道路白線ルックアップテーブル (RSL)の概念を用いて、道路白線の明度値の代りにその存在確率を映像ィ匕することによって、高速かつロバストな道路形状マッチングを実現することができる。

[0093] RSLの値は、道路白線に近いほど高くなる。具体的な計算法としては、まず道路白線、区切り線、および道路領域の境界線候補を特徴領域として抽出し、画像を 2値化する（特徴領域に属する画素を 1とし、他の画素を 0とする)。そして図 7に示した式 9 を用いて各画素の RSL値を計算する。但しここに、 x,yは 2値ィ匕した画素値であり、 % i,jは RSL用のカーネル係数である。雑音を抑制するために、カーネルサイズは通常 5又は 7に設定する。各係数は Gaussin分布式によって定める。カメラ姿勢推定の最終評価式を、図 7の式 10に示す。ここに、 η σは道路水平形状モデルの 2次元投影点の集合である。この式 10によって、道路地図データに基づいて生成される道路形状モデルと実写映像力抽出される道路形状データとを完全にマッチングする最高の RSL評価値を得ることができる。

[0094] 6パラメータの姿勢ベクトル σの最適値を求めるためには、種々のローカル極値サーチ方法を用いることができる力その中でも特に Hooke^Jeevesの直接サーチァルゴリズムを好適に採用することができる（ R. Hooke and T. Jeeves. "Direct search s olution of numerical and statistical problems," Journal of the Association for Comput ing Machinery (ACM), pp.212- 229 (1961).)。

[0095] このようにして求められたカメラ姿勢データは、ナビゲート情報を表示すべき位置を決定するためのデータの照合の際などに用いられる。また、このカメラ姿勢データはフィードバック量として次回の推定にも使用される。 [0096] 図 6は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。

[0097] まず、 CCDカメラによって撮影された自車両の前方の道路を含んだ景観の実写映像のデータを取り込む（Sl)。

[0098] またそれと共に、実写映像のデータの取り込みと同期して、 GPSセンサおよび INS センサによって取得されたデータを取り込む（S2)。

[0099] そして、実写映像データから道路の走行区分線などの白線や舗装面の境界線などの区切り線領域を抽出して RSL値を算出する（S3)。

[0100] また、、わゆるマップマッチングによって自車両の現在位置（絶対位置）を求め（検出し）、その現在位置に対応した関連地図データを地図データ CDに記憶されている情報のな力から読み出す (S4)。

[0101] 実写映像として撮影されている景観中の道路に関する道路水平形状モデルを構築する（S5)。

[0102] 更新されたカメラ姿勢ベクトルに基づ、て、道路水平形状モデルを遠近法的な 2次元空間に投影する（S6)。

[0103] 道路映像の RSL表現と投影した道路水平形状モデルとのマッチングを行って評価値を求める（S7)。

[0104] そして、得られた評価値が最大値である力否かを判断する（S8)。このとき最大値と判断された場合には（S8の Y)、そのときの姿勢ベクトルを出力し (S9)、その出力値を次回のサーチ起点としてフィードバックする（S10)。し力し最大値でなければ (S8 の N)、 Hooke & Jeeves法によって姿勢ベクトルを更新して（S 11)再評価を行う（S 11 〜S6〜S8)。このループは最大値が得られるまで（S8の Yになるまで）繰り返される。

[0105] 以上の一連の動作は、次回のデータ取り込み〜処理の開始タイミングになると（S1 2の Y)、再びデータ取り込みという第 1ステップから上記と同様の順を追って実行される。

[0106] 以上のようにしてマッチングが行われ、どの位置にどのナビゲート情報を表示するかが決定されると、次に、その個々のナビゲート情報を、さらに具体的に表示するためのデータが画像データ生成部 405にて生成される。そのデータの生成は、より具体的には、既に説明したような（1)〜（9)の 9種類の 3次元モデリングルールに基づいて行われる。その結果、図 8〜図 12に一例として示したような画像力映像表示部 5の画面に表示される。

[0107] ランドマークや施設情報は、それらを模式的に表現した 3次元アイコンで表示される。図 8の一例では、「病院」の所在を示す 3次元アイコン 801が、実写映像の病院の前付近に合成されて表示されている。この病院を示す 3次元アイコン 801は、例えば地の色が赤でありその中に白十字が描かれて、る。その大きさ（外径寸法)および色合いは、背景となってヽる実写映像の建物や道路の映像の視認性を妨げることのなヽ程度のものに設定されている。

[0108] そして、この 3次元アイコン 801は、図 9に拡大して示したように、垂直軸 802を中心として所定の回転速度で回転しているように表示される。この 3次元アイコン 801が正面を向、た状態（図 9 (A) )のときには、ユーザーにとってこれが「病院」を示すものであるということは明確に視認される。そして、その正面を向いた状態から 90度回転すると、図 9 (B)に拡大して示したように、その厚み 803の極めて薄い面積しか表示されてヽな、状態となるので、この 3次元アイコン 801の背後に存在して!/、る（表示されている）実写映像における建物や歩行者や障害物等の視認性を妨げることがなぐそれらの存在をユーザーは明確に視認することができる。

[0109] なお、 3次元アイコン 801等のような全てのナビゲート情報について、その表示寸法および表示色 (色使いや色合い）は、基本的にユーザーによって変更可能であることは、既に説明した通りである。

[0110] 走行方向などの指示情報は、 3次元矢印で表示される。図 8の一例では、例えば現在ユーザーの車輛が直進中の道路の車線上には、制限速度を示す仮想道路ペインティング 804、走行すべき方向を示す 3次元矢印 805、車線を示す仮想道路ペインティング 806、 807が、道路の実写映像に合成されて表示されている。しかし、実写映像における仮想消失点または仮想地平線よりも下の領域、すなわち具体的には道路の実写映像上には、行先表示のための文字情報等が重なるようには表示されていない。 [0111] そして、この図 8の一例では、文字情報を主体とする行先表示 808は、実写映像 80 9全体（図 8の場合には画面全体)のうちの上端付近の、実写映像ではほとんど天空しか写っていない領域に表示されている。このように、道路や歩行者や建物が存在している確率の高い実写映像や実景における仮想消失点または仮想地平線よりも下の領域には、行先表示 808のような文字情報を主体とする画像は表示しな、ようにすることで、道路や歩行者や建物の実写映像や実景が隠されて視認できなくなってしまうことを回避することができる。

[0112] また、ナビゲート情報は、前述のように、垂直軸 (または水平軸でもよい）を中心に回転する 3次元アイコンとして、撮影された実写映像の決定された位置に合成して表示される力一画面内に複数個の 3次元アイコンを表示する場合には、それら複数個の 3次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示される。図 12に示した一例では、第 1の 3次元アイコン 121と第 2の 3次元アイコン 1 22とが、同方向に同じ回転速度で、しかし位相を約 90度異ならせて回転して表示される。

[0113] このように位相を約 90度異ならせることによって、第 1の 3次元アイコン 121が正面を向いた状態のときには第 2の 3次元アイコン 122は横を向いた状態となって、実質的に第 1の 3次元アイコン 121だけがユーザーに視認される。また第 2の 3次元アイコン 122が正面を向いた状態のときには第 1の 3次元アイコン 121は横を向いた状態となって、実質的に第 2の 3次元アイコン 122だけがユーザーに視認される。このようにして、一度にユーザーにとって視認可能となる 3次元アイコンの個数を制限することで、複数の 3次元アイコンが一度に多数並列して見えてしまうことに起因した表示画像の煩雑化および視認性の悪化を、回避することが可能となる。なお、位相を異ならせること以外にも、例えば 3次元アイコンの回転速度を異ならせるようにしてもよい。

[0114] あるいは、図 10に一例を示したように、ナビゲート情報のうちでも文字情報として表示されるように設定されて、る道路名の情報 811と、制限速度の情報 812につ、ては、実写映像内ではなぐ実写映像 809の外側周囲に予め設けられた文字情報専用表示領域 810内に表示することも可能である。

[0115] あるいは、ナビゲート情報を、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との 3種類に分類し、その分類に対応した順序に従って各ナビゲート情報を実写映像内の該当する位置に合成して表示することなども可能である。

[0116] すなわち、警告情報のようなユーザーに対して緊急に警告を発することが要請される情報以外の（緊急度がそれ未満の）、ランドマークや中小施設などのような一般的なナビゲート情報については、実写映像 (または HUDの場合には実景）の中の警告対象物に対する移動体の現在位置が所定の距離内に入って以降に、表示する。具体的には、図 11に示した一例に則して説明すると、現時点では 3個の 3次元アイコン 821 (「ホテル」の存在を示す）， 822 (ガソリンスタンドを示す）， 823 (コンビにストアを示す）が表示されている力これらはいずれも、ユーザーの搭乗している自動車に対して例えば 100 [m]のように予め定められた距離内に入ったとき力も表示が開始される力実物がそれよりも遠い位置にあるときには表示されない。この図 11の例では、一番遠くの 3次元アイコン 822が、所定の距離内に入って、表示開始され始めたばかりの状態にある。

[0117] また、図 11の実写映像 (画面） 809の左下に表示されている簡易道路地図情報 82 4のように、ナビゲート情報の画像をその背景の実写映像が透けて視認されるように、半透明アイコンとして表示する。なお、半透明アイコンとして表示可能であるのは、簡易道路地図情報 824のみに限定されないことは勿論である。

[0118] 以上、詳細に説明したように、本実施の形態に係る移動体ナビゲート情報表示装置または移動体ナビゲート情報表示手段によれば、ナビゲーシヨン情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成することができる。そしてその結果、ナビゲーシヨン情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるような映像を、表示することが可能となる。し力も、ナビゲーシヨン情報の合成に起因して、実写映像 (または実視景観)の視認性をナビゲーシヨン情報の画像が妨げてしまうことを、以上説明したような種々の手法によって回避して、表示画像全体に亘つて視認性を良好なものとすることができる。

Claims

請求の範囲

[1] 移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプ

Πセスと、

検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されて、たナビゲート情報の中力読み出すプロセスと、

前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、

前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づ、て、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、

前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報をユーザーによって設定された表示寸法および色調で合成した画像を表示するプロセスと

を備えたことを特徴とする移動体ナビゲート情報表示方法。

[2] 移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプ口セスと、

前記ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との 3種類の分類を予め定義し、その各分類に対して優先順位を予め定めておき、前記ナビゲート情報が前記分類のうちのどれに該当するかを判別し、前記分類に対応した順序に従って、前記ナビゲート情報を、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスと

[3] 前記警告情報以外のナビゲート情報については、前記実写映像の中の警告対象物に対する前記移動体の現在位置が所定の距離内に入って以降に表示することを特徴とする請求の範囲第 2項記載の移動体ナビゲート情報表示方法。

[4] 移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプ口セスと、

前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づ、て、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を合成した画像を表示するプロセスであって、前記ナビゲート情報のうち、走行方向案内のためのグラフィック表示以外のナビゲート情報については、前記実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、前記仮想消失点または前記仮想地平線よりも上の領域に表示するプロセスと、

[5] 移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプ Πセスと、

前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する 3次元アイコンとして、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスと

[6] 前記回転する 3次元アイコンが、一画面内に複数個表示される場合には、それら複数個の 3次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示する

ことを特徴とする請求の範囲第 5項記載の移動体ナビゲート情報表示方法。 [7] 移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプ Πセスと、

前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報の画像を、前記実写映像が透けて視認されるような半透明アイコンとして表示するプロセスと

[8] 移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプ口セスと、

前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づ、て、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、

前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成した画像を表示するプロセスであって、前記ナビゲート情報のうちの文字情報については、前記実写映像の外側に予め設けられた表示領域に表示するプロセスと

[9] 前記道路形状データを遠近法的な 2次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な 2次元特徴空間の画像データに変換し、前記 2次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを 2次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する

ことを特徴とする請求の範囲第 1項ないし第 8項のいずれ力 1項に記載の移動体ナビゲート情報表示方法。

[10] 道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する

ことを特徴とする請求の範囲第 9項記載の移動体ナビゲート情報表示方法。

[11] 道路ルックアップテーブル (RSL)を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めて RSL値を算出し、その RSL値による評価値が最大になるように前記姿勢データを求めることで、前記道路形状モデルのデータと前記道路形状データとの照合を行う

[12] 前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである

[13] 移動体の現在位置を検出する現在位置検出手段と、

前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、

前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されて、たナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、ユーザ一によつて設定された表示寸法および色調で表示される画像として合成してなる画像を表示するためのデータを出力するデータ処理手段と、

前記データ処理手段力出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、ユーザーによって設定された表示寸法および色調で表示される画像として合成して表示する画像表示手段と

を備えたことを特徴とする移動体ナビゲート情報表示装置。

[14] 移動体の現在位置を検出する現在位置検出手段と、

前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されて、たナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との 3種類の分類を予め定義し、その各分類に対して優先順位を予め定めておき、前記ナビゲート情報が前記分類のうちのどれに該当するかを判別し、前記分類に対応した順序に従って、前記撮影された実写映像の前記決定された位置に前記ナビゲート情報を画像として合成して表示するためのデータを出力するデータ処理手段と

前記データ処理手段力出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報の画像を、前記分類に対応した順序に従って合成して表示する画像表示手段と

[15] 前記データ処理手段は、前記警告情報以外のナビゲート情報については、前記実写映像の中の警告対象物に対する前記移動体の現在位置が所定の距離内に入つて以降に表示するためのデータを出力する

ことを特徴とする請求の範囲第 14項記載の移動体ナビゲート情報表示装置。

[16] 移動体の現在位置を検出する現在位置検出手段と、

前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されて、たナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記ナビゲート情報のうち、走行方向案内のためのグラフィック表示以外のナビゲート情報については、前記実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、前記仮想消失点または前記仮想地平線よりも上の領域に合成して表示するためのデータを出力するデータ処理手段と、

前記データ処理手段力出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を合成して表示する画像表示手段と

移動体の現在位置を検出する現在位置検出手段と、

前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されて、たナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を垂直軸または水平軸を中心に回転する 3次元アイコンとして合成してなる画像を表示するためのデータを出力するデータ処理手段と、

前記データ処理手段力出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する 3次元アイコンとして合成して表示する画像表示手段とを備えたことを特徴とする移動体ナビゲート情報表示装置。

[18] 前記データ処理手段は、前記回転する 3次元アイコンがー画面内に複数個表示される場合には、それら複数個の 3次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示するためのデータを出力する

ことを特徴とする請求の範囲第 17項記載の移動体ナビゲート情報表示装置。

[19] 移動体の現在位置を検出する現在位置検出手段と、

前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されて、たナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、半透明で表示される画像として合成してなる画像として表示するためのデータを出力するデータ処理手段と、

前記データ処理手段力出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、半透明で表示される画像として合成して表示する画像表示手段と

[20] 移動体の現在位置を検出する現在位置検出手段と、

前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されて、たナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置力撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像力前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成して表示すると共に、前記ナビゲート情報のうちの文字情報については前記実写映像内ではなく前記実写映像の外側に予め設けられた表示領域に表示するためのデータを出力するデータ処理手段と、

前記データ処理手段力出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成して表示すると共に、前記ナビゲート情報のうちの文字情報については前記実写映像内ではなく前記実写映像の外側に予め設けられた表示領域に表示する画像表示手段と

[21] 前記データ処理手段が、前記道路形状データを遠近法的な 2次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な 2次元特徴空間の画像データに変換し、前記 2次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを 2次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する

ことを特徴とする請求の範囲第 13項ないし第 20項のいずれか 1項に記載の移動体ナビゲート情報表示装置。

[22] 前記データ処理手段が、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されて、ると、う道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する

ことを特徴とする請求の範囲第 21項記載の移動体ナビゲート情報表示装置。

[23] 前記データ処理手段が、前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル (RSL)を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めて RSL値を算出し、その RSL値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行うことを特徴とする請求の範囲第 21項記載の移動体ナビゲート情報表示装置。

[24] 前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである