JP4383862B2 - カーナビゲーションシステムにおける走行指示の表示方法および表示装置 - Google Patents

Description

本発明は、瞬時の所在地及び決定された走行目標に依存して走行指示が車両周囲の画像に表示される方法及び装置に関する。

特許文献ＥＰ０４０６９４６Ｂ１によれば、このような方法及びこのような装置は公知である。しかし、この場合には車両周囲の画像への走行指示の適合における問題が生じる。
印刷物ＷＯ９９／５４８４８には車両ナビゲーションシステムのための交差点の３次元表示のための方法が示されており、この方法では注視角度が交差点乃至はルートの複雑さに依存して選択され、注視角度の拡大によって道路間の表示により多くの空間が生じ、これによってわかりやすさが高まる。
最後に印刷物ＵＳ５６２１４５７からは車両の注視方向検出装置が公知であり、この装置によって運転者の注視方向及び目の位置が検出され、情報が常に運転者の注視方向に表示される。

本発明の課題は、車両周囲の画像への走行指示の最適な適合が可能である方法乃至は装置を提供することである。

上記課題は、方法に関しては特許請求項１又は６の構成によって解決され、装置に関しては特許請求項７又は８の構成によって解決される。

他の請求項は本発明の方法の有利な実施形態に関する。

本発明は、基本的には、運転者の視野からの遠近法的表示の計算の際に、道路表面を基準にして車両の長手方向軸及び横方向軸に関する車両の傾斜ならびに道路の傾斜乃至は土地の３次元性が、挿入される走行指示の形成において考慮され、この結果、車両カメラにより撮影される運転者の視野の周囲の画像と挿入される走行指示との間の比較的良好な一致を可能とすることに存する。

本発明の方法によって運転者には明確にかつ誤解なしにこの運転者が曲がって入るべき道路が表示される。これはちょうどこの運転者の前方にある道路の分岐地点を指し示す手に匹敵する。このために運転者の視野領域にあるディスプレイにおいてこの運転者の前方にある道路シーンのビデオ画像が表示される。この画像において、推奨されたルートが、とりわけ曲がるべき箇所が、挿入される走行指示、例えば矢印又はラインによってマーキングされている。この場合、ビデオ画像は常に更新され、挿入されるマーキングは常に新たな車両位置に適合される。

次に本発明の実施例を図面に基づいて詳しく説明する。

図１は基本的な入力量及び出力量を有するシステム全体の図面であり、
図２は走行指示の形成及び重畳の説明のための概略図であり、
図３は走行指示をもとめる際のトポグラフィーの考慮の説明のための概略図であり、
図４は角度表示を有する車両カメラの図面であり、
図５はナビゲーションポイントがカメラから見える、垂直方向の視野角の計算の説明の図面であり、
図６は計算簡略化の説明のための図面であり、
図７はナビゲーションポイントのｙ位置の適合の説明のためのナビゲーションディスプレイにおける表示を示す。

図１には入力量及び出力量を有する本発明の装置の原理図が示されている。システム全体において走行目標ＺがルートプランナーＲＰに入力され、このルートプランナーＲＰは２次元地図Ｌ２及び瞬時のトラフィックデータによってルート推奨Ｒを形成し、計算ユニットＣに供給する。計算ユニットＣは静的モデルデータを２次元地図Ｌ２及び更に別の３次元地図Ｌ３から受け取り、ならびに、例えば工事現場及び空いているパーキングスペースに関する動的モデルデータＭを受け取る。ビデオカメラの形式の車両カメラＫはビデオ入力データＶＩを計算ユニットＣに対して供給する。さらに、計算ユニットＣは位置情報ＰＯＳ及び方位情報ＯＲを受け取り、この位置情報ＰＯＳ、すなわちリアル位置データはＧＰＳ受信器（global positioning system）によって２次元で受け取られ、地図Ｌ３によって３次元で補足されるか又は直接３次元で受け取られる。位置情報ＰＯＳは付加的にホイール回転センサ及び／又はステアリングアングルセンサの信号によって補足されうる。

方位情報は典型的には車両内にあるコンパスならびに長手方向軸に対する傾斜センサＳＬ及び横方向軸に対する傾斜センサＳＱによってもとめられる。センサとしては例えば３Ｄジャイロスコープが使用されうる。計算ユニットＣはナビゲーションディスプレイＮに対してビデオ出力データＶＯを供給する。ナビゲーションディスプレイＮは例えばスクリーンから成り、このスクリーンはカメラＫにより撮影される運転者の視野の周囲の画像を表示し、この画像はこの画像に適合された走行指示によって補足され、この走行指示はオリジナル画像と任意の関係において混合され乃至はある程度の透明性を有し又はこの画像が走行指示の箇所で完全にこの走行指示自体によってカバーされる。

図２にはカメラのビデオ入力信号ＶＩ及び計算された走行指示ＦＨに依存するビデオ出力信号ＶＯの形成が示されている。ナビゲーションシステムにはカメラＫが装備されており、このカメラＫは車両前方の事象を撮影し、運転者の視野領域にあるディスプレイ上に表示する。３Ｄ地図データＬ３から瞬時の周囲の３Ｄ地形モデルが発生される。車両位置を介して車両の仮想位置Ａ、すなわちこの地形モデルにおけるカメラＫの仮想位置がもとめられる。方位ＯＲ乃至は走行方向及びセンサＳＬ及びＳＱを介して決定される長手方向及び横方向における車両の傾斜を介して、地形モデルにおけるカメラの仮想方向が算定される。この地形モデルにはナビゲーションシステムの情報に相応して次の区間部分に対する後続の走行ルート、走行指示が有利には３Ｄオブジェクトとして挿入され、この３Ｄオブジェクトは有利にはベジエ曲線によって形成される。走行方向はカメラの瞬時の位置及び注視方向について「レンダリング」され、つまり３Ｄ世界から２Ｄ世界へとリアルなカメラの焦点距離を考慮に入れて遠近法的に投影される。こうして得られた画像はディスプレイ上でビデオ画像に重畳され、従って運転者に後続の走行ルートＲを示し、場合によってはリアル世界の画像における相応の付加情報Ｍを示す。夜間及び霧・靄においてはカメラは周囲の画像を赤外線領域において撮影し、この場合暗視装置の役割を担う。

本発明の更に別の実施例は、走行指示が直接車両のフロントガラス自体に投影されることに存する。投影装置としてはこの方向性において例えば車両に取り付けられているプロジェクタが適しているし、またフロントガラスの後ろのフィルム、例えばＯＬＥＤ（Optical Light Emitting Diode）も適している。このＯＬＥＤは相応の箇所に所望の情報を表示し、その他の領域では透明である。運転者の視野の周囲のリアルな画像は既に存在しているので、車両カメラは無くてもよく、トラッキングシステムを介して運転者の目の位置、例えば高さ及びハンドル中心からの偏差及び注視方向がもとめられる。これは車両の位置、方位及び傾斜に関する情報と共に「仮想カメラ」つまり目の対応物の位置及び方位の計算に、地形モデルにおいて使用される。ここから、カメラ及びディスプレイを有する実施例の場合のように、リアルな画像に適合した走行指示のイメージが算定され、プロジェクション装置を介してフロントガラス上に又はフロントガラスの中へ投影される。

図３には、２つの異なる地形状況に基づいて、トポグラフィーがルート推奨乃至は走行指示の算出においてナビゲーションディスプレイ上での表示の際にどのように考慮されなければならないかを示している。第１のケースでは車両は対向斜面を見つつ谷底の方向に斜面を下っており、この結果、水平線がほぼナビゲーションディスプレイにおける表示の上端部に存在し、従ってナビゲーションポイント乃至は曲がり地点は車両から所定の距離において直線走行の場合よりも表示の上の縁部の近くに現れる。これに対して、図３の図面の下の部分ではまさに別の状況が示されており、この状況では車両はまだ山頂の最高地点には到達しておらず、視線は上方に向けられている。この場合、水平線はナビゲーションディスプレイ上の表示の下辺の比較的近くにあり、従って車両から所定の距離にあるナビゲーションポイントも同様に例えば平野における直線走行又は第１の例の場合よりも下の端部の近くに表示される。

次に遠近法的な歪みを考慮したビデオ画像への埋め込みにおけるナビゲーション推奨乃至は走行指示の個々の地点、とりわけ曲がり地点の個々の地点の位置の計算を詳しく説明する。

以下の考察の目標はビデオ画像においてリアルな３Ｄ世界のナビゲーションポイントをマーキングすることである。この場合、個々のナビゲーションポイント毎に対応する点（ｘ及びｙ座標）の位置がカメラにより撮影される２Ｄ画像においてもとめられなければならない。カメラ対物レンズの焦点距離及び車両におけるカメラの取り付け位置の他に、これらの計算には次のものが使用される；
ｘ座標において：
カメラ位置からナビゲーションポイントへの水平方向、
ならびに
（例えば片勾配のカーブにおける）横方向の車両の傾斜、
ｙ座標において：
カメラ位置からナビゲーションポイントまでの距離、
ナビゲーションポイントとカメラ位置とのトポログラフィカルな高度の差、
ならびに
（例えば上り坂における）長手方向の車両の傾斜。

以下の式は簡略化のために３Ｄ世界から２次元ビデオ画像へのナビゲーションポイントの写像におけるｙ座標の計算だけを記述する。

ここで、
Ａ 図５及び図６に示された自動車カメラＫの位置（たとえば経度、緯度及び平均海面からの高度）、
ｈ 図５及び図６に示された、道路の上方のカメラ軸の高さ、
Ｐ 図５及び図６に示された考察すべきナビゲーションポイントの位置、
Ω 図４に図示されている車両カメラの開口角度の半分、
θ 図５に示された、水平方向に対するカメラ注視方向の傾斜角度、
ｙ_ｍａｘ 図７に示されている、ナビゲーションディスプレイの表示面の全高
である。

Ａの値は車両の位置決定システムから得られ、Ｐの値は３Ｄ地図から得られる。ｈ及びΩは車両固有のパラメータである。θはセンサを介してもとめられる。

求められるのは、
α 図４及び図５に図示されている、ナビゲーションポイントがカメラから見える、垂直方向の角度、ならびに、
ｙ_Ｐ 図７に示されている、ナビゲーションディスプレイにおけるナビゲーションポイントの表示の際の下辺からの計算されたこのナビゲーションポイントのｙ位置
である。

Ａ、Ｐ及びｈの値から次の値が得られる：
ｘ ２Ｄ地図による水平方向におけるカメラ位置からナビゲーションポイントまでの図５に示された距離、
ｄ ３Ｄ世界におけるカメラ位置からナビゲーションポイントまでの図５に示された距離、
Ｉ ナビゲーションポイントとカメラ位置との異なる高さを考慮して、垂直にカメラ位置の下に存在する道路上の地点から図５に示されたナビゲーションポイントまでの距離、
δ’ 図６に示された、線Ａ’Ｐと水平方向との間の角度であり、この場合、線Ａ’Ａは点Ａから発する、水平方向に対して垂直な長さｈを有する線であり、
δ 図５及び図６に示された、Ｉと水平方向との間の角度である：ｈ≪１なので、δ’とδとの間の差は位置決定システムの測定精度を下回る、すなわちδ’≒δが成り立つ。

次に、角度αに対して以下の計算が成り立つ：

ｈ≪１なので、δ’とδとの間の差は位置決定システムの測定精度を下回る。それゆえ次式が成り立つ：

地形トポグラフィー及び遠近法的歪みを考慮に入れて、角度α及びカメラの開口角度Ωを介してディスプレイにおけるナビゲーションポイントのイメージのｙ位置ｙ_Ｐが得られる：

オプショナルに、走行区間及び走行目標に関する更なる情報がナビゲーション画像において部分的には瞬時の天候状態及び動的なトラフィックデータを考慮して図示された地形における位置と直接的な関連を持って表示される：
瞬時の位置における許容最高速度；
カーブ又は分岐路の前のプレーキポイント乃至は推奨速度；
橋、山頂、地下道などの後に続く区間経過；
道路名、重要な交通標識；
空いているスペース又は瞬時の工事現場及び渋滞の指示；
店又は観光名所その他もろもろの指示。

これらの付加的な情報はこの場合これらのために設けられたシンボルの相応の位置決め及び／又は拡大又は縮小によって、又は、例えば水平線に対して平行な文字列を傾けることによって適合されうる。

基本的な入力量及び出力量を有するシステム全体の図面である。

走行指示の形成及び重畳の説明のための概略図である。

走行指示をもとめる際のトポグラフィーの考慮の説明のための概略図である。

角度表示を有する車両カメラの図面である。

ナビゲーションポイントがカメラから見える、垂直方向の視野角の計算の説明の図面である。

計算簡略化の説明のための図面である。

ナビゲーションポイントのｙ位置の適合の説明のためのナビゲーションディスプレイにおける表示を示す。

符号の説明

Ｚ 走行目標
ＲＰ ルートプランナー
Ｌ２ ２次元地図
Ｌ３ ３次元地図
Ｃ 計算ユニット
Ｒ ルート推奨
Ｋ 車両カメラ
Ｍ 動的モデル
ＶＩ ビデオ入力データ
ＦＨ 走行指示
ＰＯＳ 位置情報
ＯＲ 方位情報
ＶＯ ビデオ出力データ
Ｎ ナビゲーションディスプレイ
ＳＱ 横方向軸傾斜センサ
ＳＬ 長手方向軸傾斜センサ
Ａ 車両の仮想位置

Claims (8)

1. カーナビゲーションシステムにおける走行指示（ＦＨ）の表示方法において、
   運転者の視野内にある車両の周囲が車両カメラ（Ｋ）によって記録され、
   当該記録された車両の周囲に、走行目標（Ｚ）および車両の瞬時の位置に依存する走行指示がナビゲーションディスプレイ（Ｎ）に表示され、
   ３次元での前記車両カメラの瞬時の地理的位置Ａが、カーナビゲーションシステムによって求められ、
   水平面での前記車両カメラの瞬時の方位が、コンパスによって求められ、
   水平方向に対するカメラ注視方向の瞬時の傾斜角度（θ）が、少なくとも１つのセンサ（Ｓ _Ｌ 、Ｓ _Ｑ ）によって求められ、
   走行指示を形成するためのナビゲーションポイント（Ｐ）のその都度の位置が３次元地図（Ｌ３）から取り出され、
   前記車両カメラから前記ナビゲーションポイント（Ｐ）を見た垂直方向における角度αが、前記瞬時の傾斜角度（θ）の関数として計算ユニット（Ｃ）によって計算され、
   前記ナビゲーションディスプレイ（Ｎ）に表示される前記走行指示の垂直位置（ｙ _ｐ ）が、前記計算された角度αに依存して適合される、
   ことを特徴とする走行指示の表示方法。
2. 前記角度αは式
   

   

   により計算され、ここで
   Ｉは車両カメラへの道路表面からの垂線と道路表面自体との交点として得られる点からナビゲーションポイントＰまでの距離であり、
   ｈは道路の上方のカメラ軸の高さであり、
   θは水平方向に対するカメラ注視方向の傾斜角度であり、
   δ’は線Ａ’Ｐと水平方向との間の角度であり、線Ａ’Ａは水平方向への点Ａからの長さｈを有する垂線を表す、請求項１記載の方法
3. ナビゲーションディスプレイでのナビゲーションポイントの表示のために下辺から計算される前記ナビゲーションポイントの垂直位置ｙ_ｐは式
   

   

   によって計算され、Ωは車両カメラの開口角度の半分であり、ｙ_ｍａｘは前記ナビゲーションディスプレイの表示面の全高である、請求項２記載の方法。
4. ナビゲーションディスプレイにおける少なくとも１つの付加的な指示（Ｒ、Ｍ）は、前記少なくとも１つの角度αに依存してその表示において変化する、請求項１から３までのいずれか一項記載の方法。
5. ナビゲーションディスプレイはスクリーンから成り、カメラにより記録される画像は走行指示によって該走行指示の領域において少なくとも部分的に重畳される、請求項１から４までのいずれか一項記載の方法。
6. カーナビゲーションシステムにおける走行指示（ＦＨ）の表示方法において、
   運転者の目の瞬時の位置が３次元でトラッキングシステムによって求められ、
   車両の瞬時の地理的位置（Ａ）がカーナビゲーションシステムによって求められ、
   水平方向に対する車両長手方向軸の瞬時の傾斜角度（θ）が、少なくとも１つのセンサ（Ｓ _Ｌ 、Ｓ _Ｑ ）によって求められ、この結果、運転者の瞬時の視野を検出し、
   走行目標（Ｚ）に依存して、走行指示を形成するためのナビゲーションポイント（Ｐ）のその都度の位置が３次元地図（Ｌ３）から取り出され、
   前記ナビゲーションポイント（Ｐ）を運転者の目から見た垂直方向の角度αが、前記瞬時の傾斜角度（θ）の関数として計算ユニット（Ｃ）によって計算され、
   車両のフロントガラスに表示される前記走行指示の垂直位置（ｙ _ｐ ）が、前記計算された角度αに依存して前記運転者のその都度の視野に適合される、ことを特徴とする走行指示の表示方法。
7. カーナビゲーションシステムにおける走行指示の表示装置において、
   運転者の視野内にある周囲を記録するために車両カメラが設けられており、
   車両または車両カメラの位置、および前記車両または車両カメラの水平面における方位を３次元的に検出するための装置が設けられており、
   水平方向に対するカメラ注視方向の瞬時の傾斜角度（θ）を検出するために少なくとも１つのセンサ（Ｓ_Ｌ、Ｓ_Ｑ）が設けられており、
   その都度のナビゲーションポイント（Ｐ）の３次元位置を求めるため、３次元地図に問い合わせるための装置（Ｌ）が設けられており、
   前記車両カメラから前記ナビゲーションポイント（Ｐ）を見た垂直方向における角度（α）を、前記瞬時の傾斜角度（θ）の関数として計算するための計算ユニット（Ｃ）が設けられており、
   ナビゲーションディスプレイ（Ｎ）が設けられており、
   該ナビゲーションディスプレイ（Ｎ）に表示される前記走行指示の垂直位置（ｙ _ｐ ）が、前記角度αに依存して適合される、ことを特徴とする走行指示の表示装置。
8. カーナビゲーションシステムにおける走行指示の表示装置において、
   車両の位置および水平面における前記車両の方位を３次元的に検出するための装置が設けられており、
   車両に対して相対的な運転者の目の位置を３次元的に検出するためのトラッキングシステムが設けられており、
   水平方向に対する車両長手方向軸の瞬時の傾斜角度（θ）を検出するために少なくとも１つのセンサ（Ｓ_Ｌ、Ｓ_Ｑ）が設けられており、
   走行目標（Ｚ）に依存して、その都度のナビゲーションポイント（Ｐ）の３次元位置を求めるために、３次元地図に問い合わせるための装置（Ｌ）が設けられており、
   前記ナビゲーションポイント（Ｐ）を運転者の目から見た垂直方向の角度αを、前記瞬時の傾斜角度（θ）の関数として計算するための計算ユニット（Ｃ）が設けられており、
   車両のフロントガラスに表示される前記走行指示の垂直位置（ｙ_ｐ）が、前記計算された角度αに依存して前記運転者の視野に適合される、ことを特徴とする走行指示の表示装置。

Images