JPWO2004048895A1

JPWO2004048895A1 - MOBILE NAVIGATION INFORMATION DISPLAY METHOD AND MOBILE NAVIGATION INFORMATION DISPLAY DEVICE

Info

Publication number: JPWO2004048895A1
Application number: JP2004554993A
Authority: JP
Inventors: 振程胡; 圭一内村
Original assignee: Kumamoto Technology and Industry Foundation
Current assignee: Kumamoto Technology and Industry Foundation
Priority date: 2002-11-22
Filing date: 2003-11-20
Publication date: 2006-03-23
Also published as: WO2004048895A1; AU2003302447A1

Abstract

画像データ生成部（４０５）は、道路形状データと道路形状モデルとの照合を行うことにより、姿勢データを推定すると共に、ナビゲート情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成して表示するための映像（画像）データを生成する。映像表示部（５）はその映像データに基づいた表示を行う。ナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことができ、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能になる。The image data generation unit (405) estimates the posture data by collating the road shape data with the road shape model, and displays an image of the navigation information in the live-action video of the road ahead of the moving object or in the front Video (image) data is generated to accurately synthesize and display at an appropriate position in the actual landscape that can be seen through the glass. The video display unit (5) performs display based on the video data. The navigation information can be displayed by accurately projecting it to the appropriate position in the actual video of the road ahead of the moving object or in the actual landscape, and the correspondence between the navigation information and the actual image or actual scene Can be recognized intuitively and accurately.

Description

本発明は、いわゆるカーナビゲーション装置およびそれによるカーナビゲート情報の表示方法のような移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置に関する。 The present invention relates to a so-called car navigation apparatus and a mobile navigation information display method and a mobile navigation information display apparatus such as a car navigation information display method.

自動車車両のような移動体の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して、行き先や道順など種々の案内情報の表示や音声出力を行うという、いわゆるカーナビゲーション装置のような移動体ナビゲート装置が開発されている。
このような従来のカーナビゲーション装置では、車速センサからの車速パルスおよび地磁気センサからの地磁気による方角に基づいて、予めＣＤ−ＲＯＭのような記憶手段にデータとして格納されている地図上を自律航法制御部でトレースするとともに、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）衛星から伝送されるＧＰＳ信号に基づいて当該移動体の現在位置の確認を行う。この分野での開発初期のカーナビゲーション装置では、計測誤差等の要因から、実際の走行位置と地図上でのトレース位置とが有意にずれてしまい、例えば実際には海岸線寄りの道路を走行中に、カーナビゲーション装置によって検出された自車の走行位置は海の中が示されている、といった明らかな誤動作（誤検出）などもあったが、このような有意の位置ずれが生じる場合には、位置補正（マップマッチング）を行うようにする技術などが開発されて、現在では自車の走行位置の検出精度は十分なものとなってきている。そしてこのようにして得られた自車の現在位置の情報とＣＤ−ＲＯＭなどの大容量データ記憶手段から得た地図情報とを重ね合わせることで、現在位置とその付近の所定範囲内の道路地図とを表す画像を、例えば液晶表示装置のような画像表示装置の画面に平面的な地図のような２次元画像として表示すると共に、自車位置、進行方向、速度、地図情報、進路案内、最短経路、道路情報などのようないわゆるナビゲート情報を２次元画像の地図に重ね合わせて、あるいは２次元画像の地図の中の該当する位置に嵌め込んで、表示するようにしている。
従来のナビゲーション表示装置では、２次元画像の道路平面地図または周囲景観を３次元ＣＧ化して立体的に表した道路地図中に、矢印などのアイコンで表示される走行位置および走行方向や、現在位置から目的地までの推奨ルート（最適経路）などの情報の画像を、重ねて表示するものもある。またさらには、道路交通情報受信機（ＶＩＣＳ）などから得られる道路渋滞情報等をテキストラベルで画面上に表示するものもある。
ところが、このような従来の技術では、平面的（２次元的）な簡略化された地図や３次元表現であってもＣＧによって抽象的に簡略化して表現された画像を用いた間接的なナビゲート情報しか提供することができないので、自動車に乗って運転しているドライバーにとっては、例えば現在位置や進路案内などの情報と実際にフロントガラス越しに見えている景観中の道路との対応関係が直観的には判りにくいという不都合がある。
これらの不都合を解決するために、地図情報の他に実写映像を利用するナビゲーション装置が、例えば特開平１０−１３２５９８号公報、特開平１１−３０４４９９号公報などによって提案されている。
特開平１０−１３２５９８号公報は、移動体の現在位置と進行方向を検出し、その検出された現在位置および進行方向に対応して表示すべきナビゲート情報を選択し、車両のフロントガラスを通して見える進行方向前方の景観とほぼ相似したカメラアングルから撮像装置によって撮像された実写映像と、そのときの自車両の現在位置に対応して読み出されたナビゲート情報の画像とを重畳させて、例えば液晶表示パネルの画面などに表示することで、実際の道路およびその周囲の景観の映像とナビゲート情報との対応関係を視覚的に判りやすいものにして表示する、というものである。
また、一般的なカーナビゲーション装置ではナビゲート情報は主として映像表示部に映し出される映像情報であることから、運転者は運転中において注意力が散漫となりやすい虞がある。
そこで、特開平１１−３０４４９９号公報では、車体の前方を撮影するＣＣＤカメラのような撮像装置を、例えば車両のフロントガラスの天井寄りの位置またはダッシュボート付近などに設けておき、その撮像装置によって撮影された車体の前方の道路を含んだ景観の映像（画像）を、地図情報を表示する画面中の所定位置に子画面として嵌め込んで表示するという技術が提案されている。
この技術によれば、車両のドライバーは運転中に画像表示装置の画面に表示された地図などのナビゲート情報を見ている状態でも、その画面内の所定位置に子画面として映し出された前方の景観の実写映像を見ることで、前方の景観に視線を戻さなくとも車両の前方状況を把握することができる。
また、その小画面の実写映像中に映し出される障害物が大きいと判断された場合や横から急に飛び出して来た物体があった場合などには、子画面の外形寸法（画面サイズ）を大きくして表示するように設定したことで、前方の危険性の高い状態の発生を即座に視覚的にドライバーに伝えると共に、その危険性の高い前方状況をドライバーに対して高い視認性で見せるようにすることができ、延いてはさらなる安全運転を確することを可能とする、といった技術なども提案されている。
また、先行車両判定や自動操舵を行うためには、移動体の前方の道路等を含んだ景観をさらに正確にデータとして把握することが必要になるので、画像道路情報と地図道路情報を用いて３次元道路形状を推定するという技術が、例えば特開２００１−３３１７８７号公報によって提案されている。この特開２００１−３３１７８７号公報は、自車両の前景の画像データから抽出される画像道路形状と自車両の周辺の地図データとを、３次元または２次元で構成された一つの論理空間に投影し、この投影された双方の道路形状の論理空間における重なり状態に基づいて、道路形状、路面に対する自車両の姿勢、自車両の絶対位置などを推定する、というもので、単眼のＣＣＤカメラで撮影した映像に基づいて十分に正確な道路形状の推定を行って、正確な先行車両判定や自動操舵を実現する、というものである。
しかしながら、上記の特開平１０−１３２５９８号公報では、以下に述べるような問題点がある。すなわち、第１に、画像情報は単純に背景映像として使われるだけであり、例えば行先表示の矢印の画像は画面の中央部から表示を開始して、車両の進行に連れて景観の後方（一般に表示画面の上側から下側）へと画面の中央部を例えば直線的に移動するように表示されるだけなので、例えばカーブした道路でのナビゲート情報の表示や、両側４車線のような多車線が設けられている道路では、ナビゲート情報の表示が景観中のどの位置を正確に示しているのか判別できなかったり、あるいは全くずれた位置を指し示していたりすることになる場合があるという問題がある。
また、第２に、カメラの姿勢パラメータはカメラの光軸の地面（あるいは水平方向）に対する角度として予め固定的に設定されているので、例えば走行中の車両の振動、操舵による車両のローリングやピッチング、上り坂や下り坂での車両の傾きなどに起因してカメラの姿勢が変化することに起因して、例えば右折位置のような道順や進行方向の矢印などによるナビゲート情報の画像は、実際の景観を撮影してなる映像に対して大幅にずれてしまい、実質的に誤った方向を指し示すことになったり、どの位置で右折すればよいのかを示しているのかが判然としない表示となってしまうという問題がある。
例えば、第８図に示した一例では、ナビゲート情報の画像である矢印９０１は、明確に前方景観中の道路での左折位置を示しているように見える。しかし、一般的な乗用車や、運転席が高い位置にあるバスやトラックのような車両であっても、実際に車両の運転席からフロントガラス越しに見える道路の景観は、第８図に示したような高い位置から見下ろしたような鳥瞰図的なものとはなり得ない。換言すれば、地上１０ｍあるいはそれ以上の高さの、例えばジャンボジェット機のコックピットなどのように、自動車車両の運転席としては有り得ないような極めて高い位置にある運転席など以外からは、ビルディングや住宅などの建物が並んでいる景観における道路の映像を、第８図に示したような曲り角やビルディングの裏の道までが鳥瞰図的に見渡せるように撮影することは、実際上不可能である。実際には、高々１ｍ前後の高さに運転者の視線が位置する一般的な乗用車や、高くても２ないし３ｍ程度の高さに運転者の視線が位置する大型トラックやバスのような一般的な自動車車両では、第９図に一例を示したように、特に前後方向の密度が詰まっており、かつ進行方向の道路に対して交差する道路が沿線のビルディング等で隠れてしまって見辛い傾向の景観（および実写映像）となる場合が多い。
第１０Ａ図は、一般的な車両の運転席からの例えば１ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθｅに対する路面への投影射像の変化の度合い（ΔＬＡ）を模式的に表したものである。これに対して、第１０Ｂ図は、第１０Ａ図よりも高い例えば１０ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθｅに対する路面への投影射像の変化の度合い（ΔＬＢ）を表したものである。この第１０Ａ図および第１０Ｂ図に示したように、低い位置からの投影射像の変化の度合い（これが低い位置から撮影した場合の姿勢変化Δθｅに対する位置のずれの大きさに相当する）ΔＬＡと、高い位置からの投影射像の変化の度合い（これが高い位置から撮影した場合の姿勢変化Δθｅに対する位置のずれの大きさに相当する）ΔＬＢとでは、ΔＬＡ≫ＬＢであることが明らかである。このため、特開平１０−１３２５９８号公報のように固定的な位置にナビゲート情報を重畳させて表示すると、車両の姿勢変化や、片勾配（カント；ｃａｎｔ）など道路の立体的な形状等に因る道路に対する相対的な車両の姿勢変化などに起因して、ナビゲート情報の表示位置が実写映像での適切に表示すべき位置から大幅にずれるという事態が頻発してしまい、その結果、ナビゲート情報が景観中のどの位置を示しているのかなどをユーザー（運転者）が直観的に正確に把握することは困難あるいは不可能なものとなる。
さらに具体的には、特開平１０−１３２５９８号公報のように景観の実写映像の画面中の中央線上のような固定的な位置にナビゲート情報の例えば矢印などを位置させるようにする技術では、車両の少しの姿勢変化でも景観の実写映像とナビゲート情報の画像との間でのずれが大幅なものとなり、またビルディングのような建物や樹木などの道路沿線で車両寄りにある景観によってそれよりも遠方の景観が遮られることが多いので、それに対処するためにさらに正確な位置にナビゲート情報の画像を表示することが必要となるが、特開平１０−１３２５９８号公報ではそのような対処は不可能である。
また、実際には自動車のような移動体は一般に、走行中には車両のローリングやピッチングなどで頻繁に姿勢が変化することが多く、しかも上記のような理由から一般的な車両の高々１乃至３ｍ程度の高さからの景観中では、少しの姿勢変化でも大幅な位置ずれとなってしまうので、特開平１０−１３２５９８号公報の技術では、例えば道順を示す矢印のようなナビゲート情報の表示位置が実写映像中での適正な表示位置から大幅にずれた状態になるという事態が多発する虞がある。しかも、そのような姿勢変化は、車両の駆動方式などの構造やエンジンの配置位置などで支配的に定まる重心位置の違いなどによって、車両の形式ごとで異なったものとなる場合が多いので、車両の形式ごとや姿勢変化の大きさや方向ごとで異なった対応をすることが必要となるが、そのような対応は特開平１０−１３２５９８号公報では不可能である。また、車体および運転者の身体を大きく傾斜させて曲線を通過する二輪車やスクータの場合には、車両の姿勢変化はさらに顕著なものとなるので、そのような二輪車向けのナビゲート装置の場合には、車両の姿勢変化に起因した表示位置のずれがさらに顕著なものとなってしまう。
また、第３に、道路地図データに附加されている道路名称、ランドマーク、病院などの道順案内などのナビゲートを行うに際して有力な目印となり得る場所を自車両の現在位置に基づいて３次元的にリアルタイムに表示することが望ましいが、そのようなことは特開平１０−１３２５９８号公報では全く考慮されておらず、提案もされていない。しかも、第９図に一例を示したように、道路沿線の目印となる建物は車両寄りの建物や景観などの背後に隠れて見辛いものとなる場合も多い。
特開平１１−３０４４９９号公報では、上記のような特開平１０−１３２５９８号公報に関するものと同様の問題点の他に、次のような問題点がある。すなわち、特開平１１−３０４４９９号公報では、道路前方の景観の実写映像を子画面に表示するだけであるため、道路地図情報と実映映像との照合は、やはりドライバーが自分の頭の中で考えて行わなければならない。このため、例えば不慣れな（または初めて通るような）土地における交差や分岐等が多い道路を運転するドライバーにとっては、直観的にナビゲート情報を把握することが困難であり、延いてはユーザーが道順を間違ってしまったりナビゲート情報の意味する内容を誤認したり理解不能になったりする虞がある。
特開２００１−３３１７８７号公報では、次のような問題点がある。すなわち、特定な道路形状モデルがないため、多車線道路の場合では画像データから抽出する自車走行車線の中心線と道路地図データから推定する道路中心線との間で大きなずれを生じる可能性がある。また、自車走行車線の情報を推定できないので、車線変更や左折右折の際に正しいナビゲート情報を提供することができない。
また、走行路面の片勾配は水平曲率に対応して変化するように設定されているという道路構造を考慮していないので、曲線道路では現在走行中の車線の隣の車線での路面に対する姿勢データの推定結果が大幅に変わってしまうこととなり、道路形状を正確に推定することができない虞がある。
また、画像からの道路特徴抽出を行うに際しては、道路形状の推定結果をフィードバックせずに単純にフレーム毎に微分フィルタによって輝度変化が大きい部分を白線として抽出するようにしているが、この手法によって得られる推定結果は天候の変化や路面上の影、汚れなどのような種々の環境的な要因の影響を極めて受けやすい。このため、道路特徴抽出データの表す道路形状モデルが実体の道路形状とは有意にずれた不正確なものとなる虞があるという問題などもある。
本発明はかかる問題点に鑑みてなされたもので、その目的は、進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行って、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるようにした、ナビゲート情報表示方法および移動体ナビゲート情報表示装置を提供することにある。The current position of a moving body such as an automobile is detected, the detected current position is displayed together with the surrounding road map on the display screen, and various guidance information such as destinations and directions are displayed and voice output is performed. Mobile navigation devices such as car navigation devices have been developed.
In such a conventional car navigation apparatus, autonomous navigation control is performed on a map stored in advance as data in a storage means such as a CD-ROM, based on the vehicle speed pulse from the vehicle speed sensor and the direction by the geomagnetism from the geomagnetic sensor. And the current position of the mobile unit is confirmed based on a GPS signal transmitted from a GPS (Global Positioning System) satellite. In car navigation systems in the early stages of development in this field, the actual travel position and the trace position on the map are significantly deviated due to factors such as measurement errors. For example, while actually traveling on a road near the coastline, There was also a clear malfunction (false detection) such as that the traveling position of the own vehicle detected by the car navigation device shows in the sea, but when such a significant misalignment occurs, Techniques for performing position correction (map matching) have been developed, and now the detection accuracy of the traveling position of the vehicle has become sufficient. Then, by superimposing the information on the current position of the vehicle thus obtained and the map information obtained from the large-capacity data storage means such as a CD-ROM, a road map within a predetermined range near the current position. Is displayed as a two-dimensional image such as a planar map on the screen of an image display device such as a liquid crystal display device, and the vehicle position, traveling direction, speed, map information, route guidance, and shortest So-called navigation information such as route and road information is superimposed on the map of the two-dimensional image, or is fitted into a corresponding position in the map of the two-dimensional image and displayed.
In a conventional navigation display device, a travel position and a travel direction displayed by an icon such as an arrow in the road plan map of a two-dimensional image or a three-dimensional CG road map, and the current position Some of them display an image of information such as a recommended route (optimum route) from the destination to the destination. Still further, there is a display that displays road traffic information obtained from a road traffic information receiver (VICS) or the like on a screen with a text label.
However, with such a conventional technique, indirect navigation using images that are abstractly simplified and represented by CG even if the map is two-dimensional (simplified) or three-dimensional. Since only gate information can be provided, for drivers driving in a car, for example, there is a correspondence relationship between information such as the current position and route guidance and the road in the landscape that is actually visible through the windshield. There is an inconvenience that it is difficult to understand intuitively.
In order to solve these inconveniences, a navigation device that uses a photographed image in addition to map information has been proposed, for example, in Japanese Patent Laid-Open Nos. 10-132598 and 11-304499.
Japanese Patent Laid-Open No. 10-132598 detects a current position and a traveling direction of a moving body, selects navigation information to be displayed corresponding to the detected current position and traveling direction, and can be seen through a windshield of a vehicle. Superimposing a live-action image captured by the imaging device from a camera angle that is substantially similar to a landscape in front of the traveling direction and an image of navigation information read corresponding to the current position of the host vehicle at that time, for example, By displaying it on the screen of a liquid crystal display panel, the correspondence between the actual road and the surrounding landscape image and the navigation information is displayed in a visually understandable manner.
Further, in a general car navigation apparatus, navigation information is mainly video information displayed on a video display unit, so that the driver may be distracted with attention during driving.
In Japanese Patent Laid-Open No. 11-304499, therefore, an imaging device such as a CCD camera that photographs the front of the vehicle body is provided near the ceiling of the windshield of the vehicle or near the dashboard, for example. A technique has been proposed in which an image (image) of a landscape including a road in front of a photographed vehicle is inserted and displayed as a sub-screen at a predetermined position in a screen for displaying map information.
According to this technology, even when the driver of the vehicle is looking at navigation information such as a map displayed on the screen of the image display device while driving, the front of the vehicle displayed as a sub-screen at a predetermined position in the screen is displayed. By looking at the live-action video of the landscape, it is possible to grasp the situation ahead of the vehicle without returning to the front landscape.
Also, if it is determined that the obstacle displayed in the live-action video of the small screen is large, or if there is an object that suddenly jumps out from the side, the external dimensions (screen size) of the sub-screen are increased. In order to display the high-risk forward situation to the driver immediately and to show the high-risk forward situation to the driver with high visibility. In addition, there has been proposed a technique that makes it possible to ensure further safe driving.
Moreover, in order to perform preceding vehicle determination and automatic steering, it is necessary to more accurately grasp the landscape including the road ahead of the moving body as data, so using image road information and map road information For example, Japanese Patent Application Laid-Open No. 2001-331787 proposes a technique for estimating a three-dimensional road shape. Japanese Patent Application Laid-Open No. 2001-331787 projects an image road shape extracted from foreground image data of a host vehicle and map data around the host vehicle onto one logical space composed of three dimensions or two dimensions. The road shape, the posture of the vehicle relative to the road surface, the absolute position of the vehicle, and the like are estimated based on the overlapping state of the projected road shapes in the logical space. Based on the obtained image, the road shape is estimated sufficiently accurately, and accurate preceding vehicle determination and automatic steering are realized.
However, the above Japanese Patent Laid-Open No. 10-132598 has the following problems. That is, first, the image information is simply used as a background image. For example, an image of a destination display arrow starts from the center of the screen, and as the vehicle progresses, It is displayed so as to move, for example, linearly in the center of the screen from the upper side to the lower side of the display screen. For example, navigation information is displayed on curved roads, and multiple lanes such as 4-lanes on both sides are displayed. On roads where there is a problem, it may not be possible to determine exactly where the navigation information is displayed in the landscape, or it may point to a completely deviated position. is there.
Second, since the camera posture parameter is fixedly set in advance as an angle of the optical axis of the camera with respect to the ground (or the horizontal direction), for example, vibration of the running vehicle, rolling or pitching of the vehicle by steering, etc. For example, navigation information images such as directions such as the right turn position and arrows in the direction of travel are actually caused by changes in the camera posture due to the inclination of the vehicle uphill or downhill. It is a display that does not clearly show where the right direction should be pointed to, or to indicate the wrong direction, or to indicate the right direction. There is a problem that it ends up.
For example, in the example shown in FIG. 8, the arrow 901 that is the image of the navigation information clearly appears to indicate the left turn position on the road in the forward landscape. However, the road scenery that can be seen through the windshield from the driver's seat is shown in Fig. 8, even if it is a general passenger car or a vehicle such as a bus or truck with a high driver's seat. It cannot be a bird's eye view looking down from such a high position. In other words, the building or housing other than the driver's seat at a height of 10 m or more above the ground, such as a cockpit of a jumbo jet, which is extremely high such that it cannot be used as a driver's seat of an automobile vehicle. It is practically impossible to take a picture of a road in a landscape where buildings are lined up such that a corner and a road behind the building can be seen from a bird's eye view as shown in FIG. Actually, the general passenger car where the driver's line of sight is located at a height of around 1 m at most, or a large truck or bus where the driver's line of sight is located at a height of at most 2 to 3 m. In the case of a typical automobile vehicle, as shown in FIG. 9, for example, the density in the front-rear direction is clogged, and the road intersecting with the road in the traveling direction is hidden by the buildings along the line and is difficult to see. In many cases, it becomes a trendy landscape (and a live-action video).
FIG. 10A schematically shows the degree of change (ΔLA) in the projected image on the road surface with respect to the unit angle change (attitude with respect to the road surface) Δθe at a line of sight of about 1 m in height from the driver seat of a general vehicle. It is a representation. On the other hand, FIG. 10B shows the degree of change (ΔLB) in the projected image on the road surface with respect to the unit angle change (attitude with respect to the road surface) Δθe at a line of sight about 10 m higher than FIG. 10A. It is a thing. As shown in FIGS. 10A and 10B, the degree of change in the projected image from a low position (corresponding to the magnitude of the positional deviation with respect to the posture change Δθe when photographing from a low position) and ΔLA It is clear that ΔLA >> LB when the degree of change in the projected image from a high position (which corresponds to the magnitude of the positional deviation with respect to the posture change Δθe when the image is taken from a high position) ΔLB. For this reason, when navigation information is superimposed and displayed at a fixed position as disclosed in Japanese Patent Laid-Open No. 10-132598, a change in the posture of the vehicle, a three-dimensional shape of a road such as a cant, etc. As a result, the navigation information display position often deviates significantly from the position that should be properly displayed in the live-action video due to changes in the vehicle posture relative to the road. It becomes difficult or impossible for the user (driver) to know intuitively and accurately which position in the landscape the gate information indicates.
More specifically, as disclosed in Japanese Patent Laid-Open No. 10-132598, for example, an arrow or the like of navigation information is positioned at a fixed position on the center line in the screen of a live-action image of a landscape. Even a slight change in the posture of the vehicle will cause a large gap between the live-action image of the landscape and the navigation information image, and it may be further affected by the landscape near the vehicle along the road such as buildings and trees. However, it is necessary to display an image of navigation information at a more accurate position in order to cope with such distant scenery. However, in Japanese Patent Laid-Open No. 10-132598, such a countermeasure is Impossible.
In fact, in general, a moving body such as an automobile generally changes its posture frequently during driving due to rolling or pitching of the vehicle. In a landscape from a height of about 3 m, even a slight change in posture results in a large positional shift. For example, in the technique disclosed in Japanese Patent Laid-Open No. 10-132598, navigation information such as an arrow indicating a route is displayed. There is a risk of frequent occurrence of a situation where the position is significantly deviated from an appropriate display position in the live-action image. Moreover, such posture changes often differ depending on the type of vehicle due to differences in the position of the center of gravity, which is dominantly determined by the structure of the vehicle drive system and the arrangement position of the engine. However, this type of correspondence is not possible in Japanese Patent Laid-Open No. 10-132598. Also, in the case of a motorcycle or a scooter that passes a curve with a large inclination of the vehicle body and the driver's body, the change in the posture of the vehicle becomes even more prominent, so in the case of such a navigation device for a motorcycle The display position shift due to the change in the attitude of the vehicle becomes more remarkable.
Third, based on the current position of the host vehicle, a place that can be a powerful landmark when navigating route information such as road names, landmarks, and hospitals attached to road map data. However, this is not considered at all and is not proposed in Japanese Patent Laid-Open No. 10-132598. In addition, as shown in FIG. 9 as an example, the buildings that serve as landmarks along the road are often difficult to see because they are hidden behind buildings and landscapes near the vehicle.
Japanese Patent Laid-Open No. 11-304499 has the following problems in addition to the same problems as those described in Japanese Patent Laid-Open No. 10-132598. That is, in Japanese Patent Application Laid-Open No. 11-304499, since only a live-action image of a landscape in front of a road is displayed on a sub-screen, verification of the road map information and the actual image is performed by the driver in his / her head. You have to think about it. For this reason, for example, it is difficult for a driver who drives a road with many intersections or branches in an unfamiliar (or first-passed) land to intuitively grasp navigation information, and thus the user has directions. May be misunderstood, misunderstood the contents of navigation information, or become unintelligible.
Japanese Patent Laid-Open No. 2001-331787 has the following problems. In other words, since there is no specific road shape model, in the case of a multi-lane road, there is a possibility that a large deviation occurs between the center line of the own vehicle lane extracted from the image data and the road center line estimated from the road map data. is there. In addition, since the information on the vehicle lane cannot be estimated, correct navigation information cannot be provided when changing lanes or turning left or right.
Also, since the road structure that the single slope of the running road surface is set to change according to the horizontal curvature is not taken into consideration, on curved roads, attitude data for the road surface in the lane adjacent to the currently running lane The estimation result will change significantly, and there is a possibility that the road shape cannot be estimated accurately.
In addition, when extracting road features from an image, the estimation result of the road shape is not fed back, and a portion with a large luminance change is extracted as a white line by a differential filter for each frame. The estimation results obtained are very sensitive to various environmental factors such as weather changes, road shadows and dirt. For this reason, there is a problem that the road shape model represented by the road feature extraction data may be inaccurate and significantly deviated from the actual road shape.
The present invention has been made in view of such problems, and its purpose is to provide navigation information such as route guidance, own vehicle position, and map information in a live-action image of a road ahead of a moving object or in an actual landscape. A navigation information display method that enables a driver to accurately and intuitively recognize the correspondence between navigation information and live-action video or real-life scenes by performing a display that is accurately projected at an appropriate position. The object is to provide a mobile navigation information display device.

本発明による移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影するプロセスと、検出された移動体の現在位置に対応した移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出するプロセスと、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定するプロセスと、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示するプロセスとを備えている。
また、本発明による移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、移動体の進行方向の道路を含んだ景観を被写体とした実写映像を移動体に設置された車載カメラによって撮影する撮像手段と、移動体の検出された現在位置に対応した移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、撮影された実写映像のされた位置に読み出されたナビゲート情報を合成してなる画像を表示するためのデータを出力するデータ処理手段と、データ処理手段から出力されたデータに基づいて、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成した画像を表示する画像表示手段とを備えている。
本発明による移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写映像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定する。そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示する。
このようにして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。
ここで、上記のナビゲート情報としては、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどが可能である。
また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示するようにすることなども可能である。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、ナビゲート情報を３次元拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）空間内の仮想実体（ｖｉｒｔｕａｌｏｂｊｅｃｔ）として表現し、既に得られた姿勢データに基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中に仮想実体として合成することなども可能である。このようにすることにより、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すことが可能となる。
なお、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データどうしで照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定するようにしてもよい。このようにすることにより、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、３次元論理空間などで３次元データ同士で行うといった情報量が極めて多くなりデータの高速処理が困難になる場合があることが想定されるような手法を用いなくとも、疑似３次元的な２次元特徴空間で２次元データ同士で行うことができるので、その照合のプロセスの簡易化および高速化を達成することなどが可能となる。
なお、上記のカメラ姿勢データの出力を安定させるために、この姿勢データに、車体に付設された３次元慣性センサから取得した角速度や加速度データを統合するようにしてもよい。つまり、画像照合から求めた結果は直接的であり、高精度であるが、雑音や誤抽出に影響されやすい。その一方、３次元慣性センサからの角速度や加速度データの累積で求めた結果は、累積誤差は高いが、安定しており、しかも高速である。この二つのセンサの統合によって、より安定した正確な車載カメラ姿勢データを求めることができる。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成するものとしてもよい。このようにすることにより、自動車車両のような移動体が多車線道路を走行している場合であっても、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することが可能となる。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ：ＲｏａｄＳｈａｐｅＬｏｏｋ−ｕｐｔａｂｌｅ）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることにより、天候の変化や路面上の影、汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。
また、上記の画像表示手段または画像表示を行うプロセスは、撮影された実写映像の中の適切であると決定された位置に読み出されたナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることが可能である。
あるいは、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。
また、上記のデータ処理手段またはデータ処理を行うプロセスは、移動体の検出された現在位置に対応したナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、当該移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、車両に付けられた３次元慣性センサ（ＩＮＳ）から取得した方位データと統合し、統合した姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、その決定された位置に読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、上記の画像表示手段または画像表示プロセスは、ナビゲート情報の画像を移動体の運転席前面の透明窓の内側表面に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示するものであるようにすることなども可能である。The moving body navigation information display method according to the present invention detects a current position of a moving body and captures a live-action image of a landscape including a road in the traveling direction of the moving body with an in-vehicle camera installed on the moving body. A process, a process of reading out navigation information relating to the operation of the moving object corresponding to the detected current position of the moving object from the navigation information stored in association with the road map data in advance, and the current position of the moving object And a road map data that is a road image data included in the landscape is extracted from a live-action video and a process that generates a road shape model for the road that is supposed to be taken from the current position The process of the vehicle, the road shape model data and the road shape data, The process of estimating the data and determining the display position in the photographed live-action image of the navigation information read out corresponding to the current position of the moving object based on this attitude data, and the decision of the photographed real-action image And a process of displaying an image obtained by synthesizing the read navigation information at the specified position.
Further, the mobile navigation information display device according to the present invention is provided with a current position detection means for detecting the current position of the mobile body, and a live-action image with a scene including a road in the traveling direction of the mobile body as a subject. The navigation means relating to the imaging means for photographing with the mounted vehicle-mounted camera and the operation of the moving body corresponding to the detected current position of the moving body is read out from the navigation information stored in advance in association with the road map data. Based on the current position of the moving object and the road map data, a road shape model relating to the road that is supposed to be photographed from the current position is generated, and roads that are image data of roads included in the landscape from the live-action video Extracts shape data and compares road shape model data with road shape data to estimate posture data of in-vehicle camera or moving body with respect to subject road Based on this attitude data, the display position of the navigation information read corresponding to the current position of the moving body in the captured real image is determined, and is read out to the position where the captured real image was displayed. Data processing means for outputting data for displaying an image formed by combining the navigation information, and the data output from the data processing means is read out at a determined position of the photographed real image. Image display means for displaying an image obtained by combining the navigation information.
In the mobile navigation information display method or the mobile navigation information display device according to the present invention, an image is taken from the current position based on the current position of the mobile object such as an automobile and the road map data including the current position. A road shape model relating to a road that is assumed to be generated is generated, and road shape data that is image data of a road included in a landscape in a forward or traveling direction is extracted from a live-action image together with the road shape model. The vehicle shape data and the road shape data are collated to estimate the posture data of the vehicle-mounted camera or the moving body with respect to the road in the landscape as the subject. Then, based on the posture data, an appropriate display position in the photographed live-action video of the navigation information read out corresponding to the current position of the moving object is determined, and the appropriate appropriate position of the photographed live-action video is determined. An image obtained by synthesizing the read navigation information is displayed at a proper position.
In this way, it is determined by comparing the road shape model data with the road shape data where the navigation information is appropriate to be combined in the live-action video, for example, the course It is possible to display navigation information such as guidance, own vehicle position, map information, etc., accurately projected in the live-action video of the road ahead of the moving object or at the appropriate position in the actual landscape. The driver can intuitively and accurately recognize the correspondence between the navigation information and the live-action video or the real-view scene.
Here, as the navigation information, for example, the route guidance on the route to the destination of the moving body, the vehicle position, the lane in which the vehicle is traveling, the route guidance, or the vehicle position are displayed. There can be at least one of the buildings that serve as landmarks for the driver to check.
In addition, when the navigation information is information of characters, symbols, or numbers, it is also possible to convert the information into an icon and display the icon image combined with the captured real image. .
Further, the data processing means or the process for performing the data processing described above expresses the navigation information as a virtual object in the 3D augmented reality space, and 2 based on the obtained attitude data. By assigning to the corresponding position in the road shape data converted to the dimension feature space, it is possible to synthesize the navigation information image as a virtual entity in the live-action video. In this way, for example, navigation information consisting of letters, symbols, or numbers for a building that serves as a guide for driving directions is displayed on the back of the building on the near side or the inner periphery of a curved road in a live-action video. Even if it is hidden by the side or the like and cannot be seen, the presence of the landmark building can be visually and intuitively shown.
The data processing means or the process for performing the data processing converts the road shape data into perspective two-dimensional feature space image data and converts the road shape model data into a perspective two-dimensional feature space image. The data may be converted into data, and the two-dimensional data may be compared with each other in the two-dimensional feature space to estimate posture data of the in-vehicle camera or the moving body with respect to the road surface of the subject road. By doing so, the amount of information that the matching between the road shape data and the road shape model data performed for estimating the posture data is performed between three-dimensional data in a three-dimensional logical space or the like becomes extremely large. Since it is possible to perform two-dimensional data between two-dimensional data in a pseudo-three-dimensional two-dimensional feature space without using a method that may be difficult to perform high-speed processing, the matching process is simplified. It is possible to achieve high speed and high speed.
In order to stabilize the output of the camera posture data, angular velocity and acceleration data acquired from a three-dimensional inertial sensor attached to the vehicle body may be integrated into this posture data. That is, the result obtained from the image collation is direct and highly accurate, but is easily affected by noise and erroneous extraction. On the other hand, the results obtained by accumulating the angular velocity and acceleration data from the three-dimensional inertial sensor are stable and fast, although the accumulated error is high. By integrating these two sensors, more stable and accurate in-vehicle camera posture data can be obtained.
In addition, the data processing means or the process for performing the data processing is set such that when the road shape model is generated, the single slope of the traveling road surface on the curved road changes corresponding to the horizontal curvature of the curved road. It is also possible to generate a road shape model of a multilane road by performing modeling in consideration of the road structure. By doing in this way, even when a moving body such as an automobile vehicle is traveling on a multi-lane road, it is possible to accurately grasp the road shape of the multi-lane road. It becomes possible to synthesize and display the navigation information at an appropriate position accurately corresponding to the road shape of the multilane road.
In addition, the data processing means or the process for performing the data processing uses a road look-up table (RSL) to collate the road shape model data with the road shape data. Alternatively, the existence probability of the road white line included in the landscape is obtained, the RSL value is calculated, and the posture data of the moving body may be obtained so that the evaluation value based on the RSL value is maximized. In this way, accurate road shape data can always be extracted without being adversely affected by various environmental factors such as weather changes, road shadows, and dirt. It is possible to estimate accurate posture data using.
In addition, the image display means or the process of displaying an image includes an image obtained by synthesizing the navigation information read out at a position determined to be appropriate in the captured real image, for example, a dashboard. It is possible to display on a predetermined display screen of a display device such as a liquid crystal display panel for car navigation installed almost at the center.
Alternatively, an image obtained by synthesizing the navigation information read out at the determined position of the photographed live-action image is displayed on the front of the driver's seat by a display device such as a so-called HUD (Head Up Display) type projector. You may make it project and display on the inner surface of a transparent window.
Further, the data processing means or the process for performing the data processing reads out the navigation information corresponding to the detected current position of the moving body from the navigation information stored in advance in association with the road map data, Based on the current position of the mobile object and road map data, a road shape model related to the road that is supposed to be photographed from the current position is generated, and roads that are image data of roads included in the landscape from the live-action video The shape data is extracted, the road shape model data and the road shape data are collated, the in-vehicle camera or the moving body posture data with respect to the subject road is estimated, and from the three-dimensional inertial sensor (INS) attached to the vehicle Shooting of navigation information read out corresponding to the current position of the moving object based on the integrated orientation data, integrated with the acquired orientation data The display position in the live-action video is determined, and data for displaying an image of the navigation information read out at the determined position is output. The image display means or the image display process described above, By projecting and displaying the navigation information image on the inner surface of the transparent window in front of the driver's seat on the moving body, the navigation information image is displayed in a synthesized view on the transparent window in front of the driver's seat. It is also possible to make it.

第１図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表した図である。
第２Ａ図ないし第２Ｄ図は、３次元車両座標系ＶＣＳおよび３次元カメラ座標系ＣＣＳならびに２次元投影画像座標系ＩＣＳの相対的位置関係を表した図である。
第３図は、道路地図データによって表される点と線によるマッピングの一例を表した図である。
第４図は、クロソイド曲線で近似してなる道路セグメント水平形状モデルを表した図である。
第５図は、２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を表した図である。
第６図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。
第７図は、中央処理部で行われる各種の演算に用いられる各種の数式を纏めて表した図である。
第８図は、従来のナビゲートシステムにて表示可能であると主張されているナビゲート情報の画像を重畳してなる映像の一例を表した図である。
第９図は、実際の自動車の運転席からフロントガラス越しに見える前方景観の一例を表した図である。
第１０Ａ図は、一般的な車両の運転席からの視線における単位角度変化に対する路面への投影射像の変化の度合いを模式的に表し、第１０Ｂ図は、第１０Ａ図よりも高い位置からの視線における単位角度変化に対する路面への投影射像の変化の度合いを表した図である。FIG. 1 is a diagram showing a schematic configuration of a mobile navigation information display device according to an embodiment of the present invention.
2A to 2D are diagrams showing the relative positional relationship between the three-dimensional vehicle coordinate system VCS, the three-dimensional camera coordinate system CCS, and the two-dimensional projection image coordinate system ICS.
FIG. 3 is a diagram showing an example of mapping by points and lines represented by road map data.
FIG. 4 is a diagram showing a road segment horizontal shape model approximated by a clothoid curve.
FIG. 5 is a diagram showing an example of a road horizontal shape model used in 2D-2D matching.
FIG. 6 is a flowchart showing a flow of a series of main processes including extraction of road shape data, generation of a road shape model, estimation of camera posture parameters, and the like in the central processing unit.
FIG. 7 is a diagram summarizing various mathematical formulas used for various calculations performed in the central processing unit.
FIG. 8 is a diagram showing an example of an image formed by superimposing images of navigation information claimed to be displayable by a conventional navigation system.
FIG. 9 is a diagram showing an example of a front view seen from the driver's seat of an actual automobile through the windshield.
FIG. 10A schematically shows the degree of change in the projected image on the road surface with respect to the unit angle change in the line of sight from the driver seat of a general vehicle, and FIG. 10B shows the position from a position higher than FIG. 10A. It is a figure showing the degree of the change of the projection image to the road surface with respect to the unit angle change in eyes | visual_axis.

以下、本発明の実施の形態について図面を参照して詳細に説明する。
第１図は、本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表したものである。なお、本発明の実施の形態に係る移動体ナビゲート情報表示方法は、この移動体ナビゲート情報表示装置の動作あるいは作用によって具現化されるものであるから、以下、それらを併せて説明する。
この移動体ナビゲート情報表示装置は、センサ入力部１と、操作部２と、地図管理部３と、中央処理部４と、映像表示部５と、制御部６とを、その主要部として備えている。
さらに詳細には、センサ入力部１は、ＣＣＤ（固体撮像素子）カメラ１０１と、ＧＰＳセンサ１０２と、ＩＮＳセンサ１０３と、道路交通情報受信機（ＶＩＣＳ）１０４とを備えている。ＣＣＤカメラ１０１はドライバーがフロントガラス越しに見る視線とほぼ同様のカメラアングルで車両前方の景観を撮影（撮像）するように、例えばこの移動体ナビゲート情報表示装置が搭載されている自動車のような移動体（以下、これを自車両または当該移動体もしくは自車とも呼ぶ）の運転席のダッシュボードの上または天井付近（図示省略）などに設置されている。このＣＣＤカメラ１０１は、例えば固定焦点距離の単眼方式のものであり、道路を含んだ前方の景観の画像を撮像してその画像信号を取り込む。取り込まれた画像信号は、中央処理部４の画像メモリ（図示省略）にデータとして転送される。そしてＧＰＳセンサ１０２とＩＮＳセンサ１０３とで取得された当該移動体に関する走行方位のデータおよび車速データは、ＣＣＤカメラ１０１で取得された画像データと同期して、中央処理部４へと転送される。また、道路交通情報受信装置（ＶＩＣＳ）１０４から受けられたデータも中央処理部４に転送される。
操作部２は、ユーザーからのボタン操作またはリモコン入力装置（図示省略）などによって入力された操作命令に応答してシステム設定やモード変更などの命令を中央処理部４に転送する。
地図管理部３は、中央処理部４からの読み出し命令に従って、操作部２からの命令入力で指定された道路位置の各種情報を、所定の地理的領域の地図データを予め記録している地図データＣＤ３０１から読み出して、中央処理部４へと転送する。
中央処理部４は、画像処理モジュール４０１、測位処理モジュール４０２、映像出力処理モジュール４０３、制御出力処理モジュール４０４という４つのモジュールと、画像データ生成部４０５とから、その主要部が構成されている。
画像処理モジュール４０１は、車載ＣＣＤカメラの姿勢推定、走行車線追跡、害物検出、および車間距離計算などを行う。
測位処理モジュール４０２は、センサ入力部１からの方位及び車速を地図管理部３の道路地図データとマップマッチングして、正しい道路位置情報の演算を行ってそのデータを出力する。
映像出力処理モジュール４０３は、映像表示部５における進路案内、自車位置、および地図情報を、３次元拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）空間内の仮想実体（ＶｉｒｔｕａｌＯｂｊｅｃｔ）として表現し、それを後述するような推定方法で求められたＣＣＤカメラ１０１の姿勢パラメータで２次元道路映像へと投影して、移動体の前面の景観の実写映像と融合（合成）させる。また、悪天候状況での道路区画線強調表示や障害物などの危険表示などを行うためのデータ生成も行う。またさらには、道路地図に附加すべき情報として、例えば、ランドマーク、鉄道の駅、病院、ガソリンスタンドなどのような道順案内の際の目印となり得る物体の情報をアイコン化して、それをカメラ姿勢パラメータを用いて道路の実写映像に投影する。
制御出力処理モジュール４０４は、各解析結果を総合的に判断し、自車両に対する危険性の度合いに対応した警報等を出力するためのアラーム出力命令を、制御部６に対して与える。
画像データ生成部４０５は、主に画像処理モジュールおよび測位処理モジュールから出力されたデータならびに地図管理部３から読み出された地図データに基づいて、自車両の現在走行中の走行車線認識、道路形状認識、障害物認識や、自車両の絶対路上位置認識、カメラ姿勢の推定などを行って、ナビゲート情報を実写映像中の適切な位置に合成して表示するためのデータを生成する。
映像表示部５は、画像データ生成部４０５によって生成されたデータに基づいて、ナビゲート情報を実写映像中の適切な位置に合成した映像（画像）を、例えば液晶表示パネルの画面に表示する。
制御部６は、上記のようなアラーム出力命令に対応した警報等の出力の制御や、制御出力モジュールによる解析結果に対応した音声出力の制御、ブレーキの制御、操舵の制御などを、例えばそれらの制御量を調節するために設けられている各サーボモータ系などの動作を制御することによって行う。
次に、本発明による一実施の形態に係る移動体ナビゲート情報表示装置の、動作（機能）について説明する。
この移動体ナビゲート情報表示装置では、自車両の現在位置を含む付近の地理に関する道路地図データを、ＧＰＳセンサ１０２およびＩＮＳセンサ１０３ならびに測位処理モジュールによって検出された現在位置のデータに基づいて、画像データ生成部４０５が、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成する。またそれと共に、実写映像から進行方向の景観中に含まれる道路の画像データである道路形状データを、例えば道路の走行区分線の白線画像データ等に基づいて抽出する。
続いて、画像データ生成部４０５は、道路形状データと道路形状モデルのデータとを照合して、ＣＣＤカメラ１０１によって撮影される被写体となっている景観中の道路に対するＣＣＤカメラ１０１の姿勢データ（または自車両の姿勢データでも構わない）を推定する。なお、このとき、この姿勢データに、車体に付設された３次元慣性センサから取得した角速度や加速度データを統合することが望ましい。
そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示することができるような画像データを生成する。
このようにして、画像データ生成部４０５が、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定し、そのようにして生成された画像データに基づいて、映像表示部５が、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成した表示を行うことができる。その結果、本実施の形態に係る移動体ナビゲート情報表示装置によれば、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することを可能とした映像を表示することができる。
ここで、上記のナビゲート情報とは、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどである。また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示することが望ましい。
また、画像データ生成部４０５では、ナビゲート情報を３次元拡張現実空間内の仮想実体として表現して、既に得られた姿勢データ等に基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中の適切な位置に仮想実体として合成して、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すようにしている。
また、画像データ生成部４０５では、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データ同士で照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定している。このように、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、疑似３次元的な２次元特徴空間で２次元データ同士で行うようにしたことで、その照合のプロセスの簡易化および高速化が達成されている。
また、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成している。これにより、自動車車両のような移動体が多車線道路を走行しているときでも、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することができる。
また、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ：ＲｏａｄＳｈａｐｅＬｏｏｋ−ｕｐｔａｂｌｅ，参照文献：胡振程「車載カメラの運動解析による複数移動体の抽出及び同時追跡に関する研究」熊本大学大学院自然科学研究科博士学位論文）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることで、天候の変化や、路面上の影または汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。
また、撮影された実写映像中の適切な位置にナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置に表示するようにしてもよい。
または、撮影された実写映像における上記のような照合によって決定された適切な位置に、読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。
あるいは、ナビゲート情報の画像を撮影された実写映像の中に合成するのではなく、上記のような照合によってナビゲート情報の画像を表示するのに適切な位置であると決定された位置のデータを用いて、その位置に相当する運転席前面のフロントガラスの内側表面に、ナビゲート情報の画像をＨＵＤ的に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示してもよい。
次に、本発明に係る移動体ナビゲート情報表示装置および移動体ナビゲート情報表示方法の実施例について説明する。
第２図Ａ〜第２Ｄ図は、３次元車両座標系ＶＣＳ（Ｘｖ，Ｙｖ，Ｚｖ）および３次元カメラ座標系ＣＣＳ（Ｘｃ，Ｙｃ，Ｚｃ）ならびに２次元投影画像座標系ＩＣＳ（ｘｉ，ｙｉ）の相対的位置関係を表したものである。ここで、３次元車両座標系ＶＣＳの原点は車両後輪中央線の中点に位置しており、Ｚｖ軸は車両の中央線に、Ｘｖ軸，Ｙｖ軸はそれぞれ左，上に指向するように、各々設定されているものとする。また、３次元カメラ座標系ＣＣＳの原点はＣＣＤカメラのレンズ中心点に位置しており、Ｚｃ軸はカメラの光軸に重なるように設定されているものとする。また、２次元投影画像座標系ＩＣＳはＺｃ＝ｆｃｏｎｓｔ（Ｚｃ＝ｆなる平面）に位置しているものとする。
カメラ座標系ＣＣＳから画像座標系ＩＣＳへの変換関係は正投影である。従って、第７図に式１に示したような行列による関係式として記述することができる。但し、ＰはＣＣＳ座標系内の座標［Ｘｃ，Ｙｃ，Ｚｃ，１］、ｐはＩＣＳ座標系内の座標［ｘｉ，ｙｉ，１］である。
Ａは３×４の投影マトリックスであり、一般に第７図に式２として示したように分解することができる。ここに、Ｋはカメラ内部のパラメータマトリクスと呼ばれるもので、画像の横縦方向変形率（Ｓｘ，Ｓｙ）および画像中心点（ｕｏ，ｖｏ）ならびに回転変形率Ｓθによって定まるものである。このＫを第７図に式３として表す。
カメラ姿勢マトリクスＭは、カメラ外部パラメータマトリクスと呼ばれるもので、視点から対象モデル座標系への変換関係を示しており、一般に剛体の３次元並進および回転変換によって第７図に式４として示したように表すことができるものである。ここに、Ｒ１１〜Ｒ３３（Ｒの要素全て）は回転パラメータであり、Ｔｘ，Ｔｙ，Ｔｚ（Ｔの要素全て）は並進パラメータである。
ところでカメラ倍率は一般に１で近似することも可能であることから、式１〜式４に基づいて、第７図に式５で示したような拘束式が成り立つ。
ここで、カメラ姿勢を代表する回転および並進の６つのパラメータを姿勢ベクトルで表示すると、画像座標系と車両座標系との投影関係は、第７図の式６で示したような数式で表現される。すなわち、式６によれば、２Ｄ−３Ｄ空間における一つの対応点対（ｐ，Ｐ）は、カメラ姿勢データに対して第７図に式６で示したような一つの拘束式を決定することとなる。理論的には、このような６つの対応点対があれば、カメラの姿勢を推定するためには十分である。
しかし、単純な単眼のＣＣＤカメラによって撮像される前方景観のモノクロの実写画像データのみから３次元空間の奥行きを正確かつ確実に推定することは、理論的に極めて困難あるいは不可能であるため、本実施例では、２Ｄ−３Ｄでの（２次元空間対３次元空間照合による）マッチングを避けて、道路地図情報から多車線道路形状モデルを推定し、その多車線道路形状モデルを実写映像データから抽出された多車線道路形状データと２Ｄ−２Ｄ特徴空間でのマッチングに変換して、２次元空間対２次元空間での照合によってカメラ姿勢データを推定する。但し、このときの照合は２Ｄ−２Ｄ特徴空間でのマッチングのみには限定されないことは言うまでもない。この他にも、例えば前方景観の実写画像データ以外の情報源から３次元空間の奥行きデータを正確かつ確実に推定し、そのデータを用いて２次元空間対３次元空間の照合を行うようにしてもよいことは言うまでもない。但し、その場合には、一般に処理すべきデータ量が２Ｄ−２Ｄ特徴空間でのマッチングの場合よりも多くなる傾向にあることは言うまでもない。
第３図は、道路地図データによって表される点と線によるマッピングの一例を表したものである。道路地図データには一般にノードと呼ばれる道路セグメントの緯度経度と海抜などの３次元位置情報、道路名称、等級、車線数、交差状況などが記録されている。道路幅は道路等級に基づいて推定することができる。また、一般に地図データに記載されたノード位置は道路中央線上にある。道路の構造は一般に、水平曲率と縦断曲率を用いる複雑曲面によって構成されている。
第４図は、クロソイド（ｃｌｏｔｈｏｉｄ）曲線で近似してなる道路セグメント水平形状モデルを表したものである。このような道路セグメント水平形状モデルは、第７図の式７に示したような数式を用いてモデリングすることができる。ここで、式７におけるｃ０ｉとｃ１ｉは、それぞれ水平曲線の初期曲率と曲率の変化パラメータである。またｎ１ｉは上り車線数、ｎｒｉは下り車線数、ｗｉはセグメント間の平均道路幅である。Ｌｉはセグメント長さを示すものである。このモデルを用いて地図データに基づいて任意路上位置での道路形状モデルを簡易に極めて短時間で構築することができる。
車両の走行位置は一般に、道路中央線ではなく日本のような左側通行の慣習の国では左にオフセットしている場合が多いが、自車両の路上位置（車両座標系の原点から道路中央への偏移量）および向き（車両座標系のＺ軸方向と道路水平接線との偏移角）の情報を用いることで、実際の走行位置が片車線にオフセットしていることに対応する道路中心線の道路水平形状モデルを、車両座標系ＶＣＳベースとした新しいモデルに変換することができる。
そして視認距離（実写映像として撮影されることが想定される領域）内の道路の路面が平坦であると仮定して、投影変換式である第７図の式６から、第７図に式８として示したような道路水平形状モデルの投影式を推定する。この第７図の式８では、３次元の道路形状を言うなれば遠近法的に２次元に投影したので、カメラ姿勢を推定するための照合方法としてデータ処理の繁雑化の虞のある２Ｄ−３Ｄマッチングを２Ｄ−２Ｄマッチングに簡単化することできる。
このように、本実施例では、道路地図データから推定される道路形状モデルと道路の実写映像から抽出される道路形状データとを２次元の特徴空間で２Ｄ−２Ｄマッチングさせて最適な姿勢ベクトルを推定する。第５図は、その２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を示したものである。
なお、実際の道路環境では、太陽光線や人工照明などによる光の照射状況や天候状況等によって車線の区切りを示す道路白線の明度や色合いなどが大幅に変化する場合が多いため、道路形状モデルと実写映像から抽出された道路形状データとを直接的にうまくマッチングさせることができなくなる場合がある。そこで本実例では、道路白線ルックアップテーブル（ＲＳＬ）の概念を用いて、道路白線の明度値の代りにその存在確率を映像化することによって、高速かつロバストな道路形状マッチングを実現することができる。
ＲＳＬの値は、道路白線に近いほど高くなる。具体的な計算法としては、まず道路白線、区切り線、および道路領域の境界線候補を特徴領域として抽出し、画像を２値化する（特徴領域に属する画素を１とし、他の画素を０とする）。そして第７図に示した式９を用いて各画素のＲＳＬ値を計算する。但しここに、λｘ，ｙは２値化した画素値であり、χｉ，ｊはＲＳＬ用のカーネル係数である。雑音を抑制するために、カーネルサイズは通常５又は７に設定する。各係数はＧａｕｓｓｉｎ分布式によって定める。カメラ姿勢推定の最終評価式を、第７図の式１０に示す。ここに、ησは道路水平形状モデルの２次元投影点の集合である。この式１０によって、道路地図データに基づいて生成される道路形状モデルと実写映像から抽出される道路形状データとを完全にマッチングする最高のＲＳＬ評価値を得ることができる。
６パラメータの姿勢ベクトルσの最適値を求めるためには、種々のローカル極値サーチ方法を用いることができるが、その中でも特にＨｏｏｋｅとＪｅｅｖｅｓの直接サーチアルゴリズムを好適に採用することができる（Ｒ．ＨｏｏｋｅａｎｄＴ．Ｊｅｅｖｅｓ．”Ｄｉｒｅｃｔｓｅａｒｃｈｓｏｌｕｔｉｏｎｏｆｎｕｍｅｒｉｃａｌａｎｄｓｔａｔｉｓｔｉｃａｌｐｒｏｂｌｅｍｓ，”ＪｏｕｒｎａｌｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔｉｎｇＭａｃｈｉｎｅｒｙ（ＡＣＭ），ｐｐ．２１２−２２９（１９６１）．）。
このようにして求められたカメラ姿勢データは、ナビゲート情報を表示すべき位置を決定するためのデータの照合の際などに用いられる。また、このカメラ姿勢データはフィードバック量として次回の推定にも使用される。
第６図は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。
まず、ＣＣＤカメラによって撮影された自車両の前方の道路を含んだ景観の実写映像のデータを取り込む（Ｓ１）。
またそれと共に、実写映像のデータの取り込みと同期して、ＧＰＳセンサおよびＩＮＳセンサによって取得されたデータを取り込む（Ｓ２）。
そして、実写映像データから道路の走行区分線などの白線や舗装面の境界線などの区切り線領域を抽出してＲＳＬ値を算出する（Ｓ３）。
また、いわゆるマップマッチングによって自車両の現在位置（絶対位置）を求め（検出し）、その現在位置に対応した関連地図データを地図データＣＤに記憶されている情報の中から読み出す（Ｓ４）。
実写映像として撮影されている景観中の道路に関する道路水平形状モデルを構築する（Ｓ５）。
更新されたカメラ姿勢ベクトルに基づいて、道路水平形状モデルを遠近法的な２次元空間に投影する（Ｓ６）。
道路映像のＲＳＬ表現と投影した道路水平形状モデルとのマッチングを行って評価値を求める（Ｓ７）。
得られた評価値が最大値であるか否かを判断する（Ｓ８）。このとき最大値と判断された場合には（Ｓ８のＹ）、そのときの姿勢ベクトルを出力し（Ｓ９）、その出力値を次回のサーチ起点としてフィードバックする（Ｓ１０）。しかし最大値でなければ（Ｓ８のＮ）、Ｈｏｏｋｅ＆Ｊｅｅｖｅｓ法によって姿勢ベクトルを更新して（Ｓ１１）再評価を行う（Ｓ１１〜Ｓ６〜Ｓ８）。このループは最大値が得られるまで（Ｓ８のＹになるまで）繰り返される。なお、上記の評価値が最大となる姿勢ベクトルと同時点で累積した角度および方位変化量をカルマンフィルタに入力して、統合した姿勢データを出力する。
また、以上の一連の動作は、次回のデータ取り込み〜処理の開始タイミングになると（Ｓ１２のＹ）、再びデータ取り込みという第１ステップから上記と同様の順を追って実行される。
以上、詳細に説明したように、本実施の形態に係る移動体ナビゲート情報表示装置または移動体ナビゲート情報表示手段によれば、ナビゲート情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成することができる。そしてその結果、ナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるような映像を、表示することが可能となる。
なお、上記実施の形態では、被写体として自車両の前方の景観を撮影し、その前方の景観に含まれている道路の実写映像にナビゲート情報を合成する場合について説明したが、この他にも、本発明の適用例としては、例えば実写映像（被写体）としては、本実施の形態のような道路の代りに、狭隘な地形に設けられた運河や港湾などを撮影すると共に、道路地図データの代りに航行予定の航路などの情報を含んだ電子海図データなどを用いて、操舵室の窓などから見える前方景観の実写映像の中に航行予定の航路などのナビゲート情報の画像を合成して表示することなども可能である。
以上説明したように、本発明の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置によれば、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写画像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定し、この姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写画像における適切な表示位置を決定し、その撮影された実写画像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示するようにしたので、例えば進路案内、自車位置、地図情報などのナビゲート情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲート情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となるという効果を奏する。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 shows a schematic configuration of a mobile navigation information display apparatus according to an embodiment of the present invention. Since the mobile navigation information display method according to the embodiment of the present invention is embodied by the operation or action of the mobile navigation information display device, these will be described together below.
This mobile navigation information display device includes a sensor input unit 1, an operation unit 2, a map management unit 3, a central processing unit 4, a video display unit 5, and a control unit 6 as main parts. ing.
More specifically, the sensor input unit 1 includes a CCD (solid-state imaging device) camera 101, a GPS sensor 102, an INS sensor 103, and a road traffic information receiver (VICS) 104. The CCD camera 101 is, for example, an automobile equipped with this mobile navigation information display device so that it captures (captures) a landscape in front of the vehicle at a camera angle that is almost the same as the line of sight seen by the driver through the windshield. It is installed on the dashboard of the driver's seat or near the ceiling (not shown) of the moving body (hereinafter also referred to as the own vehicle or the moving body or the own vehicle). The CCD camera 101 is of a monocular system with a fixed focal length, for example, and takes an image of a landscape in front of the road and captures the image signal. The captured image signal is transferred as data to an image memory (not shown) of the central processing unit 4. Then, the travel direction data and the vehicle speed data regarding the moving body acquired by the GPS sensor 102 and the INS sensor 103 are transferred to the central processing unit 4 in synchronization with the image data acquired by the CCD camera 101. Data received from the road traffic information receiving device (VICS) 104 is also transferred to the central processing unit 4.
The operation unit 2 transfers commands such as system setting and mode change to the central processing unit 4 in response to an operation command input by a button operation from a user or a remote control input device (not shown).
In accordance with a read command from the central processing unit 4, the map management unit 3 stores various types of information on road positions designated by command input from the operation unit 2 and map data in which map data of a predetermined geographical area is recorded in advance. The data is read from the CD 301 and transferred to the central processing unit 4.
The central processing unit 4 is composed of four modules, an image processing module 401, a positioning processing module 402, a video output processing module 403, and a control output processing module 404, and an image data generation unit 405.
The image processing module 401 performs on-vehicle CCD camera attitude estimation, lane tracking, obstacle detection, inter-vehicle distance calculation, and the like.
The positioning processing module 402 maps the direction and vehicle speed from the sensor input unit 1 with the road map data of the map management unit 3, calculates the correct road position information, and outputs the data.
The video output processing module 403 expresses the route guidance, the vehicle position, and the map information in the video display unit 5 as a virtual object (Virtual Object) in the three-dimensional augmented reality space, which will be described later. The image is projected onto a two-dimensional road image using the posture parameters of the CCD camera 101 obtained by a simple estimation method, and is merged (synthesized) with a real image of the landscape in front of the moving object. It also generates data for displaying road lane markings and displaying hazards such as obstacles in bad weather conditions. Furthermore, as information to be added to the road map, for example, information on objects that can serve as landmarks for route guidance such as landmarks, railway stations, hospitals, gas stations, etc. is converted into icons, which are used as camera postures. Project to the live-action video of the road using parameters.
The control output processing module 404 comprehensively determines each analysis result, and gives an alarm output command for outputting an alarm or the like corresponding to the degree of danger to the own vehicle to the control unit 6.
The image data generation unit 405 recognizes the travel lane of the host vehicle currently traveling, the road shape, based mainly on the data output from the image processing module and the positioning processing module and the map data read from the map management unit 3. Recognition, obstacle recognition, absolute road position recognition of the host vehicle, camera posture estimation, etc. are performed to generate data for combining and displaying the navigation information at an appropriate position in the live-action video.
Based on the data generated by the image data generation unit 405, the video display unit 5 displays a video (image) obtained by combining the navigation information at an appropriate position in the live-action video, for example, on the screen of the liquid crystal display panel.
The control unit 6 controls the output of an alarm corresponding to the alarm output command as described above, the control of the sound output corresponding to the analysis result by the control output module, the control of the brake, the control of the steering, etc. This is done by controlling the operation of each servo motor system provided to adjust the control amount.
Next, the operation (function) of the mobile navigation information display apparatus according to the embodiment of the present invention will be described.
In this mobile body navigation information display device, road map data relating to nearby geography including the current position of the host vehicle is converted into an image based on the current position data detected by the GPS sensor 102, the INS sensor 103, and the positioning processing module. The data generation unit 405 generates a road shape model related to a road that is supposed to be photographed from the current position. At the same time, road shape data, which is image data of a road included in the landscape in the traveling direction, is extracted from the photographed image based on, for example, white line image data of a road division line.
Subsequently, the image data generation unit 405 collates the road shape data with the road shape model data, and the attitude data of the CCD camera 101 with respect to the road in the landscape that is the subject photographed by the CCD camera 101 (or It may be attitude data of the own vehicle). At this time, it is desirable to integrate the angular velocity and acceleration data acquired from the three-dimensional inertial sensor attached to the vehicle body into this posture data.
Then, based on the posture data, an appropriate display position in the photographed live-action video of the navigation information read out corresponding to the current position of the moving object is determined, and the appropriate appropriate position of the photographed live-action video is determined. Image data is generated so that an image obtained by synthesizing the read navigation information can be displayed at a certain position.
In this manner, the image data generation unit 405 collates the road shape model data with the road shape data to determine where it is appropriate to synthesize the navigation information in the live-action video. On the basis of the image data thus determined, the video display unit 5 displays navigation information such as route guidance, own vehicle position, and map information in a live-action video of the road ahead of the moving object or It is possible to make a correctly synthesized display at an appropriate position in the actual landscape that can be seen through the windshield. As a result, according to the mobile navigation information display device according to the present embodiment, the image that enables the driver to intuitively and accurately recognize the correspondence between the navigation information and the live-action image or the actual-view landscape. Can be displayed.
Here, the above navigation information is, for example, the route guidance, the vehicle position, the lane in which the vehicle is traveling, the route guidance, or the vehicle position regarding the route to the destination of the moving body. It is at least one of the buildings that serve as landmarks for the driver to check. Further, when the navigation information is information of characters, symbols, or numbers, it is desirable to convert the information into an icon and display the icon image combined with the captured real image.
Also, the image data generation unit 405 expresses the navigation information as a virtual entity in the three-dimensional augmented reality space, and converts the road shape data obtained by converting the navigation information into a two-dimensional feature space based on the obtained posture data. By assigning it to the corresponding position in the image, the navigation information image is synthesized as a virtual entity at an appropriate position in the live-action video, for example, a letter, symbol or number about the building that serves as a guide for route guidance Even if the landmark building is hidden behind a building on the near side or inside the curved road, etc. in the live-action video, the presence of the landmark building can be visualized. To show intuitively.
The image data generation unit 405 converts road shape data into perspective two-dimensional feature space image data, and converts road shape model data into perspective two-dimensional feature space image data. Are compared with each other in the two-dimensional feature space to estimate the posture data of the in-vehicle camera or the moving body with respect to the road surface of the subject road. In this way, the matching between the road shape data and the road shape model data performed for estimating the posture data is performed between two-dimensional data in a pseudo three-dimensional two-dimensional feature space. Simplification and speeding up of the verification process has been achieved.
Also, when generating the road shape model, modeling is performed in consideration of the road structure in which the single slope of the road surface on the curved road is set to change corresponding to the horizontal curvature of the curved road. A road shape model of a lane road is generated. As a result, even when a moving body such as an automobile is traveling on a multi-lane road, it is possible to accurately grasp the road shape of the multi-lane road. The navigation information can be synthesized and displayed at an appropriate position accurately corresponding to the navigation information.
Further, in collating the road shape model data with the road shape data, a road look-up table (RSL: Road Shape Look-up table, reference document: Hu swing range “Extraction and simultaneous tracking of a plurality of moving bodies by motion analysis of an in-vehicle camera” Research on Kumamoto University Graduate School of Science and Technology, Doctoral dissertation), the RSL value is calculated by calculating the existence probability of the road white line included in the landscape from the live-action image, and the evaluation value by the RSL value becomes the maximum As described above, the posture data of the moving body may be obtained. In this way, accurate road shape data can always be extracted without being adversely affected by various environmental factors such as weather changes and shadows or dirt on the road surface. Using this, accurate posture data can be estimated.
In addition, an image obtained by synthesizing navigation information at an appropriate position in the photographed live-action image is displayed on a display device such as a liquid crystal display panel for car navigation installed in, for example, a substantially central portion of the dashboard. You may make it do.
Alternatively, an image obtained by synthesizing the read navigation information at an appropriate position determined by the above-described collation in the photographed live-action image is used as a so-called HUD (Head Up Display) type projection device. You may make it project and display on the inner surface of the transparent window in front of a driver's seat with a display apparatus.
Alternatively, the data of the position determined to be an appropriate position for displaying the navigation information image by the above-described collation, instead of combining the navigation information image into the captured real image. Is used to project the navigation information image on the inner surface of the windshield in front of the driver's seat corresponding to the position, and display the navigation information image on the transparent window on the front of the driver's seat. You may synthesize and display it in the scenery that can be seen from.
Next, examples of the mobile navigation information display device and mobile navigation information display method according to the present invention will be described.
2A to 2D show a three-dimensional vehicle coordinate system VCS (Xv, Yv, Zv), a three-dimensional camera coordinate system CCS (Xc, Yc, Zc), and a two-dimensional projection image coordinate system ICS (xi, yi). It represents the relative positional relationship of. Here, the origin of the three-dimensional vehicle coordinate system VCS is located at the midpoint of the vehicle rear wheel center line, and the Zv axis is directed to the vehicle center line, and the Xv axis and Yv axis are directed to the left and up, respectively. , Each is set. Further, the origin of the three-dimensional camera coordinate system CCS is located at the lens center point of the CCD camera, and the Zc axis is set to overlap the optical axis of the camera. Further, it is assumed that the two-dimensional projection image coordinate system ICS is located at Zc = fconst (plane where Zc = f).
The conversion relationship from the camera coordinate system CCS to the image coordinate system ICS is orthographic projection. Therefore, it can be described as a relational expression by a matrix as shown in Equation 1 in FIG. Here, P is a coordinate [Xc, Yc, Zc, 1] in the CCS coordinate system, and p is a coordinate [xi, yi, 1] in the ICS coordinate system.
A is a 3 × 4 projection matrix and can generally be decomposed as shown as Equation 2 in FIG. Here, K is called a parameter matrix inside the camera, and is determined by the horizontal / vertical direction deformation rate (Sx, Sy), the image center point (uo, vo), and the rotational deformation rate Sθ. This K is expressed as Equation 3 in FIG.
The camera posture matrix M is called a camera external parameter matrix, and shows the conversion relationship from the viewpoint to the target model coordinate system, and is generally expressed as Equation 4 in FIG. 7 by three-dimensional translation and rotation conversion of a rigid body. It can be expressed as Here, R11 to R33 (all elements of R) are rotation parameters, and Tx, Ty, Tz (all elements of T) are translation parameters.
By the way, since the camera magnification can generally be approximated by 1, the constraint equation as shown by equation 5 in FIG. 7 is established based on equations 1 to 4.
Here, when the six parameters of rotation and translation representing the camera posture are displayed as posture vectors, the projection relationship between the image coordinate system and the vehicle coordinate system is expressed by an equation as shown in Equation 6 in FIG. The That is, according to Equation 6, one pair of corresponding points (p, P) in the 2D-3D space determines one constraint equation as shown by Equation 6 in FIG. It becomes. Theoretically, such six pairs of corresponding points are sufficient for estimating the posture of the camera.
However, it is theoretically extremely difficult or impossible to accurately and surely estimate the depth of the three-dimensional space from only the monochromatic real image data of the forward landscape captured by a simple monocular CCD camera. In the embodiment, avoiding matching in 2D-3D (by two-dimensional space versus three-dimensional space matching), estimating a multi-lane road shape model from road map information, and extracting the multi-lane road shape model from live-action video data The converted multi-lane road shape data is converted into matching in the 2D-2D feature space, and camera posture data is estimated by matching in the two-dimensional space versus the two-dimensional space. However, it goes without saying that collation at this time is not limited to matching only in the 2D-2D feature space. In addition to this, for example, the depth data of the three-dimensional space is accurately and reliably estimated from information sources other than the live-action image data of the front landscape, and the comparison between the two-dimensional space and the three-dimensional space is performed using the data. Needless to say. However, in that case, it goes without saying that the amount of data to be processed generally tends to be larger than that in the case of matching in the 2D-2D feature space.
FIG. 3 shows an example of mapping by points and lines represented by road map data. In the road map data, three-dimensional position information such as latitude and longitude of the road segment generally called a node and the sea level, road name, grade, number of lanes, intersection situation, and the like are recorded. The road width can be estimated based on the road grade. In general, the node position described in the map data is on the road center line. The road structure is generally constituted by a complex curved surface using a horizontal curvature and a longitudinal curvature.
FIG. 4 shows a road segment horizontal shape model approximated by a clothoid curve. Such a road segment horizontal shape model can be modeled using a mathematical expression as shown in Expression 7 in FIG. Here, c0i and c1i in Equation 7 are the initial curvature and curvature change parameters of the horizontal curve, respectively. N1i is the number of up lanes, nri is the number of down lanes, and wi is the average road width between segments. Li represents the segment length. Using this model, a road shape model at an arbitrary road position can be easily constructed in an extremely short time based on map data.
In general, the travel position of the vehicle is offset to the left in the left-handed customary country, such as Japan, instead of the road center line, but the road position of the vehicle (from the origin of the vehicle coordinate system to the center of the road) Deviation amount) and direction (deviation angle between the Z-axis direction of the vehicle coordinate system and the road horizontal tangent), the road center line corresponding to the fact that the actual travel position is offset to one lane The road horizontal shape model can be converted into a new model based on the vehicle coordinate system VCS.
Then, assuming that the road surface of the road within the viewing distance (an area assumed to be captured as a live-action image) is flat, Expression 6 in FIG. 7 which is a projection conversion expression and Expression 8 in FIG. The projection formula of the road horizontal shape model as shown in FIG. In Equation 8 of FIG. 7, since the three-dimensional road shape is projected in a two-dimensional perspective, so to speak, 2D-, which has a risk of complicating data processing as a collation method for estimating the camera posture. 3D matching can be simplified to 2D-2D matching.
As described above, in this embodiment, the optimal posture vector is obtained by performing 2D-2D matching between the road shape model estimated from the road map data and the road shape data extracted from the actual image of the road in the two-dimensional feature space. presume. FIG. 5 shows an example of a road horizontal shape model used in the 2D-2D matching.
In the actual road environment, the lightness and color of the road white line indicating the lane separation often change significantly depending on the light irradiation conditions such as sunlight and artificial lighting, weather conditions, etc. In some cases, it becomes impossible to directly match the road shape data extracted from the live-action video. Therefore, in this example, by using the concept of the road white line look-up table (RSL) and visualizing the existence probability instead of the lightness value of the road white line, high-speed and robust road shape matching can be realized. .
The value of RSL increases as it approaches the road white line. As a specific calculation method, first, a road white line, a partition line, and a boundary candidate of a road region are extracted as feature regions, and the image is binarized (pixels belonging to the feature region are set to 1, and other pixels are set to 0) And). Then, the RSL value of each pixel is calculated using Equation 9 shown in FIG. Here, λx, y is a binarized pixel value, and χi, j is a kernel coefficient for RSL. In order to suppress noise, the kernel size is usually set to 5 or 7. Each coefficient is determined by a Gaussin distribution formula. The final evaluation formula for camera posture estimation is shown in Formula 10 in FIG. Here, ησ is a set of two-dimensional projection points of the road horizontal shape model. By this equation 10, it is possible to obtain the highest RSL evaluation value that perfectly matches the road shape model generated based on the road map data and the road shape data extracted from the photographed video.
Various local extremum search methods can be used to obtain the optimum value of the six-parameter attitude vector σ, and among these, the direct search algorithms of Hooke and Jeves can be preferably employed (R. Hook and T. Jeves. "Direct search solution of numeric and statistical problems," Journal of the Association for Computing Machinery (ACM), 29).
The camera posture data obtained in this way is used when collating data for determining a position where navigation information should be displayed. The camera posture data is also used for the next estimation as a feedback amount.
FIG. 6 is a flowchart showing a flow of a series of main processes including extraction of road shape data, generation of a road shape model, estimation of camera posture parameters, and the like in the central processing unit.
First, the real image data of the landscape including the road ahead of the host vehicle photographed by the CCD camera is taken in (S1).
At the same time, the data acquired by the GPS sensor and the INS sensor is acquired in synchronization with the acquisition of the data of the actual image (S2).
Then, the RSL value is calculated by extracting the dividing line area such as the white line such as the road running division line or the boundary line of the pavement from the photographed video data (S3).
Further, the current position (absolute position) of the host vehicle is obtained (detected) by so-called map matching, and related map data corresponding to the current position is read out from information stored in the map data CD (S4).
A road horizontal shape model relating to the road in the landscape being photographed as a live-action image is constructed (S5).
Based on the updated camera posture vector, the road horizontal shape model is projected onto a perspective two-dimensional space (S6).
An evaluation value is obtained by matching the RSL representation of the road image with the projected road horizontal shape model (S7).
It is determined whether or not the obtained evaluation value is the maximum value (S8). If the maximum value is determined at this time (Y in S8), the posture vector at that time is output (S9), and the output value is fed back as the next search starting point (S10). However, if it is not the maximum value (N of S8), the posture vector is updated by the Hook & Jeves method (S11), and re-evaluation is performed (S11 to S6 to S8). This loop is repeated until the maximum value is obtained (until Y in S8). Note that the angle and azimuth change amount accumulated at the same time as the posture vector having the maximum evaluation value is input to the Kalman filter, and the integrated posture data is output.
The series of operations described above are executed in the same order as described above from the first step of data fetching again at the next data fetching to processing start timing (Y in S12).
As described above in detail, according to the mobile navigation information display device or the mobile navigation information display means according to the present embodiment, the navigation information image is displayed as a live-action image of the road ahead of the mobile body. It can be accurately synthesized at an appropriate position in the actual landscape that can be seen inside or through the windshield. As a result, it is possible to display an image that allows the driver to intuitively and accurately recognize the correspondence between the navigation information and the live-action image or the real-view landscape.
In the above embodiment, a case has been described in which a landscape in front of the host vehicle is photographed as a subject, and navigation information is combined with a live-action image of a road included in the landscape in front of the subject. As an application example of the present invention, for example, as a live-action image (subject), a canal or a port provided on a narrow terrain is photographed instead of a road as in this embodiment, and road map data Instead, it uses electronic chart data that includes information such as the route to be navigated, and synthesizes navigation information images such as the route to be navigated into a live-action image of the front view seen from the wheelhouse window. It is also possible to display it.
As described above, according to the mobile navigation information display method or mobile navigation information display device of the present invention, the current position of a mobile object such as an automobile vehicle, and road map data including the current position, A road shape model relating to a road that is supposed to be photographed from the current position is generated based on the image, and at the same time, road shape data that is image data of a road included in a landscape in a forward or traveling direction from a real image. The road shape model data and the road shape data are collated, and the posture data of the vehicle-mounted camera or the moving body with respect to the road in the landscape as the subject is estimated. The navigation information read corresponding to the current position is determined to determine the appropriate display position in the captured real image, and the captured real image is determined. In addition, an image obtained by combining the read navigation information is displayed at an appropriate position.For example, navigation information such as route guidance, own vehicle position, and map information is displayed on the road in front of the moving object. It is possible to display the image accurately projected at an appropriate position in the image or in the actual landscape, and the driver intuitively and accurately recognizes the correspondence between the navigation information and the live-action image or the actual landscape. It is possible to do this.

Claims

A process of detecting a current position of a moving body and photographing a live-action image of a landscape including a road in a traveling direction of the moving body with an in-vehicle camera installed on the moving body;
A process of reading out navigation information relating to the operation of the moving body corresponding to the detected current position of the moving body from the navigation information stored in advance in association with road map data;
A process for generating a road shape model related to a road that is supposed to be photographed from the current position, based on the current position of the mobile object and the road map data;
A process of extracting road shape data that is image data relating to a road included in the landscape from the live-action video;
The road shape model data and the road shape data are collated to estimate posture data of the in-vehicle camera or the moving body with respect to the road of the subject, and based on the posture data, the current position of the moving body is determined. A process of determining a display position in the photographed live-action image of the corresponding navigation information read out;
And a process of displaying an image obtained by synthesizing the read navigation information at the determined position of the photographed live-action video.

The road shape data is converted into perspective two-dimensional feature space image data, and the road shape model data is converted into perspective two-dimensional feature space image data. The road shape data and the road shape model data are collated with each other in two-dimensional data to estimate posture data of the vehicle-mounted camera or the moving body with respect to the road of the subject. The mobile navigation information display method described.

In the process of determining the display position of the navigation information, the orientation data acquired from the three-dimensional inertial sensor attached to the moving body is integrated into the estimated attitude data of the moving body, and based on the integrated attitude data The mobile navigation information display method according to claim 1, wherein a display position of the navigation information is determined.

In generating the road shape model, modeling is performed in consideration of the road structure that the single slope of the road surface on the curved road is set to change according to the horizontal curvature of the curved road. The mobile body navigation information display method according to claim 1, wherein a road shape model is generated.

When collating the road shape model data with the road shape data, a road look-up table (RSL) is used to calculate the existence probability of a road white line included in the landscape from the live-action video, and calculate an RSL value. The mobile navigation information display method according to claim 1, wherein the collation is performed by obtaining the posture data so that an evaluation value based on the RSL value is maximized.

The image obtained by synthesizing the read navigation information at the determined position of the photographed live-action video is displayed on a screen of an image display device. Mobile navigation information display method.

An image obtained by synthesizing the read navigation information at the determined position of the photographed live-action image is projected and displayed on the inner surface of a transparent window in front of the driver's seat of the moving body. The mobile navigation information display method according to claim 1, wherein the mobile body navigation information is displayed.

By projecting and displaying the image of the navigation information on the inner surface of the transparent window on the front side of the driver's seat of the moving body, the image of the navigation information is combined with the landscape seen from the transparent window on the front side of the driver's seat. The mobile navigation information display method according to claim 1, wherein the mobile body navigation information is displayed.

The navigation information is expressed as a virtual entity in a three-dimensional augmented reality space, and is assigned to a corresponding position in road shape data converted into the two-dimensional feature space based on the posture data, The mobile navigation information display method according to claim 1, wherein the navigation information is synthesized with the live-action video.

2. The mobile body according to claim 1, wherein when the navigation information is character, symbol, or number information, the information is converted into an icon and combined with the photographed photographed image. Navigation information display method.

The driver of the moving body provides the route guidance, the vehicle position, the lane in which the vehicle is traveling, the route guidance, or the vehicle position regarding the route until the navigation information reaches the destination of the moving body. The mobile navigation information display method according to claim 1, wherein the mobile navigation information display method is at least one of buildings that serve as landmarks for confirmation.

Current position detecting means for detecting the current position of the moving body;
Imaging means for photographing a live-action image with a landscape including a road in the traveling direction of the moving body as a subject by an in-vehicle camera installed on the moving body;
The navigation information related to the operation of the moving object corresponding to the detected current position of the moving object is read out from the navigation information stored in advance in association with road map data, and the current position of the moving object and the Based on the road map data, a road shape model related to the road that is supposed to be photographed from the current position is generated, and road shape data that is image data related to the road included in the landscape is extracted from the captured video. The road shape model data and the road shape data are collated to estimate posture data of the in-vehicle camera or the moving body with respect to the road of the subject, and based on the posture data, the current position of the moving body is estimated. The display position of the navigation information read corresponding to the position in the photographed actual image is determined, and the photographed actual image is determined. And data processing means for outputting data for displaying an image obtained by combining the navigation information, wherein said read the determined position of
Image display means for displaying an image obtained by synthesizing the read navigation information at the determined position of the photographed live-action video based on the data output from the data processing means. Characteristic mobile navigation information display device.

The data processing means converts the road shape data into perspective two-dimensional feature space image data and converts the road shape model data into the perspective two-dimensional feature space image data, The road shape data and the road shape model data are collated with each other in two-dimensional feature space, and posture data of the vehicle-mounted camera or the moving body with respect to the road of the subject is estimated. The mobile body navigation information display device according to claim 12.

The data processing means integrates azimuth data acquired from a three-dimensional inertial sensor attached to the moving body into the estimated moving body posture data, and displays the navigation information based on the integrated posture data. The mobile navigation information display device according to claim 12, wherein the position is determined.

When the data processing means generates a road shape model, modeling is performed in consideration of the road structure in which the single slope of the running road surface on the curved road is set to change corresponding to the horizontal curvature of the curved road. The mobile body navigation information display device according to claim 12, wherein a road shape model of a multilane road is generated.

When the data processing means collates the road shape model data with the road shape data, a road look-up table (RSL) is used to determine the existence probability of a road white line included in the landscape from the photographed video. 13. The mobile navigation information according to claim 12, wherein the collation is performed by calculating an RSL value and determining the posture data so that an evaluation value based on the RSL value is maximized. Display device.

The image display means displays an image obtained by synthesizing the read navigation information at the determined position of the photographed live-action image on a predetermined display screen. The moving body navigation information display device according to claim 12.

The image display means projects an image obtained by synthesizing the read navigation information at the determined position of the photographed live-action image onto the inner surface of a transparent window in front of the driver's seat of the moving body. The mobile navigation information display device according to claim 12, wherein the mobile navigation information display device is displayed.

The data processing means reads navigation information related to the operation of the moving body corresponding to the detected current position of the moving body from the navigation information stored in advance in association with road map data, and the movement Based on the current position of the body and the road map data, a road shape model related to the road that is supposed to be photographed from the current position is generated, and the road image data included in the landscape is generated from the actual image. A certain road shape data is extracted, the road shape model data and the road shape data are collated to estimate the posture data of the in-vehicle camera or the moving body with respect to the subject road, and the posture data is stored in the vehicle. Azimuth data acquired from the attached three-dimensional inertial sensor (INS) is integrated, and based on the integrated attitude data, the moving body The display position of the navigation information read corresponding to the current position in the captured live-action video is determined, and the image of the read navigation information is determined at the determined position of the captured real-time video. To output data for displaying
The image display means projects and displays the navigation information image on the inner surface of the transparent window in front of the driver's seat of the moving body, thereby displaying the navigation information image on the transparent window in front of the driver's seat. The mobile navigation information display device according to claim 12, wherein the mobile navigation information display device is combined with a landscape that can be seen from the display.

The data processing means expresses the navigation information as a virtual entity in the three-dimensional augmented reality space, and the corresponding position in the road shape data obtained by converting into the two-dimensional feature space based on the posture data The mobile navigation information display device according to claim 12, wherein the navigation information is combined with the live-action video by assigning to the real-time video.

13. The mobile body according to claim 12, wherein when the navigation information is information of characters, symbols, or numbers, the information is converted into an icon and combined with the photographed real image. Navigate information display device.

The navigation information includes the route guidance, the vehicle position, the lane in which the vehicle is traveling, the route guidance, or the vehicle position regarding the route to the destination of the mobile body. The mobile body navigation information display device according to claim 12, characterized in that the mobile body navigation information display device is at least one of buildings that serve as landmarks for confirmation.