JPH10339646A - Guide display system for car - Google Patents

Guide display system for car

Info

Publication number
JPH10339646A
JPH10339646A JP9152176A JP15217697A JPH10339646A JP H10339646 A JPH10339646 A JP H10339646A JP 9152176 A JP9152176 A JP 9152176A JP 15217697 A JP15217697 A JP 15217697A JP H10339646 A JPH10339646 A JP H10339646A
Authority
JP
Japan
Prior art keywords
vehicle
feature
display
image
branch point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9152176A
Other languages
Japanese (ja)
Inventor
Kenichi Murata
賢一 村田
Original Assignee
Toyota Motor Corp
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, トヨタ自動車株式会社 filed Critical Toyota Motor Corp
Priority to JP9152176A priority Critical patent/JPH10339646A/en
Publication of JPH10339646A publication Critical patent/JPH10339646A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a guide display system for a car wherein a guide is displayed at an appropriate position in a landscape image with sure. SOLUTION: Recognizing parts 22a and 22b extract a characteristic object (for example, a signal) out of the image taken with cameras 20a and 20b. A range finding part 24 obtains, by stereo range finding, a position relationship between the characteristic object extracted from the image and a car. Meanwhile, at a control part 10, a position relationship between the car's position and a branching point of a guide object is obtained. When the characteristic object is judged to be at the position of branch point of the guide object after comparison between them, the characteristic object is emphasized in display. Since the characteristic object is extracted from the image and then it is emphasized, no deviation in emphasis display position occurs.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【発明の属する技術分野】本発明は、車両前方の風景画
像を表示するとともに、この風景画像上に案内情報を表
示する車両用案内表示装置に関し、特に分岐点での案内
を分かりやすく表示する装置に関する。表示される風景
画像は、車載カメラを用いて撮影したもの、撮影結果に
適当な画像処理を施したもの、撮影結果を基に作成した
コンピュータグラフィックス画像などを含む。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle guidance display device for displaying a landscape image ahead of a vehicle and displaying guidance information on the landscape image, and more particularly to a device for displaying guidance at a branch point in an easily understandable manner. About. The displayed landscape image includes an image captured using an in-vehicle camera, an image obtained by performing appropriate image processing on a captured result, and a computer graphics image created based on the captured result.
【0002】[0002]
【従来の技術】従来より、車両に搭載される装置の一つ
としてナビゲーション装置が知られており、広く普及し
ている。一般のナビゲーション装置はディスプレイを有
し、ディスプレイ上には現在地を含む地図が表示され
る。また、走行目的地が設定されたときは、地図データ
ベースを用いて目的地までの適切な経路が探索および設
定される。そして、設定された経路に従って車両を導く
ための案内がディスプレイ上に表示される。案内表示の
例としては、設定された経路が他の道路と色分け表示さ
れる。
2. Description of the Related Art Conventionally, a navigation device is known as one of devices mounted on a vehicle, and is widely used. A general navigation device has a display, and a map including the current location is displayed on the display. When the travel destination is set, an appropriate route to the destination is searched and set using the map database. Then, guidance for guiding the vehicle according to the set route is displayed on the display. As an example of the guidance display, the set route is displayed in different colors from other roads.
【0003】特に、経路案内には、右左折すべき交差点
等において設定経路に従った方向へ車両を適切に導くこ
とが求められる。このような要求に応えるため、右左折
すべき交差点に近づいたときに周囲の拡大地図を表示す
ることが知られている。以下、交差点やジャンクション
など、道路が複数方向に分かれるような場所を分岐点と
いう。
In particular, route guidance is required to appropriately guide a vehicle in a direction according to a set route at an intersection or the like where a turn should be made. In order to respond to such a request, it is known to display an enlarged map of the surroundings when approaching an intersection where a right or left turn should be made. Hereinafter, a place where a road is divided into a plurality of directions, such as an intersection or a junction, is referred to as a junction.
【0004】さらに、特開平7−63572号公報に
は、風景画像を用いたナビゲーション装置が記載されて
いる。同装置では、ビデオカメラで撮影した前方の画像
がディスプレイに表示される。一方で、現在位置と地図
データに基いて分岐点の位置が特定され、分岐点の位置
に対応してディスプレイ上での矢印表示位置が決定され
る。そして、風景画像と矢印図形が重畳して表示され
る。
Further, Japanese Patent Application Laid-Open No. 7-63572 describes a navigation device using a landscape image. In this device, a front image taken by a video camera is displayed on a display. On the other hand, the position of the branch point is specified based on the current position and the map data, and the arrow display position on the display is determined corresponding to the position of the branch point. Then, the landscape image and the arrow graphic are displayed in a superimposed manner.
【0005】風景画像を用いることにより、案内がユー
ザに分かりやすくなるという利点がある。従来のように
拡大地図が表示されたとき、ユーザは、地図と実際に見
える風景を見比べて、両者を互いに当てはめる判断をし
なければならない。これに対し、風景画像を用いれば、
実際に見える風景がディスプレイ上に表示されるので、
上記のような当てはめ作業が不要となる。
[0005] The use of a landscape image has the advantage that guidance can be easily understood by the user. When an enlarged map is displayed as in the related art, the user must compare the map with the scenery that can be actually seen, and make a decision to apply the two to each other. In contrast, if you use landscape images,
Since the scenery that is actually visible is displayed on the display,
The above-described fitting operation is not required.
【0006】また、風景画像を表示すれば、ディスプレ
イを見ているときにも前方の状況がユーザに分かるとい
う利点がある。ユーザは、車両前方とディスプレイの両
方を見る必要があり、ディスプレイを見るとき、車両前
方から視線を逸らさなければならない。このときでも、
ディスプレイ上で、前方車両の挙動などが分かる。
[0006] Displaying a landscape image has the advantage that the user can see the situation in front even when looking at the display. The user needs to look at both the front of the vehicle and the display, and must look away from the front of the vehicle when looking at the display. Even at this time,
The behavior of the vehicle ahead can be seen on the display.
【0007】[0007]
【発明が解決しようとする課題】上記公報の装置では、
現在位置と地図データから得られる分岐点までの距離に
基づいて、矢印図形のディスプレイ上での表示位置を決
定している。ビデオカメラが撮影した実際の画像は単な
る背景として用いられる。すなわち、カメラ画像とは無
関係に、上記の決定位置に矢印図形が表示される。
In the apparatus disclosed in the above publication,
The display position of the arrow graphic on the display is determined based on the current position and the distance to the branch point obtained from the map data. The actual image taken by the video camera is used only as a background. That is, an arrow graphic is displayed at the determined position regardless of the camera image.
【0008】しかし、現在位置には検出誤差があり、こ
の検出誤差に起因して案内用の図形が分岐点からずれた
位置に表示され、表示が分かりにくいものになる可能性
がある。図10の例では、現在位置として、実際よりも
分岐点から遠い地点が検出されている。従って、現在位
置と分岐点の距離が大きく見積もられ、案内用の矢印の
表示位置が高すぎる。結果として、矢印が分岐点の向こ
う側の塀に突き刺さっている。ユーザは、図中の分岐点
で曲がるべきか、さらにその向こう側の分岐点で曲がる
べきかの判断に迷うことになる。
However, there is a detection error in the current position, and the guide graphic is displayed at a position shifted from the branch point due to the detection error, and the display may be difficult to understand. In the example of FIG. 10, a point farther from the branch point than the actual point is detected as the current position. Therefore, the distance between the current position and the branch point is largely estimated, and the display position of the guidance arrow is too high. As a result, the arrow sticks into the wall beyond the junction. The user may be wondering whether to make a turn at a branch point in the drawing or to make a turn at a branch point on the other side.
【0009】また、地図データの精度にも限界があり、
これも、上記の検出誤差と同様に案内表示のずれの原因
となる。また、案内表示のずれは、カメラ側の誤差に起
因しても発生する。例えば、矢印図形の表示位置が適正
であったとしても、カメラの設置方向がずれたときは、
風景画像が矢印からずれてしまう。
There is also a limit to the accuracy of map data,
This also causes a deviation of the guidance display similarly to the above detection error. Further, the deviation of the guidance display also occurs due to an error on the camera side. For example, even if the display position of the arrow graphic is correct, if the installation direction of the camera is shifted,
The landscape image is shifted from the arrow.
【0010】このように、従来装置では、自車位置の検
出誤差などに起因して、案内用の図形と風景画像がずれ
てしまい、案内が分かりづらくなるという問題がある。
位置精度の向上等による改善には技術面やコスト面で限
界があり、簡単で確実な手法によって案内表示のずれを
解消することが望まれる。なお、ここでは矢印図形を重
畳することにより案内用の表示が行われる場合を取り上
げたが、他の種類の案内表示においても同様である。
As described above, the conventional apparatus has a problem that the guidance graphic and the landscape image are displaced due to an error in detecting the position of the vehicle, and the guidance is difficult to understand.
There is a limit in the technical and cost aspects of the improvement by improving the position accuracy and the like, and it is desired to eliminate the deviation of the guidance display by a simple and reliable method. Here, the case where the guidance display is performed by superimposing the arrow graphic is taken up, but the same applies to other types of guidance display.
【0011】本発明は上記課題に鑑みてなされたもので
あり、その目的は、風景画像中の適切な位置に案内用の
表示を確実に行える車両用案内表示装置を提供すること
にある。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle guidance display device capable of reliably displaying guidance at an appropriate position in a landscape image.
【0012】[0012]
【課題を解決するための手段】[Means for Solving the Problems]
(1)本発明の車両用案内表示装置は、自車前方の風景
を表す風景画像を用いて案内情報を提供する装置であっ
て、自車前方を撮影する車載カメラと、撮影した画像情
報から、案内対象となる分岐点を特定する特徴物を抽出
する特徴物抽出手段と、抽出された特徴物を強調して撮
影結果を表示する表示手段とを含む。
(1) A guidance display device for a vehicle according to the present invention is a device that provides guidance information using a landscape image representing a landscape in front of a host vehicle, and includes a vehicle-mounted camera that captures an image in front of the host vehicle and a captured image information. A feature extracting means for extracting a feature that specifies a branch point to be guided, and a display for displaying a photographing result by highlighting the extracted feature.
【0013】本発明によれば、画像情報から特徴物が抽
出され、この特徴物を用いて案内表示が行われる。画像
中の特徴物の位置から案内表示の位置を決定できる。従
って、自車位置の検出誤差などに起因する案内表示の位
置ずれが生じない。案内表示が画像中の的確な位置に確
実に行われるので、案内が分かりやすくなる。
According to the present invention, a feature is extracted from image information, and guidance display is performed using the feature. The position of the guidance display can be determined from the position of the feature in the image. Therefore, there is no displacement of the guidance display due to a detection error of the vehicle position. Since the guidance display is reliably performed at an accurate position in the image, the guidance is easily understood.
【0014】(2)本発明の一態様において、上記の車
両用案内装置は、画像中の特徴物と自車との位置関係を
測定する位置関係測定手段と、分岐点の位置情報を記憶
した地図データベースと、自車の位置を検出する位置検
出手段とを含む。そして、判定手段が、特徴物と自車の
位置関係、および、案内対象分岐点と自車の位置関係か
ら、画像中の特徴物が案内対象分岐点を特定することを
判定する。位置関係測定手段は、例えば、複数の車載カ
メラを用いたステレオ測距にて自車と特徴物との距離を
測定するものである。
(2) In one aspect of the present invention, the above-described vehicle guidance device stores positional relationship measuring means for measuring a positional relationship between a feature in an image and the own vehicle, and stores positional information of a branch point. It includes a map database and position detecting means for detecting the position of the vehicle. Then, the determining unit determines that the feature in the image specifies the guidance target branch point from the positional relationship between the characteristic object and the own vehicle and the positional relationship between the guidance target branch point and the own vehicle. The positional relationship measuring means measures the distance between the own vehicle and the feature by stereo ranging using a plurality of in-vehicle cameras, for example.
【0015】この態様では、位置関係測定手段によって
特徴物と自車の位置関係が求められる。また、地図デー
タと自車位置検出結果を用いて分岐点と自車の位置関係
が求められる。2つの位置関係を比較することにより、
特徴物が分岐点付近に位置することを判定したり、特徴
物が分岐点の手前の所定位置にあることを判定できる。
従って、分岐点を特定する特徴物を確実に強調でき、誤
った特徴物の強調が効果的に防止される。
In this aspect, the positional relationship between the characteristic object and the vehicle is obtained by the positional relationship measuring means. Further, the positional relationship between the branch point and the own vehicle is obtained using the map data and the own vehicle position detection result. By comparing the two positional relationships,
It can be determined that the feature is located near the branch point or that the feature is at a predetermined position before the branch point.
Therefore, the feature that specifies the branch point can be surely emphasized, and the emphasis on an incorrect feature is effectively prevented.
【0016】ここでは、分岐点と自車との位置関係が、
特徴物と自車の位置関係との比較用に用いられる。例え
ば、分岐点と自車の距離と、特徴物と自車の距離が近い
か否かの判断に使用される。この種の判断であれば、自
車位置検出結果や地図データに高い精度を要求せずと
も、十分に確実な判断が行われる。このように、本発明
では、自車位置検出結果等は、その誤差が案内表示の位
置ずれの要因とならないかたちで使われている。従来の
ように自車位置検出結果から直接に案内表示位置を決め
てはおらず、検出誤差を案内表示位置の誤差に反映させ
ていない。従って、案内表示位置のずれの発生が防止で
きる。
Here, the positional relationship between the branch point and the vehicle is
It is used for comparison between the feature and the positional relationship between the own vehicle. For example, it is used to determine whether the distance between the branch point and the own vehicle and the distance between the characteristic object and the own vehicle are short. With this type of determination, a sufficiently reliable determination can be made without requiring high accuracy for the vehicle position detection result and the map data. As described above, in the present invention, the own vehicle position detection result and the like are used in such a manner that an error thereof does not cause a position shift of the guidance display. The guide display position is not directly determined from the own vehicle position detection result as in the related art, and the detection error is not reflected on the error of the guide display position. Therefore, it is possible to prevent the guide display position from being shifted.
【0017】なお、特徴物が案内対象の分岐点を特定す
ることの判断手法は、上記の手法に限定されない。例え
ば、分岐点と特徴物の画像内での位置関係(近くに映っ
ているか否か)に基づいて行うことも考えられる。ま
た、より簡単には、分岐点とともに捉えられた特徴物は
分岐点を特定するものと推定してしまう手もある。どの
判断手法を適用するかは、特徴物の性質や走行路の種
類、場所等に応じて選択してもよい。
The method of determining that the characteristic object specifies the branch point to be guided is not limited to the above method. For example, it is conceivable to perform the determination based on the positional relationship between the branch point and the feature in the image (whether or not the feature is nearby). More simply, there is a method of estimating that a feature captured together with a branch point specifies the branch point. Which judging method is applied may be selected according to the characteristics of the characteristic object, the type of the traveling road, the location, and the like.
【0018】(3)本発明において、案内に使用する特
徴物としては信号機が好適である。信号機は、決まった
色の光を自ら発しており、また形状も決まっているの
で、画像から抽出しやすい。また、信号機は分岐点の近
くに設置されていることが多く、分岐点の特定に利用し
やすい。
(3) In the present invention, a traffic light is suitable as a feature used for guidance. The traffic light emits light of a fixed color by itself and has a fixed shape, so that it can be easily extracted from an image. In addition, a traffic signal is often installed near a branch point, and is easily used for specifying a branch point.
【0019】(4)本発明において、前記表示手段で
は、特徴物を強調するために、例えば、特徴物と半透明
の強調マークが重ねて表示される。風景画像の全体をそ
のまま表示しつつ、特徴物の強調もできる。その他、強
調表示としては、特徴物を円などで囲ったり、特徴物の
近くに矢印を表示したり、特徴物を拡大したりといった
各種の処理が可能である。
(4) In the present invention, the display means displays, for example, a feature and a translucent emphasis mark in a superimposed manner in order to emphasize the feature. The feature can be emphasized while the entire landscape image is displayed as it is. In addition, as highlighting, various processes such as enclosing a feature in a circle, displaying an arrow near the feature, and enlarging the feature can be performed.
【0020】[0020]
【発明の実施の形態】以下、本発明の好適な実施の形態
(以下、実施形態という)について、図面を参照し説明
する。図1は、本実施形態の装置の全体構成を示すブロ
ック図である。制御部10は経路案内のための各種のデ
ータ処理を行う。この制御部10には、自車位置検出部
12が接続されており、制御部10はここからの情報に
より、常時、自車位置(現在位置)を認識する。自車位
置検出部12は、例えばGPS(グローバル・ポジショ
ニング・システム)を利用しものであり、FM多重放送
により提供される誤差情報を加味したD−GPS装置な
ども利用できる。さらに、光ビーコンや電波ビーコンか
ら供給される位置情報や、マップマッチングによる補正
や、進行方向および走行距離から位置を検出する自立航
法などを組み合わせることも好適である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention (hereinafter, referred to as embodiments) will be described below with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of the device of the present embodiment. The control unit 10 performs various data processing for route guidance. The control unit 10 is connected to a host vehicle position detection unit 12, and the control unit 10 always recognizes the host vehicle position (current position) based on information from the control unit. The vehicle position detection unit 12 uses, for example, GPS (Global Positioning System), and may also use a D-GPS device that takes into account error information provided by FM multiplex broadcasting. Further, it is also preferable to combine position information supplied from an optical beacon or a radio beacon, correction by map matching, and self-contained navigation for detecting a position from a traveling direction and a traveling distance.
【0021】また、制御部10には、全国の二次元地図
情報を記憶した地図データベース14が接続されてい
る。地図データベース14には、案内交差点などにおい
て現在位置周辺を拡大表示するための拡大地図情報も記
憶されている。
The control unit 10 is connected to a map database 14 storing two-dimensional map information for the whole country. The map database 14 also stores enlarged map information for enlarging and displaying the vicinity of the current position at a guidance intersection or the like.
【0022】また、制御部10には、操作入力部16が
接続されている。ユーザは、操作入力部16を操作し
て、目的地を入力することができる。目的地が入力され
ると、制御部10は、地図データベース14の地図情報
を用いて、目的地までの最適経路を探索、設定する。そ
の他、ユーザは、操作入力部16を用いて本装置に関す
る各種の指示を入力できる。特に、本実施形態では、操
作入力部16を用いて、2次元の地図画面を表示する
「地図表示モード」と、車載カメラで撮影した前方風景
を表示する「前方風景表示モード」の選択、切替ができ
る。
An operation input unit 16 is connected to the control unit 10. The user can operate the operation input unit 16 to input a destination. When the destination is input, the control unit 10 uses the map information in the map database 14 to search and set an optimal route to the destination. In addition, the user can use the operation input unit 16 to input various instructions related to the apparatus. In particular, in the present embodiment, selection and switching between a “map display mode” for displaying a two-dimensional map screen and a “front landscape display mode” for displaying a front scene captured by a vehicle-mounted camera using the operation input unit 16. Can be.
【0023】また、制御部10には、ディスプレイ17
および音声合成部18が接続されている。ディスプレイ
17は、制御部10から送られた画像を表示する。ディ
スプレイ17には、現在位置周辺の地図が表示されると
ともに、地図上に現在位置マークが表示される。また、
右左折すべき交差点など、案内対象の分岐点に進入する
ときには、交差点の拡大地図が表示され(地図表示モー
ド)、あるいは、車載カメラで撮影した画像が表示され
る(前方風景表示モード)。なお、本実施形態では、下
記のように、車載カメラが2つ設けられている。ディス
プレイ上には、2つのカメラのうちで、運転者に近い方
のカメラによって撮影された画像が表示される。その
他、ディスプレイ上には、画面を区切って地図と前方風
景の両方の同時表示も行われる。音声合成部18は、制
御部10からの信号に基づいて案内文の音声を合成し、
スピーカ(図示せず)から発する。例えば、上記の案内
対象の分岐点の手前で、「○○m先を左方向です。」と
いった音声案内が行われる。
The control unit 10 includes a display 17.
And a voice synthesizer 18 are connected. The display 17 displays the image sent from the control unit 10. The display 17 displays a map around the current position and a current position mark on the map. Also,
When entering a junction to be guided, such as an intersection to turn left or right, an enlarged map of the intersection is displayed (map display mode), or an image captured by a vehicle-mounted camera is displayed (front landscape display mode). In the present embodiment, two in-vehicle cameras are provided as described below. On the display, an image captured by a camera closer to the driver among the two cameras is displayed. In addition, on the display, both the map and the landscape in front of the screen are displayed simultaneously. The voice synthesizer 18 synthesizes the voice of the guidance sentence based on the signal from the controller 10,
Emitted from a speaker (not shown). For example, in front of the guidance target branch point, voice guidance such as “the XX m ahead is to the left” is performed.
【0024】さらに、本装置では、車載カメラとして、
2つのカメラ20a、20bが設けられている。カメラ
20a、20bは、車両の前方を撮影するCCDカメラ
であり、車幅方向に所定距離だけ離して配置されてい
る。カメラの設置位置は、例えば、車室内でフロントガ
ラスの左上隅、右上隅に近接した場所である。カメラ2
0a、20bは、撮像結果である画像信号を基にデジタ
ルの画像データを生成し、出力する。
Further, in the present apparatus, the on-vehicle camera
Two cameras 20a and 20b are provided. The cameras 20a and 20b are CCD cameras for photographing the front of the vehicle, and are arranged at a predetermined distance in the vehicle width direction. The installation position of the camera is, for example, a location near the upper left corner and the upper right corner of the windshield in the vehicle interior. Camera 2
Numerals 0a and 20b generate and output digital image data based on an image signal as an imaging result.
【0025】カメラ20a、20bには、それぞれ、認
識部22a、22bが接続されている。認識部22a、
22bは、画像データに基づき、特徴物を抽出、認識す
る。以降、特徴物の例として、信号機を認識する場合を
中心に説明する。信号機の場合、青、赤、黄色を色フィ
ルタにより別々に取り出し、輝度の高い部分のエッジを
検出する。そして、エッジの形状が○型であることか
ら、そのエッジの部分が信号機であると判定する。どの
フィルタで○型のエッジが検出されたかにより、どの信
号が点灯しているかも判定できる。また、信号機の位置
は、輝度が高い○形状の部分の重心位置とする。認識部
22aでは、カメラ20aの撮影画像中での、ある信号
機の位置が認識される。認識部22bでは、同じ信号機
の、カメラ20bの撮影画像中での位置が認識される。
Recognition units 22a and 22b are connected to the cameras 20a and 20b, respectively. Recognition unit 22a,
22b extracts and recognizes a feature based on the image data. Hereinafter, as an example of the characteristic object, a case where a traffic light is recognized will be mainly described. In the case of a traffic light, blue, red, and yellow are separately extracted by a color filter, and an edge of a high luminance portion is detected. Then, since the shape of the edge is o-shaped, it is determined that the edge portion is a traffic light. It is possible to determine which signal is lit based on which filter detects the O-shaped edge. In addition, the position of the traffic light is the position of the center of gravity of the ○ -shaped portion having high luminance. The recognition unit 22a recognizes the position of a certain traffic light in the image captured by the camera 20a. The recognition unit 22b recognizes the position of the same traffic light in the image captured by the camera 20b.
【0026】認識部22a、22bには、測距部24が
接続されている。測距部24には、画像データとともに
特徴物の認識結果が入力される。また、測距部24は、
制御部10と接続されている。案内対象の分岐点が近づ
いたとき、制御部10から測距部24へ、案内対象の交
差点までの距離と、交差点の存在する方向が送られる。
測距部24は、入力情報を基に、下記の如く、認識部2
2a、22bで認識した信号機が案内対象の分岐点に位
置するものかどうかを判定する。
A distance measuring unit 24 is connected to the recognition units 22a and 22b. The result of recognition of the feature is input to the distance measurement unit 24 together with the image data. In addition, the distance measuring unit 24
It is connected to the control unit 10. When the guidance target branch point approaches, the control unit 10 sends the distance to the guidance target intersection and the direction in which the intersection exists to the distance measurement unit 24.
The distance measuring unit 24 recognizes the recognition unit 2 based on the input information as described below.
It is determined whether the traffic signal recognized in 2a and 22b is located at the branch point to be guided.
【0027】上記のように、両認識部22a、22bで
は、同じ信号機を対象として、異なるカメラ位置で撮影
した別個の画像中での信号機の位置がそれぞれ認識され
ている。測距部24は、2つの画像中での信号機の位置
と、カメラ20a、20bの設置位置から、信号機まで
の距離をステレオ測距する。このとき、信号機の存在す
る方向も測定される。そして、信号機までの距離と、制
御部10から入力された分岐点までの距離が比較され
る。また、信号機の方向と分岐点の方向が比較される。
分岐点までの距離と信号機までの距離の差が小さく(例
えば20m以下)、かつ、方角についても分岐点と信号
機が近ければ、着目している信号機が案内対象の分岐点
に位置すると判断する。判断結果は、撮影画像、特徴物
の認識結果とともに、制御部10へ送られる。制御部1
0は、撮影画像をディスプレイ上に表示させるととも
に、案内対象の分岐点に位置する信号機を強調するため
の画像処理を行う。この処理では、後述するように、風
景画像中の信号機の位置に半透明の強調マークを合成す
る処理などが行われる。
As described above, the two recognizing units 22a and 22b recognize the positions of the traffic lights in the separate images captured at different camera positions for the same traffic light. The distance measuring unit 24 performs stereo distance measurement of a distance from the position of the traffic signal in the two images and the installation positions of the cameras 20a and 20b to the traffic signal. At this time, the direction in which the traffic light exists is also measured. Then, the distance to the traffic light and the distance to the branch point input from the control unit 10 are compared. Also, the direction of the traffic light and the direction of the branch point are compared.
If the difference between the distance to the junction and the distance to the traffic signal is small (for example, 20 m or less) and the direction is close to the traffic signal, it is determined that the traffic signal of interest is located at the guidance target junction. The judgment result is sent to the control unit 10 together with the photographed image and the recognition result of the characteristic object. Control unit 1
0 displays a captured image on a display and performs image processing for highlighting a traffic signal located at a branch point to be guided. In this process, as described later, a process of synthesizing a translucent emphasis mark at the position of the traffic light in the landscape image is performed.
【0028】次に、図1の装置の動作について、図2お
よび図3のフローチャートを参照して説明する。まず、
通常のナビゲーション装置と同様に、ユーザによって操
作入力部16より目的地が入力され、また、自車位置が
検出される(S10)。自車位置は、自車位置検出部1
2の出力を取り込むことによって得られる。制御部10
は、地図データベースに記憶されている地図データを基
に、現在地から目的地までの最適経路を探索する(S1
2)。この経路探索は、ダイクストラ法などを用いた通
常の方法で行う。このとき、目的地までの経路上で右左
折等の案内が必要な分岐点も決定される。
Next, the operation of the apparatus shown in FIG. 1 will be described with reference to the flowcharts shown in FIGS. First,
As in the case of a normal navigation device, the user inputs a destination from the operation input unit 16 and the own vehicle position is detected (S10). The vehicle position is detected by the vehicle position detection unit 1
2 are obtained. Control unit 10
Searches for the optimal route from the current location to the destination based on the map data stored in the map database (S1).
2). This route search is performed by a normal method using the Dijkstra method or the like. At this time, a branch point that requires guidance such as turning right or left on the route to the destination is also determined.
【0029】走行が開始されると、自車位置が検出され
(S14)、自車位置と次に案内対象になる分岐点との
距離Kが計算される(S16)。距離Kが所定値(例え
ば700m)以下になったか否かが判定され(S1
8)、NOであればS14に戻り、自車位置を更新して
同様の判断が繰り返される。距離Kが所定値以下になっ
たら、分岐点に近づいていることを、分岐方向とともに
音声案内する(S20)。案内文は、例えば、「700
m先、左方向です。」である。
When the vehicle starts running, the position of the vehicle is detected (S14), and the distance K between the position of the vehicle and the branch point to be guided next is calculated (S16). It is determined whether or not the distance K has become equal to or less than a predetermined value (for example, 700 m) (S1).
8) If NO, return to S14, update the own vehicle position, and repeat the same determination. When the distance K becomes equal to or less than a predetermined value, voice guidance that the vehicle is approaching the branch point is provided together with the branch direction (S20). The guidance sentence is, for example, "700
m to the left. ".
【0030】案内を出力した後、自車位置と分岐点との
距離Kが200m以下になったか否かが判定され(S2
2)、200mまで近づいたら、制御部10は、カメラ
20a、20bに指示を出して、前方風景画像の取り込
み(撮像)を開始させる(S24)。カメラと撮影対象
の距離があまり離れていると、撮影対象の認識ができな
い。画像取込開始位置は、撮影対象を認識できる最大限
の撮影距離よりも小さく設定する必要がある。本実施形
態では、現状のCCDカメラ等の分解能を考慮して、画
像取込開始位置を分岐点の200m手前としている。
After outputting the guidance, it is determined whether or not the distance K between the vehicle position and the branch point has become 200 m or less (S2).
2) When approaching 200 m, the control unit 10 issues an instruction to the cameras 20a and 20b to start capturing (shooting) a front scenery image (S24). If the distance between the camera and the photographing target is too large, the photographing target cannot be recognized. The image capturing start position needs to be set smaller than the maximum photographing distance at which the photographing target can be recognized. In the present embodiment, the image capture start position is set 200 m before the branch point in consideration of the current resolution of the CCD camera and the like.
【0031】そして、図3に示すように、現在の表示モ
ードが前方風景表示モードであるか地図表示モードであ
るかが判断される(S26)。地図表示モードの場合、
表示モードの切替操作が有りか否かが判断され(S2
8)、有りの場合には、前方風景表示モードへのモード
切替が行われる(S30)。切替操作が無い場合は、別
途、制御部10にて、通常のナビゲーション装置と同様
に、交差点の拡大地図を表示する処理が行われる。拡大
地図には、車両が進むべき方向を示す矢印図形が重畳さ
れる。
Then, as shown in FIG. 3, it is determined whether the current display mode is the forward scenery display mode or the map display mode (S26). In map view mode,
It is determined whether or not a display mode switching operation is performed (S2).
8) If yes, the mode is switched to the front landscape display mode (S30). If there is no switching operation, the control unit 10 separately performs a process of displaying an enlarged map of the intersection, similarly to a normal navigation device. An arrow graphic indicating the direction in which the vehicle should travel is superimposed on the enlarged map.
【0032】S26で前方風景表示モードが設定されて
いるとき、あるいは、S30でモード切替が行われたと
き、案内に使用できる静止特徴物(ここでは信号機)が
案内対象の分岐点上に存在するか否かが判断される(S
32)。ここでは、前述のように、認識部22a、22
bにおいて、画像データから信号機が抽出される。そし
て、測距部24にて、信号機までの距離と方角が求めら
れる。さらに、制御部10から測距部24へ、案内対象
の分岐点までの距離と方角が送られる。測距部24で
は、これらの情報を比較し、抽出した信号機が案内対象
の分岐点に位置するものであるか否かを判定する。複数
の信号機が抽出されたときは、各信号機について判定す
る。
When the forward scenery display mode is set in S26, or when the mode is switched in S30, a stationary feature (a traffic light in this case) that can be used for guidance exists on the branch point to be guided. Is determined (S
32). Here, as described above, the recognition units 22a and 22
At b, a traffic light is extracted from the image data. Then, the distance to the traffic signal and the direction are obtained by the distance measuring unit 24. Further, the distance and the direction to the branch point to be guided are sent from the control unit 10 to the distance measuring unit 24. The ranging unit 24 compares these pieces of information and determines whether or not the extracted traffic light is located at the branch point to be guided. When a plurality of traffic signals are extracted, determination is made for each traffic signal.
【0033】認識部での特徴物の抽出処理の際、以下の
ようにして、データ処理量の削減ができる。自車位置検
出結果と分岐点の位置情報から、分岐点までの距離や方
向が分かる。従って、案内すべき分岐点の周辺領域が、
画像中のどの部分に映っているかが推定できる。そこ
で、この部分に限定して画像処理を行うことにより、処
理量を減らし、処理速度を向上させることができる。ま
た、カメラ20a、20bにステア機構を持たせること
により、対象となる分岐点周辺を画像の中心付近で捉え
ることができる。そこで、ズームアップした状態で対象
を捉え、画像の分解能を向上し、特徴物の検出をより容
易にすることもできる。
In the process of extracting a feature in the recognition unit, the amount of data processing can be reduced as follows. From the own vehicle position detection result and the position information of the branch point, the distance and direction to the branch point can be known. Therefore, the area around the junction to be guided is
It can be estimated which part in the image is reflected. Therefore, by performing image processing only on this part, the processing amount can be reduced and the processing speed can be improved. Further, by providing the cameras 20a and 20b with a steering mechanism, the periphery of the target branch point can be captured near the center of the image. Therefore, the object can be captured in a zoomed-up state, the resolution of the image can be improved, and the detection of the feature can be made easier.
【0034】また、分岐点と自車の位置関係が分かるの
で、この位置関係を利用して、特徴物の見え方(大きさ
や形状など)が予測できる。そこで、予測される特徴物
の見え方に対応したテンプレートを用いてパターンマッ
チングを行うことにより、効率的な画像処理ができる。
このとき、分岐点と自車の位置関係に応じてテンプレー
トを基本形状から変形させてもよい。また、分岐点の方
向や距離に応じて複数のテンプレートを用意しておいて
もよい。
Further, since the positional relationship between the branch point and the own vehicle is known, the appearance (size, shape, etc.) of the feature can be predicted using this positional relationship. Therefore, by performing pattern matching using a template corresponding to the appearance of the predicted feature, efficient image processing can be performed.
At this time, the template may be deformed from the basic shape according to the positional relationship between the branch point and the own vehicle. Also, a plurality of templates may be prepared according to the direction and distance of the branch point.
【0035】さらに、認識部22a、22bは、走行と
ともに変化する風景画像中で特徴物を追跡することが好
ましい。ここでは、車両の移動とともに特徴物が移動す
るものの、特徴物の見え方や位置はそれほど急に変化し
ないことを利用する。ある時点のフレームの画像におい
て特徴物の近傍にサーチエリアを設定する。次に得られ
るフレームの画像を対象として、サーチエリア内でテン
プレートマッチング等を行って特徴物を探す。発見した
特徴物の位置を基にサーチエリアを更新し、同様の処理
を繰り返す。追跡処理(テンプレートマッチング等)
は、所定数のフレームおきに、また、所定時間おきに実
行してもよい。このようにして特徴物の動きが求められ
る。これにより、一度認識した信号機については、その
信号機を見失わない限り、以降、S32での処理を簡略
化できる。
Furthermore, it is preferable that the recognizing units 22a and 22b track a feature in a landscape image that changes as the vehicle travels. Here, the fact that the feature is moved with the movement of the vehicle but the appearance and position of the feature do not change so suddenly is used. A search area is set near a feature in an image of a frame at a certain point in time. A feature is searched for by performing template matching or the like in the search area for the image of the frame obtained next. The search area is updated based on the position of the found feature, and the same processing is repeated. Tracking processing (template matching, etc.)
May be executed every predetermined number of frames or every predetermined time. In this way, the movement of the feature is obtained. As a result, the process in S32 can be simplified for the signal once recognized unless the signal is lost.
【0036】S32で案内対象の分岐点に信号機が存在
すると判断されたときは、その信号機を強調するマーク
が、風景画像に合成して表示される(S34)。図4は
強調マークの好適な表示例を示している。ディスプレイ
17の画面上には、カメラによって撮影された風景画像
が表示されている。信号機101は、案内対象の交差点
に位置している。信号機を目立たせるため、強調マーク
として、半透明の楕円形のマーク103が信号機101
に重ねて表示されている。また、車両が進行すべき分岐
方向を示す矢印図形105も同時に合成されている。
If it is determined in S32 that a traffic signal is present at the guidance target branch point, a mark for emphasizing the traffic signal is displayed in combination with the landscape image (S34). FIG. 4 shows a preferred display example of the emphasis mark. On the screen of the display 17, a landscape image captured by the camera is displayed. The traffic light 101 is located at the intersection to be guided. In order to make the traffic light stand out, a translucent elliptical mark 103 is used as an emphasis mark.
Is superimposed and displayed. In addition, an arrow graphic 105 indicating the branch direction in which the vehicle should travel is also synthesized.
【0037】図4に示したマークは、制御部10によっ
て合成される。制御部10には、画像内での信号機位置
の情報が入力されている。この位置を基に、信号機に重
なるように、楕円型マークの表示位置が決定される。ま
た、ステレオ測距での測定結果に基づき、楕円形マーク
のサイズが決定される。信号機101までの距離が大き
いほど、マークのサイズが小さく決められる。楕円形マ
ークは、その都度計算で求めてもよいが、複数の大きさ
のマークを予め用意しておいてもよい。制御部10は、
撮影画像上の決定した位置に、決定した大きさの楕円形
マークを合成する。
The marks shown in FIG. 4 are synthesized by the control unit 10. The information of the position of the traffic light in the image is input to the control unit 10. Based on this position, the display position of the elliptical mark is determined so as to overlap the traffic light. Also, the size of the elliptical mark is determined based on the measurement result of the stereo ranging. The larger the distance to the traffic signal 101, the smaller the size of the mark is determined. The elliptical mark may be obtained by calculation each time, or a mark of a plurality of sizes may be prepared in advance. The control unit 10
An elliptical mark of the determined size is synthesized at the determined position on the captured image.
【0038】矢印マークについても同様である。信号機
の画像内での位置と信号機までの距離に応じて表示位置
とサイズが決定され、撮影画像への合成処理が行われ
る。矢印図形は、分岐点と分岐方向を目立たせる機能を
もつ。この機能を果たす範囲であれば、矢印図形の位置
やサイズ、形状は、図4に限られず、任意でよい。
The same applies to arrow marks. The display position and size are determined in accordance with the position of the traffic light in the image and the distance to the traffic light, and the processing of synthesizing the captured image is performed. The arrow graphic has a function of making a branch point and a branch direction stand out. The position, size, and shape of the arrow graphic are not limited to those shown in FIG.
【0039】図5は、特徴物の強調表示の第2の例であ
る。ディスプレイ17の画面が2つに分割され、一方に
風景画像が、他方に案内対象の分岐点の拡大地図が表示
されている。風景画像では、信号機101に半透明の楕
円形マーク103が重ねて表示されている。地図画像で
は、分岐方向が矢印201で示される。また、地図画像
では、左折すべき交差点に信号のマーク203が表示さ
れ、さらにその上に半透明のマーク205が重ねられて
いる。図5の表示を使うのであれば、風景画像と地図が
同時に表示されるので、表示モードの切換は不要とな
る。従って、図2、図3のフローチャートにおいて、モ
ード切替に関連する処理を省略できる。
FIG. 5 shows a second example of highlighting of a feature. The screen of the display 17 is divided into two, and a landscape image is displayed on one side, and an enlarged map of a branch point to be guided is displayed on the other side. In the landscape image, a translucent elliptical mark 103 is displayed on the traffic light 101 in an overlapping manner. In the map image, the branch direction is indicated by an arrow 201. In the map image, a signal mark 203 is displayed at an intersection to be turned left, and a translucent mark 205 is further superimposed thereon. If the display of FIG. 5 is used, the landscape image and the map are displayed at the same time, so that there is no need to switch the display mode. Therefore, in the flowcharts of FIGS. 2 and 3, the processing related to the mode switching can be omitted.
【0040】図6の表示例では、上記の図5と同様に、
風景画像と地図画像の両者が表示されている。案内対象
の分岐点に2つの信号機101a、101bがあり、両
者とも認識部22a、22bによって認識されている。
そして、それぞれの信号機に、違う透明度の半透明マー
ク103a、103bが重ねられている。マークの透明
度は、信号機までの距離に応じて変えるとよい。例え
ば、分岐点の手前にある信号機の透明度を、分岐点の向
う側にある信号機の透明度よりも高くする。拡大地図で
は、信号機101a、101bの位置にそれぞれ対応し
て、信号機のマーク203a、203bが表示される。
さらに、風景画像での表示に対応し、各マーク203
a、203bにも同様の透明度の半透明マーク205
a、205bが重ねられている。すなわち、図6におい
て、地図上の半透明マーク205a、205bの透明度
は、それぞれ、風景画像の半透明マーク103a、10
3bと同じになっている。上記の透明度の代わりに、マ
ークの色や明度を変化させてもよい。
In the display example of FIG. 6, similar to FIG. 5 described above,
Both a landscape image and a map image are displayed. There are two traffic lights 101a and 101b at the branch point to be guided, both of which are recognized by the recognition units 22a and 22b.
Translucent marks 103a and 103b having different degrees of transparency are superimposed on the respective traffic lights. The transparency of the mark may be changed according to the distance to the traffic light. For example, the transparency of the traffic light in front of the branch point is made higher than the transparency of the traffic light in the opposite side of the branch point. In the enlarged map, traffic light marks 203a and 203b are displayed corresponding to the positions of the traffic lights 101a and 101b, respectively.
Furthermore, in correspondence with the display in a landscape image, each mark 203
The translucent mark 205 having the same transparency is also applied to a and 203b.
a and 205b are overlapped. That is, in FIG. 6, the transparencies of the translucent marks 205a and 205b on the map are the translucent marks 103a and 103a of the landscape image, respectively.
3b. Instead of the above-described transparency, the color or brightness of the mark may be changed.
【0041】S32にて、案内に使用できる信号機が案
内対象の分岐点に存在しないと判断した場合、表示モー
ドを地図表示モードに切り換える(S38)。また、S
34での風景画像の表示の後、表示モードの切替操作が
有りか否かが判断され(S36)、有りの場合には、や
はりS38で地図表示モードへのモード切替が行われ
る。そして、制御部10にて、通常のナビゲーション装
置と同様に、交差点の拡大地図とともに進行方向を示す
矢印を表示する処理が行われる。
If it is determined in S32 that the traffic light usable for guidance does not exist at the branch point to be guided, the display mode is switched to the map display mode (S38). Also, S
After the display of the landscape image at 34, it is determined whether or not a display mode switching operation has been performed (S36). If so, the mode is switched to the map display mode again at S38. Then, similarly to the ordinary navigation device, the control unit 10 performs a process of displaying an enlarged map of the intersection and an arrow indicating the traveling direction.
【0042】次に、分岐点の直ぐ近く(例えば50m)
に接近したか否かを判断し(S40)、接近したときは
もう一度音声案内を行う(S42)。このときの案内文
は、例えば「まもなく左方向です。」である。この際、
認識している特徴物を用いた音声案内を行ってもよい。
例えば、「まもなく左方向です、信号機が目印です。」
である。
Next, immediately near the branch point (for example, 50 m)
It is determined whether or not it has approached (S40), and when approached, voice guidance is performed again (S42). The guidance message at this time is, for example, "Soon to the left." On this occasion,
Voice guidance using the recognized feature may be performed.
For example, "Soon to the left, the traffic light is a landmark."
It is.
【0043】案内対象の分岐点を通過する前に、表示に
利用中の信号機がカメラの視野からはずれたり、トラッ
クなどの遮蔽物によって隠されてしまうことがある。そ
こで、利用中の信号機を見失ったか否かが判断され(S
44)、見失った場合には、直ちに、風景画像への強調
マーク(半透明マークや矢印マーク)の合成を停止する
(S46)。
Before passing through the branch point to be guided, the traffic light used for display may be out of the field of view of the camera or may be hidden by a shield such as a truck. Then, it is determined whether the traffic signal in use has been lost (S
44) When the image is lost, the synthesis of the emphasis mark (translucent mark or arrow mark) on the landscape image is immediately stopped (S46).
【0044】次に、自車位置に基づいて、案内対象の分
岐点を通過したか否かが判定され(S48)、分岐点の
通過前であれば、設定された最適経路から自車が逸脱し
ているか否かを判定する(S50)。逸脱していなけれ
ば、S26に戻り、同様の処理を繰り返す。従って、案
内に利用している信号機を見失った場合でも、再びこの
信号機が認識されれば、強調マークの表示が再開され
る。S50で最適経路を逸脱したときは、強調マークの
合成を停止し(S52)、S12に戻って最適経路を再
探索する。
Next, based on the position of the vehicle, it is determined whether or not the vehicle has passed the guidance target branch point (S48). If the vehicle has not passed the branch point, the vehicle deviates from the set optimum route. It is determined whether or not it has been performed (S50). If not deviated, the process returns to S26 and the same processing is repeated. Therefore, even if the traffic light used for guidance is lost, if the traffic light is recognized again, the display of the emphasis mark is restarted. If it deviates from the optimal route in S50, the synthesis of the emphasis mark is stopped (S52), and the process returns to S12 to search again for the optimal route.
【0045】また、S48で分岐点を通過したときは、
信号機を利用した強調マークの合成が停止される(S5
4)。そして、S50と同様に、最適経路を逸脱したか
否かが判定され(S56)、逸脱していなければ、S1
4に戻る。そして、設定経路上で次の案内対象の分岐点
を対象として、上記と同様の処理が行われる。また、S
56で最適経路を逸脱したときは、S12に戻って最適
経路の再探索が行われる。以上が本実施形態の装置の動
作である。
When the vehicle has passed the branch point in S48,
Synthesis of the emphasis mark using the traffic light is stopped (S5).
4). Then, similarly to S50, it is determined whether the vehicle has deviated from the optimal route (S56).
Return to 4. Then, the same processing as described above is performed on the next guidance target branch point on the set route. Also, S
When the vehicle deviates from the optimal route in 56, the process returns to S12, and the optimal route is searched again. The above is the operation of the device of the present embodiment.
【0046】「その他の構成」 (1)信号機以外の特徴物を利用し、この特徴物を強調
表示してもよい。信号機以外の特徴物としては、例え
ば、標識、電柱、分岐そのもの、横断歩道、歩道橋等が
考えられる。基本的に、特徴物の認識はパターンマッチ
ングにより行う。まず、画像処理にて画像内の物体の形
状を求める。例えば、画像から青色部分を取り出し、エ
ッジ検出することにより、行先案内標識の候補となる物
体の形状が求められる。得られた物体形状と、予めテン
プレートとして持っている形状とを比較して、特徴物か
否かの判定を行う。画像処理の能力を考慮して、特徴物
は、予め形状が分かっているいくつかのものに限定して
おくことが好ましい。また、静止特徴物以外に、車両な
ど、動いている特徴物も利用できる。例えば、案内対象
の交差点を曲がる車を抽出し、この車を強調表示しても
よい。
"Other Configurations" (1) A feature other than a traffic light may be used to highlight the feature. As a feature other than the traffic light, for example, a sign, a telephone pole, a branch itself, a pedestrian crossing, a pedestrian bridge, and the like can be considered. Basically, feature recognition is performed by pattern matching. First, the shape of an object in an image is determined by image processing. For example, the shape of an object that is a candidate for a destination guidance sign is obtained by extracting the blue portion from the image and detecting the edge. A comparison is made between the obtained object shape and a shape that is previously provided as a template to determine whether or not the object is a feature. In consideration of the image processing ability, it is preferable to limit the number of features to those whose shapes are known in advance. In addition to stationary features, moving features such as vehicles can also be used. For example, a car that turns at the guidance target intersection may be extracted and this car may be highlighted.
【0047】(2)図7を参照し、特徴物を捉えるため
の構成の変形例を説明する。ここでは、特徴物の性質を
利用することにより、ステレオ法を用いないで、特徴物
までの距離測定が行われる。図7の装置には、一つのカ
メラ20cが設けられ、このカメラ20cに、認識部と
測距部を一体化した認識・測距部24cが接続されてい
る。その他の構成は、図1と同様である。国内では、信
号機の直径は、300mmか250mmのいずれかに規
格化されている。地図データベース14には、どの分岐
点にどちらのサイズの信号機が設置されているかの情報
を記憶しておく。認識・測距部24cでは、画像データ
のエッジ検出を行って、信号機を抽出する。そして、画
像中の信号機の大きさ(画素数)を求め、この大きさと
信号機の実際の直径から、信号機までの距離を求める。
以下の処理は、図1の装置と同様である。
(2) With reference to FIG. 7, a modified example of the configuration for capturing a feature will be described. Here, the distance to the feature is measured without using the stereo method by utilizing the property of the feature. The apparatus of FIG. 7 is provided with one camera 20c, and a recognition / distance measuring unit 24c in which a recognition unit and a distance measuring unit are integrated is connected to the camera 20c. Other configurations are the same as those in FIG. In Japan, the traffic light diameter is standardized to either 300 mm or 250 mm. The map database 14 stores information about which size of the traffic light is installed at which branch point. The recognition / ranging unit 24c detects an edge of the image data and extracts a traffic light. Then, the size (the number of pixels) of the traffic light in the image is obtained, and the distance to the traffic light is obtained from the size and the actual diameter of the traffic light.
The following processing is the same as that of the apparatus in FIG.
【0048】図7の構成を、ステレオ法を用いた図1の
構成と比較する。図1の構成では、明るさの急激に変化
する点(エッジ)などを使って左右の画像が対応づけら
れ、特徴物までの距離がステレオ測距される。従って、
対象物を選ばず、いろいろな物体を特徴物として利用で
きる。一方、図7の構成では、測定対象物の性質を利用
しているため、特徴物として使える対象物が限られる。
しかし、カメラの構成が簡単になるという利点がある。
The configuration of FIG. 7 is compared with the configuration of FIG. 1 using the stereo method. In the configuration shown in FIG. 1, the left and right images are associated with each other using a point (edge) where the brightness changes rapidly, and the distance to the feature is measured in stereo. Therefore,
Various objects can be used as features, regardless of the object. On the other hand, in the configuration of FIG. 7, since the property of the measurement target is used, the target that can be used as a feature is limited.
However, there is an advantage that the configuration of the camera is simplified.
【0049】(3)図7の装置では、抽出した信号機ま
での距離を、下記のようにして求めてもよい。信号機
は、通常、車両より高いところに位置する。このことを
利用して、2つの異なる地点で得られる撮影画像から、
信号機までの距離を求める。図8は、ここでの距離測定
の原理を示している。認識・測距部24cは、信号機の
手前のある地点Aで撮影された画像から、信号機を抽出
する。そして、信号機が存在する方向の仰角θAを求め
る。さらに、地点Aから信号機へ距離Zだけ近づいた地
点Bで撮影された画像から、同様に信号機が存在する方
向の仰角θBを求める。この間、パターンマッチング処
理を行って、画像中で移動する信号機を追跡する。仰角
θA、θB、走行距離Zから、地点Bと信号機の距離Dが
下式のように求められる。
(3) In the apparatus shown in FIG. 7, the distance to the extracted traffic signal may be obtained as follows. The traffic light is usually located higher than the vehicle. By taking advantage of this, from captured images obtained at two different points,
Find the distance to the traffic light. FIG. 8 shows the principle of the distance measurement here. The recognition / ranging unit 24c extracts a traffic light from an image captured at a point A in front of the traffic light. Then, the elevation angle θA in the direction in which the traffic light exists is obtained. Further, an elevation angle θB in the direction in which the traffic light is located is similarly obtained from an image taken at a point B which is closer to the traffic light by a distance Z from the point A. During this time, the traffic signal moving in the image is tracked by performing a pattern matching process. From the elevation angles θA and θB and the traveling distance Z, the distance D between the point B and the traffic signal is obtained as in the following equation.
【0050】[0050]
【数1】D=Z・tanθA / (tanθB−tanθA) (4)本実施形態では、特徴物の位置についての情報
は、特に予め記憶されている必要はない。しかし、特徴
物の位置を、分岐点と関連づけるなどして地図データベ
ース14に記憶しておいてもよい。また、走行時に特徴
物の位置を検出したときに検出結果を記憶しておき、後
に同じ場所を走行するときに記憶情報を利用してもよ
い。特徴物の位置の記憶情報は、下記(a)〜(e)の
ようにして利点できる。以下では、特徴物が信号機であ
るものとして説明する。
D = Z · tan θA / (tan θB−tan θA) (4) In this embodiment, the information on the position of the feature does not need to be stored in advance. However, the position of the feature may be stored in the map database 14 by associating it with a branch point. Alternatively, the detection result may be stored when the position of the feature is detected during traveling, and the stored information may be used when traveling the same location later. The stored information of the position of the feature can be advantageous as described in the following (a) to (e). In the following, a description will be given assuming that the feature is a traffic light.
【0051】(a)画像上での信号機の位置の推定がで
きるので、信号機を探索すべき範囲を限定できる。そこ
で、カメラのステアとズームアップを行い、遠距離から
信号機を認識できる。
(A) Since the position of the traffic light on the image can be estimated, the range in which to search for the traffic light can be limited. Therefore, the camera can be steered and zoomed up, and the traffic signal can be recognized from a long distance.
【0052】(b)信号機が分岐点から離れた場所(カ
ーブ手前等)に存在するにも拘わらず、無理矢理にその
信号機が分岐点上に存在すると判断することがない。
(B) In spite of the fact that a traffic signal is present at a location distant from a branch point (for example, before a curve), it is not forcibly determined that the traffic signal is present at the branch point.
【0053】(c)市街地等で、複数の分岐点が一度に
カメラに捉えられるときがある。そして、信号機を認識
できるが、その信号機がどの分岐点に位置するのかの判
断に迷うことがあり得る。このようなとき、地図データ
ベース14に記憶された信号機の位置情報を用いること
により、信号機がどの分岐点に位置するかの判定、特に
案内対象の交差点に位置するか否かの判定ができる。
(C) In a city area or the like, a plurality of branch points may be captured by the camera at one time. Then, the traffic light can be recognized, but it may be difficult to determine at which branch point the traffic light is located. In such a case, by using the position information of the traffic light stored in the map database 14, it is possible to determine at which branch point the traffic light is located, in particular, whether or not it is located at the intersection to be guided.
【0054】図9を用いて具体例を説明する。図9は、
実際の道路における自車前方の分岐状況と信号機の配置
状況が示されている。地図データベース14には、図9
の信号機配置パターンが記憶されている。分岐B、Fに
は各1個の信号機が存在し、分岐Eには2個の信号機が
存在する。案内対象の分岐点はFであるとする。カメラ
画像からは、4つの信号機が認識できる。これらの信号
機までの距離が求められ、比較される。一番遠くにある
信号機が案内対象の分岐点Fにあると判定される。この
判断では、4つの信号機の前後関係が分かればよく、高
い測距精度は必要とされない。従って、図9のような状
況でも、案内対象の分岐点に位置する信号機を正確に検
出できる。
A specific example will be described with reference to FIG. FIG.
The actual situation of a branch on the road ahead of the own vehicle and the arrangement of traffic lights are shown. In the map database 14, FIG.
Is stored. Branches B and F each have one traffic light, and branch E has two traffic lights. It is assumed that the guidance target branch point is F. From the camera image, four traffic lights can be recognized. The distances to these traffic lights are determined and compared. It is determined that the farthest traffic light is at the junction F to be guided. In this determination, the order of the four traffic lights only needs to be known, and high ranging accuracy is not required. Therefore, even in the situation as shown in FIG. 9, it is possible to accurately detect the traffic light located at the branch point to be guided.
【0055】(d)自車位置の補正ができる。信号機の
位置、信号機までの距離、方角を基に、GPS等で求め
た自車位置を補正できる。
(D) The own vehicle position can be corrected. Based on the position of the traffic light, the distance to the traffic light, and the direction, the own vehicle position obtained by GPS or the like can be corrected.
【0056】(e)図5、図6のように、交差点拡大図
中で、正確な位置に信号機マークを表示することができ
る。運転者は、風景画像と交差点拡大図を見比べて、自
車位置を正確に判断できる。また、巨大な交差点でも信
号機マークを適切な位置に表示できる。
(E) As shown in FIGS. 5 and 6, a traffic signal mark can be displayed at an accurate position in an enlarged view of an intersection. The driver can accurately determine the position of the vehicle by comparing the landscape image with the enlarged view of the intersection. In addition, a traffic signal mark can be displayed at an appropriate position even at a huge intersection.
【0057】「効果」以上、本発明に好適な実施形態に
ついて説明した。従来技術と異なり、本実施形態では、
自車位置がある程度の精度で検出されていれば、風景画
像中の適正な位置に案内表示が確実に行われるという利
点がある。
[Effects] The preferred embodiments of the present invention have been described above. Unlike the prior art, in the present embodiment,
If the vehicle position is detected with a certain degree of accuracy, there is an advantage that the guidance display is reliably performed at an appropriate position in the landscape image.
【0058】従来技術では、自車位置の検出誤差がその
まま矢印図形の表示位置の誤差に反映されてしまう。そ
の結果、図10に示すように、矢印図形が分岐点からず
れた位置に表示される可能性がある。一方、本実施形態
では、特徴物が案内対象の交差点に位置するか否かの判
断のために自車位置検出結果が使われる。この判断のた
めであれば、D−GPS等で得られる検出精度で十分で
ある。自車位置自体は、強調マークの表示位置の決定に
直接は用いられない。画像処理によって風景画像から特
徴物が抽出され、その位置を基準に強調マークの表示位
置が決定される。従って、特徴物と強調表示の位置ずれ
が発生しない。
In the prior art, the detection error of the own vehicle position is directly reflected on the error of the display position of the arrow graphic. As a result, as shown in FIG. 10, the arrow graphic may be displayed at a position shifted from the branch point. On the other hand, in the present embodiment, the own vehicle position detection result is used to determine whether or not the feature is located at the intersection to be guided. For this determination, the detection accuracy obtained by D-GPS or the like is sufficient. The vehicle position itself is not directly used for determining the display position of the emphasis mark. A feature is extracted from the landscape image by image processing, and the display position of the emphasis mark is determined based on the position. Therefore, no misalignment between the feature and the highlighted display occurs.
【0059】実際のところ、例えば信号機は、一般に分
岐点近辺にしか存在しない。また、分岐点の存在する間
隔は、通常、少なくとも数十m以上はあると考えられ
る。この条件において、信号機がどの分岐点に対応する
かが判断できればよい。自車位置の検出誤差や画像処理
による測距誤差の累計が、上記判断を妨げない範囲であ
ればよい。従って、自車位置の10m程度の検出誤差は
許容できると考えられる。自車位置検出手段としてD−
GPS等を用いれば、十分に本発明の効果が得られる。
As a matter of fact, for example, a traffic signal generally exists only near a branch point. In addition, it is considered that the interval at which the branch point exists is usually at least several tens of meters or more. Under this condition, it is only necessary to determine which branch point the traffic light corresponds to. It is only necessary that the total of the detection error of the vehicle position and the distance measurement error by the image processing does not hinder the above determination. Therefore, it is considered that a detection error of about 10 m of the own vehicle position is allowable. D- as the vehicle position detecting means
If the GPS or the like is used, the effects of the present invention can be sufficiently obtained.
【0060】また、従来技術では、地図データの精度
も、自車位置の検出精度と同様に、案内表示のずれの要
因となる。しかし、本実施形態では、上記と同様の理由
により、地図データもある程度の精度を持っていれば足
りる。
In the prior art, the accuracy of the map data also causes the deviation of the guidance display, similarly to the detection accuracy of the own vehicle position. However, in the present embodiment, for the same reason as described above, it is sufficient that the map data has a certain degree of accuracy.
【0061】また、従来技術では、カメラの設置方向の
ずれも、案内表示と分岐点の位置ずれの要因となる。風
景画像側が動いてしまうからである。この場合でも本実
施形態では、表示位置のずれが生じにくい。風景画像か
ら特徴物を抽出し、その位置に強調マークを表示してい
るからである。
In the prior art, a shift in the installation direction of the camera also causes a positional shift between the guidance display and the branch point. This is because the landscape image moves. Even in this case, in the present embodiment, the display position is not easily shifted. This is because a feature is extracted from the landscape image and an emphasis mark is displayed at that position.
【0062】その他、本実施形態では、案内対象の分岐
点に位置する特徴物が検出されたとき、この特徴物が画
像上で強調される。これに対し、検出した特徴物を音声
案内に利用するという考え方もあり得る。音声案内と比
べ、画像表示で特徴物を強調する場合、下記の(a)〜
(d)の利点がある。
In addition, in this embodiment, when a feature located at the branch point to be guided is detected, this feature is emphasized on the image. On the other hand, there is a concept that the detected feature is used for voice guidance. Compared with voice guidance, the following (a)-
There is the advantage of (d).
【0063】(a)音声案内では、案内のタイミングを
シビアに考慮する必要がある。例えば、分岐点の手前2
0mでは、案内に利用できる特徴物を認識できても、も
はや音声案内をするには時間的余裕がなく、結果として
特徴物を使った音声案内はできない。これに対し、本実
施形態では、案内タイミングを考慮する必要はなく、分
岐点を通過する前であればいつでも、適当な特徴物が見
つかった時点で、強調マークを表示すればよい。例え
ば、上記のように分岐点の手前20mで案内用の特徴物
を認識したときには、この時点で強調マークを表示すれ
ばよい。
(A) In voice guidance, it is necessary to carefully consider the timing of guidance. For example, before the junction 2
At 0 m, even if a feature that can be used for guidance can be recognized, there is no longer enough time for voice guidance, and as a result, voice guidance using the feature cannot be performed. On the other hand, in the present embodiment, it is not necessary to consider the guidance timing, and the emphasis mark may be displayed any time before an appropriate feature is found before passing through the branch point. For example, when a guide feature is recognized 20 m before the branch point as described above, an emphasis mark may be displayed at this point.
【0064】(b)図5、図6に示す如く、風景と地図
の2画面表示をする場合において、交差点拡大図上でも
特徴物がマーキングされる。これにより、前方風景上で
の特徴物が把握しやすくなる。例えば、信号機は分岐点
の向こう側にあるべきか、手前側にあるべきかの判断が
容易になる。このような効果は、音声案内では得られな
い。
(B) As shown in FIGS. 5 and 6, when a two-screen display of a landscape and a map is performed, a feature is marked on the enlarged view of the intersection. This makes it easier to grasp the features on the scenery ahead. For example, it is easier to determine whether a traffic light should be on the other side of a junction or on the near side. Such an effect cannot be obtained by voice guidance.
【0065】(c)同一種類で複数の特徴物がある場合
でも、ディスプレイ上では、案内に用いられている特徴
物を一瞬に見分けられる。例えば、複数の信号機が見え
るとき、どの信号機が分岐点に位置するのかの判断が、
音声案内を聞いただけでは運転者にとって難しいときが
ある。このようなときに画像表示は有利である。
(C) Even when there are a plurality of features of the same type, the features used for guidance can be instantaneously identified on the display. For example, when multiple traffic lights are visible, the determination of which traffic signal is located at the branch point is
Sometimes it is difficult for the driver just to hear the voice guidance. In such a case, image display is advantageous.
【0066】(d)車載カメラの視野は、運転者の視野
とは一致しない。そのため、車載カメラから見えている
特徴物が運転者からは見えない場合がある。音声案内で
は、このような特徴物を使わないように配慮することが
好ましい。一方、画像表示では、カメラで得られた画像
が、ディスプレイに表示され、その上に特徴物の強調マ
ークが表示される。運転者は、カメラの視野内の状況を
把握できる。従って、画像内の特徴物が運転者に見える
か否かの配慮は不要となる。さらには、ステレオ法を採
用している場合、2つのカメラで得られた画像を基に、
運転者の位置から見た風景画像を生成したり、3D立体
画像を生成して表示したりといったこともできる。
(D) The field of view of the vehicle-mounted camera does not match the field of view of the driver. For this reason, there are cases where a feature that can be seen from the vehicle-mounted camera cannot be seen from the driver. It is preferable to take care not to use such features in voice guidance. On the other hand, in the image display, an image obtained by the camera is displayed on a display, and an emphasis mark of a feature is displayed thereon. The driver can grasp the situation within the field of view of the camera. Therefore, it is not necessary to consider whether or not the features in the image are visible to the driver. Furthermore, when the stereo method is adopted, based on the images obtained by the two cameras,
It is also possible to generate a landscape image viewed from the position of the driver or generate and display a 3D stereoscopic image.
【図面の簡単な説明】[Brief description of the drawings]
【図1】 本発明の実施形態の全体構成を示すブロック
図である。
FIG. 1 is a block diagram illustrating an overall configuration of an embodiment of the present invention.
【図2】 図1の装置の動作を示すフローチャートであ
る。
FIG. 2 is a flowchart showing the operation of the apparatus of FIG.
【図3】 図1の装置の動作を示すフローチャートであ
る。
FIG. 3 is a flowchart showing the operation of the apparatus of FIG.
【図4】 ディスプレイに表示された風景画像と、信号
機を強調するために風景画像に合成された強調マークを
示す説明図である。
FIG. 4 is an explanatory diagram showing a landscape image displayed on a display and an emphasis mark synthesized with the landscape image to emphasize a traffic light.
【図5】 ディスプレイに表示された風景画像および分
岐点拡大地図と、信号機を強調するために合成された強
調マークを示す説明図である。
FIG. 5 is an explanatory diagram showing a landscape image and an enlarged map of a branch point displayed on a display, and an emphasis mark synthesized for emphasizing a traffic light.
【図6】 ディスプレイに表示された風景画像および分
岐点拡大地図と、信号機を強調するために合成された強
調マークを示す説明図である。
FIG. 6 is an explanatory diagram showing a landscape image and an enlarged map of a branch point displayed on a display, and an emphasis mark synthesized for emphasizing a traffic light.
【図7】 図1の装置の変形例であって、車載カメラが
一つの場合を示すブロック図である。
FIG. 7 is a block diagram showing a modification of the apparatus shown in FIG. 1 and showing a case where there is one vehicle-mounted camera;
【図8】 図7の装置で画像データを基に特徴物までの
距離を測定する方法を示す説明図である。
FIG. 8 is an explanatory diagram showing a method for measuring a distance to a feature based on image data by the apparatus shown in FIG. 7;
【図9】 地図データベースに記憶された信号機の配置
情報を用いて案内対象の分岐点に位置する信号機を特定
する手法を示す説明図である。
FIG. 9 is an explanatory diagram showing a technique for specifying a traffic signal located at a guidance-target branch point using traffic signal arrangement information stored in a map database.
【図10】 従来技術において、自車位置の検出誤差に
起因して、分岐点を示す矢印がずれて表示された場合の
例を示す図である。
FIG. 10 is a diagram showing an example in the related art in which an arrow indicating a branch point is displayed with a shift due to a detection error of a vehicle position.
【符号の説明】[Explanation of symbols]
10 制御部、12 自車位置検出部、14 地図デー
タベース、16 操作入力部、17 ディスプレイ、1
8 音声合成部、20a,20b,20c カメラ、2
2a,22b 認識部、24 測距部、24c 認識・
測距部。
10 control unit, 12 own vehicle position detection unit, 14 map database, 16 operation input unit, 17 display, 1
8 Voice synthesis unit, 20a, 20b, 20c camera, 2
2a, 22b recognition unit, 24 ranging unit, 24c recognition /
Distance measuring unit.
フロントページの続き (51)Int.Cl.6 識別記号 FI G08G 1/0969 G06F 15/62 415 G09B 29/10 15/68 310Z Continued on the front page (51) Int.Cl. 6 Identification code FI G08G 1/0969 G06F 15/62 415 G09B 29/10 15/68 310Z

Claims (5)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 自車前方の風景を表す風景画像を用いて
    案内情報を提供する車両用案内表示装置であって、 自車前方を撮影する車載カメラと、 撮影した画像情報から、案内対象となる分岐点を特定す
    る特徴物を抽出する特徴物抽出手段と、 抽出された特徴物を強調して撮影結果を表示する表示手
    段と、 を含むことを特徴とする車両用案内表示装置。
    1. A vehicle guidance display device for providing guidance information using a landscape image representing a landscape ahead of a host vehicle, comprising: a vehicle-mounted camera that captures the front of the vehicle; and a guidance target based on the captured image information. A guidance display device for a vehicle, comprising: a feature extracting means for extracting a feature specifying a branch point; and a display for displaying a photographing result by highlighting the extracted feature.
  2. 【請求項2】 請求項1に記載の装置において、 画像中の特徴物と自車との位置関係を測定する位置関係
    測定手段と、 分岐点の位置情報を記憶した地図データベースと、 自車の位置を検出する位置検出手段と、 特徴物と自車の位置関係、および、案内対象分岐点と自
    車の位置関係から、画像中の特徴物が案内対象分岐点を
    特定することを判定する判定手段と、 を含むことを特徴とする車両用案内表示装置。
    2. The apparatus according to claim 1, wherein: a positional relation measuring means for measuring a positional relation between a feature in the image and the own vehicle; a map database storing positional information of a branch point; Position detecting means for detecting a position; determining that the feature in the image specifies the guidance target branch point from the positional relationship between the characteristic object and the own vehicle and the positional relationship between the guidance target branch point and the own vehicle. Means, and a guidance display device for a vehicle, comprising:
  3. 【請求項3】 請求項2に記載の装置において、 前記位置関係測定手段は、複数の車載カメラを用いたス
    テレオ測距にて自車と特徴物との距離を測定するもので
    あることを特徴とする車両用案内表示装置。
    3. The apparatus according to claim 2, wherein the positional relationship measuring means measures the distance between the vehicle and the characteristic object by stereo ranging using a plurality of in-vehicle cameras. Vehicle guidance display device.
  4. 【請求項4】 請求項1〜3のいずれかに記載の装置に
    おいて、 前記特徴物は信号機であることを特徴とする車両用案内
    表示装置。
    4. The vehicle guidance display device according to claim 1, wherein the feature is a traffic light.
  5. 【請求項5】 請求項1〜4のいずれかに記載の装置に
    おいて、 前記表示手段では、特徴物を強調するために、特徴物と
    半透明の強調マークが重ねて表示されることを特徴とす
    る車両用案内表示装置。
    5. The apparatus according to claim 1, wherein the display unit displays a feature and a translucent emphasis mark in order to emphasize the feature. Vehicle guidance display device.
JP9152176A 1997-06-10 1997-06-10 Guide display system for car Pending JPH10339646A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9152176A JPH10339646A (en) 1997-06-10 1997-06-10 Guide display system for car

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9152176A JPH10339646A (en) 1997-06-10 1997-06-10 Guide display system for car

Publications (1)

Publication Number Publication Date
JPH10339646A true JPH10339646A (en) 1998-12-22

Family

ID=15534717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9152176A Pending JPH10339646A (en) 1997-06-10 1997-06-10 Guide display system for car

Country Status (1)

Country Link
JP (1) JPH10339646A (en)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276700A (en) * 1999-03-24 2000-10-06 Toshiba Corp Control information display system
JP2001041759A (en) * 1999-07-29 2001-02-16 Matsushita Electric Ind Co Ltd Information terminal device and route guiding method
JP2001141495A (en) * 1999-11-10 2001-05-25 Matsushita Electric Ind Co Ltd Navigation system
JP2001208556A (en) * 2000-01-26 2001-08-03 Denso Corp Map display device
JP2002090156A (en) * 2000-09-19 2002-03-27 Alpine Electronics Inc Traffic jam display method of on-vehicle navigaion device
JP2002245294A (en) * 2001-02-19 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> Model dwelling house system utilizing virtual space
JP2003032669A (en) * 2001-07-11 2003-01-31 Hitachi Ltd On-vehicle image processing camera device
JP2003217072A (en) * 2002-01-18 2003-07-31 Fujitsu Ten Ltd Terminal unit and control engine device
JP2003329468A (en) * 2002-05-14 2003-11-19 Alpine Electronics Inc Navigation device
JP2004061259A (en) * 2002-07-29 2004-02-26 Mazda Motor Corp System, method, and program for providing information
JP2005241653A (en) * 2004-02-26 2005-09-08 Robert Bosch Gmbh Method for guiding user of navigation system to destination, and the navigation system
JP2006507722A (en) * 2002-10-22 2006-03-02 アートゥールワークス Surface tracking in 3D scenes using natural visual features of the surface
JP2006201081A (en) * 2005-01-21 2006-08-03 Matsushita Electric Ind Co Ltd Device for controlling display
JP2007004256A (en) * 2005-06-21 2007-01-11 Toyota Motor Corp Image processing apparatus and image processing method
JP2007147458A (en) * 2005-11-28 2007-06-14 Fujitsu Ltd Location detector, location detection method, location detection program, and recording medium
JP2007178223A (en) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd Feature recognition device
JP2007187535A (en) * 2006-01-13 2007-07-26 Kenwood Corp Navigation system, imagery data for navigation, and navigation technique
JP2007206034A (en) * 2006-02-06 2007-08-16 Denso Corp Map display for vehicle
JP2007257286A (en) * 2006-03-23 2007-10-04 Denso Corp Display system for vehicle
JP2007263835A (en) * 2006-03-29 2007-10-11 Denso Corp Car navigation apparatus
WO2007119472A1 (en) * 2006-03-28 2007-10-25 Matsushita Electric Industrial Co., Ltd. Navigation apparatus
JP2007290505A (en) * 2006-04-24 2007-11-08 Denso Corp Road information detection system and program
JP2008185394A (en) * 2007-01-29 2008-08-14 Denso Corp Vehicle navigation device and information center
JP2009025237A (en) * 2007-07-23 2009-02-05 Pioneer Electronic Corp Information display, navigation system, information display method, information display program, and recording medium
WO2009084129A1 (en) * 2007-12-28 2009-07-09 Mitsubishi Electric Corporation Navigation device
JP2009243885A (en) * 2008-03-28 2009-10-22 Denso Corp Car navigation device
JP2010008144A (en) * 2008-06-25 2010-01-14 Kenwood Corp Guide display device, guide display method, and program
WO2011074087A1 (en) * 2009-12-16 2011-06-23 パイオニア株式会社 Signal identification device, signal identification method, and signal identification program
JP2011139315A (en) * 2009-12-28 2011-07-14 Kyocera Mita Corp Image display apparatus, and image forming apparatus
JP2011169808A (en) * 2010-02-19 2011-09-01 Equos Research Co Ltd Driving assist system
JP2011203053A (en) * 2010-03-25 2011-10-13 Equos Research Co Ltd Drive assist system
JP2013164853A (en) * 2012-02-13 2013-08-22 Toyota Motor Engineering & Manufacturing North America Inc System and method for traffic signal recognition
JP2014215698A (en) * 2013-04-23 2014-11-17 富士重工業株式会社 Vehicle driving support device
JP2016503918A (en) * 2012-12-21 2016-02-08 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー Systems for vehicles
JP2016207065A (en) * 2015-04-27 2016-12-08 住友電気工業株式会社 Drive assist system and drive assist method

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276700A (en) * 1999-03-24 2000-10-06 Toshiba Corp Control information display system
JP2001041759A (en) * 1999-07-29 2001-02-16 Matsushita Electric Ind Co Ltd Information terminal device and route guiding method
JP2001141495A (en) * 1999-11-10 2001-05-25 Matsushita Electric Ind Co Ltd Navigation system
JP2001208556A (en) * 2000-01-26 2001-08-03 Denso Corp Map display device
JP2002090156A (en) * 2000-09-19 2002-03-27 Alpine Electronics Inc Traffic jam display method of on-vehicle navigaion device
JP2002245294A (en) * 2001-02-19 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> Model dwelling house system utilizing virtual space
JP2003032669A (en) * 2001-07-11 2003-01-31 Hitachi Ltd On-vehicle image processing camera device
JP2003217072A (en) * 2002-01-18 2003-07-31 Fujitsu Ten Ltd Terminal unit and control engine device
JP2003329468A (en) * 2002-05-14 2003-11-19 Alpine Electronics Inc Navigation device
JP2004061259A (en) * 2002-07-29 2004-02-26 Mazda Motor Corp System, method, and program for providing information
US7987079B2 (en) 2002-10-22 2011-07-26 Artoolworks, Inc. Tracking a surface in a 3-dimensional scene using natural visual features of the surface
JP2006507722A (en) * 2002-10-22 2006-03-02 アートゥールワークス Surface tracking in 3D scenes using natural visual features of the surface
JP2005241653A (en) * 2004-02-26 2005-09-08 Robert Bosch Gmbh Method for guiding user of navigation system to destination, and the navigation system
JP2006201081A (en) * 2005-01-21 2006-08-03 Matsushita Electric Ind Co Ltd Device for controlling display
EP1840509A4 (en) * 2005-01-21 2010-12-15 Panasonic Corp Display controller
EP1840509A1 (en) * 2005-01-21 2007-10-03 Matsushita Electric Industrial Co., Ltd. Display controller
JP2007004256A (en) * 2005-06-21 2007-01-11 Toyota Motor Corp Image processing apparatus and image processing method
JP2007147458A (en) * 2005-11-28 2007-06-14 Fujitsu Ltd Location detector, location detection method, location detection program, and recording medium
JP2007178223A (en) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd Feature recognition device
JP4577655B2 (en) * 2005-12-27 2010-11-10 アイシン・エィ・ダブリュ株式会社 Feature recognition device
JP2007187535A (en) * 2006-01-13 2007-07-26 Kenwood Corp Navigation system, imagery data for navigation, and navigation technique
JP2007206034A (en) * 2006-02-06 2007-08-16 Denso Corp Map display for vehicle
JP2007257286A (en) * 2006-03-23 2007-10-04 Denso Corp Display system for vehicle
JP4550927B2 (en) * 2006-03-28 2010-09-22 パナソニック株式会社 Navigation device
US8352177B2 (en) 2006-03-28 2013-01-08 Panasonic Corporation Navigation apparatus
WO2007119472A1 (en) * 2006-03-28 2007-10-25 Matsushita Electric Industrial Co., Ltd. Navigation apparatus
JPWO2007119472A1 (en) * 2006-03-28 2009-08-27 パナソニック株式会社 Navigation device
EP2006637B1 (en) * 2006-03-28 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Navigation apparatus
US7783422B2 (en) 2006-03-29 2010-08-24 Denso Corporation Navigation device and method of navigating vehicle
JP2007263835A (en) * 2006-03-29 2007-10-11 Denso Corp Car navigation apparatus
JP2007290505A (en) * 2006-04-24 2007-11-08 Denso Corp Road information detection system and program
JP2008185394A (en) * 2007-01-29 2008-08-14 Denso Corp Vehicle navigation device and information center
JP2009025237A (en) * 2007-07-23 2009-02-05 Pioneer Electronic Corp Information display, navigation system, information display method, information display program, and recording medium
WO2009084129A1 (en) * 2007-12-28 2009-07-09 Mitsubishi Electric Corporation Navigation device
JP2009243885A (en) * 2008-03-28 2009-10-22 Denso Corp Car navigation device
JP2010008144A (en) * 2008-06-25 2010-01-14 Kenwood Corp Guide display device, guide display method, and program
JP5390636B2 (en) * 2009-12-16 2014-01-15 パイオニア株式会社 Signal recognition apparatus, signal recognition method, and signal recognition program
WO2011074087A1 (en) * 2009-12-16 2011-06-23 パイオニア株式会社 Signal identification device, signal identification method, and signal identification program
JP2011139315A (en) * 2009-12-28 2011-07-14 Kyocera Mita Corp Image display apparatus, and image forming apparatus
JP2011169808A (en) * 2010-02-19 2011-09-01 Equos Research Co Ltd Driving assist system
JP2011203053A (en) * 2010-03-25 2011-10-13 Equos Research Co Ltd Drive assist system
US9731661B2 (en) 2012-02-13 2017-08-15 Toyota Jidosha Kabushiki Kaisha System and method for traffic signal recognition
JP2013164853A (en) * 2012-02-13 2013-08-22 Toyota Motor Engineering & Manufacturing North America Inc System and method for traffic signal recognition
JP2016503918A (en) * 2012-12-21 2016-02-08 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー Systems for vehicles
JP2014215698A (en) * 2013-04-23 2014-11-17 富士重工業株式会社 Vehicle driving support device
JP2016207065A (en) * 2015-04-27 2016-12-08 住友電気工業株式会社 Drive assist system and drive assist method

Similar Documents

Publication Publication Date Title
JPH10339646A (en) Guide display system for car
JP3436074B2 (en) Car stereo camera
US8315796B2 (en) Navigation device
EP1942314B1 (en) Navigation system
JP4862774B2 (en) Driving support method and driving support device
JP4788426B2 (en) Vehicle display system
JP2005214857A (en) Navigation system, and guide image preparation method
EP1961613A2 (en) Driving support method and driving support device
JP3811238B2 (en) Voice guidance device for vehicles using image information
JP2004265432A (en) Travel environment recognition device
JPH1123305A (en) Running guide apparatus for vehicle
JP2001289654A (en) Navigator, method of controlling navigator and memory medium having recorded programs
JPH09243389A (en) On-vehicle navigation system
JP2008242987A (en) Operation support method and operation support device
JP2008076102A (en) Navigation device for vehicle
JP2006164197A (en) Running support system
JP2008157636A (en) Vehicle self-localization method and vehicle self-localizing apparatus
KR20090055848A (en) Apparatus and method of detecting signal light
US20200269759A1 (en) Superimposed-image display device and computer program
JP2008236711A (en) Driving support method and driving support device
JP2007206014A (en) Navigation device
JP2009129290A (en) Traffic signal detection apparatus, traffic signal detection method and program
JP2001336941A (en) Car navigation device
JP2007140992A (en) Method and device for supporting driving at intersection
JP2007071539A (en) On-vehicle navigation device