JP3932127B2 - Image display device for vehicle - Google Patents

Image display device for vehicle Download PDF

Info

Publication number
JP3932127B2
JP3932127B2 JP2004020138A JP2004020138A JP3932127B2 JP 3932127 B2 JP3932127 B2 JP 3932127B2 JP 2004020138 A JP2004020138 A JP 2004020138A JP 2004020138 A JP2004020138 A JP 2004020138A JP 3932127 B2 JP3932127 B2 JP 3932127B2
Authority
JP
Japan
Prior art keywords
vehicle
image
road
display control
blind spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004020138A
Other languages
Japanese (ja)
Other versions
JP2005215879A (en
Inventor
博志 大村
健一 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2004020138A priority Critical patent/JP3932127B2/en
Publication of JP2005215879A publication Critical patent/JP2005215879A/en
Application granted granted Critical
Publication of JP3932127B2 publication Critical patent/JP3932127B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、実風景と重畳されて見えるように画像を表示することによって、運転者に情報を伝達する車両用画像表示技術に関する。   The present invention relates to an image display technique for a vehicle that transmits information to a driver by displaying an image so as to be superimposed on a real landscape.

従来から、車両の運転手に対し、様々な施設についての情報を提供するシステムが存在する。   Conventionally, there is a system that provides information about various facilities to a driver of a vehicle.

特に、近年、交通網が発達し、ドライバが広範囲を自由に移動するようになるにつれて、複雑かつ変化する道路状況をドライバが常に把握することが困難になってきた。この問題を解決する方法として、自動車等の車両で目的地に移動する際の誘導情報を提供するナビゲーションシステムが知られており現実に普及している。   In particular, in recent years, as the traffic network has developed and the driver can move freely over a wide area, it has become difficult for the driver to always grasp the complicated and changing road conditions. As a method for solving this problem, a navigation system that provides guidance information when moving to a destination by a vehicle such as an automobile is known and is widely used.

そして、そのようなナビゲーションシステムの進化した形態として、フロントウィンドウ付近に、実風景と重なるように画像を表示するシステムが開発されている。例えば、特許文献1では、カメラで実風景を撮影し、実風景中の構造物に重畳するように、その構造物の属性情報を表わす画像を表示する装置が開示されている。又、特許文献2では、狭い十字路で運転手から死角となる車両の進行方向と交差する道路をカメラで撮影して、サイドウィンドウに表示し、交差する道路からの他の車両や人の十字路への進入を確認できる安全確認システムが開示されている。
特開平11−065431号公報 特開平2001−101566公報
As an advanced form of such a navigation system, a system has been developed that displays an image in the vicinity of the front window so as to overlap the actual scenery. For example, Patent Document 1 discloses an apparatus that captures an actual scene with a camera and displays an image representing attribute information of the structure so as to be superimposed on the structure in the actual scene. Further, in Patent Document 2, a road that intersects the traveling direction of a vehicle that becomes a blind spot from the driver in a narrow crossroad is photographed with a camera, displayed on a side window, and from the intersecting road to another vehicle or person's crossroads. A safety confirmation system that can confirm the entry of a vehicle is disclosed.
JP 11-0665431 A Japanese Patent Laid-Open No. 2001-101666

しかしながら、従来のシステムには、進行方向のカーブの死角に存在する道路を表わした画像を生成して、仮想道路として表示するものはなかった。従って、低速走行の十字路と異なり比較的高速走行をする、死角の存在するいわゆるブラインドカーブを走行する場合には、進行方向前方の道路の形状を想像しながら走行しており、カーブの先が急に狭くなっていたり、カーブの曲率が急に変化したりする場合には、事故を起こしやすかった。また、事故を起こさないまでも、前方の道路形状が把握できないために、運転者に不安感を与えていた。   However, there is no conventional system that generates an image representing a road existing at the blind spot of a curve in the traveling direction and displays it as a virtual road. Therefore, when driving on a so-called blind curve with a blind spot that runs at a relatively high speed, unlike a low-speed crossroad, the vehicle is driving while imagining the shape of the road ahead in the direction of travel. If the curve is narrow or the curve curvature changes suddenly, it was easy to cause an accident. In addition, the driver was anxious because the road shape ahead could not be grasped without causing an accident.

特に、仮想道路画像と実風景の道路とが直接繋がるように仮想道路画像を表示しようとすると、自動車走行時の振動や現在地の測位誤差等により、仮想道路画像と実風景の道路との境界部分にずれや振動が発生したりする懸念があり、運転者にとって違和感が発生する傾向がある。   In particular, if the virtual road image is displayed so that the virtual road image and the road in the actual scenery are directly connected, the boundary portion between the virtual road image and the road in the actual scenery due to vibration during driving or a positioning error in the current location. There is a concern that the driver may shift or vibrate, and the driver tends to feel uncomfortable.

本発明は、上記従来技術の課題を解決するためになされたもので、その目的とするところは、カーブを走行する際の運転者の不安感を払拭し、事故を未然に防ぐと共に、仮想道路画像を実風景の道路とスムーズにつないで表示し、仮想道路表示と実風景の道路との不整合を未然に防ぐことができる車両用画像表示装置を提供することにある。 The present invention has been made in order to solve the above-described problems of the prior art, and the object of the present invention is to eliminate the driver's anxiety when traveling on a curve, prevent an accident, and prevent a virtual road. It is an object of the present invention to provide an image display device for a vehicle that can display an image smoothly connected to a road in a real landscape and prevent inconsistency between the virtual road display and the road in the real landscape.

又、カーブを走行する際の運転者の不安感を払拭し、事故を未然に防ぐと共に、撮影手段が撮影した車両前方の画像を参照して、仮想道路画像を実風景の道路と連続して視認可能な位置に表示し、仮想道路表示と実風景の道路との不整合を未然に防ぐことができる車両用画像表示装置を提供することにある。 In addition, it eliminates the driver's anxiety when driving on a curve, prevents accidents in advance, and refers to the image in front of the vehicle taken by the photographing means, and continuously displays the virtual road image with the road in the actual scenery. An object of the present invention is to provide an image display device for a vehicle which can be displayed at a visually recognizable position and can prevent inconsistency between a virtual road display and a real landscape road.

かかる課題を解決するために、本発明の車両用画像表示装置は、車両の運転者の視点位置と、実風景との間に、画像を表示する車両用画像表示装置であって、地図データと車両の現在位置データとを用いて、前記車両が走行している道路における、前方のカーブの死角を検出する死角検出手段と、前記視点位置と前記地図データと前記現在位置データとを用いて、検出した死角に存在する道路を表わす仮想道路画像を生成し、前記運転者の視点位置から見て、前記実風景上の道路と連続する位置に、前記仮想道路画像を表示する表示制御手段と、を備え、前記表示制御手段は、特殊表示制御として、実風景の道路近傍をぼかして表示することを特徴とする。 In order to solve such a problem, an image display device for a vehicle according to the present invention is an image display device for a vehicle that displays an image between a viewpoint position of a driver of a vehicle and an actual landscape , Using the current position data of the vehicle, using a blind spot detecting means for detecting a blind spot of a forward curve on the road on which the vehicle is traveling, using the viewpoint position, the map data, and the current position data, Display control means for generating a virtual road image representing a road existing in the detected blind spot, and displaying the virtual road image at a position continuous with the road on the real landscape as seen from the viewpoint position of the driver; The display control means blurs and displays the vicinity of the road in the actual scenery as special display control .

本発明の他の車両用画像表示装置は、車両の運転者の視点位置と、実風景との間に、画像を表示する車両用画像表示装置であって、地図データと車両の現在位置データとを用いて、前記車両が走行している道路における、前方のカーブの死角を検出する死角検出手段と、前記視点位置と前記地図データと前記現在位置データとを用いて、検出した死角に存在する道路を表わす仮想道路画像を生成し、前記運転者の視点位置から見て、前記実風景上の道路と連続する位置に、前記仮想道路画像を表示する表示制御手段と、地図データと車両の現在位置データとを用いて、前記車両が走行している道路の前方のカーブの死角に存在する道路の形状データを前記地図データから抽出する抽出手段と、前記形状データに基づいて、前記死角に存在する道路を表わす死角道路画像を生成し、前記運転者の視点位置から見て、前記実風景上の道路と連続する位置に、前記死角道路画像を表示する表示制御手段と、を備え、前記表示制御手段は、特殊表示制御として、実風景の道路近傍を薄く表示することを特徴とする。Another vehicular image display device according to the present invention is a vehicular image display device that displays an image between a viewpoint position of a vehicle driver and a real landscape, and includes map data and current vehicle position data. Using the blind spot detecting means for detecting the blind spot of the forward curve on the road on which the vehicle is traveling, and the detected blind spot using the viewpoint position, the map data, and the current position data. A virtual road image representing a road, and a display control means for displaying the virtual road image at a position continuous with the road on the real landscape as viewed from the viewpoint of the driver; Using the position data, extraction means for extracting from the map data road shape data existing in the blind spot of the curve ahead of the road on which the vehicle is traveling, and present in the blind spot based on the shape data Do Display control means for generating a blind spot road image representing a road, and displaying the blind spot road image at a position continuous with the road on the real scenery as seen from the viewpoint position of the driver, The means is characterized in that as a special display control, the vicinity of the road in the actual scenery is displayed lightly.

本発明の更に他の車両用画像表示装置は、車両の運転者の視点位置と、実風景との間に、画像を表示する車両用画像表示装置であって、地図データと車両の現在位置データとを用いて、前記車両が走行している道路における、前方のカーブの死角を検出する死角検出手段と、前記視点位置と前記地図データと前記現在位置データとを用いて、検出した死角に存在する道路を表わす仮想道路画像を生成し、前記運転者の視点位置から見て、前記実風景上の道路と連続する位置に、前記仮想道路画像を表示する表示制御手段と、を備え、前記表示制御手段は、特殊表示制御として、実風景の道路近傍を表示しないことを特徴とする。Still another vehicular image display device of the present invention is a vehicular image display device that displays an image between a viewpoint position of a driver of a vehicle and an actual scene, and includes map data and current position data of the vehicle. Using a blind spot detecting means for detecting a blind spot of a forward curve on a road on which the vehicle is traveling, and the detected blind spot using the viewpoint position, the map data, and the current position data. Display control means for generating a virtual road image representing a road to be displayed, and displaying the virtual road image at a position continuous with the road on the real scenery as seen from the viewpoint position of the driver, The control means does not display the vicinity of the road in the actual scenery as the special display control.

ここで、前記表示制御手段は、前記車両の周囲の明るさを検知する手段を有し、前記車両の周囲の明るさが所定以下の場合に前記特殊表示制御を行なわないことを特徴とする。 Here, the display control means comprises means for detecting the brightness around the vehicle, when the brightness around the vehicle is in a predetermined or less, and characterized in that it does not perform the special display control To do.

ここで、前記車両の走行速度を検出する速度検出手段を更に有し、前記表示制御手段は、前記走行速度に応じて、前記特殊表示制御での表示のぼけ具合を調整するか、前記特殊表示制御での表示の薄さを調整するか、或いは、前記走行速度が所定以下の場合に前記特殊表示制御を行なわないことを特徴とする。Here, it further includes speed detection means for detecting the traveling speed of the vehicle, and the display control means adjusts the degree of display blur in the special display control according to the traveling speed, or the special display. The thinness of display in the control is adjusted, or the special display control is not performed when the traveling speed is lower than a predetermined value.

本発明によれば、死角に存在する道路を表わす仮想道路画像を生成し、死角に重なって見えるように、仮想道路画像を表示するので、カーブを走行する際の運転者の不安感を払拭し、事故を未然に防ぐことができる。且つ、仮想道路画像と実風景の道路とが直接繋がるように仮想道路画像を表示しようとすると、自動車走行時の振動や現在地の測位誤差等により、仮想道路画像と実風景の道路との境界部分にずれや振動が発生したりする懸念があり、運転者にとって違和感が発生する傾向があるが、仮想道路画像を実風景の道路とスムーズにつないで表示するので、仮想道路表示と実風景の道路との不整合を未然に防ぐことができる。   According to the present invention, a virtual road image representing a road existing in a blind spot is generated, and the virtual road image is displayed so as to appear to overlap the blind spot, thereby eliminating the driver's anxiety when driving on a curve. Accidents can be prevented in advance. In addition, if an attempt is made to display a virtual road image so that the virtual road image and the road in the actual landscape are directly connected, the boundary portion between the virtual road image and the road in the actual landscape due to vibration during driving or a positioning error in the current location. Although there is a concern that the driver may experience a discrepancy or vibration, there is a tendency for the driver to feel uncomfortable. However, since the virtual road image is displayed smoothly connected to the road in the real landscape, the virtual road display and the road in the real landscape are displayed. Inconsistency can be prevented.

また、仮想道路画像の実風景の道路近傍をぼかして表示する、仮想道路画像の実風景の道路近傍を薄く表示する、仮想道路画像の実風景の道路近傍を表示しないなどの処理で、仮想道路表示と実風景の道路との不整合を防ぐことができる。   In addition, the virtual road image may be displayed by blurring the vicinity of the road in the actual scenery of the virtual road image, thinly displaying the vicinity of the road in the actual scenery of the virtual road image, or not displaying the vicinity of the road in the actual scenery of the virtual road image. Inconsistency between the display and the road in the actual scenery can be prevented.

また、車両の周囲の明るさが所定以下の場合に、表示の変更を中止するので、不整合が目立たない場合の無駄な処理をなくすことができる。   Moreover, since the display change is stopped when the brightness around the vehicle is equal to or lower than a predetermined value, it is possible to eliminate useless processing when inconsistencies are not noticeable.

また、仮想道路画像と実風景の道路との精度のレベルに対応して表示の変更レベルを調整するので、不整合の程度に従って目立たなくなる。   In addition, since the display change level is adjusted in accordance with the level of accuracy between the virtual road image and the road in the actual scenery, it becomes less noticeable according to the degree of inconsistency.

また、走行速度に応じて表示の変更レベルを調整するので、車速に対応する不整合の処理ができる。   Further, since the display change level is adjusted according to the traveling speed, inconsistency processing corresponding to the vehicle speed can be performed.

また、走行速度が所定以下の場合に表示の変更を中止するので、不整合が問題にならない場合の無駄な処理をなくすことができる。   In addition, since the display change is stopped when the traveling speed is equal to or lower than the predetermined speed, it is possible to eliminate useless processing when inconsistency does not become a problem.

また、仮想道路画像と実風景の道路とが直接繋がるように仮想道路画像を表示しようとすると、自動車走行時の振動や現在地の測位誤差等により、仮想道路画像と実風景の道路との境界部分にずれや振動が発生したりする懸念があり、運転者にとって違和感が発生する傾向があるが、撮影手段が撮影した車両前方の画像を参照して、仮想道路画像を実風景の道路と連続して視認可能な位置に表示するので、仮想道路表示と実風景の道路との不整合を未然に防ぐことができる。   If an attempt is made to display the virtual road image so that the virtual road image and the road in the actual landscape are directly connected, the boundary portion between the virtual road image and the road in the actual landscape is caused by vibration during driving or positioning error of the current location. Although there is a concern that the driver may experience a shift or vibration, there is a tendency for the driver to feel uncomfortable. However, referring to the image in front of the vehicle taken by the photographing means, the virtual road image is continuous with the road in the actual scenery. Therefore, it is possible to prevent inconsistency between the virtual road display and the actual scenery road.

また、車両の周囲の明るさが所定以下の場合に、撮影手段が撮影した車両前方の画像を参照しないので、不整合が目立たない場合の無駄な処理をなくすことができる。   Further, when the brightness around the vehicle is less than or equal to a predetermined value, the image in front of the vehicle captured by the imaging unit is not referred to, so that it is possible to eliminate useless processing when inconsistencies are not noticeable.

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素の相対配置、表示画面等は、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the relative arrangement of components, the display screen, and the like described in this embodiment are not intended to limit the scope of the present invention only to those unless otherwise specified.

本発明に係る車両用画像表示装置は、車両の前方の死角となったカーブに関する情報を提供するため、車両の運転者からウィンドウ越しに視認可能な実風景と重畳されて見えるように、カーブに関する画像を表示するものである。尚、本発明に係る車両用画像表示装置の実施形態としては、カーナビゲーションシステムと連動し、運転者に対して、様々なカーブの情報を提供する車載システムが考えられるが、本実施形態では死角のカーブを表示する部分のみを説明する。   The image display device for a vehicle according to the present invention relates to a curve so as to be superimposed on an actual scenery that can be viewed through a window from the driver of the vehicle in order to provide information regarding the curve that has become a blind spot ahead of the vehicle. An image is displayed. As an embodiment of the vehicle image display device according to the present invention, an in-vehicle system that provides information on various curves to the driver in conjunction with a car navigation system is conceivable. Only the part displaying the curve will be described.

<本実施形態の車載システムを搭載した車両例>
図1は、本実施形態に係る車載システムを搭載した車両1000の全体構成を示す図である。
<Example of vehicle equipped with in-vehicle system of this embodiment>
FIG. 1 is a diagram showing an overall configuration of a vehicle 1000 equipped with an in-vehicle system according to the present embodiment.

車両1000の運転席に座った運転者10の目(アイポイント)10aの位置は、その体型や姿勢に応じた位置となる。そして、図1のように、運転者10は、フロントウィンドウ1100を介して、車両1000の前方に広がる実風景を見ることができる。つまり、アイポイントからの視界10bは、フロントウィンドウ1100の一部の領域と、車両の前方に広がる実風景とを含むことになる。そこで、本実施形態では、表示ユニット110を用いて、フロントウィンドウ1100上(またはその付近)に、画像(コンピュータグラフィクス)を表示し、実風景と重ねて見せることによって、死角のカーブの情報を提供する。このため、車両1000は、運転者10のアイポイント10aの位置を検知するためのアイポイントカメラ150と、運転者10のアイポイント10aの位置や車両位置及び3D地図データなどに応じて、死角部のカーブの画像を生成し、表示ユニット110から表示させるための、制御ユニット100とを備えている。又、車両1000には、車両前方を撮影するカメラ160が備えられ、撮影画像は死角検出やカーブ表示の整合を取るためなどに使用される。   The position of the eye (eye point) 10a of the driver 10 sitting in the driver's seat of the vehicle 1000 is a position corresponding to the body shape and posture. Then, as shown in FIG. 1, the driver 10 can see a real landscape spreading in front of the vehicle 1000 through the front window 1100. That is, the field of view 10b from the eye point includes a partial area of the front window 1100 and a real landscape spreading in front of the vehicle. Therefore, in the present embodiment, information on the blind spot curve is provided by displaying an image (computer graphics) on the front window 1100 (or in the vicinity thereof) using the display unit 110 and displaying the image superimposed on the actual scenery. To do. For this reason, the vehicle 1000 has a blind spot according to the eye point camera 150 for detecting the position of the eye point 10a of the driver 10, the position of the eye point 10a of the driver 10, the vehicle position, 3D map data, and the like. The control unit 100 is provided for generating an image of the curve and displaying it from the display unit 110. Further, the vehicle 1000 is provided with a camera 160 for photographing the front of the vehicle, and the photographed image is used for blind spot detection and matching of curve display.

図2は、本実施形態に係る車載システムによって表示された画像の1例を示す図である。便宜上、図2には運転者は示されていない。   FIG. 2 is a diagram illustrating an example of an image displayed by the in-vehicle system according to the present embodiment. For convenience, the driver is not shown in FIG.

運転者からは、図2に示すように、フロントウィンドウ1100越しに、実風景として山や道路や建物などが視認可能である。そして、そのような実風景のカーブの死角部分210にカーブが重畳されて見えるように、仮想道路の画像200が表示されている。230で示す破線部分は、本実施形態で不整合を和らげる部分である仮想道路における実風景の道路近傍を示す。   As shown in FIG. 2, the driver can visually recognize mountains, roads, buildings, and the like through the front window 1100 as actual scenery. Then, an image 200 of the virtual road is displayed so that the curve appears to be superimposed on the blind spot portion 210 of such a real landscape curve. A broken line portion indicated by 230 indicates the vicinity of the road in the actual landscape on the virtual road, which is a portion that reduces inconsistencies in the present embodiment.

かかる仮想道路の画像200については、運転者への利便性や安心感の向上と共に、仮想道路表示と実道路との接続が不整合とならない工夫も必要である。本実施形態の仮想道路の画像200の表示制御においては、次のような工夫がなされている。
(1)仮想道路画像の実風景の道路近傍をぼかして表示する。
(2)仮想道路画像の実風景の道路近傍を薄く表示する。
(3)仮想道路画像の実風景の道路近傍を表示しない。
(4)車両の周囲の明るさが所定以下の場合に、上記表示の変更を中止する。
(5)仮想道路画像と実風景の道路との精度のレベルに対応して表示の変更レベルを調整する。
(6)走行速度に応じて表示の変更レベルを調整する。
(7)走行速度が所定以下の場合に表示の変更を中止する。
(8)車両前方を撮影する撮影手段を備え、撮影手段が撮影した車両前方の画像を参照して、仮想道路画像を実風景の道路と連続して視認可能な位置に表示する。
(9)車両の周囲の明るさが所定以下の場合に、撮影手段が撮影した車両前方の画像を参照しない。
ことを特徴とする請求項12記載の車両用画像表示装置。
For such a virtual road image 200, it is necessary to improve the convenience and security for the driver and to prevent the inconsistency between the virtual road display and the actual road connection. In the display control of the virtual road image 200 according to the present embodiment, the following measures are taken.
(1) The vicinity of the road in the actual scenery of the virtual road image is blurred and displayed.
(2) The vicinity of the road in the actual scenery of the virtual road image is displayed lightly.
(3) Do not display the vicinity of the road in the actual scenery of the virtual road image.
(4) When the surrounding brightness of the vehicle is below a predetermined level, the above display change is stopped.
(5) The display change level is adjusted in accordance with the level of accuracy between the virtual road image and the road in the actual scenery.
(6) Adjust the display change level according to the running speed.
(7) Stop changing the display when the running speed is below the specified value.
(8) An imaging unit that captures the front of the vehicle is provided, and the virtual road image is displayed at a position that can be visually recognized continuously with the road in the real scenery with reference to the image in front of the vehicle captured by the imaging unit.
(9) When the brightness around the vehicle is equal to or lower than the predetermined value, the image in front of the vehicle captured by the imaging unit is not referred to.
The vehicular image display device according to claim 12.

なお、上記工夫は代表的な例でありこれらに限定されるものではない。又、これらの例の複数を組み合わせた制御も可能である。   In addition, the said device is a typical example and is not limited to these. Also, control combining a plurality of these examples is possible.

<本実施形態の車載システムの構成例>
次に、図3及び図4を用いて、本車載システムの構成について説明する。
<Configuration example of in-vehicle system of this embodiment>
Next, the configuration of the in-vehicle system will be described with reference to FIGS. 3 and 4.

図3は、本実施形態に係る車載システムの構成例を示すブロック図である。   FIG. 3 is a block diagram illustrating a configuration example of the in-vehicle system according to the present embodiment.

図3に示すように、本システムは、システム全体を制御する表示制御ユニット100と、フロントウィンドウに画像を表示する表示ユニット110とからなり、表示制御ユニット100には、周辺機器として、現在位置算出のためのGPS信号を受信するGPS受信器120と、死角の検出やカーブ画像の作成に使用される地図データベース130と、運転者の位置(頭の)を検出する位置センサ140と、運転者を撮影しアイポイント位置を検出するアイポイントカメラ150と、車両前方を撮影するカメラ160と、車両外部の情報センター200などに設置されたサーバとネットワークを介して通信する無線通信機170と、車両の走行速度を検出するセンサ180と、車両の振動を検出するセンサ190とを有する。   As shown in FIG. 3, this system includes a display control unit 100 that controls the entire system and a display unit 110 that displays an image on the front window. The display control unit 100 calculates a current position as a peripheral device. A GPS receiver 120 for receiving GPS signals, a map database 130 used for detection of blind spots and curve images, a position sensor 140 for detecting a driver's position (head), and a driver An eye point camera 150 that captures and detects an eye point position, a camera 160 that captures the front of the vehicle, a wireless communication device 170 that communicates via a network with a server installed in the information center 200 outside the vehicle, and the like It has a sensor 180 for detecting the traveling speed and a sensor 190 for detecting the vibration of the vehicle.

尚、ナビゲーションシステムとして使用するには、運転者の指示を受けるマイクや、運転者に音声で情報を提供するスピーカ、運転者からの指示を入力する操作ユニット、車両の挙動や位置を検出する各種センサなども有する(図示せず)。   For use as a navigation system, a microphone that receives instructions from the driver, a speaker that provides information to the driver by voice, an operation unit that inputs instructions from the driver, and various types that detect the behavior and position of the vehicle. It also has a sensor (not shown).

表示ユニット110として、ホログラムを利用したヘッドアップディスプレイを用いれば、運転者の目の焦点を、実風景を見る場合とほぼ同じにできる。しかし、ここでの表示ユニット110はこれに限定されるものではなく、運転者から見て実風景と重畳されて見えるように画像を表示できるユニットであれば如何なるものも採用することが可能である。例えば、フロントウィンドウに貼付した半透過スクリーンにプロジェクタで画像を投影する構成でも良いし、フロントウィンドウに半透過液晶ディスプレイを貼付し、液晶ディスプレイを駆動して所望の画像を表示する構成でも良い。かかる表示方法については、過去の様々な文献(例えば、特開平1−219883号公報や特開平4−125679号公報)にその詳細が開示されているので説明を省略する。   If a head-up display using a hologram is used as the display unit 110, the focus of the driver's eyes can be made substantially the same as when viewing a real landscape. However, the display unit 110 here is not limited to this, and any unit can be used as long as it can display an image so as to be superimposed on the actual scenery when viewed from the driver. . For example, a configuration in which an image is projected by a projector on a translucent screen attached to the front window may be used, or a configuration in which a transflective liquid crystal display is attached to the front window and a liquid crystal display is driven to display a desired image may be used. The details of such a display method have been disclosed in various past documents (for example, Japanese Patent Laid-Open No. 1-219883 and Japanese Patent Laid-Open No. 4-125679).

GPS受信機120は、主に、DS(Direct Sequence)方式を用いたスペクトラム拡散通信を行ない、GPS衛星からの受信電波を検波・復調して、測位データを求め、それに基づいてGPS航法による車両の現在位置及び進行方位を算出する。   The GPS receiver 120 mainly performs spread spectrum communication using the DS (Direct Sequence) method, detects and demodulates the received radio waves from the GPS satellites, obtains positioning data, and based on that, obtains the positioning data of the vehicle by GPS navigation. The current position and traveling direction are calculated.

地図データベース130は、大容量のディスクやCD等に記憶された地図情報からなり、その容量に従って、カーブの死角が検出可能な3D情報から一部分の地図情報のみで逐次情報センター200からダウンロードするものまでがあり得る。   The map database 130 is composed of map information stored on a large-capacity disk, CD, or the like. From the 3D information that can detect the blind spot of the curve to the one that is sequentially downloaded from the information center 200 with only a part of the map information according to the capacity There can be.

運転者位置センサ140は、運転者の頭の車両内での位置を検出する。尚、運転者位置センサ140は、アイポイントカメラ150で兼用してもよい。   The driver position sensor 140 detects the position of the driver's head in the vehicle. The driver position sensor 140 may be shared by the eye point camera 150.

アイポイントカメラ150は、運転者の頭部を撮影するカメラであり、撮影した画像中から運転者の目の部分を特定し、目の位置と視線の方向を算出する。   The eye point camera 150 is a camera that captures the driver's head, identifies the driver's eyes from the captured image, and calculates the position of the eyes and the direction of the line of sight.

車両前方カメラ160は、フロントウィンドウ上部やキャビネット上部などに配置されて、車両前方の道路及び風景を撮影し、死角の検出やカーブ表示の整合を取るためなどの情報を得る。   The vehicle front camera 160 is disposed on the upper part of the front window, the upper part of the cabinet, etc., and captures information such as photographing the road and scenery in front of the vehicle and detecting blind spots and matching the curve display.

無線通信機170は、車両に最も近い基地局に電波をとばすことにより、通信ネットワークにアクセスし、特定のサーバから最新の地図データをダウンロードすることができる。ダウンロードされた地図データは、地図データベース130や表示制御ユニット100に格納される。サーバには、運転者の自宅などからデータをアップロードでき、無線通信機170でそれらのデータをダウンロードすることもできる。更には、サーバ側で地図データにそれらのデータを組み込んで無線通信機170を介してダウンロードすることも可能である。   The wireless communication device 170 can access the communication network by downloading radio waves to the base station closest to the vehicle, and download the latest map data from a specific server. The downloaded map data is stored in the map database 130 or the display control unit 100. Data can be uploaded to the server from the driver's home or the like, and the data can be downloaded by the wireless communication device 170. Furthermore, it is also possible to incorporate the data into the map data on the server side and download it via the wireless communication device 170.

速度センサ180は、例えば回転エンコーダ等のセンサであり、車速パルスを取り込んで車両の速度を検出する。振動センサ(加速度センサ)190は、例えばダイヤフラム等の慣性を利用して、圧力変化情報を取り込んで車両に加わる加速度を検出する。   The speed sensor 180 is a sensor such as a rotary encoder, for example, and detects the speed of the vehicle by taking in vehicle speed pulses. The vibration sensor (acceleration sensor) 190 detects the acceleration applied to the vehicle by taking pressure change information using inertia such as a diaphragm, for example.

その他、図示しない操作ユニットは、例えばテンキーや各種のタッチスイッチなどの入力操作キーとそのインターフェイス回路からなり、運転者などの乗員からの操作入力を受け入れる。なお、操作ユニットは、各種の設定内容を表示するためのディスプレイを有しても良い。又、他の各種センサには方位センサなどが含まれる。方位センサは、例えばジンバル等のジャイロ機構を用いて車両の方位を検出する。なお、現在位置の測位や進行方位の決定は、GPS航法からのデータと自立航法からのデータとを混合修正することによって行なうが、かかる処理方法については、過去の様々な文献(例えば、特開平8−11170号公報や特開平10−307036号公報)にその詳細が開示されているので説明を省略する。   In addition, an operation unit (not shown) includes input operation keys such as a numeric keypad and various touch switches and an interface circuit thereof, and receives an operation input from an occupant such as a driver. The operation unit may have a display for displaying various setting contents. Further, the other various sensors include an orientation sensor and the like. The direction sensor detects the direction of the vehicle using a gyro mechanism such as a gimbal, for example. Note that the positioning of the current position and the determination of the heading are performed by mixing and correcting the data from GPS navigation and the data from autonomous navigation. 8-11170 and Japanese Patent Laid-Open No. 10-307036), details of which are disclosed, and a description thereof will be omitted.

(制御ユニット100の構成例)
表示制御ユニット100は、種々のプログラムを実行する過程において所定の期間毎に、上記周辺機器からの情報を取り込み、かかる情報を総合的に判断して、表示ユニット110に出力すべき画像を導き出す。
(Configuration example of control unit 100)
The display control unit 100 fetches information from the peripheral devices every predetermined period in the course of executing various programs, comprehensively determines such information, and derives an image to be output to the display unit 110.

表示制御ユニット100は、図3に示すように、表示制御部201、死角検出部202、表示画像作成部203、視認位置方向検出部204、接続部表示制御部205、接続部位置制御部206の各機能ブロックを有する。   As shown in FIG. 3, the display control unit 100 includes a display control unit 201, a blind spot detection unit 202, a display image creation unit 203, a visual recognition position / direction detection unit 204, a connection unit display control unit 205, and a connection unit position control unit 206. Each functional block is included.

ここで、表示制御部201は、死角検出部202と表示画像作成部203からの情報に基づいて、表示ユニット110の画像表示を制御する。又表示画像作成部203は、視認位置方向検出部204、接続部表示制御部205、接続部位置制御部206からの情報に基づいて、表示画像を作成する。   Here, the display control unit 201 controls image display of the display unit 110 based on information from the blind spot detection unit 202 and the display image creation unit 203. The display image creation unit 203 creates a display image based on information from the viewing position / direction detection unit 204, the connection unit display control unit 205, and the connection unit position control unit 206.

死角検出部202は、例えば次のような手順で車両前方のカーブに障害物による死角があることを検出する。(1)レーダー(図示なし)により測定したカーブ方向の離間距離と、地図上のカーブまでの離間距離を比較して、測定距離が短ければ死角ありと判定する。(2)車両前方カメラ160による撮影画像と、予め保持している障害物画像とを比較して、撮影画像中に障害物画像があれば死角ありと判定する。(3)地図データベースの3D画像から現在位置に基づき死角ありと判定する。   The blind spot detection unit 202 detects that there is a blind spot due to an obstacle on the curve ahead of the vehicle, for example, in the following procedure. (1) The distance in the curve direction measured by the radar (not shown) is compared with the distance to the curve on the map. If the measured distance is short, it is determined that there is a blind spot. (2) The image captured by the vehicle front camera 160 is compared with an obstacle image held in advance, and if there is an obstacle image in the captured image, it is determined that there is a blind spot. (3) It is determined that there is a blind spot based on the current position from the 3D image of the map database.

表示画像作成部203は、地図データベース130からの地図情報と視認位置方向検出部204の運転者の目の位置及び視線方向とから、仮想道路の位置が実際の位置からずれない位置に、且つ実風景の道路と仮想道路がスムーズに接続するように、フロントウィンドウ1100に表示する仮想道路の表示画像を作成しその表示位置を算出する。尚、後述するように、表示画像の形成はカーブの終了までとするのが望ましい。又、接続部表示制御部205、接続部位置制御部206からの情報により制御して、図2のような表示画像を作成する。更に、図示しない車両周囲の明るさセンサからの信号により、暗い場合には不整合が目立たないため、接続部表示制御部205、接続部位置制御部206の処理を行わないような制御も行う。   The display image creation unit 203 uses the map information from the map database 130 and the eye position and line-of-sight direction of the driver of the visual position / direction detection unit 204 so that the position of the virtual road does not deviate from the actual position. A display image of the virtual road to be displayed on the front window 1100 is created and its display position is calculated so that the landscape road and the virtual road are smoothly connected. As will be described later, it is desirable to form the display image until the end of the curve. Further, a display image as shown in FIG. 2 is created under the control of the information from the connection part display control part 205 and the connection part position control part 206. Further, because of a signal from a brightness sensor around the vehicle (not shown), inconsistency is not conspicuous in the dark, and thus control is performed so that the processing of the connection portion display control unit 205 and the connection portion position control unit 206 is not performed.

視認位置方向検出部204は、運転者位置センサ140やアイポイントカメラ150の情報から、運転者の視認位置及び方向を検出して、その情報を表示画像作成部203での画像作成と表示位置の算出に使用する。   The visual recognition position / direction detection unit 204 detects the visual recognition position and direction of the driver from the information of the driver position sensor 140 and the eye point camera 150, and uses the information for the image creation and display position of the display image creation unit 203. Used for calculation.

接続部表示制御部205は、実道路と仮想道路が接続する部分で不整合があって運転者に不快感を与えないため、仮想道路の表示を実道路との不整合を和らげるような表示、例えば、実道路近傍で仮想道路をぼかして表示する、薄く表示するあるいは表示しないように調整して不整合を目立たないようにする。又、上記調整のレベル(変更レベル)を、仮想道路画像と実風景の道路との精度や走行速度に基づいて制御する。   The connection unit display control unit 205 does not give the driver discomfort at the part where the real road and the virtual road are connected, so that the display of the virtual road is relieved from the inconsistency with the real road, For example, the virtual road is displayed in a blurred manner near the actual road, or is adjusted so as to be displayed or not displayed so as to make the inconsistency inconspicuous. The level of adjustment (change level) is controlled based on the accuracy and travel speed between the virtual road image and the road in the actual landscape.

接続部位置制御部206は、車両前方カメラ160からの画像に基づいて、実道路と仮想道路が接続する部分で、不整合とならないように位置調整を行う。   Based on the image from the vehicle front camera 160, the connecting unit position control unit 206 adjusts the position so that inconsistency does not occur at the portion where the real road and the virtual road are connected.

尚、上記図3の表示制御ユニット100を構成する、表示制御部201、死角検出部202、表示画像作成部203、視認位置方向検出部204、表示位置決定部205、接続部制御部206、仮想障害物作成部207の各機能は、図4のROM102に格納されたプログラムモジュールをCPU101が読出して実行することにより実現する。   Note that the display control unit 201, the blind spot detection unit 202, the display image creation unit 203, the visual recognition position direction detection unit 204, the display position determination unit 205, the connection unit control unit 206, the virtual component that configure the display control unit 100 of FIG. Each function of the obstacle creating unit 207 is realized by the CPU 101 reading and executing the program module stored in the ROM 102 of FIG.

又、図3には図示されていないが、仮想道路画像と実風景の道路との精度を判定する手段などが、周辺機器からの情報に基づいて処理をするが、ここでは詳説しない。   Although not shown in FIG. 3, means for determining the accuracy between the virtual road image and the road in the actual scenery performs processing based on information from the peripheral device, but will not be described in detail here.

(表示制御ユニット100のハードウエア構成例)
図4は、本実施形態に係る表示制御ユニットのハードウエア構成例を示すブロック図である。
(Example of hardware configuration of display control unit 100)
FIG. 4 is a block diagram illustrating a hardware configuration example of the display control unit according to the present embodiment.

表示制御ユニット100は、内部に演算制御用のCPU(詳しくはマイクロプロセッサ)101と、固定値や各種プログラムモジュールを記憶するROM(Read Only Memory)102と、各種データやプログラムを一時的に記憶するRAM(Random Access Memory)103と、3D地図データ104及び各種設定データ104bを記憶するHDD(Hard Disk Drive)104を含み、更に、外部ユニットとの入出力ポート(I/O)106を備えている。なお、ここではHDD104に3D地図データや設定データを格納することとしたが、これを、DVDやCD−ROM等の記録媒体のドライブや、フラッシュメモリなどの不揮発性半導体メモリに置き換えることも可能である。この3D地図データ104aが図3の地図データベース130に相当し、図4の各周辺機器は図3の各周辺機器に相当している。又、各種プログラムモジュールは、HD104に格納され、RAM103にロードされてCPU101により実行される構成でもよい。   The display control unit 100 internally stores a CPU (specifically a microprocessor) 101 for arithmetic control, a ROM (Read Only Memory) 102 for storing fixed values and various program modules, and temporarily stores various data and programs. A random access memory (RAM) 103, a hard disk drive (HDD) 104 that stores 3D map data 104 and various setting data 104b, and an input / output port (I / O) 106 with an external unit are further provided. . Here, 3D map data and setting data are stored in the HDD 104, but this can be replaced by a drive of a recording medium such as a DVD or a CD-ROM, or a nonvolatile semiconductor memory such as a flash memory. is there. The 3D map data 104a corresponds to the map database 130 in FIG. 3, and each peripheral device in FIG. 4 corresponds to each peripheral device in FIG. The various program modules may be stored in the HD 104, loaded into the RAM 103, and executed by the CPU 101.

CPU101は、ROMに記憶されているメインルーチンプログラムや、各種のプログラムモジュールを実行することにより、本車載システム全体を制御する。   The CPU 101 controls the entire in-vehicle system by executing a main routine program stored in the ROM and various program modules.

ROM102は、3D地図データ104aから生成されたカーブの仮想道路の表示ユニット110への表示を制御する表示制御モジュール102aと、カーブで障害物による死角がある場合に、3D地図データ104aから運転者の視認位置方向に基づいてフロントウィンドウへの表示画像を作成する表示画像作成モジュール102bと、レーダー(図示せず)による離間距離や車両前方カメラによる前方撮影画像、3D地図データなどから、カーブの先が障害物で遮られて死角が有るか否かを検出する死角検出モジュール102cと、仮想道路の表示を実道路との不整合を和らげるような表示を行う接続部表示制御モジュールモジュール102dと、車両前方カメラ160からの画像に基づいて、実道路と仮想道路が接続する部分で、不整合とならないように位置調整を行う接続部位置モジュール102eなどを記憶している。   The ROM 102 includes a display control module 102a for controlling the display of the curve generated from the 3D map data 104a on the display unit 110 of the virtual road, and when there is a blind spot due to an obstacle on the curve, from the 3D map data 104a Based on the display image creation module 102b that creates a display image on the front window based on the viewing position direction, a separation distance by a radar (not shown), a front shot image by a vehicle front camera, 3D map data, and the like, the tip of the curve A blind spot detection module 102c that detects whether there is a blind spot obstructed by an obstacle, a connection part display control module module 102d that displays a virtual road so as to relieve the mismatch with the real road, and a vehicle front Based on the image from the camera 160, the portion where the real road and the virtual road are connected is irregular. Stores such connection portion position module 102e adjust the position so as not to.

RAM103は、各種のプログラムを実行するためのプログラム実行領域103aと、HDD104から読出した3D地図データ104aを一時的に記憶する地図データ格納領域103bと、表示画像作成モジュール102bによって作成した表示画像を一時的に記憶する表示データ格納領域103cと、カメラ150、160や各種センサ140、180、190などから入力した車両の挙動や位置に関するデータを一時的に記憶する車両データ格納領域103dとを含む。   The RAM 103 temporarily stores a program execution area 103a for executing various programs, a map data storage area 103b for temporarily storing 3D map data 104a read from the HDD 104, and a display image created by the display image creation module 102b. Display data storage area 103c to be stored automatically, and vehicle data storage area 103d to temporarily store data relating to the behavior and position of the vehicle input from cameras 150, 160 and various sensors 140, 180, 190, and the like.

3D地図データ104aには、建物や公園、道路や交差点など、更には、山などの自然物の形状及び位置データが含まれ、更に、道路のルートや道路の幅員などに関する道路情報や道路交差点の位置情報などのデータが含まれている。各種設定データ104bに格納される設定内容は、操作ユニットやサーバにネットワーク接続されたパーソナルコンピュータなどで設定可能でありナビゲーションに使用されるが、本実施形態では主要な情報ではないので詳説はしない。   The 3D map data 104a includes data on the shape and position of buildings, parks, roads, intersections, and other natural objects such as mountains. Further, road information on road routes and road widths, and positions of road intersections are included. Contains information and other data. The setting contents stored in the various setting data 104b can be set by an operation unit or a personal computer connected to the server via a network and used for navigation. However, since it is not main information in this embodiment, it will not be described in detail.

<本実施形態の車載システムの処理手順例>
本車載システムで行なわれる基本フローについて、図5のフローチャートを用いて説明する。尚、この基本フローは、本実施形態のフロントウィンドウへのカーブの仮想道路表示と共に、ナビゲーションとして目的の施設などを表示する施設情報提供をも兼ねたフローとして図示されている。
<Example of processing procedure of in-vehicle system of this embodiment>
A basic flow performed in the in-vehicle system will be described with reference to the flowchart of FIG. This basic flow is illustrated as a flow that also serves to provide facility information for displaying a target facility or the like as navigation, together with the virtual road display of the curve on the front window of the present embodiment.

まず、車両のエンジンが始動すると、ステップS10においてシステムのイニシャル設定が行われる。次に、ステップS20で目的地が操作ユニトから設定される。ステップS30でGPS受信機からの信号により車両の現在地が検出される。   First, when the engine of the vehicle is started, initial setting of the system is performed in step S10. Next, in step S20, the destination is set from the operation unit. In step S30, the current location of the vehicle is detected by a signal from the GPS receiver.

ステップS40が本実施形態における特徴的処理であり、カーブにおける障害物による死角についても情報が提供される。詳細については、以下の図6に従って説明する。   Step S40 is a characteristic process in the present embodiment, and information is also provided regarding the blind spot due to the obstacle on the curve. Details will be described with reference to FIG.

ステップS50では、目的地へのナビケーションに関連して施設情報をフロントウィンドウに表示して提供する。   In step S50, facility information is displayed and provided on the front window in connection with navigation to the destination.

(詳細なカーブ死角情報提供の手順例)
ここでは、本実施形態の特徴部分であるステップS40のカーブ死角情報提供処理について、図6のフローチャートを用いて詳細に説明する。尚、図6のフローチャートは、ステップS40において、どのような条件が成立した場合に仮想道路画像の表示態様をどのように変更するかについて最良の形態を示したものであるが、これらのステップを全て含む必要はなく、個々の条件を独立に評価して制御してもそれぞれの効果が奏せられる。
(Procedure for providing detailed curve blind spot information)
Here, the curve blind spot information provision processing in step S40, which is a characteristic part of the present embodiment, will be described in detail with reference to the flowchart of FIG. The flowchart of FIG. 6 shows the best mode for how to change the display mode of the virtual road image when the conditions are satisfied in step S40. It is not necessary to include all of them, and even if each condition is evaluated and controlled independently, each effect can be obtained.

まず、ステップS41で、現在地周辺の地図情報を3D地図データベースあるいは情報センターからダウンロードして、読み出す。   First, in step S41, map information around the current location is downloaded from a 3D map database or an information center and read.

ステップS42では、車両前方のカーブが障害物に遮られる死角があるか否かが検出される。死角がなければリターンする。死角の検出方法としては種々あるが、例えば、(1)レーダー(図示なし)により測定したカーブ方向の離間距離と、地図上のカーブまでの離間距離を比較して、測定距離が短ければ死角ありと判定する。(2)車両前方カメラ160による撮影画像と、予め保持している障害物画像とを比較して、撮影画像中に障害物画像があれば死角ありと判定する。(3)地図データベースの3D画像から現在位置に基づき死角ありと判定する。などがある。   In step S42, it is detected whether there is a blind spot where the curve ahead of the vehicle is blocked by an obstacle. If there is no blind spot, return. There are various methods for detecting the blind spot. For example, (1) The distance in the curve direction measured by the radar (not shown) is compared with the distance to the curve on the map. Is determined. (2) The image captured by the vehicle front camera 160 is compared with an obstacle image held in advance, and if there is an obstacle image in the captured image, it is determined that there is a blind spot. (3) It is determined that there is a blind spot based on the current position from the 3D image of the map database. and so on.

死角が検出されればステップS43に進んで、カーブ死角に応じて仮想道路を所定の開始/終了タイミングで表示する。尚、仮想道路の表示はなるべく少なくするとの思想から、カーブから直線に、あるいは反対のカーブが続く場合などは、現在のカーブ以降の仮想道路の表示は無駄あるいは妨害になるので、カーブが終わるまでしか表示しないようにする。尚、ステップS43での詳細な制御は、図7に従って詳細に後述する。   If a blind spot is detected, the process proceeds to step S43, and a virtual road is displayed at a predetermined start / end timing according to the curve blind spot. In addition, from the idea of displaying as few virtual roads as possible, the display of virtual roads after the current curve becomes useless or obstructive when the curve continues from a straight line or the opposite curve. Only display it. The detailed control in step S43 will be described later in detail according to FIG.

ステップS44では、表示の終了、例えば、死角となるまでの距離が所定距離(例えば15m:この値は車速に対応して変更するのが好ましい)以上前方である場合などで終了と判断し、仮想道路の表示を終える。   In step S44, it is determined that the display is finished, for example, when the distance until the blind spot is more than a predetermined distance (for example, 15m: this value is preferably changed according to the vehicle speed) and the like, Finish displaying the road.

図7のフローチャートに従って、ステップS43のカーブ死角に応じた仮想道路表示の本実施形態の一制御例を詳細に説明する。尚、図7の各ステップは独立に実行されても、あるいは選択されたいずれの複数の組み合わせでも、本発明の課題を解決できるものである。従って、各ステップS431〜S433の処理の前後は特定されない。図7では最良の形態として、優先度を考慮してステップを実行する例を示した。   A control example of this embodiment of the virtual road display according to the curve blind spot in step S43 will be described in detail according to the flowchart of FIG. It should be noted that the steps of FIG. 7 can solve the problems of the present invention even if they are executed independently or in any selected combination. Therefore, before and after the processes of steps S431 to S433 are not specified. FIG. 7 shows an example in which the steps are executed in consideration of the priority as the best mode.

ステップS431では、車両の周囲が所定明るさより暗いか否かを判定する。暗い場合は不整合が目立たないのでステップS434に進んで、通常の仮想道路を表示する。所定以上の明るさの場合は不整合が目立つので、ステップS432で重畳表示の精度が悪いか否かが判定される。精度の判定としては仮想道路画像の作成結果による原因と、車両が振動して不整合が出るような外的原因がある。精度が悪いと判定されれば、ステップS435で仮想道路の表示を変更する。変更の方法は、上述した(1)仮想道路画像の実風景の道路近傍をぼかして表示する。(2)仮想道路画像の実風景の道路近傍を薄く表示する。(3)仮想道路画像の実風景の道路近傍を表示しない。などである。   In step S431, it is determined whether or not the surroundings of the vehicle are darker than a predetermined brightness. If it is dark, the inconsistency is inconspicuous, so the process proceeds to step S434, and a normal virtual road is displayed. If the brightness is greater than or equal to a predetermined level, inconsistency is conspicuous, and it is determined in step S432 whether the accuracy of the superimposed display is poor. The accuracy determination includes a cause based on the virtual road image creation result and an external cause that causes the vehicle to vibrate and cause inconsistencies. If it is determined that the accuracy is poor, the display of the virtual road is changed in step S435. The change method is to display the above-described (1) the vicinity of the road in the actual landscape of the virtual road image in a blurred manner. (2) The vicinity of the road in the actual scenery of the virtual road image is displayed lightly. (3) Do not display the vicinity of the road in the actual scenery of the virtual road image. Etc.

精度が悪くなければステップS433に進んで、車速が所定速度より低いか否かが判定される。低ければ不整合は目立たないあるいは運転者への影響が少ないので、ステップS434で通常の仮想道路表示が行われる。車速が早い場合はステップS435に進んで、仮想道路の表示を変更する。   If the accuracy is not low, the process proceeds to step S433, and it is determined whether or not the vehicle speed is lower than a predetermined speed. If it is low, the inconsistency is inconspicuous or has little influence on the driver, so that a normal virtual road display is performed in step S434. When the vehicle speed is fast, the process proceeds to step S435, and the display of the virtual road is changed.

尚、ぼかすあるいは薄くする程度は、精度のレベルや走行速度に対応して変更されるのが良い。   It should be noted that the degree of blurring or thinning is preferably changed according to the level of accuracy and the traveling speed.

図8は、カーブ死角に応じた仮想道路表示の本実施形態の他の制御例を詳細に説明するフローチャートである。   FIG. 8 is a flowchart for explaining in detail another control example of this embodiment of the virtual road display according to the curve blind spot.

まず、ステップS436で、車両前方カメラによる撮影を行う。次にステップS437で車両周囲が所定明るさより位か否かを判定する。明るいい場合はステップS438に進んで、カメラによる撮像画像で境界を一致させるように位置制御する。暗い場合は不整合が目立たないので、ステップS439に進んで一致処理は行わない。ステップS440で仮想道路を表示する。   First, in step S436, photographing is performed by the vehicle front camera. Next, in step S437, it is determined whether or not the surroundings of the vehicle are higher than a predetermined brightness. If it is bright, the process proceeds to step S438, and the position is controlled so that the boundary is matched with the image captured by the camera. If it is dark, the inconsistency is not conspicuous, so the process proceeds to step S439 and the matching process is not performed. In step S440, a virtual road is displayed.

尚、図7と図8の不整合を和らげる処理は、単独で行っても組み合わせて行ってもよい。   It should be noted that the processing for reducing the mismatch between FIGS. 7 and 8 may be performed alone or in combination.

<実施形態の効果>
本実施形態によれば、カーブで障害物により死角となる道路を仮想道路画像で実風景に重畳するように表示するので、運転者は、運転中、カーブを走行する際の不安感が無くなると共に、事故を未然に防ぐことができると共に、仮想道路画像と実道路の不整合を和らげる(目立たなくする)ので、仮想道路表示と実風景の道路との不整合を防ぐことができる。
<Effect of embodiment>
According to the present embodiment, since the road that becomes a blind spot due to an obstacle on the curve is displayed so as to be superimposed on the real landscape in the virtual road image, the driver is not anxious when driving the curve while driving. In addition, accidents can be prevented and inconsistencies between the virtual road image and the actual road can be reduced (inconspicuous), so that inconsistencies between the virtual road display and the actual scenery road can be prevented.

<他の実施形態>
尚、上記実施形態では、上述したCPU101が、図6で説明した各処理を実現可能なプログラムを何らかの記憶媒体から読み出して実行することによってその効果が達成されるが、この場合、記憶媒体としては読み書き可能な半導体メモリや、ハードディスクの他、光ディスクや磁気ディスクや光磁気ディスク等のあらゆる記憶デバイスを採用することができ、そのような記憶媒体や、プログラムそのものも本発明の範疇に含まれる。従って、インターネット等を利用することにより電気通信回線を通じて伝達されるデータも本発明の範疇に含まれうる。また、本発明に係る車両用画像表示装置は、上記実施形態に示したような車載システムの一部であっても良いし、単体の専用ユニットであっても良い。
<Other embodiments>
In the above embodiment, the above-described effect is achieved by the CPU 101 described above reading out and executing a program capable of realizing each processing described in FIG. 6 from some storage medium. In addition to a readable / writable semiconductor memory and a hard disk, any storage device such as an optical disk, a magnetic disk, or a magneto-optical disk can be employed, and such a storage medium and a program itself are also included in the scope of the present invention. Therefore, data transmitted through a telecommunication line by using the Internet or the like can be included in the scope of the present invention. Moreover, the vehicle image display apparatus according to the present invention may be a part of the in-vehicle system as shown in the above embodiment, or may be a single dedicated unit.

本実施形態に係る車載システムを搭載した車両の全体構成を示す図である。1 is a diagram showing an overall configuration of a vehicle equipped with an in-vehicle system according to the present embodiment. 本実施形態に係る車載システムによって表示された画像の1例を示す図である。It is a figure which shows an example of the image displayed by the vehicle-mounted system which concerns on this embodiment. 本実施形態に係る車載システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the vehicle-mounted system which concerns on this embodiment. 本実施形態に係る車載システムのハードウエア構成例を示す図である。It is a figure which shows the hardware structural example of the vehicle-mounted system which concerns on this embodiment. 本実施形態に係る車載システムの全体の動作について説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement of the whole vehicle-mounted system which concerns on this embodiment. 本実施形態に係る車載システムのカーブ死角情報提供の動作例について詳細に説明するためのフローチャートである。It is a flowchart for demonstrating in detail the operation example of curve blind spot information provision of the vehicle-mounted system which concerns on this embodiment. 本実施形態に係る車載システムの仮想道路の表示制御の一例について詳細に説明するフローチャートである。It is a flowchart explaining in detail an example of display control of the virtual road of the vehicle-mounted system which concerns on this embodiment. 本実施形態に係る車載システムの仮想道路の表示制御の他例について詳細に説明するフローチャートである。It is a flowchart explaining in detail about the other example of the display control of the virtual road of the vehicle-mounted system which concerns on this embodiment.

Claims (7)

車両の運転者の視点位置と、実風景との間に、画像を表示する車両用画像表示装置であって、
地図データと車両の現在位置データとを用いて、前記車両が走行している道路における、前方のカーブの死角を検出する死角検出手段と、
前記視点位置と前記地図データと前記現在位置データとを用いて、検出した死角に存在する道路を表わす仮想道路画像を生成し、前記運転者の視点位置から見て、前記実風景上の道路と連続する位置に、前記仮想道路画像を表示する表示制御手段と、
を備え、
前記表示制御手段は、特殊表示制御として、前記仮想道路画像における、実風景の道路近傍を、ぼかして表示することを特徴とする車両用画像表示装置。
An image display device for a vehicle that displays an image between a viewpoint position of a driver of a vehicle and a real landscape ,
Using the map data and the current position data of the vehicle, a blind spot detecting means for detecting a blind spot of a forward curve on the road on which the vehicle is traveling,
Using the viewpoint position, the map data, and the current position data, a virtual road image representing a road existing at the detected blind spot is generated, and when viewed from the driver's viewpoint position, Display control means for displaying the virtual road image at successive positions;
With
The image display device for vehicles , wherein the display control means blurs and displays the vicinity of the road in the virtual landscape in the virtual road image as special display control .
車両の運転者の視点位置と、実風景との間に、画像を表示する車両用画像表示装置であって、
地図データと車両の現在位置データとを用いて、前記車両が走行している道路における、前方のカーブの死角を検出する死角検出手段と、
前記視点位置と前記地図データと前記現在位置データとを用いて、検出した死角に存在する道路を表わす仮想道路画像を生成し、前記運転者の視点位置から見て、前記実風景上の道路と連続する位置に、前記仮想道路画像を表示する表示制御手段と、
を備え、
前記表示制御手段は、特殊表示制御として、前記仮想道路画像における、実風景の道路近傍を薄く表示することを特徴とする車両用画像表示装置。
An image display device for a vehicle that displays an image between a viewpoint position of a driver of a vehicle and a real landscape ,
Using the map data and the current position data of the vehicle, a blind spot detecting means for detecting a blind spot of a forward curve on the road on which the vehicle is traveling,
Using the viewpoint position, the map data, and the current position data, a virtual road image representing a road existing at the detected blind spot is generated, and the road on the actual landscape is viewed from the viewpoint position of the driver. Display control means for displaying the virtual road image at successive positions;
With
The image display device for a vehicle , wherein the display control means displays, as special display control, a portion of the virtual road image in the vicinity of a road in a real landscape .
車両の運転者の視点位置と、実風景との間に、画像を表示する車両用画像表示装置であって、
地図データと車両の現在位置データとを用いて、前記車両が走行している道路における、前方のカーブの死角を検出する死角検出手段と、
前記視点位置と前記地図データと前記現在位置データとを用いて、検出した死角に存在する道路を表わす仮想道路画像を生成し、前記運転者の視点位置から見て、前記実風景上の道路と連続する位置に、前記仮想道路画像を表示する表示制御手段と、
を備え、
前記表示制御手段は、特殊表示制御として、前記仮想道路画像における、実風景の道路近傍を表示しないことを特徴とする車両用画像表示装置。
An image display device for a vehicle that displays an image between a viewpoint position of a driver of a vehicle and a real landscape ,
Using the map data and the current position data of the vehicle, a blind spot detecting means for detecting a blind spot of a forward curve on the road on which the vehicle is traveling,
Using the viewpoint position, the map data, and the current position data, a virtual road image representing a road existing at the detected blind spot is generated, and the road on the actual landscape is viewed from the viewpoint position of the driver. Display control means for displaying the virtual road image at successive positions;
With
The image display device for a vehicle , wherein the display control means does not display the vicinity of a road in an actual landscape in the virtual road image as special display control .
前記表示制御手段は、前記車両の周囲の明るさを検知する手段を有し、前記車両の周囲の明るさが所定以下の場合に前記特殊表示制御を行なわないことを特徴とする請求項1乃至3のいずれか1項に記載の車両用画像表示装置。 It said display control means comprises means for detecting the brightness around the vehicle, according to claim brightness around the vehicle is in a predetermined case below, characterized in that does not perform the special display control The image display device for a vehicle according to any one of 1 to 3 . 前記車両の走行速度を検出する速度検出手段を更に有し、
前記表示制御手段は、前記走行速度に応じて前記特殊表示制御での表示のぼけ具合を調整することを特徴とする請求項記載の車両用画像表示装置。
Further comprising speed detection means for detecting the traveling speed of the vehicle;
Wherein the display control unit, characterized in that said adjusting the blurriness of display in the special display control claim 1 vehicular image display apparatus according according to the running speed.
前記車両の走行速度を検出する速度検出手段を更に有し、
前記表示制御手段は、前記走行速度に応じて前記特殊表示制御での表示の薄さを調整することを特徴とする請求項記載の車両用画像表示装置。
Further comprising speed detection means for detecting the traveling speed of the vehicle;
The image display device for a vehicle according to claim 2 , wherein the display control means adjusts the thinness of the display in the special display control according to the traveling speed.
前記車両の走行速度を検出する速度検出手段を更に有し、
前記表示制御手段は、前記走行速度が所定以下の場合に前記特殊表示制御を行なわないことを特徴とする請求項1乃至3のいずれか1項に記載の車両用画像表示装置。
Further comprising speed detection means for detecting the traveling speed of the vehicle;
Wherein the display control unit, the vehicle image display apparatus according to any one of claims 1 to 3 wherein the traveling speed is equal to or not to perform the special display control when a predetermined or less.
JP2004020138A 2004-01-28 2004-01-28 Image display device for vehicle Expired - Fee Related JP3932127B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004020138A JP3932127B2 (en) 2004-01-28 2004-01-28 Image display device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004020138A JP3932127B2 (en) 2004-01-28 2004-01-28 Image display device for vehicle

Publications (2)

Publication Number Publication Date
JP2005215879A JP2005215879A (en) 2005-08-11
JP3932127B2 true JP3932127B2 (en) 2007-06-20

Family

ID=34904145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004020138A Expired - Fee Related JP3932127B2 (en) 2004-01-28 2004-01-28 Image display device for vehicle

Country Status (1)

Country Link
JP (1) JP3932127B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427197A (en) * 2017-02-13 2018-08-21 大众汽车有限公司 Method and apparatus for the display for controlling augmented reality Head-up display device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4868055B2 (en) 2009-11-04 2012-02-01 株式会社デンソー Display device
JP2013186723A (en) * 2012-03-08 2013-09-19 Nissan Motor Co Ltd Travel control apparatus and travel control method
JP2013186724A (en) * 2012-03-08 2013-09-19 Nissan Motor Co Ltd Travel control apparatus and travel control method
EP3190022B1 (en) * 2016-01-11 2018-08-29 Delphi Technologies, Inc. Lane extension for vision steered automated vehicle
EP3496033A4 (en) * 2016-10-07 2019-10-23 Aisin Aw Co., Ltd. Travel assistance device and computer program
JPWO2018230563A1 (en) * 2017-06-16 2020-02-27 本田技研工業株式会社 Vehicle image providing system, server system, and vehicle image providing method
JP6758516B2 (en) * 2017-09-08 2020-09-23 三菱電機株式会社 Driving support device and driving support method
CN113619599B (en) * 2021-03-31 2023-03-24 中汽创智科技有限公司 Remote driving method, system, device and storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816986A (en) * 1994-07-01 1996-01-19 Nissan Motor Co Ltd Navigation system for vehicle
JP3473321B2 (en) * 1997-05-09 2003-12-02 トヨタ自動車株式会社 Display device for vehicles
JPH1165431A (en) * 1997-08-25 1999-03-05 Nippon Telegr & Teleph Corp <Ntt> Device and system for car navigation with scenery label
JPH11115546A (en) * 1997-10-17 1999-04-27 Harness Syst Tech Res Ltd Display device for vehicle
JP2000050115A (en) * 1998-07-29 2000-02-18 Konica Corp Photographing method and photographing device
JP3970486B2 (en) * 1999-09-22 2007-09-05 富士重工業株式会社 Vehicle travel control device
JP2001101566A (en) * 1999-09-30 2001-04-13 Toshiba Corp Traffic safety confirming system
JP3300337B2 (en) * 2000-04-28 2002-07-08 松下電器産業株式会社 Image processing device and monitoring system
JP3819284B2 (en) * 2001-11-29 2006-09-06 クラリオン株式会社 Vehicle perimeter monitoring device
JP3972722B2 (en) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ In-vehicle image processing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427197A (en) * 2017-02-13 2018-08-21 大众汽车有限公司 Method and apparatus for the display for controlling augmented reality Head-up display device
US11049320B2 (en) 2017-02-13 2021-06-29 Volkswagen Aktiengesellschaft Method, device, and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device

Also Published As

Publication number Publication date
JP2005215879A (en) 2005-08-11

Similar Documents

Publication Publication Date Title
JP4855158B2 (en) Driving assistance device
JP4935571B2 (en) Driving assistance device
KR20200016958A (en) Parking Assistance Method and Parking Assistance Device
EP1521059A1 (en) Route guidance apparatus, method and program
JP2016021653A (en) Periphery monitoring device and program
JP2010018201A (en) Driver assistant device, driver assistant method, and driver assistant processing program
US20210333885A1 (en) Method and device for controlling display content on an output means of a vehicle
JP2005301144A (en) Virtual image display device and program
JP2008279875A (en) Parking support device
JP2019011028A (en) Vehicle control device
JP3932127B2 (en) Image display device for vehicle
JP3968720B2 (en) Image display device for vehicle
JP6873350B2 (en) Display control device and display control method
JP6130118B2 (en) Image processing system, image processing apparatus, image processing method, and program
KR20130039000A (en) System and method for controling side mirrors to reduce blind spot of a driving car
JP7058800B2 (en) Display control device, display control method, and display control program
JP2019020312A (en) Display controller and method for display control
JP2005038225A (en) Lane follow-up device
JP2009279949A (en) On-vehicle mirror control device, on-vehicle mirror system
JP2005207781A (en) Image display apparatus, method, and program for vehicle
JP4857159B2 (en) Vehicle driving support device
JP3864418B2 (en) Image display device for vehicle
JP7202195B2 (en) DISPLAY SYSTEM, RUNNING CONTROL DEVICE, DISPLAY CONTROL METHOD AND PROGRAM
CN111788088A (en) Display control device and display control method for vehicle
JP2016149628A (en) Imaging apparatus, control method, program, and storage medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070308

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100323

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110323

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120323

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees