JP6968676B2 - Display device for vehicles - Google Patents

Display device for vehicles Download PDF

Info

Publication number
JP6968676B2
JP6968676B2 JP2017233999A JP2017233999A JP6968676B2 JP 6968676 B2 JP6968676 B2 JP 6968676B2 JP 2017233999 A JP2017233999 A JP 2017233999A JP 2017233999 A JP2017233999 A JP 2017233999A JP 6968676 B2 JP6968676 B2 JP 6968676B2
Authority
JP
Japan
Prior art keywords
vehicle
image
display
distortion correction
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017233999A
Other languages
Japanese (ja)
Other versions
JP2019099030A (en
Inventor
一賀 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2017233999A priority Critical patent/JP6968676B2/en
Priority to CN201811475253.9A priority patent/CN110001400B/en
Priority to US16/208,898 priority patent/US10732412B2/en
Priority to DE102018221066.7A priority patent/DE102018221066B4/en
Publication of JP2019099030A publication Critical patent/JP2019099030A/en
Application granted granted Critical
Publication of JP6968676B2 publication Critical patent/JP6968676B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/27—Optical features of instruments using semi-transparent optical elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Description

本発明は、車両用表示装置に関する。 The present invention relates to a vehicle display device.

近年、自動車等の車両には、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）等の車両用表示装置を搭載するものがある。車両用表示装置には、表示器に表示される表示画像を反射ミラー等の光学系を介してウインドシールドに投影することで、運転者に虚像として視認させるものがある。このような車両用表示装置では、ウインドシールドや光学系により虚像に歪みが生じて視認性が低下するおそれがある。例えば、特許文献１では、平面的な歪補正マップを用い、虚像の歪みを相殺するように予め表示画像を歪ませて補正する技術が開示されている。 In recent years, some vehicles such as automobiles are equipped with a vehicle display device such as a head-up display (HUD). Some vehicle display devices make the driver visually recognize the display image displayed on the display as a virtual image by projecting it onto the windshield via an optical system such as a reflection mirror. In such a vehicle display device, the virtual image may be distorted due to the windshield or the optical system, and the visibility may be deteriorated. For example, Patent Document 1 discloses a technique of using a planar distortion correction map to distort and correct a displayed image in advance so as to cancel the distortion of a virtual image.

特開平１０−１４９０８５号公報Japanese Unexamined Patent Publication No. 10-149085

しかしながら、従来の車両用表示装置では、運転者の視点位置の変化に対応するために、視点位置ごとに歪ませ方が異なる歪補正マップを複数持たせる必要があるが、メモリ容量が有限であることから、無数の視点位置に対して精度よく補正することが困難である。 However, in the conventional vehicle display device, in order to respond to a change in the viewpoint position of the driver, it is necessary to have a plurality of distortion correction maps having different distortion methods for each viewpoint position, but the memory capacity is finite. Therefore, it is difficult to accurately correct innumerable viewpoint positions.

本発明は、表示画像を運転者の視点位置の変化に追従して精度よく調整することができる車両用表示装置を提供することを目的とする。 An object of the present invention is to provide a vehicle display device capable of accurately adjusting a display image according to a change in a driver's viewpoint position.

上記目的を達成するため、本発明に係る車両用表示装置は、表示器に表示される表示画像を光学系で反射して車両のウインドシールドに投影し、前記ウインドシールドに投影された前記表示画像に対応する虚像を、前記車両の運転者の視点位置から視認させる車両用表示装置であって、前記運転者の実視点位置を検出する検出部と、原表示画像に基づいて前記表示画像を作成する制御部と、を備え、前記制御部は、仮想空間内に形成された歪補正用３Ｄオブジェクトを前記運転者の基準視点位置から見た際の画像を前記表示画像として前記表示器に表示させるものであり、前記原表示画像を取得する取得手段と、前記仮想空間内において、前記原表示画像を前記歪補正用３Ｄオブジェクトに貼り付けてテクスチャマッピングを行うテクスチャマッピング手段と、前記仮想空間内において、前記基準視点位置と前記実視点位置の位置変化に合わせて、前記歪補正用３Ｄオブジェクトを調整する調整手段と、を有し、前記歪補正用３Ｄオブジェクトは、前記ウインドシールド及び前記光学系の少なくとも一方に起因し前記表示画像に対して前記虚像に生じる歪みを相殺するように逆に歪ませた曲面モデルであり、前記調整手段は、前記位置変化に合わせて、前記歪補正用３Ｄオブジェクトの位置を基準位置から変化させる、ことを特徴とする。 In order to achieve the above object, the vehicle display device according to the present invention reflects the display image displayed on the display by an optical system and projects it on the windshield of the vehicle, and the display image projected on the windshield. A vehicle display device for visually recognizing a virtual image corresponding to the above from the viewpoint position of the driver of the vehicle, the detection unit for detecting the actual viewpoint position of the driver, and the display image created based on the original display image. The control unit includes, and the control unit causes the display to display an image of the distortion correction 3D object formed in the virtual space as the display image when viewed from the reference viewpoint position of the driver. In the virtual space, there are an acquisition means for acquiring the original display image, a texture mapping means for pasting the original display image on the distortion correction 3D object and performing texture mapping in the virtual space. The distortion-correcting 3D object has an adjusting means for adjusting the distortion-correcting 3D object according to a change in the position of the reference viewpoint position and the actual viewpoint position, and the distortion-correcting 3D object is of the windshield and the optical system. It is a curved surface model in which the display image is conversely distorted so as to cancel the distortion caused by at least one of the displayed images, and the adjusting means is the distortion correction 3D object according to the position change. It is characterized in that the position is changed from the reference position.

上記車両用表示装置において、前記調整手段は、前記歪補正用３Ｄオブジェクトの位置を前記基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる、ことが好ましい。 In the vehicle display device, the adjusting means moves the position of the distortion correction 3D object vertically or horizontally with respect to the reference position, or tilts the position vertically or horizontally. Is preferable.

上記車両用表示装置において、前記制御部は、前記車両の車種ごとに形成された前記歪補正用３Ｄオブジェクトを複数備え、前記車種に対応する前記歪補正用３Ｄオブジェクトを読み出す、ことが好ましい。 In the vehicle display device, it is preferable that the control unit includes a plurality of the distortion-correcting 3D objects formed for each vehicle type of the vehicle, and reads out the distortion-correcting 3D object corresponding to the vehicle type.

本発明に係る車両用表示装置によれば、表示画像を運転者の視点位置の変化に追従して精度よく調整することができる、という効果を奏する。 According to the vehicle display device according to the present invention, there is an effect that the displayed image can be adjusted accurately according to the change in the viewpoint position of the driver.

図１は、実施形態に係る車両用表示装置を搭載した車両の概略構成を示す模式図である。FIG. 1 is a schematic diagram showing a schematic configuration of a vehicle equipped with a vehicle display device according to an embodiment. 図２は、実施形態に係る車両用表示装置の概略構成を示す模式図である。FIG. 2 is a schematic diagram showing a schematic configuration of a vehicle display device according to an embodiment. 図３は、実施形態に係る車両用表示装置における制御部の概略構成を示すブロック図である。FIG. 3 is a block diagram showing a schematic configuration of a control unit in the vehicle display device according to the embodiment. 図４は、実施形態に係る車両用表示装置における画像表示処理の一例を表すフローチャート図である。FIG. 4 is a flowchart showing an example of image display processing in the vehicle display device according to the embodiment. 図５は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの概略構成を表す図である。FIG. 5 is a diagram showing a schematic configuration of a distortion correction 3D object in the vehicle display device according to the embodiment. 図６は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの調整処理の一例を表すフローチャート図である。FIG. 6 is a flowchart showing an example of the adjustment processing of the distortion correction 3D object in the vehicle display device according to the embodiment. 図７は、実施形態に係る車両用表示装置における表示画像の補正動作の一例を示す模式図である。FIG. 7 is a schematic diagram showing an example of a display image correction operation in the vehicle display device according to the embodiment. 図８は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの作成方法を説明するための説明図である。FIG. 8 is an explanatory diagram for explaining a method of creating a distortion correction 3D object in the vehicle display device according to the embodiment. 図９は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの作成方法を説明するための他の説明図である。FIG. 9 is another explanatory diagram for explaining a method of creating a distortion correction 3D object in the vehicle display device according to the embodiment.

以下に、本発明の実施形態に係る車両用表示装置を図面を参照しながら詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。また、下記の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。 Hereinafter, the vehicle display device according to the embodiment of the present invention will be described in detail with reference to the drawings. The present invention is not limited to the embodiments shown below. In addition, the components in the following embodiments include those that can be easily replaced by those skilled in the art, or those that are substantially the same. In addition, the components in the following embodiments may be omitted, replaced, or modified in various ways without departing from the gist of the invention.

［実施形態］
図１及び図２に示す本実施形態に係る車両用表示装置１は、例えば、自動車等の車両１００に搭載されるＨＵＤである。車両用表示装置１は、表示画像Ｐを光学系で反射して車両１００のウインドシールド１０４に投影し、ウインドシールド１０４に投影された表示画像Ｐに対応する虚像Ｓを、車両１００の運転者Ｄの視点位置（アイポイントＥＰ）から視認させるものである。本実施形態の車両用表示装置１は、車両前方の実風景に虚像Ｓを重畳して表示する。ウインドシールド１０４は、半透過性を有し、車両用表示装置１から入射する表示光Ｌを運転者ＤのアイポイントＥＰに向けて反射する。アイポイントＥＰは、車両１００に応じて予め定まる運転者Ｄの目が位置するアイレンジＥＲに含まれる。アイレンジＥＲは、典型的には、車両１００において運転者Ｄの目の位置の統計的な分布から定められた領域であり、例えば、運転者Ｄが運転席１０６に着座した状態で所定割合（例えば、９５％）の運転者Ｄの目の位置が含まれる領域に相当する。運転者Ｄは、少なくともアイポイントＥＰがアイレンジＥＲ内にある場合、ウインドシールド１０４に投影される表示画像Ｐを車両１００の前方に存在する虚像Ｓとして視認することができる。表示画像Ｐは、車両用表示装置１を構成する表示器１８に表示され、光学系で反射してウインドシールド１０４に投影される。表示画像Ｐは、例えば、運転者Ｄに報知する経路案内情報であり、車両１００の進行方向、交差点までの距離、交通情報、車両情報等が含まれる。本実施形態における車両用表示装置１は、車両前方カメラ２と、運転者カメラ３と、装置本体４とを含んで構成される。 [Embodiment]
The vehicle display device 1 according to the present embodiment shown in FIGS. 1 and 2 is, for example, a HUD mounted on a vehicle 100 such as an automobile. The vehicle display device 1 reflects the display image P by an optical system and projects it onto the windshield 104 of the vehicle 100, and displays a virtual image S corresponding to the display image P projected on the windshield 104 by the driver D of the vehicle 100. It is visually recognized from the viewpoint position (eye point EP) of. The vehicle display device 1 of the present embodiment superimposes and displays a virtual image S on a real landscape in front of the vehicle. The windshield 104 has semi-transparency and reflects the display light L incident from the vehicle display device 1 toward the eye point EP of the driver D. The eye point EP is included in the eye range ER in which the driver D's eyes, which are predetermined according to the vehicle 100, are located. The eye range ER is typically a region defined by the statistical distribution of the eye positions of the driver D in the vehicle 100, for example, a predetermined ratio (for example, when the driver D is seated in the driver's seat 106). For example, it corresponds to the area including the eye position of the driver D (95%). The driver D can visually recognize the display image P projected on the windshield 104 as a virtual image S existing in front of the vehicle 100, at least when the eye point EP is in the eye range ER. The display image P is displayed on the display 18 constituting the vehicle display device 1, reflected by the optical system, and projected onto the windshield 104. The display image P is, for example, route guidance information to be notified to the driver D, and includes a traveling direction of the vehicle 100, a distance to an intersection, traffic information, vehicle information, and the like. The vehicle display device 1 in the present embodiment includes a vehicle front camera 2, a driver camera 3, and a device main body 4.

車両前方カメラ２は、単眼式または複眼式のカメラであり、車両１００の車室内に配置され、ウインドシールド１０４を通して車両前方の実風景を連続して撮像するものである。車両前方カメラ２は、例えば、車室内のルーフ１０３やバックミラー（不図示）に配置される。車両前方カメラ２は、通信線１５を介して装置本体４に接続され、撮像した前方画像を装置本体４に逐次出力する。前方画像には、動画像も含まれる。 The vehicle front camera 2 is a monocular or compound eye type camera, which is arranged in the vehicle interior of the vehicle 100 and continuously images the actual scenery in front of the vehicle through the windshield 104. The vehicle front camera 2 is arranged, for example, on the roof 103 or the rear-view mirror (not shown) in the vehicle interior. The vehicle front camera 2 is connected to the device main body 4 via the communication line 15, and sequentially outputs the captured front image to the device main body 4. The forward image also includes a moving image.

運転者カメラ３は、車両１００の車室内に配置され、運転者Ｄの両眼を含む顔を連続して撮像するものである。運転者カメラ３は、例えば、車室内のステアリングコラム１０５の上部で、かつ運転者Ｄから見てステアリングホイール１０１の背後に配置される。本実施形態の運転者カメラ３は、後述する画像解析部１２と共に、運転者Ｄの実視点位置（実アイポイントＥＰｒ）を検出する検出部を構成する。運転者カメラ３は、通信線１６を介して装置本体４に接続され、撮像した画像を運転者画像として、通信線１６を介して装置本体４に逐次出力する。運転者画像には、動画像も含まれる。 The driver camera 3 is arranged in the vehicle interior of the vehicle 100 and continuously captures the face including both eyes of the driver D. The driver camera 3 is arranged, for example, at the upper part of the steering column 105 in the vehicle interior and behind the steering wheel 101 when viewed from the driver D. The driver camera 3 of the present embodiment, together with the image analysis unit 12 described later, constitutes a detection unit that detects the actual viewpoint position (actual eye point EPr) of the driver D. The driver camera 3 is connected to the device main body 4 via the communication line 16, and the captured image is sequentially output to the device main body 4 via the communication line 16 as a driver image. The driver image also includes a moving image.

装置本体４は、表示画像Ｐをウインドシールド１０４に投影するものである。装置本体４は、例えば、車両１００のインストルメントパネル１０２の内側に配置されている。装置本体４は、車両１００に搭載されたナビゲーション装置５に接続される。本実施形態の装置本体４は、図２に示すように、画像表示部１１と、画像解析部１２と、制御部１３とを含んで構成される。 The apparatus main body 4 projects the display image P onto the windshield 104. The device main body 4 is arranged, for example, inside the instrument panel 102 of the vehicle 100. The device main body 4 is connected to the navigation device 5 mounted on the vehicle 100. As shown in FIG. 2, the apparatus main body 4 of the present embodiment includes an image display unit 11, an image analysis unit 12, and a control unit 13.

画像表示部１１は、表示器１８に表示される表示画像Ｐを光学系で反射して車両のウインドシールドに投影する部分である。表示器１８は、例えば、ＴＦＴ−ＬＣＤ（Thin Film Transistor−Liquid Crystal Display）等で構成される。表示器１８は、表示画像Ｐに対応する表示光Ｌを出射する。光学系は、平面ミラーや凹面ミラー等で構成される。光学系は、表示器１８から出射された表示光Ｌをウインドシールド１０４に向けて反射する。光学系により反射された表示光Ｌは、ウインドシールド１０４から運転者Ｄに向けて反射し、運転者ＤのアイポイントＥＰから見た車両前方に表示される虚像Ｓとして表示される。 The image display unit 11 is a portion that reflects the display image P displayed on the display 18 by an optical system and projects it onto the windshield of the vehicle. The display 18 is composed of, for example, a TFT-LCD (Thin Film Transistor-Liquid Crystal Display) or the like. The display 18 emits the display light L corresponding to the display image P. The optical system is composed of a flat mirror, a concave mirror, and the like. The optical system reflects the display light L emitted from the display 18 toward the windshield 104. The display light L reflected by the optical system is reflected from the windshield 104 toward the driver D, and is displayed as a virtual image S displayed in front of the vehicle as seen from the eye point EP of the driver D.

画像解析部１２は、上述した検出部であり、運転者カメラ３から入力される運転者画像に基づいて、運転者Ｄの実アイポイントＥＰｒを検出するものである。画像解析部１２は、通信線１６を介して運転者カメラ３から運転者画像を入力する。画像解析部１２は、入力された運転者画像から運転者Ｄの実アイポイントＥＰｒを座標位置として検出する。画像解析部１２は、例えば、運転者画像における顔部の眼球の虹彩や眉間の位置に基づいて運転者Ｄの実アイポイントＥＰｒを検出する。画像解析部１２は、検出した運転者Ｄの実アイポイントＥＰｒを示すアイポイント情報を制御部１３に出力する。アイポイント情報は、例えば３次元の直交座標である。 The image analysis unit 12 is the above-mentioned detection unit, and detects the actual eye point EPr of the driver D based on the driver image input from the driver camera 3. The image analysis unit 12 inputs a driver image from the driver camera 3 via the communication line 16. The image analysis unit 12 detects the actual eye point EPr of the driver D as the coordinate position from the input driver image. The image analysis unit 12 detects the actual eye point EPr of the driver D, for example, based on the position of the iris of the eyeball of the face and the position between the eyebrows in the driver image. The image analysis unit 12 outputs the eye point information indicating the detected actual eye point EPr of the driver D to the control unit 13. The eye point information is, for example, three-dimensional Cartesian coordinates.

また、画像解析部１２は、車両前方カメラ２から入力される前方画像に基づいて、車両１００の前方に存在する重畳対象を検出するものである。重畳対象は、実風景において虚像Ｓを重畳表示する対象物であり、例えば前方を走行または停止している車両、歩行者、白線、道路標示等が含まれる。画像解析部１２は、通信線１５を介して車両前方カメラ２から前方画像を入力する。画像解析部１２は、入力された前方画像から重畳対象を検出する。画像解析部１２は、検出した重畳対象の位置情報を示す重畳対象情報を制御部１３に出力する。 Further, the image analysis unit 12 detects the superimposed object existing in front of the vehicle 100 based on the front image input from the vehicle front camera 2. The superimposing object is an object for superimposing and displaying the virtual image S in a real landscape, and includes, for example, a vehicle traveling or stopped in front, a pedestrian, a white line, a road marking, and the like. The image analysis unit 12 inputs a front image from the vehicle front camera 2 via the communication line 15. The image analysis unit 12 detects the superimposed object from the input front image. The image analysis unit 12 outputs the superimposed object information indicating the detected position information of the superimposed object to the control unit 13.

制御部１３は、例えば、グラフィックディスプレイコントローラ（Graphics Display Controller：ＧＤＣ）であり、ＳｏＣ（System-on-a-Chip）で構成される。制御部１３は、ＧＤＣが有する機能を用いて、例えば、後述する図４、図６のフローチャートに示す処理を行う。本実施形態の制御部１３は、原表示画像Ｐｏに基づいて表示画像Ｐを作成する。原表示画像Ｐｏは、表示器１８に表示される表示画像Ｐの元となる画像である。制御部１３は、ナビゲーション装置５に接続されており、重畳対象情報に基づいてナビゲーション装置５から原表示画像Ｐｏを取得する。本実施形態の制御部１３は、仮想空間ＶＳ内に形成された歪補正用３Ｄオブジェクト２０を運転者Ｄの基準視点位置（基準アイポイントＥＰｓ）から見た際の画像を表示画像Ｐとして表示器１８に表示させるものである。歪補正用３Ｄオブジェクト２０は、ウインドシールド１０４及び光学系の少なくとも一方に起因し表示画像Ｐに対して虚像Ｓに生じる歪みを相殺するように逆に歪ませた曲面モデルである。また、制御部１３は、表示画像Ｐを画像表示部１１に出力し、画像表示部１１により実風景に重畳して表示させる。制御部１３は、取得した実アイポイントＥＰｒの位置に応じて、表示画像Ｐの位置を微調整する。制御部１３は、表示画像・情報取得部２１と、調整部２２と、テクスチャマッピング・描画部２３とを備える。 The control unit 13 is, for example, a graphics display controller (GDC), and is composed of a SoC (System-on-a-Chip). The control unit 13 uses the functions of the GDC to perform, for example, the processes shown in the flowcharts of FIGS. 4 and 6 described later. The control unit 13 of the present embodiment creates a display image P based on the original display image Po. The original display image Po is an image that is the source of the display image P displayed on the display unit 18. The control unit 13 is connected to the navigation device 5 and acquires the original display image Po from the navigation device 5 based on the superimposed target information. The control unit 13 of the present embodiment displays an image of the distortion correction 3D object 20 formed in the virtual space VS as a display image P when viewed from the reference viewpoint position (reference eye point EPs) of the driver D. It is to be displayed on 18. The distortion correction 3D object 20 is a curved surface model in which the display image P is conversely distorted so as to cancel the distortion generated in the virtual image S due to at least one of the windshield 104 and the optical system. Further, the control unit 13 outputs the display image P to the image display unit 11 and causes the image display unit 11 to superimpose the display image P on the actual landscape and display the image P. The control unit 13 finely adjusts the position of the display image P according to the position of the acquired actual eye point EPr. The control unit 13 includes a display image / information acquisition unit 21, an adjustment unit 22, and a texture mapping / drawing unit 23.

表示画像・情報取得部２１は、取得手段であり、原表示画像Ｐｏの取得や画像を分析して情報を取得するものである。表示画像・情報取得部２１は、例えばナビゲーション装置５から原表示画像Ｐｏを取得する。ここで原表示画像Ｐｏは、例えばカーナビゲーション機能における経路を示す文字、図形、記号等であり、いわゆるターンバイターン等が含まれる。表示画像・情報取得部２１は、取得した原表示画像Ｐｏをテクスチャマッピング・描画部２３に送る。また、表示画像・情報取得部２１は、ナビゲーション装置５から、上記経路を示す文字、図形、記号等（ターンバイターン等を含む）に対応する情報を取得し、当該情報に基づく画像を作成して、テクスチャマッピング・描画部２３に送る。また、表示画像・情報取得部２１は、車両前方カメラ２から入力された画像に基づいて、前方車両や人等を認識して位置を算出したり、道路形状を認識して、これらに基づく情報を作成する構成であってもよい。 The display image / information acquisition unit 21 is an acquisition means, and acquires information by acquiring the original display image Po or analyzing the image. The display image / information acquisition unit 21 acquires the original display image Po from, for example, the navigation device 5. Here, the original display image Po is, for example, characters, figures, symbols, etc. indicating a route in the car navigation function, and includes so-called turn-by-turn and the like. The display image / information acquisition unit 21 sends the acquired original display image Po to the texture mapping / drawing unit 23. Further, the display image / information acquisition unit 21 acquires information corresponding to characters, figures, symbols, etc. (including turn-by-turn, etc.) indicating the above route from the navigation device 5, and creates an image based on the information. And send it to the texture mapping / drawing unit 23. Further, the display image / information acquisition unit 21 recognizes a vehicle in front, a person, or the like to calculate a position based on an image input from the vehicle front camera 2, or recognizes a road shape, and information based on these. May be configured to create.

調整部２２は、調整手段であり、仮想空間ＶＳ内において、基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて、歪補正用３Ｄオブジェクト２０を調整するための計算をするものである。調整部２２は、運転者Ｄの基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて、歪補正用３Ｄオブジェクト２０の位置を基準位置から変化させる。基準アイポイントＥＰｓと実アイポイントＥＰＳとの位置変化は、例えば、平面上の直交座標系における基準アイポイントＥＰｓの座標と実アイポイントＥＰｒの座標との違いである。調整部２２は、歪補正用３Ｄオブジェクト２０の位置を基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる。上下方向は、例えば車両高さ方向であり、左右方向は車幅方向である。なお、傾斜には、上下方向または左右方向の回転が含まれる。 The adjusting unit 22 is an adjusting means, and performs a calculation for adjusting the distortion correction 3D object 20 according to the position change of the reference eye point EPs and the actual eye point EPr in the virtual space VS. The adjusting unit 22 changes the position of the distortion correction 3D object 20 from the reference position according to the position change of the reference eye point EPs and the actual eye point EPr of the driver D. The position change between the reference eye point EPs and the actual eye point EPS is, for example, the difference between the coordinates of the reference eye point EPs and the coordinates of the actual eye point EPr in the orthogonal coordinate system on the plane. The adjusting unit 22 moves the position of the distortion correction 3D object 20 in the vertical direction or the horizontal direction with respect to the reference position, or tilts the position in the vertical direction or the horizontal direction. The vertical direction is, for example, the vehicle height direction, and the left-right direction is the vehicle width direction. The inclination includes rotation in the vertical direction or the horizontal direction.

テクスチャマッピング・描画部２３は、テクスチャマッピング手段である。テクスチャマッピング・描画部２３は、テクスチャマッピングして描画出力を作成する部分であり、
仮想空間ＶＳ内において、原表示画像Ｐｏを歪補正用３Ｄオブジェクト２０に貼り付けてテクスチャマッピングを行うものである。テクスチャマッピング・描画部２３は、原表示画像Ｐｏを引き伸ばし、歪補正用３Ｄオブジェクト２０の表面２０ａに貼り付けてテクスチャマッピングを行う。表面２０ａは、歪補正用３Ｄオブジェクト２０を基準アイポイントＥＰｓから見た曲面である。テクスチャマッピング・描画部２３は、仮想空間ＶＳ内において、テクスチャマッピングされた歪補正用３Ｄオブジェクト２０を基準アイポイントＥＰｓから見た際の画像を表示画像Ｐとして画像表示部１１に出力する。 The texture mapping / drawing unit 23 is a texture mapping means. The texture mapping / drawing unit 23 is a part that creates a drawing output by texture mapping.
In the virtual space VS, the original display image Po is pasted on the distortion correction 3D object 20 to perform texture mapping. The texture mapping / drawing unit 23 stretches the original display image Po and attaches it to the surface 20a of the distortion correction 3D object 20 to perform texture mapping. The surface 20a is a curved surface of the distortion correction 3D object 20 as seen from the reference eye points EPs. The texture mapping / drawing unit 23 outputs an image of the texture-mapped distortion correction 3D object 20 viewed from the reference eye point EPs to the image display unit 11 as a display image P in the virtual space VS.

ナビゲーション装置５は、いわゆるカーナビゲーションであり、例えば運転者Ｄに対して自車両の位置や周辺の詳細な地図情報を提供したり、目的地への経路案内を行う装置である。ナビゲーション装置５は、ＧＰＳ（Global Positioning System）衛星からの情報等に基づいて自車両の位置を取得する。また、ナビゲーション装置５は、地図情報や経路案内情報等を、内部のメモリから読み出したり、通信によって外部から取得する。ナビゲーション装置５は、通信線１７により制御部１３に接続され、取得した自車両の位置情報や各種情報を通信線１７を介して制御部１３に出力する。 The navigation device 5 is a so-called car navigation system, and is, for example, a device that provides the driver D with detailed map information of the position of the own vehicle and its surroundings, and provides route guidance to a destination. The navigation device 5 acquires the position of its own vehicle based on information from a GPS (Global Positioning System) satellite or the like. Further, the navigation device 5 reads map information, route guidance information, and the like from an internal memory, or acquires them from the outside by communication. The navigation device 5 is connected to the control unit 13 by the communication line 17, and outputs the acquired position information and various information of the own vehicle to the control unit 13 via the communication line 17.

次に、実施形態に係る車両用表示装置１における歪補正用３Ｄオブジェクト２０の作成方法について説明する。本実施形態の歪補正用３Ｄオブジェクト２０は、予め車両１００の設計段階において作成される。 Next, a method of creating the distortion correction 3D object 20 in the vehicle display device 1 according to the embodiment will be described. The distortion correction 3D object 20 of the present embodiment is created in advance at the design stage of the vehicle 100.

まず、ウインドシールド１０４や光学系の設計情報、装置本体４や運転者、カメラ等の実車配置情報等に基づいて、光学シミュレーションを行い、平面上の補正マップＭを作成する。例えば、図８、図９に示すように、基準アイポイントＥＰｓに対して、基準となる格子状の表示画像Ｐを表示器１８に表示し、表示画像Ｐに対して虚像Ｓがどのくらい歪んでいるかを測定する。具体的には、表示画像Ｐの各格子点と虚像Ｓの各格子点とを比較し、変位した格子点の座標を測定して、各格子点のずれを歪み量とする。そして、表示画像Ｐの各格子点に対して、歪み量に基づいて逆に変位させた格子点を補正マップＭとして作成する。図９に示す表示画像Ｐｄは、表示画像Ｐを補正マップＭに貼り付けた表示画像である。虚像Ｓｎは、ウインドシールド１０４に投影され、基準アイポイントＥＰｓから運転者Ｄに視認される虚像である。 First, an optical simulation is performed based on the design information of the windshield 104 and the optical system, the device main body 4, the driver, the actual vehicle arrangement information of the camera, and the like, and the correction map M on the plane is created. For example, as shown in FIGS. 8 and 9, a grid-like display image P as a reference is displayed on the display 18 with respect to the reference eye point EPs, and how much the virtual image S is distorted with respect to the display image P. To measure. Specifically, each grid point of the display image P and each grid point of the virtual image S are compared, the coordinates of the displaced grid points are measured, and the deviation of each grid point is taken as the amount of distortion. Then, for each grid point of the display image P, a grid point displaced in the opposite direction based on the amount of strain is created as a correction map M. The display image Pd shown in FIG. 9 is a display image in which the display image P is pasted on the correction map M. The virtual image Sn is a virtual image projected on the windshield 104 and visually recognized by the driver D from the reference eye points EPs.

次に、図４に示すように、仮想空間ＶＳ内において、補正マップＭを用いて歪補正用３Ｄオブジェクト２０を作成する。例えば、設計者は、基準となる２Ｄモデルに対して、仮想的な視点として設定した運転者Ｄの基準アイポイントＥＰｓからの見え方が補正マップＭと重なる様に板ポリゴンを押し引きして３Ｄ形状に変形させて歪補正用３Ｄオブジェクト２０を作成する。歪補正用３Ｄオブジェクト２０は、例えば、アイレンジＥＲ内にある各アイポイントＥＰからの見え方が、各アイポイントＥＰに対応する補正マップＭと重なるように作成される。なお、設計者自身が運転席１０６に着座した状態で虚像Ｓを見ながら直接調整してもよい。これにより、車両１００に対応する歪補正用３Ｄオブジェクトを作成することができる。 Next, as shown in FIG. 4, a distortion correction 3D object 20 is created using the correction map M in the virtual space VS. For example, the designer pushes and pulls the plate polygon so that the appearance from the reference eye point EPs of the driver D set as a virtual viewpoint overlaps with the correction map M with respect to the reference 2D model, and 3D. A 3D object 20 for distortion correction is created by transforming it into a shape. The distortion correction 3D object 20 is created, for example, so that the appearance from each eye point EP in the eye range ER overlaps with the correction map M corresponding to each eye point EP. It should be noted that the designer himself may adjust directly while looking at the virtual image S while sitting on the driver's seat 106. This makes it possible to create a distortion correction 3D object corresponding to the vehicle 100.

次に、車両用表示装置１にて実行される画像表示処理の一例について図４を参照して説明する。本処理は、車両１００の始動（例えば、イグニッションスイッチＯＮ）と共に実行され、車両１００の停止（例えば、イグニッションスイッチＯＦＦ）と共に終了するものとするが、これに限定されるものではない。また、図示の各ステップは、図示の順に限定されるものではない。 Next, an example of the image display process executed by the vehicle display device 1 will be described with reference to FIG. This process is executed when the vehicle 100 is started (for example, the ignition switch is turned on) and is terminated when the vehicle 100 is stopped (for example, the ignition switch is turned off), but the present invention is not limited thereto. Further, each step in the figure is not limited to the order in which the figure is shown.

図４において、ステップＳ１では、画像解析部１２は、前方画像から重畳対象を検出し、重畳対象を示す重畳対象情報を制御部１３に出力する。制御部１３は、表示画像・情報取得部２１が、重畳対象情報に基づいて、ナビゲーション装置５から重畳対象に対応する原表示画像Ｐｏを取得する。 In FIG. 4, in step S1, the image analysis unit 12 detects the superimposed object from the front image and outputs the superimposed object information indicating the superimposed object to the control unit 13. In the control unit 13, the display image / information acquisition unit 21 acquires the original display image Po corresponding to the superposition target from the navigation device 5 based on the superimposition target information.

ステップＳ２では、画像解析部１２は、運転者画像から運転者Ｄの実アイポイントＥＰｒを検出し、実アイポイントＥＰｒを示すアイポイント情報を制御部１３に出力する。 In step S2, the image analysis unit 12 detects the actual eye point EPr of the driver D from the driver image, and outputs the eye point information indicating the actual eye point EPr to the control unit 13.

ステップＳ３では、制御部１３は、テクスチャマッピング・描画部２３が、仮想空間ＶＳ内において、原表示画像Ｐｏを歪補正用３Ｄオブジェクト２０にテクスチャマッピングを行う。 In step S3, in the control unit 13, the texture mapping / drawing unit 23 performs texture mapping of the original display image Po to the distortion correction 3D object 20 in the virtual space VS.

ステップＳ４では、制御部１３は、調整部２２が、入力されたアイポイント情報に示す実アイポイントＥＰｒと、予め設定されている基準アイポイントＥＰｓとの位置ずれに応じて、歪補正用３Ｄオブジェクト２０を調整する。制御部１３は、図７に示すように、基準アイポイントＥＰｓに対する実アイポイントＥＰｒの移動方向と反対方向に移動または傾斜させる。なお、実アイポイントＥＰｒと基準アイポイントＥＰｓとの位置ずれが無かった場合、本ステップをスルーしてもよい。 In step S4, the control unit 13 is a 3D object for distortion correction according to the positional deviation between the actual eye point EPr indicated by the input eye point information and the preset reference eye point EPs. Adjust 20. As shown in FIG. 7, the control unit 13 moves or tilts in the direction opposite to the moving direction of the actual eye point EPr with respect to the reference eye point EPs. If there is no positional deviation between the actual eye point EPr and the reference eye point EPs, this step may be skipped.

ステップＳ５では、制御部１３は、歪補正用３Ｄオブジェクト２０を運転者Ｄの基準アイポイントＥＰｓから見た際の画像を表示画像Ｐ（表示画像Ｐｄ）として表示器１８に表示する。制御部１３は、実アイポイントＥＰｒと重畳対象の位置から表示画像Ｐと実風景とが重なり合うように見える位置を算出し、算出した位置にウインドシールド１０４に投影される表示画像Ｐを配置する。なお、表示する表示画像が複数ある場合、全ての表示画像が実風景と重なり合うように配置される。その後、本処理を終了する。 In step S5, the control unit 13 displays an image of the distortion correction 3D object 20 as viewed from the reference eye point EPs of the driver D on the display 18 as a display image P (display image Pd). The control unit 13 calculates a position where the display image P and the actual landscape appear to overlap from the position of the actual eye point EPr and the object to be superimposed, and arranges the display image P projected on the windshield 104 at the calculated position. When there are a plurality of display images to be displayed, all the display images are arranged so as to overlap with the actual landscape. After that, this process ends.

次に、車両用表示装置１にて実行される調整処理の一例について図６、図７を参照して説明する。図６の処理は、実アイポイントＥＰｒが時間経過により変化した場合に実行される。 Next, an example of the adjustment process executed by the vehicle display device 1 will be described with reference to FIGS. 6 and 7. The process of FIG. 6 is executed when the actual eye point EPr changes with the passage of time.

ステップＳ１１では、制御部１３は、画像解析部１２により検出された前回の実アイポイントＥＰｒと今回の実アイポイントＥＰｒとを比較し、位置が変化したかを判定する。実アイポイントＥＰｒの位置が変化していない場合、ステップＳ１１を繰り返す一方、実アイポイントＥＰｒの位置が変化した場合、ステップＳ１２に進む。 In step S11, the control unit 13 compares the previous actual eye point EPr detected by the image analysis unit 12 with the current actual eye point EPr, and determines whether or not the position has changed. If the position of the actual eye point EPr has not changed, step S11 is repeated, while if the position of the actual eye point EPr has changed, the process proceeds to step S12.

ステップＳ１２では、制御部１３は、実アイポイントＥＰｒの位置の変化に応じて歪補正用３Ｄオブジェクト２０を調整して、ステップＳ１１に戻る。ステップＳ１２では、図７に示すように、前回の実アイポイントＥＰｒに対する今回の実アイポイントＥＰｒの移動方向と反対方向に移動または傾斜させる。 In step S12, the control unit 13 adjusts the distortion correction 3D object 20 according to the change in the position of the actual eye point EPr, and returns to step S11. In step S12, as shown in FIG. 7, the actual eye point EPr is moved or tilted in the direction opposite to the moving direction of the current actual eye point EPr with respect to the previous actual eye point EPr.

以上のように、本実施形態に係る車両用表示装置１は、制御部１３が、仮想空間ＶＳ内に形成された歪補正用３Ｄオブジェクト２０を運転者Ｄの基準アイポイントＥＰｓから見た際の画像を表示画像Ｐとして表示器１８に表示させる。これにより、歪補正機能を有していないＳｏＣであっても３次元モデルを利用して歪補正が可能となり、設計段階におけるＳｏＣの選択幅を広げることができる。また、１つの歪補正用の３Ｄモデルを形成すればよいので、描画容量の増加を抑制することができる。また、本実施形態に係る車両用表示装置１は、仮想空間ＶＳ内で、原表示画像Ｐｏを歪補正用３Ｄオブジェクト２０に貼り付けてテクスチャマッピングを行い、基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて歪補正用３Ｄオブジェクト２０を調整する。これにより、運転者ＤのアイポイントＥＰごとに歪み方の異なる複数の補正マップＭを持つ必要がなくなり、メモリ容量の増加を抑制することができる。また、フラグメントシェーダーを利用した描画方法とすることで、板ポリゴンの境目近辺でも滑らかな連続性のある表示が可能となる。また、本実施形態に係る車両用表示装置１は、調整部２２が、基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて、歪補正用３Ｄオブジェクト２０の位置を基準位置から変化させる。これにより、実アイポイントＥＰｒの微小な変化に素早く追従することができ、かつより細かく滑らかに歪補正を行うことが可能となる。さらに、実アイポイントＥＰｒの変化に応じて、より短時間に歪補正用３Ｄオブジェクト２０の位置を変化させることが可能となるので、リアルタイム性が向上する。 As described above, in the vehicle display device 1 according to the present embodiment, when the control unit 13 views the distortion correction 3D object 20 formed in the virtual space VS from the reference eye point EPs of the driver D. The image is displayed on the display 18 as the display image P. As a result, even if the SoC does not have the distortion correction function, the distortion can be corrected by using the three-dimensional model, and the selection range of the SoC at the design stage can be widened. Further, since it is sufficient to form one 3D model for distortion correction, it is possible to suppress an increase in drawing capacity. Further, in the vehicle display device 1 according to the present embodiment, the original display image Po is pasted on the distortion correction 3D object 20 in the virtual space VS to perform texture mapping, and the reference eye point EPs and the actual eye point EPr are obtained. The distortion correction 3D object 20 is adjusted according to the position change. This eliminates the need to have a plurality of correction maps M having different distortion methods for each eye point EP of the driver D, and can suppress an increase in memory capacity. In addition, by adopting a drawing method using a fragment shader, smooth and continuous display becomes possible even in the vicinity of the boundary of plate polygons. Further, in the vehicle display device 1 according to the present embodiment, the adjusting unit 22 changes the position of the distortion correction 3D object 20 from the reference position in accordance with the position change of the reference eye point EPs and the actual eye point EPr. As a result, it is possible to quickly follow a minute change in the actual eye point EPr, and it is possible to perform distortion correction more finely and smoothly. Further, since the position of the distortion correction 3D object 20 can be changed in a shorter time according to the change of the actual eye point EPr, the real-time property is improved.

また、実施形態に係る車両用表示装置１は、調整部２２が、歪補正用３Ｄオブジェクト２０の位置を基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる。このように、移動方向または傾斜方向を限定することで、処理を簡素化し応答性を向上させることができる。 Further, in the vehicle display device 1 according to the embodiment, the adjusting unit 22 moves the position of the distortion correction 3D object 20 in the vertical direction or the horizontal direction with respect to the reference position, or the vertical direction or the horizontal direction. Tilt to. By limiting the moving direction or the tilting direction in this way, the processing can be simplified and the responsiveness can be improved.

なお、上記実施形態では、車両用表示装置１は、ＳｏＣに対して、車両１００に適応する歪補正用３Ｄオブジェクトを１つ保持しているが、これに限定されるものではない。例えば、ＳｏＣが、車両１００の車種ごとに形成された歪補正用３Ｄオブジェクト２０を複数備え、車種に対応する歪補正用３Ｄオブジェクト２０を読み出す構成であってもよい。これにより、部品の共用化を図ることができ、部品コストの増加を抑制することができる。 In the above embodiment, the vehicle display device 1 holds one 3D object for distortion correction applicable to the vehicle 100 with respect to the SoC, but the present invention is not limited to this. For example, the SoC may be configured to include a plurality of distortion-correcting 3D objects 20 formed for each vehicle type of the vehicle 100 and read out the distortion-correcting 3D objects 20 corresponding to the vehicle type. As a result, parts can be shared and an increase in parts cost can be suppressed.

また、上記実施形態では、制御部１３は、ナビゲーション装置５から原表示画像Ｐｏを取得しているが、これに限定されるものではない。例えば、制御部１３が無線通信により外部から経路案内情報等を取得するように構成されていてもよい。 Further, in the above embodiment, the control unit 13 acquires the original display image Po from the navigation device 5, but the control unit 13 is not limited to this. For example, the control unit 13 may be configured to acquire route guidance information or the like from the outside by wireless communication.

また、上記実施形態では、表示画像Ｐは、例えば経路案内情報であるとしたが、運転者Ｄの運転を支援するための情報であってもよい。例えば、車速情報、車両状態情報、道路情報、外部環境情報、搭乗者情報等であってもよい。 Further, in the above embodiment, the displayed image P is, for example, route guidance information, but it may be information for supporting the driving of the driver D. For example, vehicle speed information, vehicle state information, road information, external environment information, passenger information, and the like may be used.

また、上記実施形態では、重畳対象を画像認識で行っているが、レーダー等で検出するように構成してもよい。 Further, in the above embodiment, the superimposed object is performed by image recognition, but it may be configured to be detected by a radar or the like.

また、上記実施形態では、車両前方カメラ２および運転者カメラ３は、それぞれ通信線１５，１６を介して有線により装置本体４に接続されているが、無線により接続されていてもよい。これにより、通信線１５，１６自体や配線作業が不要となると共に、車両前方カメラ２および運転者カメラ３のレイアウトの制限を改善することが可能となる。 Further, in the above embodiment, the vehicle front camera 2 and the driver camera 3 are connected to the device main body 4 by wire via communication lines 15 and 16, respectively, but may be connected wirelessly. This eliminates the need for the communication lines 15 and 16 themselves and wiring work, and makes it possible to improve the layout restrictions of the vehicle front camera 2 and the driver camera 3.

上述した実施形態に係る車両用表示装置１で実行されるプログラムは、例えばＳｏＣに予め組み込まれて提供されてもよいし、外部からＧＤＣにインストールして提供されてもよい。 The program executed by the vehicle display device 1 according to the above-described embodiment may be provided, for example, by being incorporated in the SoC in advance, or may be installed and provided in the GDC from the outside.

１ 車両用表示装置
２ 車両前方カメラ
３ 運転者カメラ
４ 装置本体
５ ナビゲーション装置
１１ 画像表示部
１２ 画像解析部
１３ 制御部
１８ 表示器
２０ 歪補正用３Ｄオブジェクト
２１ 表示画像・情報取得部
２２ 調整部
２３ テクスチャマッピング・描画部
１００ 車両
１０４ ウインドシールド
Ｄ 運転者
ＥＰ アイポイント
ＥＰｓ 基準アイポイント
ＥＰｒ 実アイポイント
ＥＲ アイレンジ
Ｐ，Ｐｄ 表示画像
Ｐｏ 原表示画像
ＶＳ 仮想空間
Ｍ 補正マップ
Ｓ，Ｓｎ 虚像 1 Vehicle display device 2 Vehicle front camera 3 Driver camera 4 Device body 5 Navigation device 11 Image display unit 12 Image analysis unit 13 Control unit 18 Display 20 Distortion correction 3D object 21 Display image / information acquisition unit 22 Adjustment unit 23 Texture mapping / drawing unit 100 Vehicle 104 Windshield D Driver EP Eyepoint EPs Reference eyepoint EPr Real eyepoint ER Eyerange P, Pd Display image Po Original display image VS Virtual space M Correction map S, Sn Virtual image

Claims (3)

表示器に表示される表示画像を光学系で反射して車両のウインドシールドに投影し、前記ウインドシールドに投影された前記表示画像に対応する虚像を、前記車両の運転者の視点位置から視認させる車両用表示装置であって、
前記運転者の実視点位置を検出する検出部と、
原表示画像に基づいて前記表示画像を作成する制御部と、
を備え、
前記制御部は、
仮想空間内に形成された歪補正用３Ｄオブジェクトを前記運転者の基準視点位置から見た際の画像を前記表示画像として前記表示器に表示させるものであり、
前記原表示画像を取得する取得手段と、
前記仮想空間内において、前記原表示画像を前記歪補正用３Ｄオブジェクトに貼り付けてテクスチャマッピングを行うテクスチャマッピング手段と、
前記仮想空間内において、前記基準視点位置と前記実視点位置の位置変化に合わせて、前記歪補正用３Ｄオブジェクトを調整する調整手段と、
を有し、
前記歪補正用３Ｄオブジェクトは、
前記ウインドシールド及び前記光学系の少なくとも一方に起因し前記表示画像に対して前記虚像に生じる歪みを相殺するように逆に歪ませた曲面モデルであり、
前記調整手段は、
前記位置変化に合わせて、前記歪補正用３Ｄオブジェクトの位置を基準位置から変化させる、
ことを特徴とする車両用表示装置。 The display image displayed on the display is reflected by the optical system and projected onto the windshield of the vehicle, and the virtual image corresponding to the display image projected on the windshield is visually recognized from the viewpoint position of the driver of the vehicle. It is a display device for vehicles.
A detection unit that detects the driver's actual viewpoint position,
A control unit that creates the display image based on the original display image,
Equipped with
The control unit
The image of the distortion correction 3D object formed in the virtual space when viewed from the reference viewpoint position of the driver is displayed on the display as the display image.
The acquisition means for acquiring the original display image and
In the virtual space, a texture mapping means for pasting the original display image on the distortion correction 3D object to perform texture mapping, and a texture mapping means.
An adjustment means for adjusting the distortion correction 3D object according to the position change between the reference viewpoint position and the actual viewpoint position in the virtual space.
Have,
The distortion correction 3D object is
It is a curved surface model in which the display image is conversely distorted so as to cancel the distortion generated in the virtual image due to at least one of the windshield and the optical system.
The adjusting means is
The position of the distortion correction 3D object is changed from the reference position according to the position change.
A display device for vehicles characterized by this. 前記調整手段は、
前記歪補正用３Ｄオブジェクトの位置を前記基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる、
請求項１に記載の車両用表示装置。 The adjusting means is
The position of the distortion correction 3D object is moved vertically or horizontally with respect to the reference position, or tilted vertically or horizontally.
The vehicle display device according to claim 1. 前記制御部は、
前記車両の車種ごとに形成された前記歪補正用３Ｄオブジェクトを複数備え、
前記車種に対応する前記歪補正用３Ｄオブジェクトを読み出す、
請求項１または２に記載の車両用表示装置。 The control unit
A plurality of 3D objects for distortion correction formed for each vehicle type of the vehicle are provided.
Read out the distortion correction 3D object corresponding to the vehicle type.
The vehicle display device according to claim 1 or 2.
JP2017233999A 2017-12-06 2017-12-06 Display device for vehicles Active JP6968676B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017233999A JP6968676B2 (en) 2017-12-06 2017-12-06 Display device for vehicles
CN201811475253.9A CN110001400B (en) 2017-12-06 2018-12-04 Display device for vehicle
US16/208,898 US10732412B2 (en) 2017-12-06 2018-12-04 Display device for vehicle
DE102018221066.7A DE102018221066B4 (en) 2017-12-06 2018-12-05 Display device for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017233999A JP6968676B2 (en) 2017-12-06 2017-12-06 Display device for vehicles

Publications (2)

Publication Number Publication Date
JP2019099030A JP2019099030A (en) 2019-06-24
JP6968676B2 true JP6968676B2 (en) 2021-11-17

Family

ID=66547930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233999A Active JP6968676B2 (en) 2017-12-06 2017-12-06 Display device for vehicles

Country Status (4)

Country Link
US (1) US10732412B2 (en)
JP (1) JP6968676B2 (en)
CN (1) CN110001400B (en)
DE (1) DE102018221066B4 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564829B2 (en) * 2016-03-25 2020-02-18 Vmware, Inc. Optimizing window resize actions for remoted applications
DE102016213687B4 (en) * 2016-07-26 2019-02-07 Audi Ag Method for controlling a display device for a motor vehicle, display device for a motor vehicle and motor vehicle with a display device
DE102017214545A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining a probability with which an object is located in a field of view of a driver of a vehicle
JP7105174B2 (en) * 2018-11-02 2022-07-22 京セラ株式会社 Communication heads-up display systems, communication equipment, mobile objects, and programs
JP7183943B2 (en) * 2019-05-09 2022-12-06 トヨタ自動車株式会社 steering module
JP7221161B2 (en) * 2019-07-10 2023-02-13 マクセル株式会社 Head-up display and its calibration method
DE102020211154A1 (en) 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Method and apparatus for calibrating a vehicle mounted camera
CN112258399A (en) * 2020-09-10 2021-01-22 江苏泽景汽车电子股份有限公司 Hud image optical correction method for reverse modeling
CN112666713B (en) * 2021-01-05 2023-06-02 大陆汽车车身电子系统（芜湖）有限公司 Method for updating calibration data of head-up display
CN116017174B (en) * 2022-12-28 2024-02-06 江苏泽景汽车电子股份有限公司 HUD distortion correction method, device and system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149085A (en) 1996-11-20 1998-06-02 Asahi Glass Co Ltd Holographic display device
US6249289B1 (en) * 1996-11-27 2001-06-19 Silicon Graphics, Inc. Multi-purpose high resolution distortion correction
JP2011105306A (en) * 2010-12-28 2011-06-02 Yazaki Corp Display device for vehicle
JP5724949B2 (en) * 2012-06-05 2015-05-27 株式会社デンソー Head-up display device
US9317895B1 (en) * 2012-08-09 2016-04-19 Xilinx, Inc. Non-linear image mapping
JP2014199385A (en) * 2013-03-15 2014-10-23 日本精機株式会社 Display device and display method thereof
DE102013212667A1 (en) * 2013-06-28 2014-12-31 Robert Bosch Gmbh A method and apparatus for displaying a three-dimensional image using an imager of a visual field display device for a vehicle
JP2015049842A (en) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 Alert display device and alert display method
US20150116197A1 (en) * 2013-10-24 2015-04-30 Johnson Controls Technology Company Systems and methods for displaying three-dimensional images on a vehicle instrument console
JP2015087619A (en) * 2013-10-31 2015-05-07 日本精機株式会社 Vehicle information projection system and projection device
JP2015215509A (en) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 Display apparatus, display method and program
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US10397539B2 (en) * 2014-08-25 2019-08-27 Schepens Eye Research Institute Compensating 3D stereoscopic imagery
DE102015205167A1 (en) * 2015-03-23 2016-09-29 Robert Bosch Gmbh Method and control device for operating an autostereoscopic field of view display device for a vehicle
JP6688212B2 (en) * 2016-12-07 2020-04-28 京セラ株式会社 Image projection device, image display device, and moving body

Also Published As

Publication number Publication date
US10732412B2 (en) 2020-08-04
DE102018221066A1 (en) 2019-06-06
DE102018221066B4 (en) 2023-03-16
CN110001400B (en) 2022-03-29
CN110001400A (en) 2019-07-12
US20190171011A1 (en) 2019-06-06
JP2019099030A (en) 2019-06-24

Similar Documents

Publication Publication Date Title
JP6968676B2 (en) Display device for vehicles
CN110573369B (en) Head-up display device and display control method thereof
US10185152B2 (en) Vehicle display device
US20170336629A1 (en) Information processing system and information display apparatus
JP5723106B2 (en) Vehicle display device and vehicle display method
US20190080496A1 (en) Vehicle display device and display control method
WO2019097755A1 (en) Display device and computer program
US20120235805A1 (en) Information display apparatus and information display method
US11525694B2 (en) Superimposed-image display device and computer program
JP6952899B2 (en) Head-up display
JP6626069B2 (en) Display device for vehicles
JP6753428B2 (en) Head-up display device
JP7151073B2 (en) Display device and computer program
US20190258057A1 (en) Head-up display
JP2018077400A (en) Head-up display
JP6991794B2 (en) Vehicle display device and display control method
JP2008037118A (en) Display for vehicle
JP7459883B2 (en) Display control device, head-up display device, and method
WO2021044741A1 (en) Display control device, display control program, and heads-up display
JP7310560B2 (en) Display control device and display control program
WO2018030320A1 (en) Vehicle display device
JP7223283B2 (en) IMAGE PROCESSING UNIT AND HEAD-UP DISPLAY DEVICE INCLUDING THE SAME
JP2020158014A (en) Head-up display device, display control device, and display control program
JPWO2020090187A1 (en) Virtual image display device and head-up display device
KR20160062255A (en) Head-up display system based on vehicle driving direction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211027

R150 Certificate of patent or registration of utility model

Ref document number: 6968676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350