JP6731116B2 - ヘッドアップディスプレイ装置およびその表示制御方法 - Google Patents
ヘッドアップディスプレイ装置およびその表示制御方法 Download PDFInfo
- Publication number
- JP6731116B2 JP6731116B2 JP2019513244A JP2019513244A JP6731116B2 JP 6731116 B2 JP6731116 B2 JP 6731116B2 JP 2019513244 A JP2019513244 A JP 2019513244A JP 2019513244 A JP2019513244 A JP 2019513244A JP 6731116 B2 JP6731116 B2 JP 6731116B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- area
- unit
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 78
- 238000006243 chemical reaction Methods 0.000 claims description 240
- 230000000007 visual effect Effects 0.000 claims description 148
- 230000008569 process Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 42
- 230000003287 optical effect Effects 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 description 76
- 238000010586 diagram Methods 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 19
- 230000000052 comparative effect Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/025—Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/179—Distances to obstacles or vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/33—Illumination features
- B60K2360/334—Projection means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/77—Instrument locations other than the dashboard
- B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Description
図1〜図20を用いて、本発明の実施の形態1のヘッドアップディスプレイ装置(HUD装置)等について説明する。実施の形態1のHUD装置は、AR機能を持つAR表示装置であり、車載のAR−HUDとして実装される場合を示す。実施の形態1の表示制御方法は、実施の形態1のHUD装置で実行されるステップを有する方法である。実施の形態1のHUD装置は、制御部のプログラム処理によって、AR表示の際に実像と虚像との表示位置のずれを自動的に補正する変換処理を行う機能を有する。実施の形態1では、運転者が光学系のミラー等を調節しない場合でも、その設定状態でAR表示内容を補正する。
実施の形態1に対する比較例として、従来のHUD装置を含む車載システムでは、以下のような課題がある。比較例のHUD装置は、実施の形態1のような実像と虚像との表示のずれを補正する機能を持たない。従来、利用例として、運転者は、自動車の運転座席に座って座席を自分の体格や姿勢に合わせて調節した後、HUD装置の視認領域のAR表示領域(AR画像が表示可能なHUD表示範囲)を調節して基本設定を行う。例えば、運転者は、自分の視線の先の視認領域内の好適な位置にAR表示領域の虚像が見える状態になるように、HUD装置の光学系のミラーの角度を手動で調節する。なお、このような調節を基本設定と記載する場合がある。
図1は、実施の形態1のHUD装置1を含む、車載システム100の構成を示す。車載システム100は、自動車に搭載されているシステムである。利用者である運転者は、車載システム100およびHUD装置1を操作し利用する。このHUD装置1は、特にAR機能を持つAR−HUD装置である。
図2は、実施の形態1で、自動車の運転座席付近を横(X方向)から見た平面で、各部の配置構成例を概略的に示す。運転座席の前方にウィンドシールド9があり、その一部として視認領域5があり、視認領域5の一部としてAR表示領域7がある。運転座席の前方のダッシュボードの一箇所、例えばコンソールの位置には、HUD装置1の表示部20や、図示しないがカーナビ部106等が設置されている。図2では、表示素子22と光学系24のうちのミラー24Aとを示している。表示素子22から例えば前方(Z方向)に映像光が出射され、ミラー24Aによって上方(Y方向)のウィンドシールド9の方へ反射される場合を示す。ミラー24Aからの反射光は、ウィンドシールド9の内側の視認領域5で運転者の目の方へ反射される。なお、光学系24の構成は、これに限らず可能であり、視認領域5に映像光(ミラー24Aの反射光)を投射する位置および角度が可変であればよい。
図3は、図2と同様の自動車の運転座席の運転者から前方の道路上の物体の実像と、その実像に重畳表示される虚像とを見る場合の位置や距離等について概略的に示す。図3の右側から、運転者の視点(目)の位置P1(図2の点p1に対応する)、カメラ2の位置P2(点p2に対応する)、視認領域5上のAR表示領域7および虚像の位置P5(点p5に対応する)、視認領域5の前方の空間内のAR表示領域7および虚像の位置P3、視認領域5の前方の実像の物体の位置P4を示す。各位置は、3次元空間内の位置座標を有する。例えば、位置P1の位置座標(X1,Y1,Z1)を有する。同様に、位置P2(X2,Y2,Z2)、位置P3(X3,Y3,Z3)、位置P4(X4,Y4,Z4)、位置P5(X5,Y5,Z5)等を有する。
図4〜図9は、実施の形態1および比較例を含め、運転座席での運転者の視点位置や視線およびそれらの変動等について示す。
図5は、第2状態として、図4に対し、運転者の視点位置が異なる場合を示す。比較のために第1状態の位置P1A等も示す。第2状態は、例えば、図4の第1運転者と同じ人が、運転座席や姿勢を変更した場合の第2姿勢の状態を示す。あるいは、図4の第1運転者と違う人である第2運転者、例えば相対的に体格が大きい人の場合の第2姿勢の状態を示す。特に、第2姿勢では、目の位置が、第1状態の位置P1AよりもY方向で高くZ方向で後ろの位置P1Bになっている。位置P1Bは、位置座標(X1B,Y1B,Z1B)、および地面からの高さH1Bを有する。位置P1Bを中心とする場合のアイボックスEBも示す。位置P1Bは、第1状態の位置P1AのアイボックスEAからは外に出た位置である。
図6は、第3状態として、図5の第1または第2運転者の第2姿勢の視点の位置P1Bと同じであるが、視線が異なる場合を示す。図6は、図5の視点の位置P1Bに合わせてミラー24A(図6では図示しない)の角度によりAR表示領域7の位置を調節した後、位置P1Bから調節後のAR表示領域7の中心の点CBを見る場合の視線L1B等を示す。視認領域5のAR表示領域7bの点CBは、図5のAR表示領域7bの点CAよりもY方向で上側に移動している。視線L1Bは、AR表示領域7の画角βBを有する。視線L1Bは、伏せ角度として角度αh3を有する。
図7は、第4状態として、図4の第1状態の視点の位置P1Aから基本設定のAR表示領域7の点CAを見る場合の視線L1Aと、図5の第2状態の視点の位置P1Bから同じAR表示領域7の点CAを見る場合の視線L1A2とを重ねた状態を示す。また、図7では、視認領域5の前方の位置P3のAR表示領域7および虚像302も含めて横から見た状態を示す。この状態で、ミラー24Aの角度θの状態は角度θAである。図7の状態は、言い換えると、図5に対応して、第1状態の人の視点の位置P1Aに合わせた基本設定のAR表示領域7を、第2状態の人の視点の位置P1Bから見る場合を示す。
図8は、第5状態として、図4の第1状態の視点の位置P1Aから基本設定のAR表示領域7の点CAを見る場合の視線L1Aと、図6の第3状態の視点の位置P1Bから調節後のAR表示領域7の点CBを見る場合の視線L1Bとを重ねた状態を示す。また、図8では、同様に、視認領域5の前方の位置P3のAR表示領域7および虚像302も含めて横から見た状態を示す。この状態で、ミラー24Aの角度θの状態は、調節によって角度θAから角度θBに変更されている。図8の状態は、言い換えると、図6に対応して、第2状態の人の視点に合わせたAR表示領域7を、第2状態の人の視点P1Bから見る場合を示す。
図9は、第6状態として、図7や図8の状態に対し、実施の形態1での自動的な補正によって、AR表示領域7の位置およびAR表示領域7内のAR画像の表示位置が補正された場合の状態を示す。ミラー24Aの角度θの状態は図8と同じ角度θBである。視点の位置P1Bからの視線L1Bの先のAR表示領域7a3の虚像に対し、補正後の状態では、視点の位置P1Bからの視線L1Cの先のAR表示領域7a4の虚像として見える。AR表示領域7は、変換によって、補正前のAR表示領域7a3から、補正後のAR表示領域7a4となっている。視線L1Cは、位置P1Bから補正後のAR表示領域7の中心の点CCを通してAR表示領域7a4の虚像を見る場合の視線である。これにより、第2姿勢の運転者の視点の位置P1BからAR表示領域7を見た場合に、実像と虚像との表示のずれがない、または低減されている。
図10は、HUD装置1の制御部10の主要処理のフローを示す。この処理は、AR表示領域7の位置の変換処理を含む。制御部10は、自車の走行中およびAR機能の利用中に、このような処理をリアルタイムで行う。図10は、ステップS1〜S6を有する。以下、ステップの順に説明する。
図11は、運転者の視点位置から見たウィンドシールド9の視認領域5におけるAR表示領域7やAR画像の例を示す。図11は、実像と虚像とで表示のずれがない状態の場合を示す。なお、図11等では視認領域5を簡易的に矩形のXY平面で示す。視認領域5内には、実像として、自車の前方の道路500、対向車501、建物、空等が視認されている。視認領域5のAR表示領域7の位置の例を破線枠で示す。この破線枠は実際には表示されない。本例では、視認領域5の中央付近に、比較的小さいサイズで矩形のAR表示領域7が設定されている場合を示すが、これに限らず可能である。点C1は、AR表示領域7の中心位置を示す。
図12は、運転者の視界の視認領域5、およびそれに対応するカメラ2の画像6の例を示す。図12の例は、視認領域5内にAR表示領域7が設定されているが、実像と虚像とで表示のずれがある状態の場合を示す。この場合は、図7や図8の場合に対応する。カメラ2の画像6において、2次元座標系として、横方向(面内水平方向)を小文字のx、縦方向(面内垂直方向)を小文字のyで表す。画像6内の画素の点Qの位置座標を(x,y)で表す。
図13は、視認領域5の他の例として、視認領域5内から外にAR表示領域7の一部が出てしまっている場合を示す。例えば、前述の図7の状態から図8の状態にミラー24Aの角度θを調節する際に、うまく調節できずに図13のような状態になる場合がある。図13の状態では、表示のずれが大きく、AR画像として不適である。AR画像G1は、途切れて一部しか表示されておらず、視認しにくく、対向車501との関係を認識できない。AR画像G2は、全く見えない。運転者は、実像と虚像とのずれが大きいほど、実像と虚像とを関連付ける認識がしにくい。このような表示のずれは、なるべく小さい方が望ましい。
図14は、図11等に対応するカメラ2の画像6の例を示し、特に画像6から対向車501の領域を抽出する場合について概略的に示す。画像入力部11は、カメラ2の画像6から、特徴抽出等の画像解析に基づいて、AR表示領域7内に含まれているAR対象である所定の物体の領域および位置座標を検出する。本例では、図11の対向車501が対象物体である。画像入力部11は、その物体の中心の点Q1の位置座標(x1,y1)を検出し、その点Q1を中心とする領域601を抽出する。領域601は、ここでは単純に、対向車501の領域を包含する四角形としているが、これに限らず可能である。画像入力部11は、対象物体領域を、台形や楕円等の領域として検出してもよいし、より詳しく画素領域や形状等を検出してもよい。なお、画像入力部11の物体領域の抽出の際には、予め設定されている物体の特徴情報や定義情報、あるいは基準画像等に基づいて、公知の手法で検出可能である。
図15は、3次元空間の水平面(XZ平面)における、自車と他車との位置関係および距離を示す。他車はAR対象物体である、例えば対向車501である。自車の位置をM1とし、その位置座標を(Xm1,Ym1,Zm1)で示す。他車の位置をM2とし、その位置座標を(Xm2,Ym2,Zm2)で示す。なお、ここでの自車および他車の位置座標は、GPSによる位置座標(緯度、経度、高度等)と対応付けられる。また、ここでの自車および他車の位置は、ウィンドシールドの中央付近に設定する場合を示す。前述のように、自車のウィンドシールド9の視認領域5、運転者の視点位置、カメラ2の位置等は、所定の位置関係を持ち、それらが相互に変換可能である。
図16は、HUD装置1のAR機能の計算上の2次元平面であるAR平面8を示す。視認領域5および画像6に対応付けられてAR平面8が構成されている。このAR平面8は、実際の曲面の視認領域5のAR表示領域7にAR画像を表示する前の状態の平面である。AR平面8において、画像6と同様に、横軸を小文字のx、縦軸を小文字のyで示し、点Qの位置座標を(x,y)で示す。
図17は、図16のAR平面8でのAR表示領域7に対するAR画像の配置例を示す。表示位置変換部14は、AR表示領域7内の決定された各位置座標にAR画像を配置する。配置後のAR画像g1,g2を示す。例えば、AR表示領域7内の点V1を中心とした表示位置に、AR画像g1(AR画像G1に対応する)が配置されている。また、点V2を中心とした表示位置に、AR画像g2(AR画像G2に対応する)が配置されている。AR画像g1やAR画像g2は、AR画像生成部13で生成された基本AR画像に基づいた画像である。AR画像生成部13は、例えば、元データの枠画像に基づいて、物体領域サイズに対応させた表示サイズや、所定の表示色等を持つように調整した基本AR画像(枠画像)701を生成している。AR画像生成部13は、例えば、元データの矢印画像に基づいて、表示サイズや表示色や表示傾き(例えば路面に平行)等を調整した基本AR画像(矢印画像)702を生成している。表示位置変換部14は、基本AR画像701,702に基づいて、AR表示領域7にAR画像g1,g2を配置している。
図18は、AR平面8から、ウィンドシールド9に対応する3次元の曲面の視認領域5へ対応させるための座標変換(歪み補正)について示す。予め、自動車のウィンドシールド9の視認領域5の曲面形状やサイズ等がわかっているので、AR平面8から視認領域5への座標変換を、所定の補正計算として規定可能である。この座標変換は、所定の投影、射影変換等によって規定できる。図18の(A)は、変換前のAR平面8を示し、x軸、y軸を持つ直交座標系である。図18の(B)は、変換後の曲面の視認領域5を簡易的に2次元の座標系で示す(Z方向を省略した)。なお、この座標変換は、変換テーブル内の一部としてまとめることもできる。
次に、制御部10の処理の詳細および具体例について説明する。
実施の形態1の表示位置変換部14の変換処理(S5)の詳細について以下である。
・水平面に対する取付角度:φ (図3の撮影方向L2を表す角度φ)
・カメラセンサの垂直画角:φv (図3の画角φcの垂直成分)
・カメラセンサの水平画角:φh (図3の画角φcの水平成分)
・カメラセンサの垂直画素数:Ny (図14の画像6の縦幅Ny)
・カメラセンサの水平画素数:Nx (図14の画像6の横幅Nx)
・カメラセンサと自車Z方向先端(フロントバンパー等)との間の距離:J (図3の距離D6。または点p2と点p5との距離としてもよい)。
(式2) F=E・tan(((x−(Nx/2))/Nx)・(φh/2))
HUD装置1の初期設定値として以下とする。
・地面からの運転者の目の位置:Hhud (図3の高さH1)
・HUDの垂直画角:βv (図3のAR表示領域7の画角βの垂直成分)
・HUDの水平画角:βh (図3のAR表示領域7の画角βの水平成分)
・HUDの垂直画素数:Nyhud (図16のAR表示領域7の縦幅RH2)
・HUDの水平画素数:Nxhud (図16のAR表示領域7の横幅RH1)。
(式4) Fn=En・tan(((xhud−(Nxhud/2))/Nxhud)・(βh/2))
次に、図17のようにAR表示領域7にAR画像を配置する際のAR画像の変換の詳細について示す。図19は、そのAR画像の変換の例を示す。本例は、図11のAR画像G2に関して、図17の矢印画像である基本AR画像702からAR画像g2への変換を示す。図19の(A)は、変換前の矢印画像を示す。このAR画像は、矢印画像を包含する枠が直角を持つ長方形の形状である。長方形のコーナーの4点を点c1〜c4で示す。長方形の横幅gr、縦幅gsを示す。点c1の表示画素座標を(xhud,yhud)とする。
図20は、実施の形態1における表示位置変換部14の変換テーブルを用いた計算の概念を示す。実施の形態1で、表示位置変換部14は、変換テーブルT1(第1変換テーブル)を使用する。変換テーブルT1は、例えば予め制御部10内のメモリ(ROM)に設定されている。
上記のように、実施の形態1のHUD装置1によれば、AR表示領域7およびAR画像の位置を自動的に補正する機能を有するので、実像と虚像との表示のずれをなくす、または低減して、好適なAR表示が実現できる。自車のカメラ2の位置P2や、運転者の視点の位置P1については、従来よりも変動が許容される範囲を広くすることができる。
図21〜図24を用いて、本発明の実施の形態2のHUD装置等について説明する。実施の形態2等における基本的な構成は、実施の形態1と同様である。以下では、実施の形態2等における実施の形態1とは異なる構成部分について説明する。実施の形態2のHUD装置1では、カメラ2の画像に基づいて制御部10の処理によって表示のずれを補正することに加え、光学系24のミラー24Aの角度θを検出する機能を有し、その角度θに基づいて表示のずれを補正する。例えば、運転者の視点位置が基本設定の視点位置よりも上下に大きく変動した場合、実像と虚像との表示のずれが大きくなり、実施の形態1の補正の機能のみでは対応できない。そのため、実施の形態2では、光学系24のミラー24Aの角度θを調節することでAR表示領域7の位置を変更できる機構に基づいて、その角度θの状態に応じてAR表示内容を補正する機能を有する。
実施の形態2に対する比較例のHUD装置では以下の課題がある。前述の図4〜図8のように、運転者の姿勢や体格の状態に応じて、視点位置が異なり、また、AR表示領域を見る場合の視線が異なる。運転者は、自分の視点位置に応じて、視認領域5にHUDのAR表示領域7の虚像が見えるように、ミラー24Aの角度θの調節を含む基本設定を行う。
図21は、実施の形態2のHUD装置1を含む車載システム100の構成を示す。HUD装置1の表示部20は、駆動部25に検出部26を備える。検出部26は、光学系24のミラー24Aの角度θ等を検出する。駆動部25には、図示しないが、ミラー24Aの角度θを運転者の手動操作によって変更できる操作ボタン等を備えている。また、駆動部25には、制御部10からの制御に従って角度θを変更する機能を備えている。この操作ボタン等の入力に基づいて、駆動部25からモータ等を駆動してミラー24Aの角度θが変更される(例えば図8)。角度θが変更された場合、検出部26は、その時の角度θを検出する。検出部26は、常時に角度θを検出、出力してもよいし、変更された時のみ検出、出力してもよい。検出部26は、検出した角度θを含む角度情報を、制御部10に出力する。なお、検出部26が角度θを検出する方式については、特に限定しない。
実施の形態2のHUD装置1では、角度θの状態に応じてAR表示領域7内のAR画像の表示位置を補正する。よって、例えば、図5や図6の第2姿勢の人の視点の位置P1Bから視認領域5のAR表示領域7を見た場合、例えば図22のように、実像と虚像との表示のずれが低減された視認領域5が見える。
次に、実施の形態2における制御部10の処理の詳細および具体例について説明する。
図23は、実施の形態2における表示位置変換部14の変換テーブルを用いた計算の概念を示す。実施の形態2で、表示位置変換部14は、変換テーブルT2(第2変換テーブル)を用いる。変換テーブルT2は、実施の形態1の変換テーブルT1と、所定の係数K1との乗算で構成される。
実施の形態2での変換処理の詳細について以下である。この変換処理は、実施の形態1の変換処理に対して異なる構成点としては、運転者の視点位置、上下方向(Y方向)のずれを用いる点がある。HUD装置1を含むシステムにおいて、図7や図8の例のように、運転者の視点から虚像を見る際の見込み角度や対応する伏せ角度が異なる場合、前述の式3および式4における伏せ角度αhudが異なる。伏せ角度αhudが異なる結果として、表示素子22の表示画素座標(xhud,yhud)が異なる。そのため、変換テーブルT1に関する補正が必要であり、係数K1を用いて補正して変換テーブルT2となる。例えば、伏せ角度αhudが大きい場合と小さい場合とを比較すると、図24のようになる。
上記のように、実施の形態2のHUD装置1によれば、ミラー24Aの角度θの状態に応じて自動的にAR表示領域7内のAR画像の表示位置を補正する機能を有するので、実像と虚像との表示位置のずれをなくす、または低減して、好適なAR表示が実現できる。運転者の姿勢や体格の違いに応じてミラー24Aの角度θを調節してAR表示領域7の位置を調節できる機構を持つ場合に、表示のずれを低減させたより好適なAR表示が実現できる。
図25〜図27を用いて、本発明の実施の形態3のHUD装置等について説明する。実施の形態3のHUD装置1では、実施の形態1の制御部10の処理によるAR表示内容の補正、および実施の形態2のミラー24Aの角度θに応じた補正等に加え、運転者の視点位置を検出する機能を有する。この機能は、車載システム100の運転者撮影部107を用いる。実施の形態3のHUD装置1では、その運転者の視点位置に応じてミラー24Aの角度θを自動的に調節する機能を有する。すなわち、角度θに応じて視認領域5内のAR表示領域7の位置が設定される。そして、実施の形態3のHUD装置では、その視点位置、角度θ、およびAR表示領域7の位置の状態に応じて、AR表示領域7内のAR画像の表示位置を補正する機能を有する。
実施の形態3に対する比較例のHUD装置では以下の課題がある。基本的な課題としては、実施の形態1および実施の形態2の比較例のHUD装置の課題と同様である。まず、図4〜図8で、第1姿勢や第2姿勢の運転者の視点の位置P1に応じて、AR表示領域7のAR画像が見える位置になるように、ミラー24Aの角度θが調節される。例えば、図8の場合で、第2姿勢の人の視点の位置P1Bに合わせるように、ミラー24Aの角度θが角度θAから角度θBに変更される。そのような場合に、視点の位置P1Bから視認領域5の前方の位置P3のAR表示領域7の虚像302を見る際の見込み角度や伏せ角度が異なる。これにより、運転者の視点から見た場合に実像と虚像との表示のずれが生じる。
図25は、実施の形態3のHUD装置1を含む車載システム100の構成を示す。車載システム100は、運転者撮影部107を備える。運転者撮影部107は、カメラ3を含み、1台以上のカメラ3を用いて、運転者の目を含む車内の所定の範囲を撮影し、所定の処理を行う。カメラ3は、運転者カメラ、車内カメラであり、撮影した映像データを出力する。カメラ3は、車両の所定の位置に、所定の撮影方向や画角で設置されている(図26)。運転者撮影部107は、1台以上のカメラ3の画像を用いて、運転者の視点の位置P1(点p1)や視線L1を検出する(図26)。運転者撮影部107は、少なくとも、検出した視点位置や視線を含む視点情報を、HUD装置1の制御部10へ出力する。なお、目の位置P1を含む視点情報は、左右の両目の各位置の情報としてもよいし、両目の中間点等の位置としてもよい。
図26は、図2と概ね同様であるが、実施の形態3での運転座席付近を示す。図26では、車内の所定の位置P3に、運転者撮影部107のカメラ3が設置されている。車両におけるカメラ3の設置位置の点p3および撮影方向L3を示す。本例では、運転座席の斜め上付近にカメラ3が設置されている。撮影方向L3は斜め下の運転座席および運転者の顔を向いている場合を示す。実施の形態3では、カメラ3を含む運転者撮影部107を有するので、運転者の視点位置が変動する場合にも、その視点位置を追跡して検出可能である。すなわち、変動する視点位置と物体との距離等も計測可能である。
実施の形態3のHUD装置1では、視点位置の状態に応じてミラー24Aの角度θを自動的に調節して視認領域5のAR表示領域7の位置を補正すると共に、AR表示領域7内のAR画像の表示位置を補正する機能を有する。よって、例えば図7の第2姿勢の人の視点の位置P1Bから視認領域5を見た場合に、実像と虚像との表示のずれが低減された視認領域5として見える。例えば、実施の形態2の図22の例と同様な視認領域5が見える。この視認領域5では、AR表示領域7内のAR画像の表示位置が実像の物体に近付くように補正されており、表示のずれが低減されている。また、視点位置の変動に応じた補正に伴い、ミラー24Aの角度θも例えば図7の角度θAの状態から図8の角度θBの状態に自動的に調節される。すなわち、手動操作による調節が不要であり、運転者の手間が削減できる。
次に、実施の形態3における制御部10の処理の詳細および具体例について説明する。
図27は、実施の形態3における表示位置変換部14の変換テーブルT3を用いた計算の概念を示す。変換テーブルT3は、視点の位置P1に応じた変換として規定されている。変換の基準は、例えば予め図2〜図4のような標準的な人の第1状態に対応させて設計されている。すなわち、基準として、実施の形態1と同様の変換テーブルT1が適用できる。この変換テーブルT1に、実施の形態3のための係数K2を乗算して、変換テーブルT3を構成する。係数K2は、視点位置に応じた係数である。
HUD装置1を含むシステムにおいて、基準となる目の位置(基本設定のアイボックス内の位置)に対し、運転者の姿勢の変化等によって、視点位置が変動する。例えば、図4の位置P1Aから図5の位置P1Bに変動する。この変動の際の視点位置のずれ量Δとして、上下方向(Y方向)のずれ量Δh、および前後方向(Z方向)のずれ量Δdとする。この場合、図7や図8の例のように、運転者の視点位置から虚像を見る際の見込み角度や伏せ角度が異なる。そのため、前述の式3および式4における伏せ角度αhudが異なる。伏せ角度αhudが異なる結果として、表示素子22の表示画素座標(xhud,yhud)が異なる。そのため、変換テーブルT1に関する補正が必要であり、係数K2を用いて補正して変換テーブルT3となる。
上記のように、実施の形態3のHUD装置1によれば、運転者の目の位置P1の状態に応じて自動的にAR表示領域7内のAR画像の表示位置を補正する機能を有するので、実像と虚像との表示のずれをなくす、または低減して、好適なAR表示が実現できる。また、実施の形態3では、運転者の手動操作によるミラー24Aの調節の手間を削減できる。
Claims (13)
- 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、
カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力部と、
前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得部と、
前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成部と、
前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置、および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換部と、
前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御部と、
前記制御に従って前記視認領域に対して前記画像を重畳表示する表示部と、
を備え、
前記変換部は、基本設定の運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
前記変換部は、前記物体情報および前記距離情報を入力値として変換テーブルに入力して前記変換処理を行い、出力値として前記表示領域内の前記画像の表示位置を得る、
ヘッドアップディスプレイ装置。 - 請求項1記載のヘッドアップディスプレイ装置において、
車載システムに搭載され、
前記表示部は、前記車両の前記ウィンドシールドまたはコンバイナに構成される前記視認領域の前記表示領域に対して投射表示を行う、
ヘッドアップディスプレイ装置。 - 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力ステップと、
前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得ステップと、
前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成ステップと、
前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置、および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換ステップと、
前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御ステップと、
前記制御に従って前記視認領域に対して前記画像を重畳表示する表示ステップと、
を備え、
前記変換ステップは、基本設定の運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
表示制御方法。 - 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置であって、
カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力部と、
前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得部と、
前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成部と、
前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換部と、
前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御部と、
前記制御に従って前記視認領域に対して前記画像を重畳表示する表示部と、
を備え、
前記表示部は、
前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射位置が変わることで前記視認領域内の前記表示領域の位置が変わる構成を有する前記光学系と、
運転者の操作または前記制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
前記ミラーの前記角度を検出する検出部と、
を有し、
前記変換部は、前記ミラーの前記角度に応じた基本設定の前記運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
ヘッドアップディスプレイ装置。 - 請求項5記載のヘッドアップディスプレイ装置において、
前記変換部は、前記角度に応じた係数を決定し、前記係数に応じて決定される変換テーブルを用いて、前記物体情報および前記距離情報を入力値として前記変換テーブルに入力して前記変換処理を行い、出力値として前記表示領域内の前記画像の表示位置を得る、
ヘッドアップディスプレイ装置。 - 請求項5記載のヘッドアップディスプレイ装置において、
車載システムに搭載され、
前記表示部は、前記車両の前記ウィンドシールドまたはコンバイナに構成される前記視認領域の前記表示領域に対して投射表示を行う、
ヘッドアップディスプレイ装置。 - 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力ステップと、
前記画像内の前記物体の位置を含む物体情報、および空間内の前記物体との距離を含む距離情報を取得する情報取得ステップと、
前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成ステップと、
前記取得された情報を用いて、前記ウィンドシールドまたはコンバイナの視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換ステップと、
前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御ステップと、
を備え、
前記ヘッドアップディスプレイ装置は、
前記制御に従って前記視認領域に対して前記画像を重畳表示する表示部として、
前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射位置が変わることで前記視認領域内の前記表示領域の位置が変わる構成を有する前記光学系と、
運転者の操作または前記制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
前記ミラーの前記角度を検出する検出部と、
を有し、
前記変換ステップは、前記ミラーの前記角度に応じた基本設定の前記運転者の視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
表示制御方法。 - 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置であって、
カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力部と、
前記画像内の前記物体の位置を含む物体情報、空間内の前記物体との距離を含む距離情報、および前記ウィンドシールドまたはコンバイナの視認領域を見る運転者の視点位置を含む視点情報を取得する情報取得部と、
前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成部と、
前記取得された情報を用いて、前記視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換部と、
前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御部と、
前記制御に従って前記視認領域に対して前記画像を投射表示によって重畳表示する表示部と、
を備え、
前記変換部は、前記運転者の前記視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
ヘッドアップディスプレイ装置。 - 請求項9記載のヘッドアップディスプレイ装置において、
前記表示部は、
前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射の位置が変わることで前記視認領域内の前記表示領域の位置が変わる構成を有する前記光学系と、
前記運転者の操作または前記制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
前記ミラーの前記角度を検出する検出部と、
を有し、
前記変換部は、前記視点位置に応じて、前記ミラーの前記角度を調節するように制御し、前記調節された前記角度に応じた前記視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
ヘッドアップディスプレイ装置。 - 請求項9記載のヘッドアップディスプレイ装置において、
前記変換部は、前記視点位置またはそのずれ量に応じた係数を決定し、前記係数に応じて決定される変換テーブルを用いて、前記物体情報および前記距離情報を入力値として前記変換テーブルに入力して前記変換処理を行い、出力値として前記表示領域内の前記画像の表示位置を得る、
ヘッドアップディスプレイ装置。 - 請求項9記載のヘッドアップディスプレイ装置において、
車載システムに搭載され、
前記表示部は、前記車両の前記ウィンドシールドまたはコンバイナに構成される前記視認領域の前記表示領域に対して投射表示を行う、
ヘッドアップディスプレイ装置。 - 車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させる虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
カメラで撮影された画像を入力し、前記画像から所定の物体を抽出する画像入力ステップと、
前記画像内の前記物体の位置を含む物体情報、空間内の前記物体との距離を含む距離情報、および前記ウィンドシールドまたはコンバイナの視認領域を見る運転者の視点位置を含む視点情報を取得する情報取得ステップと、
前記物体に対して重畳表示するための前記虚像の画像を生成する画像生成ステップと、
前記取得された情報を用いて、前記視認領域に前記画像を表示可能な範囲である表示領域の位置および前記表示領域内の前記画像の表示位置を、少なくとも鉛直上下方向を含めて補正する変換処理を行う変換ステップと、
前記補正後のデータを用いて前記視認領域に対して前記画像を重畳表示する制御を行う表示制御ステップと、
前記制御に従って前記視認領域に対して前記画像を投射表示によって重畳表示する表示ステップと、
を備え、
前記変換ステップは、前記運転者の前記視点位置から前記視認領域を通じて前記物体を見た場合の前記物体の位置に、前記表示領域内の前記画像の表示位置を合わせるように、前記変換処理を行う、
表示制御方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082473 | 2017-04-19 | ||
JP2017082473 | 2017-04-19 | ||
JP2017083330 | 2017-04-20 | ||
JP2017083330 | 2017-04-20 | ||
JP2017084188 | 2017-04-21 | ||
JP2017084188 | 2017-04-21 | ||
PCT/JP2018/006167 WO2018193708A1 (ja) | 2017-04-19 | 2018-02-21 | ヘッドアップディスプレイ装置およびその表示制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018193708A1 JPWO2018193708A1 (ja) | 2019-12-19 |
JP6731116B2 true JP6731116B2 (ja) | 2020-07-29 |
Family
ID=63856975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019513244A Active JP6731116B2 (ja) | 2017-04-19 | 2018-02-21 | ヘッドアップディスプレイ装置およびその表示制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11241960B2 (ja) |
JP (1) | JP6731116B2 (ja) |
CN (1) | CN110573369B (ja) |
WO (1) | WO2018193708A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110019580B (zh) * | 2017-08-25 | 2022-07-12 | 腾讯科技(深圳)有限公司 | 地图显示方法、装置、存储介质及终端 |
JP7194906B2 (ja) * | 2018-03-30 | 2022-12-23 | パナソニックIpマネジメント株式会社 | 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体 |
JP6827609B2 (ja) | 2019-01-10 | 2021-02-10 | 三菱電機株式会社 | 情報表示制御装置及び方法、並びにプログラム及び記録媒体 |
JP7338358B2 (ja) * | 2019-09-25 | 2023-09-05 | 株式会社Jvcケンウッド | 表示装置、表示システム、表示調整方法及び表示調整プログラム |
WO2021132089A1 (ja) * | 2019-12-25 | 2021-07-01 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
WO2021153615A1 (ja) * | 2020-01-30 | 2021-08-05 | 日本精機株式会社 | 視点検知システム |
CN111510701A (zh) * | 2020-04-22 | 2020-08-07 | Oppo广东移动通信有限公司 | 虚拟内容的显示方法、装置、电子设备及计算机可读介质 |
EP4163156A4 (en) * | 2020-06-08 | 2023-12-06 | Panasonic Intellectual Property Management Co., Ltd. | DISPLAY SYSTEM |
US11562576B2 (en) * | 2020-08-05 | 2023-01-24 | GM Global Technology Operations LLC | Dynamic adjustment of augmented reality image |
KR102543899B1 (ko) * | 2020-08-27 | 2023-06-20 | 네이버랩스 주식회사 | 헤드업 디스플레이 및 그 제어방법 |
JP7439699B2 (ja) | 2020-08-27 | 2024-02-28 | 日本精機株式会社 | 車両用表示装置 |
US20220163919A1 (en) * | 2020-11-23 | 2022-05-26 | GM Global Technology Operations LLC | Micromirror pixel design to eliminate intensity artifacts in holographic displays |
WO2022230995A1 (ja) * | 2021-04-30 | 2022-11-03 | 日本精機株式会社 | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 |
JP2022184350A (ja) * | 2021-06-01 | 2022-12-13 | マツダ株式会社 | ヘッドアップディスプレイ装置 |
CN113815534B (zh) * | 2021-11-05 | 2023-05-16 | 吉林大学重庆研究院 | 基于应对人眼的位置变化而对图形进行动态处理的方法 |
WO2023089834A1 (ja) * | 2021-11-22 | 2023-05-25 | 日本電気株式会社 | 映像表示システム、映像表示方法、および映像表示装置 |
US20230186550A1 (en) * | 2021-12-09 | 2023-06-15 | Unity Technologies Sf | Optimizing generation of a virtual scene for use in a virtual display environment |
DE102022203951A1 (de) * | 2022-04-25 | 2023-10-26 | Psa Automobiles Sa | Verfahren und Vorrichtung zum Projizieren von Objekten |
IT202200012149A1 (it) * | 2022-06-08 | 2023-12-08 | Ferrari Spa | Autoveicolo |
CN114779477B (zh) * | 2022-06-17 | 2022-11-04 | 江苏泽景汽车电子股份有限公司 | 一种显示画面补偿方法、装置、电子设备及存储介质 |
CN115202476B (zh) * | 2022-06-30 | 2023-04-11 | 泽景(西安)汽车电子有限责任公司 | 显示图像的调整方法、装置、电子设备及存储介质 |
CN117841838A (zh) * | 2022-12-20 | 2024-04-09 | 南通红森微视光电科技有限公司 | 车用夜视装置及系统 |
CN117289796B (zh) * | 2023-09-22 | 2024-05-07 | 中山大学 | 基于触觉手套的复杂装备高交互混合现实系统与方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7126583B1 (en) * | 1999-12-15 | 2006-10-24 | Automotive Technologies International, Inc. | Interactive vehicle display system |
JP2008062762A (ja) * | 2006-09-06 | 2008-03-21 | Fujitsu Ten Ltd | 運転支援装置および運転支援方法 |
JP4895324B2 (ja) * | 2006-11-27 | 2012-03-14 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
JP2009150947A (ja) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | 車両用ヘッドアップディスプレイ装置 |
JP2009292409A (ja) * | 2008-06-09 | 2009-12-17 | Yazaki Corp | ヘッドアップディスプレイ装置 |
JP2010070066A (ja) | 2008-09-18 | 2010-04-02 | Toshiba Corp | ヘッドアップディスプレイ |
JP5336169B2 (ja) * | 2008-12-25 | 2013-11-06 | 矢崎総業株式会社 | ヘッドアップディスプレイ装置 |
JP5392613B2 (ja) * | 2009-09-28 | 2014-01-22 | スタンレー電気株式会社 | ヘッドアップディスプレイ |
JP5275963B2 (ja) * | 2009-12-08 | 2013-08-28 | 株式会社東芝 | 表示装置、表示方法及び移動体 |
JP5767705B2 (ja) * | 2010-08-27 | 2015-08-19 | エンパイア テクノロジー ディベロップメント エルエルシー | ヘッドアップディスプレイ |
JP5970872B2 (ja) * | 2012-03-07 | 2016-08-17 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP6375591B2 (ja) * | 2013-01-15 | 2018-08-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
JP6094437B2 (ja) * | 2013-09-24 | 2017-03-15 | アイシン・エィ・ダブリュ株式会社 | ヘッドアップディスプレイ装置 |
CN106458059B (zh) * | 2014-04-25 | 2018-10-16 | 三菱电机株式会社 | 自动调整装置、自动调整系统以及自动调整方法 |
JP6485732B2 (ja) * | 2014-12-10 | 2019-03-20 | 株式会社リコー | 情報提供装置、情報提供方法及び情報提供用制御プログラム |
JP2016170052A (ja) * | 2015-03-13 | 2016-09-23 | 日本精機株式会社 | 目検出装置及び車両用表示システム |
JP2016222061A (ja) * | 2015-05-28 | 2016-12-28 | 日本精機株式会社 | 車両用表示システム |
KR20170060652A (ko) * | 2015-11-24 | 2017-06-02 | 현대오트론 주식회사 | 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법 |
CN107462989A (zh) * | 2016-06-06 | 2017-12-12 | 华硕电脑股份有限公司 | 影像稳定方法与电子装置 |
JP6547076B2 (ja) * | 2016-12-21 | 2019-07-17 | 富士フイルム株式会社 | 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム |
JP6731644B2 (ja) * | 2017-03-31 | 2020-07-29 | パナソニックIpマネジメント株式会社 | 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体 |
-
2018
- 2018-02-21 CN CN201880025825.5A patent/CN110573369B/zh active Active
- 2018-02-21 WO PCT/JP2018/006167 patent/WO2018193708A1/ja active Application Filing
- 2018-02-21 JP JP2019513244A patent/JP6731116B2/ja active Active
- 2018-02-21 US US16/606,508 patent/US11241960B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN110573369A (zh) | 2019-12-13 |
CN110573369B (zh) | 2022-05-17 |
WO2018193708A1 (ja) | 2018-10-25 |
US11241960B2 (en) | 2022-02-08 |
JPWO2018193708A1 (ja) | 2019-12-19 |
US20210107356A1 (en) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6731116B2 (ja) | ヘッドアップディスプレイ装置およびその表示制御方法 | |
JP6870109B2 (ja) | ヘッドアップディスプレイ装置およびその表示制御方法 | |
US8536995B2 (en) | Information display apparatus and information display method | |
JP6443236B2 (ja) | 虚像提示システム、画像投射装置および虚像提示方法 | |
JP6091586B1 (ja) | 車両用画像処理装置および車両用画像処理システム | |
EP1939040B1 (en) | Driving support method and driving support apparatus | |
EP1961613B1 (en) | Driving support method and driving support device | |
US11215819B2 (en) | Head-up display | |
JPWO2017138297A1 (ja) | 画像表示装置及び画像表示方法 | |
JPWO2011007484A1 (ja) | 運転支援装置、運転支援方法及びプログラム | |
US11803053B2 (en) | Display control device and non-transitory tangible computer-readable medium therefor | |
KR20180022374A (ko) | 운전석과 보조석의 차선표시 hud와 그 방법 | |
JP6626069B2 (ja) | 車両用表示装置 | |
JP2014201197A (ja) | ヘッドアップディスプレイ装置 | |
EP1914117A1 (en) | A method of driving support and a driving support apparatus | |
JP2008236711A (ja) | 運転支援方法及び運転支援装置 | |
JP2015120395A (ja) | 車両情報投影システム | |
JP2018020779A (ja) | 車両情報投影システム | |
JP6186905B2 (ja) | 車載表示装置およびプログラム | |
JP6801508B2 (ja) | ヘッドアップディスプレイ装置 | |
JPWO2018030320A1 (ja) | 車両用表示装置 | |
JP6318772B2 (ja) | 虚像表示装置 | |
JP2019206262A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6731116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |