WO2021172333A1 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
WO2021172333A1
WO2021172333A1 PCT/JP2021/006796 JP2021006796W WO2021172333A1 WO 2021172333 A1 WO2021172333 A1 WO 2021172333A1 JP 2021006796 W JP2021006796 W JP 2021006796W WO 2021172333 A1 WO2021172333 A1 WO 2021172333A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
detecting means
captured image
user
driver
Prior art date
Application number
PCT/JP2021/006796
Other languages
English (en)
French (fr)
Inventor
誠 秦
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Priority to JP2022503637A priority Critical patent/JPWO2021172333A1/ja
Priority to CN202180008936.7A priority patent/CN114929501A/zh
Priority to US17/796,967 priority patent/US11816862B2/en
Priority to DE112021001292.4T priority patent/DE112021001292T5/de
Publication of WO2021172333A1 publication Critical patent/WO2021172333A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/23—Optical features of instruments using reflectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a vehicle display device such as a head-up display device that can display a virtual image on a vehicle front windshield, a combiner, or the like and detect the position of the user's eyes.
  • a vehicle display device such as a head-up display device that can display a virtual image on a vehicle front windshield, a combiner, or the like and detect the position of the user's eyes.
  • a head-up display device that creates and displays a virtual image by the display light reflected by the reflected light-transmitting member by superimposing it on the actual scene (scenery in front of the vehicle) that passes through the reflected light-transmitting member such as the front windshield or combiner of the vehicle. Contributes to safe and comfortable vehicle operation by providing information desired by the user as a virtual image while suppressing the movement of the line of sight of the user such as the driver of the vehicle as much as possible.
  • the head-up display device irradiates the user with infrared light to image the user, and detects the position of the user's eyes (position of the pupil or the like) based on the captured image to look aside. There is something to help grasp the user's condition such as falling asleep.
  • the head-up display device described in Patent Document 1 is formed by reflecting visible light emitted from a display means toward a user by a combiner member to form a display image, and infrared rays are directed toward the user.
  • the infrared irradiation means that irradiates the infrared rays, the mirror member that reflects the visible light emitted from the display means toward the combiner member and transmits the infrared rays reflected by the user and the combiner member, and the infrared rays that pass through the mirror member are sensed.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle display device capable of stably detecting the position of the user's eyes even when external light is incident.
  • the present invention projects display light onto a reflective transmissive member provided in a vehicle, superimposes the display light on an actual scene transmitted through the reflective transmissive member, and displays the light reflected by the reflective transmissive member.
  • a virtual image is generated and displayed by light, and infrared light is projected onto the user of the vehicle to image the user, and the viewpoint position of the user can be detected based on the captured image.
  • An eye detecting means for detecting the position of the user's eyes in the captured image, and a viewpoint position detecting means for detecting the viewpoint position based on the eye position detected by the eye detecting means.
  • the feature point detecting means for detecting the position of the feature point of the user in the captured image, the position of the eye detected by the eye detecting means, and the position of the feature point detected by the feature point detecting means.
  • the viewpoint position detecting means is provided with a storage means for storing the positional relationship of the above, and the viewpoint position detecting means is provided with a position of the feature point detected by the feature point detecting means when it is difficult for the eye detecting means to detect the position of the eye. It is characterized in that the viewpoint position is estimated based on the positional relationship stored in the storage means.
  • the vehicle display device includes a face orientation detecting means for detecting the orientation of the user's face, and the viewpoint position detecting means has the orientation of the face detected by the face orientation detecting means.
  • the viewpoint position may be estimated based on the above.
  • the eye detecting means detects the positions of the left and right eyes of the user in the captured image obtained by periodic or irregular imaging during the display of the virtual image, and the storage means separates the left and right eyes.
  • the positional relationship obtained from the captured image when the distance becomes maximum after a predetermined reference time may be stored.
  • the vehicle display device includes a line-of-sight information acquisition means for acquiring the line-of-sight information of the user, and the eye detection means can be obtained by periodic or irregular imaging during the display of the virtual image.
  • the position of the eye in the captured image is detected, and the storage means obtains the positional relationship from the captured image when the user is facing the front based on the line-of-sight information acquired by the line-of-sight information acquisition means. May be memorized. "When the user is facing the front” means when the user is facing the direction in which the image is taken, and only when the user's face or line of sight is strictly facing the image direction. It also includes the case where the face and the line of sight satisfy a predetermined condition that seems to be facing the imaging direction instead of pointing.
  • the position of the user's eyes can be stably detected even when external light is incident.
  • the head-up display device (HUD) 1 as a vehicle display device (vehicle-mounted display) according to the present embodiment is provided below the front windshield 2 of the vehicle, and the front windshield 2 is provided.
  • the display light L 1 which is visible light is projected on a part of.
  • the display light L 1 is reflected by the front windshield 2 to generate a virtual image V, and causes the driver D of the vehicle to visually recognize the virtual image V by superimposing it on the actual scene passing through the front windshield 2.
  • the HUD 1 has a DMS (driver monitoring system) function of monitoring the state of the driver D, projects infrared light L 2 onto the driver D to image the driver D, and operates based on the captured image.
  • DMS driver monitoring system
  • the HUD 1 is covered with a housing 3 formed of a black ABS resin or the like to prevent the intrusion of external light and is partitioned from the outside, and the housing 3 is a transparent resin such as polycarbonate (not shown).
  • a translucent portion 4 covered with is formed.
  • a display unit 5, a folding mirror 6, a concave mirror 7, an infrared light irradiation unit 8, a camera 9, and a control unit 10 are held and housed inside the housing 3.
  • the display unit 5 is provided with a light source and a liquid crystal panel made of a chip-type light emitting diode, and the liquid crystal panel two-dimensionally modulates the emitted light of the light source to obtain visible light (display light L).
  • a reflective device such as a DMD (Digital Micromirror Display) may be used.
  • the folding mirror 6 is formed by depositing a metal such as aluminum on a resin such as polycarbonate molded so as to have a flat portion, and simply reflects light.
  • the concave mirror 7 is formed by depositing a metal such as aluminum on a resin such as polycarbonate molded so as to have a concave portion, and has a property of magnifying and reflecting visible light and transmitting infrared light.
  • the infrared light irradiation unit 8 is provided on the back side of the concave mirror 7 (opposite the light transmitting portion 4 and the folding mirror 6 with respect to the concave mirror 7), and emits infrared light (near infrared rays) emitted by a light source composed of a light emitting diode. Irradiate toward 7.
  • the camera 9 includes an image pickup element having sensitivity to infrared light in a wavelength band emitted from the infrared irradiation unit 8 and a lens capable of transmitting infrared light and forming an image on the image pickup device, and provides a near-infrared image. To shoot.
  • the control unit 10 is composed of a microprocessor, a memory, and various electronic components for operating them, a board, and a case, and is a display unit so as to appropriately display the image of the HUD1 based on the vehicle information and the input information of the driver D. 5 is controlled.
  • the control unit 10 detects the positions of the pupils C (or the center of the iris I) of the left and right eyes E of the driver D based on the contrast of the image P captured by the camera 9. detecting the position of the midpoint C 1 of the left and right pupils C as the viewpoint position.
  • the detected viewpoint position can be used for detecting the state of the driver D (looking aside, taking a nap, etc.) and controlling the display of the HUD1.
  • control unit 10 has the contour F 1 (including the tip F 2 of the nose) of the face F of the driver D, the left and right ears Y, and the left and right ears Y based on the contrast of the image P captured by the camera 9.
  • Center Y 1 , left and right eyebrows B, left and right eyebrows B center B 1 , between eyebrows Q, left and right eye E contours E 1 (including outer corners E 2 and inner corners E 3 ), nose N contours N 1 (left and right) Includes the nose edge N 2 ), the center N 3 of the left and right nose edges N 2 , the left and right nostrils N 4 , the center N 5 of the left and right nostrils N 4 , the nose muscle N 6 , and the tip of the nose N 7.
  • the captured image used for acquiring the positional relationship stored in the control unit 10 is also referred to as a “reference image”).
  • the display light L 1 from the display unit 5 is reflected by the folding mirror 6, then enlarged and reflected by the concave mirror 7, passes through the light transmitting portion 4, and is projected onto the front windshield 2.
  • the display light L 1 projected on the front windshield 2 is enlarged and reflected toward the driver D, generates a virtual image V, and is displayed on the driver D overlaid on the actual scene transmitted through the front windshield 2.
  • the infrared light L 2 from the infrared light irradiation unit 8 passes through the concave mirror 7, passes through the light transmitting portion 4, and is projected onto the front windshield 2, and is projected onto the front windshield 2 by the front windshield 2 toward the driver D. It is reflected and irradiates the driver D. Then, when reflected by the driver D, a part of the infrared light L 2 follows the opposite path, and the driver D is imaged by the infrared light L 2 transmitted through the concave mirror 7 and incident on the camera 9.
  • the captured image P is input to the control unit 10. This imaging is performed periodically or irregularly during the display of the virtual image V, and here, a moving image at a regular frame rate is performed while the virtual image V is displayed.
  • the captured image P of the driver D is input, detects the position of the pupil C of the left and right eyes E of the driver D, the position of the midpoint C 1 of the left and right pupils C viewpoint position Detect as.
  • the infrared component windshield of intense external light L 3 of sunlight 2.
  • an overexposed noise region S as shown in FIG. 4 is generated in the captured image P, and the driver D's eye E (right eye in FIG. 4). It may interfere with the detection of the position of E).
  • the control unit 10 acquires and stores the positional relationship between the position of the pupil C and the position of the feature point T from the captured image P normally captured in advance (in a state where the face F is not hidden by the noise region S). Then, when it is difficult to detect the position of the pupil C due to the presence of the noise region S in the captured image P captured thereafter, the position of the feature point T detected from the captured image P and the positional relationship stored in advance are determined. based on the position of the left and right pupils C, and estimates the turn viewpoint position (position of the midpoint C 1).
  • the control unit 10 detects the position of the eye E (pupil C) of the driver D in the captured image P, and detects the viewpoint position based on the detected position of the eye E. Further, the control unit 10 detects the position of the feature point T of the driver D's face F (preferably the position of the plurality of feature points T) in the captured image P (reference image), and sets the position of the detected eye E.
  • the positional relationship with the detected feature point T position is memorized, and when it is difficult to detect the position of the eye E, based on the position of the feature point T detected at that time and the pre-stored positional relationship. Estimate the viewpoint position.
  • the external light L 3 of one or both of the positions of the left and right eyes E can be estimated eye position E as long obtain the position of the feature point T by imaging, reduces the probability of missed detection of the position of the eye E, the external light L 3 can be detected stably position of even the eye E is incident.
  • the driver D since the image of the driver D is performed while the virtual image V is displayed, the driver D faces the front direction of the vehicle (the imaging direction of the camera 9) on the eye box surface of the HUD 1 and visually recognizes the virtual image V. (Otherwise, driver D cannot see the virtual image V).
  • the control unit 10 is in the captured image P obtained by periodic or irregular imaging during the display of the virtual image V.
  • the positions of the left and right eyes E of the driver D may be detected, and the distance between the left and right eyes E (here, the distance between the left and right pupils C) may be a predetermined reference time (when the display of the virtual image V is started).
  • the reference image may be updated by using the captured image P at the maximum as the reference image, and the positional relationship may be calculated and stored from the reference image.
  • the control unit 10 overwrites the positional relationship obtained from the new captured image P as a reference image, and the positional relationship stored in the control unit 10 is updated. By doing so, the viewpoint position can be accurately estimated based on the positional relationship in the situation where the driver D is facing the front more reliably.
  • the control unit 10 acquires information on the line-of-sight of the driver D based on the captured image P and the driver D is facing the front based on the acquired line-of-sight information, then By memorizing the positional relationship obtained from the captured image P as the reference image, the viewpoint position can be accurately estimated based on the positional relationship in the situation where the driver D is facing the front more reliably. Will be. If the accuracy with which the driver D is facing the front in the reference image is to be improved, the line of sight of the driver D in the newly captured image P is more than the line of sight of the driver D in the captured image P which is the reference image at a certain point in time. When it is considered that the line of sight is facing the front, the control unit 10 overwrites the positional relationship obtained from the new captured image P as a reference image, and the positional relationship stored in the control unit 10 is used. You may update it.
  • the control unit 10 also detects the orientation of the face F of the driver D from the position of the feature point T in the captured image P, difficult to detect one or both of the positions of the left and right eyes E by the influence of the external light L 3
  • the viewpoint position may be estimated based on the position of the feature point T detected at that time, the positional relationship stored in advance, and the orientation of the face F.
  • the control unit 10 stores the distance K between the pupil C and the ear Y as one of the positional relationships with respect to the driver D (originally, the positional relationship is on the captured image P).
  • the distance between the driver D's ear Y and the pupil C is shown.
  • the viewpoint position is estimated using the distance K, but when it is difficult to detect the position of the eye E, the face F of the driver D faces diagonally by an angle ⁇ . If so (FIG. 5B), the viewpoint position is estimated using the distance Kcos ⁇ instead of the distance K.
  • the estimation accuracy of the position of the pupil C is lowered. It is possible to suppress the situation.
  • the front windshield of the vehicle is used as a reflective and translucent member to project the display light, but a combiner may be used instead of the front windshield.
  • the positional relationship obtained from the other left and right eyes E may be used to estimate the position of one of the left and right eyes E, and if the position of the pupil C of the right eye E cannot be obtained, the outer corner E 2 and the inner corner of the eye may be estimated. If the position of E 3 can be obtained and the positions of the pupil C of the left eye E, the outer corner of the eye E 2 and the inner corner of the eye E 3 can be obtained, then the pupil C and the outer corner of the eye E 2 obtained for the left eye E can be obtained. The position of the pupil C of the right eye E may be estimated based on the positional relationship with the inner corner of the eye E 3 and the positions of the outer corner E 2 and the inner corner E 3 of the right eye E.
  • an image is taken as a calibration of the DMS with the face F facing the HUD display (virtual image V), and this captured image may be used as a reference image.
  • Head-up display device (vehicle display device) 2 Front windshield (reflection and translucent member) 9 camera 10 Control unit (eye detection means, viewpoint position detection means, feature point detection means, storage means, face orientation detection means, line-of-sight information acquisition means) C pupil D Driver (user) E eye F face L 1 display light L 2 infrared light P captured image T feature point V virtual image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)

Abstract

外光が入射しても利用者の目の位置を安定的に検出することができる車両用表示装置を提供する。 本発明に係る車両用表示装置としてのヘッドアップディスプレイ装置(１)は、車両のフロントウインドシールド(２)に表示光(Ｌ１)を投影し、フロントウインドシールド(２)を透過する実景に重ねてフロントウインドシールド(２)に反射された表示光(Ｌ１)により虚像(Ｖ)を生成して表示するとともに、車両の運転者(Ｄ)に赤外光(Ｌ２)を投影して運転者(Ｄ)を撮像し、その撮像画像に基づいて運転者(Ｄ)の目(Ｅ)の位置を検出可能なもので、制御部(１０)が、撮像画像における運転者(Ｄ)の顔の特徴点の位置を検出して検出された目(Ｅ)の位置との位置関係を記憶しておき、撮像画像における目(Ｅ)の位置の検出が困難な場合に、そのときに検出された特徴点の位置及びあらかじめ記憶された位置関係に基づいて運転者(Ｄ)の視点位置を推定する。

Description

車両用表示装置
　本発明は、車両のフロントウインドシールドやコンバイナ等に虚像を表示するとともに、利用者の目の位置を検出可能なヘッドアップディスプレイ装置等の車両用表示装置に関する。
　車両のフロントウインドシールドやコンバイナ等の反射透光部材を透過する実景（車両前方の風景）に重ねて、その反射透光部材に反射された表示光により虚像を生成して表示するヘッドアップディスプレイ装置は、車両の運転者等の利用者の視線移動を極力抑えつつ、利用者が所望する情報を虚像により提供することによって、安全で快適な車両運行に寄与する。
　また、ヘッドアップディスプレイ装置には、利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目の位置（瞳孔等の位置）を検出することにより、脇見や居眠り等の利用者の状態把握に供するものがある。
　例えば特許文献１に記載のヘッドアップディスプレイ装置は、表示手段から発せられる可視光をコンバイナ部材にて利用者に向けて反射して表示像を結像してなるもので、利用者に向けて赤外線を照射する赤外線照射手段と、表示手段から発せられる可視光をコンバイナ部材に向けて反射し、利用者及びコンバイナ部材にて反射される赤外線を透過するミラー部材と、ミラー部材を透過する赤外線を感受して利用者をそれぞれ異なる方向から撮像する複数の撮像手段と、撮像手段によって撮像された画像に基づいて利用者の目の位置を算出する画像処理手段とを備え、利用者の目の位置を精度良く算出することが可能となっている。 
特開２００８－１２６９８４号公報
　ところで、ヘッドアップディスプレイ装置に太陽光や街灯の光等の強い外光が入射すると、撮像画像に外光のノイズが加わり、利用者の目の位置の検出に失敗するという問題があった。特許文献１に記載のヘッドアップディスプレイ装置では、外光の赤外成分がミラー部材を透過して撮像手段に入射すると、撮像画像にサチュレーション等による白飛びしたノイズ領域が形成され、このノイズ領域は、撮像画像において必ずしも利用者の目の位置（目の像の位置）と重なり合っていなくても、目の位置の検出に支障を来すことがある。
　本発明は、上記の事情に鑑みてなされたもので、外光が入射しても利用者の目の位置を安定的に検出することができる車両用表示装置を提供することを課題としている。
　上記課題を解決するために、本発明は、車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の視点位置を検出可能な車両用表示装置であって、前記撮像画像における前記利用者の目の位置を検出する目検出手段と、前記目検出手段により検出された前記目の位置に基づいて前記視点位置を検出する視点位置検出手段と、前記撮像画像における前記利用者の特徴点の位置を検出する特徴点検出手段と、前記目検出手段により検出された前記目の位置と前記特徴点検出手段により検出された前記特徴点の位置との位置関係を記憶する記憶手段とを備え、前記視点位置検出手段は、前記目検出手段による前記目の位置の検出が困難な場合に、前記特徴点検出手段により検出された前記特徴点の位置及び前記記憶手段に記憶された前記位置関係に基づいて前記視点位置を推定することを特徴とする。「前記目検出手段による前記目の位置の検出が困難な場合」とは、目検出手段が目の位置の検出に失敗した場合のみを指すのではなく、外光の入射等により目の位置の検出が困難と思われる所定の条件を満たした場合も含む。
　また、本発明に係る車両用表示装置は、前記利用者の顔の向きを検出する顔向き検出手段を備え、前記視点位置検出手段は、前記顔向き検出手段により検出された前記顔の向きに基づいて前記視点位置を推定してもよい。
　前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記利用者の左右の目の位置を検出し、前記記憶手段は、前記左右の目の離間距離が所定の基準時以降最大となったときの撮像画像から得られる前記位置関係を記憶してもよい。
　あるいは、本発明に係る車両用表示装置は、前記利用者の視線情報を取得する視線情報取得手段を備え、前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記目の位置を検出し、前記記憶手段は、前記視線情報取得手段により取得された視線情報に基づいて前記利用者が正面を向いているときの撮像画像から得られる前記位置関係を記憶してもよい。「前記利用者が正面を向いているとき」とは、前記利用者が撮像される方向を向いているときを意味し、利用者の顔や視線が厳密に撮像方向を向いている場合のみを指すのではなく、顔や視線が撮像方向を向いていると思われる所定の条件を満たしている場合も含む。
　本発明に係る車両用表示装置によれば、外光が入射しても利用者の目の位置を安定的に検出することができる。 
発明を実施するための形態に係るヘッドアップディスプレイ装置を示す説明図である。 図１のヘッドアップディスプレイ装置による運転者の撮像画像を特徴点とともに示す説明図である。 図１のヘッドアップディスプレイ装置に外光が侵入する様子を示す説明図である。 外光によるノイズ領域が含まれた撮像画像を示す説明図である。 （ａ）は運転者が虚像を視認して顔が正面を向いている様子を平面視で示す説明図、（ｂ）は運転者の顔が斜めを向いている様子を平面視で示す説明図である。
　本発明を実施するための形態について、図面に基づいて説明する。 
　図１に示すように、本実施の形態に係る車両用表示装置（車載表示器）としてのヘッドアップディスプレイ装置（ＨＵＤ）１は、車両のフロントウインドシールド２の下方に設けられ、フロントウインドシールド２の一部に可視光である表示光Ｌ１を投影する。表示光Ｌ１は、フロントウインドシールド２に反射されて虚像Ｖを生成し、車両の運転者Ｄにフロントウインドシールド２を透過する実景に重ねて虚像Ｖを視認させる。
　また、ＨＵＤ１は、運転者Ｄの状態をモニターするＤＭＳ（ドライバーモニタリングシステム）の機能を持ち、運転者Ｄに赤外光Ｌ２を投影して運転者Ｄを撮像し、撮像画像に基づいて運転者Ｄの目Ｅの位置を検出可能である。
　詳細には、ＨＵＤ１は、黒色のＡＢＳ樹脂等により成形されて外光の侵入が防止された筐体３に覆われて外部と区画され、筐体３には図示を略すポリカーボネート等の透明な樹脂で覆われた透光部４が形成されている。筐体３の内部には、表示ユニット５と、折返鏡６と、凹面鏡７と、赤外光照射ユニット８と、カメラ９と、制御部１０とが保持・収容されている。
　表示ユニット５は、ここでは、チップ型の発光ダイオードからなる光源及び液晶パネルが設けられ、液晶パネルが光源の出射光を２次元的に変調することにより、可視光である映像光（表示光Ｌ１）を投影表示するが、ＤＭＤ（デジタル・マイクロミラー・ディスプレイ）等の反射型デバイスを使用してもよい。折返鏡６は、平面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、光を単純に反射する。凹面鏡７は、凹面部分を有するように成形されたポリカーボネート等の樹脂にアルミニウム等の金属を蒸着してなり、可視光を拡大して反射するとともに、赤外光を透過させる特性を有する。
　赤外光照射ユニット８は、凹面鏡７の裏側（凹面鏡７に対して透光部４及び折返鏡６の反対側）に設けられ、発光ダイオードからなる光源が発する赤外光（近赤外線）を凹面鏡７に向けて照射する。カメラ９は、赤外照射ユニット８から照射される波長帯の赤外光に感度を有する撮像素子、及び、赤外光を透過してその撮像素子に結像させ得るレンズを備え、近赤外線画像を撮影する。
　制御部１０は、マイクロプロセッサ、メモリ及びそれらを動作させるための各種電子部品、基板、ケースからなり、車両情報や運転者Ｄの入力情報に基づいてＨＵＤ１の映像を適切に表示するように表示ユニット５を制御する。
　また、制御部１０は、図２に示すように、カメラ９による撮像画像Ｐのコントラストに基づいて、運転者Ｄの左右の目Ｅの瞳孔Ｃ（又は虹彩Ｉの中心）の位置を検出し、この左右の瞳孔Ｃの中間点Ｃ１の位置を視点位置として検出する。検出された視点位置は、運転者Ｄの状態検出（脇見や居眠り等）やＨＵＤ１の表示制御に利用可能である。
　さらに、制御部１０は、カメラ９による撮像画像Ｐのコントラストに基づいて、運転者Ｄの顔Ｆの輪郭Ｆ１（顎の先端Ｆ２を含む。）、左右の耳Ｙ、左右の耳Ｙの中心Ｙ１、左右の眉毛Ｂ、左右の眉毛Ｂの中心Ｂ１、眉間Ｑ、左右の目Ｅの輪郭Ｅ１（目尻Ｅ２及び目頭Ｅ３を含む。）、鼻Ｎの輪郭Ｎ１（左右の鼻の淵Ｎ２を含む。）、左右の鼻の淵Ｎ２の中心Ｎ３、左右の鼻の穴Ｎ４、左右の鼻の穴Ｎ４の中心Ｎ５、鼻筋Ｎ６、鼻尖Ｎ７、人中Ｒ、口Ｍの輪郭Ｍ１（左右の口角Ｍ２を含む。）、左右の口角Ｍ２の中心Ｍ３等の特徴点Ｔの位置を検出するとともに、検出された瞳孔Ｃの位置と検出された特徴点Ｔの位置との位置関係を内部メモリに記憶する（以下、制御部１０に記憶される位置関係の取得に用いられる撮像画像を「基準画像」ともいう。）。
　ＨＵＤ１において、表示ユニット５からの表示光Ｌ１は、折返鏡６で反射され、次いで、凹面鏡７で拡大して反射され、透光部４を通過してフロントウインドシールド２に投影される。フロントウインドシールド２に投影された表示光Ｌ１は、運転者Ｄの側に拡大して反射され、虚像Ｖを生成してフロントウインドシールド２を透過する実景に重ねて運転者Ｄに表示する。
　一方、赤外光照射ユニット８からの赤外光Ｌ２は、凹面鏡７を透過し、透光部４を通過してフロントウインドシールド２に投影され、フロントウインドシールド２で運転者Ｄの側に反射されて運転者Ｄを照射する。そして、運転者Ｄに反射されると赤外光Ｌ２の一部は逆の経路を辿り、凹面鏡７を透過してカメラ９に入射した赤外光Ｌ２により運転者Ｄが撮像され、その撮像画像Ｐが制御部１０に入力される。この撮像は、虚像Ｖの表示中、定期的又は不定期的に行われ、ここでは、虚像Ｖが表示されている間、定期的なフレームレートの動画撮像が行われる。
　制御部１０は、運転者Ｄの撮像画像Ｐが入力されると、運転者Ｄの左右の目Ｅの瞳孔Ｃの位置を検出し、この左右の瞳孔Ｃの中間点Ｃ１の位置を視点位置として検出する。ただ、本来は、図２に示すような運転者Ｄの撮像画像Ｐが得られるはずであるが、図３に示すように、太陽光等の強い外光Ｌ３の赤外成分がフロントウインドシールド２、透光部４、凹面鏡７を透過してカメラ９に入射すると、撮像画像Ｐには図４に示すような白飛びしたノイズ領域Ｓが生じ、運転者Ｄの目Ｅ（図４では右目Ｅ）の位置の検出に支障を来すことがある。
　そこで、制御部１０は、あらかじめ正常に（ノイズ領域Ｓによって顔Ｆが隠れていない状態で）撮像された撮像画像Ｐから瞳孔Ｃの位置と特徴点Ｔの位置との位置関係を取得して記憶し、その後撮像した撮像画像Ｐについてノイズ領域Ｓの存在により瞳孔Ｃの位置の検出が困難な場合に、その撮像画像Ｐから検出される特徴点Ｔの位置、及び、あらかじめ記憶した前記位置関係に基づいて、左右の瞳孔Ｃの位置、ひいては視点位置（中間点Ｃ１の位置）を推定する。
　本実施の形態に係るＨＵＤ１では、制御部１０は、撮像画像Ｐにおける運転者Ｄの目Ｅ（瞳孔Ｃ）の位置を検出し、検出された目Ｅの位置に基づいて視点位置を検出する。さらに、制御部１０は、撮像画像Ｐ（基準画像）における運転者Ｄの顔Ｆの特徴点Ｔの位置（望ましくは複数の特徴点Ｔの位置）を検出し、検出された目Ｅの位置と検出された特徴点Ｔの位置との位置関係を記憶して、目Ｅの位置の検出が困難な場合に、そのときに検出された特徴点Ｔの位置及びあらかじめ記憶された位置関係に基づいて視点位置を推定する。
　したがって、たとえ左右の目Ｅの一方又は両方の位置の検出が外光Ｌ３の影響により困難であっても、撮像により特徴点Ｔの位置が得られれば目Ｅの位置の推定が可能で、目Ｅの位置の検出に失敗する確率が低減し、外光Ｌ３が入射しても目Ｅの位置を安定的に検出することが可能となる。
　また、運転者Ｄの撮像は、虚像Ｖの表示中に行われるので、運転者ＤがＨＵＤ１のアイボックス面において車両の正面方向（カメラ９の撮像方向）を向き虚像Ｖを視認している状況と仮定することができる（そうでなければ、運転者Ｄは、虚像Ｖを視認することができない。）。一方、運転者Ｄがなるべく正面を向いている状態の撮像画像Ｐを基準画像とする方が、視点位置を高精度に推定しやすいから、運転者Ｄの撮像が虚像Ｖの表示中に行われることにより、視点位置の推定精度を高めることができる。
　運転者Ｄがより確実に正面を向いている撮像画像Ｐを基準画像とするのであれば、制御部１０が、虚像Ｖの表示中の定期的又は不定期的な撮像により得られる撮像画像Ｐにおける運転者Ｄの左右の目Ｅの位置を検出し、その左右の目Ｅの離間距離（ここでは、左右の瞳孔Ｃの間隔）が所定の基準時（虚像Ｖの表示を開始した時点でもよい。）以降最大となったときの撮像画像Ｐを基準画像とすることにより基準画像を更新し、その基準画像から位置関係を算出して記憶すればよい。
　すなわち、左右の目Ｅの離間距離は、運転者Ｄがきちんと正面を向いているほど大きくなるから、基準画像とした撮像画像Ｐにおける左右の目Ｅの離間距離よりも、新たに撮像した撮像画像Ｐにおける左右の目Ｅの離間距離の方が大きければ、その新たな撮像画像Ｐを基準画像としてそれから得られる位置関係を制御部１０に上書きし、制御部１０に記憶されている位置関係を更新することによって、運転者Ｄがより確実に正面を向いている状況での位置関係に基づいて視点位置を正確に推定することができるようになる。
　あるいは、制御部１０が撮像画像Ｐに基づいて運転者Ｄの視線に関する情報を取得し、その取得された視線情報に基づいて運転者Ｄが正面を向いていると考えられるのであれば、そのときの撮像画像Ｐを基準画像として、それから得られる位置関係を記憶することによって、運転者Ｄがより確実に正面を向いている状況での位置関係に基づいて視点位置を正確に推定することができるようになる。基準画像において運転者Ｄが正面を向いている精度を高めるのであれば、ある時点で基準画像としている撮像画像Ｐにおける運転者Ｄの視線よりも、新たに撮像した撮像画像Ｐにおける運転者Ｄの視線の方がより正面を向いていると考えられるときに、その新たな撮像画像Ｐを基準画像としてそれから得られる位置関係を制御部１０に上書きし、制御部１０に記憶されている位置関係を更新してもよい。
　また、制御部１０は、撮像画像Ｐにおける特徴点Ｔの位置から運転者Ｄの顔Ｆの向きも検出し、左右の目Ｅの一方又は両方の位置の検出が外光Ｌ３の影響により困難な場合に、そのときに検出された特徴点Ｔの位置、あらかじめ記憶された位置関係及び顔Ｆの向きに基づいて視点位置を推定してもよい。
　例えば、制御部１０は、図５に示すように、運転者Ｄについて位置関係の一つとして瞳孔Ｃと耳Ｙとの距離Ｋを記憶している場合に（本来、位置関係は撮像画像Ｐ上で把握すればよいが、図５においては、便宜上、運転者Ｄの耳Ｙと瞳孔Ｃとの距離を示す。）、目Ｅの位置の検出が困難なときに運転者Ｄの顔Ｆが正面を向いていれば（図５（ａ））、その距離Ｋを用いて視点位置を推定するが、目Ｅの位置の検出が困難なときに運転者Ｄの顔Ｆが角度θだけ斜めを向いていれば（図５（ｂ））、距離Ｋではなく距離Ｋｃｏｓθを用いて視点位置を推定する。つまり、左右の瞳孔Ｃが車両の前後方向（奥行方向）にずれた位置にあり、その間隔（瞳孔間距離）が車両の左右方向に狭くなっていても、瞳孔Ｃの位置の推定精度が低下する事態を抑制することができる。
　以上、本発明を実施するための形態について例示したが、本発明の実施形態は上述したものに限られず、発明の趣旨を逸脱しない範囲で適宜変更等してもよい。
　例えば、上記実施の形態では、車両のフロントウインドシールドを反射透光部材として表示光を投影したが、フロントウインドシールドに代えてコンバイナを用いてもよい。
　また、左右の一方の目Ｅの位置の推定に左右の他方の目Ｅから得られる位置関係を用いてもよく、もし右目Ｅの瞳孔Ｃの位置は取得することができないが目尻Ｅ２及び目頭Ｅ３の位置を取得することができ、かつ、左目Ｅの瞳孔Ｃ、目尻Ｅ２及び目頭Ｅ３の位置を取得することができたのであれば、左目Ｅについて得られる瞳孔Ｃと目尻Ｅ２及び目頭Ｅ３との位置関係、並びに、右目Ｅの目尻Ｅ２及び目頭Ｅ３の位置に基づいて、右目Ｅの瞳孔Ｃの位置を推定してもよい。
　さらに、運転者Ｄが車両の運転席に座った後に顔ＦがＨＵＤ表示（虚像Ｖ）に対して正対する状態でＤＭＳのキャリブレーションとして撮像を行い、この撮像画像を基準画像としてもよい。
１　　ヘッドアップディスプレイ装置（車両用表示装置） 
２　　フロントウインドシールド（反射透光部材） 
９　　カメラ 
１０　制御部（目検出手段、視点位置検出手段、特徴点検出手段、記憶手段、顔向き検出手段、視線情報取得手段） 
Ｃ　　瞳孔 
Ｄ　　運転者（利用者） 
Ｅ　　目 
Ｆ　　顔 
Ｌ１　 表示光 
Ｌ２　 赤外光 
Ｐ　　撮像画像 
Ｔ　　特徴点 
Ｖ　　虚像 

Claims (4)

  1. 　車両に設けられた反射透光部材に表示光を投影し、前記反射透光部材を透過する実景に重ねて前記反射透光部材に反射された表示光により虚像を生成して表示するとともに、前記車両の利用者に赤外光を投影して前記利用者を撮像し、その撮像画像に基づいて前記利用者の視点位置を検出可能な車両用表示装置であって、
    　前記撮像画像における前記利用者の目の位置を検出する目検出手段と、 
    　前記目検出手段により検出された前記目の位置に基づいて前記視点位置を検出する視点位置検出手段と、 
    　前記撮像画像における前記利用者の特徴点の位置を検出する特徴点検出手段と、 
    　前記目検出手段により検出された前記目の位置と前記特徴点検出手段により検出された前記特徴点の位置との位置関係を記憶する記憶手段とを備え、
    　前記視点位置検出手段は、前記目検出手段による前記目の位置の検出が困難な場合に、前記特徴点検出手段により検出された前記特徴点の位置及び前記記憶手段に記憶された前記位置関係に基づいて前記視点位置を推定することを特徴とする車両用表示装置。
  2. 　前記利用者の顔の向きを検出する顔向き検出手段を備え、 
    　前記視点位置検出手段は、前記顔向き検出手段により検出された前記顔の向きに基づいて前記視点位置を推定することを特徴とする請求項１に記載の車両用表示装置。
  3. 　前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記利用者の左右の目の位置を検出し、
    　前記記憶手段は、前記左右の目の離間距離が所定の基準時以降最大となったときの撮像画像から得られる前記位置関係を記憶することを特徴とする請求項１又は請求項２に記載の車両用表示装置。
  4. 　前記利用者の視線情報を取得する視線情報取得手段を備え、 
    　前記目検出手段は、前記虚像の表示中の定期的又は不定期的な撮像により得られる撮像画像における前記目の位置を検出し、 
    　前記記憶手段は、前記視線情報取得手段により取得された視線情報に基づいて前記利用者が正面を向いているときの撮像画像から得られる前記位置関係を記憶することを特徴とする請求項１又は請求項２に記載の車両用表示装置。
PCT/JP2021/006796 2020-02-28 2021-02-24 車両用表示装置 WO2021172333A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022503637A JPWO2021172333A1 (ja) 2020-02-28 2021-02-24
CN202180008936.7A CN114929501A (zh) 2020-02-28 2021-02-24 车辆用显示装置
US17/796,967 US11816862B2 (en) 2020-02-28 2021-02-24 Vehicle display device
DE112021001292.4T DE112021001292T5 (de) 2020-02-28 2021-02-24 Anzeigevorrichtung für Fahrzeuge

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020032500 2020-02-28
JP2020-032500 2020-02-28

Publications (1)

Publication Number Publication Date
WO2021172333A1 true WO2021172333A1 (ja) 2021-09-02

Family

ID=77491093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006796 WO2021172333A1 (ja) 2020-02-28 2021-02-24 車両用表示装置

Country Status (5)

Country Link
US (1) US11816862B2 (ja)
JP (1) JPWO2021172333A1 (ja)
CN (1) CN114929501A (ja)
DE (1) DE112021001292T5 (ja)
WO (1) WO2021172333A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001071843A (ja) * 1999-09-07 2001-03-21 Mazda Motor Corp 車両の表示装置
JP2008126984A (ja) * 2006-11-27 2008-06-05 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP2010058633A (ja) * 2008-09-03 2010-03-18 Aisin Aw Co Ltd 車両用計器表示装置、車両用計器表示方法及びコンピュータプログラム
JP2011152883A (ja) * 2010-01-28 2011-08-11 Toyota Motor Corp 撮像装置
JP2012163613A (ja) * 2011-02-03 2012-08-30 Denso Corp 虚像表示装置
KR20130068732A (ko) * 2011-12-16 2013-06-26 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법
JP2019206262A (ja) * 2018-05-29 2019-12-05 日本精機株式会社 表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1083076A3 (en) 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP4686586B2 (ja) * 2008-09-19 2011-05-25 株式会社東芝 車載用表示装置及び表示方法
US10860093B1 (en) * 2019-08-28 2020-12-08 GM Global Technology Operations LLC Eye location tracking device integrated with head-up display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001071843A (ja) * 1999-09-07 2001-03-21 Mazda Motor Corp 車両の表示装置
JP2008126984A (ja) * 2006-11-27 2008-06-05 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP2010058633A (ja) * 2008-09-03 2010-03-18 Aisin Aw Co Ltd 車両用計器表示装置、車両用計器表示方法及びコンピュータプログラム
JP2011152883A (ja) * 2010-01-28 2011-08-11 Toyota Motor Corp 撮像装置
JP2012163613A (ja) * 2011-02-03 2012-08-30 Denso Corp 虚像表示装置
KR20130068732A (ko) * 2011-12-16 2013-06-26 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법
JP2019206262A (ja) * 2018-05-29 2019-12-05 日本精機株式会社 表示装置

Also Published As

Publication number Publication date
JPWO2021172333A1 (ja) 2021-09-02
CN114929501A (zh) 2022-08-19
US20230054971A1 (en) 2023-02-23
DE112021001292T5 (de) 2023-01-26
US11816862B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
JP6470335B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP5267727B2 (ja) 画像位置調整装置
JP6497158B2 (ja) 表示装置、移動体
JP4682470B2 (ja) スキャン型ディスプレイ装置
JP5230748B2 (ja) 視線方向判定装置及び視線方向判定方法
JP6445607B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
WO2017090319A1 (ja) 視線方向検出装置、及び視線方向検出システム
US10503989B2 (en) Image processing apparatus, imaging apparatus, camera monitor system, and image processing method
JP2007004448A (ja) 視線検出装置
JP2006248365A (ja) 移動体の後方監視ミラー、運転者撮影装置、運転者監視装置および安全運転支援装置
JP2008242134A (ja) 表示装置
JP5259429B2 (ja) 表示装置
JP2002316580A (ja) カメラ内蔵ミラー装置
JP6697751B2 (ja) 車両用表示システム、電子ミラーシステム及び移動体
JP2011152883A (ja) 撮像装置
JPH11142784A (ja) 位置検出機能付きヘッドマウントディスプレイ
JP6717330B2 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
JP4692496B2 (ja) 車両用表示装置
WO2021172333A1 (ja) 車両用表示装置
JP2016170052A (ja) 目検出装置及び車両用表示システム
JP2022056520A (ja) 車両用表示装置
JP2021160439A (ja) ヘッドアップディスプレイ装置
JP2021133801A (ja) 車両用表示装置
JP2017162233A (ja) 視線検出装置および視線検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761063

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503637

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21761063

Country of ref document: EP

Kind code of ref document: A1