WO2019111520A1 - 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム - Google Patents

投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム Download PDF

Info

Publication number
WO2019111520A1
WO2019111520A1 PCT/JP2018/037515 JP2018037515W WO2019111520A1 WO 2019111520 A1 WO2019111520 A1 WO 2019111520A1 JP 2018037515 W JP2018037515 W JP 2018037515W WO 2019111520 A1 WO2019111520 A1 WO 2019111520A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection control
projection
unit
reference position
Prior art date
Application number
PCT/JP2018/037515
Other languages
English (en)
French (fr)
Inventor
領平 須永
栗原　誠
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2019111520A1 publication Critical patent/WO2019111520A1/ja
Priority to US16/891,099 priority Critical patent/US11597278B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Definitions

  • the present invention relates to a projection control device, a head-up display device, a projection control method, and a program.
  • a head-up display device which projects information provided to the driver, such as route guidance information or speed information, as a virtual image in front of the driver's line of sight.
  • the head-up display device needs to set the display position of the virtual image correctly to the viewer in order for the viewer to view the virtual image correctly.
  • the head-up display device in order to accurately set the display position of the virtual image to the correct position with respect to the viewer, it is preferable to detect the relative positional relationship of the pupil position of the viewer with respect to the virtual image.
  • the present invention has been made in view of the above, and an object thereof is to detect a relative positional relationship of a pupil position of a viewer with respect to a virtual image.
  • a projection control apparatus controls projection of a display image so that a virtual image is viewed forward by a projection unit of a head-up display device.
  • a video data acquisition unit that acquires a captured image captured by an imaging unit capable of capturing a viewer, and a detection unit that detects a relative positional relationship of the viewer's pupil position with respect to the virtual image;
  • the projection control unit controls the projection unit to project the reference position determination video projected toward the viewer, and the detection unit is projected to the viewer acquired by the video data acquisition unit.
  • a relative positional relationship of a pupil position of the viewer with respect to the virtual image is detected based on a captured image obtained by capturing the reference position determination video.
  • a head-up display device includes the projection control device described above, and at least one of the projection unit and the photographing unit.
  • the projection control step of controlling the projection of the display image so that the virtual image is viewed forward by the projection unit of the head-up display device, and the imaging unit capable of imaging the viewer The image data acquisition step of acquiring a photographed image, and the detection step of detecting a relative positional relationship of the pupil position of the viewer with respect to the virtual image, wherein the projection control step includes the viewer by the projection unit. Control the projection of the reference position determination video projected toward the target, and the detection step is based on the captured image obtained by capturing the reference position determination video projected by the viewer, acquired in the video data acquisition step Then, the relative positional relationship of the pupil position of the viewer with respect to the virtual image is detected.
  • a program according to the present invention includes a projection control step of controlling projection of a display image so that a virtual image is viewed forward by a projection unit of a head-up display device, and a captured image captured by a capturing unit capable of capturing a viewer.
  • Image data acquisition step of acquiring the image data, and detection step of detecting a relative positional relationship of the pupil position of the viewer with respect to the virtual image, and the projection control step is directed to the viewer by the projection unit.
  • Control the projection of the reference position determination image to be projected, and the detection step is performed based on the captured image obtained by capturing the reference position determination image projected by the viewer, acquired in the image data acquisition step It operates as a projection control device to detect a relative positional relationship of a pupil position of the viewer with respect to the virtual image. To be executed by a computer.
  • the relative positional relationship of the pupil position of the viewer with respect to the virtual image can be detected.
  • FIG. 1 is a block diagram showing a configuration example of a projection control apparatus for a vehicle according to the first embodiment.
  • FIG. 2 is a schematic view showing an example of the configuration of the head-up display device according to the first embodiment.
  • FIG. 3 is a view showing an example of a reference position determination image displayed by the vehicle projection control device according to the first embodiment.
  • FIG. 4 is a view showing another example of the reference position determination video image displayed by the vehicle projection control device according to the first embodiment.
  • FIG. 5 is a view showing an example of the pupil position of the driver detected by the vehicle projection control device according to the first embodiment.
  • FIG. 6 is a view showing another example of the pupil position of the driver detected by the vehicle projection control device according to the first embodiment.
  • FIG. 1 is a block diagram showing a configuration example of a projection control apparatus for a vehicle according to the first embodiment.
  • FIG. 2 is a schematic view showing an example of the configuration of the head-up display device according to the first embodiment.
  • FIG. 3 is a
  • FIG. 7 is a view for explaining an image projected by the vehicle projection control device according to the first embodiment.
  • FIG. 8 is a flowchart showing the flow of processing in the projection control apparatus for a vehicle according to the first embodiment.
  • FIG. 9 is a view for explaining an image projected by the vehicle projection control device according to the first embodiment.
  • FIG. 10 is a view for explaining an image projected by the vehicle projection control device according to the first embodiment.
  • FIG. 11 is a block diagram showing a configuration example of a projection control apparatus for a vehicle according to a second embodiment.
  • FIG. 12 is a view showing an example of a reference position determination image displayed by the vehicle projection control device according to the second embodiment.
  • FIG. 13 is a flowchart showing the flow of processing in the projection control system for a vehicle according to the second embodiment.
  • FIG. 14 is a block diagram showing a configuration example of a projection control apparatus for a vehicle according to the third embodiment.
  • FIG. 15 is a flowchart showing the flow of processing in the projection control system for a vehicle according to the third embodiment.
  • FIG. 16 is a view showing an example of a pupil position of a driver detected by the vehicle projection control device according to the fourth embodiment.
  • FIG. 17 is a flowchart showing the flow of processing in the projection control system for a vehicle according to the fourth embodiment.
  • HUD device head-up display device
  • a projection control method a projection control method
  • program a program according to the present invention
  • FIG. 1 is a block diagram showing a configuration example of a projection control apparatus for a vehicle according to the first embodiment.
  • FIG. 2 is a schematic view showing an example of the configuration of the head-up display device according to the first embodiment.
  • the HUD device 10 projects a display image 200 including, for example, a route guidance image or a speed information image to cause a virtual image of the display image 200 to be viewed in front of the host vehicle.
  • the HUD device 10 can adjust the display position of the virtual image by detecting the pupil position of the driver M by projecting the image display light of the reference position determination image 100 on the face of the driver M at the time of position adjustment. It is.
  • the HUD device 10 has a camera 20, a projection unit 30, and a projection control device 40 for a vehicle. In the present embodiment, the camera 20, the projection unit 30, and the vehicle projection control device 40 are integrally disposed below the dashboard D of the vehicle.
  • the camera 20 shoots the face of the driver M seated in the driver's seat. More specifically, the camera 20 projects the reference position determination video 100 projected toward the face of the driver M and projected onto the face of the driver M as captured video data. In other words, in the captured video data captured by the camera 20, the driver M's face and the reference position determination video 100 are displayed. The camera 20 outputs the captured video data to the video data acquisition unit 42 of the vehicle projection control device 40.
  • the projection unit 30 projects the display image 200 or the reference position determination image 100.
  • the projection unit 30 has a display unit 31, a concave mirror 32, and a reflection unit.
  • the reflecting portion is a windshield S.
  • the projection unit 30 reflects the image display light of the display image 200 on the windshield S to make the driver M visually recognize it as a virtual image.
  • the projection unit 30 reflects the image display light of the reference position determination image 100 on the windshield S and projects the light on the face of the driver M.
  • the projection unit 30 passes the same optical path and projects it to the same projection position during normal use and position adjustment.
  • the display unit 31 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) display.
  • LCD Liquid Crystal Display
  • organic EL Organic Electro-Luminescence
  • the display unit 31 displays the display image 200 on the display surface based on the image signal from the projection control unit 45 of the vehicle projection control device 40.
  • the display unit 31 displays the reference position determination video 100 on the display surface based on the video signal from the projection control unit 45 of the vehicle projection control device 40 at the time of position adjustment.
  • the image display light of the display image 200 or the reference position determination image 100 displayed on the display surface of the display unit 31 is incident on the concave mirror 32.
  • the concave mirror 32 is disposed to face the display surface of the display unit 31 and the windshield S.
  • the concave mirror 32 is convexly curved forward in the traveling direction of the vehicle.
  • the concave mirror 32 reflects the image display light incident from the display surface of the display unit 31 toward the windshield S.
  • the windshield S is disposed forward of the driver's seat in the direction of travel.
  • the windshield S is convexly curved forward in the traveling direction of the vehicle.
  • the windshield S reflects the image display light of the display image 200 incident from the concave mirror 32 and causes the driver M to recognize it as a virtual image.
  • the windshield S reflects the image display light of the reference position determination image 100 incident from the concave mirror 32 and projects the reference position determination image 100 on the face of the driver M.
  • the vehicle projection control device 40 controls the projection of the display image 200 or the reference position determination image 100 by the projection unit 30.
  • the vehicle projection control device 40 is, for example, an arithmetic processing device configured by a CPU (Central Processing Unit) or the like.
  • the vehicle projection control device 40 loads a program stored in a storage unit (not shown) into a memory and executes an instruction included in the program.
  • the vehicle projection control device 40 includes a reference position determination video generation unit 41, a video data acquisition unit 42, a detection unit 43, an adjustment amount acquisition unit 44, and a projection control unit 45.
  • the vehicle projection control device 40 includes an internal memory (not shown), and the internal memory is used for temporary storage of data in the vehicle projection control device 40 and the like.
  • the reference position determination video generating unit 41 generates the reference position determination video 100 projected by the projection unit 30 of the HUD device 10.
  • the reference position determination video image 100 is a video image of a mark indicating a position serving as a reference used to detect the pupil position of the driver M.
  • the reference position determination video image 100 is projected on the same position as the projection position of the display image 200 through the same optical path as the optical path of the image display light of the display image 200 in normal use.
  • the reference position determination video 100 is a video having a higher luminance than the display video 200. More specifically, the reference position determination video image 100 has such brightness that the image display light is reflected by the windshield S and projected onto the face of the driver M.
  • the reference position determination image 100 is an image used to detect the relative positional relationship of the pupil position of the driver M with respect to the virtual image of the display image 200. More specifically, the reference position determination image 100 is an image used to detect at least one of the vertical position and the lateral position of the pupil position of the driver M with respect to the virtual image of the display image 200. It is.
  • the reference position determination video 100 includes at least one of a first reference position determination video 101 indicating the reference position in the vertical direction and a second reference position determination video 102 indicating the reference position in the horizontal direction.
  • the reference position determination video image 100 is, for example, in the shape of a frame, a lattice, or a line.
  • FIG. 3 is a view showing an example of a reference position determination image displayed by the vehicle projection control device according to the first embodiment.
  • FIG. 4 is a view showing another example of the reference position determination video image displayed by the vehicle projection control device according to the first embodiment.
  • the reference position determination video 100 may be formed in a lattice shape formed of a pair of first reference position determination video 101 and four second reference position determination videos 102.
  • the reference position determination video 100 may have an E-shaped shape formed by a pair of first reference position determination video 101 and one second reference position determination video 102. .
  • the video data acquisition unit 42 acquires captured video data output from the camera 20.
  • the video data acquisition unit 42 outputs the acquired captured video data to the detection unit 43.
  • the detection unit 43 performs image processing on the captured video data to detect a relative positional relationship between the reference position determination video 100 and the pupil of the driver M. More specifically, the detection unit 43 detects the pupil position of the driver M with respect to the virtual image of the display image 200 in the vertical or horizontal direction based on the pupil position of the driver M in the captured video data and the reference position determination video 100. Detect at least one of the positions. Thus, the detection unit 43 detects the relative positional relationship of the pupil position of the driver M with respect to the virtual image of the display image 200.
  • FIG. 5 is a view showing an example of the pupil position of the driver detected by the vehicle projection control device according to the first embodiment.
  • FIG. 6 is a view showing another example of the pupil position of the driver detected by the vehicle projection control device according to the first embodiment.
  • FIG. 3 shows a state in which the position of the pupil of the driver M does not deviate from the reference position determination image 100. As illustrated in FIG. 3, when the reference position determination video image 100 has a grid shape, the detection unit 43 determines that the pupil of the driver M is positioned at an intermediate portion between the pair of first reference position determination video images 101.
  • the detection unit 43 When the pupil of M is positioned so as to overlap the two central second reference position determination images 102, it is detected that the pupil position of the driver M does not shift. In addition, the detection unit 43 does not position the pupil of the driver M in the middle of the pair of first reference position determination images 101, or for the second reference position determination with two pupils of the driver M at the center. When the position of the driver M is not overlapped with the image 102, the position of the pupil of the driver M is detected as being displaced. Furthermore, the detection unit 43 detects the amount of displacement of the pupil position of the driver M.
  • FIG. 4 shows a state in which the position of the pupil of the driver M does not deviate with respect to the reference position determination image 100.
  • the detection unit 43 positions the pupil of the driver M at an intermediate portion of the pair of first reference position determination video images 101, When one second reference position determination image 102 is positioned at an intermediate portion between the pupils of the driver M, it is detected that the pupil position of the driver M does not shift.
  • the detection unit 43 does not position the pupil of the driver M at an intermediate portion between the pair of first reference position determination images 101, or one second reference position at an intermediate portion between the pupils of the driver M When the determination video image 102 is not positioned, it is detected that the pupil position of the driver M has a shift. Furthermore, the detection unit 43 detects the amount of displacement of the pupil position of the driver M.
  • the detection unit 43 detects that the pupil position of the driver M does not shift in the vertical and horizontal directions with respect to the reference position determination image 100. Do. The pupil position of the driver M does not shift in the vertical and horizontal directions even with respect to the virtual image of the display image 200 projected to the same position as the reference position determination video 100.
  • FIG. 5 shows a state in which the position of the pupil of the driver M deviates from the reference position determination video image 100.
  • the broken line indicates the reference position determination image 100 at an appropriate position with respect to the pupil position of the driver M.
  • the detection unit 43 detects that the pupil position of the driver M is displaced in the vertical direction because the pupil of the driver M is not positioned at the middle part of the pair of first reference position determination images 101.
  • the pupil position of the driver M shifts vertically in the virtual image of the display image 200 projected to the same position as the reference position determination image 100.
  • FIG. 6 shows a state in which the position of the pupil of the driver M deviates from the reference position determination image 100.
  • the broken line indicates the reference position determination image 100 at an appropriate position with respect to the pupil position of the driver M.
  • the detection unit 43 detects that the pupil position of the driver M is displaced in the left and right direction because the pupil of the driver M is not positioned overlapping the two second reference position determination images 102 in the center. Do.
  • the pupil position of the driver M shifts in the lateral direction also with respect to the virtual image of the display image 200 projected to the same position as the reference position determination image 100.
  • the adjustment amount acquisition unit 44 acquires the adjustment amount of the projection position of the display image 200 based on the displacement amount of the pupil position of the driver M detected by the detection unit 43. More specifically, as shown in FIG. 5, when the pupil position of the driver M is positioned above the reference position determination image 100, the adjustment amount acquisition unit 44 shifts the projection position upward to be appropriate. Get the amount of adjustment to place at As shown in FIG. 6, when the pupil position of the driver M is located in the left direction of the driver M with respect to the reference position determination image 100, the adjustment amount acquisition unit 44 sets the projection position to Obtain an adjustment amount to shift to the right position to an appropriate position.
  • the projection control unit 45 controls the projection of the display image 200 so that the virtual image of the display image 200 is viewed in front of the host vehicle during normal use.
  • the projection control unit 45 controls the projection of the reference position determination video 100 so that the image display light of the reference position determination video 100 is projected on the face of the driver M at the time of position adjustment.
  • the projection control unit 45 projects the display image 200 and the reference position determination image 100 in the same optical path.
  • the projection control unit 45 may control to project the reference position determination image 100 for one frame and to project the display image 200 for one frame in one second.
  • FIG. 7 is a view for explaining an image projected by the vehicle projection control device according to the first embodiment. Since the reference position determination image 100 is projected for only one frame in one second, position adjustment is performed without making the driver M aware that the image display light of the display image 200 is projected on the driver M's face. Is possible. In the present embodiment, the projection control unit 45 projects the reference position determination video 100 only for one frame in one second.
  • the projection control unit 45 may project the reference position determination image 100 as the position adjustment time.
  • the projection control unit 45 performs control so as to project the display image 200 as normal use while the driver M does not perform an operation.
  • FIG. 8 is a flowchart showing the flow of processing in the projection control apparatus for a vehicle according to the first embodiment.
  • the vehicle projection control device 40 projects the reference position determination image 100 in one frame in one second, and displays the display image 200 in the remaining frames in one second. It explains as what is projected.
  • the vehicle projection control device 40 determines whether it is the projection timing of the reference position determination video 100 (step S11). More specifically, the vehicle projection control device 40 counts frames in one second to determine whether it is time to project the reference position determination video 100. If it is time to project the reference position determination video image 100 (Yes in step S11), the vehicle projection control device 40 proceeds to step S12. When it is not the timing to project the reference position determination video 100 (No in step S11), the vehicle projection control device 40 executes the process of step S11 again.
  • the vehicle projection control device 40 projects the reference position determination video 100 (step S12). More specifically, the vehicle projection control device 40 causes the projection control unit 45 to output a control signal for projecting the reference position determination video 100 generated by the reference position determination video generation unit 41. The vehicle projection control device 40 proceeds to step S13.
  • the vehicle projection control device 40 captures an image by the camera 20 (step S13). More specifically, the vehicle projection control device 40 captures the reference position determination video 100 projected on the face of the driver M by the camera 20 as captured video data. The vehicle projection control device 40 proceeds to step S14.
  • the vehicle projection control device 40 acquires photographed video data (step S14). More specifically, the vehicle projection control device 40 causes the video data acquisition unit 42 to acquire captured video data captured by the camera 20. The vehicle projection control device 40 proceeds to step S15.
  • the vehicle projection control device 40 detects the pupil position (step S15). More specifically, the vehicle projection control device 40 performs image processing on the captured video data by the detection unit 43 to detect the relative positional relationship between the reference position determination video 100 and the pupil of the driver M. Do. The vehicle projection control device 40 detects the displacement amount of the pupil position of the driver M by the detection unit 43. The vehicle projection control device 40 proceeds to step S16.
  • the vehicle projection control device 40 determines whether the pupil position has a shift equal to or larger than a threshold in the vertical direction or the horizontal direction (step S16). More specifically, when the amount of vertical or horizontal displacement of the pupil position of the driver M detected by the detection unit 43 is equal to or greater than the threshold (Yes in step S16), the vehicle projection control device 40 proceeds to step S17. . If the amount of vertical or horizontal displacement of the pupil position of the driver M detected by the detection unit 43 is not equal to or larger than the threshold (No in step S16), the vehicle projection control device 40 proceeds to step S19.
  • the vehicle projection control device 40 acquires the adjustment amount of the virtual image position (step S17). More specifically, the vehicle projection control device 40 acquires the adjustment amount of the projection position of the display image 200 by the adjustment amount acquisition unit 44 based on the displacement amount of the pupil position of the driver M detected by the detection unit 43. . The vehicle projection control device 40 proceeds to step S18.
  • the vehicle projection control device 40 adjusts the projection position of the virtual image (step S18). Based on the adjustment amount acquired by the adjustment amount acquisition unit 44, the vehicle projection control device 40 outputs a control signal for projecting the reference position determination image 100 whose position has been adjusted based on the adjustment amount acquired by the adjustment amount acquisition unit 44. The vehicle projection control device 40 proceeds to step S19.
  • the vehicle projection control device 40 determines whether or not there is an end trigger (step S19).
  • the end trigger is, for example, a case where a button for ending the operation of the HUD device 10 is pressed or the vehicle is stopped and the engine is stopped.
  • the vehicle projection control device 40 ends the process.
  • the vehicle projection control device 40 executes the process of step S11 again.
  • step S18 the projection control device 40 for a vehicle shifts the projection position of the display image 200 upward, and the display position of the virtual image of the display image 200 is appropriate for the driver M. Adjusted.
  • FIG. 9 is a view for explaining an image projected by the vehicle projection control device according to the first embodiment.
  • step S18 the vehicle projection control device 40 shifts the projection position of the display image 200 toward the left of the driver M, and the display position of the virtual image of the display image 200 against the driver M. Adjusted to the proper position.
  • FIG. 10 is a view for explaining an image projected by the vehicle projection control device according to the first embodiment.
  • the projection control device 40 for a vehicle detects the pupil position of the driver M by projecting the image display light of the image 100 for reference position determination on the face of the driver M. Then, the vehicle projection control device 40 adjusts the display position of the virtual image of the display image 200.
  • the relative position between the reference position determination video 100 and the pupil of the driver M is projected by projecting the image display light of the reference position determination video 100 onto the face of the driver M. Detect relationships Thereby, the present embodiment can detect the relative positional relationship of the pupil position of the driver M with respect to the virtual image.
  • the display position of the virtual image of the display image 200 can be adjusted to an appropriate position with respect to the driver M based on the relative positional relationship of the pupil position of the driver M with respect to the detected virtual image.
  • the reference position determination video 100 is projected only for one frame in one second. Accordingly, in the present embodiment, the relative position of the pupil position of the driver M to the virtual image is made to the virtual image without making the driver M aware that the image display light of the reference position determination image 100 is projected on the driver's M face. Position relationship can be detected. Further, according to the present embodiment, the display position of the virtual image of the display image 200 can be displayed without the driver M being aware that the image display light of the reference position determination image 100 is projected on the driver M's face. The position can be adjusted to an appropriate position for the driver M.
  • the image display light of the reference position determination image 100 is projected at the same position as the projection position of the display image 200 through the same optical path as the light path of the image display light of the display image 200 during normal use.
  • the driver M's face On the driver M's face.
  • the pupil position of the driver M with respect to the virtual image can be detected directly.
  • the camera 20, the projection unit 30, and the vehicle projection control device 40 are integrally disposed below the dashboard D of the vehicle.
  • the relative positional relationship of the pupil position of the driver M with respect to the virtual image can be detected by a device that projects the virtual image of the display image 200 during normal use.
  • FIG. 11 is a block diagram showing a configuration example of a projection control apparatus for a vehicle according to a second embodiment.
  • FIG. 12 is a view showing an example of a reference position determination image displayed by the vehicle projection control device according to the second embodiment.
  • FIG. 13 is a flowchart showing the flow of processing in the projection control system for a vehicle according to the second embodiment.
  • the basic configuration of the HUD device 10A is the same as that of the HUD device 10 of the first embodiment.
  • symbol is attached
  • the HUD device 10A differs from the first embodiment in that the HUD device 10A has a facial data acquisition unit 46A and the processing in the detection unit 43A and the projection control unit 45A.
  • the reference position determination video 100 passes through the same optical path as the optical path of the video display light of the display video 200 during normal use. Then, the reference position determination video 100 is projected below the projection position of the display video 200, as shown in FIG.
  • the HUD device 10A captures an image of the face of the driver M with the camera 20 as an initial setting.
  • the face data is an image capable of detecting the arrangement and distance of each part of the face.
  • the face data is an image capable of detecting the distance between the eye E (see FIG. 2) and a predetermined position on the face.
  • Facial data which is data of the photographed face, is stored in the storage unit.
  • the facial data acquisition unit 46A acquires facial data stored in the storage unit.
  • the detection unit 43A detects the reference position determination image 100 and the pupil of the driver M based on the face data acquired by the face data acquisition unit 46A, the pupil position of the driver M in the photographed image data, and the reference position determination image 100. Detect relative positional relationship with.
  • the reference position determination image 100 is projected below the projection position of the display image 200, but the detection unit 43A refers to the face data to compare the pupil position of the driver M relative to the virtual image of the display image 200. It is possible to detect various positional relationships.
  • the projection control unit 45A uses the image display light of the reference position determination video 100 as the eye of the driver M's face based on the face data acquired by the face data acquisition unit 46A.
  • the projection of the reference position determination video 100 is controlled so as to project below E.
  • the projection control unit 45A projects the reference position determination image 100 by passing through the same optical path as the optical path of the image display light of the display image 200 in normal use. Then, the projection control unit 45A projects the reference position determination video 100 below the projection position of the display video 200.
  • step S21, step S24, step S25, and step S27 to step S30 of the flowchart shown in FIG. 13 are similar to the processes of step S11, step S13, step S14 and step S16 to step S19 of the flowchart shown in FIG. I do.
  • the vehicle projection control device 40A acquires facial data (step S22). More specifically, the vehicle projection control device 40A acquires facial data stored in the storage unit by the facial data acquisition unit 46A. The vehicle projection control device 40A proceeds to step S23.
  • the vehicle projection control device 40 projects the reference position determination video image 100 below the eye E of the face of the driver M (step S23). More specifically, the projection control unit 40 for a vehicle projects the reference position determination video image 100 generated by the reference position determination video generation unit 41 by the projection control unit 45 below the eye E of the driver M's face. Output control signal. The vehicle projection control device 40 proceeds to step S24.
  • the vehicle projection control device 40A detects the pupil position based on the face data (step S26). More specifically, the vehicle projection control device 40A performs image processing on the face data and the captured video data by the detection unit 43A, and the relative position between the reference position determination video 100 and the pupil of the driver M. Detect relationships The vehicle projection control device 40A detects the displacement amount of the pupil position of the driver M by the detection unit 43A. The vehicle projection control device 40A proceeds to step S27.
  • the image display light of the reference position determination image 100 is projected below the eye E of the face of the driver M at the time of position adjustment. According to the present embodiment, it is possible to suppress the video display light of the reference position determination video 100 from being incident on the pupil of the driver M. Thereby, this embodiment can suppress that the driver M feels dazzling by the image display light of the reference position determination image 100.
  • FIG. 14 is a block diagram showing a configuration example of a projection control apparatus for a vehicle according to the third embodiment.
  • FIG. 15 is a flowchart showing the flow of processing in the projection control system for a vehicle according to the third embodiment.
  • the basic configuration of the HUD device 10B is the same as that of the HUD device 10 of the first embodiment. In the present embodiment, the HUD device 10B differs from the first embodiment in the processing in the vehicle projection control device 40B.
  • the vehicle projection control device 40B has a first adjustment amount having the same function as the reference position determination video generation unit 41, the video data acquisition unit 42, the detection unit 43B, and the adjustment amount acquisition unit 44 of the first embodiment.
  • the facial expression detection unit 47 ⁇ / b> B performs image processing on the captured video data to detect a dazzling facial expression of the driver M.
  • the expression detection unit 47B detects an expression in which the driver M narrows or collapses his eyes at the time of position adjustment as an expression likely to be dazzling, based on captured video data.
  • the second adjustment amount acquisition unit 48B performs the reference position determination image 100 so that the first reference position determination image 101 and the second reference position determination image 102 of the reference position determination image 100 are separated from the driver M's eye. Get the second adjustment amount of the projection position of. More specifically, the second adjustment amount acquisition unit 48B shifts the projection position of the reference position determination video 100 in the vertical or horizontal direction to drive the first reference position determination video 101 and the second reference position determination video 102. The second adjustment amount to obtain a position out of the eyes of the person M is acquired.
  • the detection unit 43B moves the pupil position of the driver M vertically or horizontally with respect to the virtual image of the display image 200 as in the first embodiment. Detect at least one of the positions of When the projection position of the reference position determination video 100 is shifted by the second adjustment amount, the detection unit 43B is based on the pupil position of the driver M in the captured video data, the reference position determination video 100, and the second adjustment amount. Then, at least one of the vertical position or the horizontal position of the pupil position of the driver M with respect to the virtual image of the display image 200 is detected.
  • the detection unit 43B takes account of the position adjustment of the reference position determination video image 100, and moves the pupil position of the driver M up and down. Detect at least one of the direction or the position in the left and right direction.
  • the reference position is set so that the image display light of the reference position determination image 100 is projected from the position of the driver M's eye.
  • the projection of the judgment image 100 is controlled.
  • steps S41 to S44 and steps S50 to S53 of the flowchart shown in FIG. 15 are the same as the processes of steps S11 to S14 and steps S16 to S19 of the flowchart shown in FIG.
  • the vehicle projection control device 40B detects an expression (step S45). More specifically, the vehicle projection control device 40B performs image processing on the captured image data by the facial expression detection unit 47B, and detects a glareous expression of the driver M.
  • the vehicle projection control device 40B determines whether a dazzling facial expression has been detected (step S46). More specifically, when the vehicle projection control device 40B detects the dazzling expression of the driver M based on the detection result of the expression detection unit 47B (Yes in step S46), the process proceeds to step S47. When the vehicle projection control device 40B does not detect the dazzling expression of the driver M based on the detection result of the expression detection unit 47B (No in step S46), the processing proceeds to step S49.
  • the vehicle projection control device 40B acquires a second adjustment amount of the reference position determination video 100 (step S47). More specifically, the vehicle projection control device 40B causes the second adjustment amount acquisition unit 48B to generate the first reference position determination image 101 and the second reference position determination image of the reference position determination image 100 from the driver M's eye. The second adjustment amount of the projection position of the reference position determination video image 100 is acquired so that 102 is released. The vehicle projection control device 40B proceeds to step S48.
  • the vehicle projection control device 40B adjusts the position and projects the reference position determination image 100 (step S48).
  • the vehicle projection control device 40B outputs a control signal for projecting the reference position determination image 100 whose position has been adjusted based on the second adjustment amount acquired by the second adjustment amount acquisition unit 48B by the projection control unit 45B. .
  • the vehicle projection control device 40B executes the process of step S43 again.
  • the vehicle projection control device 40B detects the pupil position according to the projection position of the reference position determination video 100 (step S49).
  • the vehicle projection control device 40B performs the same process as step S15 by the detection unit 43B.
  • the vehicle projection control device 40B causes the detection unit 43B to consider the position adjustment of the reference position determination image 100. At least one of the vertical position and the horizontal position of the pupil position of the driver M is detected.
  • the vehicle projection control device 40B proceeds to step S50.
  • the image display light of the reference position determination image 100 is removed from the eye E of the driver M's face. Adjust and project. Thereby, this embodiment can reduce that the driver M feels dazzling by the image display light of the reference position determination video 100 at the time of position adjustment.
  • FIG. 16 is a view showing an example of a pupil position of a driver detected by the vehicle projection control device according to the fourth embodiment.
  • FIG. 17 is a flowchart showing the flow of processing in the projection control system for a vehicle according to the fourth embodiment.
  • the basic configuration of the HUD device 10 is the same as that of the HUD device 10 of the first embodiment. In the present embodiment, the HUD device 10 is different from the first embodiment in the processing in the vehicle projection control device 40.
  • the detection unit 43 detects the inclination of the pupil position of the driver M with respect to the virtual image of the display video 200 based on the pupil position of the driver M and the reference position determination video 100 in the captured video data. More specifically, the detection unit 43 performs image processing on the captured video data, and detects the inclination of a straight line L connecting the left and right pupil positions of the driver M with respect to the first reference position determination image 101 as the angle ⁇ . .
  • the inclination of the pupil position of the driver M with respect to the virtual image of the display image 200 will be described with reference to FIG.
  • the face of the driver M may tilt as shown in FIG.
  • the detection unit 43 detects a straight line L connecting the left and right pupil positions of the driver M with respect to the first reference position determination video image 101.
  • the detection unit 43 acquires the inclination angle ⁇ of the pupil position of the driver M.
  • the adjustment amount acquisition unit 44 acquires the adjustment amount of the position of the virtual image to be projected forward based on the relative positional relationship of the pupil position of the viewer with respect to the virtual image detected by the detection unit 43. More specifically, the adjustment amount acquisition unit 44 calculates the adjustment amount of the display image 200 such that the virtual image of the display image 200 can be viewed without distortion even if the pupil position of the driver M is inclined.
  • the adjustment amount acquisition unit 44 acquires the adjustment amount of the optical mechanism based on which the virtual image of the display image 200 is visually recognized without distortion based on the inclination angle ⁇ of the pupil position of the driver M detected by the detection unit 43 You may Alternatively, for example, the adjustment amount acquisition unit 44 sets the virtual image position with respect to the virtual image position so that the virtual image of the display image 200 is visually recognized without distortion based on the inclination angle ⁇ of the pupil position of the driver M detected by the detection unit 43 The adjustment amount in the image correction process to be executed may be acquired.
  • the adjustment amount acquisition unit 44 displays on the display unit 31 so that the virtual image of the display image 200 is visually recognized without distortion based on the inclination angle ⁇ of the pupil position of the driver M detected by the detection unit 43
  • the adjustment amount of the display position of the display image 200 may be acquired.
  • the projection control unit 45 controls the position of the virtual image to be projected forward based on the adjustment amount acquired by the adjustment amount acquisition unit 44 so as to perform projection. More specifically, when the pupil position of the driver M is inclined, the projection control unit 45 adjusts and projects the display image 200 in front of the host vehicle so that the virtual image of the display image 200 can be viewed without distortion. Control to do so.
  • the projection control unit 45 may project the adjusted display image 200 by adjusting the optical mechanism based on the adjustment amount acquired by the adjustment amount acquisition unit 44.
  • the projection control unit 45 may project the adjusted display image 200 by executing the image correction process based on the adjustment amount acquired by the adjustment amount acquisition unit 44.
  • the projection control unit 45 projects the adjusted display image 200 by adjusting the display position of the display image 200 displayed on the display unit 31 based on the adjustment amount acquired by the adjustment amount acquisition unit 44. It is also good.
  • steps S61 to S64 and step S69 of the flowchart shown in FIG. 15 are the same as the processes of steps S11 to S14 and step S19 of the flowchart shown in FIG.
  • the vehicle projection control device 40 detects the inclination of the pupil position (step S65). More specifically, the vehicle projection control device 40 performs image processing on the captured image data by the detection unit 43, and detects an inclination angle ⁇ of the pupil position of the driver M with respect to the virtual image of the display image 200. The vehicle projection control device 40 proceeds to step S66.
  • the vehicle projection control device 40 determines whether the pupil position is tilted (step S66). More specifically, the vehicle projection control device 40 determines that the pupil position is inclined if the inclination angle ⁇ of the pupil position of the driver M detected by the detection unit 43 is equal to or greater than the threshold (in step S66) Yes), go to step S67. If the inclination angle ⁇ of the pupil position of the driver M detected by the detection unit 43 is not equal to or larger than the threshold value, the vehicle projection control device 40 determines that the pupil position is not inclined (No in step S66). Go to S69.
  • the vehicle projection control device 40 acquires the adjustment amount of the virtual image position according to the inclination of the pupil position (step S67). More specifically, the vehicle projection control device 40 causes the adjustment amount acquisition unit 44 to acquire the adjustment amount of the display image 200 based on the inclination of the pupil position of the driver M detected by the detection unit 43. The vehicle projection control device 40 proceeds to step S68.
  • the vehicle projection control device 40 adjusts the projection position of the virtual image in accordance with the inclination of the pupil position (step S68). Based on the adjustment amount acquired by the adjustment amount acquisition unit 44, the vehicle projection control device 40 outputs a control signal for projecting the reference position determination image 100 whose position has been adjusted based on the adjustment amount acquired by the adjustment amount acquisition unit 44. The vehicle projection control device 40 proceeds to step S69.
  • the present embodiment adjusts the projection position of the virtual image in accordance with the inclination of the pupil position.
  • the present embodiment can visually recognize the virtual image of the display image 200 without distortion. For example, in the present embodiment, even when the driver M's face is inclined while traveling on a curve, the virtual image of the display image 200 can be viewed without distortion.
  • the HUD device 10 according to the present invention has been described above, but may be implemented in various different forms other than the above-described embodiment.
  • Each component of the illustrated HUD device 10 is functionally conceptual and may not necessarily be physically configured as illustrated. That is, the specific form of each device is not limited to the illustrated one, and all or a part thereof is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and use condition of each device, etc. May be
  • the configuration of the HUD device 10 is realized, for example, as software, a program loaded in a memory, or the like.
  • the above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the projection unit 30 has been described as having the windshield S as the reflective portion, the reflective portion is not limited to this.
  • a combiner may be used as a reflector.
  • the reference position determination video image 100 is not limited to one using visible light, and may use infrared light.
  • the camera 20 is an infrared camera capable of capturing infrared light.
  • the driver M is not aware that the image display light of the reference position determination image 100 is projected on the driver M's face. It is possible to detect the pupil position of M.
  • the vehicle projection control device 40 may execute a process of adjusting and projecting the contrast of the display image 200 at the time of tunnel traveling or the time when the west day passes.
  • HUD device 20 camera 30 projection unit 31 display unit 32 concave mirror 40 projection control device for vehicle (projection control device) 41 Reference position determination video generation unit 42 Image data acquisition unit 43 Detection unit 44 Adjustment amount acquisition unit 45 Projection control unit 100 Reference position determination image 101 First reference position determination image 102 Second reference position determination image 200 Display image S Windshield

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

ＨＵＤ装置１０の投影ユニット３０によって、前方に虚像が視認されるように表示映像の投影を制御する投影制御部４５と、視認者を撮影可能なカメラ２０が撮影した撮影映像を取得する映像データ取得部４２と、虚像に対する視認者の瞳孔位置の相対的な位置関係を検出する検出部４３と、を備え、投影制御部４５は、投影ユニット３０によって、視認者に向けて投射する基準位置判定用映像の投影を制御し、検出部４３は、映像データ取得部４２が取得した、視認者に投射された基準位置判定用映像を撮影した撮影映像に基づいて、虚像に対する視認者の瞳孔位置の相対的な位置関係を検出する。

Description

投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム
　本発明は、投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラムに関する。
　運転者の視線の前方に、例えば、経路案内情報または速度情報のような運転者に提供する情報を虚像として投影するヘッドアップディスプレイ装置が知られている。ヘッドアップディスプレイ装置は、視認者が虚像を正しく視認するために、虚像の表示位置を視認者に対して正しい位置に正確に設定する必要がある。
　視線と指差し方向を移動させたい表示画面に一致させ、視線と指差し方向を所望の位置まで移動させることで、移動対象画面を移動させる技術が知られている（例えば、特許文献１参照）。コンバイナと赤外光照明装置と赤外光によって照明される運転者の顔を撮像するイメージセンサとを備え、運転者の視線や顔向きを検知する技術が知られている（例えば、特許文献２参照）。
特開２００７－０９９１９９号公報 特開２０１７－０２６６７５号公報
　ヘッドアップディスプレイ装置において、虚像の表示位置を視認者に対して正しい位置に正確に設定するためには、虚像に対する視認者の瞳孔位置の相対的な位置関係を検出することが好ましい。
　本発明は、上記に鑑みてなされたものであって、虚像に対する視認者の瞳孔位置の相対的な位置関係を検出することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る投影制御装置は、ヘッドアップディスプレイ装置の投影ユニットによって、前方に虚像が視認されるように表示映像の投影を制御する投影制御部と、視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得部と、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する検出部と、を備え、前記投影制御部は、前記投影ユニットによって、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、前記検出部は、前記映像データ取得部が取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像に基づいて、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出することを特徴とする。
　本発明に係るヘッドアップディスプレイ装置は、上記の投影制御装置と、前記投影ユニットと前記撮影部との少なくともいずれかとを備えることを特徴とする。
　本発明に係る投影制御方法は、ヘッドアップディスプレイ装置の投影ユニットによって、前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する検出ステップと、を含み、前記投影制御ステップは、前記投影ユニットによって、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、前記検出ステップは、前記映像データ取得ステップにおいて取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像に基づいて、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する。
　本発明に係るプログラムは、ヘッドアップディスプレイ装置の投影ユニットによって、前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する検出ステップと、を含み、前記投影制御ステップは、前記投影ユニットによって、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、前記検出ステップは、前記映像データ取得ステップにおいて取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像に基づいて、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する、ことを投影制御装置として動作するコンピュータに実行させる。
　本発明によれば、虚像に対する視認者の瞳孔位置の相対的な位置関係を検出することができるという効果を奏する。
図１は、第一実施形態に係る車両用投影制御装置の構成例を示すブロック図である。 図２は、第一実施形態に係るヘッドアップディスプレイ装置の構成例の一例を示す概略図である。 図３は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の一例を示す図である。 図４は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の他の例を示す図である。 図５は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。 図６は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の他の例を示す図である。 図７は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。 図８は、第一実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。 図９は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。 図１０は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。 図１１は、第二実施形態に係る車両用投影制御装置の構成例を示すブロック図である。 図１２は、第二実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の一例を示す図である。 図１３は、第二実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。 図１４は、第三実施形態に係る車両用投影制御装置の構成例を示すブロック図である。 図１５は、第三実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。 図１６は、第四実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。 図１７は、第四実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。
　以下に添付図面を参照して、本発明に係る投影制御装置、ヘッドアップディスプレイ装置（以下、「ＨＵＤ装置」という。）、投影制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。以下の説明において、本発明を車両用として使用する場合について説明する。また、視認者が運転者であるものとして説明する。
［第一実施形態］
　図１は、第一実施形態に係る車両用投影制御装置の構成例を示すブロック図である。図２は、第一実施形態に係るヘッドアップディスプレイ装置の構成例の一例を示す概略図である。ＨＵＤ装置１０は、通常使用時は、例えば、経路案内映像または速度情報映像を含む表示映像２００を投影して、表示映像２００の虚像を自車両の前方に視認させる。ＨＵＤ装置１０は、位置調整時は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することによって、運転者Ｍの瞳孔位置を検出して、虚像の表示位置を調整可能である。ＨＵＤ装置１０は、カメラ２０と、投影ユニット３０と、車両用投影制御装置４０とを有する。本実施形態では、カメラ２０と投影ユニット３０と車両用投影制御装置４０とは、一体として、車両のダッシュボードＤの下側に配置されている。
　カメラ２０は、運転席に着座している運転者Ｍの顔面を撮影する。より詳しくは、カメラ２０は、運転者Ｍの顔面に向けて投射され、運転者Ｍの顔面に投影された基準位置判定用映像１００を撮影映像データとして撮影する。言い換えると、カメラ２０が撮影した撮影映像データは、運転者Ｍの顔面と基準位置判定用映像１００とが映されている。カメラ２０は、撮影した撮影映像データを車両用投影制御装置４０の映像データ取得部４２へ出力する。
　投影ユニット３０は、表示映像２００または基準位置判定用映像１００を投影する。本実施形態では、投影ユニット３０は、表示部３１と、凹面鏡３２と、反射部とを有する。本実施形態では、反射部は、ウィンドシールドＳである。投影ユニット３０は、通常使用時は、表示映像２００の映像表示光を、ウィンドシールドＳにおいて反射させて運転者Ｍに虚像として視認させる。また、投影ユニット３０は、位置調整時は、基準位置判定用映像１００の映像表示光を、ウィンドシールドＳにおいて反射させて運転者Ｍの顔面に投射する。投影ユニット３０は、通常使用時と位置調整時とで、同一の光路を通過させて、同じ投影位置に投影させる。
　表示部３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部３１は、通常使用時は、車両用投影制御装置４０の投影制御部４５からの映像信号に基づいて表示面に表示映像２００を表示する。表示部３１は、位置調整時は、車両用投影制御装置４０の投影制御部４５からの映像信号に基づいて表示面に基準位置判定用映像１００を表示する。表示部３１の表示面に表示された表示映像２００または基準位置判定用映像１００の映像表示光は、凹面鏡３２に入射する。
　凹面鏡３２は、表示部３１の表示面とウィンドシールドＳと向かい合って配置されている。凹面鏡３２は、車両の進行方向前方に凸状に湾曲している。凹面鏡３２は、表示部３１の表示面から入射した映像表示光を、ウィンドシールドＳに向けて反射する。
　ウィンドシールドＳは、運転席の進行方向前方に配置されている。ウィンドシールドＳは、車両の進行方向前方に凸状に湾曲している。ウィンドシールドＳは、通常使用時は、凹面鏡３２から入射した表示映像２００の映像表示光を反射させて運転者Ｍに虚像として認識させる。ウィンドシールドＳは、位置調整時は、凹面鏡３２から入射した基準位置判定用映像１００の映像表示光を反射させて運転者Ｍの顔面に基準位置判定用映像１００を投影する。
　車両用投影制御装置４０は、投影ユニット３０による表示映像２００または基準位置判定用映像１００の投影を制御する。車両用投影制御装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで構成された演算処理装置である。車両用投影制御装置４０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。車両用投影制御装置４０は、基準位置判定用映像生成部４１と、映像データ取得部４２と、検出部４３と、調整量取得部４４と、投影制御部４５とを有する。車両用投影制御装置４０には図示しない内部メモリが含まれ、内部メモリは車両用投影制御装置４０におけるデータの一時記憶などに用いられる。
　基準位置判定用映像生成部４１は、ＨＵＤ装置１０の投影ユニット３０によって投影される、基準位置判定用映像１００を生成する。
　基準位置判定用映像１００は、運転者Ｍの瞳孔位置の検出に使用する基準となる位置を示す目印の映像である。基準位置判定用映像１００は、通常使用時における表示映像２００の映像表示光の光路と同一の光路を通過して、表示映像２００の投影位置と同じ位置に投影される。基準位置判定用映像１００は、表示映像２００よりも高い輝度の映像である。より詳しくは、基準位置判定用映像１００は、映像表示光がウィンドシールドＳにおいて反射して運転者Ｍの顔面に投射する程度の輝度である。
　基準位置判定用映像１００は、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係を検出するために使用される映像である。より詳しくは、基準位置判定用映像１００は、表示映像２００の虚像に対して、運転者Ｍの瞳孔位置の上下方向の位置または左右方向の位置の少なくともいずれかを検出するために使用される映像である。基準位置判定用映像１００は、上下方向の基準位置を示す第一基準位置判定用映像１０１と左右方向の基準位置を示す第二基準位置判定用映像１０２との少なくともいずれかを含む。基準位置判定用映像１００は、例えば、枠状または格子状または線状である。
　図３、図４を参照して、基準位置判定用映像１００について説明する。図３は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の一例を示す図である。図４は、第一実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の他の例を示す図である。図３に示すように、基準位置判定用映像１００は、一対の第一基準位置判定用映像１０１と、４本の第二基準位置判定用映像１０２とで形成された格子状としてもよい。図４に示すように、基準位置判定用映像１００は、一対の第一基準位置判定用映像１０１と、１本の第二基準位置判定用映像１０２とで形成されたエの字形状としてもよい。
　映像データ取得部４２は、カメラ２０が出力した撮影映像データを取得する。映像データ取得部４２は、取得した撮影映像データを検出部４３に出力する。
　検出部４３は、撮影映像データに対して画像処理を行って、基準位置判定用映像１００と運転者Ｍの瞳孔との相対的な位置関係を検出する。より詳しくは、検出部４３は、撮影映像データにおける運転者Ｍの瞳孔位置と基準位置判定用映像１００とに基づいて、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の上下方向または左右方向の位置の少なくともいずれかを検出する。このようにして、検出部４３は、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係を検出する。
　図３ないし図６を参照して、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係について説明する。図５は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。図６は、第一実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の他の例を示す図である。図３は、基準位置判定用映像１００に対して、運転者Ｍの瞳孔位置がズレを生じていない状態である。図３に示すように、基準位置判定用映像１００が格子状である場合、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部に位置し、運転者Ｍの瞳孔が中央の２本の第二基準位置判定用映像１０２に重なって位置しているとき、運転者Ｍの瞳孔位置がズレを生じていないとして検出する。また、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部に位置せず、または、運転者Ｍの瞳孔が中央の２本の第二基準位置判定用映像１０２に重なって位置していないとき、運転者Ｍの瞳孔位置がズレを生じているとして検出する。さらに、検出部４３は、運転者Ｍの瞳孔位置のズレ量を検出する。
　図４は、基準位置判定用映像１００に対して、運転者Ｍの瞳孔位置がズレを生じていない状態である。図４に示すように、基準位置判定用映像１００がエの字形状である場合、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部に位置し、運転者Ｍの瞳孔間の中間部に１本の第二基準位置判定用映像１０２が位置しているとき、運転者Ｍの瞳孔位置がズレを生じていないとして検出する。また、検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部に位置せず、または、運転者Ｍの瞳孔間の中間部に１本の第二基準位置判定用映像１０２が位置していないとき、運転者Ｍの瞳孔位置がズレを生じているとして検出する。さらに、検出部４３は、運転者Ｍの瞳孔位置のズレ量を検出する。
　このように、図３、図４に示す状態のとき、検出部４３は、基準位置判定用映像１００に対して、運転者Ｍの瞳孔位置は上下方向および左右方向にズレが生じていないとして検出する。基準位置判定用映像１００と同じ位置に投影される表示映像２００の虚像に対しても、運転者Ｍの瞳孔位置は上下方向および左右方向にズレを生じない。
　図５は、基準位置判定用映像１００に対して、運転者Ｍの瞳孔位置がズレを生じている状態である。破線は、運転者Ｍの瞳孔位置に対して適切な位置にある基準位置判定用映像１００を示す。検出部４３は、運転者Ｍの瞳孔が一対の第一基準位置判定用映像１０１の中間部に位置していないので、運転者Ｍの瞳孔位置は上下方向にズレを生じているとして検出する。基準位置判定用映像１００と同じ位置に投影される表示映像２００の虚像に対しても、運転者Ｍの瞳孔位置は上下方向にズレを生じる。
　図６は、基準位置判定用映像１００に対して、運転者Ｍの瞳孔位置がズレを生じている状態である。破線は、運転者Ｍの瞳孔位置に対して適切な位置にある基準位置判定用映像１００を示す。検出部４３は、運転者Ｍの瞳孔が中央の２本の第二基準位置判定用映像１０２に重なって位置していないので、運転者Ｍの瞳孔位置は左右方向にズレを生じているとして検出する。基準位置判定用映像１００と同じ位置に投影される表示映像２００の虚像に対しても、運転者Ｍの瞳孔位置は左右方向にズレを生じる。
　調整量取得部４４は、検出部４３で検出した運転者Ｍの瞳孔位置のズレ量に基づいて、表示映像２００の投影位置の調整量を取得する。より詳しくは、図５に示すように、運転者Ｍの瞳孔位置が基準位置判定用映像１００に対して上方に位置している場合、調整量取得部４４は、投影位置を上方にずらして適切な位置にする調整量を取得する。図６に示すように、運転者Ｍの瞳孔位置が基準位置判定用映像１００に対して運転者Ｍの左手方向に位置している場合、調整量取得部４４は、投影位置を運転者Ｍの左手方向にずらして適切な位置にする調整量を取得する。
　投影制御部４５は、通常使用時は、自車両の前方に、表示映像２００の虚像が視認されるように、表示映像２００の投影を制御する。投影制御部４５は、位置調整時は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射するように、基準位置判定用映像１００の投影を制御する。投影制御部４５は、表示映像２００と基準位置判定用映像１００とを同じ光路で投影する。
　図７に示すように、投影制御部４５は、例えば、１秒間のうち、１フレームは基準位置判定用映像１００を投影し、残りのフレームは表示映像２００を投影するように制御してもよい。図７は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。１秒間のうちの１フレームのみ基準位置判定用映像１００を投影するので、運転者Ｍの顔面に表示映像２００の映像表示光が投射されていることを運転者Ｍに意識させることなく、位置調整が可能である。本実施形態では、投影制御部４５は、１秒間のうちの１フレームのみ基準位置判定用映像１００を投影するものとする。
　または、投影制御部４５は、例えば、運転開始時において運転者Ｍが位置調整の開始操作を実行すると位置調整時として、基準位置判定用映像１００を投影するようにしてもよい。また、投影制御部４５は、運転者Ｍによる操作がされない間は通常使用時として、表示映像２００を投影するよう制御する。
　次に、図８を用いて、車両用投影制御装置４０における処理の流れについて説明する。図８は、第一実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。本実施形態では、ＨＵＤ装置１０の起動中、車両用投影制御装置４０は、１秒間のうち１フレームにおいて基準位置判定用映像１００を投影して、１秒間のうち残りのフレームにおいて表示映像２００を投影するものとして説明する。
　車両用投影制御装置４０は、基準位置判定用映像１００の投影タイミングであるか否かを判定する（ステップＳ１１）。より詳しくは、車両用投影制御装置４０は、１秒間におけるフレームをカウントして基準位置判定用映像１００を投影するタイミングであるか否かを判定する。車両用投影制御装置４０は、基準位置判定用映像１００を投影するタイミングである場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。車両用投影制御装置４０は、基準位置判定用映像１００を投影するタイミングではない場合（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。
　基準位置判定用映像１００を投影するタイミングであると判定された場合（ステップＳ１１でＹｅｓ）、車両用投影制御装置４０は、基準位置判定用映像１００を投影する（ステップＳ１２）。より詳しくは、車両用投影制御装置４０は、投影制御部４５によって、基準位置判定用映像生成部４１が生成した基準位置判定用映像１００を投影する制御信号を出力する。車両用投影制御装置４０は、ステップＳ１３に進む。
　車両用投影制御装置４０は、カメラ２０によって撮影する（ステップＳ１３）。より詳しくは、車両用投影制御装置４０は、カメラ２０によって、運転者Ｍの顔面に投影された基準位置判定用映像１００を撮影映像データとして撮影する。車両用投影制御装置４０は、ステップＳ１４に進む。
　車両用投影制御装置４０は、撮影映像データを取得する（ステップＳ１４）。より詳しくは、車両用投影制御装置４０は、映像データ取得部４２によって、カメラ２０が撮影した撮影映像データを取得する。車両用投影制御装置４０は、ステップＳ１５に進む。
　車両用投影制御装置４０は、瞳孔位置を検出する（ステップＳ１５）。より詳しくは、車両用投影制御装置４０は、検出部４３によって、撮影映像データに対して画像処理を行って、基準位置判定用映像１００と運転者Ｍの瞳孔との相対的な位置関係を検出する。車両用投影制御装置４０は、検出部４３によって、運転者Ｍの瞳孔位置のズレ量を検出する。車両用投影制御装置４０は、ステップＳ１６に進む。
　車両用投影制御装置４０は、瞳孔位置が上下方向または左右方向に閾値以上のズレを有するか否かを判定する（ステップＳ１６）。より詳しくは、車両用投影制御装置４０は、検出部４３が検出した運転者Ｍの瞳孔位置の上下方向または左右方向のズレ量が閾値以上である場合（ステップＳ１６でＹｅｓ）、ステップＳ１７に進む。車両用投影制御装置４０は、検出部４３が検出した運転者Ｍの瞳孔位置の上下方向または左右方向のズレ量が閾値以上ではない場合（ステップＳ１６でＮｏ）、ステップＳ１９に進む。
　運転者Ｍの瞳孔位置の上下方向または左右方向のズレ量が閾値以上であると判定された場合（ステップＳ１６でＹｅｓ）、車両用投影制御装置４０は、虚像位置の調整量を取得する（ステップＳ１７）。より詳しくは、車両用投影制御装置４０は、調整量取得部４４によって、検出部４３で検出した運転者Ｍの瞳孔位置のズレ量に基づいて、表示映像２００の投影位置の調整量を取得する。車両用投影制御装置４０は、ステップＳ１８に進む。
　車両用投影制御装置４０は、虚像の投影位置を調整する（ステップＳ１８）。車両用投影制御装置４０は、投影制御部４５によって、調整量取得部４４が取得した調整量に基づいて、位置を調整した基準位置判定用映像１００を投影する制御信号を出力する。車両用投影制御装置４０は、ステップＳ１９に進む。
　車両用投影制御装置４０は、終了トリガがあるか否かを判定する（ステップＳ１９）。終了トリガとは、例えば、ＨＵＤ装置１０の動作を終了するボタンが押下されたり、車両が停車してエンジンが停止された場合である。車両用投影制御装置４０は、終了トリガがある場合（ステップＳ１９でＹｅｓ）、処理を終了する。車両用投影制御装置４０は、終了トリガがない場合（ステップＳ１９でＮｏ）、ステップＳ１１の処理を再度実行する。
　例えば、図５を参照して、運転者Ｍの瞳孔位置が上方にズレて位置している場合について説明する。ステップＳ１８において、車両用投影制御装置４０は、図９に示すように、表示映像２００の投影位置を上方にずらして、表示映像２００の虚像の表示位置が運転者Ｍに対して適切な位置に調整される。図９は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。
　例えば、図６を参照して、運転者Ｍの瞳孔位置が運転者Ｍの左手方向にズレて位置している場合について説明する。ステップＳ１８において、車両用投影制御装置４０は、図１０に示すように、表示映像２００の投影位置を運転者Ｍの左手方向にずらして、表示映像２００の虚像の表示位置が運転者Ｍに対して適切な位置に調整される。図１０は、第一実施形態に係る車両用投影制御装置によって投影される映像を説明する図である。
　このようにして、車両用投影制御装置４０は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することによって、運転者Ｍの瞳孔位置を検出する。そして、車両用投影制御装置４０は、表示映像２００の虚像の表示位置を調整する。
　上述したように、本実施形態は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することによって、基準位置判定用映像１００と運転者Ｍの瞳孔との相対的な位置関係を検出する。これにより、本実施形態は、虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係を検出することができる。
　本実施形態は、検出した虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係に基づいて、表示映像２００の虚像の表示位置を運転者Ｍに対して適切な位置に調整することができる。
　本実施形態は、１秒間のうちの１フレームのみ基準位置判定用映像１００を投影する。これにより、本実施形態は、運転者Ｍの顔面に基準位置判定用映像１００の映像表示光が投射されていることを運転者Ｍに意識させることなく、虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係を検出することができる。また、本実施形態によれば、運転者Ｍの顔面に基準位置判定用映像１００の映像表示光が投射されていることを運転者Ｍに意識させることなく、表示映像２００の虚像の表示位置を運転者Ｍに対して適切な位置に調整することができる。
　本実施形態は、通常使用時における表示映像２００の映像表示光の光路と同一の光路を通過して、表示映像２００の投影位置と同じ位置に投影される基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射する。このように、本実施形態は、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面に投射することにより、虚像に対する運転者Ｍの瞳孔位置を直接的に検出することができる。
　本実施形態では、カメラ２０と投影ユニット３０と車両用投影制御装置４０とは、一体として、車両のダッシュボードＤの下側に配置されている。本実施形態は、通常使用時に表示映像２００の虚像を投影する装置によって、虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係を検出することができる。本実施形態は、表示映像２００の投影を行う装置以外の装置を車両のダッシュボードＤなどに取り付けなくてよいので、装置が大型化することを抑制することができる。
［第二実施形態］
　図１１ないし図１３を参照しながら、本実施形態に係るＨＵＤ装置１０Ａについて説明する。図１１は、第二実施形態に係る車両用投影制御装置の構成例を示すブロック図である。図１２は、第二実施形態に係る車両用投影制御装置によって表示される基準位置判定用映像の一例を示す図である。図１３は、第二実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。ＨＵＤ装置１０Ａは、基本的な構成は第一実施形態のＨＵＤ装置１０と同様である。以下の説明においては、ＨＵＤ装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、ＨＵＤ装置１０Ａは、顔面データ取得部４６Ａを有する点と、検出部４３Ａおよび投影制御部４５Ａにおける処理が第一実施形態と異なる。
　基準位置判定用映像１００は、通常使用時における表示映像２００の映像表示光の光路と同一の光路を通過する。そして、基準位置判定用映像１００は、図１２に示すように、表示映像２００の投影位置より下側に投影される。
　ＨＵＤ装置１０Ａは、初期設定として、カメラ２０によって、運転者Ｍの顔面の映像を撮影する。顔面データは、顔面の各部位の配置や距離を検出可能な映像である。例えば、顔面データは、眼Ｅ（図２参照）と顔面の所定位置との距離を検出可能な映像である。撮影された顔面のデータである顔面データは、記憶部に記憶される。
　顔面データ取得部４６Ａは、記憶部に記憶された顔面データを取得する。
　検出部４３Ａは、顔面データ取得部４６Ａが取得した顔面データと撮影映像データにおける運転者Ｍの瞳孔位置と基準位置判定用映像１００とに基づいて、基準位置判定用映像１００と運転者Ｍの瞳孔との相対的な位置関係を検出する。基準位置判定用映像１００は表示映像２００の投影位置より下側に投影されるが、検出部４３Ａは、顔面データを参照することによって、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の相対的な位置関係を検出することが可能である。
　投影制御部４５Ａは、図１２に示すように、位置調整時は、顔面データ取得部４６Ａが取得した顔面データに基づいて、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面の眼Ｅより下側に投射するように、基準位置判定用映像１００の投影を制御する。投影制御部４５Ａは、位置調整時は、通常使用時における表示映像２００の映像表示光の光路と同一の光路を通過して、基準位置判定用映像１００を投射する。そして、投影制御部４５Ａは、基準位置判定用映像１００を、表示映像２００の投影位置より下側に投影する。
　次に、図１３を用いて、車両用投影制御装置４０Ａにおける処理の流れについて説明する。図１３に示すフローチャートのステップＳ２１、ステップＳ２４、ステップＳ２５、ステップＳ２７ないしステップＳ３０の処理は、図８に示すフローチャートのステップＳ１１、ステップＳ１３、ステップＳ１４、ステップＳ１６ないしステップＳ１９の処理と同様の処理を行う。
　車両用投影制御装置４０Ａは、顔面データを取得する（ステップＳ２２）。より詳しくは、車両用投影制御装置４０Ａは、顔面データ取得部４６Ａによって、記憶部に記憶された顔面データを取得する。車両用投影制御装置４０Ａは、ステップＳ２３に進む。
　車両用投影制御装置４０は、運転者Ｍの顔面の眼Ｅより下側に基準位置判定用映像１００を投影する（ステップＳ２３）。より詳しくは、車両用投影制御装置４０は、投影制御部４５によって、基準位置判定用映像生成部４１が生成した基準位置判定用映像１００を運転者Ｍの顔面の眼Ｅより下側に投影する制御信号を出力する。車両用投影制御装置４０は、ステップＳ２４に進む。
　車両用投影制御装置４０Ａは、顔面データに基づいて瞳孔位置を検出する（ステップＳ２６）。より詳しくは、車両用投影制御装置４０Ａは、検出部４３Ａによって、顔面データおよび撮影映像データに対して画像処理を行って、基準位置判定用映像１００と運転者Ｍの瞳孔との相対的な位置関係を検出する。車両用投影制御装置４０Ａは、検出部４３Ａによって、運転者Ｍの瞳孔位置のズレ量を検出する。車両用投影制御装置４０Ａは、ステップＳ２７に進む。
　上述したように、本実施形態は、位置調整時に、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面の眼Ｅより下側に投射する。本実施形態によれば、基準位置判定用映像１００の映像表示光が、運転者Ｍの瞳孔に入射することを抑制することができる。これにより、本実施形態は、基準位置判定用映像１００の映像表示光によって、運転者Ｍが眩しいと感じることを抑制することができる。
［第三実施形態］
　図１４、図１５を参照しながら、本実施形態に係るＨＵＤ装置１０Ｂについて説明する。図１４は、第三実施形態に係る車両用投影制御装置の構成例を示すブロック図である。図１５は、第三実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。ＨＵＤ装置１０Ｂは、基本的な構成は第一実施形態のＨＵＤ装置１０と同様である。本実施形態では、ＨＵＤ装置１０Ｂは、車両用投影制御装置４０Ｂにおける処理が第一実施形態と異なる。
　車両用投影制御装置４０Ｂは、基準位置判定用映像生成部４１と、映像データ取得部４２と、検出部４３Ｂと、第一実施形態の調整量取得部４４と同様の機能を有する第一調整量取得部４４と、投影制御部４５Ｂと、表情検出部４７Ｂと、第二調整量取得部４８Ｂとを有する。
　表情検出部４７Ｂは、撮影映像データに対して画像処理を行って、運転者Ｍの眩しそうな表情を検出する。例えば、表情検出部４７Ｂは、撮影映像データに基づいて、運転者Ｍが位置調整時に眼を細めたりつぶったりした表情を眩しそうな表情として検出する。
　第二調整量取得部４８Ｂは、運転者Ｍの眼から基準位置判定用映像１００の第一基準位置判定用映像１０１および第二基準位置判定用映像１０２が外れるように、基準位置判定用映像１００の投影位置の第二調整量を取得する。より詳しくは、第二調整量取得部４８Ｂは、基準位置判定用映像１００の投影位置を上下方向または左右方向にずらして第一基準位置判定用映像１０１および第二基準位置判定用映像１０２が運転者Ｍの眼から外れる位置にする第二調整量を取得する。
　検出部４３Ｂは、基準位置判定用映像１００の投影位置が第二調整量ずらされていないとき、第一実施形態と同様に表示映像２００の虚像に対する運転者Ｍの瞳孔位置の上下方向または左右方向の位置の少なくともいずれかを検出する。検出部４３Ｂは、基準位置判定用映像１００の投影位置が第二調整量ずらされているとき、撮影映像データにおける運転者Ｍの瞳孔位置と基準位置判定用映像１００と第二調整量とに基づいて、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の上下方向または左右方向の位置の少なくともいずれかを検出する。言い換えると、検出部４３Ｂは、基準位置判定用映像１００の投影位置が第二調整量ずらされているとき、基準位置判定用映像１００の位置調整を考慮して、運転者Ｍの瞳孔位置の上下方向または左右方向の位置の少なくともいずれかを検出する。
　投影制御部４５Ｂは、位置調整時において運転者Ｍの眩しそうな表情を検出すると、基準位置判定用映像１００の映像表示光を運転者Ｍの眼の位置から外して投射するように、基準位置判定用映像１００の投影を制御する。
　次に、図１５を用いて、車両用投影制御装置４０Ｂにおける処理の流れについて説明する。図１５に示すフローチャートのステップＳ４１ないしステップＳ４４、ステップＳ５０ないしステップＳ５３の処理は、図８に示すフローチャートのステップＳ１１ないしステップＳ１４、ステップＳ１６ないしステップＳ１９の処理と同様の処理を行う。
　車両用投影制御装置４０Ｂは、表情を検出する（ステップＳ４５）。より詳しくは、車両用投影制御装置４０Ｂは、表情検出部４７Ｂによって、撮影映像データに対して画像処理を行って、運転者Ｍの眩しそうな表情を検出する。
　車両用投影制御装置４０Ｂは、眩しそうな表情を検出したか否かを判定する（ステップＳ４６）。より詳しくは、車両用投影制御装置４０Ｂは、表情検出部４７Ｂの検出結果に基づいて、運転者Ｍの眩しそうな表情を検出した場合（ステップＳ４６でＹｅｓ）、ステップＳ４７に進む。車両用投影制御装置４０Ｂは、表情検出部４７Ｂの検出結果に基づいて、運転者Ｍの眩しそうな表情を検出していない場合（ステップＳ４６でＮｏ）、ステップＳ４９に進む。
　眩しそうな表情を検出した場合（ステップＳ４６でＹｅｓ）、車両用投影制御装置４０Ｂは、基準位置判定用映像１００の第二調整量を取得する（ステップＳ４７）。より詳しくは、車両用投影制御装置４０Ｂは、第二調整量取得部４８Ｂによって、運転者Ｍの眼から基準位置判定用映像１００の第一基準位置判定用映像１０１および第二基準位置判定用映像１０２が外れるように、基準位置判定用映像１００の投影位置の第二調整量を取得する。車両用投影制御装置４０Ｂは、ステップＳ４８に進む。
　車両用投影制御装置４０Ｂは、位置を調整して基準位置判定用映像１００を投影する（ステップＳ４８）。車両用投影制御装置４０Ｂは、投影制御部４５Ｂによって、第二調整量取得部４８Ｂが取得した第二調整量に基づいて、位置を調整した基準位置判定用映像１００を投影する制御信号を出力する。車両用投影制御装置４０Ｂは、ステップＳ４３の処理を再度実行する。
　眩しそうな表情を検出していない場合（ステップＳ４６でＮｏ）、車両用投影制御装置４０Ｂは、基準位置判定用映像１００の投影位置に応じて瞳孔位置を検出する（ステップＳ４９）。ステップＳ４８において基準位置判定用映像１００の投影位置が調整されていないとき、車両用投影制御装置４０Ｂは、検出部４３Ｂによって、ステップＳ１５と同様の処理を行う。ステップＳ４８において基準位置判定用映像１００の投影位置が第二調整量ずらされているとき、車両用投影制御装置４０Ｂは、検出部４３Ｂによって、基準位置判定用映像１００の位置調整を考慮して、運転者Ｍの瞳孔位置の上下方向または左右方向の位置の少なくともいずれかを検出する。車両用投影制御装置４０Ｂは、ステップＳ５０に進む。
　上述したように、本実施形態は、位置調整時に、運転者Ｍの眩しそうな表情を検出すると、基準位置判定用映像１００の映像表示光を運転者Ｍの顔面の眼Ｅから外すように位置を調整して投射する。これにより、本実施形態は、位置調整時に、基準位置判定用映像１００の映像表示光によって、運転者Ｍが眩しいと感じることを低減することができる。
［第四実施形態］
　図１６、図１７を参照しながら、本実施形態に係るＨＵＤ装置１０について説明する。図１６は、第四実施形態に係る車両用投影制御装置によって検出される運転者の瞳孔位置の一例を示す図である。図１７は、第四実施形態に係る車両用投影制御装置における処理の流れを示すフローチャートである。ＨＵＤ装置１０は、基本的な構成は第一実施形態のＨＵＤ装置１０と同様である。本実施形態では、ＨＵＤ装置１０は、車両用投影制御装置４０における処理が第一実施形態と異なる。
　検出部４３は、撮影映像データにおける運転者Ｍの瞳孔位置と基準位置判定用映像１００とに基づいて、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の傾きを検出する。より詳しくは、検出部４３は、撮影映像データに画像処理を行って、運転者Ｍの左右の瞳孔位置を結んだ直線Ｌの、第一基準位置判定用映像１０１に対する傾きを角度θとして検出する。
　図１６を参照して、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の傾きについて説明する。例えば、カーブを走行中に遠心力が作用すると、図１６に示すように運転者Ｍの顔が傾くことがある。図１６に示すように、基準位置判定用映像１００が格子状である場合、検出部４３は、運転者Ｍの左右の瞳孔位置を結んだ直線Ｌが第一基準位置判定用映像１０１に対して傾いているとき、運転者Ｍの瞳孔位置が傾いているとして検出する。また、検出部４３は、運転者Ｍの瞳孔位置の傾きの角度θを取得する。
　調整量取得部４４は、検出部４３が検出した虚像に対する視認者の瞳孔位置の相対的な位置関係に基づいて、前方に投影する虚像の位置の調整量を取得する。より詳しくは、調整量取得部４４は、運転者Ｍの瞳孔位置が傾いていても、表示映像２００の虚像が歪みなく視認されるような表示映像２００の調整量を算出する。例えば、調整量取得部４４は、検出部４３で検出した運転者Ｍの瞳孔位置の傾きの角度θに基づいて、表示映像２００の虚像が歪みなく視認されるような光学機構の調整量を取得してもよい。または、例えば、調整量取得部４４は、検出部４３で検出した運転者Ｍの瞳孔位置の傾きの角度θに基づいて、表示映像２００の虚像が歪みなく視認されるように虚像位置に対して実行する画像補正処理における調整量を取得してもよい。または、例えば、調整量取得部４４は、検出部４３で検出した運転者Ｍの瞳孔位置の傾きの角度θに基づいて、表示映像２００の虚像が歪みなく視認されるように表示部３１に表示する表示映像２００の表示位置の調整量を取得してもよい。
　投影制御部４５は、調整量取得部４４が取得した調整量に基づいて、前方に投影する虚像の位置を調整して投影するよう制御する。より詳しくは、投影制御部４５は、運転者Ｍの瞳孔位置が傾いているとき、自車両の前方に、表示映像２００の虚像が歪みなく視認されるように、表示映像２００を調整して投影するように制御する。例えば、投影制御部４５は、調整量取得部４４で取得した調整量に基づいて、光学機構を調整することによって、調整した表示映像２００を投影してもよい。または、例えば、投影制御部４５は、調整量取得部４４で取得した調整量に基づいて、画像補正処理を実行することによって、調整した表示映像２００を投影してもよい。または、例えば、投影制御部４５は、調整量取得部４４で取得した調整量に基づいて、表示部３１に表示する表示映像２００の表示位置を調整するによって、調整した表示映像２００を投影してもよい。
　次に、図１７を用いて、車両用投影制御装置４０における処理の流れについて説明する。図１５に示すフローチャートのステップＳ６１ないしステップＳ６４、ステップＳ６９の処理は、図８に示すフローチャートのステップＳ１１ないしステップＳ１４、ステップＳ１９の処理と同様の処理を行う。
　車両用投影制御装置４０は、瞳孔位置の傾きを検出する（ステップＳ６５）。より詳しくは、車両用投影制御装置４０は、検出部４３によって、撮影映像データに対して画像処理を行って、表示映像２００の虚像に対する運転者Ｍの瞳孔位置の傾きの角度θを検出する。車両用投影制御装置４０は、ステップＳ６６に進む。
　車両用投影制御装置４０は、瞳孔位置が傾いているか否かを判定する（ステップＳ６６）。より詳しくは、車両用投影制御装置４０は、検出部４３が検出した運転者Ｍの瞳孔位置の傾きの角度θが閾値以上であると、瞳孔位置が傾いていると判定して（ステップＳ６６でＹｅｓ）、ステップＳ６７に進む。車両用投影制御装置４０は、検出部４３が検出した運転者Ｍの瞳孔位置の傾きの角度θが閾値以上ではないと、瞳孔位置が傾いていないと判定して（ステップＳ６６でＮｏ）、ステップＳ６９に進む。
　運転者Ｍの瞳孔位置が傾いていると判定された場合（ステップＳ６６でＹｅｓ）、車両用投影制御装置４０は、瞳孔位置の傾きに応じて虚像位置の調整量を取得する（ステップＳ６７）。より詳しくは、車両用投影制御装置４０は、調整量取得部４４によって、検出部４３で検出した運転者Ｍの瞳孔位置の傾きに基づいて、表示映像２００の調整量を取得する。車両用投影制御装置４０は、ステップＳ６８に進む。
　車両用投影制御装置４０は、瞳孔位置の傾きに応じて虚像の投影位置を調整する（ステップＳ６８）。車両用投影制御装置４０は、投影制御部４５によって、調整量取得部４４が取得した調整量に基づいて、位置を調整した基準位置判定用映像１００を投影する制御信号を出力する。車両用投影制御装置４０は、ステップＳ６９に進む。
　上述したように、本実施形態は、瞳孔位置の傾きに応じて虚像の投影位置を調整する。これにより、本実施形態は、表示映像２００の虚像を歪みなく視認することができる。例えば、本実施形態は、カーブを走行中に運転者Ｍの顔が傾いたようなときでも、表示映像２００の虚像を歪みなく視認させることができる。
　さて、これまで本発明に係るＨＵＤ装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
　図示したＨＵＤ装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　ＨＵＤ装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　投影ユニット３０は、ウィンドシールドＳを反射部とするものとして説明したが、反射部はこれに限定されない。例えば、コンバイナを反射部として使用するものでもよい。
　基準位置判定用映像１００は、可視光を使用するものに限定されず、赤外光を使用してもよい。基準位置判定用映像１００に赤外光を使用した場合、カメラ２０は、赤外光を撮影可能な赤外カメラとする。基準位置判定用映像１００に赤外光を使用することにより、運転者Ｍの顔面に基準位置判定用映像１００の映像表示光が投射されていることを運転者Ｍに意識させることなく、運転者Ｍの瞳孔位置を検出することが可能である。
　さらに、カメラ２０が撮影した運転者の顔面に映った基準位置判定用映像１００によって、基準位置判定用映像１００および表示映像２００の表示輝度を検出することが可能である。検出した表示輝度に応じて、例えば、車両用投影制御装置４０は、トンネル走行時または西日が差す時間には、表示映像２００のコントラストを調整して投影する処理を実行してもよい。
　１０　　　ＨＵＤ装置
　２０　　　カメラ
　３０　　　投影ユニット
　３１　　　表示部
　３２　　　凹面鏡
　４０　　　車両用投影制御装置（投影制御装置）
　４１　　　基準位置判定用映像生成部
　４２　　　映像データ取得部
　４３　　　検出部
　４４　　　調整量取得部
　４５　　　投影制御部
　１００　　基準位置判定用映像
　１０１　　第一基準位置判定用映像
　１０２　　第二基準位置判定用映像
　２００　　表示映像
　Ｓ　　　　ウィンドシールド

Claims (8)

  1. 　ヘッドアップディスプレイ装置の投影ユニットによって、前方に虚像が視認されるように表示映像の投影を制御する投影制御部と、
    　視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得部と、
    　前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する検出部と、
    　を備え、
    　前記投影制御部は、前記投影ユニットによって、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、
    　前記検出部は、前記映像データ取得部が取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像に基づいて、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する、
    　ことを特徴とする投影制御装置。
  2. 　前記投影制御部は、前記投影ユニットが投影する前記基準位置判定用映像を、前方に虚像を視認させる前記表示映像より高い輝度で投影するよう制御する、
    　請求項１に記載の投影制御装置。
  3. 　前記基準位置判定用映像は、上下方向の基準位置を示す第一基準位置判定用映像と左右方向の基準位置を示す第二基準位置判定用映像との少なくともいずれかを含む、
    　請求項１または２に記載の投影制御装置。
  4. 　前記投影制御部は、前記投影ユニットによって、前記視認者の顔面の眼より下側に向けて投射するように基準位置判定用映像の投影を制御し、
    　前記検出部は、前記映像データ取得部が取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像と、あらかじめ記憶した前記視認者の眼と顔面の所定位置との距離を検出可能な顔面データとに基づいて、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する、
    　請求項１から３のいずれか一項に記載の投影制御装置。
  5. 　前記検出部が検出した前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係に基づいて、前方に投影する虚像の位置の調整量を取得する調整量取得部、
    　を備え、
    　前記投影制御部は、前記調整量取得部が取得した前記調整量に基づいて、前方に投影する虚像の位置を調整して投影するよう制御する、
    　請求項１から４のいずれか一項に記載の投影制御装置。
  6. 　請求項１から５のいずれか一項に記載の投影制御装置と、
    　前記投影ユニットと前記撮影部との少なくともいずれかと、
    　を備えることを特徴とするヘッドアップディスプレイ装置。
  7. 　ヘッドアップディスプレイ装置の投影ユニットによって、前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、
    　視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、
    　前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する検出ステップと、
    　を含み、
    　前記投影制御ステップは、前記投影ユニットによって、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、
    　前記検出ステップは、前記映像データ取得ステップにおいて取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像に基づいて、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する、
    　投影制御方法。
  8. 　ヘッドアップディスプレイ装置の投影ユニットによって、前方に虚像が視認されるように表示映像の投影を制御する投影制御ステップと、
    　視認者を撮影可能な撮影部が撮影した撮影映像を取得する映像データ取得ステップと、
    　前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する検出ステップと、
    　を含み、
    　前記投影制御ステップは、前記投影ユニットによって、前記視認者に向けて投射する基準位置判定用映像の投影を制御し、
    　前記検出ステップは、前記映像データ取得ステップにおいて取得した、前記視認者に投射された前記基準位置判定用映像を撮影した撮影映像に基づいて、前記虚像に対する前記視認者の瞳孔位置の相対的な位置関係を検出する、
    　ことを投影制御装置として動作するコンピュータに実行させるためのプログラム。
PCT/JP2018/037515 2017-12-06 2018-10-09 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム WO2019111520A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/891,099 US11597278B2 (en) 2017-12-06 2020-06-03 Projection control device, head-up display device, projection control method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017234458A JP6883244B2 (ja) 2017-12-06 2017-12-06 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム
JP2017-234458 2017-12-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/891,099 Continuation US11597278B2 (en) 2017-12-06 2020-06-03 Projection control device, head-up display device, projection control method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2019111520A1 true WO2019111520A1 (ja) 2019-06-13

Family

ID=66750142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037515 WO2019111520A1 (ja) 2017-12-06 2018-10-09 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム

Country Status (3)

Country Link
US (1) US11597278B2 (ja)
JP (1) JP6883244B2 (ja)
WO (1) WO2019111520A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452972A (zh) * 2020-03-25 2021-09-28 丰田自动车株式会社 显示控制装置、图像补正方法以及记录有程序的记录介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7149192B2 (ja) * 2019-01-25 2022-10-06 マクセル株式会社 ヘッドアップディスプレイ装置
CN109889807A (zh) * 2019-03-14 2019-06-14 百度在线网络技术（北京）有限公司 车载投射调节方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001145129A (ja) * 1999-11-17 2001-05-25 Mixed Reality Systems Laboratory Inc 立体画像表示装置
JP2004114709A (ja) * 2002-09-20 2004-04-15 Equos Research Co Ltd 車載画像表示装置
JP2009262666A (ja) * 2008-04-23 2009-11-12 Calsonic Kansei Corp 車両用ヘッドアップディスプレイ装置の調整方法
JP2012163613A (ja) * 2011-02-03 2012-08-30 Denso Corp 虚像表示装置
WO2016157799A1 (ja) * 2015-03-27 2016-10-06 パナソニックＩｐマネジメント株式会社 車両用表示装置の位置調整方法
JP2017078756A (ja) * 2015-10-19 2017-04-27 富士通株式会社 ヘッドマウントディスプレイ装置
JP2017097759A (ja) * 2015-11-27 2017-06-01 株式会社デンソー 視線方向検出装置、及び視線方向検出システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
JP4622794B2 (ja) 2005-10-07 2011-02-02 株式会社デンソー 画面移動型表示装置
JP2009229752A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
WO2011033549A1 (ja) * 2009-09-15 2011-03-24 株式会社 東芝 表示装置およびその制御方法
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
KR102281149B1 (ko) * 2014-10-22 2021-07-23 삼성전자주식회사 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
JP2017026675A (ja) 2015-07-16 2017-02-02 パナソニックＩｐマネジメント株式会社 ヘッドアップディスプレイ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001145129A (ja) * 1999-11-17 2001-05-25 Mixed Reality Systems Laboratory Inc 立体画像表示装置
JP2004114709A (ja) * 2002-09-20 2004-04-15 Equos Research Co Ltd 車載画像表示装置
JP2009262666A (ja) * 2008-04-23 2009-11-12 Calsonic Kansei Corp 車両用ヘッドアップディスプレイ装置の調整方法
JP2012163613A (ja) * 2011-02-03 2012-08-30 Denso Corp 虚像表示装置
WO2016157799A1 (ja) * 2015-03-27 2016-10-06 パナソニックＩｐマネジメント株式会社 車両用表示装置の位置調整方法
JP2017078756A (ja) * 2015-10-19 2017-04-27 富士通株式会社 ヘッドマウントディスプレイ装置
JP2017097759A (ja) * 2015-11-27 2017-06-01 株式会社デンソー 視線方向検出装置、及び視線方向検出システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452972A (zh) * 2020-03-25 2021-09-28 丰田自动车株式会社 显示控制装置、图像补正方法以及记录有程序的记录介质

Also Published As

Publication number Publication date
JP2019101323A (ja) 2019-06-24
US20200290458A1 (en) 2020-09-17
US11597278B2 (en) 2023-03-07
JP6883244B2 (ja) 2021-06-09

Similar Documents

Publication Publication Date Title
JP6643969B2 (ja) 車両用表示装置
CN110573369B (zh) 平视显示器装置及其显示控制方法
US10866415B2 (en) Head-up display apparatus
JP6252883B1 (ja) ヘッドアップディスプレイ装置、及び車両
JP6839806B2 (ja) ヘッドアップディスプレイ装置、及び車両
EP2826249B1 (en) Projector and control method for the projector
US11597278B2 (en) Projection control device, head-up display device, projection control method, and non-transitory storage medium
JP2010070066A (ja) ヘッドアップディスプレイ
JP2009246505A (ja) 画像表示装置及び画像表示装置
JP6528962B2 (ja) ヘッドアップディスプレイ
WO2017090464A1 (ja) ヘッドアップディスプレイ
US20180249150A1 (en) Head mounted display and image formation optical system
JP2005184225A (ja) 車両用表示装置
WO2018003650A1 (ja) ヘッドアップディスプレイ
JP2011107382A (ja) 車両用表示装置
JPWO2020009217A1 (ja) ヘッドアップディスプレイ装置
JP6845988B2 (ja) ヘッドアップディスプレイ
WO2018124299A1 (ja) 虚像表示装置及び方法
JP2009006968A (ja) 車両用表示装置
KR102084002B1 (ko) 시선 추적 기반 헤드업 디스플레이 장치
JP2022059898A (ja) 裸眼立体画像表示システム
JP2021022851A (ja) ヘッドアップディスプレイ装置
JPWO2020009218A1 (ja) ヘッドアップディスプレイ装置
WO2019130865A1 (ja) 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム
JP2015026024A (ja) 立体画像観察装置、プロジェクタおよびプロジェクタシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18885257

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18885257

Country of ref document: EP

Kind code of ref document: A1