WO2020090713A1 - 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム - Google Patents

通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム Download PDF

Info

Publication number
WO2020090713A1
WO2020090713A1 PCT/JP2019/042126 JP2019042126W WO2020090713A1 WO 2020090713 A1 WO2020090713 A1 WO 2020090713A1 JP 2019042126 W JP2019042126 W JP 2019042126W WO 2020090713 A1 WO2020090713 A1 WO 2020090713A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
communication
eye
display
head
Prior art date
Application number
PCT/JP2019/042126
Other languages
English (en)
French (fr)
Inventor
薫 草深
橋本　直
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US17/285,081 priority Critical patent/US12010289B2/en
Priority to CN201980069304.4A priority patent/CN112889275B/zh
Priority to EP19877714.6A priority patent/EP3876529B1/en
Publication of WO2020090713A1 publication Critical patent/WO2020090713A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/23—Optical features of instruments using reflectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136—Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Definitions

  • the present disclosure relates to a communication head-up display system, a communication device, a mobile body, and a program.
  • the communication head-up display system of the present disclosure includes a communication device and a head-up display.
  • the communication device includes a first controller and a first communication unit.
  • the first controller is configured to estimate the sensor and the position of the user's eye in at least one direction based on the output of the sensor.
  • the first communication unit is configured to transmit the position estimated by the first controller.
  • the head-up display includes a display panel, an optical element, a reflector, and a second communication unit.
  • the display panel is configured to display a parallax image.
  • the optical element is configured to define a propagation direction of image light emitted from the parallax image.
  • the reflector is configured to reflect image light whose propagation direction is defined by the optical element.
  • the reflector includes a reflective element and a driving device.
  • the reflective element is configured to reflect the image light.
  • the driving device is configured to change at least one of a position and a posture of the reflective element so that the image light reflected by the reflective element
  • the communication device of the present disclosure can communicate with a head-up display.
  • the head-up display includes a display panel, an optical element, a reflective element, and a driving device.
  • the display panel is configured to display a parallax image.
  • the optical element is configured to define a propagation direction of image light emitted from the parallax image.
  • the reflective element is configured to reflect the image light.
  • the driving device is configured to change at least one of a position and a posture of the reflective element.
  • the communication device includes an image sensor, a controller, and a first communication unit.
  • the image sensor is configured to generate a captured image of the user.
  • the controller is configured to estimate the position of the user's eye in the height direction based on the captured image, and generate position information including the position in the height direction.
  • the first communication unit is configured to transmit the position information to the head-up display for use in controlling the driving device.
  • the mobile body of the present disclosure includes a communication head-up display system and a mounting portion.
  • the communication head-up display system includes a communication device and a head-up display.
  • the communication device includes a first controller and a first communication unit.
  • the first controller is configured to estimate the sensor and the position of the user's eye in at least one direction based on the output of the sensor.
  • the first communication unit is configured to transmit the position estimated by the first controller.
  • the head-up display includes a display panel, an optical element, a reflector, and a second communication unit.
  • the display panel is configured to display a parallax image.
  • the optical element is configured to define a propagation direction of image light emitted from the parallax image.
  • the reflector is configured to reflect image light whose propagation direction is defined by the optical element.
  • the reflector includes a reflective element and a driving device.
  • the reflective element is configured to reflect the image light.
  • the driving device is configured to change at least one of a position and a posture of the reflective element so that the image light reflected by the reflective element reaches the position of the eye.
  • the mounting portion movably mounts the communication device.
  • the program of the present disclosure is a program executed by a communication device including an image sensor, a controller, and a communication unit.
  • the communication device is configured to communicate with a heads up display.
  • the head-up display includes a display panel, an optical element, and a reflector.
  • the display panel is configured to display a parallax image.
  • the optical element is configured to define a propagation direction of image light emitted from the parallax image.
  • the reflector includes a reflective element and a driving device.
  • the reflective element is configured to reflect the image light.
  • the driving device is configured to change at least one of a position and a posture of the reflective element.
  • the controller estimates the position of the eye of the user in the height direction based on a captured image generated by the image sensor capturing the user, and obtains position information including the position in the height direction. Control to generate.
  • the controller controls the communication unit to transmit the position information to a drive device that changes at least one of the position and the attitude of the reflective element.
  • FIG. 1 is a diagram showing an example of a communication head-up display system mounted on a mobile body.
  • FIG. 2 is a diagram showing a state before the communication device shown in FIG. 1 moves.
  • FIG. 3 is a diagram showing a state after the communication device shown in FIG. 1 has moved.
  • FIG. 4 is a diagram showing a schematic configuration of the communication device and the head-up display shown in FIG.
  • FIG. 5 is a diagram showing an example of the display panel shown in FIG. 4 viewed from the depth direction.
  • FIG. 6 is a diagram showing an example of the parallax barrier shown in FIG. 4 viewed from the depth direction.
  • FIG. 6 is a diagram for explaining the relationship between the virtual image shown in FIG. 1 and the user's eyes.
  • FIG. 1 is a diagram showing an example of a communication head-up display system mounted on a mobile body.
  • FIG. 2 is a diagram showing a state before the communication device shown in FIG. 1 moves.
  • FIG. 3 is a diagram showing
  • FIG. 8 is a flowchart showing an example of the processing flow of the first controller shown in FIG.
  • FIG. 9 is a diagram showing the positional relationship between the three-dimensional display device and the user's eyes when the user directly views the display panel.
  • FIG. 10 is a schematic configuration diagram of a three-dimensional display device when the optical element is a lenticular lens.
  • the image light In order for the user to properly see the virtual image of the image projected by the head-up display, it is desired that the image light appropriately reaches the position of the user's eyes.
  • the present disclosure provides a communication head-up display system, a communication device, a mobile body, and a program that allow a user to visually recognize an appropriate virtual image.
  • a communication head-up display system (communication HUD (HUD: Head Up Display) system) 100 according to an embodiment of the present disclosure includes a communication device 1 and a head-up display (HUD) 2. ..
  • the communication HUD system 100 may be mounted on the mobile body 20.
  • Vehicle in the present disclosure includes vehicles, ships, and aircraft.
  • Vehicle in the present disclosure includes, but is not limited to, automobiles and industrial vehicles, and may include railroad vehicles and daily vehicles, and fixed-wing aircraft that travel on a runway.
  • Vehicles include, but are not limited to, passenger cars, trucks, buses, motorcycles, trolleybuses, and the like, and may include other vehicles traveling on roads.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include, but are not limited to, forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawnmowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, mobile cranes, dump trucks, and road rollers. Vehicles include those that are driven manually.
  • vehicle classification is not limited to the above.
  • an automobile may include an industrial vehicle that can travel on a road, and the same vehicle may be included in multiple classifications.
  • the vessels in the present disclosure include marine jets, boats, and tankers.
  • the aircraft in the present disclosure includes a fixed-wing aircraft and a rotary-wing aircraft.
  • the communication device 1 is arranged so as to be able to image both eyes of the user.
  • the communication device 1 may be movably attached to the mobile body 20.
  • the mounting portion 201 for mounting the communication device 1 on the mobile body 20 may be fixed to the steering wheel 202 as shown in FIG.
  • the communication device 1 moves to a position different from the position before rotation as shown in FIG. 3 when the steering wheel 202 rotates. That is, the attachment unit 201 can be moved to a plurality of different positions in the real space while the communication device 1 is attached.
  • the communication device 1 may be a general-purpose wireless communication terminal, such as a mobile phone, a smartphone, or a tablet terminal. As shown in FIG. 4, the communication device 1 includes an imaging optical system 10, an imaging element 11, a first controller (controller) 12, a memory 13, and a first communication unit (communication unit) 14.
  • the communication device 1 includes an imaging optical system 10, an imaging element 11, a first controller (controller) 12, a memory 13, and a first communication unit (communication unit) 14.
  • the image pickup optical system 10 includes one or more lenses. In the image pickup optical system 10, the optical axis of the image pickup optical system 10 is perpendicular to the image pickup surface of the image pickup element 11.
  • the imaging optical system 10 is configured to form light incident from a subject as a subject image on the imaging surface of the image sensor 11.
  • the image sensor (sensor) 11 may include, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 11 is configured to generate and output a captured image by converting the image formed by the imaging optical system 10 into an electric signal.
  • the image pickup device 11 is configured to generate and output a picked-up image by picking up an image of a user together with a predetermined object at a predetermined position in the real space.
  • the image pickup device 11 may generate and output a plurality of picked-up images in a state in which the communication device 1 is at different positions. For example, when the communication device 1 is attached to the steering wheel 202 as shown in FIG.
  • the image pickup device 11 can generate a plurality of picked-up images.
  • the imaging element 11 may generate and output the first captured image when the steering wheel 202 is in the state before rotation. As shown in FIG. 3, when the steering wheel 202 is rotated by the user and is in a state after rotation, the image sensor 11 may generate and output the second captured image.
  • the first controller 12 may be connected to each component of the communication device 1 and configured to control each component.
  • the components controlled by the first controller 12 include the image sensor 11, the memory 13, and the first communication unit 14.
  • the first controller 12 may include one or more processors.
  • the first controller 12 may include at least one of a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor that is specialized for a specific process.
  • the dedicated processor may include an application-specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD: Programmable Logic Device).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the first controller 12 may be one of a SoC (System-on-a-Chip) in which one or more processors cooperate, and a SiP (System In-a-Package).
  • the memory 13 is composed of an arbitrary storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 13 is configured to store various information processed by the first controller 12.
  • the memory 13 is configured to store security information.
  • the security information may include identification information for uniquely identifying the communication device 1, which is used for authentication to enable connection to another device.
  • the security information may include identification information for uniquely identifying each user.
  • the memory 13 may store position information indicating the position of the user's eyes.
  • the memory 13 may store drive information indicating at least one of the position and the attitude of the reflective element 31.
  • the first communication unit 14 is configured to be able to communicate with the three-dimensional display device 5.
  • the communication method used in the communication between the first communication unit 14 and the three-dimensional display device 5 may be a short-range wireless communication standard, a wireless communication standard for connecting to a mobile phone network, or a wired communication standard.
  • the short-range wireless communication standard may include, for example, WiFi (registered trademark), Bluetooth (registered trademark), infrared ray, NFC (Near Field Communication), and the like.
  • the wireless communication standard for connecting to a mobile phone network may include, for example, LTE (Long Term Evolution), a fourth generation mobile communication system, a fifth generation mobile communication system, or the like.
  • the first communication unit 14 may include a first communication module 141 and a second communication module 142.
  • the first communication module 141 is configured to exchange security information with the HUD 2 to establish communication between the communication device 1 and the HUD 2.
  • the first communication module 141 may transmit the identification information for identifying the communication device 1 or the user of the communication device 1 to the HUD 2.
  • the second communication module 142 may send the location information to the HUD2.
  • the first communication module 141 may exchange security information with the HUD 2 using the NFC communication standard.
  • the second communication module 142 may transmit various information using WiFi.
  • the communication device 1 establishes secure communication by exchanging security information with the HUD 2 according to the NFC communication standard that is hard to be eavesdropped, and then transmits and receives various information according to the general-purpose WiFi communication standard. be able to.
  • the security information exchanged between the communication device 1 and the HUD 2 may include an encryption key for WiFi communication.
  • the first communication module 141 and the second communication module 142 may each communicate using an arbitrary communication standard.
  • the first communication module 141 and the second communication module 142 may communicate using the same communication standard.
  • the HUD 2 may include one or more reflectors 3, an optical member 4, and a three-dimensional display device 5.
  • the reflector 3 is configured to reflect the image light emitted from the three-dimensional display device 5 toward a predetermined area of the optical member 4.
  • the predetermined area is an area where the image light reflected by the predetermined area is directed toward the user's eye.
  • the predetermined region may be determined by the direction of the user's eyes with respect to the optical member 4 and the incident direction of image light on the optical member 4.
  • the one or more reflectors 3 include one or more reflective elements 31 and a drive 32.
  • Each of the reflective elements 31 may be a mirror. If the reflective element 31 is a mirror, for example, the mirror may be a concave mirror. In FIG. 1, one or more reflective elements 31 are shown as one mirror. However, the present invention is not limited to this, and the one or more reflective elements 31 may be a combination of one or more mirrors.
  • the driving device 32 is configured to drive the reflective element 31 and change at least one of the position and the posture of the reflective element 31 based on the position of the eye of the user.
  • the drive device 32 has a communication function and is configured to receive the position information from the communication device 1.
  • the drive device 32 may directly receive the position information from the communication device 1.
  • the driving device 32 is configured to calculate, from the eye position indicated by the position information, at least one of the position and the attitude of the reflective element 31 such that the image light reaches the eye position of the user.
  • the driving device 32 is configured to be capable of controlling the driving of the reflective element 31 so that at least one of the position and the attitude of the reflective element 31 becomes a calculated value.
  • the optical member 4 directs the image light emitted from the three-dimensional display device 5 and reflected by the one or more reflectors 3 toward the left eye (first eye) and the right eye (second eye) of the user. It is configured to reflect.
  • the windshield of the moving body 20 may also be used as the optical member 4.
  • the HUD 2 advances the light emitted from the three-dimensional display device 5 along the optical path L to the left eye and the right eye of the user. The user can visually recognize the light reaching along the optical path L as a virtual image V.
  • the three-dimensional display device 5 can include an illuminator 51, a display panel 52, a parallax barrier 53 as an optical element, a second communication unit 54, and a second controller 55.
  • the three-dimensional display device 5 may be housed in the dashboard of the moving body 20.
  • the illuminator 51 can illuminate the display panel 52 in a planar manner.
  • the illuminator 51 may include a light source, a light guide plate, a diffusion plate, a diffusion sheet, and the like.
  • the irradiator 51 is configured to emit irradiation light from a light source, and uniformize the irradiation light in the surface direction of the display panel 52 using a light guide plate, a diffusion plate, a diffusion sheet, or the like.
  • the illuminator 51 may be configured to emit the uniformized light toward the display panel 52.
  • the display panel 52 may be a display panel such as a transmissive liquid crystal display panel.
  • the display panel 52 is not limited to a transmissive liquid crystal panel, and another display panel such as an organic EL can be used.
  • the three-dimensional display device 5 does not need to include the illuminator 51.
  • the display panel 52 will be described as a liquid crystal panel.
  • the display panel 52 has a plurality of partitioned areas on a planar active area A.
  • the active area A can display a parallax image.
  • the parallax image includes a left-eye image (first image) described below and a right-eye image (second image) having a parallax with respect to the left-eye image.
  • the plurality of partitioned regions are regions partitioned in the first direction and the second direction orthogonal to the first direction.
  • the direction orthogonal to the first direction and the second direction is called the third direction.
  • the first direction may be referred to as the horizontal direction.
  • the second direction may be referred to as the vertical direction.
  • the third direction may be referred to as the depth direction.
  • the first direction, the second direction, and the third direction are not limited to these. 4 to 6, FIG. 9, and FIG. 10, the first direction is represented as the x-axis direction, the second direction is represented as the y-axis direction, and the third direction is represented as the z-axis direction. 1 and 7, the interocular direction, which is the direction of the straight line passing through the right and left eyes of the user, is represented as the u-axis direction, the front-back direction of the user is represented as the w-axis direction, and the u-axis direction. And the height direction perpendicular to the w-axis direction is represented as the v-axis direction.
  • the active area A includes a plurality of sub-pixels arranged in a grid along the horizontal and vertical directions.
  • Each sub-pixel corresponds to any color of R (Red), G (Green), and B (Blue), and one pixel can be configured by grouping three sub-pixels of R, G, and B. ..
  • One pixel may be referred to as one pixel.
  • the display panel 52 is not limited to a transmissive liquid crystal panel, and another display panel such as an organic EL can be used. When a self-luminous display panel is used as the display panel 52, the three-dimensional display device 5 does not need to include the illuminator 51.
  • a plurality of subpixels arranged in the active area A as described above constitutes a subpixel group Pg.
  • the sub-pixel group Pg is repeatedly arranged in the horizontal direction.
  • the sub-pixel groups Pg can be arranged at the same position in the vertical direction, or can be arranged offset from each other.
  • the sub-pixel group Pg can be repeatedly arranged adjacent to a position vertically displaced by one sub-pixel in the vertical direction.
  • the subpixel group Pg includes subpixels in predetermined rows and columns.
  • the sub-pixel group Pg includes b (b rows) in the vertical direction, 2 ⁇ n (2 ⁇ n columns) in the horizontal direction, and (2 ⁇ n ⁇ b) sub-pixels P1 arranged continuously.
  • some of the sub-pixel groups Pg are denoted by reference numerals.
  • the sub-pixel group Pg is a minimum unit for performing control for displaying a parallax image by the second controller 55, which will be described later.
  • Each sub-pixel included in the sub-pixel group Pg is identified by identification information P1 to P (2 ⁇ n ⁇ b).
  • the sub-pixels P1 to P (2 ⁇ n ⁇ b) having the same identification information of all the sub-pixel groups Pg are simultaneously controlled by the second controller 55. For example, when switching the parallax image displayed on the sub-pixel P1 from the left-eye image to the right-eye image, the second controller 55 changes the parallax image displayed on the sub-pixel P1 in all the sub-pixel groups Pg from the left-eye image to the right-eye image. Can be switched to images simultaneously
  • the parallax barrier 53 is formed by a plane along the active area A and is separated from the active area A by a predetermined distance (gap) g.
  • the parallax barrier 53 may be located on the opposite side of the illuminator 51 with respect to the display panel 52.
  • the parallax barrier 53 may be located on the illuminator 51 side of the display panel 52.
  • the parallax barrier 53 is configured to define the propagation direction of the image light emitted from the sub-pixels, for each light-transmitting region 531 that is a plurality of strip-shaped regions extending in a predetermined direction in the plane.
  • the parallax barrier 53 has a plurality of dimming regions 532 for dimming image light.
  • the plurality of light reducing regions 532 define a plurality of light transmitting regions 531 between the light reducing regions 532 adjacent to each other.
  • the plurality of light transmitting areas 531 have a higher light transmittance than the plurality of light reducing areas 532.
  • the light-reducing region 532 has a lower light transmittance than the light-transmitting region 531.
  • the plurality of light transmitting areas 531 and the plurality of light reducing areas 532 extend in a predetermined direction along the active area A and are alternately arranged in a direction orthogonal to the predetermined direction.
  • the predetermined direction is, for example, a direction along the diagonal line of the sub-pixel.
  • the predetermined direction may be, for example, a direction that traverses a subpixels in the first direction and traverses b subpixels in the second direction (a and b are prime integers of each other).
  • the predetermined direction may be the second direction.
  • the parallax barrier 53 defines the propagation direction of the image light emitted from the plurality of sub-pixels arranged in the active area A, as shown in FIG.
  • the area of the first virtual image V1 corresponding to the area is determined.
  • the area in the first virtual image V1 that can be visually recognized by the user by the image light propagating to the position of the eye of the user is referred to as a visible area Va.
  • a region in the first virtual image V1 that can be visually recognized by the user by the image light propagating to the position of the first eye of the user is referred to as a first visible region.
  • a region in the first virtual image V1 that can be visually recognized by the user by the image light propagating to the position of the second eye of the user is referred to as a second visible region.
  • the first eye is described as the left eye and the second eye is described as the right eye, but the correspondence may be changed.
  • the first visible area may be described as the left visible area VaL.
  • the second visible region may be described as the right visible region VaR.
  • the virtual image barrier pitch VBp and the virtual image gap Vg which are the arrangement intervals in the horizontal direction of the translucent regions 531 can be defined so that the following equations (1) and (2) using the appropriate viewing distance Vd are established.
  • the virtual image barrier pitch VBp is an arrangement interval in the direction corresponding to the first direction of the virtual image V2 of the dimming region 532.
  • the virtual image gap Vg is the distance between the second virtual image V2 and the first virtual image V1.
  • the virtual image barrier opening width VBw is a width corresponding to the width of the light transmitting region 531 in the second virtual image V2.
  • the suitable viewing distance Vd is a distance between the position of each of the right eye and the left eye of the user indicated by the position information received from the communication device 1 and the virtual image V2 of the parallax barrier 53.
  • the inter-eye distance E is the distance between the right eye and the left eye.
  • the inter-eye distance E may be, for example, 61.1 mm to 64.4 mm, which is a value calculated by research conducted by the National Institute of Advanced Industrial Science and Technology.
  • VHp is the horizontal length of the virtual image of the sub-pixel.
  • VHp is the length of the sub-pixel virtual image in the first virtual image V1 in the direction corresponding to the first direction.
  • Vd (n ⁇ VHp): Vg Formula (1)
  • Vd: VBp (Vdv + Vg) :( 2 ⁇ n ⁇ VHp) Formula (2)
  • a part of the image light emitted from the active area A of the display panel 52 passes through the light transmitting area 531 and reaches the optical member 4 via one or more reflectors 3. Further, the image light reaching the optical member 4 is reflected by the optical member 4 and reaches the eyes of the user.
  • the user's eyes recognize the first virtual image V1 that is the virtual image of the parallax image displayed in the active area A in front of the optical member 4.
  • the front is the direction of the optical member 4 when viewed from the user.
  • the front is the direction in which the moving body 20 normally moves.
  • the user apparently recognizes the parallax image as if the first virtual image V1 is visually recognized through the second virtual image V2, but does not actually recognize the second virtual image V2 that is the virtual image of the parallax barrier 53.
  • the second communication unit 54 is configured to be able to communicate with the communication device 1.
  • the second communication unit 54 includes a third communication module 541 and a fourth communication module 542.
  • the third communication module 541 can communicate with the first communication module 141 using the same communication standard as that of the first communication module 141 of the communication device 1.
  • the fourth communication module 542 can communicate with the second communication module 142 using the same communication standard as the second communication module 142 of the communication device 1.
  • the third communication module 541 is configured to exchange security information with the first communication module 141.
  • the fourth communication module 542 is configured to establish a connection with the second communication module 142 after the third communication module 541 has established a connection with the first communication module 141. ..
  • the fourth communication module 542 is configured to receive various kinds of information from the second communication module 142 when the connection with the second communication module 142 is established.
  • the various information may include position information, for example.
  • the second controller 55 is connected to each component of the HUD 2 and configured to control each component.
  • the components controlled by the second controller 55 include the illuminator 51, the display panel 52, and the second communication unit 54.
  • the second controller 55 may include one or more processors.
  • the second controller 55 may include a general-purpose processor that loads a specific program and executes a specific function, and a dedicated processor that is specialized for a specific process.
  • the dedicated processor may include an ASIC.
  • the processor may include a PLD.
  • the PLD may include an FPGA.
  • the second controller 55 may be either SoC and SiP with one or more processors working together.
  • the communication HUD system 100 is configured to perform an initial setting for allowing a user to visually recognize a virtual image of a three-dimensional image before starting an operation of displaying a parallax image.
  • the position at which the communication HUD system 100 makes the image light reach differs depending on the position of the user's eyes.
  • the communication HUD system 100 estimates the position of the eye, controls the drive of the reflective element 31, and determines the visible region Va in order for the user to properly view the three-dimensional image according to the position of the user's eye. Is configured as follows.
  • the first controller 12 may estimate the positions of the left eye and the right eye from the captured image including the images of both eyes of the user generated by the image sensor 11.
  • the first controller 12 is based on the positional relationship between the image of the predetermined object included in the single captured image generated by the image sensor 11 and the image of the eye, The position of the eye in the real space may be estimated.
  • the predetermined object is an object fixedly attached to the moving body 20, and is, for example, a headrest of a driver's seat or a frame of a side window. is there.
  • the first controller 12 associates each position on the captured image with the distance and direction from the position in the real space corresponding to the position to the position of the image of the predetermined object, and stores them in the memory 13 in advance. You may let me. In such a configuration, the first controller 12 extracts the eye from the captured image. The first controller 12 extracts, from the memory 13, the distance and direction from the position of the real space corresponding to the position of the eye stored in the captured image to the position of the image of the predetermined object. Is configured as follows. The first controller 12 can estimate the position in the real space based on the distance and the direction to the position of the image of the predetermined object.
  • the first controller 12 is based on the positions of the image of at least a part of the user's body and the image of the predetermined object in the single captured image generated by the image sensor 11, and the position of the predetermined object in the real space. , Configured to estimate the position of the eye in real space.
  • the body part may be, for example, the top of the head, shoulders, ears, or the like.
  • the first controller 12 estimates the position of the eye based on a plurality of captured images respectively generated by the image sensor 11 in a state where the communication device 1 is at a different position. You may.
  • the position of the communication device 1 attached to the steering wheel 202 as described above is determined by the rotation of the steering wheel 202. Can be changed.
  • the first controller 12 is configured to store in the memory 13 information indicating the first position before the steering wheel 202 rotates.
  • the image sensor 11 is configured to generate a first captured image by capturing an image of the user while the communication device 1 is in the first position.
  • the first controller 12 When the steering wheel 202 rotates and the communication device 1 stops at the second position different from the first position, the first controller 12 is configured to store the information indicating the second position in the memory 13. It The image sensor 11 is configured to generate a second captured image by capturing an image of the user with the communication device 1 in the second position. The first controller 12 uses a three-dimensional optical flow method or the like based on the position of each eye on the first captured image and the second captured image and the first position and the second position in the real space. It is configured to estimate the position of the eye in space.
  • the first controller 12 is configured to generate position information indicating the estimated eye position.
  • the first controller 12 is configured to control the first communication unit 14 to transmit the position information to the HUD 2.
  • the driving device 32 of the HUD 2 causes reflection based on the position of the eye in the height direction (w-axis direction) indicated by the position information. It is configured to drive the element 31.
  • the image light emitted from the three-dimensional display device 5 is configured to be reflected by the reflective element 31 toward a predetermined region of the optical member 4.
  • the image light reaching the predetermined region of the optical member 4 is configured to be reflected by the optical member 4 toward the position of the user's eyes.
  • the position of the user's eyes differs depending on the user, physical characteristics such as the sitting height of the user, and the sitting posture of the user.
  • the drive device 32 is configured to determine, based on the position of the user's eye, at least one of the position and posture of the reflective element 31 such that the image light reaches the position of the eye.
  • the driving device 32 is configured to drive the reflective element 31 so as to have the determined position and posture.
  • the driving device 32 may determine at least one of the position and the posture of the reflective element 31 based on the position in the interocular direction or the front-back direction, instead of the position of the eye in the height direction.
  • the first controller 12 may generate drive information based on two or more eye positions in the height direction, the interocular direction, and the front-back direction.
  • the drive device 32 may determine at least one of the position and the attitude of the reflective element 31 based on the drive information.
  • the second controller 55 uses the inter-eye distance E and the characteristics of the three-dimensional display device 5 based on the position of the user's eyes to determine the left visible region VaL. And a right visibility region VaR.
  • the characteristics of the three-dimensional display device 5 are the virtual image barrier pitch VBp, the virtual image gap Vg, and the image pitch (2 ⁇ n ⁇ VHp) of the first virtual image V1 described above.
  • the second controller 55 of the HUD 2 When determining the left visible region VaL and the right visible region VaR, the second controller 55 of the HUD 2 causes the left eye image to be displayed in a part of the active area A based on the left visible region VaL and the right visible region VaR, and the active area is displayed. It is configured to display the right-eye image on the other part of A.
  • the second controller 55 is configured to display the left-eye image in sub-pixels in which the left visible region VaL includes more than a predetermined ratio (for example, 50%).
  • the second controller 55 is configured to display the right-eye image in the sub-pixel in which the right visible region VaR includes more than a predetermined ratio.
  • the second controller 55 is configured such that the left eye of the user visually recognizes the virtual image of the left eye image more than a predetermined ratio, and the right eye of the user visually recognizes the virtual image of the right eye image more than a predetermined ratio. Since the right-eye image and the left-eye image are parallax images having parallax with each other, the user can visually recognize the virtual image of the three-dimensional image.
  • the first controller 12 may store position information indicating the eye position in the memory 13. If the position information is stored in the memory 13 when the first communication unit 14 establishes the connection with the HUD 2, the first controller 12 is configured to send the position information to the HUD 2.
  • the second controller 55 of the HUD 2 determines the visible area Va based on the position information received from the first communication unit 14.
  • the drive device 32 is configured to determine at least one of the position and the attitude of the reflective element 31 based on the position information received from the first communication unit 14. If the first controller 12 executes the process of estimating the eye position once, the process of estimating the eye position can be omitted when the user starts using the HUD system 100 for the second time and thereafter.
  • the first controller 12 controls the first communication module 141 to transmit the security information to the third communication module 541 of the HUD 2 (step S11).
  • Step S12 When the first communication module 141 establishes the connection with the third communication module 541 based on the security information transmitted in step S11, the first controller 12 establishes the connection with the fourth communication module 542 in the second communication module 142. (Step S12).
  • the first controller 12 acquires the captured image captured by the image sensor 11 (step S13).
  • the first controller 12 estimates the position of the user's eye based on the captured image (step S14).
  • the first controller 12 transmits the position information indicating the eye position to the HUD 2 (step S15).
  • an information processing device such as a mobile phone, a smart phone, a tablet terminal can be adopted.
  • Such an information processing apparatus stores a program describing the processing content for realizing each function of the communication device 1 according to the embodiment in the memory of the information processing apparatus, and the processor of the information processing apparatus reads and executes the program. It can be realized by The information processing device may be configured to read and implement the program from a non-transitory computer-readable medium.
  • Non-transitory computer readable media include, but are not limited to, magnetic storage media, optical storage media, magneto-optical storage media, semiconductor storage media.
  • Magnetic storage media include magnetic disks, hard disks, and magnetic tapes.
  • the optical storage medium includes an optical disc such as a CD (Compact Disc), a DVD, and a Blu-ray (registered trademark) Disc.
  • the semiconductor storage medium includes a ROM (Read Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), and a flash memory.
  • the driving device 32 is configured to change at least one of the position and posture of the reflective element 31 so that the image light reflected by the reflective element 31 reaches the position of the eye. For example, even if the position of the eye changes due to the change of the position of the user or the position and orientation of the user, the image light may reach the position of the eye. The user can visually recognize the parallax image appropriately displayed by the three-dimensional display device 5.
  • the first controller 12 estimates the position of the eye in the height direction
  • the drive device 32 is configured to change at least one of the position and the attitude of the reflective element 31 based on the position of the eye in the height direction. ..
  • the three-dimensional display device 5 is used in a state where the user is seated in a predetermined seat, when the user changes, the eye position where the image light should reach is larger in the height direction than in other directions. change.
  • the reflective element 31 By changing the reflective element 31 based on the position of the eye in the height direction, it is possible to greatly reduce the difficulty of the user visually recognizing the parallax image displayed by the three-dimensional display device 5.
  • the first controller 12 estimates the eye position in the real space based on the positions of the image of the eye and the image of the predetermined object in the captured image and the position of the predetermined object in the real space.
  • the first controller 12 can estimate the position of the eye using a single captured image without using a plurality of captured images.
  • the first controller 12 can control the first communication unit 14 to transmit the position information to the HUD 2. Is. Therefore, each time the user starts using the HUD system 100, the image sensor 11 generates a captured image, and the first controller 12 does not estimate the eye position, but the image is already stored. The position of the user's eyes may be sent to HUD2. As a result, the communication device 1 can reduce the load.
  • the image light emitted from the display panel 52 passes through the light-transmitting region 531 of the parallax barrier 53 and does not pass through the reflector 3 and the optical member 4. , May be arranged so as to directly reach the eyes of the user.
  • the second controller 55 displays the left-eye image in a part of the active area A based on the visible area information received by the second communication unit 54, and activates it. It may be configured to display the right eye image in the remaining part of the area A.
  • the second controller 55 displays the left-eye image in the sub-pixel in which the left visible region 532aL on the active area A indicated by the visible region information includes more than a predetermined ratio (for example, 50%).
  • the second controller 55 may be configured to display the right-eye image in a sub-pixel in which the right visible region 532aR indicated by the visible region information includes more than a predetermined ratio.
  • the left eye of the user visually recognizes the virtual image of the left eye image more than the virtual image of the right eye image
  • the right eye visually recognizes the virtual image of the right eye image more than the virtual image of the left eye image. Since the right-eye image and the left-eye image are parallax images having parallax with each other, the user visually recognizes the three-dimensional image.
  • the driving device 32 determines at least one of the position and the attitude of the reflective element 31, but the present invention is not limited to this.
  • the first controller 12 of the communication device 1 may determine the position and orientation of the reflective element 31 based on the position of the eye. In such a configuration, the first controller 12 may generate drive information indicating the position and orientation of the reflective element 31 and cause the first communication unit 14 to transmit the drive information.
  • the drive device 32 may drive the reflective element 31 based on the drive information transmitted from the first communication unit 14.
  • the second controller 55 of the HUD 2 determines the left visible area VaL and the right visible area VaR, but the present invention is not limited to this.
  • the first controller 12 of the communication device 1 may determine the left visible region VaL and the right visible region VaR by using the inter-eye distance E and the characteristics of the three-dimensional display device 5 based on the position of the eye. In such a configuration, the first controller 12 may generate visible area information indicating the left visible area VaL and the right visible area VaR and cause the first communication unit 14 to transmit the visible area information.
  • the second controller 55 of the HUD 2 may display the parallax image on the display panel 52 based on the drive information transmitted from the first communication unit 14.
  • the optical element is the parallax barrier 53, but it is not limited to this.
  • the optical element may be a lenticular lens 624.
  • the lenticular lens 624 is configured by arranging cylindrical lenses 625 extending in the vertical direction in a horizontal direction on a plane.
  • the lenticular lens 624 propagates the image light emitted from a part of the sub-pixels to the position of the user's left eye, and the image light emitted from the other part of the sub-pixels, Propagate to the position of the user's right eye.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

通信ヘッドアップディスプレイシステムは、通信機器と、ヘッドアップディスプレイとを備える。通信機器は、少なくとも一の方向における利用者の眼の位置を判定する第１コントローラを含む。ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器とを含む。表示パネルは、視差画像を表示する。光学素子は、視差画像から射出した画像光の伝播方向を規定する。反射器は、光学素子によって伝播方向が規定された画像光を反射する。反射器は、反射素子と、駆動装置とを有する。反射素子は、画像光を反射する。駆動装置は、反射素子によって反射された画像光が眼の位置に到達するように反射素子の位置および姿勢の少なくとも一方を変化させる。

Description

通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム 関連出願の相互参照
　本出願は、２０１８年１１月２日に出願された日本国特許出願２０１８－２０７５８８号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラムに関する。
　従来、眼鏡を用いずに３次元表示を行うために、表示パネルから出射された光の一部を右眼に到達させ、表示パネルから出射された光の他の一部を左眼に到達させる光学素子を備える３次元表示装置が知られている（特許文献１参照）。
特開２００１－１６６２５９号公報
　本開示の通信ヘッドアップディスプレイシステムは、通信機器と、ヘッドアップディスプレイとを備える。前記通信機器は、第１コントローラと、第１通信部とを含む。第１コントローラは、センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定するように構成される。前記第１通信部は、前記第１コントローラによって推定された前記位置を送信するように構成される。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器と、第２通信部と、を含む。前記表示パネルは、視差画像を表示するように構成される。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定するように構成される。前記反射器は、前記光学素子によって伝播方向が規定された画像光を反射するように構成される。前記反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射するように構成される。前記駆動装置は、前記反射素子によって反射された画像光が前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される。
　本開示の通信機器は、ヘッドアップディスプレイと通信可能である。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射素子と、駆動装置とを含む。前記表示パネルは、視差画像を表示するように構成される。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定するように構成される。前記反射素子は、前記画像光を反射するように構成される。前記駆動装置は、前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される。前記通信機器は、撮像素子と、コントローラと、第通信部と、を備える。前記撮像素子は、利用者を撮像した撮像画像を生成するように構成される。前記コントローラは、前記撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成するように構成される。前記第１通信部は、前記位置情報を、前記駆動装置の制御に使用するため前記ヘッドアップディスプレイに送信するように構成される。
　本開示の移動体は、通信ヘッドアップディスプレイシステムと、取付部とを備える。前記通信ヘッドアップディスプレイシステムは、通信機器と、ヘッドアップディスプレイとを備える。前記通信機器は、第１コントローラと、第１通信部とを含む。第１コントローラは、センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定するように構成される。前記第１通信部は、前記第１コントローラによって推定された前記位置を送信するように構成される。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器と、第２通信部と、を含む。前記表示パネルは、視差画像を表示するように構成される。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定するように構成される。前記反射器は、前記光学素子によって伝播方向が規定された画像光を反射するように構成される。前記反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射するように構成される。前記駆動装置は、前記反射素子によって反射された画像光が前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される。前記取付部は、前記通信機器を移動可能に取付ける。
　本開示のプログラムは、撮像素子と、コントローラと、通信部とを備える通信機器が実行するプログラムである。前記通信機器はヘッドアップディスプレイと通信するように構成される。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器とを含む。前記表示パネルは、視差画像を表示するように構成される。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定するように構成される。前記反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射するように構成される。前記駆動装置は、前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される。前記コントローラは、前記撮像素子が、利用者を撮像することによって生成した撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成するよう制御する。前記コントローラは、前記通信部が、反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置に前記位置情報を送信するよう制御する。
図１は、移動体に搭載された通信ヘッドアップディスプレイシステムの例を示す図である。 図２は、図１に示す通信機器が移動する前の状態を示す図である。 図３は、図１に示す通信機器が移動した後の状態を示す図である。 図４は、図１に示す通信機器およびヘッドアップディスプレイの概略構成を示す図である。 図５は、図４に示す表示パネルを奥行方向から見た例を示す図である。 図６は、図４に示すパララックスバリアを奥行方向から見た例を示す図である。 図６は、図１に示す虚像と利用者の眼との関係を説明するための図である。 図８は、図４に示す第１コントローラの処理フローの一例を示すフローチャートである。 図９は利用者が表示パネルを直接視認する場合の、３次元表示装置と利用者の眼との位置関係を示す図である。 図１０は、光学素子をレンチキュラレンズとした場合の３次元表示装置の概略構成図である。
　利用者がヘッドアップディスプレイによって投影された画像の虚像を適切に視認するために、利用者の眼の位置に適切に画像光が到達することが望まれている。
　本開示は、利用者に適切な虚像を視認させることができる通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラムを提供する。
　以下、本開示の一実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
　本開示の一実施形態にかかる通信ヘッドアップディスプレイシステム（通信ＨＵＤ（ＨＵＤ：Head Up Display）システム）１００は、図１に示すように、通信機器１と、ヘッドアップディスプレイ（ＨＵＤ）２とを備える。通信ＨＵＤシステム１００は、移動体２０に搭載されてよい。
　本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
　通信機器１は、利用者の両眼を撮像可能に配置される。通信機器１は、移動体２０に移動可能に取り付けられてよい。例えば、通信ＨＵＤシステム１００が移動体２０に搭載される構成において、通信機器１を移動体２０に取付ける取付部２０１は、図２に示すように、ステアリングホイール２０２に固定されてよい。通信機器１は、取付部２０１がステアリングホイール２０２に固定されている構成において、該ステアリングホイール２０２が回転することによって、図３に示すように、回転前の位置とは異なる位置に移動する。すなわち、取付部２０１は、通信機器１を取り付けたまま、実空間における複数の異なる位置に移動可能である。
　通信機器１は、汎用の無線通信端末、例えば、携帯電話、スマートフォン、タブレット端末等を採用しうる。図４に示すように、通信機器１は、撮像光学系１０と、撮像素子１１と、第１コントローラ（コントローラ）１２と、メモリ１３と、第１通信部（通信部）１４とを含む。
　撮像光学系１０は、１つ以上のレンズを含む。撮像光学系１０は、撮像光学系１０の光軸が撮像素子１１の撮像面に垂直となっている。撮像光学系１０は、被写体から入射した光を撮像素子１１の撮像面において被写体像として結像させるように構成される。
　撮像素子（センサ）１１は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子１１は、撮像光学系１０によって結像された像を電気信号に変換することによって撮像画像を生成し、出力するように構成される。例えば、撮像素子１１は、利用者を、実空間において所定の位置にある所定の物体とともに撮像することによって撮像画像を生成し、出力するように構成される。撮像素子１１は、通信機器１が異なる位置にある状態でそれぞれ複数の撮像画像を生成し、出力してよい。例えば、上述したように通信機器１が、図２に示したようにステアリングホイール２０２に取付けられた状態で、該ステアリングホイール２０２が自動または手動により回転されることにより通信機器１が移動する際に、撮像素子１１は、複数の撮像画像を生成しうる。該ステアリングホイール２０２が回転前の状態にあるときに、撮像素子１１は、第１の撮像画像を生成し、出力してよい。図３に示すように、ステアリングホイール２０２が利用者によって回転され、回転後の状態にあるときに撮像素子１１は、第２の撮像画像を生成し、出力してよい。
　第１コントローラ１２は、通信機器１の各構成要素に接続され、各構成要素を制御するように構成されうる。第１コントローラ１２によって制御される構成要素は、撮像素子１１、メモリ１３、および第１通信部１４を含む。第１コントローラ１２は、１以上のプロセッサを含んでよい。第１コントローラ１２は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサの少なくとも一方を含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。第１コントローラ１２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
　第１コントローラ１２の詳細については追って説明する。
　メモリ１３は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。メモリ１３は、第１コントローラ１２によって処理された各種情報を記憶するように構成される。
　例えば、メモリ１３は、セキュリティ情報を記憶するように構成される。セキュリティ情報は、他の装置への接続を可能にするための認証に用いられる、通信機器１を一意に識別するための識別情報を含んでよい。通信機器１が、例えば、複数の利用者によって共有されるタブレット端末のような機器である場合、セキュリティ情報は、各利用者を一意に識別するための識別情報を含んでよい。
　例えば、メモリ１３は、利用者の眼の位置を示す位置情報を記憶してよい。メモリ１３は、反射素子３１の位置および姿勢の少なくとも１つを示す駆動情報を記憶してよい。
　第１通信部１４は、３次元表示装置５と通信可能に構成される。第１通信部１４と３次元表示装置５との通信において用いられる通信方式は、近距離無線通信規格または携帯電話網へ接続する無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＮＦＣ（Near Field Communication）、等を含んでよい。携帯電話網へ接続する無線通信規格は、例えば、ＬＴＥ（Long Term Evolution）、第４世代移動通信システムまたは第５世代移動通信システム等を含んでよい。
　第１通信部１４は、第１通信モジュール１４１と、第２通信モジュール１４２とを含んでよい。第１通信モジュール１４１は、通信機器１とＨＵＤ２との間の通信を確立するために、ＨＵＤ２とセキュリティ情報を交換するように構成される。第１通信モジュール１４１は、ＨＵＤ２に通信機器１または該通信機器１の利用者を識別するための識別情報を送信してよい。第２通信モジュール１４２は、ＨＵＤ２に位置情報を送信してよい。例えば、第１通信モジュール１４１が、ＮＦＣの通信規格を用いてＨＵＤ２との間でセキュリティ情報を交換してよい。ＨＵＤ２によるセキュリティ情報に基づく認証を経て、通信機器１とＨＵＤ２との接続が確立されると、第２通信モジュール１４２が、ＷｉＦｉを用いて各種情報を送信してよい。通信機器１は、盗聴されることが困難なＮＦＣ通信規格によりＨＵＤ２との間でセキュリティ情報を交換することによって安全に通信を確立してから、汎用的なＷｉＦｉの通信規格により各種情報を送受信することができる。通信機器１とＨＵＤ２との間で交換するセキュリティ情報には、ＷｉＦi通信の暗号化キーを含んでよい。
　これに限られず、第１通信モジュール１４１および第２通信モジュール１４２は、それぞれ任意の通信規格を用いて通信してよい。第１通信モジュール１４１および第２通信モジュール１４２は、同じ通信規格を用いて通信してよい。
　ＨＵＤ２は、１つ以上の反射器３と、光学部材４と、３次元表示装置５とを含みうる。
　反射器３は、３次元表示装置５から射出された画像光を、光学部材４の所定領域に向けて反射させるように構成される。所定領域は、該所定領域で反射した画像光が利用者の眼の方に向かう領域である。所定領域は、光学部材４に対する利用者の眼の方向、および光学部材４への画像光の入射方向によって定まりうる。１つ以上の反射器３は、１つ以上の反射素子３１と、駆動装置３２とを含む。
　反射素子３１それぞれは、ミラーであってよい。反射素子３１がミラーである場合、例えば、ミラーは凹面鏡としてよい。図１において、１つ以上の反射素子３１は、１つのミラーとして表示している。しかし、これに限られず、１つ以上の反射素子３１は、１つ以上のミラーを組み合わせてよい。
　駆動装置３２は、利用者の眼の位置に基づいて、反射素子３１を駆動して、該反射素子３１の位置および姿勢の少なくとも一方を変化させるように構成される。例えば、駆動装置３２は、通信機能を有し、通信機器１から位置情報を受信するように構成される。駆動装置３２は、通信機器１から直接、位置情報を受信してよい。駆動装置３２は、位置情報で示される眼の位置から、利用者の眼の位置に画像光が到達するような反射素子３１の位置および姿勢の少なくとも一方を算出するように構成される。駆動装置３２は、反射素子３１を駆動して、該反射素子３１の位置および姿勢の少なくとも一方が算出した値となるように制御可能に構成される。
　光学部材４は、３次元表示装置５から射出され、１つ以上の反射器３によって反射された画像光を、利用者の左眼（第１眼）および右眼（第２眼）に向けて反射させるように構成される。例えば、移動体２０のウインドシールドは、光学部材４として兼用されてよい。ＨＵＤ２は、光路Ｌに沿って、３次元表示装置５から射出された光を、利用者の左眼および右眼まで進行させる。利用者は、光路Ｌに沿って到達した光を虚像Ｖとして視認しうる。
　図４に示すように、３次元表示装置５は、照射器５１と、表示パネル５２と、光学素子としてのパララックスバリア５３と、第２通信部５４と、第２コントローラ５５とを含みうる。ＨＵＤ２が移動体２０に搭載される構成において、３次元表示装置５は、移動体２０のダッシュボードに収容されてよい。
　照射器５１は、表示パネル５２を面的に照射しうる。照射器５１は、光源、導光板、拡散板、拡散シート等を含んでよい。照射器５１は、光源により照射光を出射し、導光板、拡散板、拡散シート等により照射光を表示パネル５２の面方向に均一化するように構成される。そして、照射器５１は均一化された光を表示パネル５２の方に出射するように構成しうる。
　表示パネル５２は、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。以下の実施形態の例では、表示パネル５２を液晶パネルとして説明する。
　図５に示すように、表示パネル５２は、面状に形成されたアクティブエリアＡ上に複数の区画領域を有する。アクティブエリアＡは、視差画像を表示することができる。視差画像は、後述する左眼画像（第１画像）と左眼画像に対して視差を有する右眼画像（第２画像）とを含む。複数の区画領域は、第１方向および第１方向に直交する第２方向に区画された領域である。第１方向および第２方向に直交する方向は第３方向と称される。第１方向は水平方向と称されてよい。第２方向は鉛直方向と称されてよい。第３方向は奥行方向と称されてよい。しかし、第１方向、第２方向、および第３方向はそれぞれこれらに限られない。図４～図６、図９、および図１０において、第１方向はｘ軸方向として表され、第２方向はｙ軸方向として表され、第３方向はｚ軸方向として表される。図１および図７において、利用者の右眼および左眼を通る直線の方向である眼間方向はｕ軸方向として表され、利用者の前後方向はｗ軸方向として表され、ならびにｕ軸方向およびｗ軸方向に垂直な高さ方向はｖ軸方向として表される。
　複数の区画領域の各々には、１つのサブピクセルが対応する。アクティブエリアＡは、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。
　各サブピクセルは、Ｒ（Red），Ｇ（Green），Ｂ（Blue）のいずれかの色に対応し、Ｒ，Ｇ，Ｂの３つのサブピクセルを一組として１ピクセルを構成することができる。１ピクセルは、１画素と称されうる。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。
　上述のようにアクティブエリアＡに配列された複数のサブピクセルはサブピクセル群Ｐｇを構成する。サブピクセル群Ｐｇは、水平方向に繰り返して配列される。サブピクセル群Ｐｇは、鉛直方向において、同じ位置に配列すること、および、ずらして配列することができる。例えば、サブピクセル群Ｐｇは、鉛直方向においては、水平方向に１サブピクセル分ずれた位置に隣接して繰り返して配列することができる。サブピクセル群Ｐｇは、所定の行および列のサブピクセルを含む。例えば、サブピクセル群Ｐｇは、鉛直方向にｂ個（ｂ行）、水平方向に２×ｎ個（２×ｎ列）、連続して配列された（２×ｎ×ｂ）個のサブピクセルＰ１～Ｐ（２×ｎ×ｂ）を含む。図５に示す例では、ｎ＝６、ｂ＝１である。アクティブエリアＡには、鉛直方向に１個、水平方向に１２個、連続して配列された１２個のサブピクセルＰ１～Ｐ１２を含むサブピクセル群Ｐｇが配置される。図５に示す例では、一部のサブピクセル群Ｐｇに符号を付している。
　サブピクセル群Ｐｇは、後述する第２コントローラ５５が視差画像を表示するための制御を行う最小単位である。サブピクセル群Ｐｇに含まれる各サブピクセルは、識別情報Ｐ１～Ｐ（２×ｎ×ｂ）で識別される。全てのサブピクセル群Ｐｇの同じ識別情報を有するサブピクセルＰ１～Ｐ（２×ｎ×ｂ）は、第２コントローラ５５によって同時に制御される。例えば、第２コントローラ５５は、サブピクセルＰ１に表示させる視差画像を左眼画像から右眼画像に切り替える場合、全てのサブピクセル群ＰｇにおけるサブピクセルＰ１に表示させる視差画像を左眼画像から右眼画像に同時的に切り替えられる
　パララックスバリア５３は、図４に示したように、アクティブエリアＡに沿う平面により形成され、アクティブエリアＡから所定距離（ギャップ）ｇ、離れている。パララックスバリア５３は、表示パネル５２に対して照射器５１の反対側に位置してよい。パララックスバリア５３は、表示パネル５２の照射器５１側に位置してよい。
　パララックスバリア５３は、図６に示すように、面内の所定方向に伸びる複数の帯状領域である透光領域５３１ごとに、サブピクセルから射出される画像光の伝播方向を規定するように構成される。例えば、パララックスバリア５３は、画像光を減光させる複数の減光領域５３２を有する。複数の減光領域５３２は、互いに隣接する該減光領域５３２の間に、複数の透光領域５３１を画定する。複数の透光領域５３１は、複数の減光領域５３２に比べて光透過率が高い。減光領域５３２は、透光領域５３１に比べて光透過率が低い。複数の透光領域５３１と複数の減光領域５３２とは、アクティブエリアＡに沿う所定方向に延び、所定方向と直交する方向に繰り返し交互に配列される。所定方向は、例えばサブピクセルの対角線に沿う方向である。所定方向は、例えば、第１方向にａ個のサブピクセルを横切る間に、第２方向にｂ個のサブピクセルを横切る方向（ａ，ｂは互いの素の正の整数）としうる。所定方向は、第２方向としてもよい。
　アクティブエリアＡに配列された複数のサブピクセルから射出された画像光の伝播方向をパララックスバリア５３が規定することによって、図７に示すように、利用者の眼が視認可能な、アクティブエリアＡの領域に対応する第１虚像Ｖ１の領域が定まる。以降において、利用者の眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は可視領域Ｖａと称される。利用者の第1眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は第１可視領域と称される。利用者の第２眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は第２可視領域と称される。本開示では、第１眼を左眼とし、第２眼を右眼として記載するが、対応を変更しうる。第１眼を左眼とする例において、第１可視領域は、左可視領域ＶａＬと記載されうる。第２眼を右眼とする例において、第２可視領域は、右可視領域ＶａＲと記載されうる。
　透光領域５３１の水平方向における配置間隔である虚像バリアピッチＶＢｐおよび虚像ギャップＶｇは、適視距離Ｖｄを用いた次の式（１）および式（２）が成り立つように規定されうる。虚像バリアピッチＶＢｐは、減光領域５３２の虚像Ｖ２の、第１方向に対応する方向の配置間隔である。虚像ギャップＶｇは、第２虚像Ｖ２と第１虚像Ｖ１との間の距離である。式（１）および式（２）において、虚像バリア開口幅ＶＢｗは、第２虚像Ｖ２における透光領域５３１の幅に対応する幅である。適視距離Ｖｄは、通信機器１から受信した位置情報が示す利用者の右眼および左眼それぞれの位置とパララックスバリア５３の虚像Ｖ２との間の距離である。眼間距離Ｅは、右眼と左眼との間の距離である。眼間距離Ｅは、例えば、産業技術総合研究所の研究によって算出された値である６１．１ｍｍ～６４．４ｍｍであってよい。ＶＨｐは、サブピクセルの虚像の水平方向の長さである。ＶＨｐは、第１虚像Ｖ１におけるサブピクセル虚像の、第１方向に対応する方向の長さである。
　Ｅ：Ｖｄ＝（ｎ×ＶＨｐ）：Ｖｇ　　　　　　　　　　　式（１）
　Ｖｄ：ＶＢｐ＝（Ｖｄｖ＋Ｖｇ）：（２×ｎ×ＶＨｐ）　式（２）
　表示パネル５２のアクティブエリアＡから射出された画像光の一部は、透光領域５３１を透過し、１つ以上の反射器３を介して光学部材４に到達する。さらに光学部材４に到達した画像光は光学部材４に反射されて利用者の眼に到達する。利用者の眼は光学部材４の前方にアクティブエリアＡに表示された視差画像の虚像である第１虚像Ｖ１を認識する。本願において前方は、利用者からみて光学部材４の方向である。前方は、移動体２０の通常移動する方向である。
　利用者は、見かけ上、第２虚像Ｖ２を介して第１虚像Ｖ１を視認するかのごとく視差画像を認識するが、実際にはパララックスバリア５３の虚像である第２虚像Ｖ２を認識しない。
　第２通信部５４は、通信機器１と通信可能に構成される。第２通信部５４は第３通信モジュール５４１および第４通信モジュール５４２を含む。第３通信モジュール５４１は、通信機器１の第１通信モジュール１４１と同じ通信規格を用いて、第１通信モジュール１４１と通信可能である。第４通信モジュール５４２は、通信機器１の第２通信モジュール１４２と同じ通信規格を用いて、第２通信モジュール１４２と通信可能である。
　例えば、第３通信モジュール５４１は、第１通信モジュール１４１との間でセキュリティ情報を交換するように構成される。セキュリティ情報に基づく認証の後、第４通信モジュール５４２は、第３通信モジュール５４１が第１通信モジュール１４１との接続を確立した後に、第２通信モジュール１４２との接続を確立するように構成される。第４通信モジュール５４２は、第２通信モジュール１４２との接続を確立すると第２通信モジュール１４２から各種情報を受信するように構成される。各種情報は、例えば、位置情報を含んでよい。
　第２コントローラ５５は、ＨＵＤ２の各構成要素に接続され、各構成要素を制御しうるように構成される。第２コントローラ５５によって制御される構成要素は、照射器５１、表示パネル５２、第２通信部５４を含む。第２コントローラ５５は、１以上のプロセッサを含んでよい。第２コントローラ５５は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、ＡＳＩＣを含んでよい。プロセッサは、ＰＬＤを含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。第２コントローラ５５は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。
　通信ＨＵＤシステム１００は、視差画像を表示する動作を開始する前に、利用者に３次元画像の虚像を視認させるための初期設定を実行するうように構成される。利用者の眼の位置に応じて、通信ＨＵＤシステム１００が画像光を到達させる位置は異なる。通信ＨＵＤシステム１００は、利用者の眼の位置に応じて、利用者が適切に３次元画像を視認するために、眼の位置の推定、反射素子３１の駆動制御、可視領域Ｖａの判定を行うように構成される。
　＜眼の位置の推定＞
　第１コントローラ１２は、撮像素子１１によって生成された利用者の両眼の像を含む撮像画像から左眼および右眼の位置を推定してよい。
　眼の位置を推定する方法の一例として、第１コントローラ１２は、撮像素子１１によって生成された単一の撮像画像に含まれる所定の物体の像と、眼の像との位置関係に基づいて、実空間における眼の位置を推定してよい。通信機器１が移動体２０内部に取付けられる構成において、所定の物体は、移動体２０に対して固定して取付けられている物体であって、例えば、運転席のヘッドレスト、サイドウィンドウのフレーム等である。
　例えば、第１コントローラ１２は、撮像画像上の各位置に対応付けて、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向を予め対応付けてメモリ１３に記憶させてよい。このような構成において、第１コントローラ１２は、撮像画像から眼を抽出する。第１コントローラ１２は、撮像画像における眼の位置に対応して記憶すされている、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向をメモリ１３から抽出するように構成される。第１コントローラ１２は、所定の物体の像の位置までの距離および方向に基づいて、実空間における位置を推定しうる。
　第１コントローラ１２は、撮像素子１１によって生成された単一の撮像画像における利用者の体の少なくとも一部の像および所定の物体の像の位置と、実空間における所定の物体の位置に基づいて、実空間における眼の位置を推定するように構成される。身体の一部は、例えば、頭の頂部、肩、耳等であってよい。
　眼の位置を推定する方法の他の例として、第１コントローラ１２は、通信機器１が異なる位置にある状態で撮像素子１１によってそれぞれ生成された複数の撮像画像に基づいて眼の位置を推定してよい。第１コントローラ１２が、複数の撮像画像に基づいて眼の位置を推定する構成において、上述したようにステアリングホイール２０２に取付けられている通信機器１の位置は、該ステアリングホイール２０２の回転に伴って変更されうる。例えば、第１コントローラ１２は、ステアリングホイール２０２が回転する前の第１の位置を示す情報をメモリ１３に記憶させるように構成される。撮像素子１１は、通信機器１が第１の位置にある状態で利用者を撮像することによって第１の撮像画像を生成するように構成される。ステアリングホイール２０２が回転して、通信機器１が第１の位置とは異なる第２の位置で停止すると、第１コントローラ１２は、第２の位置を示す情報をメモリ１３に記憶させるように構成される。撮像素子１１は、通信機器１が第２の位置にある状態で利用者を撮像することによって第２の撮像画像を生成するように構成される。第１コントローラ１２は、第１の撮像画像および第２の撮像画像上それぞれの眼の位置と、実空間における第１の位置および第２の位置とに基づいて、オプティカルフロー法などにより、３次元空間における眼の位置を推定するように構成される。
　第１コントローラ１２は、推定した眼の位置を示す位置情報を生成するように構成される。第１コントローラ１２は、第１通信部１４が位置情報をＨＵＤ２に送信するよう制御するように構成される。
　＜反射器の駆動制御＞
　第１通信部１４から送信された位置情報をＨＵＤ２の第２通信部５４が受信すると、ＨＵＤ２の駆動装置３２は、位置情報が示す高さ方向（ｗ軸方向）の眼の位置に基づいて反射素子３１を駆動するように構成される。３次元表示装置５から射出された画像光は、反射素子３１によって光学部材４の所定領域に向けて反射されるように構成される。光学部材４の所定領域に到達した画像光は、利用者の眼の位置に向けて光学部材４によって反射されるように構成される。利用者の眼の位置は、利用者、該利用者の座高等の身体的特徴、利用者の着座姿勢によって異なる。駆動装置３２は、利用者の眼の位置に基づいて、該眼の位置に画像光が到達するような、反射素子３１の位置および姿勢の少なくとも１つを判定するように構成される。駆動装置３２は、判定した位置および姿勢となるように反射素子３１を駆動するように構成される。
　駆動装置３２は、高さ方向の眼の位置ではなく、眼間方向または前後方向の位置に基づいて反射素子３１の位置および姿勢の少なくとも１つを判定してもよい。第１コントローラ１２は、高さ方向、眼間方向、前後方向のいずれか２つ以上の眼の位置に基づいて駆動情報を生成してよい。駆動装置３２は、該駆動情報に基づいて反射素子３１の位置および姿勢の少なくとも１つを判定してよい。
　＜表示パネルの制御＞
　ＨＵＤ２の第２通信部５４が位置情報を受信すると、第２コントローラ５５は、利用者の眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定するように構成される。３次元表示装置５の特性は、上述した虚像バリアピッチＶＢｐ、虚像ギャップＶｇ、および第１虚像Ｖ１の画像ピッチ（２×ｎ×ＶＨｐ）である。ＨＵＤ２の第２コントローラ５５は、左可視領域ＶａＬおよび右可視領域ＶａＲを判定すると、左可視領域ＶａＬおよび右可視領域ＶａＲに基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの他の一部に右眼画像を表示するように構成される。例えば、第２コントローラ５５は、左可視領域ＶａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示するように構成される。第２コントローラ５５は、右可視領域ＶａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示するように構成される。第２コントローラ５５は、利用者の左眼が左眼画像の虚像を所定割合より多く視認し、右眼が右眼画像の虚像を所定割合より多く視認するように構成される。右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像の虚像を視認することができる。
　＜メモリへの情報の記憶＞
　第１コントローラ１２は、眼の位置を推定すると、眼の位置を示す位置情報をメモリ１３に記憶させてもよい。第１コントローラ１２は、第１通信部１４がＨＵＤ２との接続を確立したときにメモリ１３に位置情報が記憶されている場合、該位置情報をＨＵＤ２に送信するように構成される。ＨＵＤ２の第２コントローラ５５は、第１通信部１４から受信した位置情報に基づいて可視領域Ｖａを判定する。駆動装置３２は、第１通信部１４から受信した位置情報に基づいて、反射素子３１の位置および姿勢の少なくとも一方を判定するように構成される。第１コントローラ１２は、一度眼の位置を推定する処理を実行すれば、利用者が２回目以降にＨＵＤシステム１００の利用を開始するとき、眼の位置を推定する処理を省略することができる。
　＜＜第１コントローラの処理フロー＞＞
　続いて、通信機器１の第１コントローラ１２が実行する処理について、図８を参照して詳細に説明する。
　まず、第１コントローラ１２は、第１通信モジュール１４１がセキュリティ情報をＨＵＤ２の第３通信モジュール５４１に送信するよう制御する（ステップＳ１１）。
　第１コントローラ１２は、ステップＳ１１で送信されたセキュリティ情報に基づき第１通信モジュール１４１が第３通信モジュール５４１との接続を確立すると、第２通信モジュール１４２に第４通信モジュール５４２との接続を確立させる（ステップＳ１２）。
　第１コントローラ１２は、撮像素子１１によって撮像された撮像画像を取得する（ステップＳ１３）。
　ステップＳ１３で撮像画像が取得されると、第１コントローラ１２は、撮像画像に基づいて、利用者の眼の位置を推定する（ステップＳ１４）。
　ステップＳ１４で眼の位置が推定されると、第１コントローラ１２は、眼の位置を示す位置情報をＨＵＤ２に送信する（ステップＳ１５）。
　上述した実施形態に係る通信機器１として、携帯電話、スマートフォン、タブレット端末等の情報処理装置が採用可能である。このような情報処理装置は、実施形態に係る通信機器１の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させることで実現可能である。情報処理装置は、当該プログラムを非一時的なコンピュータ可読媒体から読み出して実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。
　以上説明したように、駆動装置３２は、反射素子３１によって反射された画像光が眼の位置に到達するように反射素子３１の位置および姿勢の少なくとも一方を変化させるように構成される。例えば、利用者自身または利用者の位置姿勢が変わることによって眼の位置が変わっても、画像光は眼の位置に到達することができうる。利用者は、適切に３次元表示装置５によって表示された視差画像を視認しうる。
　第１コントローラ１２は、高さ方向の眼の位置を推定し、駆動装置３２は、高さ方向の眼の位置に基づいて反射素子３１の位置および姿勢の少なくとも一方を変化させるように構成される。例えば、利用者が所定の座席に着座した状態で、３次元表示装置５が用いられる場合、利用者が変わると、画像光が到達すべき眼の位置は、他の方向より高さ方向に大きく変わる。高さ方向の眼の位置に基づいて反射素子３１を変化させれば、利用者が３次元表示装置５によって表示された視差画像を視認しにくくなることが大きく低減されうる。
　撮像画像における眼の像および所定の物体の像の位置と、実空間における所定の物体の位置とに基づいて、第１コントローラ１２は、実空間における眼の位置を推定する。第１コントローラ１２は、複数の撮像画像を用いることなく、単一の撮像画像を用いて眼の位置を推定することできる。通信ＨＵＤシステム１００の設定にあたって、通信機器１の位置の変更前後でそれぞれ撮像画像を生成する必要がなく、より簡易に通信ＨＵＤシステム１００が設定されうる。
　第１通信部１４が、ＨＵＤ２との接続を確立したときにメモリ１３に位置情報が記憶されている場合、第１コントローラ１２は、第１通信部１４が位置情報をＨＵＤ２に送信するよう制御可能である。このため、利用者がＨＵＤシステム１００の利用を開始するたびに、撮像素子１１が撮像画像を生成し、第１コントローラ１２が眼の位置を推定することを行わなくても、既に記憶されている利用者の眼の位置をＨＵＤ２に送信しうる。これにより、通信機器１は負荷を低減しうる。
　上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　例えば、図９に示すように、３次元表示装置５は、表示パネル５２から射出した画像光がパララックスバリア５３の透光領域５３１を透過して、反射器３および光学部材４を介さずに、直接、利用者の眼に到達するように、配置されてもよい。このような構成においては、上述した構成と同様に、第２コントローラ５５は、第２通信部５４によって受信した可視領域情報に基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの残りの一部に右眼画像を表示するように構成されうる。例えば、第２コントローラ５５は、可視領域情報が示すアクティブエリアＡ上の左可視領域５３２ａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示する。第２コントローラ５５は、可視領域情報が示す右可視領域５３２ａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示するように構成されうる。利用者の左眼が左眼画像の虚像を右眼画像の虚像より多く視認し、右眼が右眼画像の虚像を左眼画像の虚像より多く視認する。右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像を視認する。
　例えば、上述の実施形態では、駆動装置３２が反射素子３１の位置および姿勢の少なくとも一方を判定するとしたが、この限りではない。通信機器１の第１コントローラ１２が、眼の位置に基づいて反射素子３１の位置および姿勢を判定してよい。このような構成において、第１コントローラ１２は、反射素子３１の位置および姿勢を示す駆動情報を生成して、第１通信部１４に送信させてよい。駆動装置３２は、第１通信部１４から送信された駆動情報に基づいて反射素子３１を駆動してよい。
　例えば、上述の実施形態では、ＨＵＤ２の第２コントローラ５５が左可視領域ＶａＬおよび右可視領域ＶａＲを判定したが、この限りではない。通信機器１の第１コントローラ１２が、眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定してよい。このような構成において、第１コントローラ１２は、左可視領域ＶａＬおよび右可視領域ＶａＲを示す可視領域情報を生成して、第１通信部１４に送信させてよい。ＨＵＤ２の第２コントローラ５５は、第１通信部１４から送信された駆動情報に基づいて表示パネル５２に視差画像を表示してよい。
　例えば、実施形態では、光学素子がパララックスバリア５３であるとしたが、これに限られない。例えば、図１０に示すように、光学素子は、レンチキュラレンズ６２４であってもよい。この場合、レンチキュラレンズ６２４は、垂直方向に延びるシリンドリカルレンズ６２５を、平面上に水平方向に配列して構成される。レンチキュラレンズ６２４は、パララックスバリア５３と同様に、一部のサブピクセルを出射した画像光を、利用者の左眼の位置に伝搬させ、他の一部のサブピクセルを出射した画像光を、利用者の右眼の位置に伝搬させる。
１　　　　　通信機器
２　　　　　ヘッドアップディスプレイ
３　　　　　反射器
４　　　　　光学部材
５　　　　　３次元表示装置
１０　　　　撮像光学系
１１　　　　撮像素子
１２　　　　第１コントローラ
１３　　　　メモリ
１４　　　　第１通信部
２０　　　　移動体
３１　　　　反射素子
３２　　　　駆動装置
５１　　　　照射器
５２　　　　表示パネル
５３　　　　パララックスバリア
５４　　　　第２通信部
５５　　　　第２コントローラ
５６　　　　レンチキュラレンズ
１４１　　　第１通信モジュール
１４２　　　第４通信モジュール
２０１　　　取付部
２０２　　　ステアリングホイール
５４１　　　第３通信モジュール
５４２　　　第４通信モジュール
５６１　　　シリンドリカルレンズ
５３１　　　透光領域
５３２　　　減光領域
Ａ　　　　　アクティブエリア
Ｖ１　　　　第１虚像
Ｖ２　　　　第２虚像
ＶａＬ　　　左可視領域
ＶａＲ　　　右可視領域
ＶｂＬ　　　左減光領域
ＶｂＲ　　　右減光領域
５２ａＬ　　左可視領域
５２ａＲ　　右可視領域
１００　　　通信ヘッドアップディスプレイシステム

Claims (10)

  1. 　センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定するように構成される第１コントローラ、ならびに前記第１コントローラによって推定された前記位置を送信するように構成される第１通信部を含む通信機器と、
    　視差画像を表示するように構成される表示パネル、前記視差画像から射出した画像光の伝播方向を規定するように構成される光学素子、前記光学素子によって伝播方向が規定された画像光を反射するように構成される反射器、および、前記通信機器から前記眼の位置を受信可能なように構成される第２通信部を含むヘッドアップディスプレイと、
    を備え、
    　前記反射器は、
    　前記画像光を反射するように構成される反射素子と、
    　前記反射素子によって反射された画像光が前記第２通信部により取得した前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される駆動装置と、
    を有する通信ヘッドアップディスプレイシステム。
  2. 　前記第１コントローラは、前記利用者の高さ方向の前記眼の位置を推定するように構成され、
    　前記駆動装置は、前記高さ方向の前記眼の位置に基づいて前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される、請求項１に記載の通信ヘッドアップディスプレイシステム。
  3. 　前記センサは、前記利用者、および実空間において所定の位置にある所定の物体を撮像することによって撮像画像を生成するように構成される撮像素子であり、
    　前記第１コントローラは、前記撮像画像における前記利用者の体の少なくとも一部の像および前記所定の物体の像の位置と、実空間における前記所定の物体の位置に基づいて、前記実空間における前記眼の位置を推定するように構成される、請求項１又は２に記載の通信ヘッドアップディスプレイシステム。
  4. 　前記通信機器は、実空間における複数の異なる位置に移動可能に設置され、前記センサは、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成するように構成される撮像素子であり、
    　前記第１コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定するように構成される、請求項１又は２に記載の通信ヘッドアップディスプレイシステム。
  5. 　前記通信機器は、
    　前記眼の位置を示す位置情報を記憶するメモリをさらに備え、
    　前記第１通信部が、前記ヘッドアップディスプレイとの接続を確立したときに前記メモリに前記位置情報が記憶されている場合、前記第１コントローラは、前記第１通信部が前記位置情報を前記ヘッドアップディスプレイに送信するよう制御する、請求項１から４のいずれか一項に記載の通信ヘッドアップディスプレイシステム。
  6. 　前記第１通信部は、
    　前記ヘッドアップディスプレイに前記通信機器または該通信機器の利用者を識別するための識別情報を送信するように構成される第１通信モジュールと、
    　前記ヘッドアップディスプレイに前記位置情報を送信するように構成される第２通信モジュールと、を含み、
    　前記第２通信部は、
    　前記第１通信モジュールから前記識別情報を受信するように構成される第３通信モジュールと、
    　前記第２通信モジュールから前記位置情報を受信するように構成される第４通信モジュールと、を含み、
    　前記第１コントローラは、前記第１通信モジュールと前記第３通信モジュールとの通信が確立した後に、前記第２通信モジュールに第４通信モジュールとの接続を確立させるように構成される、請求項５に記載の通信ヘッドアップディスプレイシステム。
  7. 　前記ヘッドアップディスプレイは、
    　前記駆動装置が前記反射素子の位置および姿勢の少なくとも一方を変化させた後、前記利用者の眼の位置に基づいて、前記視差画像における前記利用者の第１眼に視認させるための第１画像を表示させるサブピクセルと、前記視差画像における前記利用者の第２眼に視認させるための第２画像を表示させるサブピクセルとを判定するように構成される第２コントローラを備える、請求項１から６のいずれか一項に記載の通信ヘッドアップディスプレイシステム。
  8. 　ヘッドアップディスプレイと通信可能である通信機器であって、前記ヘッドアップディスプレイは、視差画像を表示するように構成される表示パネル、前記視差画像から射出した画像光の伝播方向を規定するように構成される光学素子、前記光学素子によって伝播方向が規定された画像光を反射するように構成される反射器とを含み、前記反射器は、画像光を反射するように構成される反射素子と、前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される駆動装置を含み、
    　利用者を撮像した撮像画像を生成するように構成される撮像素子と、
    　前記撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成するように構成されるコントローラと、
    　前記位置情報を、前記駆動装置の制御に使用するため前記ヘッドアップディスプレイに送信するように構成される通信部と、
    を備える通信機器。
  9. 　　センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定するように構成される第１コントローラ、および前記第１コントローラによって推定された前記位置を送信するように構成される第１通信部を含む通信機器と、
    　　視差画像を表示するように構成される表示パネルと、前記視差画像から射出した画像光の伝播方向を規定するように構成される光学素子と、前記光学素子によって伝播方向が規定された画像光を反射するように構成される反射器とを含むヘッドアップディスプレイと、含み、前記反射器は、前記画像光を反射するように構成される反射素子と、前記反射素子によって反射された画像光が利用者の眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される駆動装置と、
    を有する通信ヘッドアップディスプレイシステムと、
    　前記通信機器を移動可能に取付ける取付部と、
    を備える移動体。
  10. 　撮像素子と、コントローラと、通信部とを備える通信機器の前記コントローラが実行するプログラムであって、前記通信機器はヘッドアップディスプレイと通信するように構成される、前記ヘッドアップディスプレイは、視差画像を表示するように構成される表示パネルと、前記視差画像から射出した画像光の伝播方向を規定するように構成される光学素子と、前記光学素子によって伝播方向が規定された画像光を反射するように構成される反射器とを含み、前記反射器は、画像光を反射するように構成される反射素子と、前記反射素子の位置および姿勢の少なくとも一方を変化させるように構成される駆動装置を含み、
    　前記コントローラが、
    　前記撮像素子が、利用者を撮像することによって生成した撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成し、
    　前記通信部が、前記駆動装置の制御に使用するため前記位置情報を前記ヘッドアップディスプレイに送信するよう制御するためのプログラム。
PCT/JP2019/042126 2018-11-02 2019-10-28 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム WO2020090713A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/285,081 US12010289B2 (en) 2018-11-02 2019-10-28 Communication head-up display system, communication device, mobile body, and non-transitory computer-readable medium
CN201980069304.4A CN112889275B (zh) 2018-11-02 2019-10-28 通信平视显示器系统、通信设备、移动体以及程序
EP19877714.6A EP3876529B1 (en) 2018-11-02 2019-10-28 Communication head up display system, communication device, mobile body, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018207588A JP7105174B2 (ja) 2018-11-02 2018-11-02 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム
JP2018-207588 2018-11-02

Publications (1)

Publication Number Publication Date
WO2020090713A1 true WO2020090713A1 (ja) 2020-05-07

Family

ID=70463677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042126 WO2020090713A1 (ja) 2018-11-02 2019-10-28 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム

Country Status (4)

Country Link
EP (1) EP3876529B1 (ja)
JP (1) JP7105174B2 (ja)
CN (1) CN112889275B (ja)
WO (1) WO2020090713A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166259A (ja) 1999-09-24 2001-06-22 Sanyo Electric Co Ltd 眼鏡無し立体映像表示装置
JP2005247224A (ja) * 2004-03-05 2005-09-15 Sumitomo Electric Ind Ltd 車両用表示装置
JP2014010418A (ja) * 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法
JP2017009628A (ja) * 2015-06-16 2017-01-12 株式会社リコー 光走査装置
JP2018090170A (ja) * 2016-12-06 2018-06-14 株式会社デンソー ヘッドアップディスプレイシステム
WO2018199185A1 (ja) * 2017-04-26 2018-11-01 京セラ株式会社 表示装置、表示システム、および移動体
JP2018207588A (ja) 2017-05-31 2018-12-27 トヨタ自動車株式会社 車両

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190518B1 (en) * 1996-01-22 2007-03-13 3Ality, Inc. Systems for and methods of three dimensional viewing
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 表示装置、表示方法およびプログラム
JP6677385B2 (ja) * 2015-01-22 2020-04-08 天馬微電子有限公司 立体表示装置及び視差画像補正方法
CN108292045B (zh) * 2016-02-12 2020-11-06 麦克赛尔株式会社 车辆用影像显示装置
CN110235049A (zh) * 2017-02-06 2019-09-13 三菱电机株式会社 立体显示装置及平视显示器
JP6968676B2 (ja) * 2017-12-06 2021-11-17 矢崎総業株式会社 車両用表示装置
KR102586619B1 (ko) * 2018-09-28 2023-10-11 현대자동차주식회사 차량 및 차량의 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166259A (ja) 1999-09-24 2001-06-22 Sanyo Electric Co Ltd 眼鏡無し立体映像表示装置
JP2005247224A (ja) * 2004-03-05 2005-09-15 Sumitomo Electric Ind Ltd 車両用表示装置
JP2014010418A (ja) * 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法
JP2017009628A (ja) * 2015-06-16 2017-01-12 株式会社リコー 光走査装置
JP2018090170A (ja) * 2016-12-06 2018-06-14 株式会社デンソー ヘッドアップディスプレイシステム
WO2018199185A1 (ja) * 2017-04-26 2018-11-01 京セラ株式会社 表示装置、表示システム、および移動体
JP2018207588A (ja) 2017-05-31 2018-12-27 トヨタ自動車株式会社 車両

Also Published As

Publication number Publication date
JP2020072460A (ja) 2020-05-07
CN112889275B (zh) 2023-06-16
US20210356751A1 (en) 2021-11-18
EP3876529A4 (en) 2022-05-11
EP3876529B1 (en) 2024-03-27
JP7105174B2 (ja) 2022-07-22
EP3876529A1 (en) 2021-09-08
CN112889275A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
US11221482B2 (en) Display apparatus, display system, and mobile body
WO2020095801A1 (ja) ３次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
CN113039785A (zh) 三维显示装置、三维显示系统、平视显示器以及移动体
US11442269B2 (en) 3D display device, head-up display, moving body, and program
WO2020090713A1 (ja) 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム
CN113016178B (zh) 平视显示器、平视显示器系统、移动体以及平视显示器的设计方法
US12010289B2 (en) Communication head-up display system, communication device, mobile body, and non-transitory computer-readable medium
JP7274392B2 (ja) カメラ、ヘッドアップディスプレイシステム、及び移動体
WO2020196052A1 (ja) 画像表示モジュール、画像表示システム、移動体、画像表示方法及び画像表示プログラム
WO2020090714A1 (ja) 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム
JP7346587B2 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
WO2022024814A1 (ja) カメラシステムおよび運転支援システム
WO2022149599A1 (ja) ３次元表示装置
CN113924520A (zh) 平视显示器系统以及移动体
CN114746795A (zh) 平视显示器模块、平视显示器系统以及移动体
JP2022021866A (ja) カメラシステムおよび画像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19877714

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019877714

Country of ref document: EP

Effective date: 20210602