WO2016103938A1 - 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム - Google Patents

投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム Download PDF

Info

Publication number
WO2016103938A1
WO2016103938A1 PCT/JP2015/081632 JP2015081632W WO2016103938A1 WO 2016103938 A1 WO2016103938 A1 WO 2016103938A1 JP 2015081632 W JP2015081632 W JP 2015081632W WO 2016103938 A1 WO2016103938 A1 WO 2016103938A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
projection
unit
driver
captured image
Prior art date
Application number
PCT/JP2015/081632
Other languages
English (en)
French (fr)
Inventor
広大 藤田
伊藤　大介
伊藤　研治
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201580070191.1A priority Critical patent/CN107107834A/zh
Priority to JP2016566013A priority patent/JPWO2016103938A1/ja
Publication of WO2016103938A1 publication Critical patent/WO2016103938A1/ja
Priority to US15/613,271 priority patent/US20170269363A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/66—Projection screens or combiners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163—Electric or electronic control thereof

Definitions

  • the present invention relates to a projection display device, an electronic device, a driver visual image sharing method, and a driver visual image sharing program.
  • an automotive HUD head-up display
  • a windshield of a car or a combiner disposed near the front of the windshield as a screen and projects projected light on the screen to display an image
  • Patent Document 1 the user can visually recognize the image displayed on the windshield or the like by the projection light projected from the HUD superimposed on the scenery in front of the host vehicle behind the windshield or the like.
  • Patent Document 1 describes an automobile having a HUD as a display for a driver and a display for a passenger. In this automobile, it is possible to provide appropriate information to each person in the automobile by changing the amount of information to be displayed between the HUD and the passenger display.
  • Patent Document 2 does not relate to HUD, but transfers an image viewed by a head-mounted display wearer to an external device wirelessly connected to the head-mounted display, and sends this image to a person other than the wearer. The system that can confirm is described.
  • the HUD mounted on the car is designed so that the image projected on the windshield (warning information for notifying the front of dangerous goods, etc.) is most easily seen by the driver, from the passenger sitting in the passenger seat Is difficult to see this image clearly. If information such as warnings can be confirmed by the passenger, safety can be improved, but no such product has been provided so far.
  • Patent Document 2 Since the system described in Patent Document 2 is not related to a system using HUD, the problem of mounting HUD in an automobile is not considered.
  • the present invention has been made in view of the above circumstances, and a projection display device, an electronic device, and a driver visual image sharing method that can easily share a scene in the field of view of a driver of a car with a passenger, And it aims at providing a driver
  • a projection display device of the present invention is a projection display device mounted on an automobile, and includes a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on the automobile and captures the traveling direction of the automobile. Analyzing the captured image data acquired by the captured image data acquisition unit to generate projection image data, and modulating the light emitted from the light source unit according to the projection image data.
  • a projection unit that projects onto the projection surface a driver visual image data generation unit that generates driver visual image data in which the image data for projection is superimposed on the captured image data, and a display unit that displays an image based on the image data
  • a transmitter that transmits the driver visual image data to an electronic device existing in the automobile.
  • An electronic device analyzes a captured image data acquired by the captured image data acquisition unit and a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle.
  • a projection image data generation unit that generates projection image data
  • a projection unit that modulates the light emitted from the light source unit according to the projection image data and projects the light onto a projection plane existing in the automobile, and the imaging
  • a driver visual image data generating unit that generates driver visual image data in which the projection image data is superimposed on image data, a communication unit that communicates with the projection display device, and via the communication unit,
  • An acquisition unit that acquires the driver visual image data from the projection display device, a display unit that displays an image based on the image data, and the driver visual image data An image brute those comprising, a display control unit for displaying on the display unit.
  • the driver viewable image sharing method of the present invention includes a captured image data acquisition step for acquiring captured image data from an imaging unit that is mounted on a vehicle and images the traveling direction of the vehicle, and a captured image acquired by the captured image data acquisition step.
  • a projection image data generation step for analyzing the data to generate projection image data, and a projection for modulating the light emitted from the light source unit according to the projection image data and projecting it on the projection plane existing in the automobile
  • a driver visual image data generating step for generating driver visual image data obtained by superimposing the projection image data on the captured image data; a display unit for displaying an image based on the image data;
  • the driver viewable image sharing method of the present invention includes a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle, and a captured image acquired by the captured image data acquisition unit.
  • a projection image data generation unit that analyzes data and generates projection image data, a light source unit, and a projection that exists in the automobile by modulating light emitted from the light source unit according to the projection image data Communication that communicates with a projection display device that includes a projection unit that projects onto a surface and a driver visual image data generation unit that generates driver visual image data in which the projection image data is superimposed on the captured image data
  • a step of acquiring the driver visual recognition image data from the projection display device via the unit, and an image based on the driver visual recognition image data is displayed on the display unit. In which and a step of displaying.
  • the driver viewable image sharing program includes a captured image data acquisition step for acquiring captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle, and the captured image acquired by the captured image data acquisition step.
  • a projection image data generation step for analyzing the data to generate projection image data, and a projection for modulating the light emitted from the light source unit according to the projection image data and projecting it on the projection plane existing in the automobile
  • a driver visual image data generating step for generating driver visual image data obtained by superimposing the projection image data on the captured image data; a display unit for displaying an image based on the image data;
  • the driver viewable image sharing program includes a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle, and a captured image acquired by the captured image data acquisition unit.
  • a projection image data generation unit that analyzes the data to generate projection image data, a light source unit, and a projection plane that exists in the automobile by modulating light emitted from the light source unit according to the projection image data
  • a communication unit that communicates with a projection display device that includes a projection unit that projects the image and a driver visual image data generation unit that generates driver visual image data in which the projection image data is superimposed on the captured image data And obtaining the driver visual image data from the projection display device, and displaying an image based on the driver visual image data.
  • a display control step of displaying the part is a program for causing a computer to execute the.
  • a projection display device a driver visual image sharing method, and a driver visual image sharing program that can easily share a scene in the field of view of a driver of a car with passengers. it can.
  • FIG. 4 is a diagram showing functional blocks of a system control unit 48 of the display unit 4 and blocks showing an internal configuration of the electronic device 9.
  • 3 is a flowchart for explaining operations of the HUD and the electronic device 9 shown in FIG. 1.
  • movement of FIG. It is a figure used for description of the operation
  • movement of FIG. 6 is a flowchart for explaining a first modified example of operations of the HUD and the electronic device 9 shown in FIG. 1.
  • movement of FIG. 10 is a flowchart for explaining a second modification of the operation of the HUD and the electronic device 9 shown in FIG. 1.
  • movement of FIG. It is a figure used for description of the operation
  • movement of FIG. It is a figure used for description of the operation
  • FIG. 1 is a diagram showing a configuration of a HUD that is an embodiment of the projection display device of the present invention. This HUD is used by being mounted on an automobile.
  • the HUD shown in FIG. 1 is affixed to the inner surface of the windshield 1 of the automobile, the display unit 4 built in the dashboard 3 of the automobile, the projection unit including the diffuser plate 5, the reflecting mirror 6, and the magnifying glass 7.
  • a combiner 2 The HUD shown in FIG. 1 is affixed to the inner surface of the windshield 1 of the automobile, the display unit 4 built in the dashboard 3 of the automobile, the projection unit including the diffuser plate 5, the reflecting mirror 6, and the magnifying glass 7.
  • the diffusing plate 5 is for diffusing light according to the projection image data emitted from the display unit 4 and converting the light into a surface light source.
  • the reflection mirror 6 reflects the light diffused by the diffusion plate 5 toward the magnifier 7.
  • the magnifying mirror 7 enlarges the image based on the light reflected by the reflecting mirror 6 and projects it on the combiner 2.
  • the combiner 2 is a projection surface existing in the automobile on which the light projected from the magnifier 7 is projected, and reflects this light.
  • a driver of an automobile can visually recognize information related to driving by looking at the light reflected by the combiner 2.
  • the combiner 2 has a function of reflecting light projected from the magnifying mirror 7 and transmitting light from the outside (external environment) of the windshield 1 at the same time. For this reason, the driver can visually recognize the outside scene outside the windshield 1 together with the image based on the light projected from the magnifier 7.
  • an image pickup unit 8 is provided for picking up an image of the scenery in front of the windshield 1 that is the traveling direction of the automobile.
  • the imaging unit 8 and the display unit 4 are connected by wire or wirelessly, and captured image data obtained by imaging by the imaging unit 8 is output to the display unit 4.
  • the imaging unit 8 may be dedicated to the HUD, or may be an imaging unit mounted on an automobile for another purpose such as a collision prevention system.
  • the electronic device 9 is a portable computer on which a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an operation unit, a display unit, and the like are mounted, for example.
  • Examples of the electronic device include a smartphone, a mobile phone with a camera, and a tablet terminal (portable information terminal).
  • FIG. 2 is a diagram showing a configuration example of the display unit 4 shown in FIG.
  • the display unit 4 includes a light source unit 40A, a light modulation element 44, a drive unit 45 that drives the light modulation element 44, a projection optical system 46, a communication unit 47, and a system control unit 48 that performs overall control. Is provided.
  • the light source unit 40A includes a light source controller 40, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism 43, a collimator lens 42b provided between the two.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path.
  • the optical member having such a function is not limited to the dichroic prism.
  • a cross dichroic mirror may be used.
  • the dichroic prism 43 transmits the R light collimated by the collimator lens 42 r and emits the R light to the light modulation element 44.
  • the dichroic prism 43 reflects the G light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44.
  • the dichroic prism 43 reflects the B light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser and an LED (Light Emitting Diode).
  • a light emitting element such as a laser and an LED (Light Emitting Diode).
  • an HUD including three light sources, that is, an R light source 41r, a G light source 41g, and a B light source 41b is taken as an example, but the number of light sources may be two or four or more.
  • the light source control unit 40 sets the light emission amount of each of the R light source 51r, the G light source 51g, and the B light source 51b to a predetermined light emission amount pattern, and according to the light emission amount pattern, the R light source 51r, the G light source 51g, and Control is performed to sequentially emit light from the B light source 51b.
  • the light modulation element 44 modulates the light emitted from the dichroic prism 43 and emits light (red image light, blue image light, and green image light) according to the projection image data to the projection optical system 46.
  • LCOS liquid crystal on silicon
  • DMD digital mirror device
  • MEMS micro electro mechanical systems
  • the drive unit 45 drives the light modulation element 44 in accordance with the projection image data input from the system control unit 48, and emits light (red image light, blue image light, and green image light) according to the projection image data.
  • the light is emitted to the projection optical system 46.
  • the projection optical system 46 is an optical system for projecting the light emitted from the light modulation element 44 onto the diffusion plate 5.
  • the light emitted from the light source unit 40A is modulated by the light modulation element 44, the projection optical system 46, the diffusing plate 5, the reflection mirror 6, and the magnifying mirror 7 according to the projection image data, and the combiner 2 as the projection surface is formed.
  • a projection unit for projecting is configured.
  • the communication unit 47 is an interface for performing short-range wireless communication with the electronic device 9 present in the automobile.
  • This interface for example, a communication interface compliant with Bluetooth (registered trademark) is used. Of course, other communication interfaces may be used.
  • the system control unit 48 controls the light source control unit 40 and the drive unit 45.
  • FIG. 3 is a diagram showing functional blocks of the system control unit 48 of the display unit 4 and blocks showing the internal configuration of the electronic device 9.
  • the system control unit 48 includes a captured image data acquisition unit 51, a projection image data generation unit 52, a driver visual image data generation unit 53, and an electronic device detection unit 54.
  • the captured image data acquisition unit 51 acquires captured image data obtained by imaging with the imaging unit 8 from the imaging unit 8 and outputs the acquired image data to the projection image data generation unit 52 and the driver visual recognition image data generation unit 53.
  • the projection image data generation unit 52 analyzes the captured image data acquired by the captured image data acquisition unit 51 by a known image analysis process, and generates projection image data.
  • the projection image data generation unit 52 outputs the generated projection image data to the drive unit 45 and the driver visual image data generation unit 53.
  • the projection image data generation unit 52 detects obstacles or dangerous objects such as pedestrians, utility poles, street trees, and accident vehicles from the captured image data. When detecting an obstacle or dangerous object, the projection image data generating unit 52 generates image data for projection for notifying the detected obstacle or dangerous object.
  • obstacles or dangerous objects such as pedestrians, utility poles, street trees, and accident vehicles from the captured image data.
  • the projection image data generating unit 52 generates image data for projection for notifying the detected obstacle or dangerous object.
  • the captured image data corresponds to the scenery in front of the windshield 1. If any pixel of the light modulation element 44 is made effective (a state in which light is reflected or transmitted and emitted to the projection optical system 46), an image is projected on which region of the captured image data (a scene in front of the windshield 1). The relationship of whether to do is decided beforehand. Therefore, if the area of the obstacle or dangerous object detected from the captured image data is known, it is possible to determine what kind of projection image data should be output to the drive unit 45.
  • the projection image data generating unit 52 also generates projection image data indicating guide information for performing navigation to the traveling speed of the automobile and the destination.
  • the driver visual image data generation unit 53 generates driver visual image data obtained by superimposing the projection image data generated by the projection image data generation unit 52 on the captured image data acquired by the captured image data acquisition unit 51. Then, the generated driver visual image data is transmitted to the electronic device 9 existing in the automobile via the communication unit 47.
  • the communication unit 47 functions as a transmission unit that transmits the driver visual image data to the electronic device 9 present in the automobile.
  • the electronic device detection unit 54 detects an electronic device present in the automobile.
  • the electronic device detection unit 54 includes the position information of the vehicle received by a GPS (Global Positioning System) receiver for a navigation system mounted on the vehicle, and a GPS receiver 66 described later mounted on the electronic device 9. Is compared with the received position information.
  • the electronic device detection unit 54 acquires the position information of the electronic device 9 via the communication unit 47.
  • GPS Global Positioning System
  • the electronic device detection unit 54 determines that the electronic device 9 in communication exists in the automobile. If there is a large difference between the two pieces of position information, the electronic device detection unit 54 determines that the electronic device 9 in communication is outside the automobile. When the electronic device detection unit 54 determines that the electronic device 9 is present in the automobile, the electronic device detection unit 54 permits the communication unit 47 to transmit / receive data to / from the electronic device 9. As a result, data can be transmitted and received between the electronic device 9 present in the automobile and the HUD.
  • the electronic device 9 includes a control unit 61, a communication unit 62, a storage unit 63 including a storage medium such as a flash memory and a ROM (Read Only Memory), an operation unit 64 for inputting various information, and image data.
  • a display unit 65 for displaying a base image and a GPS receiver 66 are provided.
  • the control unit 61 is mainly configured by a processor that executes a program stored in the ROM of the storage unit 63.
  • the control unit 61 acquires the driver visual image data received by the communication unit 62 and causes the display unit 65 to display an image based on the acquired driver visual image data.
  • the control unit 61 functions as an acquisition unit and a display control unit.
  • the communication unit 62 is a communication interface for performing short-range wireless communication with other electronic devices including the HUD shown in FIG.
  • the storage unit 63 stores data received via the communication unit 62 or stores data necessary for the operation of the electronic device 9.
  • the operation unit 64 is an interface for inputting various instructions to the control unit 61, and includes various buttons, a touch panel mounted on the display unit 65, and the like.
  • FIG. 4 is a flowchart for explaining the operation of the HUD and the electronic device 9 shown in FIG. In the description of FIG. 4, specific processing contents will also be described with reference to the display examples of FIGS. 5 and 6.
  • FIG. 5 is a diagram showing a scene viewed by the driver when the HUD is not activated.
  • a pedestrian 101 and a building 102 are visually recognized through the windshield 1 of a running car.
  • the passenger When the HUD is activated, the passenger carries the electronic device 9 and gets into the car. Thereby, negotiation is performed between the communication unit 47 of the display unit 4 and the communication unit 62 of the electronic device 9, and the presence of the electronic device 9 is detected by the electronic device detection unit 54. Data can be transmitted and received between the communication unit 47 of the HUD and the communication unit 62 of the electronic device 9.
  • the captured image data acquisition unit 51 acquires captured image data captured by the imaging unit 8 (step S1).
  • the projection image data generation unit 52 analyzes the captured image data acquired by the captured image data acquisition unit 51 (step S2), and generates projection image data based on the analysis result (step S3).
  • the projection image data generation unit 52 generates projection image data for displaying the traveling speed and navigation information of the automobile.
  • the projection image data generation unit 52 inputs the projection image data generated in step S3 to the drive unit 45.
  • the drive unit 45 drives the light modulation element 44 in accordance with the projection image data input from the projection image data generation unit 52, and modulates the light emitted from the light source unit 40A. By this modulation, an image based on the projection image data is projected onto the combiner 2 (step S4).
  • images 111 to 113 based on the projection image data are projected onto the combiner 2 as shown in FIG.
  • the image 111 is a warning mark for notifying the presence of an obstacle or a dangerous object.
  • the image 112 is a frame image showing a region recognized as an obstacle or a dangerous object.
  • the image 113 is an image showing the traveling speed of the automobile and navigation information. The driver can easily perceive the pedestrian 101 by viewing the images 111 and 112 projected on the combiner 2 and the scenery of the outside world.
  • the driver visual image data generation unit 53 generates driver visual image data in which the image data for projection generated in step S3 is superimposed on the captured image data acquired by the captured image data acquisition unit 51 (Ste S5).
  • the driver visual image data generation unit 53 transmits the driver visual image data generated in step S5 to the electronic device 9 present in the automobile via the communication unit 47 (step S6).
  • the control part 61 of the electronic device 9 acquires the driver
  • the display unit 65 of the electronic device 9 displays an image in which virtual images (images 111, 112, and 113) are superimposed on the subject image captured by the imaging unit 8. . That is, on the display unit 65 of the electronic device 9, an image corresponding to a scene that the driver is looking at is displayed in real time.
  • the driver can visually recognize the images 111 and 112 projected on the combiner 2 and the scenery of the outside world in front of the windshield 1 so that the driver can detect the dangerous situation of the pedestrian 101 and the like. It becomes easy.
  • the projection unit of the HUD is designed so that the image 111 and the image 112 projected on the combiner 2 are most easily visible to the driver. For this reason, it is difficult to visually recognize the image 111 and the image 112 from other than the driver.
  • the passenger can also check the scene that the driver is viewing in real time by the display unit 65 of the electronic device 9. For this reason, for example, even when the driver is not aware of the pedestrian 101, the passenger can notice the pedestrian 101, and the passenger can expect a response such as prompting the driver to pay attention.
  • the image 111 or the image 112 may not be displayed on the combiner 2 due to a failure of the R light source 41r, the G light source 41g, the B light source 41b, or the light modulation element 44. In such a situation, the driver is less likely to notice a dangerous situation such as the pedestrian 101.
  • the passenger can notice the dangerous situation, and safety can be improved. Also, by sharing the visible information between the driver and the passenger, it is possible to grasp the situation that is visible to the passenger but not visible to the driver, and the failure of the HUD can be understood with the driver. Can be noticed by passengers.
  • the HUD shown in FIG. 1 is a system that uses an electronic device 9 possessed by a passenger to show the passenger an image corresponding to the scene that the driver is viewing. For this reason, it is not necessary to provide a dedicated display device in the automobile, and the cost can be reduced.
  • an application program for sharing information with the driver may be installed in the electronic device 9 and the application program may be activated by the passenger to perform the processing as described above.
  • the control unit 61 of the electronic device 9 performs pairing with the HUD and notifies the electronic device detection unit 54 of the HUD that the electronic device 9 exists in the automobile. May be.
  • FIG. 7 is a flowchart for explaining a first modification of the operation of the HUD and the electronic device 9 shown in FIG. In the description of FIG. 7, the specific processing contents will also be described with reference to the display example of FIG.
  • the control unit 61 of the electronic device 9 determines whether or not a specific area is designated for the image displayed on the display unit 65 (step S11).
  • the passenger In the image based on the driver visual image data displayed on the display unit 65 of the electronic device 9, when the passenger wants to go to the destination, the passenger is requested to inform the driver of the destination.
  • An area near the ground (for example, the building 102 in FIG. 8) is designated on the image.
  • control part 61 of the electronic device 9 determines that the specific area is designated from the image based on the driver visual image data (step S11: YES), and designates the designation information indicating the specific area as the communication part 62. To the communication unit 47 of the HUD (step S12). The control unit 61 of the electronic device 9 functions as a first transmission unit.
  • the designation information is information indicating the coordinates of the specific area in the driver visual image data being displayed on the display unit 65. Note that the coordinates of each pixel of the driver visual image data correspond to the coordinates of each pixel of the captured image data.
  • the projection image data generation unit 52 of the HUD acquires designation information transmitted from the electronic device 9 and received by the communication unit 47 (step S13). Then, the projection image data generation unit 52 adds data for emphasizing a region based on the designation information in the captured image data to the projection image data generated by analyzing the captured image data (step S14).
  • the captured image data corresponds to the scenery in front of the windshield 1. If any pixel of the light modulation element 44 is made effective (a state in which light is reflected or transmitted and emitted to the projection optical system 46), an image is projected on which region of the captured image data (a scene in front of the windshield 1). The relationship of whether to do is decided beforehand. Therefore, if there is designation information, it is possible to generate data for projecting an image on the captured image data area designated by the designation information.
  • the projection image data generation unit 52 inputs the projection image data generated in step S14 to the drive unit 45. Thereby, an image based on the projection image data to which the data is added is projected on the combiner 2 (step S15).
  • an image 121 based on the projection image data is additionally projected to the example of FIG.
  • the image 121 is a frame image indicating a region corresponding to a specific region designated from among images displayed on the display unit 65 by the user of the electronic device 9.
  • the image 121 is an example, and any image can be used as long as it can inform the driver that the building 102 is designated.
  • the destination that the passenger wants to go to is displayed, by specifying the destination, in the combiner 2,
  • the destination can be highlighted.
  • the driver can check the image 121 indicating the specific area together with the scenery of the outside world, and can easily recognize the passenger's destination. This configuration is effective, for example, when a taxi passenger informs the driver of his / her destination.
  • FIG. 9 is a flowchart for explaining a second modification of the operation of the HUD and the electronic device 9 shown in FIG. In the description of FIG. 9, specific processing contents will be described with reference to the display examples of FIGS. 10 and 11.
  • the control unit 61 of the electronic device 9 displays a menu 130 as shown in FIG. A plurality of icons are displayed on the menu 130, but a toilet icon 131 is displayed in the example of FIG.
  • the control unit 61 of the electronic device 9 determines whether any of the icons included in the menu 130 displayed on the display unit 65 is selected (Step S21).
  • the control unit 61 sends instruction information for instructing addition of an image to be projected on the combiner 2 to the communication unit 47 of the HUD via the communication unit 62. Transmit (step S22).
  • the instruction information differs for each selected icon, and image data corresponding to the instruction information is stored in a memory (not shown) of the HUD.
  • the control unit 61 of the electronic device 9 functions as a second transmission unit.
  • the projection image data generation unit 52 of the HUD acquires the instruction information received by the communication unit 47 (step S23). Then, the projection image data generation unit 52 stores, in the memory corresponding to the instruction information, data for projecting an image based on the acquired instruction information with respect to the projection image data generated by analyzing the captured image data. Added image data) (step S24).
  • the projection image data generation unit 52 inputs the projection image data generated in step S24 to the drive unit 45. Thereby, an image based on the projection image data to which the image data is added is projected onto the combiner 2 (step S25).
  • an image 141 (toilet mark in the example shown in the figure) is additionally projected onto the combiner 2 with respect to the example shown in FIG.
  • the driver can recognize from the image 141 projected on the combiner 2 that the passenger wants to go to the toilet.
  • the control unit 61 may transmit arbitrary text information input from the user of the electronic device 9 together with the instruction information to the HUD. Then, the HUD projection image data generation unit 52 analyzes the captured image data for image data corresponding to the instruction information and image data for displaying text information transmitted simultaneously with the instruction information. It is added to the generated projection image data. In the example of FIG. 10, a text image 142 “Mr. A” is displayed together with the image 141. Thereby, the driver can easily know who wants to go to the toilet.
  • control unit 61 of the electronic device 9 displays the character input box 150 on the display unit 65 as shown in FIG.
  • control unit 61 transmits instruction information for instructing addition of the message to the HUD.
  • the projection image data generation unit 52 When obtaining the instruction information, the projection image data generation unit 52 generates projection image data to which data for displaying an image (message) based on the instruction information is added. Thereby, as shown in FIG. 11, the text image 161 is additionally projected.
  • the passenger can indicate his intention to the driver while the car is running. For example, it may be difficult for a passenger in the last seat of a three-row seat car to talk to the driver. For this reason, the configuration shown in FIG. 11 is effective. It is also effective for people with disabilities who are difficult to talk to.
  • a program is recorded on a non-transitory recording medium in which the program can be read by a computer.
  • Such “computer-readable recording medium” includes, for example, an optical medium such as a CD-ROM (Compact Disc-ROM), a magnetic recording medium such as a memory card, and the like. Such a program can also be provided by downloading via a network.
  • an optical medium such as a CD-ROM (Compact Disc-ROM)
  • a magnetic recording medium such as a memory card, and the like.
  • Such a program can also be provided by downloading via a network.
  • the disclosed projection display device is a projection display device mounted on an automobile, and includes a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on the automobile and images the traveling direction of the automobile. Analyzing the captured image data acquired by the captured image data acquisition unit to generate projection image data, and modulating the light emitted from the light source unit according to the projection image data.
  • a projection unit that projects onto the projection surface a driver visual image data generation unit that generates driver visual image data in which the image data for projection is superimposed on the captured image data, and a display unit that displays an image based on the image data
  • a transmitter that transmits the driver visual image data to an electronic device existing in the automobile.
  • the projection image data generation unit receives designation information indicating a specific area designated from an image based on the driver visual image data displayed on the display unit. And data for emphasizing a region based on the designation information in the captured image data is added to the projection image data.
  • the projection image data generation unit obtains instruction information for instructing addition of an image to be projected on the projection surface from the electronic device, and projects an image based on the instruction information. Is added to the projection image data.
  • the disclosed electronic device analyzes a captured image data acquired by the captured image data acquisition unit and a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle.
  • a projection image data generation unit that generates projection image data
  • a projection unit that modulates the light emitted from the light source unit according to the projection image data and projects the light onto a projection plane existing in the automobile, and the imaging
  • a driver visual image data generating unit that generates driver visual image data in which the projection image data is superimposed on image data
  • a communication unit that communicates with the projection display device, and via the communication unit
  • An acquisition unit that acquires the driver visual image data from the projection display device, a display unit that displays an image based on the image data, and the driver visual image data
  • An image based are those comprising, a display control unit for displaying on the display unit.
  • the disclosed electronic device transmits designation information indicating a specific area designated from an image based on the driver visual image data displayed on the display unit to the projection display device via the communication unit.
  • the 1st transmission part to be further provided.
  • the disclosed electronic device includes a second transmission unit that transmits instruction information for instructing addition of an image to be projected onto the projection plane to the projection display device via the communication unit.
  • the disclosed driver visual image sharing method includes a captured image data acquisition step for acquiring captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle, and a captured image acquired by the captured image data acquisition step.
  • a projection image data generation step for analyzing the data to generate projection image data, and a projection for modulating the light emitted from the light source unit according to the projection image data and projecting it on the projection plane existing in the automobile
  • a driver visual image data generating step for generating driver visual image data obtained by superimposing the projection image data on the captured image data; a display unit for displaying an image based on the image data;
  • the disclosed driver visual image sharing method acquires from the electronic device designation information indicating a specific area designated from an image based on the driver visual image data displayed on the display unit of the electronic device.
  • the projection image data generation step data for emphasizing a region based on the designation information in the captured image data is added to the projection image data.
  • the disclosed driver visual image sharing method further includes a step of acquiring instruction information for instructing addition of an image to be projected on the projection plane from the electronic device, and the projection image data generation step includes the instruction information in the projection information generation step. Data for projecting a base image is added to the projection image data.
  • the disclosed driver visual image sharing method includes a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle, and a captured image acquired by the captured image data acquisition unit.
  • a projection image data generation unit that analyzes data and generates projection image data, a light source unit, and a projection that exists in the automobile by modulating light emitted from the light source unit according to the projection image data Communication that communicates with a projection display device that includes a projection unit that projects onto a surface and a driver visual image data generation unit that generates driver visual image data in which the projection image data is superimposed on the captured image data And obtaining the driver visual image data from the projection display device and displaying an image based on the driver visual image data A step of displaying on those with a.
  • the disclosed driver visual image sharing method is configured to send designation information indicating a specific area designated from an image based on the driver visual image data displayed on the display unit via the communication unit.
  • the method further includes a step of transmitting to the display device.
  • the disclosed driver visual image sharing method transmits instruction information for instructing addition of an image to be projected on the projection plane to the projection display device via the communication unit in response to an operation of the operation unit. Is further provided.
  • the disclosed driver visual image sharing program includes a captured image data acquisition step for acquiring captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle, and the captured image acquired by the captured image data acquisition step.
  • a projection image data generation step for analyzing the data to generate projection image data, and a projection for modulating the light emitted from the light source unit according to the projection image data and projecting it on the projection plane existing in the automobile
  • a driver visual image data generating step for generating driver visual image data obtained by superimposing the projection image data on the captured image data; a display unit for displaying an image based on the image data; Transmitting the driver visual image data to an electronic device existing in the computer, and Is a program for causing the line.
  • the disclosed driver visual image sharing program includes a captured image data acquisition unit that acquires captured image data from an imaging unit that is mounted on a vehicle and captures the traveling direction of the vehicle, and a captured image acquired by the captured image data acquisition unit.
  • a projection image data generation unit that analyzes the data to generate projection image data, a light source unit, and a projection plane that exists in the automobile by modulating light emitted from the light source unit according to the projection image data
  • a communication unit that communicates with a projection display device that includes a projection unit that projects the image and a driver visual image data generation unit that generates driver visual image data in which the projection image data is superimposed on the captured image data Via the step of acquiring the driver visual image data from the projection display device, and an image based on the driver visual image data
  • a display control step of displaying on the radical 113 is a program for causing a computer to execute the.
  • the present invention is particularly convenient and effective when applied to a vehicle-mounted HUD.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

自動車の運転者の視野内の画像を同乗者によって容易に共有することのできる投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラムを提供する。ＨＵＤは、フロントガラス１前方を撮像する撮像部（８）から撮像画像データを取得する撮像画像データ取得部（５１）と、取得された撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部（５２）と、光源ユニット（４０Ａ）から出射された光を投写用画像データにしたがって変調してコンバイナ（２）に投写する投写部と、撮像画像データに投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部（５３）と、表示部を有しかつ自動車内に配置される電子機器（９）に運転者視認画像データを送信する通信部（４７）と、を備える。

Description

投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム
　本発明は、投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラムに関する。
　自動車のフロントガラスや、フロントガラスの手前付近に配置されるコンバイナをスクリーンとして用い、これに投写光を投写して画像を表示させる自動車用のＨＵＤ（ヘッドアップディスプレイ）装置が知られている（例えば特許文献１参照）。このＨＵＤによれば、利用者は、ＨＵＤから投写された投写光によってフロントガラス等に表示される画像を、そのフロントガラス等の裏側にある自車両前方の風景に重畳させて視認することができる。
　特許文献１には、運転者用のディスプレイとしてのＨＵＤと、同乗者用のディスプレイとを有する自動車が記載されている。この自動車では、ＨＵＤと同乗者用のディスプレイとで、表示する情報量を変えることで、自動車に乗っている各人に対して適切な情報提供を行うことが可能になっている。
　特許文献２には、ＨＵＤに関するものではないが、ヘッドマウントディスプレイの装着者が見ている映像を、ヘッドマウントディスプレイと無線接続された外部の機器に転送して、この映像を装着者以外の人が確認できるシステムが記載されている。
特開２０１３－１５４７１２号公報 特開２００３－２８７７０８号公報
　自動車に搭載されるＨＵＤは、フロントガラスに投写される画像（前方の危険物を通知するための警告情報等）が運転者から最も見やすくなるように設計されており、助手席に座る同乗者からはこの画像を明確に確認することが難しい。同乗者によって警告等の情報が確認できれば、安全性向上を図ることができるが、これまで、そのような製品は提供されていない。
　投写される画像を同乗者にも見せるために、自動車にＨＵＤを２台設けることが考えられる。しかし、限られたスペースにＨＵＤを２つ配置するのは難しい。また、自動車の製造コストが増大する。
　特許文献１に記載のシステムは、同乗者用のディスプレイには外部のセンターから受信したコンテンツが表示されるだけであり、運転者が見ている画像を同乗者が共有することはできない。
　特許文献２に記載のシステムは、ＨＵＤを用いたシステムに関するものではないため、ＨＵＤを自動車に搭載する場合についての課題については考慮されていない。
　本発明は、上記事情に鑑みてなされたものであり、自動車の運転者の視野内の光景を同乗者によって容易に共有することのできる投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラムを提供することを目的とする。
　本発明の投写型表示装置は、自動車に搭載される投写型表示装置であって、上記自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信部と、を備えるものである。
　本発明の電子機器は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、上記通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得する取得部と、画像データに基づく画像を表示する表示部と、上記運転者視認画像データに基づく画像を上記表示部に表示させる表示制御部と、を備えるものである。
　本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、を備えるものである。
　本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備えるものである。
　本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、をコンピュータに実行させるためのプログラムである。
　本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。
　本発明によれば、自動車の運転者の視野内の光景を同乗者によって容易に共有することのできる投写型表示装置、運転者視認画像共有方法、及び運転者視認画像共有プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤの構成を示す図である。 図１に示す表示ユニット４の構成例を示す図である。 表示ユニット４のシステム制御部４８の機能ブロックと、電子機器９の内部構成を示すブロックとを示す図である。 図１に示すＨＵＤと電子機器９の動作を説明するためのフローチャートである。 図４の動作の説明に用いる図である。 図４の動作の説明に用いる図である。 図１に示すＨＵＤと電子機器９の動作の第一の変形例を説明するためのフローチャートである。 図７の動作の説明に用いる図である。 図１に示すＨＵＤと電子機器９の動作の第二の変形例を説明するためのフローチャートである。 図９の動作の説明に用いる図である。 図９の動作の説明に用いる図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の投写型表示装置の一実施形態であるＨＵＤの構成を示す図である。このＨＵＤは、自動車に搭載されて用いられるものである。
　図１に示すＨＵＤは、自動車のダッシュボード３に内蔵された表示ユニット４と、拡散板５、反射ミラー６、及び拡大鏡７を含む投写ユニットと、自動車のフロントガラス１内面に貼り付けられたコンバイナ２と、を備える。
　拡散板５は、表示ユニット４から出射された投写用画像データに応じた光を拡散させて、この光を面光源化するためのものである。
　反射ミラー６は、拡散板５で拡散された光を拡大鏡７側に反射させる。
　拡大鏡７は、反射ミラー６で反射されてきた光に基づく画像を拡大させてコンバイナ２に投写する。
　コンバイナ２は、拡大鏡７から投写された光が投写される、自動車に存在する投写面であり、この光を反射する。自動車の運転者は、コンバイナ２によって反射された光を見ることで、運転に関する情報等を視認することが可能である。また、コンバイナ２は、拡大鏡７から投写された光を反射すると同時に、フロントガラス１の外部（外界）からの光を透過する機能を持つ。このため、運転者は、拡大鏡７から投写された光に基づく画像と共に、フロントガラス１外の外界の景色を重畳させて視認することができる。
　フロントガラス１の上方には、自動車の進行方向であるフロントガラス１の前方の景色を撮像する撮像部８が設けられている。撮像部８と表示ユニット４は有線又は無線で接続されており、撮像部８で撮像して得られた撮像画像データは表示ユニット４に出力される。撮像部８は、ＨＵＤ専用のものであってもよいし、例えば衝突防止システム等の別の目的で自動車に搭載されている撮像部であってもよい。
　自動車内には、同乗者が所持する電子機器９が存在している。電子機器９は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、操作部、及び表示部などを実装した携帯型コンピュータである。電子機器は、例えば、スマートフォン、カメラ付き携帯電話機、及びタブレット端末（携帯情報端末）等である。
　図２は、図１に示す表示ユニット４の構成例を示す図である。
　表示ユニット４は、光源ユニット４０Ａと、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、投写光学系４６と、通信部４７と、全体を統括制御するシステム制御部４８と、を備える。
　光源ユニット４０Ａは、光源制御部４０と、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化されたＲ光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化されたＧ光を反射させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化されたＢ光を反射させて光変調素子４４に出射する。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ及びＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。本実施形態では、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むＨＵＤを例にするが、光源の数は２つまたは４つ以上であってもよい。
　光源制御部４０は、Ｒ光源５１ｒ、Ｇ光源５１ｇ、及びＢ光源５１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンにしたがってＲ光源５１ｒ、Ｇ光源５１ｇ、及びＢ光源５１ｂから光を順次出射させる制御を行う。
　光変調素子４４は、ダイクロイックプリズム４３から出射された光を変調して、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。
　光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、及び液晶表示素子等を用いることができる。
　駆動部４５は、システム制御部４８から入力される投写用画像データにしたがって光変調素子４４を駆動し、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射させる。
　投写光学系４６は、光変調素子４４から出射された光を拡散板５に投写するための光学系である。光変調素子４４、投写光学系４６、拡散板５、反射ミラー６、及び拡大鏡７により、光源ユニット４０Ａから出射される光を投写用画像データにしたがって変調して、投写面としてのコンバイナ２に投写する投写部が構成される。
　通信部４７は、自動車内に存在する電子機器９と近距離無線通信を行うためのインターフェースである。このインターフェースとしては、例えばブルートゥース（登録商標）に準拠した通信インターフェースが用いられる。もちろん、他の通信インターフェースを利用してもよい。
　システム制御部４８は、光源制御部４０と駆動部４５を制御する。
　図３は、表示ユニット４のシステム制御部４８の機能ブロックと、電子機器９の内部構成を示すブロックとを示す図である。
　図３に示すように、システム制御部４８は、撮像画像データ取得部５１と、投写用画像データ生成部５２と、運転者視認画像データ生成部５３と、電子機器検出部５４と、を備える。
　撮像画像データ取得部５１は、撮像部８で撮像して得られた撮像画像データを撮像部８から取得し、投写用画像データ生成部５２と運転者視認画像データ生成部５３に出力する。
　投写用画像データ生成部５２は、撮像画像データ取得部５１により取得された撮像画像データを公知の画像解析処理により解析して、投写用画像データを生成する。投写用画像データ生成部５２は、生成した投写用画像データを駆動部４５及び運転者視認画像データ生成部５３に出力する。
　具体的には、投写用画像データ生成部５２は、撮像画像データから歩行者、電柱、街路樹、事故車両等の障害物または危険物を検出する。投写用画像データ生成部５２は、障害物または危険物を検出した場合には、検出した障害物または危険物を報知するための投写用画像データを生成する。
　撮像画像データは、フロントガラス１前方の景色に相当する。そして、光変調素子４４のどの画素を有効（光を反射又は透過させて投写光学系４６に出射させる状態）にすれば、撮像画像データ（フロントガラス１前方の景色）のどの領域に画像が投写されるかの関係は、予め決められている。このため、撮像画像データから検出した障害物または危険物の領域がわかれば、どのような投写用画像データを駆動部４５に出力すべきかも決めることができる。
　投写用画像データ生成部５２は、自動車の走行速度及び目的地へのナビゲーションを行うためのガイド情報を示す投写用画像データも生成する。
　運転者視認画像データ生成部５３は、撮像画像データ取得部５１により取得された撮像画像データに、投写用画像データ生成部５２により生成された投写用画像データを重畳した運転者視認画像データを生成し、生成した運転者視認画像データを、通信部４７を介して自動車内に存在する電子機器９に送信させる。通信部４７は、自動車内に存在する電子機器９に運転者視認画像データを送信する送信部として機能する。
　電子機器検出部５４は、自動車に存在する電子機器を検出する。例えば、電子機器検出部５４は、自動車に搭載されたナビゲーションシステム用のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機で受信された自動車の位置情報と、電子機器９に搭載されている後述するＧＰＳ受信機６６で受信された位置情報とを比較する。電子機器検出部５４は、電子機器９の位置情報を、通信部４７を介して取得する。
　電子機器検出部５４は、２つの位置情報に大きな差がなければ、通信中の電子機器９は自動車内に存在すると判定する。電子機器検出部５４は、２つの位置情報に大きな差があれば、通信中の電子機器９は自動車外にあると判定する。電子機器検出部５４は、自動車内に電子機器９が存在すると判定した場合に、通信部４７に対し、この電子機器９とのデータの送受信を許可する。これにより、自動車内に存在する電子機器９とＨＵＤとでデータの送受信が可能な状態となる。
　電子機器９は、制御部６１と、通信部６２と、フラッシュメモリやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶媒体を含む記憶部６３と、各種情報を入力するための操作部６４と、画像データに基づく画像を表示する表示部６５と、ＧＰＳ受信機６６と、を備える。
　制御部６１は、記憶部６３のＲＯＭに記憶されたプログラムを実行するプロセッサを主体に構成される。制御部６１は、通信部６２で受信された運転者視認画像データを取得し、取得した運転者視認画像データに基づく画像を表示部６５に表示させる。制御部６１は、取得部と表示制御部として機能する。
　通信部６２は、図１に示すＨＵＤを含む他の電子機器と近距離無線通信を行うための通信インターフェースである。
　記憶部６３は、通信部６２を介して受信したデータを記憶したり、電子機器９の動作に必要なデータを記憶したりする。
　操作部６４は、制御部６１に各種指示を入力するためのインターフェースであり、各種ボタンや表示部６５に搭載されたタッチパネル等により構成される。
　図４は、図１に示すＨＵＤと電子機器９の動作を説明するためのフローチャートである。図４の説明に当たり、図５、図６の表示例を参照し、具体的な処理内容も説明する。
　図５は、ＨＵＤが起動していない状態において運転者が見ている光景を示す図である。図５の例では、走行中の自動車のフロントガラス１を通して、歩行者１０１及び建造物１０２が視認されている。
　ＨＵＤが起動した状態で、同乗者は、電子機器９を所持して自動車に乗る。これにより、表示ユニット４の通信部４７と電子機器９の通信部６２との間でネゴシエーションが行われて、電子機器検出部５４により電子機器９の存在が検出される。そして、ＨＵＤの通信部４７と電子機器９の通信部６２との間でのデータの送受信が可能になる。
　ＨＵＤが起動すると、撮像画像データ取得部５１は、撮像部８で撮像された撮像画像データを取得する（ステップＳ１）。
　次に、投写用画像データ生成部５２は、撮像画像データ取得部５１で取得された撮像画像データを解析し（ステップＳ２）、解析結果に基づいて投写用画像データを生成する（ステップＳ３）。
　図５の例では、歩行者１０１が障害物または危険物であると解析され、この障害物または危険物の存在と、その存在位置を報知するための投写用画像データが生成される。また、投写用画像データ生成部５２は、自動車の走行速度及びナビゲーション情報を表示するための投写用画像データを生成する。
　次に、投写用画像データ生成部５２は、ステップＳ３で生成した投写用画像データを駆動部４５に入力する。駆動部４５は、投写用画像データ生成部５２から入力された投写用画像データにしたがって光変調素子４４を駆動し、光源ユニット４０Ａから出射される光の変調を行わせる。この変調により、投写用画像データに基づく画像がコンバイナ２に投写される（ステップＳ４）。
　ステップＳ４の処理により、図６に示すように、投写用画像データに基づく画像１１１～１１３がコンバイナ２に投写される。画像１１１は、障害物または危険物の存在を報知するための警告マークである。画像１１２は、障害物または危険物であると認識された領域を示す枠画像である。画像１１３は、自動車の走行速度とナビゲーション情報を示す画像である。運転者は、コンバイナ２に投写された画像１１１及び画像１１２と外界の景色とを重畳させて視認することで、歩行者１０１をより察知しやすくなる。
　次に、運転者視認画像データ生成部５３は、撮像画像データ取得部５１により取得された撮像画像データに、ステップＳ３で生成された投写用画像データを重畳した運転者視認画像データを生成する（ステップＳ５）。運転者視認画像データ生成部５３は、ステップＳ５で生成した運転者視認画像データを、通信部４７を介して、自動車内に存在する電子機器９に送信する（ステップＳ６）。
　電子機器９の制御部６１は、通信部６２を介して、ＨＵＤから送信されてきた運転者視認画像データを取得する（ステップＳ７）。そして、制御部６１は、取得した運転者視認画像データに基づく画像を表示部６５に表示させる（ステップＳ８）。
　これにより、図６に示すように、電子機器９の表示部６５には、撮像部８により撮像されている被写体画像に虚像（画像１１１、１１２、及び１１３）が重畳された画像が表示される。つまり、電子機器９の表示部６５には、運転者が見ている光景に相当する画像がリアルタイムで表示される。
　このように、運転者は、コンバイナ２に投写された画像１１１、１１２とフロントガラス１前方の外界の景色とを重畳させて視認することができるため、歩行者１０１等の危険状況をより察知しやすくなる。ＨＵＤの投写部は、コンバイナ２に投写された画像１１１及び画像１１２が運転者から最も視認しやすいように設計されている。このため、画像１１１及び画像１１２は、運転者以外からは視認することが難しい。しかし、図１のＨＵＤによれば、電子機器９の表示部６５によって、運転者が見ている光景を同乗者もリアルタイムに確認することができる。このため、例えば、運転者が歩行者１０１に気付いていない場合でも、同乗者が歩行者１０１に気付くことができ、同乗者が運転者に注意を促す等の対応が期待できる。
　また、図１に示すＨＵＤでは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、Ｂ光源４１ｂや光変調素子４４の故障によって、コンバイナ２に例えば画像１１１や画像１１２が表示されないことが考えられる。このような状況では、運転者は、歩行者１０１等の危険状況に気付きにくくなる。
　図１に示すＨＵＤによれば、Ｒ光源４１ｒ、Ｇ光源４１ｇ、Ｂ光源４１ｂや光変調素子４４に故障が発生していた場合でも、表示部６５には投写画像データに基づく画像が必ず表示されるため、同乗者が危険状況に気付くことができ、安全性を高めることができる。また、運転者と同乗者とで、見えている情報を共有することで、同乗者には見えているが運転者には見えていない状況を把握することができ、ＨＵＤの故障を運転者と同乗者によって気づくことができる。
　図１に示すＨＵＤは、同乗者が所持する電子機器９を利用して、運転者が見ている光景に相当する画像を同乗者に見せるシステムである。このため、専用の表示装置を自動車に設ける必要はなく、低コスト化が可能である。
　なお、運転者と情報共有するためのアプリケーションプログラムを電子機器９にインストールしておき、同乗者によって、そのアプリケーションプログラムが起動されることにより、上述したような処理が行われるようにしてもよい。この場合には、アプリケーションプログラムの起動時に、電子機器９の制御部６１が、ＨＵＤとのペアリングを実施し、電子機器９が自動車内に存在することを、ＨＵＤの電子機器検出部５４に通知してもよい。
　図７は、図１に示すＨＵＤと電子機器９の動作の第一の変形例を説明するためのフローチャートである。図７の説明に当たり、図８の表示例を参照し、具体的な処理内容も説明する。
　電子機器９の制御部６１は、表示部６５に表示された画像に対し、特定領域が指定されたか否かを判定する（ステップＳ１１）。
　同乗者は、電子機器９の表示部６５に表示された運転者視認画像データに基づく画像において、自分が行きたい目的地が表示されていた場合に、その目的地を運転者に知らせるべく、目的地付近（例えば、図８の建造物１０２）の領域を画像上で指定する。
　これにより、電子機器９の制御部６１は、運転者視認画像データに基づく画像の中から特定領域が指定されたと判定し（ステップＳ１１：ＹＥＳ）、この特定領域を示す指定情報を、通信部６２を介してＨＵＤの通信部４７に送信する（ステップＳ１２）。電子機器９の制御部６１は第一の送信部として機能する。
　指定情報は、表示部６５に表示中の運転者視認画像データにおける上記特定領域の座標を示す情報である。なお、運転者視認画像データの各画素の座標は、撮像画像データの各画素の座標と対応している。
　ＨＵＤの投写用画像データ生成部５２は、電子機器９から送信されてきて通信部４７で受信された指定情報を取得する（ステップＳ１３）。そして、投写用画像データ生成部５２は、撮像画像データを解析して生成した投写用画像データに対し、撮像画像データにおける指定情報に基づく領域を強調するためのデータを付加する（ステップＳ１４）。
　撮像画像データは、フロントガラス１前方の景色に相当する。そして、光変調素子４４のどの画素を有効（光を反射又は透過させて投写光学系４６に出射させる状態）にすれば、撮像画像データ（フロントガラス１前方の景色）のどの領域に画像が投写されるかの関係は、予め決められている。このため、指定情報があれば、この指定情報で指定される撮像画像データの領域に画像を投写するためのデータを生成することができる。
　次に、投写用画像データ生成部５２は、ステップＳ１４で生成した投写用画像データを駆動部４５に入力する。これにより、上記データが付加された投写用画像データに基づく画像がコンバイナ２に投写される（ステップＳ１５）。
　ステップＳ１５の処理によって、例えば、図８に示すように、投写用画像データに基づく画像１２１が図６の例に対して追加で投写される。画像１２１は、電子機器９の利用者によって表示部６５に表示中の画像の中から指定された特定領域に対応する領域を示す枠画像である。画像１２１は一例であり、運転者に対し、建造物１０２が指定されていることを伝えることができる画像であれば何でもよい。
　以上のように、同乗者は、電子機器９の表示部６５に表示された画像において、自分が行きたい目的地が表示されていた場合に、その目的地を指定することにより、コンバイナ２において、その目的地を強調表示させることができる。運転者は、特定領域を示す画像１２１を外界の景色と共に確認することができ、同乗者の目的地を容易に認識することができる。この構成によれば、例えば、タクシーの乗客が運転者に目的地を伝える場合に有効である。
　図９は、図１に示すＨＵＤと電子機器９の動作の第二の変形例を説明するためのフローチャートである。図９の説明に当たり、図１０、図１１の表示例を参照し、具体的な処理内容も説明する。
　操作部６４が操作されてメニュー表示指示が行われると、電子機器９の制御部６１は、例えば、図１０に示すようなメニュー１３０を表示部６５に表示させる。メニュー１３０には複数のアイコンが表示されるが、図１０の例ではトイレアイコン１３１が表示されている。
　電子機器９の制御部６１は、表示部６５に表示されたメニュー１３０に含まれるアイコンのいずれかが選択されたか否かを判定する（ステップＳ２１）。
　メニュー１３０に含まれるトイレアイコン１３１が同乗者によって選択されると、制御部６１は、コンバイナ２に投写させる画像の追加を指示する指示情報を、通信部６２を介して、ＨＵＤの通信部４７に送信する（ステップＳ２２）。なお、この指示情報は、選択されたアイコン毎に異なるものとなっており、指示情報に対応する画像データは、ＨＵＤの図示しないメモリに記憶されている。電子機器９の制御部６１は第二の送信部として機能する。
　ＨＵＤの投写用画像データ生成部５２は、通信部４７で受信された指示情報を取得する（ステップＳ２３）。そして、投写用画像データ生成部５２は、撮像画像データを解析して生成した投写用画像データに対し、取得した指示情報に基づく画像を投写するためのデータ（指示情報に対応してメモリに記憶されている画像データ）を付加する（ステップＳ２４）。
　次に、投写用画像データ生成部５２は、ステップＳ２４で生成した投写用画像データを駆動部４５に入力する。これにより、上記画像データが付加された投写用画像データに基づく画像がコンバイナ２に投写される（ステップＳ２５）。
　例えば、図１０に示すように、コンバイナ２には、図６の例に対して画像１４１（図の例ではトイレマーク）が追加で投写される。運転者は、コンバイナ２に投写された画像１４１によって、同乗者がトイレに行きたい状況であることを認識することができる。
　なお、制御部６１は、指示情報と共に、電子機器９の利用者から入力された任意のテキスト情報をＨＵＤに送信するようにしてもよい。そして、ＨＵＤの投写用画像データ生成部５２は、指示情報に対応する画像データと、この指示情報と同時に送信されてきたテキスト情報を表示するための画像データとを、撮像画像データを解析して生成した投写用画像データに対し付加する。図１０の例では、画像１４１と共に“Ａさん”というテキスト画像１４２が表示されている。これにより、誰がトイレに行きたいのかを運転者が容易に知ることができる。
　テキスト入力に対応する構成を説明する。この構成では、電子機器９の制御部６１は、図１１に示すように、文字入力ボックス１５０を表示部６５に表示させる。コンバイナ２に追加投写させたいメッセージが文字入力ボックス１５０に入力されると、制御部６１は、メッセージの追加を指示する指示情報をＨＵＤに送信する。
　投写用画像データ生成部５２は、この指示情報を取得すると、指示情報に基づく画像（メッセージ）を表示するためのデータを付加した投写用画像データを生成する。これにより、図１１に示すように、テキスト画像１６１が追加投写される。
　以上のようにすることで、自動車の走行中において、同乗者が運転者に意思表示をすることができる。例えば、３列シートの自動車で最後部の座席にいる同乗者にとっては、運転者と会話するのが難しい場合もある。このため、図１１に示す構成が有効となる。また、会話することが難しい障害を持つ人にとっても有効な構成となる。
　本実施形態のシステム制御部４８と制御部６１が行う各処理をコンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、そのプログラムをコンピュータが読取可能な一時的でない（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録される。
　このような「コンピュータ読取可能な記録媒体」は、たとえば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－ＲＯＭ）等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
　開示された投写型表示装置は、自動車に搭載される投写型表示装置であって、上記自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信部と、を備えるものである。
　開示された投写型表示装置は、上記投写用画像データ生成部は、上記表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を上記電子機器から取得し、上記撮像画像データにおける上記指定情報に基づく領域を強調するためのデータを上記投写用画像データに付加するものである。
　開示された投写型表示装置は、上記投写用画像データ生成部は、上記投写面に投写させる画像の追加を指示する指示情報を上記電子機器から取得し、上記指示情報に基づく画像を投写するためのデータを上記投写用画像データに付加するものである。
　開示された電子機器は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、上記通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得する取得部と、画像データに基づく画像を表示する表示部と、上記運転者視認画像データに基づく画像を上記表示部に表示させる表示制御部と、を備えるものである。
　開示された電子機器は、上記表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、上記通信部を介して上記投写型表示装置に送信する第一の送信部を更に備えるものである。
　開示された電子機器は、上記投写面に投写させる画像の追加を指示する指示情報を、上記通信部を介して上記投写型表示装置に送信する第二の送信部を備えるものである。
　開示された運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、を備えるものである。
　開示された運転者視認画像共有方法は、上記電子機器の表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を上記電子機器から取得するステップを更に備え、上記投写用画像データ生成ステップでは、上記撮像画像データにおける上記指定情報に基づく領域を強調するためのデータを上記投写用画像データに付加するものである。
　開示された運転者視認画像共有方法は、上記投写面に投写させる画像の追加を指示する指示情報を上記電子機器から取得するステップを更に備え、上記投写用画像データ生成ステップでは、上記指示情報に基づく画像を投写するためのデータを上記投写用画像データに付加するものである。
　開示された運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備えるものである。
　開示された運転者視認画像共有方法は、上記表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、上記通信部を介して上記投写型表示装置に送信するステップを更に備えるものである。
　開示された運転者視認画像共有方法は、操作部の操作に応じて、上記投写面に投写させる画像の追加を指示する指示情報を、上記通信部を介して上記投写型表示装置に送信するステップを更に備えるものである。
　開示された運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、をコンピュータに実行させるためのプログラムである。
　開示された運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。
　本発明は、特に車載用のＨＵＤに適用して利便性が高く、有効である。
８　撮像部
９　電子機器
４４　光変調素子
４５　駆動部
４７　通信部
５１　撮像画像データ取得部
５２　投写用画像データ生成部
５３　運転者視認画像データ生成部
６１　制御部
６２　通信部
６５　表示部

Claims (14)

  1. 　自動車に搭載される投写型表示装置であって、
    　前記自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、
    　前記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、
    　光源ユニットから出射された光を前記投写用画像データにしたがって変調して投写面に投写する投写部と、
    　前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、
    　画像データに基づく画像を表示する表示部を有しかつ前記自動車内に存在する電子機器に前記運転者視認画像データを送信する送信部と、を備える投写型表示装置。
  2. 　請求項１記載の投写型表示装置であって、
    　前記投写用画像データ生成部は、前記表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を前記電子機器から取得し、前記撮像画像データにおける前記指定情報に基づく領域を強調するためのデータを前記投写用画像データに付加する投写型表示装置。
  3. 　請求項１又は２記載の投写型表示装置であって、
    　前記投写用画像データ生成部は、前記投写面に投写させる画像の追加を指示する指示情報を前記電子機器から取得し、前記指示情報に基づく画像を投写するためのデータを前記投写用画像データに付加する投写型表示装置。
  4. 　自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写部と、前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、
    　前記通信部を介して、前記投写型表示装置から前記運転者視認画像データを取得する取得部と、
    　画像データに基づく画像を表示する表示部と、
    　前記運転者視認画像データに基づく画像を前記表示部に表示させる表示制御部と、を備える電子機器。
  5. 　請求項４記載の電子機器であって、
    　前記表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、前記通信部を介して前記投写型表示装置に送信する第一の送信部を更に備える電子機器。
  6. 　請求項５記載の電子機器であって、
    　前記投写面に投写させる画像の追加を指示する指示情報を、前記通信部を介して前記投写型表示装置に送信する第二の送信部を備える電子機器。
  7. 　自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、
    　前記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、
    　光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写ステップと、
    　前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、
    　画像データに基づく画像を表示する表示部を有しかつ前記自動車内に存在する電子機器に前記運転者視認画像データを送信する送信ステップと、を備える運転者視認画像共有方法。
  8. 　請求項７記載の運転者視認画像共有方法であって、
    　前記電子機器の表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を前記電子機器から取得するステップを更に備え、
    　前記投写用画像データ生成ステップでは、前記撮像画像データにおける前記指定情報に基づく領域を強調するためのデータを前記投写用画像データに付加する運転者視認画像共有方法。
  9. 　請求項７又は８記載の運転者視認画像共有方法であって、
    　前記投写面に投写させる画像の追加を指示する指示情報を前記電子機器から取得するステップを更に備え、
    　前記投写用画像データ生成ステップでは、前記指示情報に基づく画像を投写するためのデータを前記投写用画像データに付加する運転者視認画像共有方法。
  10. 　自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、前記光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写部と、前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、前記投写型表示装置から前記運転者視認画像データを取得するステップと、
    　前記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備える運転者視認画像共有方法。
  11. 　請求項１０記載の運転者視認画像共有方法であって、
    　前記表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、前記通信部を介して前記投写型表示装置に送信するステップを更に備える運転者視認画像共有方法。
  12. 　請求項１１記載の運転者視認画像共有方法であって、
    　操作部の操作に応じて、前記投写面に投写させる画像の追加を指示する指示情報を、前記通信部を介して前記投写型表示装置に送信するステップを更に備える運転者視認画像共有方法。
  13. 　自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、
    　前記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、
    　光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写ステップと、
    　前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、
    　画像データに基づく画像を表示する表示部を有しかつ前記自動車内に存在する電子機器に前記運転者視認画像データを送信する送信ステップと、をコンピュータに実行させるための運転者視認画像共有プログラム。
  14. 　自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、前記光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写部と、前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、前記投写型表示装置から前記運転者視認画像データを取得するステップと、
    　前記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるための運転者視認画像共有プログラム。
PCT/JP2015/081632 2014-12-22 2015-11-10 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム WO2016103938A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580070191.1A CN107107834A (zh) 2014-12-22 2015-11-10 投影型显示装置、电子设备、驾驶者视觉辨认图像共享方法以及驾驶者视觉辨认图像共享程序
JP2016566013A JPWO2016103938A1 (ja) 2014-12-22 2015-11-10 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム
US15/613,271 US20170269363A1 (en) 2014-12-22 2017-06-05 Projection-type display device, electronic device, driver viewing image sharing method, and driver viewing image sharing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-258977 2014-12-22
JP2014258977 2014-12-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/613,271 Continuation US20170269363A1 (en) 2014-12-22 2017-06-05 Projection-type display device, electronic device, driver viewing image sharing method, and driver viewing image sharing program

Publications (1)

Publication Number Publication Date
WO2016103938A1 true WO2016103938A1 (ja) 2016-06-30

Family

ID=56149972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081632 WO2016103938A1 (ja) 2014-12-22 2015-11-10 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム

Country Status (4)

Country Link
US (1) US20170269363A1 (ja)
JP (1) JPWO2016103938A1 (ja)
CN (1) CN107107834A (ja)
WO (1) WO2016103938A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
CN108528341B (zh) * 2018-05-14 2020-12-25 京东方科技集团股份有限公司 用于演示车载抬头显示装置的功能的方法
KR20220048501A (ko) * 2020-10-12 2022-04-20 현대자동차주식회사 차량의 예측 속도 안내 장치 및 안내 방법
CN113960795B (zh) * 2021-09-18 2023-03-28 福耀玻璃工业集团股份有限公司 显示车窗及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118317A (ja) * 2006-11-02 2008-05-22 Casio Comput Co Ltd 投影装置
JP2014013989A (ja) * 2012-07-04 2014-01-23 Alpine Electronics Inc 拡張現実システム
JP2014216714A (ja) * 2013-04-23 2014-11-17 本田技研工業株式会社 車両内での情報共有のための情報提供装置、携帯端末、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19940723A1 (de) * 1999-08-27 2001-03-08 Daimler Chrysler Ag Verfahren zur Anzeige eines perspektivischen Bildes und Anzeigevorrichtung für mindestens einen Insassen eines Fahrzeugs
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
JP2009020089A (ja) * 2007-06-12 2009-01-29 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP4482599B2 (ja) * 2008-10-24 2010-06-16 本田技研工業株式会社 車両の周辺監視装置
JP5316374B2 (ja) * 2009-11-04 2013-10-16 株式会社デンソーアイティーラボラトリ 認証システム及び認証方法
JP5655021B2 (ja) * 2011-03-29 2015-01-14 富士フイルム株式会社 光音響画像化方法および装置
TWI549515B (zh) * 2011-10-18 2016-09-11 揚明光學股份有限公司 車用投影系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118317A (ja) * 2006-11-02 2008-05-22 Casio Comput Co Ltd 投影装置
JP2014013989A (ja) * 2012-07-04 2014-01-23 Alpine Electronics Inc 拡張現実システム
JP2014216714A (ja) * 2013-04-23 2014-11-17 本田技研工業株式会社 車両内での情報共有のための情報提供装置、携帯端末、及びプログラム

Also Published As

Publication number Publication date
JPWO2016103938A1 (ja) 2017-09-21
US20170269363A1 (en) 2017-09-21
CN107107834A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
JP6175588B2 (ja) 投写型表示装置及び運転支援方法
JP6201064B2 (ja) 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
JP6271818B2 (ja) 投写型表示装置及び投写制御方法
CN107851423B (zh) 投影型显示装置及投影控制方法
CN107924668B (zh) 投影型显示装置
JP6271819B2 (ja) 投写型表示装置及び投写制御方法
US10412354B2 (en) Projection type display device and projection control method
CN107851424B (zh) 投影型显示装置及投影控制方法
US20160334623A1 (en) Display device, display method, and non-transitory computer readable medium storing display program
WO2020036108A1 (ja) 車両用表示システム及び車両
WO2016103938A1 (ja) 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム
JP2018165098A (ja) ヘッドアップディスプレイ装置
JP6236577B2 (ja) 投写型表示装置及び投写制御方法
WO2018168531A1 (ja) ヘッドアップディスプレイ装置
US20160070101A1 (en) Head mounted display device, control method for head mounted display device, information system, and computer program
WO2018216552A1 (ja) ヘッドアップディスプレイ装置
JP6642103B2 (ja) ヘッドアップディスプレイ装置
JP2018149894A (ja) ヘッドアップディスプレイ装置
WO2019065699A1 (ja) 端末装置
WO2020184599A1 (ja) 表示制御装置、表示システム、表示制御方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15872507

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016566013

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15872507

Country of ref document: EP

Kind code of ref document: A1