WO2017145546A1 - 投写型表示装置、投写表示方法、及び、投写表示プログラム - Google Patents

投写型表示装置、投写表示方法、及び、投写表示プログラム Download PDF

Info

Publication number
WO2017145546A1
WO2017145546A1 PCT/JP2017/000767 JP2017000767W WO2017145546A1 WO 2017145546 A1 WO2017145546 A1 WO 2017145546A1 JP 2017000767 W JP2017000767 W JP 2017000767W WO 2017145546 A1 WO2017145546 A1 WO 2017145546A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
contour
projection display
captured image
vehicle
Prior art date
Application number
PCT/JP2017/000767
Other languages
English (en)
French (fr)
Inventor
広大 藤田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201780011992.XA priority Critical patent/CN108702488B/zh
Priority to JP2018501029A priority patent/JP6446595B2/ja
Publication of WO2017145546A1 publication Critical patent/WO2017145546A1/ja
Priority to US16/048,375 priority patent/US10645308B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the present invention relates to a projection display device, a projection display method, and a projection display program.
  • windshields or combiners placed near windshields are used as screens to project light and display images.
  • a vehicle-mounted HUD Head-up Display
  • an image based on light projected from the HUD can be visually recognized by the driver as a real image on the screen or as a virtual image in front of the screen.
  • Patent Document 1 discloses a device that supports parking of an automobile using this HUD.
  • the parking assist device described in Patent Document 1 displays a captured image captured by an imaging unit installed at the rear of the automobile on the HUD when the shift lever of the automobile is moved to the “rear (reverse)” position. ing.
  • Patent Document 2 an image picked up by each of an image pickup unit that picks up the left direction of the automobile, an image pickup unit that picks up the right direction of the car, and an image pickup unit that picks up the rear of the car is displayed on the HUD. Describes a vehicle safety confirmation device that realizes safe and easy lane change.
  • Patent Document 1 when a car is parked, a captured image obtained by capturing the scenery behind the car is displayed on the HUD, so that the driver does not move the line of sight while facing the front. Parking work can be done. However, there is a case where the car is turned over at the time of parking work, and there is a possibility that forward and backward are frequently switched.
  • Patent Document 2 in the configuration in which the captured image captured by the imaging unit is displayed on the HUD in a state where the automobile is moving forward, the forward view is hindered by the captured image displayed on the HUD. Thereby, there is a possibility that an obstacle or a white line in front of the car cannot be recognized.
  • the invention is not limited to Patent Documents 1 and 2, and there are other cases in which a captured image obtained by imaging the periphery of the vehicle is displayed on the HUD in a state where the vehicle is moving forward.
  • the forward view may be hindered.
  • the present invention has been made in view of the above circumstances, and a projection display device, a projection display method, and the like that can provide useful information to the driver while sufficiently ensuring a field of view in the traveling direction during forward travel, And it aims at providing a projection display program.
  • the projection display apparatus includes a captured image data acquisition unit that acquires captured image data obtained by capturing an image of a periphery of a vehicle, and the captured image data based on the captured image data.
  • a contour image data generation unit that generates contour image data representing the contour of a captured image based on the image, and a light that is emitted from a light source is spatially modulated based on image data including the contour image data, and is obtained by the spatial modulation.
  • a projection display unit that projects the image light onto the projection surface of the vehicle.
  • the projection display method of the present invention is based on the captured image data based on the captured image data, the captured image data acquisition step of acquiring captured image data obtained by capturing an image of the periphery of the vehicle.
  • the projection display program of the present invention is based on the captured image data based on the captured image data, the captured image data acquisition step for acquiring captured image data obtained by capturing an image of the periphery of the vehicle, and the captured image data.
  • a projection display device capable of providing useful information to the driver while sufficiently ensuring a field of view in the traveling direction when traveling forward. Can do.
  • FIG. 1 is a schematic diagram showing a schematic configuration of an automobile 10 on which a HUD 100 that is an embodiment of a projection display device of the present invention is mounted. It is a schematic diagram which shows the indoor structure of the motor vehicle 10 in which HUD100 shown in FIG. 1 is mounted. It is a schematic diagram which shows the detailed structure of the control unit 4 of HUD100 shown in FIG. It is a functional block diagram of the system control part 60 shown in FIG. 3 is a flowchart for explaining the operation of the HUD 100 shown in FIG. It is a figure which shows an example of the outline image displayed on HUD100. It is a schematic diagram which shows the observation state of the outline image 110 shown in FIG. It is a figure which shows another example of the outline image displayed on HUD100.
  • FIG. 1 is a schematic diagram showing a schematic configuration of an automobile 10 on which a HUD 100 which is an embodiment of a projection display device of the present invention is mounted.
  • FIG. 2 is a schematic diagram showing an indoor configuration of the automobile 10 on which the HUD 100 shown in FIG. 1 is mounted.
  • the automobile 10 includes an imaging unit 11 attached to a trunk portion located at the rear of the automobile 10.
  • a part of the front windshield 1 of the automobile 10 is a region that is processed to reflect image light, which will be described later, and this region constitutes the projection plane 2.
  • the imaging unit 11 is for imaging the rear of the automobile 10, and is connected to the HUD 100 by wire or wirelessly.
  • the captured image data obtained by imaging with the imaging unit 11 is transferred to the HUD 100 by wired communication or wireless communication.
  • the specific position of the imaging unit 11 is not limited as long as the imaging unit 11 can capture an image of the rear such as the position near the license plate of the automobile 10 or the position near the rear window.
  • FIG. 1 illustrates only the imaging unit 11 installed at the rear of the automobile 10, but a plurality of imaging units capable of imaging the outside world around the automobile 10 (such as right front or left front). May be mounted on the automobile 10.
  • the HUD 100 is mounted on the automobile 10 and makes it possible for a driver of the automobile 10 to visually recognize a virtual image or a real image by image light projected onto the projection plane 2 that is a partial area of the front windshield 1 of the automobile 10. is there.
  • the HUD 100 can be used by being mounted on a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • a vehicle such as a train, heavy equipment, construction equipment, an aircraft, a ship, or an agricultural machine in addition to an automobile.
  • the HUD 100 is built in the dashboard 3 of the automobile 10.
  • the dashboard 3 is a member that incorporates interior parts including instruments for notifying information necessary for traveling such as a speedometer, a tachometer, a fuel meter, a water temperature meter, or a distance meter of the automobile 10.
  • the HUD 100 includes a control unit 4 that includes a light source and a light modulation element that spatially modulates light emitted from the light source based on image data, and image light that is spatially modulated by the light modulation element of the control unit 4.
  • the diffusion member 5 is a member that diffuses the image light spatially modulated by the light modulation element of the control unit 4 to form a surface light source.
  • a micro mirror array having a fine structure on the surface a diffusing mirror, a reflection holographic diffuser, or the like is used.
  • the reflection mirror 6 reflects the image light diffused by the diffusion member 5.
  • the concave mirror 7 magnifies and reflects the image light reflected by the reflecting mirror 6 and projects it onto the projection plane 2.
  • the projection surface 2 of the front windshield 1 is processed so as to reflect the image light projected from the concave mirror 7 in the direction of the driver's eyes.
  • the HUD 100 may be arranged near the ceiling of the automobile 10 and project image light onto a sun visor type combiner installed near the ceiling of the automobile 10. In this configuration, the combiner forms the projection surface.
  • An automobile driver can visually recognize information such as icons or characters for assisting driving by a virtual image based on image light projected on the projection plane 2 and reflected on the projection plane 2.
  • the projection surface 2 has a function of transmitting light from outside (outside the vehicle) of the front windshield 1. For this reason, the driver
  • FIG. 3 is a schematic diagram showing a detailed configuration of the control unit 4 of the HUD 100 shown in FIG.
  • the control unit 4 includes a light source unit 40, a light modulation element 44, a drive unit 45 that drives the light modulation element 44, and a system control unit 60 that controls the entire HUD 100.
  • the system control unit 60 is mainly composed of one or a plurality of processors (CPU: Central Processing Unit: Central Processing Unit), and stores a non-transitory recording medium ROM (Read) in which a program executed by the processor is stored. It operates by loading a program stored in a recording medium including a random memory (RAM) as a work memory and a RAM (Random Access Memory).
  • processors CPU: Central Processing Unit: Central Processing Unit
  • ROM non-transitory recording medium ROM
  • the light source unit 40 includes a light source controller 40A, an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, and a B light source that is a blue light source that emits blue light. 41b, dichroic prism 43, collimator lens 42r provided between R light source 41r and dichroic prism 43, collimator lens 42g provided between G light source 41g and dichroic prism 43, B light source 41b and dichroic prism 43, a collimator lens 42b provided between the two.
  • the R light source 41r, the G light source 41g, and the B light source 41b constitute a light source of the HUD 100.
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path.
  • the dichroic prism 43 transmits the red light collimated by the collimator lens 42 r and emits the red light to the light modulation element 44.
  • the dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having the function of guiding light to the same optical path is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the light source of the HUD 100 is not limited to three examples of the R light source 41r, the G light source 41g, and the B light source 41b, and may be configured by one, two, or four or more light sources.
  • the light source control unit 40A controls each of the R light source 41r, the G light source 41g, and the B light source 41b, and performs control to emit light from the R light source 41r, the G light source 41g, and the B light source 41b.
  • the light modulation element 44 spatially modulates the light emitted from the R light source 41r, the G light source 41g, and the B light source 41b and emitted from the dichroic prism 43 based on image data input by the system control unit 60.
  • LCOS Liquid crystal on silicon
  • DMD Digital Micromirror Device
  • MEMS Micro Electro Mechanical Systems
  • a liquid crystal display element for example, LCOS (Liquid crystal on silicon), DMD (Digital Micromirror Device), MEMS (Micro Electro Mechanical Systems) element, or a liquid crystal display element can be used.
  • the driving unit 45 drives the light modulation element 44 based on the image data input from the system control unit 60, and outputs image light (red image light, blue image light, and green image light) according to the image data.
  • image light red image light, blue image light, and green image light
  • the light is emitted from the light modulation element 44 to the diffusion member 5.
  • the projection unit composed of the diffusing member 5, the reflecting mirror 6, and the concave mirror 7 shown in FIG. 1 operates as an image based on the image light projected on the projection surface 2 as a virtual image at a position in front of the front windshield 1.
  • the optical design is made so as to be visible to a person.
  • the optical design of the projection unit may be made so that an image based on this image light is visible to the driver as a real image on the front windshield 1.
  • the system control unit 60 controls the light source control unit 40A and the drive unit 45 to emit image light based on the image data from the control unit 4 to the diffusing member 5.
  • the light source unit 40, the light modulation element 44, the drive unit 45, the diffusing member 5, the reflection mirror 6, and the concave mirror 7 convert the light emitted from the R light source 41 r, G light source 41 g, and B light source 41 b to the system control unit 60.
  • a projection display unit that performs spatial modulation based on the image data input from and projects image light obtained by the spatial modulation onto the projection plane 2 of the automobile 10 is configured.
  • FIG. 4 is a functional block diagram of the system control unit 60 shown in FIG.
  • the system control unit 60 includes a captured image data acquisition unit 61, a contour image data generation unit 62, and a display information input unit 63.
  • the captured image data acquisition unit 61, the contour image data generation unit 62, and the display information input unit 63 are configured by one or more processors executing a program stored in the ROM. This program includes a projection display program.
  • the captured image data acquisition unit 61 acquires captured image data obtained by the imaging unit 11 imaging the back of the automobile 10 by wired communication or wireless communication.
  • the contour image data generation unit 62 generates contour image data representing the contour of the captured image based on the captured image data based on the captured image data acquired by the captured image data acquisition unit 61. Specifically, the contour image data generation unit 62 performs contour extraction processing or feature point extraction processing on the captured image data to generate contour image data.
  • the contour image data is, for example, image data in which the contour portion of the captured image extracted by the contour extraction processing is a color other than black (for example, white) and the other portion is black, and is extracted by the contour extraction processing.
  • This is image data in which the outline portion is not a line but a broken line or chain line of a color other than black (for example, white) and the other portion is black, or a feature point obtained by extracting a feature point is other than black
  • image data in which the other portion is black and the other portions are black.
  • the display information input unit 63 is a second image including at least first image data including information such as navigation information, fuel remaining amount, or traveling speed, and contour image data generated by the contour image data generating unit 62. Any one of the data is input to the drive unit 45, and image light based on the input image data is projected onto the projection plane 2.
  • the display information input unit 63 determines which of the first image data and the second image data is input to the drive unit 45 based on the driving mode of the automobile 10.
  • the second image data may include information for assisting driving when the vehicle is moved backward, such as information for warning the presence of an obstacle with characters or icons in addition to the contour image data. Good.
  • the driving mode is a forward mode in which the automobile 10 advances in front of the front windshield 1 (bonnet side) as viewed from the driver, and a reverse mode in which the automobile 10 advances in the opposite direction to the front. Includes at least one mode.
  • This driving mode can be set by the driver by operating a shift lever or the like of the automobile 10.
  • the display information input unit 63 inputs the second image data to the drive unit 45 when the automobile 10 is set to the reverse mode.
  • the display information input unit 63 inputs the first image data to the drive unit 45 when the automobile 10 is set to the forward mode.
  • FIG. 5 is a flowchart for explaining the operation of the HUD 100 shown in FIG.
  • a display example of an image observed by the driver will be described with reference to FIGS. 6 and 7. Note that the process shown in FIG. 5 is repeatedly executed while the HUD 100 is powered on.
  • the display information input unit 63 detects the operation mode of the automobile 10 (step S1), and determines whether or not the operation mode is set to the reverse mode (step S2).
  • the display information input unit 63 determines that the reverse mode is set when the state where the shift lever is in the “rear” position continues for a predetermined time (for example, 2 seconds), and determines that the reverse mode is set (step In the case of S2: YES), the captured image data acquisition unit 61 acquires the captured image data captured by the imaging unit 11 (step S3).
  • step S2 when the shift lever is in the “rear” position for a predetermined time, it is determined that the reverse mode is set, for example, when the shift lever is moved from the “drive” position to the “parking” position. This is to prevent the processing in and after step S3 from being performed when the shift lever is instantaneously in the “rear” position, for example, by an operation of moving to the position.
  • the determination in step S2 may be YES when the pressing of the button corresponding to the reverse mode is detected.
  • the contour image data generation unit 62 performs contour extraction processing on the captured image data acquired in step S3 to generate contour image data (step S4).
  • the display information input unit 63 inputs the second image data including the contour image data generated by the contour image data generation unit 62 to the drive unit 45.
  • the drive unit 45 drives the light modulation element 44 based on the second image data input from the display information input unit 63, thereby projecting image light based on the second image data on the projection plane 2 (step). S5).
  • the contour image 110 is observed by the driver.
  • the contour image 110 includes a contour 110A and a contour 110B of a car parked in the parking lot, and a white line contour 110C drawn on the ground of the parking lot.
  • the light modulation element 44 is a liquid crystal display element
  • portions other than the contours 110A to 110C in the contour image 110 correspond to portions where light is blocked in the light modulation element 44, and thus this portion is transparent. Yes.
  • the light modulation element 44 is a DMD
  • portions other than the contours 110A to 110C in the contour image 110 are visually recognized as being reflected in a direction in which light is not projected onto the projection plane 2.
  • FIG. 7 is a schematic diagram showing an observation state of the contour image 110 in the room of the automobile 10.
  • a contour image 110 obtained by imaging the rear of the automobile 10 is observed as a virtual image.
  • an obstacle 120 exists in front of the projection plane 2 in the front wind yield 1. The driver can visually recognize the obstacle 120 through the transparent portion (portion other than the contour) of the contour image 110 while visually recognizing the contour image 110.
  • step S5 the display information input unit 63 determines whether or not a predetermined time has elapsed since it was determined that the automobile 10 was set to the reverse mode (step S6), and this time has elapsed. If not (step S6: NO), the process returns to step S3. When the display information input unit 63 determines that this time has elapsed (step S6: YES), the process returns to step S1, and the above-described processing is repeated.
  • the display information input unit 63 inputs the first image data to the drive unit 45 when it is determined in step S2 that the forward mode is set (step S2: NO).
  • the drive unit 45 drives the light modulation element 44 based on the first image data input from the display information input unit 63, thereby causing the projection plane 2 to project image light based on the first image data.
  • information for assisting driving when the automobile 10 moves forward such as navigation information, fuel remaining amount, or traveling speed, is projected on the projection surface 2.
  • step S7 the process returns to step S1, and the above-described process is repeated.
  • the image light based on the contour image data generated from the captured image data obtained by the imaging unit 11 is projected onto the projection plane 2. Is projected onto the screen. For this reason, the driver can check the situation of the obstacle in the traveling direction (rear) of the automobile 10 in a posture while looking at the front windshield 1 side by the contour image based on the image light. Therefore, the parking work of the automobile 10 can be performed safely and easily.
  • the contour image 110 is an image that is transparent except for the contour. For this reason, even when the contour image 110 is displayed, the field of view in front of the front windshield 1 is not obstructed, and the safety at the time of performing the turning operation of the automobile 10 can be sufficiently ensured.
  • the contour image 110 is continuously displayed until a predetermined time elapses after it is determined that the backward mode is set. For this reason, it is possible to prevent frequent switching between display and non-display of the contour image 110 even in a situation where the forward mode and the reverse mode are frequently switched, such as during parking work, and smooth parking work can be performed. Can help.
  • contour image data may be data representing the contour of the captured image extracted by the contour extraction processing in a plurality of display forms instead of a single display form.
  • the contour image data may be image data that represents the contour of the captured image in a plurality of colors, such as white contour 110C being white and automobile contours 110A and 110B being red.
  • white contour 110C being white
  • automobile contours 110A and 110B being red.
  • the contour image data represents a plurality of contours of the captured image so that the outline of the white line is represented by a set of star symbols 210C and the outline of the automobile is represented by a set of circle symbols 210A and 210B. It may be image data represented by a symbol.
  • the contour image data is an image in which the outline of a white line with many straight portions is represented by a symbol aggregate 210C, and the object 110 with a lot of curves such as an automobile is represented by lines 110A and 110B. It may be data. By setting it as such a structure, the visibility behind the motor vehicle 10 can be improved.
  • each symbol representing the contour in the contour image data is preferably black-filled data.
  • FIG. 10 is a diagram showing a modification of the functional block of the system control unit 60 of the HUD 100 shown in FIG. In FIG. 10, the same components as those in FIG.
  • the system control unit 60 shown in FIG. 10 has the same configuration as that of FIG. 4 except that an object detection unit 64 is added.
  • the object detection unit 64 detects an object by image processing from the captured image data acquired by the captured image data acquisition unit 61.
  • the object is, for example, a three-dimensional object that can be an obstacle when a car such as a person, a wall, a utility pole, or a car is running.
  • the display information input unit 63 of the system control unit 60 illustrated in FIG. 10 includes the contour image data generated by the contour image data generation unit 62 when the area of the object detected by the object detection unit 64 is less than or equal to the threshold.
  • the replacement contour image data is generated by replacing the portion corresponding to the object with the portion corresponding to the object in the captured image data acquired by the captured image data acquisition unit 61, and the replaced contour image data is driven. Input to the unit 45.
  • the display information input unit 63 inputs the contour image data generated by the contour image data generation unit 62 to the drive unit 45 when the area of the object detected by the object detection unit 64 exceeds the threshold value.
  • the captured image data captured by the imaging unit 11 includes a white line 301 indicating a parking space and an object 300 such as another automobile.
  • the display information input unit 63 displays a portion surrounded by the contour of the object 300 in the contour image data (image data indicating the contour of the white line 301 and the contour of the object 300) generated from the captured image data. After the replacement, the contour image data replaced with the image itself of the object 300 is generated, and the replaced contour image data is input to the drive unit 45.
  • FIG. 12 is a diagram showing post-replacement contour image data generated from the captured image data shown in FIG.
  • the post-replacement contour image data illustrated in FIG. 12 includes the contour 301A of the white line 301 illustrated in FIG. 11 and the object 300 illustrated in FIG.
  • FIG. 13 is a diagram illustrating captured image data captured by the imaging unit 11 in a state in which the automobile 10 further moves backward from the state in which the captured image data illustrated in FIG. 11 is obtained.
  • the captured image data shown in FIG. 13 includes a white line 301 indicating a parking space and an object 300 such as another automobile, as in FIG.
  • the captured image data shown in FIG. 13 differs from FIG. 11 in that the area of the object 300 is large, and the area of the object 300 detected by the object detection unit 64 from the captured image data shown in FIG. Yes.
  • the display information input unit 63 inputs the contour image data (image data indicating the contour of the white line 301 and the contour of the object 300) generated from the captured image data to the driving unit 45.
  • FIG. 14 is a diagram showing contour image data generated from the captured image data shown in FIG.
  • the contour image data illustrated in FIG. 14 includes the contour 301A of the white line 301 illustrated in FIG. 13 and the contour 300A of the object 300 illustrated in FIG.
  • the system control unit 60 displays the image itself instead of the contour.
  • the area that obstructs the field of view in front of the front windshield 1 is small, so that the field of view in the front can be sufficiently secured.
  • the object is displayed as an image instead of an outline, so that the visibility of the object can be improved, the presence of the object can be noticed at an early stage, and the necessary behavior is Can be prepared.
  • the object is displayed as an outline instead of an image. For this reason, it is possible to sufficiently ensure the field of view in front of the automobile 10 while allowing the driver to recognize the object.
  • the contour image data is generated from the captured image data captured by the imaging unit 11 attached to the rear portion of the automobile 10, but new imaging units are attached to the left and right side mirrors of the automobile 10, You may comprise so that the back may be imaged from the left side of the motor vehicle 10, and the back from the left side of the motor vehicle 10, respectively.
  • the system control unit 60 generates contour image data from the captured image data captured by the left and right imaging units, and projects image light based on the generated contour image data onto the projection plane 2. Thereby, the driver can recognize the left and right situations without moving the line of sight while facing forward, even while traveling. This configuration is effective when changing lanes.
  • the disclosed projection display device includes a captured image data acquisition unit that acquires captured image data obtained by capturing an image of a periphery of a vehicle, and the captured image data based on the captured image data.
  • a contour image data generation unit that generates contour image data representing the contour of a captured image based on the image, and a light that is emitted from a light source is spatially modulated based on image data including the contour image data, and is obtained by the spatial modulation.
  • a projection display unit that projects the image light onto the projection surface of the vehicle.
  • the vehicle has a forward mode in which the vehicle travels forward of the front windshield of the vehicle as viewed from the driver, and a reverse mode in which the vehicle travels behind the vehicle in a direction opposite to the front.
  • the imaging unit images the rear of the vehicle
  • the projection display unit includes image data including the contour image data in synchronization with the timing when the vehicle is set in the reverse mode. Starts projection of image light based on.
  • the projection display unit projects image light based on image data including the contour image data in a predetermined period after the vehicle is set in the reverse mode. It is.
  • the contour image data includes data representing the contour of the captured image in a plurality of display forms.
  • the contour image data includes data representing the contour of the captured image with a plurality of colors.
  • the contour image data includes data representing the contour of the captured image by a plurality of symbols.
  • the disclosed projection display apparatus further includes an object detection unit that detects an object from the captured image data, and the projection display unit is configured such that when the area of the object detected by the object detection unit is equal to or less than a threshold value, Projecting image light based on the replaced contour image data after replacing the portion corresponding to the object in the contour image data with the portion corresponding to the object in the captured image data, and the object detection unit When the area of the object detected by the above exceeds the threshold, image light is projected based on the contour image data.
  • the disclosed projection display method is based on the captured image data based on the captured image data, and a captured image data acquisition step of acquiring captured image data obtained by capturing an image of the periphery of the vehicle.
  • the vehicle has a forward mode in which the vehicle travels forward of the front windshield of the vehicle as viewed from the driver, and a reverse mode in which the vehicle travels behind the vehicle in the opposite direction to the front.
  • the imaging unit captures the rear of the vehicle, and the projection display step performs image light based on the contour image data in synchronization with a timing when the vehicle is set in the reverse mode. Projection starts.
  • the projection display step projects image light based on the contour image data in a predetermined period after the vehicle is set in the reverse mode.
  • the contour image data includes data representing the contour of the captured image in a plurality of display forms.
  • the contour image data includes data representing the contour of the captured image by a plurality of colors.
  • the contour image data includes data representing the contour of the captured image by a plurality of symbols.
  • the disclosed projection display method further includes an object detection step of detecting an object from the captured image data.
  • an object detection step of detecting an object from the captured image data.
  • the projection display step when the area of the object detected by the object detection step is equal to or less than a threshold value, Projecting image light based on the replaced contour image data after replacing the portion corresponding to the object in the contour image data with the portion corresponding to the object in the captured image data, and performing the object detection step When the area of the detected object exceeds the threshold value, image light is projected based on the contour image data.
  • the disclosed projection display program is based on the captured image data based on the captured image data acquisition step of acquiring captured image data obtained by capturing an image of the periphery of the vehicle, and the captured image data.
  • the present invention is particularly convenient and effective when mounted on a vehicle such as a bus, a truck, a construction machine, a heavy machine, or a dump truck, in which the rear side is difficult to see directly when retreating.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

前進時における進行方向の視界を十分に確保しながら、有益な情報を運転者に提供することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供する。乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得部６１と、撮像画像データに基づいて、撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成部６２と、光源（４１ｒ，４１ｇ，４１ｂ）から出射される光を、輪郭像データを含む画像データに基づいて空間変調し、空間変調して得られた画像光を乗り物のフロントウインドシールド１に投写する投写表示部と、を備える。

Description

投写型表示装置、投写表示方法、及び、投写表示プログラム
　本発明は、投写型表示装置、投写表示方法、及び、投写表示プログラムに関する。
　自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物内において、ウインドシールド、又は、ウインドシールドの付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ－ｕｐ　Ｄｉｓｐｌａｙ）が知られている。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
　このＨＵＤを利用して、自動車の駐車支援を行う装置が特許文献１に記載されている。特許文献１に記載の駐車支援装置は、自動車のシフトレバーが“リア（後退）”の位置に移動されると、自動車の後方に設置された撮像部により撮像された撮像画像をＨＵＤに表示させている。
　特許文献２には、自動車の左方向を撮像する撮像部、自動車の右方向を撮像する撮像部、及び、自動車の後方を撮像する撮像部の各々により撮像された撮像画像をＨＵＤに表示させることによって、車線変更を安全かつ容易に行うことを実現する車両安全確認装置が記載されている。
特開２０１３－２１２７２３号公報 特開２００６－２４８３７４号公報
　特許文献１のように、自動車を駐車する際に、自動車の後方の景色を撮像して得られる撮像画像がＨＵＤに表示されることによって、運転者は、前方を向いたまま視線を動かすことなく、駐車作業を行うことができる。しかし、駐車作業時には、自動車の切り返しを行う場合があり、前進と後退が頻繁に切り替えられる可能性がある。
　例えば、運転者が、ＨＵＤに表示される自動車後方の撮像画像を確認しながら、自動車を後退させている状態を考える。この状態では、ＨＵＤに表示される撮像画像によって、自動車前方にある障害物が運転者によって気付かれない可能性がある。そして、この状態から、切り返しのために、運転者が自動車を前進モードに設定して自動車を前進させると、ＨＵＤの表示はオフになる。このとき、ＨＵＤに撮像画像が表示されていた領域に障害物が存在していると、運転者はこの障害物を認知できなくなる可能性がある。
　また、特許文献２のように、自動車を前進させている状態において、撮像部により撮像された撮像画像をＨＵＤに表示させる構成では、ＨＵＤに表示される撮像画像によって前方の視界が妨げられる。これにより、自動車前方の障害物又は白線等を認知することができなくなる可能性がある。
　また、特許文献１，２に限らず、乗り物が前進している状態において、乗り物の周囲を撮像して得られる撮像画像をＨＵＤに表示させるケースは他にも想定され、このケースにおいても、乗り物前方の視界が妨げられる可能性がある。
　本発明は、上記事情に鑑みてなされたものであり、前進時における進行方向の視界を十分に確保しながら、有益な情報を運転者に提供することのできる投写型表示装置、投写表示方法、及び、投写表示プログラムを提供することを目的とする。
　本発明の投写型表示装置は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成部と、光源から出射される光を、上記輪郭像データを含む画像データに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示部と、を備えるものである。
　本発明の投写表示方法は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、光源から出射される光を、上記輪郭像データを含むデータに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示ステップと、を備えるものである。
　本発明の投写表示プログラムは、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、光源から出射される光を、上記輪郭像データを含むデータに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示ステップと、をコンピュータに実行させるためのプログラムである。
　本発明によれば、前進時における進行方向の視界を十分に確保しながら、有益な情報を運転者に提供することのできる投写型表示装置、投写表示方法、及び、投写表示プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の概略構成を示す模式図である。 図１に示すＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。 図２に示すＨＵＤ１００の制御ユニット４の詳細構成を示す模式図である。 図３に示すシステム制御部６０の機能ブロック図である。 図２に示すＨＵＤ１００の動作を説明するためのフローチャートである。 ＨＵＤ１００に表示される輪郭画像の一例を示す図である。 自動車１０の室内における図６に示した輪郭画像１１０の観察状態を示す模式図である。 ＨＵＤ１００に表示される輪郭画像の別の例を示す図である。 ＨＵＤ１００に表示される輪郭画像の更に別の例を示す図である。 図４に示すＨＵＤ１００のシステム制御部６０の機能ブロックの変形例を示す図である。 図１に示す自動車１０の撮像部１１により撮像された撮像画像データの一例を示す図である。 図１１に示す撮像画像データから生成された置換後輪郭像データを示す図である。 図１１に示す撮像画像データが得られた状態から自動車１０が更に後方に進んだ状態で撮像部１１により撮像された撮像画像データを示す図である。 図１３に示す撮像画像データから生成された輪郭像データを示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の概略構成を示す模式図である。図２は、図１に示すＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。
　図１に示すように、自動車１０は、自動車１０の後部に位置するトランク部分に取り付けられた撮像部１１を備える。また、自動車１０のフロントウインドシールド１の一部は、後述する画像光を反射させる加工がなされた領域となっており、この領域が投写面２を構成している。
　撮像部１１は、自動車１０の後方を撮像するためのものであり、有線又は無線によってＨＵＤ１００と接続されている。撮像部１１で撮像して得られた撮像画像データは、有線通信又は無線通信によってＨＵＤ１００に転送される。この撮像部１１は、例えば、自動車１０のナンバープレートの近傍位置又はリヤウインドウ近傍位置等、後方を撮像できるのであれば、その具体的な位置は限定されない。
　なお、図１には、自動車１０の後部に設置される撮像部１１のみが例示されているが、自動車１０の周囲（右前方又は左前方等）の外界を撮像することができる複数の撮像部が自動車１０に搭載されていてもよい。
　ＨＵＤ１００は、自動車１０に搭載され、自動車１０のフロントウインドシールド１の一部の領域である投写面２に投写される画像光により、自動車１０の運転者によって虚像又は実像を視認可能にするものである。
　ＨＵＤ１００は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
　図２の例では、ＨＵＤ１００は、自動車１０のダッシュボード３に内蔵されている。ダッシュボード３は、自動車１０のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
　ＨＵＤ１００は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む制御ユニット４と、制御ユニット４の光変調素子により空間変調された画像光をフロントウインドシールド１における投写面２に投写する投写部を構成する拡散部材５、反射ミラー６、及び、凹面鏡７と、を備える。
　拡散部材５は、制御ユニット４の光変調素子により空間変調された画像光を拡散させて面光源化する部材である。拡散部材５は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、又は、反射ホログラフィクディフューザー等が用いられる。
　反射ミラー６は、拡散部材５で拡散された画像光を反射する。
　凹面鏡７は、反射ミラー６で反射された画像光を拡大して反射し、投写面２に投写する。フロントウインドシールド１における投写面２は、凹面鏡７から投写された画像光を運転者の目の方向に反射するような加工がなされている。
　なお、ＨＵＤ１００は、自動車１０の天井付近に配置され、自動車１０の天井付近に設置されたサンバイザタイプのコンバイナに対して画像光を投写する構成であってもよい。この構成では、コンバイナが投写面を構成する。
　自動車の運転者は、投写面２に投写され、投写面２で反射された画像光に基づく虚像により、運転を支援するためのアイコン又は文字等の情報を視認することができる。また、投写面２は、フロントウインドシールド１の外部（車外）からの光を透過する機能を持つ。このため、運転者は、凹面鏡７から投写された画像光に基づく虚像と外界の景色とが重畳された像を視認することができる。
　図３は、図２に示すＨＵＤ１００の制御ユニット４の詳細構成を示す模式図である。
　制御ユニット４は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、ＨＵＤ１００全体を統括制御するシステム制御部６０と、を備える。
　システム制御部６０は、一つ又は複数のプロセッサ（CPU：Central Processing Unit：中央処理装置）を主体に構成されており、プロセッサの実行するプログラム等が記憶される非一時性の記録媒体ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び、ワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を含み、記録媒体に記憶されているプログラムをロードされることにより動作する。
　光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１００の光源を構成する。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。光を同一光路に導く機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１００の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つ、２つ、または４つ以上の光源によって構成されていてもよい。
　光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。
　光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部６０により入力される画像データに基づいて空間変調する。
　光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。
　駆動部４５は、システム制御部６０から入力される画像データに基づいて光変調素子４４を駆動し、画像データに応じた画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から拡散部材５に出射させる。
　図１に示した拡散部材５、反射ミラー６、及び、凹面鏡７から構成される投写部は、投写面２に投写された画像光に基づく画像が、フロントウインドシールド１前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、フロントウインドシールド１において実像として運転者に視認可能となるように投写部の光学設計がなされていてもよい。
　システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、画像データに基づく画像光を制御ユニット４から拡散部材５に出射させる。
　光源ユニット４０、光変調素子４４、駆動部４５、拡散部材５、反射ミラー６、及び、凹面鏡７は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから出射される光を、システム制御部６０から入力された画像データに基づいて空間変調し、空間変調して得られた画像光を自動車１０の投写面２に投写する投写表示部を構成する。
　図４は、図３に示すシステム制御部６０の機能ブロック図である。
　システム制御部６０は、撮像画像データ取得部６１と、輪郭像データ生成部６２と、表示情報入力部６３と、を備える。撮像画像データ取得部６１、輪郭像データ生成部６２、及び、表示情報入力部６３は、ＲＯＭに記憶されるプログラムを１つ又は複数のプロセッサが実行することによって構成される。このプログラムは、投写表示プログラムを含む。
　撮像画像データ取得部６１は、撮像部１１が自動車１０の後方を撮像して得られた撮像画像データを有線通信又は無線通信により取得する。
　輪郭像データ生成部６２は、撮像画像データ取得部６１により取得された撮像画像データに基づいて、この撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する。具体的には、輪郭像データ生成部６２は、撮像画像データに輪郭抽出処理又は特徴点抽出処理を施して、輪郭像データを生成する。
　輪郭像データは、例えば、輪郭抽出処理によって抽出された撮像画像のうちの輪郭部分を黒色以外の色（例えば白色）とし、その他の部分を黒色にした画像データであり、輪郭抽出処理によって抽出された輪郭部分を線ではなく、黒色以外の色（例えば白色）の破線又は鎖線等とし、その他の部分を黒色にした画像データであり、又は、特徴点抽出を行って得られる特徴点を黒色以外の色（例えば白色）とし、その他の部分を黒色とした画像データ等である。
　表示情報入力部６３は、ナビゲーション情報、燃料残量、又は、走行速度等の情報を含む第一の画像データと、輪郭像データ生成部６２で生成された輪郭像データを少なくとも含む第二の画像データとのいずれか一方を駆動部４５に入力して、入力した画像データに基づく画像光を投写面２に投写させる。表示情報入力部６３は、自動車１０の運転モードに基づいて、第一の画像データと第二の画像データのどちらを駆動部４５に入力するかを決定する。
　第二の画像データは、輪郭像データに加えて、障害物の存在を文字又はアイコン等によって警告するための情報等の自動車を後退させる際の運転を支援するための情報が含まれていてもよい。
　運転モードとは、運転者から見てフロントウインドシールド１の前方（ボンネット側）に自動車１０が進行するための前進モードと、この前方の反対の方向に自動車１０が進行するための後退モードの２つのモードを少なくとも含む。この運転モードは、自動車１０のシフトレバー等を操作することで、運転者によって設定可能である。
　表示情報入力部６３は、自動車１０が後退モードに設定された場合には第二の画像データを駆動部４５に入力する。表示情報入力部６３は、自動車１０が前進モードに設定された場合には第一の画像データを駆動部４５に入力する。
　図５は、図２に示すＨＵＤ１００の動作を説明するためのフローチャートである。図５の説明にあたり、図６及び図７を参照し、運転者から観察される像の表示例も説明する。なお、図５に示す処理は、ＨＵＤ１００の電源がオンされている間、繰り返し実行される。
　まず、表示情報入力部６３は、自動車１０の運転モードを検知し（ステップＳ１）、運転モードが後退モードに設定されたか否かを判定する（ステップＳ２）。表示情報入力部６３は、シフトレバーが“リア”の位置にある状態が所定時間（例えば２秒間）継続した場合に、後退モードが設定されたと判定し、後退モードが設定されたと判定した（ステップＳ２：ＹＥＳ）場合には、撮像画像データ取得部６１が、撮像部１１により撮像された撮像画像データを取得する（ステップＳ３）。
　ここで、シフトレバーが“リア”の位置にある状態が所定時間継続した場合に後退モードが設定されたと判定しているのは、例えば、シフトレバーを“ドライブ”の位置から“パーキング”の位置まで移動させる操作等によってシフトレバーが瞬間的に“リア”の位置にある状態によりステップＳ３以降の処理が行われるのを防ぐためである。なお、ボタン操作等によって運転モードを個別に設定することのできる自動車であれば、後退モードに対応するボタンの押下を検知した時点で、ステップＳ２の判定がＹＥＳとなるようにしてもよい。
　次に、輪郭像データ生成部６２は、ステップＳ３で取得された撮像画像データに輪郭抽出処理を施し、輪郭像データを生成する（ステップＳ４）。
　次に、表示情報入力部６３は、輪郭像データ生成部６２により生成された輪郭像データを含む第二の画像データを駆動部４５に入力する。駆動部４５は、表示情報入力部６３から入力された第二の画像データに基づいて光変調素子４４を駆動することによって、第二の画像データに基づく画像光を投写面２に投写させる（ステップＳ５）。これにより、図６に示すように、輪郭画像１１０が運転者により観察される。
　図６に示すように、輪郭画像１１０には、駐車場に駐車されている自動車の輪郭１１０Ａ及び輪郭１１０Ｂと、駐車場の地面に引かれた白線の輪郭１１０Ｃとが含まれている。光変調素子４４が液晶表示素子である場合には、輪郭画像１１０における輪郭１１０Ａ～１１０Ｃ以外の部分は、光変調素子４４において光が遮断された部分に相当するため、この部分は透明になっている。光変調素子４４がＤＭＤである場合には、輪郭画像１１０における輪郭１１０Ａ～１１０Ｃ以外の部分は、光が投写面２に投写されない方向に反射されることによって、透明として視認される。
　図７は、自動車１０の室内における輪郭画像１１０の観察状態を示す模式図である。投写面２の前方には、自動車１０の後方を撮像して得られた輪郭画像１１０が虚像として観察される。図７の例では、フロントウインドイールド１における投写面２の前方に障害物１２０が存在している。運転者は、輪郭画像１１０を視認しつつ、輪郭画像１１０の透明部分（輪郭以外の部分）を通して、障害物１２０を視認することができる。
　ステップＳ５の後、表示情報入力部６３は、自動車１０が後退モードに設定されたと判定してから予め決められた時間が経過したか否かを判定し（ステップＳ６）、この時間が経過していない場合（ステップＳ６：ＮＯ）には、ステップＳ３に処理が戻る。表示情報入力部６３は、この時間が経過したと判定した場合（ステップＳ６：ＹＥＳ）には、ステップＳ１に処理を戻し、上述した処理が繰り返される。
　表示情報入力部６３は、ステップＳ２において前進モードが設定されていると判定した場合（ステップＳ２：ＮＯ）には、第一の画像データを駆動部４５に入力する。駆動部４５は、表示情報入力部６３から入力された第一の画像データに基づいて光変調素子４４を駆動することで、第一の画像データに基づく画像光を投写面２に投写させる。これにより、投写面２には、ナビゲーション情報、燃料残量、又は、走行速度等の自動車１０の前進時における運転を支援するための情報が投写される。ステップＳ７の後は、ステップＳ１に処理が戻り、上述した処理が繰り返される。
　以上のようにＨＵＤ１００によれば、自動車１０が後退モードに設定されている場合には、撮像部１１により撮像して得られる撮像画像データから生成された輪郭像データに基づく画像光が投写面２に投写される。このため、運転者は、この画像光に基づく輪郭画像によって、フロントウインドシールド１側を見たままの姿勢で、自動車１０の進行方向（後方）の障害物等の状況を確認することができる。したがって、自動車１０の駐車作業等を安全かつ容易に行うことができる。
　また、図７に例示したように、輪郭画像１１０は、輪郭以外が透明な画像である。このため、輪郭画像１１０が表示された状態においても、フロントウインドシールド１前方の視界を妨げることはなく、自動車１０の切り返し動作を行う際の安全性を十分に確保することができる。
　また、ＨＵＤ１００によれば、後退モードに設定されたと判定してから予め決められた時間が経過するまでの間は、輪郭画像１１０の表示が継続して行われる。このため、駐車作業時等のように前進モードと後退モードとを頻繁に切り替える状況であっても、輪郭画像１１０の表示と非表示が頻繁に切り替わるのを防ぐことができ、円滑な駐車作業を支援することができる。
　なお、輪郭像データは、輪郭抽出処理によって抽出された撮像画像の輪郭を単一の表示形態ではなく複数の表示形態で表すデータであってもよい。
　例えば、図６の例では、白線の輪郭１１０Ｃを白色、自動車の輪郭１１０Ａ及び１１０Ｂを赤色等といったように、輪郭像データが撮像画像の輪郭を複数色によって表す画像データであってもよい。このような構成とすることにより、白線と障害物といった複数の物の区別が容易となり、視認性を向上させることができる。
　または、図８に示すように、白線の輪郭を星記号の集合体２１０Ｃによって表し、自動車の輪郭を丸記号の集合体２１０Ａ，２１０Ｂによって表すように、輪郭像データが撮像画像の輪郭を複数の記号によって表す画像データであってもよい。このような構成とすることにより、白線と障害物といった複数の物の区別が容易となり、視認性を向上させることができる。
　或いは、輪郭像データは、図９に示すように、直線部分の多い白線の輪郭については記号の集合体２１０Ｃによって表し、自動車等の曲線の多い物体については線によって輪郭１１０Ａ，１１０Ｂを表した画像データであってもよい。このような構成とすることにより、自動車１０の後方の視認性を向上させることができる。
　なお、輪郭像データにおける輪郭を表す各記号は、黒色で塗りつぶされたデータとするのが好ましい。このようにすることにより、記号が虚像として表示された場合に、この記号によって前方の視界が妨げられるのを防ぐことができる。
　図１０は、図４に示すＨＵＤ１００のシステム制御部６０の機能ブロックの変形例を示す図である。図１０において図４と同じ構成には同一符号を付して説明を省略する。
　図１０に示すシステム制御部６０は、物体検知部６４が追加された点を除いては図４と同じ構成である。
　物体検知部６４は、撮像画像データ取得部６１で取得された撮像画像データから画像処理により物体を検知する。物体とは、例えば人物、壁、電柱、又は、自動車等の自動車の走行時に障害となり得る立体物である。
　図１０に示すシステム制御部６０の表示情報入力部６３は、物体検知部６４により検知された物体の面積が閾値以下の場合には、輪郭像データ生成部６２により生成された輪郭像データのうち、この物体に対応する部分を、撮像画像データ取得部６１により取得された撮像画像データのうちのこの物体に対応する部分に置換した置換後輪郭像データを生成し、置換後輪郭像データを駆動部４５に入力する。
　表示情報入力部６３は、物体検知部６４により検知された物体の面積が閾値を超える場合には、輪郭像データ生成部６２により生成された輪郭像データを駆動部４５に入力する。
　例えば、撮像部１１により撮像された撮像画像データが図１１に示すようなものである場合を説明する。図１１に示す撮像画像データには、駐車スペースを示す白線３０１と、別の自動車等の物体３００とが含まれる。
　図１１に示す撮像画像データから物体検知部６４により検知される物体３００の面積は閾値以下である。このため、表示情報入力部６３は、撮像画像データから生成した輪郭像データ（白線３０１の輪郭と、物体３００の輪郭を示す画像データ）のうち、物体３００の輪郭で囲まれる部分を、図１１に示す物体３００の画像そのものに置換した置換後輪郭像データを生成し、この置換後輪郭像データを駆動部４５に入力する。
　図１２は、図１１に示す撮像画像データから生成された置換後輪郭像データを示す図である。図１２に示す置換後輪郭像データには、図１１に示した白線３０１の輪郭３０１Ａと、図１１に示した物体３００とが含まれる。
　図１３は、図１１に示す撮像画像データが得られた状態から自動車１０が更に後方に進んだ状態において撮像部１１により撮像された撮像画像データを示す図である。
　図１３に示す撮像画像データには、図１１と同様に、駐車スペースを示す白線３０１と、別の自動車等の物体３００とが含まれる。図１３に示す撮像画像データは、図１１とは異なり、物体３００の面積が大きくなっており、図１３に示す撮像画像データから物体検知部６４により検知される物体３００の面積は閾値を超えている。
　この場合、表示情報入力部６３は、撮像画像データから生成した輪郭像データ（白線３０１の輪郭と、物体３００の輪郭を示す画像データ）を駆動部４５に入力する。
　図１４は、図１３に示す撮像画像データから生成された輪郭像データを示す図である。図１４に示す輪郭像データには、図１３に示した白線３０１の輪郭３０１Ａと、図１３に示した物体３００の輪郭３００Ａとが含まれる。
　このように、変形例のシステム制御部６０は、物体の面積が閾値以下である状態、つまり、障害物となる物体が遠くにある状態では、その物体は輪郭ではなく画像そのものを表示させる。物体の面積が小さい状態では、画像そのものが表示されても、フロントウインドシールド１前方の視界を遮る面積は僅かとなるため、前方の視界を十分に確保することができる。また、物体の面積が小さい状態では、この物体が輪郭ではなく画像として表示されることによって、この物体の視認性を高めることができ、物体の存在に早い段階で気付くことができ、必要な行動の準備を行うことができる。
　一方、物体の面積が閾値を超えた状態では、この物体が画像ではなく輪郭として表示されることになる。このため、物体を運転者に認識させながら、自動車１０の前方の視界を十分に確保することができる。
　以上の説明では、自動車１０の後部に取り付けられた撮像部１１により撮像された撮像画像データから輪郭像データを生成する構成としたが、自動車１０の左右のサイドミラーに新たな撮像部を取り付け、自動車１０の右側の側方から後方と、自動車１０の左側の側方から後方をそれぞれ撮像するように構成してもよい。この構成では、システム制御部６０が、左右の撮像部により撮像された撮像画像データから輪郭像データを生成し、生成した輪郭像データに基づく画像光を投写面２に投写させる。これにより、運転者は、走行中においても、前方を向いたまま視線を動かすことなく、左右の状況を認知することができる。この構成は、車線変更を行う際に有効である。
　以上説明してきたように、本明細書には以下の事項が開示されている。
　開示された投写型表示装置は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成部と、光源から出射される光を、上記輪郭像データを含む画像データに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示部と、を備えるものである。
　開示された投写型表示装置は、上記乗り物は、運転者から見て上記乗り物のフロントウインドシールドの前方に進行する前進モードと、上記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、上記撮像部は、上記乗り物の上記後方を撮像し、上記投写表示部は、上記乗り物が上記後退モードに設定されたタイミングに同期して、上記輪郭像データを含む画像データに基づく画像光の投写を開始するものである。
　開示された投写型表示装置は、上記投写表示部は、上記乗り物が上記後退モードに設定されてから予め決められた期間において、上記輪郭像データを含む画像データに基づく画像光の投写を行うものである。
　開示された投写型表示装置は、上記輪郭像データは、上記撮像画像の輪郭を複数の表示形態によって表すデータであるものを含む。
　開示された投写型表示装置は、上記輪郭像データは、上記撮像画像の輪郭を複数色によって表すデータであるものを含む。
　開示された投写型表示装置は、上記輪郭像データは、上記撮像画像の輪郭を複数の記号によって表すデータであるものを含む。
　開示された投写型表示装置は、上記撮像画像データから物体を検出する物体検出部を更に備え、上記投写表示部は、上記物体検出部により検出された物体の面積が閾値以下の場合には、上記輪郭像データにおけるその物体に対応する部分を、上記撮像画像データのうちのその物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、上記物体検出部により検出された物体の面積が上記閾値を超える場合には、上記輪郭像データに基づいて画像光の投写を行うものである。
　開示された投写表示方法は、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、光源から出射される光を、上記輪郭像データを含むデータに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示ステップと、を備えるものである。
　開示された投写表示方法は、上記乗り物は、運転者から見て上記乗り物のフロントウインドシールドの前方に進行する前進モードと、上記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、上記撮像部は、上記乗り物の上記後方を撮像し、上記投写表示ステップは、上記乗り物が上記後退モードに設定されたタイミングに同期して、上記輪郭像データに基づく画像光の投写を開始するものである。
　開示された投写表示方法は、上記投写表示ステップは、上記乗り物が上記後退モードに設定されてから予め決められた期間において、上記輪郭像データに基づく画像光の投写を行うものである。
　開示された投写表示方法は、上記輪郭像データは、上記撮像画像の輪郭を複数の表示形態によって表すデータであるものを含む。
　開示された投写表示方法は、上記輪郭像データは、上記撮像画像の輪郭を複数色によって表すデータであるものを含む。
　開示された投写表示方法は、上記輪郭像データは、上記撮像画像の輪郭を複数の記号によって表すデータであるものを含む。
　開示された投写表示方法は、上記撮像画像データから物体を検出する物体検出ステップを更に備え、上記投写表示ステップでは、上記物体検出ステップにより検出された物体の面積が閾値以下の場合には、上記輪郭像データにおけるその物体に対応する部分を、上記撮像画像データのうちのその物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、上記物体検出ステップにより検出された物体の面積が上記閾値を超える場合には、上記輪郭像データに基づいて画像光の投写を行うものである。
　開示された投写表示プログラムは、乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データに基づいて、上記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、光源から出射される光を、上記輪郭像データを含むデータに基づいて空間変調し、上記空間変調して得られた画像光を上記乗り物における投写面に投写する投写表示ステップと、をコンピュータに実行させるためのプログラムである。
　本発明は、特に、後退する際に後方が直視しにくいバス、トラック、建機、重機、又は、ダンプカー等の乗り物に搭載して利便性が高く、有効である。
１００　ＨＵＤ
１　フロントウインドシールド
２　投写面
３　ダッシュボード
４　制御ユニット
５　拡散部材
６　反射ミラー
７　凹面鏡
１０　自動車
１１　撮像部
４０　光源ユニット
４０Ａ　光源制御部
４１ｒ　Ｒ光源
４１ｇ　Ｇ光源
４１ｂ　Ｂ光源
４２ｒ、４２ｇ、４２ｂ　コリメータレンズ
４３　ダイクロイックプリズム
４４　光変調素子
４５　駆動部
６０　システム制御部
６１　撮像画像データ取得部
６２　輪郭像データ生成部
６３　表示情報入力部
６４　物体検知部
１１０，２１０　輪郭画像
１１０Ａ，１１０Ｂ　自動車の輪郭
１１０Ｃ　白線の輪郭
１２０　障害物
２１０Ａ，２１０Ｂ　自動車の輪郭を示す丸記号の集合体
２１０Ｃ　白線を示す星記号の集合体
３００　物体
３０１　白線
３００Ａ　物体の輪郭
３０１Ａ　白線の輪郭

Claims (15)

  1. 　乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得部と、
    　前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成部と、
    　光源から出射される光を、前記輪郭像データを含む画像データに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示部と、を備える投写型表示装置。
  2. 　請求項１記載の投写型表示装置であって、
    　前記乗り物は、運転者から見て前記乗り物のフロントウインドシールドの前方に進行する前進モードと、前記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、
    　前記撮像部は、前記乗り物の前記後方を撮像し、
    　前記投写表示部は、前記乗り物が前記後退モードに設定されたタイミングに同期して、前記輪郭像データを含む画像データに基づく画像光の投写を開始する投写型表示装置。
  3. 　請求項２記載の投写型表示装置であって、
    　前記投写表示部は、前記乗り物が前記後退モードに設定されてから予め決められた期間において、前記輪郭像データを含む画像データに基づく画像光の投写を行う投写型表示装置。
  4. 　請求項１～３のいずれか１項記載の投写型表示装置であって、
    　前記輪郭像データは、前記撮像画像の輪郭を複数の表示形態によって表すデータである投写型表示装置。
  5. 　請求項４記載の投写型表示装置であって、
    　前記輪郭像データは、前記撮像画像の輪郭を複数色によって表すデータである投写型表示装置。
  6. 　請求項４記載の投写型表示装置であって、
    　前記輪郭像データは、前記撮像画像の輪郭を複数の記号によって表すデータである投写型表示装置。
  7. 　請求項１～３のいずれか１項記載の投写型表示装置であって、
    　前記撮像画像データから物体を検出する物体検出部を更に備え、
    　前記投写表示部は、前記物体検出部により検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出部により検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行う投写型表示装置。
  8. 　乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、
    　前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、
    　光源から出射される光を、前記輪郭像データを含むデータに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示ステップと、を備える投写表示方法。
  9. 　請求項８記載の投写表示方法であって、
    　前記乗り物は、運転者から見て前記乗り物のフロントウインドシールドの前方に進行する前進モードと、前記前方の反対方向である前記乗り物の後方に進行する後退モードとが設定可能であり、
    　前記撮像部は、前記乗り物の前記後方を撮像し、
    　前記投写表示ステップは、前記乗り物が前記後退モードに設定されたタイミングに同期して、前記輪郭像データに基づく画像光の投写を開始する投写表示方法。
  10. 　請求項９記載の投写表示方法であって、
    　前記投写表示ステップは、前記乗り物が前記後退モードに設定されてから予め決められた期間において、前記輪郭像データに基づく画像光の投写を行う投写表示方法。
  11. 　請求項８～１０のいずれか１項記載の投写表示方法であって、
    　前記輪郭像データは、前記撮像画像の輪郭を複数の表示形態によって表すデータである投写表示方法。
  12. 　請求項１１記載の投写表示方法であって、
    　前記輪郭像データは、前記撮像画像の輪郭を複数色によって表すデータである投写表示方法。
  13. 　請求項１１記載の投写表示方法であって、
    　前記輪郭像データは、前記撮像画像の輪郭を複数の記号によって表すデータである投写表示方法。
  14. 　請求項８～１０のいずれか１項記載の投写表示方法であって、
    　前記撮像画像データから物体を検出する物体検出ステップを更に備え、
    　前記投写表示ステップでは、前記物体検出ステップにより検出された物体の面積が閾値以下の場合には、前記輪郭像データにおける当該物体に対応する部分を、前記撮像画像データのうちの当該物体に対応する部分に置換した後の置換後輪郭像データに基づいて画像光の投写を行い、前記物体検出ステップにより検出された物体の面積が前記閾値を超える場合には、前記輪郭像データに基づいて画像光の投写を行う投写表示方法。
  15. 　乗り物の周囲を撮像する撮像部により撮像して得られた撮像画像データを取得する撮像画像データ取得ステップと、
    　前記撮像画像データに基づいて、前記撮像画像データに基づく撮像画像の輪郭を表す輪郭像データを生成する輪郭像データ生成ステップと、
    　光源から出射される光を、前記輪郭像データを含むデータに基づいて空間変調し、前記空間変調して得られた画像光を前記乗り物における投写面に投写する投写表示ステップと、をコンピュータに実行させるための投写表示プログラム。
PCT/JP2017/000767 2016-02-22 2017-01-12 投写型表示装置、投写表示方法、及び、投写表示プログラム WO2017145546A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780011992.XA CN108702488B (zh) 2016-02-22 2017-01-12 投影型显示装置、投影显示方法、计算机可读取存储介质
JP2018501029A JP6446595B2 (ja) 2016-02-22 2017-01-12 投写型表示装置、投写表示方法、及び、投写表示プログラム
US16/048,375 US10645308B2 (en) 2016-02-22 2018-07-30 Projection display device, projection display method, and projection display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016030907 2016-02-22
JP2016-030907 2016-02-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/048,375 Continuation US10645308B2 (en) 2016-02-22 2018-07-30 Projection display device, projection display method, and projection display program

Publications (1)

Publication Number Publication Date
WO2017145546A1 true WO2017145546A1 (ja) 2017-08-31

Family

ID=59685155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000767 WO2017145546A1 (ja) 2016-02-22 2017-01-12 投写型表示装置、投写表示方法、及び、投写表示プログラム

Country Status (4)

Country Link
US (1) US10645308B2 (ja)
JP (1) JP6446595B2 (ja)
CN (1) CN108702488B (ja)
WO (1) WO2017145546A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017064797A1 (ja) * 2015-10-15 2017-04-20 日立マクセル株式会社 情報表示装置
FR3098176B1 (fr) * 2019-07-02 2021-06-11 Psa Automobiles Sa Procédé et système de traitement d’image pour véhicule
JP7445447B2 (ja) * 2020-02-05 2024-03-07 株式会社東海理化電機製作所 表示装置及び表示システム
JP2021124597A (ja) * 2020-02-05 2021-08-30 株式会社東海理化電機製作所 表示装置及び表示システム
GB2595889A (en) * 2020-06-10 2021-12-15 Daimler Ag Methods and systems for displaying visual content on a motor vehicle and method for providing a motor vehicle
CN114312569B (zh) * 2021-12-06 2024-09-20 浙江吉利控股集团有限公司 一种车辆中投影操作的管理方法和装置及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006510543A (ja) * 2002-12-20 2006-03-30 ダイムラークライスラー・アクチェンゲゼルシャフト 自動車夜間視認システムの表示領域
JP2008308063A (ja) * 2007-06-15 2008-12-25 Pioneer Electronic Corp ナビゲーション装置、並びに、表示制御方法及びプログラム
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両
JP2012212338A (ja) * 2011-03-31 2012-11-01 Honda Motor Co Ltd 画像処理判定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
IL136652A0 (en) * 2000-06-08 2001-06-14 Arlinsky David A closed-loop control system in a car
JP2006248374A (ja) 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
US7937667B2 (en) * 2006-09-27 2011-05-03 Donnelly Corporation Multimedia mirror assembly for vehicle
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
DE102009028498A1 (de) * 2009-08-13 2011-02-17 Daimler Ag Projektionsanzeigevorrichtung für Fahrzeuge
KR101098640B1 (ko) * 2009-12-30 2011-12-23 이명수 휴대용 방향지시등
JP2013156324A (ja) * 2012-01-27 2013-08-15 Seiko Epson Corp プロジェクター、および、プロジェクターによる画像投射方法
JP5914114B2 (ja) 2012-03-30 2016-05-11 富士通テン株式会社 駐車支援装置、及び駐車支援方法
JP6264606B2 (ja) * 2013-03-19 2018-01-24 パナソニックＩｐマネジメント株式会社 投写型表示装置
CN105222801A (zh) * 2014-06-13 2016-01-06 大陆汽车投资（上海）有限公司 导航提示方法及导航提示系统
US9360668B2 (en) * 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
CN105333883B (zh) * 2014-08-07 2018-08-14 深圳点石创新科技有限公司 一种用于抬头显示器的导航路径轨迹显示方法和装置
CN104677377A (zh) * 2015-02-10 2015-06-03 奇瑞汽车股份有限公司 车载导航方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006510543A (ja) * 2002-12-20 2006-03-30 ダイムラークライスラー・アクチェンゲゼルシャフト 自動車夜間視認システムの表示領域
JP2008308063A (ja) * 2007-06-15 2008-12-25 Pioneer Electronic Corp ナビゲーション装置、並びに、表示制御方法及びプログラム
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両
JP2012212338A (ja) * 2011-03-31 2012-11-01 Honda Motor Co Ltd 画像処理判定装置

Also Published As

Publication number Publication date
US10645308B2 (en) 2020-05-05
US20180338094A1 (en) 2018-11-22
JPWO2017145546A1 (ja) 2018-12-20
CN108702488A (zh) 2018-10-23
JP6446595B2 (ja) 2018-12-26
CN108702488B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP6175589B2 (ja) 投写型表示装置及び投写表示方法
US10629106B2 (en) Projection display device, projection display method, and projection display program
US10336192B2 (en) Projection type display device and operation assistance method
US10746988B2 (en) Projection display device, projection control method, and non-transitory computer readable medium storing projection control program
US10412354B2 (en) Projection type display device and projection control method
EP4411455A2 (en) Head-up display for vehicles and head-up display system for vehicles
US10630946B2 (en) Projection type display device, display control method of projection type display device, and program
JP6464326B2 (ja) 投写型表示装置及びその制御方法
US20180187397A1 (en) Projection type display device and projection control method
CN114466761A (zh) 平视显示器及图像显示系统
US20190322210A1 (en) Apparatus and method for notifying expected motion of vehicle
WO2013088486A1 (ja) 表示装置、表示方法及び表示プログラム
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JPWO2019130860A1 (ja) ヘッドアップディスプレイ装置、および制御プログラム
WO2019021587A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2018139433A1 (ja) 車両用表示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018501029

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17755988

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17755988

Country of ref document: EP

Kind code of ref document: A1