WO2017221945A1 - 表示装置、表示システム、移動体、および表示方法 - Google Patents

表示装置、表示システム、移動体、および表示方法 Download PDF

Info

Publication number
WO2017221945A1
WO2017221945A1 PCT/JP2017/022752 JP2017022752W WO2017221945A1 WO 2017221945 A1 WO2017221945 A1 WO 2017221945A1 JP 2017022752 W JP2017022752 W JP 2017022752W WO 2017221945 A1 WO2017221945 A1 WO 2017221945A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
projection
unit
light
Prior art date
Application number
PCT/JP2017/022752
Other languages
English (en)
French (fr)
Inventor
絵梨 内田
皆川 博幸
藤原 正樹
丈也 杉田
慶太 安田
直樹 松井
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP17815413.4A priority Critical patent/EP3474268A4/en
Priority to JP2018524118A priority patent/JP6930971B2/ja
Priority to US16/311,298 priority patent/US10917619B2/en
Publication of WO2017221945A1 publication Critical patent/WO2017221945A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/0977Reflective elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2066Reflectors in illumination beam
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0653Controlling or limiting the speed of brightness adjustment of the illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • Embodiments of the present disclosure relate to a display device, a display system, a moving object, and a display method.
  • Patent Document 1 discloses a configuration in which the display device itself is movable.
  • a display device includes an image projection unit that emits image projection light that projects an image onto a projection surface.
  • the display device includes a control unit that controls the emission direction of the image projection light emitted by the image projection unit in a time-sharing manner.
  • the control unit performs control so that the total area of one or more regions on which the image projection light is projected on the projection surface does not exceed a predetermined upper limit.
  • a display system includes a projection member that receives light and scatters the light, or receives light to emit light.
  • the display system includes an image projection unit that emits image projection light for projecting an image and forms a real image of the image on the projection target member.
  • the display system includes a control unit that controls the emission direction of the image projection light emitted by the image projection unit in a time-sharing manner. The control unit performs control so that a sum of areas of one or more regions on the projection target member onto which the image projection light is projected does not exceed a predetermined upper limit.
  • a display system includes a projection target member that reflects at least a part of light.
  • the display system includes an image projection unit that emits image projection light for projecting an image, reflects the image projection light to one or more regions of the projection target member, and displays a virtual image of the image in a user's field of view.
  • the display system includes a control unit that controls the emission direction of the image projection light emitted by the image projection unit in a time-sharing manner. The control unit performs control so that a sum of areas of one or more regions on the projection target member onto which the image projection light is projected does not exceed a predetermined upper limit.
  • a moving object includes a display system.
  • the display system includes a projection member that reflects at least part of light.
  • the display system includes an image projection unit that emits image projection light for projecting an image, reflects the image projection light to one or more regions of the projection target member, and displays a virtual image of the image in a user's field of view.
  • the display system includes a control unit that controls the emission direction of the image projection light emitted by the image projection unit in a time-sharing manner. The control unit performs control so that a sum of areas of one or more regions on the projection target member onto which the image projection light is projected does not exceed a predetermined upper limit.
  • the projection member is provided on a windshield.
  • a moving object includes a display system.
  • the display system includes a projection member that receives light and scatters the light, or receives light to emit light.
  • the display system includes an image projection unit that emits image projection light for projecting an image and forms a real image of the image on the projection target member.
  • the display system includes a control unit that controls the emission direction of the image projection light emitted by the image projection unit in a time-sharing manner. The control unit performs control so that a sum of areas of one or more regions on the projection target member onto which the image projection light is projected does not exceed a predetermined upper limit.
  • the projection member is provided on a windshield.
  • a display system is a display system provided in a mobile body, and generates control information based on at least one of mobile body information about the mobile body and environmental information about the environment of the mobile body.
  • a display control device ; and a display device that displays a support image suggesting a course of the moving body in a driver's field of view based on the control information, wherein the control information indicates a display position of the support image. Contains information to change.
  • a mobile body includes a display control device that generates control information based on at least one of mobile body information about the mobile body and environmental information about the environment of the mobile body, and based on the control information And a display system that displays a support image suggesting the course of the moving body in the driver's field of view, and the control information includes information for changing a display position of the support image.
  • a display method is a display method using a display system provided in a moving body, and is controlled based on at least one of moving body information related to the moving body and environmental information related to the environment of the moving body. Generating information, and displaying, based on the control information, a support image that suggests a course of the moving object in a driver's field of view, wherein the control information is a display position of the support image. Contains information that changes
  • a display system is a display system provided in a mobile body, and generates control information based on at least one of mobile body information about the mobile body and environmental information about the environment of the mobile body.
  • a mobile body includes a display control device that generates control information based on at least one of mobile body information about the mobile body and environmental information about the environment of the mobile body, and based on the control information
  • a display system that displays a marker image suggesting the presence of a predetermined object in the driver's field of view in the driver's field of view, and the control information indicates a display position of the marker image. Contains information to change.
  • a display method is a display method using a display system provided in a moving body, and is controlled based on at least one of moving body information related to the moving body and environmental information related to the environment of the moving body. Generating information and, based on the control information, displaying a marker image suggesting the presence of a predetermined object in the driver's field of view in the driver's field of view, the control information being And information for changing the display position of the marker image.
  • FIG. 1 It is a figure which shows the structural example of the display apparatus which concerns on embodiment. It is a figure which shows the structural example of the display apparatus further provided with an intermediate image surface part. It is a figure which shows an example of the image projection position according to the emission direction of image projection light. It is a figure which shows an example of the image projection position according to the emission direction of image projection light. It is a figure which shows the structural example of the display apparatus further provided with a drive part. It is a figure which shows the structural example of a drive part. It is a figure which shows an example of the image projection light projected from the image imaged by the intermediate image surface part. It is a figure which shows an example of how it is seen from a user.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a vehicle. It is a figure which shows a driver
  • the space in which the display device can move is not always sufficient.
  • the space in which the display device can move may be limited by other devices installed on the instrument panel of the vehicle.
  • the angle of view is relatively large, the brightness of the projected image may decrease. The visibility of low luminance images is not always sufficient.
  • the display device the display system, the moving body, and the display method according to an embodiment of the present disclosure, the convenience of the technique for displaying an image in the field of view of the subject via the optical member is improved.
  • the display system 1 includes a display device 10 and a projection member 31 having a projection surface 32.
  • the display device 10 includes an image projection unit 11 and a first control unit 15.
  • the display device 10 emits image projection light 20 indicated by a broken line, and projects an image on the projection surface 32.
  • the image projected on the projection surface 32 reaches the eyes 22 of the user of the display system 1. It can be said that the image reaching the eye 22 falls within the visual field of the user.
  • the image projection unit 11 may include an image generation unit 16 as shown in FIG. In this case, the image projection unit 11 emits the image projection light 20 from the image generation unit 16 based on the control information from the first control unit 15. The image projection unit 11 projects an image on the projection surface 32.
  • the image generation unit 16 includes an image generation surface.
  • the image generation unit 16 may generate an image on the image generation surface.
  • the image generation unit 16 may emit the image projection light 20 from the image generation surface.
  • the image generation unit 16 may include a liquid crystal device.
  • the liquid crystal device may include, for example, a transmissive liquid crystal device such as LCD (Liquid Crystal Display) and a reflective liquid crystal device such as LCOS (Liquid Crystal On Silicon).
  • the image generation surface may be a display surface of a liquid crystal device.
  • the image generation unit 16 may include a mirror device.
  • the mirror device may include a digital mirror device (DMD: Digital Mirror Device), a MEMS (Micro Electro Mechanical Systems) mirror, and the like.
  • the image generation surface may be an array surface of mirrors.
  • the image generation unit 16 may further include a member that images light emitted from the mirror device.
  • the member may include a screen and a lens array.
  • the image generation surface may be a screen or an imaging surface of a lens array.
  • the image generation unit 16 may include a lamp, an LED (Light Emission Diode), a laser, or the like as a light source.
  • the light source may be used as a backlight of a liquid crystal device.
  • the light source may be used to enter light into the mirror device.
  • the image generation unit 16 may include a self light emitting device.
  • the self-luminous device may include inorganic EL (Electro-Luminescence), organic EL, and the like.
  • the image generation surface may be a display surface of the self light emitting device.
  • the image generation unit 16 may not include a light source other than the self-light emitting device.
  • the image projection unit 11 may include an intermediate image plane unit 14, a light source unit 17, and a scanning unit 18, as shown in FIG. In this case, the image projection unit 11 controls the light source unit 17 and the scanning unit 18 based on the control information from the first control unit 15.
  • the image projection unit 11 forms an image on the imaging surface of the intermediate image plane unit 14.
  • the image projection unit 11 emits image projection light 20 from the imaging plane.
  • the image projection unit 11 projects an image on the projection surface 32.
  • the light source unit 17 may include a laser, for example.
  • the light source unit 17 emits a light beam to the intermediate image plane unit 14.
  • the scanning unit 18 scans the light beam emitted from the light source unit 17.
  • the scanning unit 18 may scan the light beam by driving the light source unit 17.
  • the scanning unit 18 may scan the light beam by optically bending the traveling direction of the light beam emitted from the light source unit 17.
  • the intermediate image plane unit 14 may include a screen that forms an image of the light beam emitted from the light source unit 17.
  • the screen may be an image plane of the intermediate image plane portion 14.
  • the intermediate image plane unit 14 may include a microlens array that forms an image of the light beam emitted from the light source unit 17.
  • the image forming surface of the microlens array may be the image forming surface of the intermediate image surface portion 14.
  • the intermediate image plane unit 14 emits image projection light 20 from an image formed on the imaging plane.
  • the image projection unit 11 may include a magnifying optical system 13 as shown in FIGS.
  • the magnifying optical system 13 reflects or refracts the image projection light 20 emitted from the image generation unit 16 or the intermediate image plane unit 14.
  • the magnifying optical system 13 projects the reflected or refracted image projection light 20 onto the projection surface 32.
  • the magnifying optical system 13 may be a reflective optical system including a convex surface or a concave mirror.
  • the magnifying optical system 13 may be a refractive optical system including a convex or concave lens.
  • the magnifying optical system 13 may be an optical system combining a mirror or a lens.
  • the mirror or lens provided in the magnifying optical system 13 may have a spherical shape at least partially.
  • the mirror or lens provided in the magnifying optical system 13 may have an aspherical shape at least partially.
  • the mirror or lens provided in the magnifying optical system 13 may have a surface shape at least partially corresponding to the shape of the projection surface 32.
  • the first control unit 15 controls the intensity and the like of the image projection light 20 emitted by the image projection unit 11 based on data relating to an image to be displayed by the display device 10.
  • Data relating to an image to be displayed by the display device 10 is also referred to as display image data.
  • the display image data may include characters or symbols, a photograph, or the like.
  • the first control unit 15 may generate display image data based on information acquired from an external device.
  • the first control unit 15 may acquire display image data from an external device.
  • the first controller 15 outputs control information for controlling, for example, the light emission intensity or color of the light source, the orientation of the liquid crystal of the liquid crystal device, or the direction of the mirror of the mirror device, to the image generator 16.
  • the first control unit 15 outputs control information for controlling, for example, the intensity of the light beam to the light source unit 17.
  • the first control unit 15 outputs, for example, control information for controlling the traveling direction of the light beam to the scanning unit 18.
  • the first control unit 15 may include a processor or a microcomputer that can execute application software.
  • the first control unit 15 may include a storage device.
  • the storage device may store various information, a program for operating each component of the display device 10, and the like.
  • the storage device may include a semiconductor memory, for example.
  • the storage device may function as a work memory for the first control unit 15.
  • the display device 10 may include a storage device as a storage unit.
  • the first control unit 15 acquires various information or display image data from an external device.
  • the first control unit 15 may include a communication device.
  • the communication device may be a communication interface such as a LAN (Local Area Network) or a CAN (Control Area Network).
  • the communication device may be able to communicate with an external device by wire or wireless.
  • the display device 10 may include a communication device as a communication unit.
  • At least a part of the functions of the first control unit 15 may be realized by a separate control device independent of the display device 10.
  • the projection position of the image on the projection surface 32 is a constant position.
  • the direction in which the image projection light 20 is emitted is also referred to as the emission direction of the image projection light 20.
  • the display device 10 may change the emission direction of the image projection light 20 from the image projection unit 11.
  • the display device 10 may move the position where the image projection light 20 is projected with respect to the projection surface 32.
  • the display device 10 may change the emission direction of the image projection light 20 indicated by a broken line from a reference direction indicated by a one-dot chain line to a clockwise direction.
  • the reference direction corresponds to the emission direction of the image projection light 20 illustrated in FIG.
  • the image projection light 20 reaches the eye 22 from below as compared with FIG. With this image projection light 20, the image appears to be projected below the projection surface 32.
  • the display device 10 changes the emission direction of the image projection light 20 indicated by a broken line from the emission direction of the image projection light 20 of FIG. 1 indicated by a dashed line to a counterclockwise direction. It's okay.
  • the image projection light 20 reaches the eye 22 from above as compared with FIG. With this image projection light 20, the image appears to be projected above the projection surface 32.
  • the first control unit 15 may output control information for changing the emission direction of the image projection light 20 to the image generation unit 16.
  • the display device 10 may further include a drive unit 12 as shown in FIG.
  • the drive unit 12 may drive the image generation unit 16.
  • the drive unit 12 can change the orientation of the image generation surface of the image generation unit 16.
  • the drive unit 12 includes a first rotation shaft 12 a parallel to the X axis and a second rotation shaft 12 b parallel to the Y axis.
  • the drive unit 12 may hold the image generation unit 16 so that the image generation surface faces the reference direction when the image generation unit 16 is not driven.
  • the reference direction is the Z-axis direction.
  • the reference direction is not limited to the Z-axis direction and may be another direction.
  • the first rotating shaft 12a and the second rotating shaft 12b may not be parallel to the X axis and the Y axis, and may be along other directions.
  • the drive unit 12 may include only one rotation axis, or may include three or more rotation axes.
  • the drive unit 12 may not only generate a rotational displacement around the rotation axis, but may also generate a displacement in another direction such as a translation direction.
  • the orientation of the image generation surface is controlled based on the rotational displacement around the first rotating shaft 12a and the second rotating shaft 12b of the drive unit 12 in the example of FIG.
  • the drive unit 12 controls the rotational displacement around each of the first rotary shaft 12a and the second rotary shaft 12b by, for example, a motor or a piezoelectric element.
  • the drive unit 12 may control the rotational displacement around the rotation axis by other drive means.
  • the first control unit 15 may output control information that causes a rotational displacement around the rotation axis to the drive unit 12.
  • the first control unit 15 can change the emission direction of the image projection light 20.
  • the drive unit 12 may control displacement in other directions such as a translation direction by a motor, a piezoelectric element, or other drive means.
  • the drive unit 12 can change the relative position between the image generation unit 16 and the magnifying optical system 13.
  • the drive unit 12 may hold the intermediate image plane part 14.
  • the drive unit 12 may drive the intermediate image plane unit 14.
  • the drive unit 12 can change the orientation of the image plane of the intermediate image plane unit 14.
  • the drive unit 12 may hold the intermediate image plane unit 14 so that the image plane faces the reference direction.
  • the driving unit 12 may further hold the light source unit 17 or the scanning unit 18.
  • the drive unit 12 may drive the light source unit 17 or the operation unit 18 together with the intermediate image plane unit 14.
  • the first control unit 15 may output control information for controlling the image forming position of the image on the image forming surface of the intermediate image surface unit 14 to the scanning unit 18.
  • the scanning unit 18 may bend the image projection light 20.
  • the scanning unit 18 may change the emission direction of the image projection light 20 to the direction of the first optical path 20a indicated by a broken line.
  • the image projection light 20 passing through the first optical path 20a forms an image on the left side of the intermediate image plane portion 14 in FIG.
  • the image projection light 20 that has passed through the first optical path 20 a is projected relatively above the projection surface 32 via the magnifying optical system 13.
  • the left side of the intermediate image plane portion 14 in FIG. 6 is the front side for the user of the display device 10.
  • the scanning unit 18 may change the emission direction of the image projection light 20 to the direction of the second optical path 20b indicated by a one-dot chain line.
  • the image projection light 20 passing through the second optical path 20b forms an image on the right side of the intermediate image plane portion 14 in FIG.
  • the image projection light 20 that has passed through the second optical path 20 b is projected relatively below the projection surface 32 via the magnifying optical system 13.
  • the right side of the intermediate image plane portion 14 in FIG. 6 is the back side for the user of the display device 10.
  • the intermediate image plane unit 14 may have a wider imaging plane so that the scanning range of the image projection light 20 of the scanning unit 18 becomes wider.
  • the drive unit 12 does not need to hold the intermediate image plane unit 14.
  • the driving unit 12 may hold the light source unit 17 and the scanning unit 18.
  • the driving unit 12 may drive the light source unit 17 and the scanning unit 18.
  • the drive unit 12 may control the image forming position of the image on the image forming surface of the intermediate image surface unit 14.
  • the display device 10 may displace a lens or a mirror included in the magnifying optical system 13.
  • the display device 10 may change the emission direction of the image projection light 20. According to such a configuration, it is possible to change the emission direction of the image projection light 20 more easily.
  • the display device 10 may displace the lens or mirror in cooperation with each other so that the optical axis of the lens or mirror included in the magnifying optical system 13 does not shift.
  • the projected member 31 may be an optical member that receives light and reflects the light.
  • An optical member that reflects light is also referred to as a reflective optical member.
  • the image projection light 20 indicated by a broken line is reflected by the projection target member 31.
  • the user can visually recognize the virtual image 21a.
  • the magnifying optical system 13 may have a positive refractive power.
  • the projection target member 31 may have a positive refractive power.
  • the “displayed image” includes an image as a real image and an image as a virtual image.
  • the description meaning to display an image as a virtual image is described as “visualize the image”, “image the virtual image on the retina of the driver, and visualize the image”, “ It can be understood in the sense of projecting image projection light that becomes a virtual image, projecting light that becomes a virtual image, and projecting a virtual image of an image.
  • the reflective optical member may reflect light having at least a part of light having a wavelength spectrum.
  • the reflective optical member may reflect at least part of the light regardless of the wavelength of the light.
  • the reflective optical member may be glass, a film, a resin, or the like.
  • the reflective optical member may be formed on a substrate including glass, film, resin, or the like.
  • the reflective optical member may be an optical member that regularly reflects light.
  • the optical member that regularly reflects light is, for example, glass or a film.
  • the reflection optical member may have a shape such that when the light from the image projection unit 11 is regularly reflected, the reflected light is collected in the user's eyes 22.
  • the reflective optical member may be an optical member that reflects light at a reflection angle different from the incident angle. Reflecting at a reflection angle different from the incident angle is also referred to as reflecting at an angle different from regular reflection. An optical member that reflects light at a reflection angle different from the incident angle is also referred to as a reflection angle control member.
  • the reflection angle control member generates a phase difference when reflecting incident light.
  • the reflection angle control member may be a hologram or a diffraction grating.
  • the intensity of the image projection light 20 reflected toward the user's eyes 22 is determined based on the reflectance of the reflective optical member.
  • the reflectance of the reflective optical member can be determined as appropriate.
  • the projection member 31 may be an optical member that receives light and scatters the light, or an optical member that receives light and emits light.
  • An optical member that scatters light is also referred to as a scattering optical member.
  • An optical member that emits light upon receiving light is also referred to as a self-luminous member.
  • the image projection light 20 indicated by a broken line is projected onto the projection surface 32.
  • the image projection light 20 forms an image on the projection surface 32. The user can visually recognize the real image 21b.
  • the scattering optical member may be a transparent member in which fine particles such as zirconia particles are dispersed.
  • the intensity of the image projection light 20 reaching the user's eyes 22 is determined based on the scattering coefficient of the scattering optical member.
  • the scattering coefficient of the scattering optical member can be determined as appropriate.
  • the self-luminous member may be, for example, a phosphor or a quantum dot.
  • the self-luminous member emits light by a reaction generated in a portion where the light is incident according to the energy of incident light.
  • the intensity of the image projection light 20 reaching the user's eyes 22 is determined based on the energy efficiency of the self-luminous member.
  • the energy efficiency of the self-luminous member can be determined as appropriate.
  • the projection member 31 is described as a reflective optical member.
  • the virtual image 21a and the real image 21b are also collectively referred to as a display image 21.
  • the image projection light 20 projected onto the projection member 31 forms an image within the user's field of view.
  • the formed image projection light 20 is recognized as a display image 21.
  • the area of the display image 21 projected onto the projection surface 32 is the image generation surface of the image generation unit 16 or the image formation surface of the intermediate image plane unit 14. It may be determined by the area of the surface, the configuration of the magnifying optical system 13, or the like. For example, when the area of the image generation surface or the imaging surface is doubled, the area of the display image 21 projected on the projection surface 32 can be doubled.
  • the area of the display image 21 projected on the projection surface 32 can be four times.
  • the area of the display image 21 projected on the projection surface 32 is also referred to as a projected area.
  • the brightness of the display image 21 is determined by the intensity of the image projection light 20.
  • the intensity of the image projection light 20 may be a value representing luminance.
  • the intensity of the image projection light 20 may be a value representing a light beam.
  • the intensity of the image projection light 20 may be a value representing illuminance.
  • the intensity of the image projection light 20 can be determined based on the luminance of the light emitted from the light source of the image projection unit 11 or the light source unit 17, the loss in the magnification optical system 13, or the like.
  • the image generation unit 16 is a liquid crystal device using a surface light source such as a lamp
  • the intensity of the image projection light 20 can be determined based on the luminance of the lamp or the like.
  • the image generation unit 16 is a mirror device that forms an image by scanning a point light source such as a laser
  • the intensity of the image projection light 20 is determined based on the luminance of the point light source and the scan time per pixel. obtain.
  • the first control unit 15 may change the emission direction of the image projection light 20 in a time division manner.
  • the first control unit 15 may project an image on each position of the projection surface 32 in a time division manner.
  • projecting an image on each position of the projection surface 32 in a time-sharing manner is a process of projecting an image from one image projection unit 11 to one position by shifting the time with respect to each position. Means to do.
  • projecting an image on each position of the projection surface 32 in a time-sharing manner means that the time for projecting an image from one image projection unit 11 to each position is divided.
  • the control unit 15 may project an image at a certain position at a certain timing, and then project the image at another position at another timing. When projecting an image at an arbitrary position at an arbitrary timing, the control unit 15 may not project an image at another position.
  • the first control unit 15 controls the image generation unit 16 or the drive unit 12 to change the emission direction of the image projection light 20.
  • the first control unit 15 controls the scanning unit 18 to form the display image 21 at each position on the imaging plane of the intermediate image plane unit 14.
  • the first control unit 15 can sequentially project the display image 21 on each position of the projection surface 32 in a time division manner within a predetermined time.
  • the predetermined time may be one period of time division.
  • the display image 21 projected within a predetermined time is collectively referred to as one frame.
  • the first control unit 15 can display one frame by projecting each display image 21 every predetermined time.
  • the time taken to display one frame is also referred to as a frame display time.
  • the number of frames displayed per second is also referred to as a frame rate.
  • the frame rate is calculated as the reciprocal of the frame display time. For example, when the frame display time is 20 milliseconds, the frame rate is 50 fps (frame per second: frame per second).
  • the first control unit 15 may display one display image 21 in one frame as shown in FIG. 8A.
  • a range where the display image 21 is projected on the projection surface 32 is also referred to as a region 24.
  • One display image 21 may include two or more sub-images 23-1 to 23-n. n is a natural number of 2 or more. Two or more sub-images 23-1 to 23-n are collectively referred to as a sub-image 23.
  • Each sub-image 23 may be an image that is at least partially different, or may be the same image.
  • the projection area of the sub-image 23 may be an area that can be projected by the image projection unit 11 at one time.
  • the area that the image projection unit 11 can project at one time may be, for example, an area projected by an image generated on the entire image generation surface of the image generation unit 16 or the entire image formation surface of the intermediate image surface unit 14.
  • the first control unit 15 may sequentially project the sub-images 23 in the area 24 in a time division manner. In this way, the first control unit 15 can display the display image 21 over the entire region 24 having an area larger than the area that the image projection unit 11 can project at one time.
  • the sub-image 23 is sequentially projected in a time division manner, for example, the sub-image 23-1 is projected at the first timing, and the sub-image 23-n is projected at the n-th timing different from the first timing. Means that.
  • the sub images 23-2 to 23-n may not be projected. Even when the sub-images 23-2 to n are projected at the second to n-th timings, the other sub-images 23 may not be projected.
  • the first control unit 15 may sequentially project the display image 21 onto two or more regions 24 on the projection surface 32 in a time division manner.
  • the first control unit 15 may display two or more display images 21 in one frame.
  • each region 24 onto which the display image 21 is projected is also referred to as a first region 24-1 to an m-th region 24-m.
  • m is a natural number of 2 or more.
  • the first control unit 15 may project the display image 21 on each of the first region 24-1, the second region 24-2, and the third region 24-3.
  • the number of regions 24 on the projection surface 32 is not limited to three as in the example of FIG. 10, and may be two or less, or four or more.
  • the regions 24 may be separated from each other on the projection surface 32 or may be adjacent to each other.
  • the display image 21 projected on each area 24 may be an image composed of two or more sub-images 23.
  • the display image 21 is projected in a time division manner, for example, that the display image 21 is projected on the first region 24-1 to the third region 24-3 at first to third timings different from each other. Means.
  • the display image 21 is projected onto the first region 24-1 at the first timing, the display image 21 does not have to be projected onto the other region 24. Even when the display image is projected onto the second region 24-2 and the third region 24-3 at the second and third timings, the display image 21 need not be projected onto the other region 24.
  • the first control unit 15 may provide the first region 24-1 to the third region 24-3 on the image plane in order to display the display image 21 as illustrated in FIG.
  • the first control unit 15 may form the display image 21 in each region 24.
  • Each region 24 on the imaging surface is provided at a position corresponding to the position of each region 24 on the projection surface 32.
  • the display image 21 When the display image 21 is projected in a time-sharing manner, the display image 21 may appear blinking to human eyes. In other words, the display image 21 may appear to flicker to human eyes.
  • the first control unit 15 may project the display image 21 in a time division manner at a frame rate that cannot be determined by the resolution of the human eye. In this way, the flickering of the display image 21 viewed from the human eye can be reduced.
  • the human eye has a resolution that can be seen as flickering when the blinking of light per second is 24 times or less.
  • the first control unit 15 may set the frame rate of the display image 21 to, for example, 30 fps or more. That is, the first control unit 15 may execute control for projecting the display image 21 onto each region 24 in a time division manner at least 30 times per second.
  • ⁇ Brightness of display image> A case where the image projection light 20 is projected in a time division manner will be described.
  • the brightness of the display image 21 projected on each region 24 on the projection surface 32 when the optical path length of the image projection light 20 to the eye 22 is equal to the spread angle of the light incident on the eye 22 will be described.
  • the luminance is determined based on a ratio between a time during which the image projection light 20 is projected and a time during which the image projection light 20 is not projected within the frame display time. For example, when the ratio of the time during which the image projection light 20 is projected and the time during which the image projection light 20 is not projected is 1: 1, the luminance of the display image 21 is compared with the case where the image projection light 20 is constantly projected within the frame display time.
  • the luminance of the display image 21 is inversely proportional to the total area of each region 24. That is, the luminance of the display image 21 decreases as the total area of the regions 24 increases.
  • the luminance of the display image 21 is lower as the ratio of the projection time of a certain display image 21 is smaller.
  • the predetermined brightness can be set according to the sensitivity of the human eye.
  • the predetermined luminance may be set according to the intensity of external light incident as the background of the display image 21.
  • the 1st control part 15 may acquire the illumination intensity of external light from an illumination intensity sensor, for example.
  • the first control unit 15 may set a predetermined luminance based on the acquired illuminance.
  • the first control unit 15 may set a predetermined luminance based on the brightness of the background. For example, the predetermined luminance may be set low in a dark external environment such as at night. For example, in a bright external environment such as in fine weather, the predetermined luminance may be set high.
  • the first control unit 15 may determine the projection time of the display image 21 based on the predetermined luminance and the intensity of the image projection light 20.
  • the first control unit 15 may determine the lower limit of the projection time of the display image 21 so that the luminance of a certain display image 21 is equal to or higher than a predetermined luminance.
  • the first control unit 15 may determine the area of each region 24 onto which the display image 21 is projected based on a predetermined luminance and the intensity of the image projection light 20. When projecting the display image 21 onto two or more regions 24, the first control unit 15 determines the upper limit of the total area of each region 24 so that the luminance of each display image 21 is equal to or higher than a predetermined luminance. Good.
  • the upper limit of the total area of the region 24 onto which the display image 21 is projected is also referred to as a projected area upper limit.
  • the area of the region 24 shown in FIG. 8A may be less than or equal to the projection area upper limit. According to such a configuration, the luminance of the display image 21 can be equal to or higher than a predetermined luminance.
  • the total area of the first region 24-1, the second region 24-2, and the third region 24-3 shown in FIG. 9 may be less than or equal to the upper limit of the projected area. According to such a configuration, the luminance of the display image 21 projected on each of the first region 24-1, the second region 24-2, and the third region 24-3 can be equal to or higher than a predetermined luminance.
  • the area of the region 24 may be less than or equal to the upper limit of the projection area.
  • the sum of the areas of the one or more regions 24 may be less than the upper limit of the projected area.
  • the luminance of each sub-image 23 can be equal to or higher than a predetermined luminance. That is, the overall luminance of the display image 21 can be equal to or higher than a predetermined luminance.
  • the image projection light 20 emitted from the image generation unit 16 or the intermediate image plane unit 14 spreads at a predetermined angle.
  • a predetermined angle at which the image projection light 20 spreads is also referred to as a divergence angle.
  • the area of the display image 21 on which the image projection light 20 is projected onto the projection surface 32 varies depending on the divergence angle of the image projection light 20 and the length of the optical path of the image projection light 20 to the projection surface 32.
  • the length of the optical path of the image projection light 20 from the image projection unit 11 to the projection surface 32 is also referred to as the projection optical path length.
  • the starting point of the optical path of the image projection light 20 may be, for example, the reflection surface of the final mirror of the magnifying optical system 13 provided in the image projection unit 11.
  • the starting point of the optical path of the image projection light 20 may be the image generation surface of the image generation unit 16 or the image formation surface of the intermediate image surface unit 14.
  • the starting point of the optical path of the image projection light 20 may be an arbitrary component
  • the area of the fourth region 24-4 is relatively small.
  • the area of the fifth region 24-5 is relatively large.
  • the first control unit 15 may control the intensity of the image projection light 20 so that the luminance of the display image 21 becomes substantially equal regardless of the projection optical path length.
  • the intensity of the image projection light 20 may be reduced.
  • the first control unit 15 may increase the intensity of the image projection light 20 when projecting the image projection light 20 on the fifth region 24-5 having a relatively large area.
  • the first control unit 15 may determine the display time of the display image 21 so that the luminance of the display image 21 becomes substantially equal regardless of the projection optical path length.
  • the first controller 15 projects the projection time for the fourth region 24-4. May be shortened.
  • the projection time for the fifth region 24-5 is used. May be lengthened. Even when the projection time for the fifth region 24-5 is extended, the upper limit of the projection area may not change.
  • the projection member 31 may have different reflectances depending on the position on the projection surface 32 so that the luminance of the display image 21 is substantially equal regardless of the projection optical path length.
  • the projection member 31 may have a relatively low reflectance in the fourth region 24-4 illustrated in FIG. 10A.
  • the projection target member 31 may have a relatively high reflectance in the fifth region 24-5 illustrated in FIG. 10B.
  • Step S1 The first control unit 15 sets the variable (k) used as a counter to 1.
  • the first control unit 15 resets the variable (S) indicating the integrated area of the region 24 onto which the display image 21 is projected to 0.
  • k is a natural number.
  • Step S2 The first control unit 15 acquires data of the display image 21 projected on the k-th area 24-k.
  • the data of the display image 21 projected onto the kth area 24-k is also referred to as kth image data.
  • the kth image data may include data indicating the display position of the image.
  • the kth image data may be acquired from the storage device of the first control unit 15 or may be acquired from an external device.
  • the first control unit 15 may store the acquired kth image data in a work memory or a storage device.
  • Step S3 The first control unit 15 adds the area (Sk) of the kth region 24-k calculated based on the kth image data to the integrated area (S).
  • the first control unit 15 may calculate the projection optical path length based on the image display position when the k-th image data includes data related to the image display position.
  • the first controller 15 may calculate the area (Sk) of the k-th region 24-k based on the projection optical path length.
  • Step S4 The first controller 15 determines whether the integrated area (S) exceeds the upper limit of the projected area. If the integrated area (S) exceeds the projected area upper limit (step S4: YES), the process proceeds to step S5. On the other hand, when the integrated area (S) does not exceed the projection area upper limit (step S4: NO), the process proceeds to step S6.
  • Step S5 The first control unit 15 deletes the kth image data from the work memory or the storage device. In this case, the display image 21 corresponding to the deleted k-th image data is not projected in the subsequent projection step.
  • Step S6 The first control unit 15 adds 1 to the variable (k) of the counter.
  • Step S7 The first controller 15 determines whether or not the kth image data exists.
  • the case where the k-th image data does not exist is, for example, a case where k> m. If k-th image data exists (step S7: YES), the process returns to step S2. On the other hand, if the kth image data does not exist (step S7: NO), the process proceeds to step S8.
  • Step S8 The first control unit 15 sequentially projects the display image 21 on each area 24 in a time division manner based on the image data stored in the work memory or the storage device. Thereafter, the process ends. In the process shown in FIG. 11, the process may proceed to step S8 after step S5.
  • the kth area 24-k may be sorted based on the area. For example, the region 24 having the largest area may be the first region 24-1, and the region 24 having the next largest area may be the second region 24-2. Conversely, the region 24 having the smallest area may be the first region 24-1, and the region 24 having the next smallest area may be the second region 24-2.
  • the k-th area 24-k may be sorted based on the priority of the projected display image 21. For example, the region 24 onto which the display image 21 to be displayed with priority by the first control unit 15 may be set as the first region 24-1.
  • the k-th area 24-k is not limited to the method described above, and may be sorted by other methods.
  • the display system 1 can be mounted on a vehicle 4.
  • vehicle 4 includes an instrument panel 41 and a front windshield 42.
  • the front windshield 42 is also simply referred to as a windshield.
  • the display device 10 is provided on the instrument panel 41.
  • the projection target member 31 is provided on the front windshield 42.
  • the display device 10 and the projection target member 31 have a configuration similar to that shown in FIG.
  • the image projection light 20 emitted from the image projection unit 11 is indicated by a broken line in FIG.
  • the image projection light 20 is projected from the image projection unit 11 onto the projection target member 31.
  • the image projection light 20 projected on the projection surface 32 of the projection member 31 forms an image within the field of view of the driver of the vehicle 4.
  • the projection target member 31 is a reflection optical member
  • the driver can visually recognize the result of image formation of the image projection light 20 as a virtual image 21a.
  • the display device 10 mounted on the vehicle 4 can project the image projection light 20 over a wide range of the front windshield 42. The driver can visually recognize the result of imaging the image projection light 20 in various directions as a virtual image 21a.
  • the installation location of the projection member 31 is not limited to the front windshield 42.
  • the projection member 31 may be provided on a combiner, a door window, a back door glass, or the like included in the vehicle 4.
  • the projection member 31 transmits light from the background of the real space on the opposite side of the projection member 31 as viewed from the driver.
  • the driver of the vehicle 4 can visually recognize the background of the real space by the light transmitted through the projection target member 31.
  • the driver of the vehicle 4 can visually recognize that the virtual image 21 a displayed by the display device 10 is superimposed on the background of the real space on the opposite side across the projection target member 31.
  • the installation location of the projection target member 31 may be a pillar, a roof, a door, or the like.
  • the installation location of the display device 10 is not limited to the instrument panel 41, and may be various locations of the vehicle 4 according to the installation location of the projection target member 31.
  • the display system 1 may display an image on the entire front windshield 42.
  • the display device 10 may be provided at the lower center of the front windshield 42. According to such a configuration, the brightness of the display image 21 can be more easily equal to or higher than the predetermined brightness when an image is displayed on either the left or right side of the front windshield 42.
  • the display system 1 may display an image of an electronic mirror that substitutes for a function such as a side mirror or a room mirror.
  • the display device 10 may be provided in the vicinity of the projection target member 31. According to such a configuration, the display system 1 can display an image of the electronic mirror with higher brightness.
  • the display device 10 may be provided, for example, near the pillar on the passenger seat side or the driver seat side. When the display device 10 is provided on the passenger seat side, the degree of freedom of installation location can be increased.
  • the reflectance of the projection target member 31 may be relatively high at least in the portion where the image of the electronic mirror is projected.
  • the scattering coefficient of the projection member 31 may be relatively high in at least a portion where the image of the electronic mirror is projected.
  • the projection member 31 is a self-luminous member, the energy efficiency of at least a portion of the projection member 31 onto which the image of the electronic mirror is projected may be relatively high.
  • a case where a device dedicated to display of an electronic mirror image is installed is compared with a case where the display system 1 according to the present embodiment has a function of displaying an image of an electronic mirror.
  • An apparatus dedicated to display of an electronic mirror image may be able to display according to the display quality required for the electronic mirror image.
  • the display quality may be, for example, the brightness or sharpness of the displayed image.
  • the display system 1 may be different in reflectance, scattering coefficient, or energy efficiency in at least a part of the projection target member 31 from other parts.
  • the reflectance, the scattering coefficient, or the energy efficiency in the portion where the electronic mirror image is displayed of the projection target member 31 may be higher than in other portions.
  • the display system 1 can perform display according to the display quality required for the electronic mirror image without using a separate device such as a device dedicated to display of the electronic mirror image.
  • the display system 1 may be configured to display an image that requires different display quality on at least a part of the projection surface 32 according to the display quality.
  • the display system 1 may be mounted on a moving body.
  • the “mobile body” in the present disclosure includes a vehicle, a ship, and an aircraft.
  • Vehicle in the present disclosure includes, but is not limited to, automobiles and industrial vehicles, and may include railway vehicles, domestic vehicles, and fixed-wing aircraft that run on the runway.
  • the automobile includes, but is not limited to, a passenger car, a truck, a bus, a two-wheeled vehicle, a trolley bus, and the like, and may include other vehicles that travel on the road.
  • Industrial vehicles include industrial vehicles for agriculture and construction. Industrial vehicles include but are not limited to forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, crane trucks, dump trucks, and road rollers. Vehicles include those that travel by human power.
  • the classification of the vehicle is not limited to the above example.
  • an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple classifications.
  • the “ship” in the present disclosure includes a marine jet, a boat, and a tanker.
  • the “aircraft” in the present disclosure includes fixed wing aircraft and rotary wing aircraft.
  • the display system 1 and the display device 10 according to the present embodiment can be mounted not only on the vehicle 4 but also on various devices.
  • the display device 10 may be mounted on an image display device such as a projector.
  • the projector may include, for example, a projection mapping projector that projects an image superimposed on an object such as a building. Projection mapping is also called video mapping.
  • the display device 10 may be mounted on a planetarium projector.
  • the display system 1 may be mounted on an image display system such as a home theater.
  • the display device 10 according to the present embodiment can emit image projection light 20 for projecting the display image 21 onto the projection surface 32 in different directions in a time division manner.
  • the display device 10 according to the present embodiment performs control so that the image projection unit 11 faces only the region 24 where the display image 21 is projected. For this reason, the display device 10 can display the display image 21 having visible luminance over a wide range on the projection surface 32.
  • the display system 1 according to the present embodiment can cause the user to recognize the display image 21 as the virtual image 21a. For this reason, the user can easily focus on both the display image 21 and the scenery on the opposite side across the projection target member 31.
  • At least one of a reflective optical member, a scattering optical member, and a self-luminous member may be provided on at least a part of the projection target member 31.
  • the display system 1 can present both the virtual image 21 a and the real image 21 b to the user's eyes 22. According to such a configuration, an appropriate display method according to the display purpose of the display image 21 can be selected.
  • At least two of the reflection optical member, the scattering optical member, and the self-light-emitting member may be provided to overlap with at least a part of the projection target member 31.
  • the vehicle 4 provided with the display system 1 according to the present embodiment will be described in detail.
  • the display system 1 includes a display device 10, a projection member 31, a display control device 5, and an information output unit 6.
  • the details of the display device 10 and the projection target member 31 are as described above.
  • the display system 1 may not include at least one of the display control device 5 and the information output unit 6.
  • the vehicle 4 includes the display system 1 and at least one of the display control device 5 and the information output unit 6.
  • the display control device 5 includes a communication unit 51, a storage unit 52, and a second control unit 53. In one of the embodiments, a part or all of the configuration and functions of the display control device 5 may be included in the display device 10. In one of the embodiments, a part of the configuration and functions of the display control device 5 may be realized as a device independent of the display device 10.
  • the communication unit 51 may include an interface capable of communicating with a device provided outside the display control device 5. As this interface, for example, a physical connector and a wireless communication device can be adopted. In one of the embodiments, the communication unit 51 is connected to a network of the vehicle 4 such as CAN.
  • the physical connector includes an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • the electrical connector is a connector conforming to IEC 60603, a connector conforming to the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal defined in EIAJ CP-1211A, and a D terminal defined in EIAJ RC-5237.
  • the optical connector includes various connectors conforming to IEC 61754.
  • the wireless communication device includes a wireless communication device that complies with each standard including Bluetooth (registered trademark) and IEEE802.11.
  • the wireless communication device includes at least one antenna.
  • the communication unit 51 may be communicably connected to the display device 10 and the information output unit 6.
  • the storage unit 52 may include a primary storage device and a secondary storage device.
  • the storage unit 52 may be configured using, for example, a semiconductor memory, a magnetic memory, and an optical memory.
  • the semiconductor memory may include volatile memory and non-volatile memory.
  • the magnetic memory may include, for example, a hard disk and a magnetic tape.
  • the optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray (registered trademark) Disc), and the like.
  • the storage unit 52 stores, for example, various information and programs necessary for the operation of the display device 10.
  • the second control unit 53 includes one or more processors.
  • the processor includes a general-purpose processor that executes a specific function by reading a specific program, and a dedicated processor specialized for a specific process.
  • the dedicated processor includes an application specific IC (ASIC; Application Specific Circuit).
  • the processor includes a programmable logic device (PLD).
  • PLD includes FPGA (Field-ProgrammablemGate Array).
  • the second control unit 53 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or more processors cooperate.
  • the second control unit 53 controls the operation of the entire display control device 5. For example, the second control unit 53 may generate display control information based on information acquired from the information output unit 6 as described later.
  • the display control information is used for operation control of the display device 10, for example.
  • the display control information may include image information such as characters and graphics to be displayed in the driver's field of view through the projection target member 31.
  • the display control information may include information indicating a display mode of information to be displayed in the driver's field of view via the projection target member 31.
  • the display mode may include, for example, a display position, a size, a shape, a color, a luminance, a shading, and the like.
  • the second control unit 53 outputs display control information to the display device 10.
  • the display device 10 displays various information in the field of view of the driver via the projection target member 31 based on the acquired display control information.
  • the second control unit 53 may control the operation of the information output unit 6. Details of the operation of the display control device 5 controlled by the second control unit 53 will be described later.
  • the information output unit 6 includes various devices provided in the vehicle 4.
  • the information output unit 6 may include one or more imaging devices.
  • the information output unit 6 includes a plurality of imaging devices.
  • the plurality of imaging devices include, but are not limited to, a front camera, a left side camera, a right side camera, a rear camera, and an in camera.
  • the front camera, the left side camera, the right side camera, and the rear camera are installed in the vehicle 4 so that the front, left side, right side, and rear external regions of the vehicle 4 can be imaged.
  • each of the front camera, the left side camera, the right side camera, and the rear camera can perform wide-angle shooting, and can capture an object around the entire vehicle 4.
  • the in-camera is installed in the vehicle 4 so as to be able to image an object in the vehicle interior.
  • the in-camera can capture the driver of the vehicle 4.
  • the in-camera may detect the spatial position of the driver's eyes based on the captured driver image.
  • the display control device 5 or the second control unit 53 may detect the spatial position of the driver's eyes based on the imaged image of the driver.
  • the front camera, left side camera, right side camera, rear camera, and in camera include a solid-state image sensor.
  • the solid-state imaging device includes a CCD image sensor (Charge-Coupled Device Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Image Sensor).
  • the front camera can be a “stereo camera” that images the front of the vehicle 4 and enables distance measurement to a front object.
  • a “stereo camera” is a plurality of cameras having parallax and cooperating with each other.
  • the stereo camera includes a plurality of cameras. In a stereo camera, it is possible to image a target existing in front of the vehicle 4 from a plurality of directions by cooperating a plurality of cameras.
  • the stereo camera may be a device in which a plurality of cameras are included in one housing.
  • the stereo camera may be a device that includes two or more cameras that are independent of each other and located apart from each other. Based on the parallax of the object included in the image captured by the stereo camera, the distance to the object can be calculated.
  • the information output unit 6 may include an interface capable of communicating with an external device provided outside the vehicle 4.
  • the external device may include, for example, a server on the Internet and a driver's mobile phone.
  • the information output unit 6 may include interfaces for inter-vehicle communication, road-vehicle communication, and vehicle-vehicle communication.
  • the information output unit 6 is an optical beacon of DSRC (Dedicated Short-Range Communication) and VICS (registered trademark) (Vehicle Information Communication and Communication System) provided in Japan.
  • a corresponding receiver may be included.
  • the information output unit 6 may include a receiver corresponding to a road traffic information providing system in another country.
  • the information output unit 6 is, for example, real-time traffic information from an external device via wire or wireless, information indicating a temporary change in the speed limit of the travel path, information on an object detected by another vehicle, Information indicating a lighting state or the like may be acquired.
  • the information output unit 6 is not limited to the above-described one, and for example, an ECU (Electronic Control Unit or Engine Control Unit), a speed sensor, an acceleration sensor, a rotation angle sensor, a steering rudder angle sensor, an engine speed sensor, an accelerator sensor, and a brake sensor
  • the information output unit 6 outputs information related to the vehicle 4 and information related to the external environment of the vehicle 4 to the display control device 5 via, for example, CAN or a dedicated line.
  • information regarding the vehicle 4 is also referred to as vehicle information or moving body information.
  • Information regarding the external environment of the vehicle 4 is also referred to as environmental information.
  • the vehicle information and the environment information can be acquired from various devices included in the information output unit 6.
  • the vehicle information includes, for example, the speed, acceleration, turning gravity, inclination, direction, turning state, steering angle, cooling water temperature, fuel remaining amount, battery remaining amount, battery voltage, engine speed, transmission gear, accelerator operation of the vehicle 4 Presence / absence of accelerator, brake operation, brake depression, parking brake activation, front / rear or four-wheel speed difference, tire pressure, damper expansion / contraction, driver's eye space, Number and seat position, seat belt mounting information, door opening / closing, window opening / closing, interior temperature, air conditioning operation presence / absence, air conditioning set temperature, air conditioning air flow rate, setting of outside air circulation, wiper operating status, driving mode, Arbitrary information regarding the vehicle 4 such as connection information with external devices, current time, average fuel consumption, instantaneous fuel consumption, lighting state of various lamps, and position information of the vehicle 4 may be included.
  • the various lamps may include, for example, a head lamp, a fog lamp, a back lamp, a position lamp, and a turn signal.
  • the environmental information includes, for example, the external environment of the vehicle 4 such as brightness around the vehicle 4, weather, atmospheric pressure, outside air temperature, map information, travel route information, route information to the destination of the vehicle 4, and a captured image of the imaging device. Any information regarding may be included.
  • the environment information may include information obtained based on the captured image, such as an object on the captured image to be described later, the operation of the object, and information indicating the state of the object.
  • the display control device 5 acquires vehicle information and environmental information from the information output unit 6. Based on at least one of the vehicle information and the environment information acquired from the information output unit 6, the display control device 5 operates the vehicle 4, the state of the vehicle 4, the state of the external environment of the vehicle 4, the surroundings of the vehicle 4, and the vehicle interior. At least one of the object, the movement of the object, and the state of the object.
  • the description “detect” can be understood as meaning “recognize” or “estimate” depending on the situation.
  • the operation and state of the vehicle 4 may include, for example, start, acceleration, deceleration, stop, right / left turn, lane change, course, parking, and the current position of the vehicle 4.
  • the operations and states of the vehicle 4 that can be detected by the display control device 5 are not limited to these.
  • the operation and state of the vehicle 4 may be detected using an arbitrary algorithm using at least one of vehicle information and environment information.
  • the state of the external environment may include the brightness of the external environment of the vehicle 4, the weather, the rainfall, the route to the destination, and the like.
  • the state of the external environment that can be detected by the display control device 5 is not limited to these.
  • any algorithm using environmental information can be employed.
  • the objects around the vehicle 4 and in the passenger compartment include, for example, a road, a lane, a white line, a gutter, a sidewalk, a pedestrian crossing, a road sign, a traffic sign, a guardrail, a traffic light, a pedestrian, another vehicle, and driving of the vehicle 4 A person may be included.
  • the objects that can be detected by the display control device 5 are not limited to these.
  • the detection of the object may be performed using an arbitrary object detection algorithm.
  • the detection of an object may be performed using pattern matching using a captured image included in environment information, feature point extraction, or the like.
  • the movement and state of the object include, for example, that another vehicle or a pedestrian approaches the vehicle 4, moves away from the vehicle 4, enters and exits the course of the vehicle 4, the distance from the vehicle 4 to the object, the travel path , The lighting state of the traffic light, the driver's posture, drowsiness, line of sight, field of view, looking away, drowsy driving, and the like.
  • the shape of the traveling road may include, for example, a crossroad, a T-shaped road, a Y-shaped road, and the number of lanes.
  • the operations and states of the object that can be detected by the display control device 5 are not limited to these.
  • the detection of the motion and state of the object may be performed using any algorithm. For example, the detection of the motion and state of the target object may be performed based on the position, size, direction, and changes of the target object on the captured image of one or more frames included in the environmental information.
  • the display control device 5 performs the operation of the vehicle 4, the state of the vehicle 4, the state of the external environment of the vehicle 4, the state of the vehicle 4 based on at least one of the vehicle information and the environment information acquired from the information output unit 6. At least one of the object in the surroundings and the passenger compartment, the movement of the object, and the state of the object is detected.
  • the information output unit 6 replaces the display control device 5 with the operation of the vehicle 4, the state of the vehicle 4, the state of the external environment of the vehicle 4, the surroundings of the vehicle 4, and the objects in the vehicle interior , At least one of the motion of the object and the state of the object may be detected.
  • the display control device 5 replaces the vehicle information and the environment information with the operation of the vehicle 4, the state of the vehicle 4, the state of the external environment of the vehicle 4, the surroundings of the vehicle 4 and the objects in the vehicle interior, Information indicating at least one of the operation and the state of the object may be acquired from the information output unit 6.
  • the display control device 5 generates display control information based on a detection result based on at least one of vehicle information and environmental information.
  • the detection result includes at least one of the operation of the vehicle 4, the state of the vehicle 4, the state of the external environment of the vehicle 4, the object around the vehicle 4 and the interior of the vehicle, the operation of the object, and the state of the object. Good.
  • the display control device 5 outputs display control information to the display device 10.
  • the display device 10 displays various information in the driver's field of view through the projection target member 31 based on the display control information acquired from the display control device 5.
  • the display device 10 displays an image indicating instrument information such as the speed of the vehicle 4 and the engine speed, a speed limit determined in the traveling path, and the like at an arbitrary position in the driver's field of view through the projection target member 31. It can be displayed.
  • this image is also referred to as a first image.
  • the first image may include, for example, an image imitating a speedometer and a numerical image indicating a speed limit.
  • the display device 10 displays a marker image suggesting the presence of a predetermined object in the driver's field of view through the projection member 31 superimposed on the object in the driver's field of view through the projection member 31.
  • the marker image is also referred to as a second image.
  • the superimposed display of an image on an object may include displaying an image superimposed on part or all of the object or around the object.
  • the superimposed display of the image on the target object may include a change in the display position of the image following the target object that can move within the field of view of the driver via the projection target member 31.
  • the position of the object in the driver's field of view through the projection member 31 can be calculated based on, for example, the position, posture, line of sight, etc. of the driver.
  • the predetermined object may include other vehicles and pedestrians, for example.
  • the display device 10 may change the display mode such as the position, size, shape, color, brightness, and shade of the marker image superimposed and displayed on the target according to the display control information.
  • the display device 10 can display a suggestion image that suggests the presence of a predetermined object outside the driver's field of view through the projection member 31 at an arbitrary position in the driver's field of view through the projection member 31. is there.
  • the suggestion image is also referred to as a third image.
  • the region outside the driver's field of view through the projection member 31 may include, for example, a region that is a shadow of the pillar when viewed from the driver, a region on the side of the vehicle 4, and the like.
  • the predetermined object may include other vehicles and pedestrians, for example.
  • the display device 10 can display a support image for driving support in the driver's field of view through the projection target member 31.
  • the support image is also referred to as a fourth image.
  • the support image is, for example, an image that displays an external area behind the vehicle 4, an image that suggests the course of the vehicle 4, an image that shows information about an object obstructed by another vehicle that is ahead, An image for prompting attention, an image for prompting attention of contact due to a difference between outer rings, and the like may be included.
  • the image displaying the external area behind the vehicle 4 may include, for example, an image from a left side camera, a right side camera, a rear camera, and an electronic indirect vision device (Electrical Device for In-direct Vision).
  • an electronic indirect vision device Electronic Device for In-direct Vision
  • the image that displays the external region behind the vehicle 4 is also referred to as an electronic mirror image.
  • the image suggesting the course of the vehicle 4 is based on, for example, at least one of position information of the vehicle 4 included in the vehicle information, route information to the destination included in the environment information, and a captured image included in the environment information.
  • An image showing the determined course may be included.
  • the image that suggests the course of the vehicle 4 may include, for example, an image that prompts a right or left turn, an image that indicates a route to the destination, and an image that indicates a lane to enter at an intersection or the like.
  • the information regarding the object obstructed by the preceding vehicle existing ahead may include, for example, an image showing the lighting state of the traffic signal hidden behind the preceding vehicle.
  • the display device 10 can display the support image superimposed on a predetermined object included in the driver's field of view through the projection target member 31.
  • the predetermined object may include, for example, a travel path and a lane.
  • the display device 10 may change the display mode such as the position, size, shape, color, brightness, and shade of the support image superimposed on the target object according to the display control information.
  • FIG. 14 shows the field of view of the driver through the projection target member 31 when the vehicle 4 is traveling on the traveling road.
  • a speedometer 101 indicating the speed of the vehicle 4 is displayed.
  • a speed limit determined on the travel path may be displayed.
  • a marker image 103 is displayed superimposed on the pedestrian 102 as shown in FIG.
  • the marker image 103 may be displayed smaller and darker as the distance between the vehicle 4 and the pedestrian 102 increases. In this way, the driver is likely to notice the pedestrian 102 that exists far away.
  • the marker image 103 may be displayed so as to become thinner from the outer periphery toward the center so that the driver can easily recognize the pedestrian 102.
  • the marker image 103 may be displayed so as to become darker from the outer periphery toward the center so that the driver is aware of the pedestrian 102.
  • the marker image 103 may be displayed in a predetermined display mode.
  • the predetermined display mode may include a display mode in which, for example, the marker image 103 is enlarged or reduced or blinks.
  • the speedometer 101 in FIG. 14 may be temporarily hidden. By temporarily hiding the speedometer 101, the driver's attention to the pedestrian 102 can be alerted.
  • the marker image 103 moves following the pedestrian 102, for example, as shown in FIG.
  • the movement of the marker image 103 makes it easy for the driver to recognize the position of the pedestrian 102 approaching the vehicle 4.
  • the marker image 103 is displayed larger and thinner. By making the marker image 103 large and thin, the driver can easily see the pedestrian 102 approaching the vehicle 4.
  • the marker image 105 displayed superimposed on the other vehicle 104 may have a different display mode such as color, shape, brightness, and shading compared to the marker image 103 displayed superimposed on the pedestrian 102. .
  • the display control device 5 when the display control device 5 detects another vehicle 104 existing in the traveling direction of the vehicle 4, the display control device 5 calculates a predicted course of the other vehicle 104.
  • the predicted course of the other vehicle 104 may be calculated using an arbitrary algorithm. For example, the predicted course of the other vehicle 104 is calculated based on the position and orientation of the other vehicle 104 with respect to the travel path on the captured image, the elliptical shape of the side surface of the steering wheel, the model of the other vehicle 104, and the like. Good. If the course of the vehicle 4 and the predicted course of the other vehicle 104 overlap, the display control device 5 determines that the other vehicle 104 can enter the course of the vehicle 4. The display control device 5 may superimpose and display the marker image 105 only on a portion of the other vehicle 104 that can enter the path of the vehicle 4 or a portion that has entered the vehicle 4.
  • the marker image 105 is not displayed.
  • the marker image 105 that has been displayed in red or yellow to warn of danger may change to blue before being hidden.
  • the driver can recognize that the danger has disappeared.
  • the speedometer 101 that has been temporarily hidden may be displayed again.
  • FIG. 19 shows the field of view of the driver through the projection target member 31 when the vehicle 4 is traveling on the traveling road.
  • a pedestrian crossing and a pedestrian 106 exist in the driver's field of view through the projection member 31.
  • a marker image 107 is displayed superimposed on the pedestrian 106.
  • the vehicle 4 travels to the front of the pedestrian crossing and, for example, when the pedestrian 106 enters behind the pillar as viewed from the driver, the pedestrian 106 is removed from the driver's view through the projection member 31.
  • the marker image 107 superimposed on the pedestrian 106 is hidden.
  • the suggestion image 108 that suggests the presence of the pedestrian 106 is displayed at the position of the marker image 107 before being hidden.
  • the position of the marker image 107 before being hidden may include the position of the marker image 107 immediately before being hidden.
  • the suggestion image 108 may be displayed so that the suggestion image 108 and the marker image 107 can be distinguished by the driver.
  • the suggestion image 108 may be displayed in a shape different from the shape of the marker image 107.
  • the suggestion image 108 may have a star shape.
  • the suggestion image 108 is hidden and superimposed on the pedestrian 106, for example, as shown in FIG.
  • the marker image 107 is displayed again.
  • the suggestion image 108 displayed in the driver's field of view through the projection target member 31 is switched to the marker image 107, for example, the display mode of the suggestion image 108 may be continuously changed to be the marker image 107. According to this configuration, the driver can grasp at a glance the identity of the object suggested by the suggestion image 108 and the object on which the marker image 107 is superimposed.
  • the marker image 107 is not displayed, for example, as shown in FIG.
  • a suggestion image 110 that suggests the presence of the pedestrian 109 is displayed.
  • the marker image 111 is displayed superimposed on the pedestrian 109.
  • one marker image 111 may be superimposed on the plurality of pedestrians 109.
  • the marker image 111 may be superimposed and displayed on each of the plurality of pedestrians 109. Only the last pedestrian 109 may display the marker image 111 in a superimposed manner. Of the plurality of pedestrians 109, the marker image 111 may be superimposed and displayed only on the foremost pedestrian 109 and the last pedestrian 109.
  • FIG. 24 shows a driver's field of view through the projection target member 31 when the vehicle 4 is waiting for a right turn at a red light intersection.
  • a support image 112 that prompts a right turn and an electronic mirror image 113 that indicates a right rear area of the vehicle 4 are displayed in response to turning on of a right turn signal.
  • the support image 112 that prompts a right turn may be, for example, an image of an arrow that bends to the right.
  • the support image 112 that prompts a right turn may be displayed so as to be superimposed on the lane to be turned right and enter.
  • a support image indicating a lane to turn right and enter may be displayed.
  • the support image indicating the lane may be displayed so as to be superimposed on the lane in the field of view of the driver through the projection target member 31, for example.
  • the support image indicating the lane may be displayed so as to float above the lane.
  • the marker image 115 is displayed so as to be superimposed on the oncoming vehicle 114 that turns left or goes straight.
  • the support image 112 for prompting a right turn in FIG. 24 may be temporarily hidden.
  • the marker image 117 is also superimposed on the new oncoming vehicle 116 that turns left or goes straight.
  • the vehicle 4 can turn right.
  • a support image 112 that prompts the user to turn right is displayed again.
  • the display mode such as color, brightness, and shading changes.
  • the support image 112 is superimposed and displayed on a lane with few preceding vehicles or a lane suitable for the route to the destination.
  • the route to the destination is a route that goes straight after turning right
  • the lane dedicated to straight ahead will reach the destination.
  • the lane is suitable for the route.
  • the route to the destination is a route that turns left after a right turn
  • the lane dedicated to the left turn is a lane suitable for the route to the destination.
  • FIG. 30 shows a driver's field of view through the projection target member 31 when the vehicle 4 makes a left turn at an intersection.
  • a support image 118 that prompts a left turn and an electronic mirror image 119 that indicates the left rear area of the vehicle 4 are displayed in response to the turn signal in the left direction.
  • the support image 118 that prompts the user to turn left may be an image of an arrow that bends leftward, for example.
  • the support image 118 that prompts the user to turn left is displayed at the center in the left-right direction in the driver's field of view through the projection target member 31.
  • the support image 118 that prompts the user to turn left moves from the center in the left-right direction in the driver's field of view through the projection target member 31 to the left.
  • the support image 118 may move so as to be visualized so as to overlap the road that is viewed from the driver.
  • a marker image 121 is displayed superimposed on the pedestrian 120, for example, as shown in FIG.
  • the support image 118 that prompts the user to turn left may be temporarily hidden.
  • the display mode such as the position, size, shape, color, brightness, and shade of the marker image 121 changes.
  • a marker image 123 is displayed superimposed on the new pedestrian 122.
  • marker images 121 and 123 are respectively displayed on the first pedestrian 120 and the last pedestrian 122. Is superimposed.
  • a suggestion image 124 suggesting the presence of the pedestrian is displayed.
  • the suggestion image 124 has a star shape.
  • the suggestion image 124 is displayed on the left side in the driver's field of view through the projection target member 31.
  • FIG. 34 shows a driver's field of view through the projection target member 31 when the vehicle 4 makes a left turn at a first intersection existing in front of the vehicle 4.
  • a support image 125 that prompts a left turn and an electronic mirror image 126 that indicates a left rear region of the vehicle 4 are displayed.
  • the support image 125 urging the user to turn left moves from the center in the left-right direction in the driver's field of view through the projection target member 31 to the left.
  • the support image 125 may move so as to be visualized so as to overlap with a road that is viewed from the driver.
  • the support image 125 that prompts the user to turn left is not displayed.
  • a support image 127 that prompts a right turn at the second intersection is displayed.
  • the support image 127 that prompts a right turn may be displayed, for example, superimposed on the second intersection.
  • a support image 127 that prompts a right turn may be displayed in the vicinity of the position of the support image 125 that indicates a left turn at the first intersection before being hidden.
  • the position of the support image 125 before being hidden may include the position of the support image 125 immediately before being hidden.
  • the support image 127 that prompts the user to turn right may be displayed on the left side of the center in the left-right direction in the driver's field of view through the projection target member 31, and then move to the right.
  • the support image 127 may move so as to overlap with a road traveling as viewed from the driver.
  • the support image 127 that prompts the driver to turn right at the second intersection is displayed in the vicinity of the driver's line of sight who has visually recognized the support image 125 indicating the left turn at the first intersection. For this reason, the probability that the driver visually recognizes the support image 127 that prompts the user to turn right at the second intersection increases.
  • FIG. 37 After the left turn at the first intersection, when the vehicle 4 travels to just before the second intersection, for example, as shown in FIG. 37, the driver follows the course in the field of view and makes a right turn as shown in FIG.
  • the display mode such as the position, size, shape, color, brightness, and shade of the support image 127 to be urged changes.
  • a support image 127 that prompts a right turn is displayed superimposed on a lane 128 to be turned right at the second intersection.
  • an electronic mirror image 129 showing a right rear region of the vehicle 4 is displayed in response to turning on of the right turn signal.
  • the suggestion image 131 suggesting the existence of the other vehicle 130 is detected. Is displayed. For example, in FIG. 38, a suggestion image 131 that suggests the existence of another vehicle 130 that enters the second intersection from the right is displayed on the right side of the center of the driver's field of view through the projection target member 31 in the left-right direction. . In order to urge the driver to pay attention to the other vehicle 130, the support image 127 indicating a right turn may be temporarily hidden.
  • FIG. 42 shows the driver's field of view through the projection target member 31 when the vehicle 4 is changing from the left lane to the right lane while traveling on the two-lane road.
  • an electronic mirror image 133 indicating the right rear region of the vehicle 4 may be displayed according to lighting of a right turn signal or according to detection of an obstacle in front of the left lane.
  • a suggestion image 135 suggesting the existence of the other vehicle 134 is displayed.
  • the suggestion image 135 is displayed, for example, on the right side of the center in the left-right direction in the driver's field of view through the projection member 31 or superimposed on the right lane in the driver's field of view through the projection member 31.
  • a marker image 136 is displayed in a superimposed manner.
  • the marker image 136 is not displayed.
  • the speedometer 101 may be displayed.
  • FIG. 45 shows the field of view of the driver through the projection target member 31 when the vehicle 4 is traveling behind the preceding vehicle 137.
  • the preceding vehicle 137 is a large vehicle such as a truck
  • a portion of the driver's field of view through the projection target member 31 can be blocked by the preceding vehicle 137.
  • a marker image 138 is displayed so as to be superimposed on the preceding vehicle 137.
  • Information regarding the object existing in the area shielded by the preceding vehicle 137 can be displayed in the driver's field of view through the projection target member 31.
  • a caution display that prompts the preceding vehicle to decelerate may be displayed. This will be specifically described below.
  • the first traffic light 139 that exists in the driver's field of view through the projection target member 31 and is visible to the driver is a blue signal.
  • the second traffic light hidden behind the preceding vehicle 137 and invisible to the driver is a red signal, and the preceding vehicle 137 is slowly decelerated.
  • the vehicle 4 detects that the second traffic signal is a red signal, for example, by road-to-vehicle communication with the second traffic signal or vehicle-to-vehicle communication with the preceding vehicle 137.
  • Assistance image 140 indicating that the second traffic light that the driver cannot visually recognize is a red signal may be displayed in the driver's field of view through the projection target member 31.
  • the support signal 140 indicating that the second traffic light is a red signal is displayed in the driver's field of view through the projection target member 31 even though the first traffic light 139 is a green light, The driver may be confused.
  • the display of the support image 140 is stopped. Is done. According to such a configuration, the probability that the driver is confused by the display of the support image 140 is reduced.
  • the first traffic light 139 may be out of the driver's field of view through the projection target member 31.
  • the display of the support image 140 is stopped, and the support image 140 is displayed as shown in FIG. 46, for example.
  • the support image 140 is an image simulating a red signal.
  • the support image 140 is displayed in the vicinity of the marker image 138.
  • the appearance and display position of the support image 140 may be arbitrarily determined.
  • the marker image 138 and the support image 140 are not displayed.
  • a support image indicating that the second traffic light is a green traffic light may be displayed.
  • the support image 140 may remain displayed. In such a case, when the second traffic light changes to a green signal, the support image 140 simulating a red signal may change to an image simulating a green signal.
  • FIG. 48 shows a driver's field of view through the projection target member 31 when the vehicle 4 parked in the parking lot starts and turns right.
  • the electronic mirror image 141 showing the right rear region of the vehicle 4 is displayed in response to the lighting of the turn signal in the right direction.
  • a support image 142 that prompts attention to the involvement of the vehicle 4 on the right side is displayed.
  • Objects that may come into contact with the vehicle 4 may include, for example, pedestrians that exist within a predetermined distance from the vehicle 4, other vehicles that are parked, curbs, guardrails, telephone poles, and the like.
  • the support image 142 includes an image 143 that shows the shape of the vehicle 4 and an image 144 that shows the right side surface of the vehicle 4 that may be involved.
  • This operation may be executed periodically, for example, or may be executed at a predetermined timing.
  • Step S200 The information output unit 6 outputs vehicle information and environment information to the display control device 5.
  • Step S201 The display control device 5 acquires the vehicle information and the environment information transmitted in Step S200.
  • Step S202 Based on at least one of the vehicle information and the environment information, the display control device 5 operates the vehicle 4, the state of the vehicle 4, the state of the external environment of the vehicle 4, the objects around the vehicle 4 and in the vehicle interior, At least one of the movement of the object and the state of the object is detected.
  • the display control device 5 generates display control information based on the detection result.
  • Step S203 The display control device 5 outputs the display control information generated in step S202 to the display device.
  • Step S204 The display device 10 acquires the display control information transmitted in step S203.
  • Step S205 The display device 10 displays various information in the field of view of the driver via the projection target member 31 based on the display control information.
  • the display control device 5 generates display control information based on at least one of vehicle information and environment information acquired from the information output unit 6.
  • the display control device 5 displays various information in the field of view of the driver via the projection target member 31 by transmitting the display control information to the display device 10.
  • the display mode such as the position, size, shape, color, brightness, and shade of the displayed information changes according to at least one of the vehicle information and the environment information. According to such a configuration, various information is presented to the driver in a display mode corresponding to vehicle information and environmental information that change from moment to moment. For this reason, the convenience of the display system 1 is improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Instrument Panels (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

表示装置10は、画像投影部11と、制御部15と、を備える。画像投影部11は、被投影面に画像を投影する画像投影光を射出する。制御部15は、画像投影部11が射出する画像投影光の出射方向を時分割で制御する。制御部15は、被投影面上の画像投影光が投影される一以上の領域の面積の総和が、所定の上限を超えないように制御する。

Description

表示装置、表示システム、移動体、および表示方法 関連出願の相互参照
 本出願は、2016年6月20日に日本国に特許出願された特願2016-122141、特願2016-122143、および特願2016-122145の優先権を主張するものであり、これらの先の出願の開示全体をここに参照のために取り込む。
 本開示の実施形態は、表示装置、表示システム、移動体、および表示方法に関する。
 従来、車両のインストルメントパネルの下方からフロントウィンドシールドに光を射出して、反射光によって画像を表示する表示装置が知られている。例えば特許文献1には、表示装置そのものが移動可能である構成が開示されている。
特開2015-168382号公報
 本開示の一実施形態に係る表示装置は、被投影面に画像を投影する画像投影光を射出する画像投影部を備える。前記表示装置は、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記被投影面上の前記画像投影光が投影される一以上の領域の面積の総和が、所定の上限を超えないように制御する。
 本開示の一実施形態に係る表示システムは、光を受けて該光を散乱し、または、光を受けて発光する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。
 本開示の一実施形態に係る表示システムは、光の少なくとも一部を反射する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。
 本開示の一実施形態に係る移動体は、表示システムを備える。前記表示システムは、光の少なくとも一部を反射する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。前記被投影部材はウィンドシールドに設けられる。
 本開示の一実施形態に係る移動体は、表示システムを備える。前記表示システムは、光を受けて該光を散乱し、または、光を受けて発光する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。前記被投影部材はウィンドシールドに設けられる。
 本開示の一実施形態に係る表示システムは、移動体に備えられる表示システムであって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を備え、前記制御情報は、前記支援画像の表示位置を変化させる情報を含む。
 本開示の一実施形態に係る移動体は、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を有する表示システムを備え、前記制御情報は、前記支援画像の表示位置を変化させる情報を含む。
 本開示の一実施形態に係る表示方法は、移動体に備えられる表示システムを用いる表示方法であって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させるステップと、を含み、前記制御情報は、前記支援画像の表示位置を変化させる情報を含む。
 本開示の一実施形態に係る表示システムは、移動体に備えられる表示システムであって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を備え、前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む。
 本開示の一実施形態に係る移動体は、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を有する表示システムを備え、前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む。
 本開示の一実施形態に係る表示方法は、移動体に備えられる表示システムを用いる表示方法であって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させるステップと、を含み、前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む。
実施形態に係る表示装置の構成例を示す図である。 中間像面部をさらに備える表示装置の構成例を示す図である。 画像投影光の出射方向に応じた画像投影位置の一例を示す図である。 画像投影光の出射方向に応じた画像投影位置の一例を示す図である。 駆動部をさらに備える表示装置の構成例を示す図である。 駆動部の構成例を示す図である。 中間像面部で結像した画像から投影される画像投影光の一例を示す図である。 使用者からの見え方の一例を示す図である。 使用者からの見え方の一例を示す図である。 被投影面上の表示画像の表示例を示す図である。 被投影面上の表示画像の表示例を示す図である。 被投影面上の表示画像の表示例を示す図である。 被投影面上の表示画像の位置に応じた表示例を示す図である。 被投影面上の表示画像の位置に応じた表示例を示す図である。 表示方法の一例を示すフローチャートである。 表示システムを車両に搭載した場合の構成例を示す図である。 車両の概略構成を示すブロック図である。 被投影部材を介する運転者の視界を示す図である。 図14より後の視界を示す図である。 図15より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図17より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図19より後の視界を示す図である。 図20より後の視界を示す図である。 図21より後の視界を示す図である。 図22より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図24より後の視界を示す図である。 図25より後の視界を示す図である。 図26より後の視界を示す図である。 図27より後の視界を示す図である。 図28より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図30より後の視界を示す図である。 図31より後の視界を示す図である。 図32より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図34より後の視界を示す図である。 図35より後の視界を示す図である。 図36より後の視界を示す図である。 図37より後の視界を示す図である。 図38より後の視界を示す図である。 図39より後の視界を示す図である。 図40より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図42より後の視界を示す図である。 図43より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図45より後の視界を示す図である。 図46より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 表示装置、表示制御装置、および情報出力部の動作を示すフローチャートである。
 フロントウィンドシールド等の光学部材を介して対象者の視界に画像を表示する技術の利便性の向上が望まれている。
 例えば、画像の表示領域の拡大の観点から、上述した技術の利便性の向上が望まれている。表示領域を広げるために、例えば画像の表示位置の変化に応じて表示装置を移動させることが考えられる。しかしながら、表示装置が車両に搭載される場合、表示装置が移動可能なスペースは必ずしも十分でない。例えば、表示装置が移動可能なスペースは、車両のインストルメントパネルに設置される他の機器によって制限されることがある。または、表示領域を広げるために、例えば表示装置によって画像を投影する画角を広げることが考えられる。しかしながら、画角が比較的大きいと、投影される画像の輝度が低下する場合がある。低輝度の画像の視認性は、必ずしも十分でない。
 例えば、表示装置が搭載された車両の状況に応じた情報を対象者に提示する観点から、上述した技術の利便性の向上が望まれている。
 本開示の一実施形態に係る表示装置、表示システム、移動体、および表示方法によれば、光学部材を介して対象者の視界に画像を表示する技術の利便性が向上する。
(実施形態)
 以下、本開示に係る実施形態について、図面を参照しながら詳細に説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
[システム構成]
 本実施形態に係る表示システム1は、図1に示されるように、表示装置10と、被投影面32を有する被投影部材31とを備える。後述するように、表示システム1が備える構成要素は、これらに限られない。表示装置10は、画像投影部11と、第1制御部15とを備える。表示装置10は、破線で示される画像投影光20を射出して、被投影面32に画像を投影する。被投影面32に投影された画像は、表示システム1の使用者の目22に到達する。目22に到達する画像は、使用者の視野内に入るともいえる。
 画像投影部11は、図1に示されるように、画像生成部16を備えてよい。この場合、画像投影部11は、第1制御部15からの制御情報に基づいて、画像生成部16から画像投影光20を射出する。画像投影部11は、被投影面32に画像を投影する。
 画像生成部16は、画像生成面を備える。画像生成部16は、画像生成面において画像を生成してよい。画像生成部16は、画像生成面から画像投影光20を射出してよい。
 画像生成部16は、液晶デバイスを備えてよい。液晶デバイスには、例えば、LCD(Liquid Crystal Display)等の透過型液晶デバイス、およびLCOS(Liquid Crystal On Silicon)等の反射型液晶デバイスが含まれてよい。この場合、画像生成面は、液晶デバイスの表示面であってよい。
 画像生成部16は、ミラーデバイスを備えてよい。ミラーデバイスには、デジタルミラーデバイス(DMD:Digital Mirror Device)およびMEMS(Micro Electro Mechanical Systems)ミラー等が含まれてよい。この場合、画像生成面は、ミラーの配列面であってよい。画像生成部16は、ミラーデバイスから射出される光を結像する部材をさらに備えてよい。当該部材には、スクリーンおよびレンズアレイ等が含まれてよい。この場合、画像生成面は、スクリーンであってよいし、レンズアレイの結像面であってよい。
 画像生成部16は、光源として、ランプ、LED(Light Emission Diode)、またはレーザ等を備えてよい。光源は、液晶デバイスのバックライトとして用いられてよい。光源は、ミラーデバイスへ光を入射するために用いられてよい。
 画像生成部16は、自発光デバイスを備えてよい。自発光デバイスには、無機EL(Electro-Luminescence)および有機EL等が含まれてよい。この場合、画像生成面は、自発光デバイスの表示面であってよい。画像生成部16は、自発光デバイス以外の光源を備えなくてよい。
 画像投影部11は、図2に示されるように、中間像面部14と、光源部17と、走査部18とを備えてよい。この場合、画像投影部11は、第1制御部15からの制御情報に基づいて、光源部17と走査部18とを制御する。画像投影部11は、中間像面部14の結像面に画像を結像させる。画像投影部11は、結像面から画像投影光20を射出する。画像投影部11は、被投影面32に画像を投影する。
 光源部17は、例えばレーザ等を備えてよい。光源部17は、中間像面部14に対して光ビームを射出する。走査部18は、光源部17から射出される光ビームを走査する。走査部18は、光源部17を駆動することによって光ビームを走査してよい。走査部18は、光源部17から射出される光ビームの進行方向を光学的に曲げることによって光ビームを走査してよい。
 中間像面部14は、光源部17から射出される光ビームを結像するスクリーンを含んでよい。この場合、スクリーンが中間像面部14の結像面となってよい。中間像面部14は、光源部17から射出される光ビームを結像するマイクロレンズアレイを含んでよい。この場合、マイクロレンズアレイの結像面が中間像面部14の結像面となってよい。中間像面部14は、結像面に結像した画像から画像投影光20を射出する。
 画像投影部11は、図1および図2に示されるように、拡大光学系13を備えてよい。拡大光学系13は、画像生成部16または中間像面部14から射出される画像投影光20を反射または屈折させる。拡大光学系13は、反射または屈折させた画像投影光20を被投影面32上に投影する。拡大光学系13は、凸面または凹面ミラーを備える反射光学系であってよい。拡大光学系13は、凸面または凹面レンズを備える屈折光学系であってよい。拡大光学系13は、ミラーまたはレンズを組み合わせた光学系であってよい。拡大光学系13に設けられるミラーまたはレンズは、少なくとも部分的に球面形状を有してよい。拡大光学系13に設けられるミラーまたはレンズは、少なくとも部分的に非球面形状を有してよい。拡大光学系13に設けられるミラーまたはレンズは、少なくとも部分的に被投影面32の形状に応じた面形状を有してよい。
 第1制御部15は、表示装置10が表示させようとする画像に係るデータに基づいて、画像投影部11が射出する画像投影光20の強度等を制御する。表示装置10が表示させようとする画像に係るデータのことを、表示画像データともいう。表示画像データは、文字もしくは記号、または写真等を含んでよい。第1制御部15は、外部装置から取得した情報に基づいて表示画像データを生成してよい。第1制御部15は、外部装置から表示画像データを取得してよい。第1制御部15は、画像生成部16に対して、例えば光源の発光強度もしくは色、液晶デバイスの液晶の配向、またはミラーデバイスのミラーの方向等を制御する制御情報を出力する。第1制御部15は、光源部17に対して、例えば光ビームの強度等を制御する制御情報を出力する。第1制御部15は、走査部18に対して、例えば光ビームの進行方向を制御する制御情報を出力する。第1制御部15は、アプリケーションソフトウェアを実行可能なプロセッサまたはマイクロコンピュータ等を含んでよい。
 第1制御部15は、記憶デバイスを備えてよい。記憶デバイスには、各種情報、または表示装置10の各構成部を動作させるためのプログラム等が格納されてよい。記憶デバイスは、例えば半導体メモリ等を含んでよい。記憶デバイスは、第1制御部15のワークメモリとして機能してよい。表示装置10は、記憶デバイスを記憶部として備えてよい。
 第1制御部15は、外部装置から各種情報または表示画像データ等を取得する。第1制御部15は、通信デバイスを備えてよい。通信デバイスは、例えば、LAN(Local Area Network)またはCAN(Control Area Network)等の通信インターフェースであってよい。通信デバイスは、有線または無線によって、外部装置と通信可能であってよい。表示装置10は、通信デバイスを通信部として備えてよい。
 第1制御部15の少なくとも一部の機能は、表示装置10から独立した別個の制御装置によって実現されてよい。
 画像投影部11から画像投影光20が射出される方向が一定の方向である場合、被投影面32に対する画像の投影位置は一定の位置である。画像投影光20が射出される方向を、画像投影光20の出射方向ともいう。表示装置10は、画像投影部11からの画像投影光20の出射方向を変えてよい。表示装置10は、被投影面32に対して画像投影光20が投影される位置を移動させてよい。
 表示装置10は、例えば図3Aに示されるように、破線で示される画像投影光20の出射方向を、一点鎖線で示される基準方向から時計回りの方向に変えてよい。基準方向は、図1に例示される画像投影光20の出射方向に対応する。図3Aにおいて、画像投影光20は、図1と比較してより下方から目22に到達する。この画像投影光20によって、画像は、被投影面32のより下方に投影されているように見える。表示装置10は、例えば図3Bに示されるように、破線で示される画像投影光20の出射方向を、一点鎖線で示される図1の画像投影光20の出射方向から反時計回りの方向に変えてよい。図3Bにおいて、画像投影光20は、図1と比較してより上方から目22に到達する。この画像投影光20によって、画像は、被投影面32のより上方に投影されているように見える。
 画像生成部16がMEMSミラー等の自駆動機能を有するデバイスを備える場合、第1制御部15は、画像生成部16に対して画像投影光20の出射方向を変える制御情報を出力してよい。
 表示装置10は、図4に示されるように、駆動部12をさらに備えてよい。駆動部12は、画像生成部16を駆動してよい。駆動部12は、画像生成部16の画像生成面の向きを変えることができる。駆動部12は、例えば図5に示されるように、X軸に平行な第1回転軸12aと、Y軸に平行な第2回転軸12bとを備える。駆動部12は、画像生成部16を駆動しない場合に、画像生成面が基準方向に向くように画像生成部16を保持してよい。図5の例では、基準方向は、Z軸方向である。基準方向は、Z軸方向に限られず、他の方向であってよい。第1回転軸12aおよび第2回転軸12bは、X軸およびY軸に平行でなくてよく、他の方向に沿ってよい。駆動部12は、一つの回転軸だけを備えてよいし、三つ以上の回転軸を備えてよい。駆動部12は、回転軸の周りの回転変位を生じるだけでなく、並進方向等の他の方向の変位を生じてよい。
 画像生成面の向きは、図5の例において、駆動部12の第1回転軸12aおよび第2回転軸12bそれぞれの周りの回転変位に基づいて制御される。駆動部12は、例えばモータまたは圧電素子等によって、第1回転軸12aおよび第2回転軸12bそれぞれの周りの回転変位を制御する。駆動部12は、他の駆動手段によって回転軸の周りの回転変位を制御してよい。第1制御部15は、駆動部12に対して回転軸の周りの回転変位を生じさせる制御情報を出力してよい。第1制御部15は、画像投影光20の出射方向を変え得る。駆動部12は、モータ、圧電素子、または他の駆動手段によって並進方向等の他の方向の変位を制御してよい。駆動部12は、画像生成部16と拡大光学系13との相対位置を変更することができる。
 表示装置10が中間像面部14を備える場合、駆動部12は、中間像面部14を保持してよい。駆動部12は、中間像面部14を駆動してよい。駆動部12は、中間像面部14の結像面の向きを変えることができる。駆動部12は、結像面が基準方向を向くように中間像面部14を保持してよい。駆動部12は、さらに光源部17または走査部18を保持してよい。駆動部12は、中間像面部14とあわせて光源部17または操作部18を駆動してよい。
 図2に示されるように表示装置10が中間像面部14と光源部17と走査部18とを備え、駆動部12を備えない場合について説明する。第1制御部15は、走査部18に対して、中間像面部14の結像面における画像の結像位置を制御する制御情報を出力してよい。走査部18は、例えば図6に示されるように、画像投影光20を曲げてよい。走査部18は、画像投影光20の出射方向を、破線で示される第1光路20aの方向に変えてよい。第1光路20aを通った画像投影光20は、図6における中間像面部14の左側で結像する。第1光路20aを通った画像投影光20は、拡大光学系13を介して、被投影面32の比較的上方に投影される。図6における中間像面部14の左側は、表示装置10の使用者にとっての手前側である。走査部18は、画像投影光20の出射方向を一点鎖線で示される第2光路20bの方向に変えてよい。第2光路20bを通った画像投影光20は、図6における中間像面部14の右側で結像する。第2光路20bを通った画像投影光20は、拡大光学系13を介して、被投影面32の比較的下方に投影される。図6における中間像面部14の右側は、表示装置10の使用者にとっての奥側である。中間像面部14は、走査部18の画像投影光20の走査範囲がより広くなるように、より広い結像面を有してよい。
 表示装置10が中間像面部14と光源部17と走査部18とを備える場合について説明する。駆動部12は、中間像面部14を保持しなくてよい。駆動部12は、光源部17と走査部18とを保持してよい。駆動部12は、光源部17と走査部18とを駆動してよい。駆動部12は、中間像面部14の結像面における画像の結像位置を制御してよい。
 表示装置10は、拡大光学系13に含まれるレンズまたはミラーを変位させてよい。表示装置10は、画像投影光20の出射方向を変えてよい。かかる構成によれば、画像投影光20の出射方向の変更は、より容易になされ得る。レンズまたはミラーの光軸が合わせられている場合、レンズまたはミラーを個別に変位させると、光が所望の位置に結像しなくなることがある。これに対して、表示装置10は、拡大光学系13に含まれるレンズまたはミラーの光軸がずれないように、レンズまたはミラーを互いに連携させつつ変位させてよい。
 被投影部材31は、光を受けて該光を反射する光学部材であってよい。光を反射する光学部材のことを、反射光学部材ともいう。この場合、図7Aに示されるように、破線で示される画像投影光20が被投影部材31で反射される。このとき、使用者は、虚像21aを視認し得る。使用者に虚像21aを視認させるために、拡大光学系13は、正の屈折力を有してよい。使用者に虚像21aを視認させるために、被投影部材31は、正の屈折力を有してよい。本開示で「表示される画像」には、実像としての画像および虚像としての画像が含まれる。本開示において、虚像として画像を表示することを意味する記載を、状況に応じて「画像を視覚化する」、「虚像を運転者の網膜に結像させて、画像を視覚化する」、「虚像となる画像投影光を投影する」、「虚像となる光を投影する」、「画像の虚像を投影する」との意味で理解することができる。
 反射光学部材は、波長スペクトルを有する光のうち少なくとも一部の波長の光を反射してよい。反射光学部材は、光の波長にかかわらず、光の少なくとも一部を反射してよい。反射光学部材は、ガラス、フィルム、または樹脂等であってよい。反射光学部材は、ガラス、フィルム、または樹脂等を含む基材上に形成されてよい。
 反射光学部材は、光を正反射する光学部材であってよい。光を正反射する光学部材は、例えば、ガラスまたはフィルム等である。反射光学部材は、画像投影部11からの光を正反射した際に、反射した光が使用者の目22に集まるような形状であってよい。
 反射光学部材は、光を入射角とは異なる反射角で反射する光学部材であってよい。入射角と異なる反射角で反射することを、正反射とは異なる角度で反射するともいう。光を入射角とは異なる反射角で反射する光学部材のことを、反射角度制御部材ともいう。反射角度制御部材は、入射した光を反射する際に位相差を生じさせる。反射角度制御部材は、ホログラムまたは回折格子等であってよい。被投影部材31が反射角度制御部材である場合、表示装置10は、被投影面32のより広い範囲に対して射出した画像投影光20を使用者の目22に到達させ得る。
 被投影部材31が反射光学部材である場合、使用者の目22に向けて反射される画像投影光20の強度は、反射光学部材の反射率に基づいて決定される。反射光学部材の反射率は、適宜定められ得る。
 被投影部材31は、光を受けてこの光を散乱する光学部材、または、光を受けて発光する光学部材であってよい。光を散乱する光学部材のことを、散乱光学部材ともいう。光を受けて発光する光学部材のことを、自発光部材ともいう。この場合、図7Bに示されるように、破線で示される画像投影光20が被投影面32に投影される。画像投影光20が、被投影面32で結像する。使用者は、実像21bを視認し得る。
 散乱光学部材は、例えば、ジルコニア粒子等の微細粒子を分散させた透明部材であってよい。被投影部材31が散乱光学部材である場合、使用者の目22に到達する画像投影光20の強度は、散乱光学部材の散乱係数に基づいて決定される。散乱光学部材の散乱係数は、適宜定められ得る。
 自発光部材は、例えば、蛍光体または量子ドット等であってよい。自発光部材は、入射した光のエネルギーに応じて、光が入射した部分で発生する反応によって自ら発光する。被投影部材31が自発光部材である場合、使用者の目22に到達する画像投影光20の強度は、自発光部材のエネルギー効率に基づいて決定される。自発光部材のエネルギー効率は、適宜定められ得る。
 以下、本実施形態においては、特に記載のない限り、被投影部材31は、反射光学部材であるとして説明する。虚像21aおよび実像21bをあわせて表示画像21ともいう。
[表示画像]
 被投影部材31に投影された画像投影光20は、使用者の視野内で結像する。結像した画像投影光20は、表示画像21として認識される。画像投影部11が一つの出射方向に画像投影光20を射出する場合に被投影面32に投影される表示画像21の面積は、画像生成部16の画像生成面または中間像面部14の結像面の面積、または、拡大光学系13の構成等によって定められ得る。例えば、画像生成面または結像面の面積が2倍となる場合、被投影面32に投影される表示画像21の面積は2倍となり得る。例えば、拡大光学系13の構成によって定められる拡大倍率が2倍となる場合、被投影面32に投影される表示画像21の面積は4倍となり得る。被投影面32に投影される表示画像21の面積のことを、投影面積ともいう。
 表示画像21の輝度は、画像投影光20の強度によって定められる。画像投影光20の強度は、輝度を表す値であってよい。画像投影光20の強度は、光束を表す値であってよい。画像投影光20の強度は、照度を表す値であってよい。画像投影光20の強度は、画像投影部11の光源もしくは光源部17から射出される光の輝度、または拡大光学系13における損失等に基づいて定められ得る。例えば、画像生成部16がランプ等の面光源を用いた液晶デバイスである場合、画像投影光20の強度は、ランプ等の輝度に基づいて定められ得る。画像生成部16がレーザ等の点光源をスキャンすることで画像を形成するミラーデバイスである場合、画像投影光20の強度は、点光源の輝度と1画素あたりのスキャン時間とに基づいて定められ得る。
 第1制御部15は、画像投影光20の出射方向を時分割で変えてよい。第1制御部15は、被投影面32の各位置に時分割で画像を投影してよい。本開示において、被投影面32の各位置に時分割で画像を投影することは、一つの画像投影部11から一つの位置に対して画像を投影する処理を、各位置に対して時間をずらして行うことを意味する。言い換えれば、被投影面32の各位置に時分割で画像を投影することは、一つの画像投影部11から各位置に対して画像を投影する時間を分割することを意味する。例えば、制御部15は、あるタイミングで、ある位置に画像を投影した後、他のタイミングで、他の位置に画像を投影してよい。制御部15は、任意のタイミングで任意の位置に画像を投影しているとき、他の位置に画像を投影しなくてよい。
 第1制御部15は、画像生成部16から画像投影光20を投影する場合、画像生成部16または駆動部12を制御して画像投影光20の出射方向を変える。第1制御部15は、中間像面部14から画像投影光20を投影する場合、走査部18を制御して中間像面部14の結像面の各位置に対して表示画像21を結像させる。かかる構成によれば、第1制御部15は、所定時間内に被投影面32の各位置に対して時分割で表示画像21を順次投影できる。所定時間は、時分割の一周期とされてよい。所定時間内に投影される表示画像21をまとめて一フレームともいう。第1制御部15は、所定時間ごとに各表示画像21を投影することによって、一フレームを表示させ得る。一フレームを表示するためにかかる時間のことを、フレーム表示時間ともいう。1秒間に表示されるフレーム数をフレームレートともいう。フレームレートは、フレーム表示時間の逆数として算出される。例えば、フレーム表示時間が20ミリ秒である場合、フレームレートは50fps(frame per second:フレーム毎秒)である。
 第1制御部15は、図8Aに示されるように、一フレームに一つの表示画像21を表示させてよい。被投影面32上において表示画像21が投影されている範囲のことを、領域24ともいう。一つの表示画像21は、二以上のサブ画像23-1~nを含んでよい。nは2以上の自然数である。二以上のサブ画像23-1~nを、まとめてサブ画像23ともいう。各サブ画像23は、少なくとも一部が異なる画像であってよいし、同一の画像であってよい。サブ画像23の投影面積は、画像投影部11が1回で投影可能な面積であってよい。画像投影部11が1回で投影可能な面積は、例えば、画像生成部16の画像生成面全体または中間像面部14の結像面全体に生成された画像によって投影される面積であってよい。第1制御部15は、図8Bに示されるように、領域24の中にサブ画像23を時分割で順次投影してよい。このようにして、第1制御部15は、画像投影部11が1回で投影可能な面積よりも大きい面積を有する領域24の全体に表示画像21を表示させ得る。サブ画像23が時分割で順次投影されることは、例えば、第1のタイミングでサブ画像23-1が投影され、第1のタイミングと異なる第nのタイミングでサブ画像23-nが投影されることを意味する。第1のタイミングでサブ画像23-1が投影されるとき、サブ画像23-2~23-nは投影されなくてよい。第2~第nのタイミングそれぞれでサブ画像23-2~nが投影されるときも、他のサブ画像23は投影されなくてよい。
 第1制御部15は、表示画像21を被投影面32上の二以上の領域24に時分割で順次投影してよい。第1制御部15は、一フレーム内に二以上の表示画像21を表示させてよい。表示画像21の数が二以上である場合、表示画像21が投影される各領域24を第1領域24-1~第m領域24-mともいう。mは2以上の自然数である。第1制御部15は、例えば図9に示されるように、第1領域24-1と、第2領域24-2と、第3領域24-3とにそれぞれ表示画像21を投影してよい。被投影面32上の領域24の数は、図10の例のように三つに限られず、二以下であってよいし、四以上であってよい。各領域24は、被投影面32上で互いに離れてよいし、隣接してよい。各領域24に投影される表示画像21は、二以上のサブ画像23からなる画像であってよい。表示画像21が時分割で投影されることは、例えば、第1領域24-1~第3領域24-3それぞれに、互いに異なる第1~第3のタイミングで、表示画像21が投影されることを意味する。第1のタイミングで第1領域24-1に表示画像21が投影されるとき、他の領域24には表示画像21が投影されなくてよい。第2領域24-2および第3領域24-3それぞれに、第2および第3のタイミングで、表示画像が投影されるときも、他の領域24には表示画像21が投影されなくてよい。
 中間像面部14の結像面で結像された画像が被投影面32に投影される場合、被投影面32上の各領域24に対応して、結像面上に領域24が設けられてよい。第1制御部15は、図10に例示されるように表示画像21を表示させるために、結像面上に第1領域24-1~第3領域24-3を設けてよい。第1制御部15は、各領域24に表示画像21を結像させてよい。結像面上の各領域24は、被投影面32上の各領域24の位置に対応する位置に設けられる。
 表示画像21が時分割で投影される場合、人間の目には表示画像21が明滅して見えることがある。換言すると、人間の目には表示画像21がちらついて見えることがある。第1制御部15は、人間の目の分解能では判別できないフレームレートで表示画像21を時分割で投影してよい。このようにして、人間の目から見た表示画像21のちらつきが低減可能である。一般的に、人間の目は、1秒間の光の明滅が24回以下である場合にちらついて見える程度の分解能を有する。第1制御部15は、表示画像21のフレームレートを例えば30fps以上としてよい。つまり第1制御部15は、表示画像21を各領域24に時分割で投影する制御を毎秒30回以上実行してよい。
<表示画像の輝度>
 画像投影光20が時分割で投影される場合について説明する。画像投影光20の目22までの光路長と、目22に入射する光の広がり角とが等しい場合における、被投影面32上の各領域24に投影される表示画像21の輝度について説明する。当該輝度は、フレーム表示時間内において画像投影光20が投影される時間と投影されない時間との比に基づいて定められる。例えば、画像投影光20が投影される時間と投影されない時間との比が1:1である場合、表示画像21の輝度は、画像投影光20がフレーム表示時間内で常に投影され続ける場合と比較して、50%に低下する。表示画像21が二以上の領域24に対して時分割でフレーム表示時間内に同じ時間ずつ投影される場合、表示画像21の輝度は、各領域24の面積の合計に反比例する。つまり、各領域24の面積の総和が大きくなるほど、表示画像21の輝度は低くなる。各領域24に対する投影時間が異なる場合、ある表示画像21の投影時間の比率が小さいほど、この表示画像21の輝度は低くなる。
 表示画像21の輝度が所定の輝度よりも低い場合、表示画像21は、人間の目に見えないまたは見えにくいことがある。所定の輝度は、人間の目の感度に応じて設定され得る。所定の輝度は、表示画像21の背景として入射する外光の強度に応じて設定されてよい。第1制御部15は、例えば、照度センサから外光の照度を取得してよい。第1制御部15は、取得された照度に基づいて、所定の輝度を設定してよい。第1制御部15は、背景の明るさに基づいて、所定の輝度を設定してよい。例えば、夜間等の暗い外部環境においては、所定の輝度は低く設定されてよい。例えば、晴天時等の明るい外部環境においては、所定の輝度は高く設定されてよい。第1制御部15は、所定の輝度と画像投影光20の強度とに基づいて、表示画像21の投影時間を決定してよい。第1制御部15は、ある一つの表示画像21の輝度が所定の輝度以上となるように、当該表示画像21の投影時間の下限を決定してよい。
 第1制御部15は、所定の輝度と画像投影光20の強度とに基づいて、表示画像21を投影する各領域24の面積を決定してよい。第1制御部15は、二以上の領域24に表示画像21を投影する場合、各表示画像21の輝度が所定の輝度以上となるように、各領域24の面積の総和の上限を決定してよい。表示画像21を投影する領域24の面積の総和の上限を、投影面積上限ともいう。図8Aに示される領域24の面積は、投影面積上限以下であってよい。かかる構成によれば、表示画像21の輝度は、所定の輝度以上となり得る。図9に示される第1領域24-1、第2領域24-2および第3領域24-3の面積の総和は、投影面積上限以下であってよい。かかる構成によれば、第1領域24-1、第2領域24-2および第3領域24-3それぞれに投影される表示画像21の輝度は、所定の輝度以上となり得る。
 一つの領域24だけに表示画像21が投影される場合も、当該領域24の面積は、投影面積上限以下であってよい。つまり、一以上の領域24の面積の総和が投影面積上限以下であってよい。例えば、一つの表示画像21が二以上のサブ画像23からなる場合、当該表示画像21が投影される領域24の面積は、各サブ画像23の投影面積の総和である。かかる構成によれば、各サブ画像23の輝度が所定の輝度以上となり得る。つまり、表示画像21の全体の輝度が所定の輝度以上となり得る。
 画像生成部16または中間像面部14から射出される画像投影光20は、所定の角度で広がる。画像投影光20が広がる所定の角度を発散角ともいう。画像投影光20が被投影面32上に投影される表示画像21の面積は、画像投影光20の発散角と被投影面32までの画像投影光20の光路の長さとに応じて変化する。画像投影部11から被投影面32に至る画像投影光20の光路の長さを、投影光路長ともいう。画像投影光20の光路の起点は、例えば、画像投影部11が備える拡大光学系13の最終ミラーの反射面であってよい。画像投影光20の光路の起点は、画像生成部16の画像生成面または中間像面部14の結像面であってよい。画像投影光20の光路の起点は、画像投影部11の任意の構成部とされてよい。
 例えば図10Aに示されるように投影光路長が比較的短い場合、第4領域24-4の面積は比較的小さくなる。一方で図10Bに示されるように投影光路長が比較的長い場合、第5領域24-5の面積は比較的大きくなる。画像投影光20の強度が同じ場合、領域24への投影面積が大きくなるほど、当該領域24に投影される表示画像21の輝度は低くなる。
 第1制御部15は、投影光路長にかかわらず表示画像21の輝度が略等しくなるように、画像投影光20の強度を制御してよい。第1制御部15は、図10Aに例示されるように比較的小さい面積を有する第4領域24-4に画像投影光20を投影する場合、画像投影光20の強度を小さくしてよい。第1制御部15は、図10Bに例示されるように、比較的大きい面積を有する第5領域24-5に画像投影光20を投影する場合、画像投影光20の強度を大きくしてよい。
 第1制御部15は、投影光路長にかかわらず表示画像21の輝度が略等しくなるように、表示画像21の表示時間を決定してよい。第1制御部15は、図10Aに例示されるように比較的小さい面積を有する第4領域24-4に破線で示される画像投影光20を投影する場合、第4領域24-4に対する投影時間を短くしてよい。第1制御部15は、図10Bに例示されるように比較的大きい面積を有する第5領域24-5に破線で示される画像投影光20を投影する場合、第5領域24-5に対する投影時間を長くしてよい。第5領域24-5に対する投影時間が長くされた場合でも、投影面積上限は変化しなくてよい。
 被投影部材31は、投影光路長にかかわらず表示画像21の輝度が略等しくなるように、被投影面32上の位置に応じて異なる反射率を有してよい。被投影部材31は、図10Aに例示される第4領域24-4において比較的低い反射率を有してよい。被投影部材31は、図10Bに例示される第5領域24-5において比較的高い反射率を有してよい。
[画像表示方法]
 本実施形態に係る表示装置10が実行する画像表示方法の一例を、図11を参照して説明する。
 ステップS1:第1制御部15は、カウンタとして用いる変数(k)を1にする。第1制御部15は、表示画像21が投影される領域24の積算面積を示す変数(S)をリセットして0にする。kは、自然数である。
 ステップS2:第1制御部15は、第k領域24-kに投影される表示画像21のデータを取得する。第k領域24-kに投影される表示画像21のデータを、第k画像データともいう。第k画像データは、画像の表示位置を示すデータを含んでよい。第k画像データは、第1制御部15の記憶デバイスから取得されてよいし、外部装置から取得されてよい。第1制御部15は、取得した第k画像データをワークメモリまたは記憶デバイスに格納してよい。
 ステップS3:第1制御部15は、第k画像データに基づいて算出される第k領域24-kの面積(Sk)を、積算面積(S)に加算する。第1制御部15は、第k画像データに画像の表示位置に係るデータが含まれる場合、画像の表示位置に基づいて投影光路長を算出してよい。第1制御部15は、投影光路長に基づいて第k領域24-kの面積(Sk)を算出してよい。
 ステップS4:第1制御部15は、積算面積(S)が、投影面積上限を超えたか判定する。積算面積(S)が投影面積上限を超えた場合(ステップS4:YES)、プロセスはステップS5に進む。一方、積算面積(S)が投影面積上限を超えていない場合(ステップS4:NO)、プロセスはステップS6に進む。
 ステップS5:第1制御部15は、第k画像データをワークメモリまたは記憶デバイスから削除する。この場合、削除された第k画像データに対応する表示画像21は、この後の投影ステップにおいて投影されない。
 ステップS6:第1制御部15は、カウンタの変数(k)に1を加算する。
 ステップS7:第1制御部15は、第k画像データが存在するか判定する。第k画像データが存在しない場合は、例えば、k>mとなった場合である。第k画像データが存在する場合(ステップS7:YES)、プロセスはステップS2に戻る。一方、第k画像データが存在しない場合(ステップS7:NO)、プロセスはステップS8に進む。
 ステップS8:第1制御部15は、ワークメモリまたは記憶デバイスに格納された画像データに基づいて、各領域24に対して表示画像21を時分割で順次投影する。その後、プロセスが終了する。図11に示される処理において、プロセスは、ステップS5の後、ステップS8に進んでよい。
 第k領域24-kは、面積に基づいてソートされてよい。例えば、面積が最大である領域24が第1領域24-1とされ、次に面積が大きい領域24が第2領域24-2とされてよい。逆に、面積が最小である領域24が第1領域24-1とされ、次に面積が小さい領域24が第2領域24-2とされてよい。
 第k領域24-kは、投影される表示画像21の優先度に基づいてソートされてよい。例えば、第1制御部15が優先して表示させようとする表示画像21が投影される領域24が第1領域24-1とされてよい。
 第k領域24-kは、上述の方法に限られず、他の方法によってソートされてよい。
[車両への搭載例]
 図12に示されるように、本実施形態に係る表示システム1は、車両4に搭載可能である。車両4は、インストルメントパネル41と、フロントウィンドシールド42とを備える。フロントウィンドシールド42を、単にウィンドシールドともいう。表示装置10は、インストルメントパネル41に設けられる。被投影部材31は、フロントウィンドシールド42に設けられる。表示装置10および被投影部材31は、図1に示されるものと類似の構成である。
 画像投影部11から射出された画像投影光20は、図12において破線で示される。画像投影光20は、画像投影部11から被投影部材31に投影される。被投影部材31の被投影面32上に投影された画像投影光20は、車両4の運転者の視野内で結像する。被投影部材31が反射光学部材である場合、運転者は、画像投影光20が結像した結果を虚像21aとして視認できる。車両4に搭載された表示装置10は、フロントウィンドシールド42の広範囲に画像投影光20を投影できる。運転者は、様々な方向で画像投影光20が結像した結果を虚像21aとして視認できる。
 被投影部材31の設置場所は、フロントウィンドシールド42に限られない。被投影部材31は、車両4が備えるコンバイナ、ドアウィンドウまたはバックドアガラス等に設けられてよい。被投影部材31がこれらの場所に設けられる場合、被投影部材31は、運転者から見て被投影部材31を隔てた反対側にある実空間の背景からの光を透過させる。車両4の運転者は、被投影部材31を透過してくる光によって実空間の背景を視認できる。車両4の運転者は、表示装置10により表示される虚像21aが被投影部材31を隔てた反対側にある実空間の背景に重畳されたように視認し得る。
 被投影部材31の設置場所は、ピラー、ルーフまたはドア等であってよい。
 表示装置10の設置場所は、インストルメントパネル41に限られず、被投影部材31の設置場所に応じて、車両4の種々の場所であってよい。
 表示システム1は、フロントウィンドシールド42の全体に画像を表示してよい。この場合、表示装置10は、フロントウィンドシールド42の中央下部に設けられてよい。かかる構成によれば、フロントウィンドシールド42の左右どちらに画像が表示される場合にも、表示画像21の輝度は、より容易に所定の輝度以上となり得る。
 表示システム1は、サイドミラーまたはルームミラー等の機能を代替する電子ミラーの画像を表示してよい。表示システム1が電子ミラーの画像を表示する場合、表示装置10は、被投影部材31の近傍に設けられてよい。かかる構成によれば、表示システム1は、より高輝度で電子ミラーの画像を表示し得る。表示装置10は、例えば、助手席側または運転席側のピラーの近傍に設けられてよい。表示装置10が助手席側に設けられる場合、設置場所の自由度が増し得る。被投影部材31の、少なくとも電子ミラーの画像が投影される部分における反射率が比較的高くてよい。被投影部材31が散乱光学部材である場合、被投影部材31の、少なくとも電子ミラーの画像が投影される部分における散乱係数が比較的高くてよい。被投影部材31が自発光部材である場合、被投影部材31の、少なくとも電子ミラーの画像が投影される部分におけるエネルギー効率が比較的高くてよい。
 電子ミラー画像の表示専用の装置が設置される場合と、本実施形態に係る表示システム1が電子ミラーの画像を表示する機能を有する場合とを比較する。電子ミラー画像の表示専用の装置は、電子ミラー画像に要求される表示品質に応じた表示ができてよい。表示品質は、例えば表示される画像の輝度または鮮鋭度等であってよい。一方で、表示システム1は、被投影部材31の少なくとも一部における反射率、散乱係数、またはエネルギー効率が他の部分と異なってよい。例えば、被投影部材31の、電子ミラー画像が表示される部分における反射率、散乱係数、またはエネルギー効率が他の部分より高くてよい。かかる構成によれば、本実施形態に係る表示システム1は、電子ミラー画像の表示専用の装置等の別個の装置を用いることなく、電子ミラー画像に要求される表示品質に応じた表示ができる。電子ミラー画像を例として説明してきたが、表示システム1は、被投影面32の少なくとも一部に、異なる表示品質が要求される画像をその表示品質に応じて表示できるように構成されてよい。
 本実施形態に係る表示システム1は、移動体に搭載されてよい。本開示における「移動体」は、車両、船舶、航空機を含む。本開示における「車両」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述の例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における「船舶」は、マリンジェット、ボート、タンカーを含む。本開示における「航空機」は、固定翼機、回転翼機を含む。
 本実施形態に係る表示システム1および表示装置10は、車両4だけでなく、種々の機器に実装され得る。表示装置10は、例えばプロジェクタ等の画像表示装置に実装されてよい。プロジェクタは、例えば、建築物等の対象物に映像を重ねて投影するプロジェクションマッピング用のプロジェクタを含んでよい。プロジェクションマッピングをビデオマッピングともいう。表示装置10は、プラネタリウムの投影器に実装されてよい。表示システム1は、例えばホームシアター等の画像表示システムに実装されてよい。
 本実施形態に係る表示装置10は、表示画像21を被投影面32上に投影するための画像投影光20を時分割で異なる方向に射出できる。本実施形態に係る表示装置10は、画像投影部11が表示画像21を投影する領域24のみに向くように制御する。このため、表示装置10は、視認可能な輝度を有する表示画像21を被投影面32上の広範囲に表示できる。本実施形態に係る表示システム1は、使用者に対して表示画像21を虚像21aとして認識させることができる。このため、使用者は、表示画像21と、被投影部材31を隔てた反対側にある景色との両方にピントを合わせやすい。
 本実施形態に係る表示システム1において、被投影部材31の少なくとも一部に、反射光学部材、散乱光学部材および自発光部材の少なくとも一つが設けられてよい。この場合、表示システム1は、使用者の目22に対して、虚像21aと実像21bとを両方提示できる。かかる構成によれば、表示画像21の表示目的に応じた適切な表示方法が選択され得る。被投影部材31の少なくとも一部に、反射光学部材、散乱光学部材および自発光部材の少なくとも二つが重畳されて設けられてよい。
 図13を参照して、本実施形態に係る表示システム1を備える車両4について詳細に説明する。
 本実施形態に係る表示システム1は、表示装置10と、被投影部材31と、表示制御装置5と、情報出力部6と、を備える。表示装置10および被投影部材31の詳細は、既に述べた通りである。複数の実施形態の1つにおいて、表示システム1には、表示制御装置5および情報出力部6のうち少なくとも1つが含まれなくてよい。かかる場合、車両4は、表示システム1と、表示制御装置5および情報出力部6のうち当該少なくとも1つと、を備える。
 表示制御装置5は、通信部51と、記憶部52と、第2制御部53と、を備える。複数の実施形態の1つにおいて、表示制御装置5の構成および機能の一部または全部が、表示装置10に具備されてよい。複数の実施形態の1つにおいて、表示制御装置5の構成および機能の一部が、表示装置10から独立した装置として実現されてよい。
 通信部51は、表示制御装置5の外部に備えられた装置と通信可能なインターフェースを含んでよい。このインターフェースとして、例えば、物理コネクタ、および無線通信機が採用できる。複数の実施形態の1つにおいて、通信部51は、CAN等の車両4のネットワークに接続する。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含む。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP-1211Aに規定されるS端子に対応するコネクタ、EIAJ RC-5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも1つのアンテナを含む。本実施形態において、通信部51は、表示装置10および情報出力部6とそれぞれ通信可能に接続されてよい。
 記憶部52は、一次記憶装置および二次記憶装置を含んでよい。記憶部52は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray(登録商標) Disc)等を含んでよい。記憶部52は、例えば、表示装置10の動作に必要な種々の情報およびプログラムを記憶する。
 第2制御部53は、1つ以上のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれる。PLDには、FPGA(Field-Programmable Gate Array)が含まれる。第2制御部53は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。第2制御部53は、表示制御装置5全体の動作を制御する。例えば、第2制御部53は、後述するように情報出力部6から取得する情報に基づいて、表示制御情報を生成してよい。表示制御情報は、例えば、表示装置10の動作制御に用いられる。表示制御情報は、被投影部材31を介する運転者の視界内に表示させる文字および図形等の画像の情報を含んでよい。表示制御情報は、被投影部材31を介する運転者の視界内に表示させる情報の表示態様を示す情報を含んでよい。表示態様は、例えば表示位置、大きさ、形状、色、輝度、および濃淡等を含んでよい。第2制御部53は、表示制御情報を表示装置10へ出力する。表示装置10は、取得した表示制御情報に基づいて、被投影部材31を介する運転者の視界内に多様な情報を表示する。複数の実施形態の1つにおいて、第2制御部53は、情報出力部6の動作を制御してよい。第2制御部53によって制御される表示制御装置5の動作の詳細については後述する。
 情報出力部6は、車両4に備えられる多様な装置を含む。
 例えば情報出力部6は、1つ以上の撮像装置を含んでよい。本実施形態において、情報出力部6は複数の撮像装置を含む。複数の撮像装置には、例えばフロントカメラ、左サイドカメラ、右サイドカメラ、リアカメラ、およびインカメラ等が含まれるが、これらに限られない。フロントカメラ、左サイドカメラ、右サイドカメラ、およびリアカメラは、それぞれ車両4の前方、左側方、右側方、および後方の外部領域を撮像可能となるように車両4に設置される。例えば、フロントカメラ、左サイドカメラ、右サイドカメラ、およびリアカメラは、それぞれ広角撮影が可能であり、車両4の全周囲の対象物を撮像可能であってよい。インカメラは、車室内の対象物を撮像可能となるように車両4に設置される。例えば、インカメラは、車両4の運転者を撮像可能である。インカメラは、撮像された運転者の画像に基づいて、運転者の目の空間位置を検出してよい。あるいは、表示制御装置5または第2制御部53が、撮像された運転者の画像に基づいて運転者の目の空間位置を検出してよい。
 フロントカメラ、左サイドカメラ、右サイドカメラ、リアカメラ、およびインカメラは、固体撮像素子を含む。固体撮像素子は、CCDイメージセンサ(Charge-Coupled Device Image Sensor)およびCMOSイメージセンサ(Complementary MOS Image Sensor)を含む。複数の実施形態の1つにおいて、フロントカメラは、車両4の前方を撮像するとともに、前方の対象物までの距離測定を可能とする「ステレオカメラ」とすることができる。「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、複数のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から車両4の前方に存在する対象物を撮像することが可能である。ステレオカメラは、1つの筐体に複数のカメラが含まれる機器であってよい。または、ステレオカメラは互いに独立し、且つ互いに離れて位置する2台以上のカメラを含む機器であってよい。ステレオカメラによって撮像される画像に含まれる対象物の視差に基づいて、当該対象物までの距離が算出可能である。
 例えば情報出力部6は、車両4の外部に備えられた外部装置と通信可能なインターフェースを含んでよい。外部装置は、例えばインターネット上のサーバおよび運転者の携帯電話等を含んでよい。情報出力部6は、歩車間通信、路車間通信および車車間通信のためのインターフェースを含んでよい。複数の実施形態の1つにおいて、情報出力部6は、日本において提供されるDSRC(Dedicated Short-Range Communication:狭帯域通信システム)およびVICS(登録商標)(Vehicle Information and Communication System)の光ビーコンに対応した受信機を含んでよい。情報出力部6は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。情報出力部6は、外部装置から有線または無線を介して、例えばリアルタイムの交通情報、走行路の制限速度の一時的な変更を示す情報、他の車両が検出した対象物に関する情報、および信号機の点灯状態等を示す情報等を取得してよい。
 情報出力部6は、上述したものに限られず、例えばECU(Electronic Control UnitまたはEngine Control unit)、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ等を用いた障害物検出装置、ETC(Electronic Toll Collection System)受信装置、GPS(Global Positioning System)装置、およびナビゲーション装置等を含んでよい。
 情報出力部6は、車両4に関する情報および車両4の外部環境に関する情報を、例えばCANまたは専用線を介して表示制御装置5へ出力する。以下、車両4に関する情報を車両情報または移動体情報ともいう。車両4の外部環境に関する情報を環境情報ともいう。車両情報および環境情報は、情報出力部6に含まれる多様な装置から取得可能である。
 車両情報は、例えば車両4の速度、加速度、旋回重力、傾き、方角、旋回状況、ステアリング舵角、冷却水温度、燃料残量、バッテリ残量、バッテリ電圧、エンジン回転数、変速ギア、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは4輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、ならびに車両4の位置情報等、車両4に関する任意の情報を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。
 環境情報は、例えば車両4の周囲の明るさ、天気、気圧、外気温度、地図情報、走行路情報、車両4の目的地までの経路情報、および撮像装置の撮像画像等、車両4の外部環境に関する任意の情報を含んでよい。複数の実施形態の1つにおいて、環境情報は、後述する撮像画像上の対象物、対象物の動作、および対象物の状態を示す情報等、撮像画像に基づいて得られる情報を含んでよい。
[表示制御装置の動作]
 情報出力部6から取得する情報に基づいて表示制御情報を生成し出力する表示制御装置5の動作の詳細について説明する。
 表示制御装置5は、情報出力部6から車両情報および環境情報を取得する。表示制御装置5は、情報出力部6から取得した車両情報および環境情報の少なくとも一方に基づいて、車両4の動作、車両4の状態、車両4の外部環境の状態、車両4の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも1つを検出する。本出願において、「検出する」との記載を、状況に応じて「認識する」または「推定する」との意味で理解することができる。
 車両4の動作および状態には、例えば車両4の発進、加速、減速、停車、右左折、車線変更、進路、駐車、および車両4の現在位置等が含まれてよい。表示制御装置5が検出可能な車両4の動作および状態は、これらに限られない。車両4の動作および状態の検出は、車両情報および環境情報の少なくとも一方を用いた任意のアルゴリズムを用いて行われてよい。
 外部環境の状態には、車両4の外部環境の明るさ、天気、雨量、および目的地までの経路等が含まれてよい。表示制御装置5が検出可能な外部環境の状態は、これらに限られない。外部環境の状態の検出には、環境情報を用いた任意のアルゴリズムが採用可能である。
 車両4の周囲および車室内の対象物には、例えば走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、信号機、歩行者、他の車両、および車両4の運転者等が含まれてよい。表示制御装置5が検出可能な対象物は、これらに限られない。対象物の検出は、任意の物体検出アルゴリズムを用いて行われてよい。例えば、対象物の検出は、環境情報に含まれる撮像画像を用いたパターンマッチングまたは特徴点抽出等を用いて行われてよい。
 対象物の動作および状態には、例えば他の車両または歩行者等が車両4へ近付くこと、車両4から遠ざかること、車両4の進路に出入りすること、車両4から対象物までの距離、走行路の形状、信号機の点灯状態、運転者の姿勢、眠気、視線、視界、よそ見運転、および居眠り運転等が含まれてよい。走行路の形状は、例えば十字路、T字路、Y字路、および車線数等を含んでよい。表示制御装置5が検出可能な対象物の動作および状態は、これらに限られない。対象物の動作および状態の検出は、任意のアルゴリズムを用いて行われてよい。例えば、対象物の動作および状態の検出は、環境情報に含まれる1以上のフレームの撮像画像上における対象物の位置、大きさ、向き、およびこれらの変化等に基づいて行われてよい。
 このように、表示制御装置5は、情報出力部6から取得した車両情報および環境情報の少なくとも一方に基づいて、車両4の動作、車両4の状態、車両4の外部環境の状態、車両4の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも1つを検出する。複数の実施形態の1つにおいて、表示制御装置5に替えて情報出力部6が、車両4の動作、車両4の状態、車両4の外部環境の状態、車両4の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも1つを検出してよい。かかる場合、表示制御装置5は、車両情報および環境情報に替えて、車両4の動作、車両4の状態、車両4の外部環境の状態、車両4の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも1つを示す情報を情報出力部6から取得してよい。
 表示制御装置5は、車両情報および環境情報の少なくとも一方に基づく検出結果に基づいて、表示制御情報を生成する。検出結果は、車両4の動作、車両4の状態、車両4の外部環境の状態、車両4の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも1つを含んでよい。表示制御装置5は、表示制御情報を表示装置10へ出力する。
[表示装置の動作]
 表示装置10は、表示制御装置5から取得した表示制御情報に基づいて、被投影部材31を介する運転者の視界内に多様な情報を表示する。
 例えば、表示装置10は、車両4の速度およびエンジン回転数等の計器情報、ならびに走行路に定められた制限速度等を示す画像を、被投影部材31を介する運転者の視界における任意の位置に表示可能である。以下、この画像を第1画像ともいう。具体的には、第1画像は、例えばスピードメータを模した画像および制限速度を示す数値の画像を含んでよい。
 例えば、表示装置10は、被投影部材31を介する運転者の視界における所定の対象物の存在を示唆するマーカ画像を、被投影部材31を介する運転者の視界内の対象物に重畳して表示可能である。以下、当該マーカ画像を第2画像ともいう。以下の説明において、対象物に対する画像の重畳表示は、対象物の一部もしくは全部、または対象物の周囲に重畳して画像が表示されることを含んでよい。対象物に対する画像の重畳表示は、被投影部材31を介する運転者の視界内で移動し得る当該対象物に追従して画像の表示位置が変化することを含んでよい。被投影部材31を介する運転者の視界における対象物の位置は、例えば当該運転者の位置、姿勢、および視線等に基づいて算出可能である。所定の対象物は、例えば他の車両および歩行者等を含んでよい。表示装置10は、表示制御情報に従って、当該対象物に重畳表示したマーカ画像の位置、大きさ、形状、色、輝度、および濃淡等の表示態様を変化させてよい。
 例えば、表示装置10は、被投影部材31を介する運転者の視界外における所定の対象物の存在を示唆する示唆画像を、被投影部材31を介する運転者の視界における任意の位置に表示可能である。以下、当該示唆画像を第3画像ともいう。被投影部材31を介する運転者の視界外の領域は、例えば運転者から見てピラーの陰となる領域、および車両4の側方の領域等を含んでよい。所定の対象物は、例えば他の車両および歩行者等を含んでよい。
 例えば、表示装置10は、運転支援のための支援画像を、被投影部材31を介する運転者の視界内に表示可能である。以下、当該支援画像を第4画像ともいう。支援画像は、例えば車両4の後方の外部領域を表示する画像、車両4の進路を示唆する画像、前方に存在する他の車両で遮られた対象物に関する情報を示す画像、内輪差による巻き込みの注意を促す画像、および外輪差による接触の注意を促す画像等を含んでよい。
 車両4の後方の外部領域を表示する画像は、例えば左サイドカメラ、右サイドカメラ、リアカメラ、および電子式間接視装置(Electrical Device for In-direct Vision)からの画像を含んでよい。以下、車両4の後方の外部領域を表示する画像を、電子ミラー画像ともいう。
 車両4の進路を示唆する画像は、例えば車両情報に含まれる車両4の位置情報、環境情報に含まれる目的地までの経路情報、および環境情報に含まれる撮像画像のうち少なくとも1つに基づいて決定される進路を示す画像を含んでよい。車両4の進路を示唆する画像は、例えば右左折を促す画像、目的地までの経路を示す画像、および交差点等で進入すべき車線を示す画像等を含んでよい。
 前方に存在する先行車両で遮られた対象物に関する情報は、例えばこの先行車両の陰に隠れた信号機の点灯状態を示す画像を含んでよい。
 表示装置10は、支援画像を、被投影部材31を介する運転者の視界に含まれる所定の対象物に重畳して表示可能である。所定の対象物は、例えば走行路および車線等を含んでよい。表示装置10は、表示制御情報に従って、当該対象物に重畳表示した支援画像の位置、大きさ、形状、色、輝度、および濃淡等の表示態様を変化させてよい。
 上述のように表示制御装置5からの表示制御情報に基づいて表示装置10が被投影部材31を介する運転者の視界内に表示する多様な情報について、複数の具体例を挙げて説明する。
 図14は、車両4が走行路上を走行している際の被投影部材31を介する運転者の視界を示す。図14において、例えば車両4の速度を示すスピードメータ101が表示されている。スピードメータ101に替えて、またはスピードメータ101とともに、例えば走行路に定められた制限速度が表示されてよい。
 その後、被投影部材31を介する運転者の視界において車両4の進行方向に歩行者102が検出されると、図15に示すように、歩行者102に重畳してマーカ画像103が表示される。例えば、マーカ画像103は、車両4と歩行者102との間の距離が離れているほど小さく且つ濃く表示されてよい。このようにして、運転者は、遠方に存在する歩行者102に気付き易くなる。例えば、マーカ画像103は、運転者が歩行者102を視認し易いように、外周から中心に向かって薄くなるように表示されてよい。例えば、マーカ画像103は、運転者が歩行者102を意識させるために、外周から中心に向かって濃くなるように表示されてよい。マーカ画像103は、所定の表示態様で表示されてよい。所定の表示態様は、例えばマーカ画像103が拡大縮小したり明滅したりする等の表示態様を含んでよい。図14のスピードメータ101が一時的に非表示となってよい。スピードメータ101の一時的な非表示によって、運転者の歩行者102に対する注意が喚起され得る。
 その後、歩行者102が車両4へ相対的に近付くにしたがって、例えば図16に示すように、マーカ画像103が歩行者102に追従して移動する。マーカ画像103の移動によって、運手者は車両4に近付いた歩行者102の位置を認識し易くなる。歩行者102が車両4へ相対的に近付くにしたがって、マーカ画像103が大きく且つ薄く表示される。マーカ画像103を大きく且つ薄くすることによって、運転者は車両4に近付いた歩行者102を視認し易くなる。
 車両4の進路に進入し得る他の車両104または車両4の進路に進入した他の車両104が検出されると、例えば図17に示すように、当該他の車両104に重畳してマーカ画像105が表示される。他の車両104に重畳して表示されるマーカ画像105は、歩行者102に重畳して表示されるマーカ画像103と比較して、色、形状、輝度、および濃淡等の表示態様が異なってよい。
 具体的には、複数の実施形態の1つにおいて表示制御装置5は、車両4の進行方向に存在する他の車両104を検出すると、当該他の車両104の予測進路を算出する。他の車両104の予測進路は、任意のアルゴリズムを用いて算出されてよい。例えば、他の車両104の予測進路は、撮像画像上の走行路に対する当該他の車両104の位置、向き、操舵輪側面の楕円形状、および当該他の車両104の型式等に基づいて算出されてよい。表示制御装置5は、車両4の進路と、他の車両104の予測進路と、が重なる場合、車両4の進路に当該他の車両104が進入し得ると判定する。表示制御装置5は、当該他の車両104のうち、車両4の進路に進入し得る部分または進入した部分にのみマーカ画像105を重畳表示させてよい。
 その後、他の車両104による車両4の進路への進入が解消された場合、または進入の可能性がなくなった場合、例えば図18に示すように、マーカ画像105が非表示となる。マーカ画像105が非表示となる際、例えば危険を警告するために赤色または黄色で表示されていたマーカ画像105が青色に変化してから、非表示となってよい。非表示になる前にマーカ画像105の表示態様が変化することによって、運転者は危険が無くなったことを認識可能である。例えば、被投影部材31を介する運転者の視界内にマーカ画像105が表示されていない状態になると、一時的に非表示となっていたスピードメータ101が再表示されてよい。
 図19は、車両4が走行路上を走行している際の被投影部材31を介する運転者の視界を示す。被投影部材31を介する運転者の視界内には、横断歩道および歩行者106が存在している。図19では、歩行者106に重畳してマーカ画像107が表示されている。
 その後、車両4が横断歩道の手前まで走行し、例えば運転者から見てピラーの陰に歩行者106が入り込むと、歩行者106が被投影部材31を介する運転者の視界から外れる。歩行者が視界から外れると、例えば図20に示すように、歩行者106に重畳されたマーカ画像107が非表示になる。例えば、非表示になる前のマーカ画像107の位置に、歩行者106の存在を示唆する示唆画像108が表示される。非表示になる前のマーカ画像107の位置は、非表示になる直前のマーカ画像107の位置を含んでよい。示唆画像108は、運転者によって示唆画像108とマーカ画像107とを区別可能に表示されてよい。例えば、示唆画像108は、マーカ画像107の形状とは異なる形状で表示されてよい。例えば、示唆画像108は、星型形状であってよい。
 その後、横断歩道を進む歩行者106が再び被投影部材31を介する運転者の視界に入り込むと、例えば図21に示すように、示唆画像108が非表示になるとともに、当該歩行者106に重畳してマーカ画像107が再び表示される。被投影部材31を介する運転者の視界内に表示された示唆画像108がマーカ画像107に切り替わる際に、例えば示唆画像108の表示態様を連続的に変化させてマーカ画像107としてよい。かかる構成によれば、示唆画像108が示唆する対象物と、マーカ画像107が重畳された対象物と、の同一性を運転者が一見して把握可能となる。
 その後、横断歩道を進む歩行者106が、例えば対岸の歩道に到達し、または車両4の正面もしくは車両4の進路から外れると、例えば図22に示すように、マーカ画像107が非表示となる。一方、例えば運転者から見てピラーの陰または車両4の側方に、横断歩道を進む新たな歩行者109が検出されると、当該歩行者109の存在を示唆する示唆画像110が表示される。
 その後、横断歩道を進む当該新たな歩行者109が被投影部材31を介する運転者の視界に入り込むと、例えば図23に示すように、歩行者109に重畳してマーカ画像111が表示される。横断歩道を一方向に進む複数の歩行者109が被投影部材31を介する運転者の視界内に存在する場合、複数の歩行者109に対して1つのマーカ画像111が重畳表示されてよい。複数の歩行者109それぞれにマーカ画像111が重畳表示されてよい。最後尾の歩行者109のみにマーカ画像111が重畳表示されてよい。複数の歩行者109のうち、最前の歩行者109および最後尾の歩行者109のみにマーカ画像111が重畳表示されてよい。
 図24は、赤信号の交差点で車両4が右折を待っている際の被投影部材31を介する運転者の視界を示す。例えば右方向のターンシグナルの点灯に応じて、右折を促す支援画像112および車両4の右後方の領域を示す電子ミラー画像113が表示される。右折を促す支援画像112は、例えば右方向に折れ曲がる矢印の画像であってよい。右折を促す支援画像112は、右折して進入すべき車線に重畳して表示されてよい。右折を促す支援画像112に替えて、右折して進入すべき車線を示す支援画像が表示されてよい。車線を示す支援画像は、例えば被投影部材31を介する運転者の視界において車線に重畳して表示されてよい。車線を示す支援画像は、車線の上空に浮かぶように表示されてよい。
 その後、赤信号から青信号に切り替わると、例えば図25に示すように、左折または直進する対向車両114に重畳してマーカ画像115が表示される。運転者に対して対向車両114への注意を促すために、図24の右折を促す支援画像112が一時的に非表示となってよい。対向車両114が左折した後、例えば図26に示すように、左折または直進する新たな対向車両116にもマーカ画像117が重畳表示される。
 その後、例えば当該新たな対向車両116が左折し且つ他の対向車両が存在しなくなると、車両4が右折可能な状態になる。車両4が右折可能な状態になると、例えば図27に示すように、右折を促す支援画像112が再び表示される。
 その後、車両4が右折していくと、例えば図28に示すように、被投影部材31を介する運転者の視界内の進路に追従して、右折を促す支援画像112の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。右折後の走行路に複数の車線が存在する場合、例えば先行車両が少ない車線または目的地までの経路に適した車線等に、支援画像112が重畳表示される。具体的には、例えば右折後の走行路に直進専用の車線および左折専用の車線が存在するときに、目的地までの経路が右折後に直進する経路である場合、直進専用の車線が目的地までの経路に適した車線である。一方、目的地までの経路が右折後に左折する経路である場合、左折専用の車線が目的地までの経路に適した車線である。
 その後、例えば右方向のターンシグナルが消灯して車両4の右折が終了すると、例えば図29に示すように、右折を促す支援画像112および電子ミラー画像113が非表示になる。一時的に非表示となっていたスピードメータ101が再表示される。
 図30は、交差点で車両4が左折する際の被投影部材31を介する運転者の視界を示す。例えば左方向のターンシグナルの点灯に応じて、左折を促す支援画像118および車両4の左後方の領域を示す電子ミラー画像119が表示される。左折を促す支援画像118は、例えば左方向に折れ曲がる矢印の画像であってよい。左折を促す支援画像118は、被投影部材31を介する運転者の視界における左右方向中央に表示される。
 その後、車両4が左折していくと、例えば図31に示すように、左折を促す支援画像118が、被投影部材31を介する運転者の視界における左右方向中央から左方向へ移動していく。支援画像118は、運転者から見て進行する道路と重なって視覚化されるように移動してよい。
 その後、車両4の進路を横切って設けられた横断歩道を進む歩行者120が検出されると、例えば図32に示すように、歩行者120に重畳してマーカ画像121が表示される。運転者に対して歩行者120への注意を促すために、左折を促す支援画像118が一時的に非表示となってよい。
 その後、例えば図33に示すように、横断歩道を進む歩行者120に追従して、マーカ画像121の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。被投影部材31を介する運転者の視界内に横断歩道を進む新たな歩行者122が検出されると、当該新たな歩行者122に重畳してマーカ画像123が表示される。図33では、被投影部材31を介する運転者の視界内で奥から手前の方向に進む3人の歩行者のうち、先頭の歩行者120および最後尾の歩行者122にそれぞれマーカ画像121および123が重畳表示されている。例えば運転者から見てピラーの陰または車両4の左側方に、横断歩道を進む新たな歩行者が検出されると、当該歩行者の存在を示唆する示唆画像124が表示される。図33では、示唆画像124は星型形状である。示唆画像124は、被投影部材31を介する運転者の視界における左側に表示される。
 図34は、車両4の前方に存在する第1の交差点で車両4が左折する際の被投影部材31を介する運転者の視界を示す。図34では、例えば上述した図30に示す例と類似して、左折を促す支援画像125および車両4の左後方の領域を示す電子ミラー画像126が表示される。
 その後、車両4が左折すると、例えば図35に示すように、左折を促す支援画像125が、被投影部材31を介する運転者の視界における左右方向中央から左方向へ移動する。支援画像125は、運転者から見て進行する道路と重なって視覚化されるように移動してよい。
 その後、第1の交差点の左折終了前に、例えば次に右折すべき第2の交差点が被投影部材31を介する運転者の視界に入り込むと、例えば図36に示すように、第1の交差点の左折を促す支援画像125が非表示となる。第2の交差点の右折を促す支援画像127が表示される。右折を促す支援画像127は、例えば第2の交差点に重畳して表示されてよい。例えば、非表示になる前の、第1の交差点の左折を示す支援画像125の位置の近傍に、右折を促す支援画像127が表示されてよい。非表示になる前の支援画像125の位置は、非表示になる直前の支援画像125の位置を含んでよい。右折を促す支援画像127は、被投影部材31を介する運転者の視界における左右方向中央よりも左側に表示され、その後右方向に移動してよい。支援画像127は、運転者から見て進行する道路と重なるように移動してよい。かかる構成によれば、第1の交差点の左折を示す支援画像125を視認していた運転者の視線の近傍に、第2の交差点の右折を促す支援画像127が表示される。このため、第2の交差点の右折を促す支援画像127を運転者が視認する蓋然性が増大する。
 第1の交差点の左折終了後、車両4が第2の交差点の直前まで進行すると、例えば図37に示すように、被投影部材31を介する運転者に視界内の進路に追従して、右折を促す支援画像127の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。図37では、右折を促す支援画像127が、第2の交差点において右折して進入すべき車線128に重畳して表示される。例えば右方向のターンシグナルの点灯に応じて、車両4の右後方の領域を示す電子ミラー画像129が表示される。
 その後、運転者から見てピラーの陰または車両4の側方に、第2の交差点に横から進入する他の車両130が検出されると、当該他の車両130の存在を示唆する示唆画像131が表示される。例えば図38では、被投影部材31を介する運転者の視界における左右方向中央よりも右側に、第2の交差点に右から進入する他の車両130の存在を示唆する示唆画像131が表示されている。運転者に対して他の車両130への注意を促すために、右折を示す支援画像127が一時的に非表示となってよい。
 その後、第2の交差点に進入した他の車両130が被投影部材31を介する運転者の視界に入り込むと、例えば図39に示すように、示唆画像131が非表示になるとともに、当該他の車両130に重畳してマーカ画像132が表示される。
 その後、当該他の車両130が、例えば第2の交差点を通過した場合、または車両4の正面もしくは右折する車両4の進路から他の車両130が外れた場合、例えば図40に示すように、マーカ画像132が非表示となる。一時的に非表示となっていた右折を促す支援画像127が再表示される。
 その後、車両4が右折していくと、被投影部材31を介する運転者の視界内の進路に追従して、右折を示す支援画像127の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。例えば図41では、右折を促す支援画像127の矢印の向きが、進路の方向に略一致するように変化している。
 図42は、車両4が片側二車線の走行路の走行中に左車線から右車線に車線変更する際の、被投影部材31を介する運転者の視界を示す。例えば、右方向のターンシグナルの点灯に応じて、または左車線上の前方における障害物の検出に応じて、車両4の右後方の領域を示す電子ミラー画像133が表示されてよい。運転者から見てピラーの陰または車両4の右側方に、右車線を走行する他の車両134が検出されると、当該他の車両134の存在を示唆する示唆画像135が表示される。示唆画像135は、例えば被投影部材31を介する運転者の視界における左右方向中央よりも右側に表示され、または被投影部材31を介する運転者の視界内の右車線に重畳して表示される。
 その後、右車線を走行する他の車両134が被投影部材31を介する運転者の視界に入り込むと、例えば図43に示すように、示唆画像135が非表示になるとともに、当該他の車両134に重畳してマーカ画像136が表示される。
 その後、右車線を走行する当該他の車両134が、例えば車両4から一定距離以上前方まで到達した場合、または車線変更を行う車両4の進路から他の車両134が外れた場合、例えば図44に示すように、マーカ画像136が非表示となる。被投影部材31を介する運転者の視界内にマーカ画像136が表示されていない状態になると、例えばスピードメータ101が表示されてよい。
 図45は、先行車両137の後を車両4が走行している際の被投影部材31を介する運転者の視界を示す。例えば先行車両137がトラック等の大型車両である場合等には、先行車両137によって被投影部材31を介する運転者の視界の一部領域が遮蔽され得る。運転者の視界の一部領域が遮蔽された場合、当該先行車両137に重畳してマーカ画像138が表示される。先行車両137によって遮蔽された領域内に存在する対象物に関する情報が、被投影部材31を介する運転者の視界内に表示され得る。この遮蔽された領域内に存在する対象物に関する情報の表示と併せて、距離が近い先行車両が減速しているときに、当該先行車両が減速していることを促す注意表示をしてよい。以下、具体的に説明する。
 図45では、被投影部材31を介する運転者の視界内に存在し運転者が視認可能な第1の信号機139は、青信号である。一方、先行車両137の陰に隠れて運転者が視認できない第2の信号機は赤信号であり、先行車両137は緩やかに減速しているものとする。車両4は、例えば第2の信号機との路車間通信、または先行車両137との車車間通信によって、第2の信号機が赤信号であることを検出する。
 運転者が視認できない第2の信号機が赤信号であることを示す支援画像140が、被投影部材31を介する運転者の視界内に表示されてよい。しかしながら、例えば第1の信号機139が青信号であるにも関わらず、被投影部材31を介する運転者の視界内に第2の信号機が赤信号であることを示す支援画像140が表示されると、運転者が混乱するおそれがある。これに対して、本実施形態では、例えば図45に示すように、被投影部材31を介する運転者の視界において視認可能な第1の信号機139が存在する限り、当該支援画像140の表示が停止される。かかる構成によれば、支援画像140の表示によって運転者が混乱する蓋然性が低減する。
 その後、車両4および先行車両137が前進すると、第1の信号機139が被投影部材31を介する運転者の視界から外れ得る。第1の信号機139が視界から外れると、支援画像140の表示停止が解除され、例えば図46に示すように支援画像140が表示される。図46では、支援画像140は、赤信号を模した画像である。支援画像140は、マーカ画像138の近傍に表示されている。しかしながら、支援画像140の外観および表示位置は任意に定められてよい。
 その後、車両4および先行車両137が一時停止すると、例えば図47に示すように、マーカ画像138および支援画像140が非表示となる。その後、例えば第2の信号機が青信号に変化すると、第2の信号機が青信号であることを示す支援画像が表示されてよい。あるいは、車両4および先行車両137が一時停止しても、支援画像140は表示されたままであってよい。かかる場合、第2の信号機が青信号に変化すると、赤信号を模した支援画像140が青信号を模した画像に変化してよい。
 図48は、駐車場に駐車していた車両4が発進しつつ右方向に曲がる際の被投影部材31を介する運転者の視界を示す。例えば右方向のターンシグナルの点灯に応じて、車両4の右後方の領域を示す電子ミラー画像141が表示される。内輪差による巻き込みによって車両4と接触する可能性がある対象物の検出に応じて、車両4の右側方における巻き込みの注意を促す支援画像142が表示される。車両4と接触する可能性がある対象物は、例えば車両4から所定の距離範囲内に存在する歩行者、駐車中の他の車両、縁石、ガードレール、および電信柱等を含んでよい。例えば図48では、支援画像142は、車両4の形状を示す画像143と、巻き込みが発生し得る車両4の右側面を示す画像144と、を含んでいる。
 以上、表示装置10が表示する多様な画像の具体例について説明したが、表示装置10が表示する情報はこれらに限られない。
 図49を参照して、表示装置10、表示制御装置5、および情報出力部6の動作について説明する。本動作は、例えば周期的に実行されてよく、または所定のタイミングで実行されてよい。
 ステップS200:情報出力部6は、車両情報および環境情報を表示制御装置5へ出力する。
 ステップS201:表示制御装置5は、ステップS200で送信された車両情報および環境情報を取得する。
 ステップS202:表示制御装置5は、車両情報および環境情報の少なくとも一方に基づいて、車両4の動作、車両4の状態、車両4の外部環境の状態、車両4の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも1つを検出する。表示制御装置5は、検出結果に基づいて表示制御情報を生成する。
 ステップS203:表示制御装置5は、ステップS202で生成した表示制御情報を表示装置へ出力する。
 ステップS204:表示装置10は、ステップS203で送信された表示制御情報を取得する。
 ステップS205:表示装置10は、表示制御情報に基づいて、被投影部材31を介する運転者の視界内に多様な情報を表示する。
 以上述べたように、本実施形態に係る表示制御装置5は、情報出力部6から取得する車両情報および環境情報の少なくとも一方に基づいて、表示制御情報を生成する。表示制御装置5は、表示制御情報を表示装置10へ送信することによって、被投影部材31を介する運転者の視界内に多様な情報を表示させる。表示される情報の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が、車両情報および環境情報の少なくとも1つに応じて変化する。かかる構成によれば、時々刻々と変化する車両情報および環境情報に応じた表示態様で多様な情報が運転者に対して提示される。このため、表示システム1の利便性が向上する。
 本開示を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。
 1 表示システム
 10 表示装置
 11 画像投影部
 12 駆動部
 12a 第1回転軸
 12b 第2回転軸
 13 拡大光学系
 14 中間像面部
 15 第1制御部
 16 画像生成部
 17 光源部
 18 走査部
 20 画像投影光
 20a 第1光路
 20b 第2光路
 21 表示画像
 21a 虚像
 21b 実像
 22 目
 23-1~n(23) サブ画像
 24 領域
 24-1~m 第1~第m領域
 31 被投影部材
 32 被投影面
 4 車両
 41 インストルメントパネル
 42 フロントウィンドシールド
 5 表示制御装置
 51 通信部
 52 記憶部
 53 第2制御部
 6 情報出力部

Claims (31)

  1.  被投影面に画像を投影する画像投影光を射出する画像投影部と、
     前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、
     前記制御部は、前記被投影面上の前記画像投影光が投影される一以上の領域の面積の総和が、所定の上限を超えないように制御する表示装置。
  2.  請求項1に記載の表示装置であって、
     前記制御部が、前記被投影面上の二以上の領域に画像投影光を投影する制御を行う場合、前記制御部は、前記画像投影光が前記領域の一つに至る光路が長いほど、前記時分割の一周期における前記画像投影光を該領域の一つに射出する時間を、他の領域に射出する時間に対し長くするように制御する表示装置。
  3.  請求項1または2に記載の表示装置であって、
     前記制御部は、前記画像投影部から射出される画像投影光の強度を制御でき、前記画像投影光が前記領域の一つに至る光路が長いほど、前記画像投影光の強度を高くするように制御する表示装置。
  4.  請求項1乃至3の何れか一項に記載の表示装置であって、
     前記画像投影部は、前記画像を生成する画像生成部と、前記画像を前記被投影面に投影する拡大光学系と、前記画像生成部と前記拡大光学系との相対位置を変更する駆動部とを備える表示装置。
  5.  請求項1乃至3の何れか一項に記載の表示装置であって、
     前記画像投影部は、光ビームを射出する光源部と、前記光源部から射出された光ビームを走査する走査部と、前記走査部で走査された前記光ビームが前記画像を結像する中間像面部と、前記画像を前記被投影面に投影する拡大光学系とを備え、前記制御部は前記走査部を制御し、前記中間像面部の一以上の領域に前記画像を表示させる表示装置。
  6.  請求項1乃至5の何れか一項に記載の表示装置であって、
     前記制御部は、前記時分割の制御を毎秒30回以上の周期で実行する表示装置。
  7.  光を受けて該光を散乱し、または、光を受けて発光する被投影部材と、
     画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部と、
     前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、
     前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システム。
  8.  光の少なくとも一部を反射する被投影部材と、
     画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部と、
     前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、
     前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システム。
  9.  請求項8に記載の表示システムであって、
     前記被投影部材の少なくとも一部は、前記画像投影部から投影された少なくとも一部の前記画像投影光を、使用者の視野内に向けて正反射とは異なる角度で反射する反射角度制御部材で構成される表示システム。
  10.  請求項7乃至9の何れか一項に記載の表示システムであって、
     前記被投影部材は、光を少なくとも部分的に透過し、前記画像投影部は、前記画像を、前記被投影部材を透過する実空間の背景と重畳して表示する表示システム。
  11.  請求項10に記載の表示システムであって、
     前記制御部は、前記背景の明るさを取得し、該明るさに基づいて前記画像が視認可能となるように前記被投影部材の一以上の領域の面積の総和の前記所定の上限を決定する表示システム。
  12.  請求項7乃至11の何れか一項に記載の表示システムであって、
     前記画像投影部は、前記画像を生成する画像生成部と、前記画像を前記被投影部材に投影する拡大光学系と、前記画像生成部を前記拡大光学系に対して駆動する駆動部とを備える表示システム。
  13.  請求項7乃至11の何れか一項に記載の表示システムであって、
     前記画像投影部は、光ビームを射出する光源部と、前記光源部から射出された光ビームを走査する走査部と、前記走査部で走査された前記光ビームが前記画像を結像する中間像面部と、前記画像を前記被投影部材に投影する拡大光学系とを備え、前記制御部は前記走査部を制御し、前記中間像面部の一以上の領域に前記画像を表示させる表示システム。
  14.  請求項7乃至13の何れか一項に記載の表示システムであって、
     前記制御部は、前記時分割の制御を毎秒30回以上の周期で実行する表示システム。
  15.  光の少なくとも一部を反射する被投影部材と、画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部と、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システムを備え、前記被投影部材はウィンドシールドに設けられる移動体。
  16.  光を受けて該光を散乱し、または、光を受けて発光する被投影部材と、画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部と、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システムを備え、前記被投影部材はウィンドシールドに設けられる移動体。
  17.  移動体に備えられる表示システムであって、
     前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、
     前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を備え、
     前記制御情報は、前記支援画像の表示位置を変化させる情報を含む、表示システム。
  18.  請求項17に記載の表示システムであって、
     前記支援画像は、前記運転者の視界における第1対象物の一部もしくは全部、または前記第1対象物の周囲に重畳して表示され、
     前記運転者の視界における前記支援画像の表示位置は、前記運転者の視界における前記第1対象物の位置に追従して変化する、表示システム。
  19.  請求項18に記載の表示システムであって、
     前記第1対象物の位置を測るセンサを備え、
     前記表示制御装置は、前記位置に基づいて前記制御情報を生成する、表示システム。
  20.  請求項17乃至19の何れか一項に記載の表示システムであって、
     前記運転者の目を含む画像を撮像するカメラを備え、
     前記表示制御装置は、前記画像に基づいて前記制御情報を生成する、表示システム。
  21.  請求項17乃至20の何れか一項に記載の表示システムであって、
     前記運転者の視界内に第2対象物が存在する間、前記支援画像は非表示となる、表示システム。
  22.  移動体であって、
     前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を有する表示システムを備え、
     前記制御情報は、前記支援画像の表示位置を変化させる情報を含む、移動体。
  23.  移動体に備えられる表示システムを用いる表示方法であって、
     前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、
     前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させるステップと、を含み、
     前記制御情報は、前記支援画像の表示位置を変化させる情報を含む、表示方法。
  24.  移動体に備えられる表示システムであって、
     前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、
     前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を備え、
     前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む、表示システム。
  25.  請求項24に記載の表示システムであって、
     前記マーカ画像は、前記運転者の視界における前記対象物の一部もしくは全部、または前記対象物の周囲に重畳して表示され、
     前記運転者の視界における前記マーカ画像の表示位置は、前記運転者の視界における前記対象物の位置に追従して変化する、表示システム。
  26.  請求項25に記載の表示システムであって、
     前記対象物の位置を測るセンサを備え、
     前記表示制御装置は、前記位置に基づいて前記制御情報を生成する、表示システム。
  27.  請求項24乃至26の何れか一項に記載の表示システムであって、
     前記運転者の目を含む画像を撮像するカメラを備え、
     前記表示制御装置は、前記画像に基づいて前記制御情報を生成する、表示システム。
  28.  請求項24乃至27の何れか一項に記載の表示システムであって、
     前記マーカ画像の表示態様が、前記移動体と前記対象物との相対的位置関係に応じて変化する、表示システム。
  29.  請求項24乃至28の何れか一項に記載の表示システムであって、
     前記表示装置は、前記対象物が前記運転者の視界から外れると、前記運転者の視界外における前記対象物の存在を示唆する示唆画像を、前記運転者の視界内に表示させる、表示システム。
  30.  移動体であって、
     前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を有する表示システムを備え、
     前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む、移動体。
  31.  移動体に備えられる表示システムを用いる表示方法であって、
     前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、
     前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させるステップと、を含み、
     前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む、表示方法。
PCT/JP2017/022752 2016-06-20 2017-06-20 表示装置、表示システム、移動体、および表示方法 WO2017221945A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17815413.4A EP3474268A4 (en) 2016-06-20 2017-06-20 DISPLAY APPARATUS, DISPLAY SYSTEM, MOBILE BODY, AND DISPLAY METHOD
JP2018524118A JP6930971B2 (ja) 2016-06-20 2017-06-20 表示装置、表示システム、および移動体
US16/311,298 US10917619B2 (en) 2016-06-20 2017-06-20 Display apparatus, display system, moveable body, and display method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2016-122143 2016-06-20
JP2016122141 2016-06-20
JP2016122145 2016-06-20
JP2016-122145 2016-06-20
JP2016-122141 2016-06-20
JP2016122143 2016-06-20

Publications (1)

Publication Number Publication Date
WO2017221945A1 true WO2017221945A1 (ja) 2017-12-28

Family

ID=60784593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/022752 WO2017221945A1 (ja) 2016-06-20 2017-06-20 表示装置、表示システム、移動体、および表示方法

Country Status (4)

Country Link
US (1) US10917619B2 (ja)
EP (1) EP3474268A4 (ja)
JP (1) JP6930971B2 (ja)
WO (1) WO2017221945A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021085992A (ja) * 2019-11-27 2021-06-03 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
WO2021240688A1 (ja) * 2020-05-27 2021-12-02 日本電信電話株式会社 表示装置及び表示方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10895741B2 (en) * 2017-10-03 2021-01-19 Industrial Technology Research Institute Ultra-wide head-up display system and display method thereof
JP7037764B2 (ja) * 2018-03-29 2022-03-17 株式会社リコー 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
DE102021107390A1 (de) * 2021-03-24 2022-09-29 Claas E-Systems Gmbh Landwirtschaftliche Arbeitsmaschine
KR20230076580A (ko) * 2021-11-24 2023-05-31 현대자동차주식회사 모빌리티의 사이드 프로젝션 램프 장치
US11697346B1 (en) * 2022-03-29 2023-07-11 GM Global Technology Operations LLC Lane position in augmented reality head-up display system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008004438A1 (fr) * 2006-07-03 2008-01-10 Panasonic Corporation Système de projecteur et procédé de projection d'image video
JP2008094377A (ja) * 2006-09-14 2008-04-24 Toyota Motor Corp 車両用表示装置
JP2009251194A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 表示装置、ヘッドアップディスプレイ及びそれを用いた移動体
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP2015080988A (ja) * 2013-10-22 2015-04-27 日本精機株式会社 車両情報投影システム及び投影装置
JP2015092237A (ja) * 2013-10-03 2015-05-14 パナソニックIpマネジメント株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置
JP2016024420A (ja) * 2014-07-24 2016-02-08 トヨタ自動車株式会社 車両用表示装置
JP2016024673A (ja) * 2014-07-22 2016-02-08 株式会社デンソー 車両用表示制御装置
JP2016062095A (ja) * 2014-09-12 2016-04-25 日本精機株式会社 レーザー走査型表示装置及びヘッドアップディスプレイ装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2006162442A (ja) * 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
JP5511186B2 (ja) 2006-07-05 2014-06-04 勲 伊藤 水素発生方法、水素発生合金及び水素発生合金製造方法
JP2008089841A (ja) * 2006-09-29 2008-04-17 Brother Ind Ltd 投影装置
US8629903B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
JP5723123B2 (ja) * 2010-09-13 2015-05-27 矢崎総業株式会社 ヘッドアップディスプレイ
JP2012078619A (ja) 2010-10-04 2012-04-19 Panasonic Corp 透過型表示装置
CN102640034B (zh) * 2010-10-04 2015-02-18 松下电器产业株式会社 透过型显示装置、移动体以及控制装置
JP5903819B2 (ja) 2011-03-22 2016-04-13 日本精機株式会社 フィールドシーケンシャル画像表示装置
CN103323947A (zh) * 2012-03-19 2013-09-25 江苏慧光电子科技有限公司 一种基于激光全息投影成像的平视显示装置
JP6387589B2 (ja) * 2013-08-30 2018-09-12 株式会社リコー 画像形成装置、車両、及び画像形成装置の制御方法
CN105682973B (zh) 2013-10-22 2018-06-19 日本精机株式会社 车辆信息投影系统和投影装置
JP6311966B2 (ja) 2014-02-17 2018-04-18 株式会社リコー 光照射装置及びこれを備えた画像表示装置
JP6374676B2 (ja) 2014-03-10 2018-08-15 矢崎総業株式会社 車両用発光表示装置及び車両用表示システム
JP6333007B2 (ja) * 2014-03-18 2018-05-30 パイオニア株式会社 虚像表示装置
JP6287437B2 (ja) * 2014-03-26 2018-03-07 セイコーエプソン株式会社 プロジェクター
EP3133436B1 (en) * 2014-04-14 2020-03-11 Panasonic Intellectual Property Management Co., Ltd. Heads-up display and moving body equipped with heads-up display
JP6271006B2 (ja) * 2014-06-13 2018-01-31 三菱電機株式会社 虚像表示装置
JP6448242B2 (ja) * 2014-07-18 2019-01-09 株式会社ミツトヨ 形状測定装置の測定誤差の補正方法及び形状測定装置
CN108473055B (zh) * 2016-02-05 2021-02-26 麦克赛尔株式会社 平视显示器装置
KR102124894B1 (ko) * 2016-02-10 2020-06-19 가부시키가이샤 리코 정보 표시 장치
JP6732631B2 (ja) * 2016-10-31 2020-07-29 株式会社ジャパンディスプレイ 表示装置
JP6717264B2 (ja) * 2017-06-08 2020-07-01 株式会社Jvcケンウッド 虚像表示装置、中間像形成部および画像表示光生成ユニット
JPWO2019004238A1 (ja) * 2017-06-29 2020-04-30 日本精機株式会社 ヘッドアップディスプレイ装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008004438A1 (fr) * 2006-07-03 2008-01-10 Panasonic Corporation Système de projecteur et procédé de projection d'image video
JP2008094377A (ja) * 2006-09-14 2008-04-24 Toyota Motor Corp 車両用表示装置
JP2009251194A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 表示装置、ヘッドアップディスプレイ及びそれを用いた移動体
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP2015092237A (ja) * 2013-10-03 2015-05-14 パナソニックIpマネジメント株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置
JP2015080988A (ja) * 2013-10-22 2015-04-27 日本精機株式会社 車両情報投影システム及び投影装置
JP2016024673A (ja) * 2014-07-22 2016-02-08 株式会社デンソー 車両用表示制御装置
JP2016024420A (ja) * 2014-07-24 2016-02-08 トヨタ自動車株式会社 車両用表示装置
JP2016062095A (ja) * 2014-09-12 2016-04-25 日本精機株式会社 レーザー走査型表示装置及びヘッドアップディスプレイ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3474268A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021085992A (ja) * 2019-11-27 2021-06-03 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
WO2021106663A1 (ja) * 2019-11-27 2021-06-03 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
JP7332449B2 (ja) 2019-11-27 2023-08-23 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
WO2021240688A1 (ja) * 2020-05-27 2021-12-02 日本電信電話株式会社 表示装置及び表示方法

Also Published As

Publication number Publication date
EP3474268A4 (en) 2019-11-13
EP3474268A1 (en) 2019-04-24
US20190191131A1 (en) 2019-06-20
JPWO2017221945A1 (ja) 2019-05-23
JP6930971B2 (ja) 2021-09-01
US10917619B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
JP6930971B2 (ja) 表示装置、表示システム、および移動体
JP7254832B2 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
KR101908308B1 (ko) 차량용 램프
US11639138B2 (en) Vehicle display system and vehicle
US11899201B2 (en) Head-up display for vehicles and head-up display system for vehicles
JP2019011017A (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US11597316B2 (en) Vehicle display system and vehicle
US12083957B2 (en) Vehicle display system and vehicle
JP2016118851A (ja) 虚像表示装置
US20240227664A1 (en) Vehicle display system, vehicle system, and vehicle
WO2021054277A1 (ja) ヘッドアップディスプレイおよび画像表示システム
JP6748947B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
US12061335B2 (en) Vehicular head-up display and light source unit used therefor
JP2021117704A (ja) 表示装置、及び表示方法
JP7563111B2 (ja) ヘッドアップディスプレイ装置
JP6712942B2 (ja) 画像処理装置、撮像装置、および表示システム
JP2021117220A (ja) 表示装置、移動体、表示方法、及びプログラム
JP2021104803A (ja) 表示装置、表示方法及びプログラム
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815413

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018524118

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017815413

Country of ref document: EP

Effective date: 20190121