WO2019082626A1 - 情報表示装置およびその空間センシング装置 - Google Patents

情報表示装置およびその空間センシング装置

Info

Publication number
WO2019082626A1
WO2019082626A1 PCT/JP2018/037459 JP2018037459W WO2019082626A1 WO 2019082626 A1 WO2019082626 A1 WO 2019082626A1 JP 2018037459 W JP2018037459 W JP 2018037459W WO 2019082626 A1 WO2019082626 A1 WO 2019082626A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
information display
information
image
driver
Prior art date
Application number
PCT/JP2018/037459
Other languages
English (en)
French (fr)
Inventor
平田　浩二
藤田　浩司
栄治 高木
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to DE112018004671.0T priority Critical patent/DE112018004671T5/de
Priority to CN202311027382.2A priority patent/CN116788039A/zh
Priority to US16/754,764 priority patent/US11878586B2/en
Priority to CN201880067362.9A priority patent/CN111213114B/zh
Publication of WO2019082626A1 publication Critical patent/WO2019082626A1/ja
Priority to US18/522,958 priority patent/US20240092172A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • B60K2360/149—
    • B60K2360/176—
    • B60K2360/31—
    • B60K2360/66—
    • B60K35/10—
    • B60K35/23—
    • B60K35/28—
    • B60K35/654—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Definitions

  • the HUD device is compacted in order to be placed between the steering and the windshield in front of the driver's seat, and in addition it is operated in such a way as to interact while watching the projected screen
  • the HUD device is compacted in order to be placed between the steering and the windshield in front of the driver's seat, and in addition it is operated in such a way as to interact while watching the projected screen
  • the present invention has been made to achieve the above-described object, and one example thereof is an information display device for displaying information on a vehicle, in an image display area in front of a driver seat of the vehicle.
  • the driver includes: an information display device for displaying image information; and a space sensing means for detecting position information of an instruction by the driver in a space region between the driver's seat and the image display region to be displayed; Means for displaying an instruction by the user in the image display area in front of the user in response to position information of the instruction by the driver detected by the space sensing means.
  • FIG. 1 is a schematic configuration diagram of an information display device provided with an interactive function according to an embodiment of the present invention and peripheral devices of the information display device.
  • FIG. 1A is a cross-sectional perspective view of the information display device
  • FIG. 1B is a schematic block diagram of peripheral devices.
  • a virtual image may be formed in front of the host vehicle in the driver's line of sight 8 so as to make the driver visually recognize. Also includes foreground information captured by a camera (not shown) such as a surveillance camera or an around viewer.
  • the HUD device 100 includes the video display device 4 and a control device 40 that controls the backlight light source 10.
  • the optical components including the image display device 4 and the backlight light source 10 are virtual image optical systems described below, and include a concave mirror 1 having a concave shape for reflecting light. The light reflected by the concave mirror 1 is reflected by the windshield 6 and directed to the line of sight 8 of the driver (which may be the eye point range of the driver that can be viewed correctly).
  • Examples of the video display device 4 include a self-luminous VFD (Vacuum Fluorescent Display) in addition to an LCD (Liquid Crystal Display) having a backlight.
  • VFD Volt Fluorescent Display
  • LCD Liquid Crystal Display
  • an image is displayed on the screen by the projection device, and it is reflected by the windshield 6 which is a projected member as a virtual image by the concave mirror 1 described above. You may change it.
  • a screen for example, a microlens array in which microlenses are two-dimensionally arranged may be used.
  • the shape of the concave mirror 1 is such that the light beam is below the windshield 6 shown in FIG. 1A (relatively short distance to the driver's viewpoint).
  • the radius of curvature is relatively small so that the magnifying power is large, while in the lower part (the area where the light beam is reflected above the windshield 6 where the distance to the driver's viewpoint is relatively long)
  • the radius of curvature is relatively increased so as to reduce the enlargement ratio.
  • even better correction can be realized by inclining the image display device 4 with respect to the optical axis of the concave mirror to correct the difference in the virtual image magnification described above to reduce the distortion itself.
  • the control device 40 controls the navigation system 60 to set the speed limit and the number of lanes of the road corresponding to the current position where the host vehicle is traveling.
  • Various information such as a planned movement route is acquired as foreground information (that is, information to be displayed in front of the host vehicle by the virtual image).
  • the driving support ECU 62 is a control device that realizes driving support control by controlling a drive system and a control system in accordance with an obstacle detected as a result of monitoring by the periphery monitoring device 63.
  • the driving support control for example, Includes well-known technologies such as cruise control, adaptive cruise control, pre-crash safety and lane keeping assist.
  • the periphery monitoring device 63 is a device that monitors the situation around the host vehicle, and as an example, a camera that detects an object present around the host vehicle based on an image obtained by photographing the periphery of the host vehicle, a survey wave
  • the search device or the like detects an object present around the host vehicle based on the result of transmitting and receiving
  • the control device 40 acquires such information from the driving support ECU 62 (for example, the distance to the preceding vehicle and the heading of the preceding vehicle, the position where an obstacle or a sign is present, etc.) as foreground information. Further, the control device 40 receives an ignition (IG) signal and vehicle state information. Among these pieces of information, the vehicle state information is information acquired as vehicle information, and for example, a predetermined abnormal state such as the remaining amount of fuel of the internal combustion engine or the temperature of the cooling water Contains warning information to represent. In addition, the operation result of the turn indicator, the traveling speed of the host vehicle, the shift position information, and the like are also included.
  • IG ignition
  • the video signal from the control device 40 described above is video information corresponding to the state of the car and the surrounding environment, and the HUD device 100 which is a first information display device to be superimposed on a virtual view on a distant view of the viewer.
  • the driver who is a viewer, is selectively displayed as needed on the projection optical device 220 which is the second information display device which superimposes a real image on a near view, and the direct view instrument panel 42 which is the third information display device. Reduce the movement of the point of view that occurs while driving.
  • the control device 40 is activated when an ignition signal is input.
  • FIG. 2 is a schematic cross-sectional view showing the information display device, the windshield, and the viewpoint position of the driver in the present embodiment.
  • FIG. 3 is a schematic explanatory drawing of the image display position in a present Example, and is the schematic which looked the windshield 6 from the driver's seat.
  • the information display apparatus in the present embodiment has a virtual image distance of 8 m to the viewer with the image display area 1 (a) (see FIGS. 2 and 3) in the vicinity of the central part of the windshield 6 by the HUD device 100 described above.
  • the inventor measures the viewpoint position change of the driver when traveling in an urban area, and determines that the viewpoint movement can be reduced by 90% if the maximum value of the virtual image distance is 30 m, and the virtual image distance is 70 m at high speed traveling. It was determined by experiment that the movement of the viewpoint can be similarly suppressed by the above.
  • the size of the virtual image required at this time is equivalent to 350 inches.
  • the image is displayed in the image display area 1 (a) using the HUD device 100 for displaying a virtual image, while in the image display area 2 (a)
  • a real image is captured using a projection optical device 220 that scans a light flux of a specific polarization with a MEMS (Micro Electro Mechanical Systems) element under the windshield. Project.
  • MEMS Micro Electro Mechanical Systems
  • the lower part of the windshield that projects an image contains or has a member that has different characteristics for the specific polarization, which will be described in detail later, for the other polarization, or is applied or adhered or adhered to the glass surface in the car This effectively reflects the image light and directs the real image to the viewer.
  • the horizontal display size of the image display area 1 (a) on the windshield 6 by the HUD device 100 is the horizontal direction of the real image display by the projection optical device 220 in order to focus on a distant front of the windshield as a virtual image. It becomes smaller than the display size.
  • the image is displayed in a part or all of the distant image display area 1 (b) where a virtual image is displayed using the HUD device
  • three-dimensional display can be performed in a pseudo manner by overlappingly displaying the image display area 2 (b) to be superimposed.
  • a good effect is obtained.
  • continuity of the display image can be obtained, and new effects such as smooth viewpoint movement can be obtained.
  • the display position, display color, and display interval of the virtual image projected near the center part of the windshield described above are appropriately selected by the camera 210 for viewing that observes the state of the viewer, and the car controlled in the automatic traveling state is next An operation to be performed, for example, not only displays information such as right / left turn, stop, acceleration, etc., but also senses the driver's health state and sleepiness etc, and displays an alerting image based on such information. These pieces of information do not need to be displayed at all times, and it is desirable that the movement of the driver's eyes be tracked by the viewing camera 210 and displayed at a necessary place as needed.
  • ⁇ Interactive function> In the above-described information display apparatus, for example, in order to reduce viewpoint movement and acquire a lot of information, a plurality of videos are selected or displayed by using a space sensing apparatus in combination. It has been confirmed that a video display apparatus can be realized which selects and changes a large number of displayed images such as vehicle control and control contents and navigation information with a small viewpoint movement by selecting a switch part or the like. In particular, by realizing a so-called interactive function capable of performing an operation in a form in which the user can interact while viewing the projected screen, an information display device that is more convenient and superior in usability is realized. We confirmed that it was effective. The configuration for realizing such an interactive function will be described below.
  • Reference numeral 51 shown in FIG. 1A is a space sensing device corresponding to the instrument panel 42 (image display area 3 (a) or 3 (b)), and a plurality of space sensing devices are arranged by being disposed close to the display surface. It is possible to select an image or to select a switch unit on which the image is displayed, and to select a large number of display images such as vehicle control and control contents and navigation information with a small viewpoint movement. Furthermore, reference numerals 52 and 53 are arranged in parallel with the space sensing device 51 to spatially sense position information in the depth direction from the steering 43 toward the windshield 6 (see the image display area 1 (a) of FIG. It is a space sensing device which enables 2 (a) or corresponding to the image display area 1 (b) or 2 (b) of FIG.
  • the space sensing device 53 particularly corresponds to the space sensing device 53 corresponding to the image display area 1 (a) or 1 (b) in FIGS. 3 and 4 as an example.
  • the driver who is driving while watching the information displayed in the image display area is seated in the driver's seat Also on the screen displayed in the image display area, by freely operating / moving the finger (or the rod-like object gripped by the finger: obstacle) in the space area (indicated by the broken line A in the figure)
  • the pointer pointer
  • the position of the pointing means is calculated from the coordinate position of the detected finger (obstacle) via the conversion device 531 etc., and the position information to the above HUD device 100 is obtained as the position information of the pointer.
  • Output as (see FIG. 1 or FIG. 2).
  • the driver looks at the screen information displayed in front, and in the space area indicated by the broken line A described above, a finger or the like at a desired position of the screen information.
  • By moving the position information it becomes possible to input position information for a desired position of the screen information and to designate a desired command. That is, it becomes possible to realize a so-called interactive function that can be operated in a form in which the user interacts while viewing the projected screen.
  • FIG. 7 shows the basic principle of the configuration and operation of the space sensing device of the present invention.
  • the finger of the user for example, the driver
  • the luminous flux ⁇ 1 from the first light source 60 is reflected by the condenser optical element 61 as a substantially parallel luminous flux and reflected by the user's finger
  • the reflected light flux ⁇ 3 is condensed by the condensing lens element 65 and reaches the first light receiving unit 64.
  • the distance information to the finger in the Y-axis direction is simultaneously determined by the temporal difference .DELTA.t1 between the light emission time of the first light source 60 and the light reception time of the first light receiver 64.
  • the position information in the X-axis direction is obtained from the first light receiving unit 64 and the absolute position coordinates.
  • the luminous flux ⁇ 4 from the third light source 68 is approximately parallel luminous flux by the condenser optical element 69
  • the reflected light flux is reflected by the user's finger moving to form a reflected light beam ⁇ 6, which is collected by the light collecting lens element 73 and reaches the third light receiving part 72.
  • the distance information to the finger in the Y-axis direction is simultaneously determined by the temporal difference ⁇ t2 between the light emission time of the third light source 68 and the light reception time of the third light receiver 72, and the light emission time of the third light source 68 simultaneously
  • the position information in the X-axis direction is obtained from the third light receiving unit 72 and the absolute position coordinates.
  • a plurality of units 80 for sensing position information in the X-axis direction and the Y-axis direction described in FIG. 7 are arranged in a plurality of Z-axis directions (the depth direction from the steering 43 toward the windshield 6) (in FIG. 82)).
  • the luminous flux ⁇ 8 from the specific light source 60 of the first unit 80 is approximately
  • the light beam is reflected by the user's finger which moves in parallel and without movement, and is reflected by the light collecting lens element (not shown) as a reflected light flux .phi.7 to reach the light receiving portion (not shown).
  • the time (absolute time T1) of passing the first unit 80 and the XY coordinates become clear by the operation of the unit described above.
  • the time (absolute time T2) and XY coordinates of passing through the second unit 81 become clear in the second unit 81 as well. Further, since the light beam ⁇ 11 of the third unit 82 does not block the user's finger as shown in FIG. 8, the position of the finger in the Z-axis direction can also be specified.
  • a space is obtained from the time difference between the absolute time T1 and the absolute time T2 described above and the sensing output of the second unit 81 (XY coordinates and absolute time when light reflected from the finger is obtained by the light receiving unit).
  • the movement speed and acceleration of the finger in the Z coordinate direction of the axis can be determined.
  • the movement direction and acceleration of the finger are calculated from the sensing information from the first unit 80 and the second unit 81, and not only mere position information but also the user's will (the intention is strong if the acceleration is high, etc.) It can be reflected on the amount, speed and position of the information display.
  • the configuration of the space sensing device described above is disclosed, for example, in Japanese Patent Application Publication No. 2012-518228. In the market, it is also sold under the name of "AIRBAR (registered trademark: Neonode Co., Ltd.)", and it is also known as a touch panel of a PC simply by being placed. Since the space sensing device has a rod-like outer shape, it can be easily disposed at a desired position even on an instrument panel or a dashboard in a narrow vehicle.
  • the space sensing device 53 corresponding to the image display area 1 (a) of FIG. 3 or the image display area 1 (b) of FIG. 4 has been mainly described in detail.
  • the image display area 2 (a) of FIG. 3 or the image display area 2 (b) of FIG. 4 and the image display area 3 (a) of FIG. 3 or the image display area 3 (b) of FIG. As above.
  • the driver can make a finger at a desired position of the screen information in the space area indicated by the broken line A while looking at the screen information displayed in front.
  • So-called interactive functions in which position information for a desired position of the screen information is input and instructed by moving the It will be apparent to those skilled in the art that it is possible to realize.
  • the windshield 6 of the passenger car differs in the curvature radius Rv in the vertical direction and the curvature radius Rh in the horizontal direction, and generally has a relationship of Rh> Rv.
  • Rh the curvature radius
  • FIG. 7 when the windshield 6 is captured as a reflection surface, it becomes a toroidal surface of a concave mirror.
  • the shape of the concave mirror 1 corrects the virtual image magnification due to the shape of the windshield 6, that is, corrects the difference in the radius of curvature in the vertical direction and the horizontal direction of the windshield.
  • the average curvature radius may be different in the horizontal direction and the vertical direction.
  • the shape of the concave mirror 1 is a function of the distance h from the optical axis in the shape of a spherical or aspheric surface (shown by the following equation (2)) symmetrical to the optical axis. Since the cross-sectional shape can not be controlled individually, it is preferable to correct as a function of the coordinates (x, y) of the surface from the optical axis of the mirror surface as a free-form surface shown in equation (1) below.
  • z is a sag amount at coordinates (x, y) based on an axis defining a surface
  • c is a curvature at the origin of the axis defining the surface
  • K is a conic constant
  • Cj is a coefficient.
  • the lens element 2 and the lens element 3 are disposed, for example, as transmission type optical components between the image display device 4 and the concave mirror 1 to control the light emission direction to the concave mirror 1
  • the projection optical device 220 described above projects an image on the windshield by scanning in the vertical and horizontal directions by MEMS using a laser light source, but the image display area of the lower portion of the windshield shown in FIGS. 2 (a) contains a member with a characteristic that the reflectance for S polarization differs from P polarization, or by applying, adhering or sticking on the glass surface in the car, the image light is efficiently reflected to see the real image Turn to the viewer.
  • the reflectance of the S-wave laser light in the visible light range (380 nm to 780 nm) is from about 10% on average to the characteristic (2) as shown in characteristic (1).
  • the light quantity is about 20%, and the image light is reflected in the direction of the driver who is the viewer by reflecting on the reflection surface in contact with the inside of the windshield.
  • a sheet in which an optical multilayer film having the above-described characteristics is laminated, or a plurality of sheets having different refractive indexes may be laminated to have the same effect, and the diffusion characteristics in the horizontal direction of the windshield
  • the surface of the sheet may be provided with a concavo-convex shape in order to make the surface roughness larger than the diffusion characteristics in the vertical direction.
  • the reflectance of the above-mentioned sheet high in the ultraviolet region (less than 380 nm) and the near infrared region (greater than 780 nm), the incidence of ultraviolet light and near infrared light into the car is suppressed, and a more comfortable environment is achieved. It is to realize.
  • the present embodiment is an information display device that displays information on a vehicle, and is a first information display that reflects on the windshield of the vehicle and displays video information of a virtual image.
  • Device a second information display device for obtaining a real image by scanning laser light onto a windshield with a MEMS element, and a third information display device using an instrument panel of a vehicle
  • the first information display device Includes a virtual image optical system for displaying a virtual image in front of a vehicle by reflecting light emitted from an image display device displaying image information on a windshield
  • the second information display device is a scanning mirror
  • the device includes a real image optical system that scans a laser beam with an element to display a real image on a windshield
  • the third information display device is a direct view type image display device as an instrument panel.
  • the video display position of the first information display device in the vicinity of the center of the windshield, the image display position of the second information display apparatus is configured such that the bottom of the windshield.
  • FIG. 13 is a whole block diagram of the HUD apparatus 100 in a present Example.
  • a concave (free-form surface) mirror 1 for projecting an image light forming a virtual image through a front glass 6 sequentially from the downstream side, and a lens group for correction for correcting distortion and aberration generated at that time 2, an image display device 4, and a backlight light source 10 constituting a backlight are provided.
  • Reference numeral 7 denotes a housing.
  • optical means 3 for suppressing the P-wave component is provided between the lens group 2 and the image display device 4. It is provided.
  • visible light (wavelength: approximately 400 to 700 nm) is reflected to the concave (free-form surface) mirror 1 that projects image light, and at the same time, information is generated from sunlight including various wavelength spectra.
  • the display device has a function of removing the infrared light (IR), the ultraviolet light (UV), and the like, which do not require the device and damage the device. At this time, if the reflectance of visible light is 95% or more, a virtual image optical system having high light utilization efficiency can be realized.
  • the problems described above can be solved by intentionally reducing the reflectance of the concave (free-form surface) mirror 1 to 90% or less, preferably 85% or less.
  • the concave mirror support part 1a which is a base material of the concave (free-form surface) mirror 1 selects the thing whose transparency is high so that a base material does not absorb the light of the wavelength component which does not reflect among sunlight mentioned above.
  • Examples of the base material made of plastic and having high transparency include (1) ZEONEX manufactured by Nippon Zeon Co., Ltd. (2) polycarbonate and (3) acrylic.
  • (1) ZEONEX is optimal, but the price is high, so it is good to devise and use polycarbonate with a similar heat distortion temperature and a water absorption rate of about 0.2%. . Since the moisture absorption rate is the highest for acrylic having the highest moldability and low cost, it is essential to provide a moisture-proof film and a reflective film.
  • SiN silicon nitride
  • a light transmitting plate having a function of removing IR and UV may be provided. In that case, in addition to the IR and UV suppression functions, it is possible to prevent external dust from intruding into the inside of the HUD device 100.
  • the image light beam emitted from the image display device 4 toward the concave mirror 1 is reflected on the surface of the optical element 2 disposed halfway and returns to the image display device It is known that the image quality is degraded by being superimposed on the original image light. For this reason, in the present embodiment, not only an antireflective film is formed on the surface of the optical element 2 to suppress reflection, but also one or both of the image light incident surface and the output surface of the optical element 2 It is preferable that the surface shape is designed with a shape restriction such that the reflected light is not extremely condensed on a part of the image display device 4.
  • the liquid crystal panel is provided with a polarizing plate for absorbing the light reflected from the optical element 2 described above as the image display device 4, the deterioration of the image quality can be reduced.
  • the backlight source 10 of the liquid crystal panel is controlled so that the incident direction of the light incident on the image display device 4 is efficiently incident on the entrance pupil of the concave mirror 1.
  • a light source it is preferable to adopt a solid light source with a long product life, and further, a PBS provided with an optical means for reducing the light divergence angle as an LED (Light Emitting Diode) It is preferable to perform polarization conversion using (Polarizing Beam Splitter).
  • Polarizers are disposed on the back light source 10 side (light incident surface) and the optical element 2 side (light output surface) of the liquid crystal panel to increase the contrast ratio of the image light. If an iodine-based polarizing plate having a high degree of polarization is employed as the polarizing plate provided on the backlight light source 10 side (light incident surface), a high contrast ratio can be obtained. On the other hand, by using a dye-based polarizing plate on the side of the optical element 2 (light emitting surface), high reliability can be obtained even when external light is incident or when the environmental temperature is high.
  • a specific polarized wave is blocked to cause a problem that the image can not be seen.
  • FIG. 14 is a basic configuration diagram of a projection optical device 220 which obtains a real image by scanning laser light with MEMS in the present embodiment.
  • the projection optical device 220 is mounted with an optical scanning device for scanning a laser beam modulated in light intensity (hereinafter referred to as “modulated”) in a two-dimensional direction according to an image signal, and the laser scanning device It is a scanning-type image display device in which light is scanned on an object to be irradiated (for example, a windshield) to draw an image. That is, the laser beam can be scanned by reflecting the laser beam from the light source unit 94 (94a, 94b) by the scanning mirror 91 having a pivot axis.
  • each of the modulated pixels 201 is two-dimensionally scanned on the image plane along the scanning locus 202 of the laser light on the display surface 20.
  • FIG. 15 is a schematic configuration diagram of a scanning mirror 91 which is a two-axis driven MEMS element in the present embodiment.
  • a scanning mirror surface 91a for deflecting laser light at a reflection angle is connected to a first torsion spring 91b coaxially disposed opposite to the scanning mirror surface 91a.
  • the torsion spring 91b is connected to the holding member 91c, and then the holding member 91c is connected to the second torsion spring 91d.
  • the second torsion spring 91d is connected to the frame 91e.
  • permanent magnets and coils are disposed at substantially symmetrical positions with respect to the respective torsion springs 91b and 91d.
  • the scanning mirror surface 91a rotates to a position where the Lorentz force and the restoring force of the torsion springs 91b and 91d are balanced.
  • the scanning mirror surface 91a performs a resonance operation by supplying an alternating current to the coil at the resonance frequency of the scanning mirror surface 91a.
  • the scanning mirror surface 91a, the torsion spring 91b, and the holding member 91c resonate by supplying an alternating current to the coil at a resonance frequency that combines the scanning mirror surface 91a and the holding member 91c. I do. This enables resonant operation with different resonant frequencies in two directions.
  • the inventors fixed the distance between the driver who is the viewer and the lower part of the windshield at 1.2 m, and determined the optimum value of the image display width by measurement. It is necessary to set the display range in the horizontal direction to 30 inches or more in order to display that the driving vehicle turns to the left and right by the arrow in accordance with the rotation angle of the steering, and a better image display is possible if the display exceeds 40 inches. Was found to be possible.
  • the frame rate at which the image switches may be 1/60 Hz when the traveling speed of the car is 40 km / h, but when the traveling speed is 100 km / h, the frame rate is 1/120 Hz and displayed according to the traveling speed of the car The speed of image rewriting was increased to enable optimum display.
  • the horizontal size as the image display is reduced as the image table range, but the visual field of the driver is narrowed when the traveling speed is high. Therefore, it is possible to obtain an information display device having no sense of discomfort when used.
  • FIG. 21 shows a second scanning state of laser light from the light scanning unit in the present embodiment.
  • the difference from the first scanning state is that a plurality of light scanning portions, that is, two in FIG. 21, the first scanning portion and the second scanning portion are used.
  • the range (amplitude) of scanning by the first scanning unit is such that the amplitude angle in the horizontal direction is twice or more than the amplitude angle in the vertical direction, and the image display range in the horizontal direction is enlarged relative to the vertical direction.
  • the beam is scanned in the horizontal direction with the size of the laser beam 301 on the windshield as one pixel, that is, scanning from left to right along the locus shown by the solid line in FIG. to scan.
  • Reference numeral 302 denotes a scanning locus of the first scanning unit.
  • the range (amplitude) of scanning by the second scanning unit is the same as the first scanning unit in that the horizontal amplitude angle is twice or more than the vertical amplitude angle, and the horizontal image display range is vertical Increase against
  • the beam is scanned in the horizontal direction with the size of the laser beam 303 on the windshield as one pixel, that is, scanning from right to left along the locus shown by the broken line in FIG. to scan.
  • FIG. 21 shows a state in which the laser beam 303 has come to the final pixel of the lowermost stage).
  • the scanning by the second scanning unit may be from top to bottom or from bottom to top.
  • Reference numeral 304 denotes a scanning locus of the second scanning unit.
  • the image of the next frame is displayed by shifting the display of the frame next to the frame image displayed by the first scanning unit by approximately a half frame.
  • SYMBOLS 1 Concave mirror, 1a ... Concave mirror support part, 2, 3 ... Optical element (lens), 4 ... Image display apparatus, 6 ... Projected member (front glass), 8 ... Eye box (observer's eye), 10 ... back light source, 20 ... display surface, 41 ... opening, 42 ... instrument panel, 43 ... steering, 44 ... front cover, 45 ... vehicle body, 50 ... sun, 51, 52, 53 ... space sensing device, 531 ...
  • Converting device 60: light source, 61: condenser optical element, 65: condensing lens element, 64: light receiving portion, 80: sensing unit, 91: scanning mirror, 100: HUD device, 101: automobile, 201: pixel, 202: ... Scanning trajectory of laser light 210 Camera for viewing 220 Projection optical device 301 Laser light of first scanning unit 302 Scanning trajectory of first scanning unit 30 ... Laser light of the second scanning unit, 304 ... scanning locus of the second scanning unit, 1 (a), 2 (a), 3 (a), 1 (b), 2 (b), 3 (b) ... image display area.

Abstract

多くの表示映像を少ない視点移動で選択・変更が可能で運転者によるインタラクティブな機能を可能にした情報表示装置とその空間センシング装置を提供する。乗り物に情報を表示する情報表示装置であって、前記乗り物の運転座席の前方の画像表示領域に画像情報を表示する情報表示装置と、前記運転座席と前記表示される画像表示領域の間の空間領域において、運転者による指示の位置情報を検出する空間センシング手段とを備えており、前記運転者による指示を、前記空間センシング手段により検出された前記運転者による指示の位置情報に対応して、前方の前記画像表示領域に表示する手段を備えている。

Description

情報表示装置およびその空間センシング装置
　本発明は、自動車や電車や航空機等の人を乗せて移動する、いわゆる、乗り物のフロントガラスに画像を含む情報を投影する情報表示装置に関し、特に、運転者等によるインタラクティブな機能を備えた情報表示装置およびそのための空間センシング装置に関する。
　自動車のフロントガラスに映像光を投写して虚像を形成し、ルート情報や渋滞情報などの交通情報や燃料残量や冷却水温度等の自動車情報を表示する、いわゆる、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ－Ｕｐ－Ｄｉｓｐｌａｙ）装置が、例えば、以下の特許文献１により既に知られている。
特開２０１５－１９４７０７号公報
　この種の情報表示装置においては、ＨＵＤ装置本体を運転者の座席前方のステアリングとフロントガラスの間に配置するため小型化と共に、更には、投影した画面を見ながら対話をするような形式で操作を行うことが可能な、いわゆる、インタラクティブな機能が求められている。
　しかしながら、上述した従来技術によるヘッドアップディスプレイ装置では、小型化のための技術については開示しているが、インタラクティブな機能については記載されていない。特に、ＨＵＤ装置において課題となる、すなわち、運転者の座席前方のステアリングとフロントガラスの間の空間に投影された画面に対してインタラクティブな操作を可能にする技術に関しては全く開示されていない。
　本発明の目的は、乗り物のフロントガラスに画像を含む情報を投影する情報表示装置において、運転者によるインタラクティブな機能を可能にした情報表示装置およびそのための空間センシング装置を提供することにある。
　本発明は、上述した目的を達成するためになされたものであり、その一例を挙げるならば、乗り物に情報を表示する情報表示装置であって、前記乗り物の運転座席の前方の画像表示領域に画像情報を表示する情報表示装置と、前記運転座席と前記表示される画像表示領域の間の空間領域において、運転者による指示の位置情報を検出する空間センシング手段とを備えており、前記運転者による指示を、前記空間センシング手段により検出された前記運転者による指示の位置情報に対応して、前方の前記画像表示領域に表示する手段を備えている情報表示装置である。
　なお、本発明では、前記情報表示装置は、当該装置から出射された光を前記乗り物のフロントガラスで反射させることで虚像を前記乗り物の前方に表示する虚像光学系を備え、または、前記情報表示装置は、当該装置から出射された光を前記乗り物のフロントガラス上に走査することにより実像を表示する実像光学系を備え、または、前記情報表示装置は、前記乗り物のインストルメントパネルを用いた直視型の映像表示装置を備えても良い。
　更に、本発明では、上述した情報表示装置のための空間センシング装置であって、光源からの光束を平行光束とする発光素子と、当該発光素子からの光束の内、障害物で反射した反射光束を受光する集光レンズ素子とからなる光学素子の対を、複数個、直線上に配置さされて構成されている情報表示装置の空間センシング装置が提供される。
　本発明によれば、乗り物のフロントガラスに画像を含む情報を投影する情報表示装置において、自動車の制御や制御内容およびナビゲーション情報等の多くの表示映像を少ない視点移動で選択・変更すると共に、運転者によるインタラクティブな機能を可能にした情報表示装置およびそのための空間センシング装置を提供することが可能となる。
本発明の実施例に係るインタラクティブ機能を備えた情報表示装置および情報表示装置の周辺機器の概略構成図である。 実施例における情報表示装置とフロントガラスと運転者の視点位置を示す概略断面構成図である。 実施例における映像表示位置の概略説明図である。 実施例における他の映像表示位置の概略説明図である。 実施例においてインタラクティブ機能を実現するための構成を説明するための概略図である。 実施例においてインタラクティブ機能を説明するための概略図である。 空間センシング装置の原理を説明する第一の説明図である。 空間センシング装置の原理を説明する第二の説明図である。 実施例におけるフロントガラスの曲率半径の違いを説明する図である。 実施例における異なる偏光に対するガラスの入射角度に対する反射率特性図である。 実施例における情報表示装置を搭載した自動車の上面図である。 実施例におけるフロントガラスに塗布、接着または粘着する反射物質の反射特性を示す特性図である。 実施例における情報表示装置の虚像光学系の概略構成図である。 実施例における投写光学装置の基本構成図である。 実施例における２軸駆動のＭＥＭＳ素子の概略構成図である。 実施例におけるＭＥＭＳ素子による光束スキャンの概要を説明する説明図である。 実施例における自由曲面ミラー上を走査するレーザ光の第１の走査状態の説明図である。 実施例における第１の走査状態での光走査装置の光源光スペクトルである。 黒体軌跡および等色温度線図である。 実施例における第１の走査状態での光走査装置の光源光の色度表を示す図である。 実施例における自由曲面ミラー上を走査するレーザ光の第２の走査状態の説明図である。 実施例における第２の走査状態での光走査装置の光源光スペクトルである。 実施例における第２の走査状態での光走査装置の光源光の色度表である。
　以下、本発明の実施例について図面等を用いて詳細に説明する。
　まず、図１は、本発明の実施例に係るインタラクティブ機能を備えた情報表示装置および情報表示装置の周辺機器の概略構成図である。ここでは、その一例として、特に、自動車のフロントガラスに画像を投影する情報表示装置について説明する。図１（Ａ）は情報表示装置の断面斜視図、図１（Ｂ）は周辺機器の概略構成ブロック図である。
　図１（Ａ）において、４５は車体であって、６は被投影部材であるフロントガラスであり、車体の縦断面のイメージ図である。ＨＵＤ装置１００は、運転者の視線８において自車両の前方に虚像を形成するため、被投影部材６（本実施例では、フロントガラスの内面）にて反射された各種情報を虚像（Virtual Image）として表示する装置である。なお、被投影部材６は、情報が投影される部材であれば良く、前述したフロントガラスだけではなく、その他、コンバイナであっても良い。すなわち、本実施例のＨＵＤ装置１００では、運転者の視線８において自車両の前方に虚像を形成して運転者に視認させるものであれば良く、虚像として表示する情報としては、例えば、車両情報や監視カメラやアラウンドビュアーなどのカメラ（図示せず）で撮影した前景情報も含む。
　また、ＨＵＤ装置１００では、情報を表示する映像光を投射する映像表示装置４と、当該映像表示装置４に表示された映像を凹面ミラー１で虚像を形成する際に発生する歪や収差を補正するために補正用の光学素子であるレンズ２および３が、映像表示装置４と凹面ミラー１の間に設けられている。
　そして、ＨＵＤ装置１００は、上記映像表示装置４とバックライト光源１０を制御する制御装置４０とを備えている。なお、上記映像表示装置４とバックライト光源１０などを含む光学部品は、以下に述べる虚像光学系であり、光を反射させる凹面形状の凹面ミラー１を含んでいる。また、この凹面ミラー１において反射した光は、フロントガラス６にて反射されて運転者の視線８（正しく観視することができる運転者の視点範囲いわゆるＥｙｅｂｏｘでも良い）へと向かう。
　上記の映像表示装置４としては、例えば、バックライトを有するＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）の他に自発光のＶＦＤ（Ｖａｃｕｕｍ　Ｆｌｕｏｒｅｓｃｅｎｔ　Ｄｉｓｐｌａｙ）などがある。
　一方、上述した映像表示装置４の代わりに、投写装置によりスクリーンに映像を表示して、前述の凹面ミラー１で虚像とし被投影部材であるフロントガラス６で反射して運転者の視点８と向かわせても良い。このようなスクリーンとしては、例えば、マイクロレンズを２次元状に配置したマイクロレンズアレイにより構成しても良い。
　より具体的には、虚像の歪みを低減するために凹面ミラー１の形状は、図１（Ａ）に示す上部（相対的に運転者の視点との距離が短いフロントガラス６の下方で光線が反射する領域）では、拡大率が大きくなるように相対的に曲率半径が小さく、他方、下部（相対的に運転者の視点との距離が長いフロントガラス６の上方で光線が反射する領域）では、拡大率が小さくなるように相対的に曲率半径が大きくなる形状とすると良い。また、映像表示装置４を凹面ミラーの光軸に対して傾斜させることで上述した虚像倍率の違いを補正して発生する歪みそのものを低減することによっても、更に良好な補正が実現できる。
　次に、図１（Ｂ）において、制御装置４０は、ナビゲーションシステム６０から、自車両が走行している現在位置に対応する道路の制限速度や車線数、ナビゲーションシステム６０に設定された自車両の移動予定経路などの各種の情報を、前景情報（すなわち、上記虚像により自車両の前方に表示する情報）として取得する。
　運転支援ＥＣＵ６２は、周辺監視装置６３での監視の結果として検出された障害物に従って駆動系や制御系を制御することで、運転支援制御を実現する制御装置であり、運転支援制御としては、例えば、クルーズコントロール、アダプティブクルーズコントロール、プリクラッシュセーフティ、レーンキーピングアシストなどの周知技術を含む。
　周辺監視装置６３は、自車両の周辺の状況を監視する装置であり、一例としては、自車両の周辺を撮影した画像に基づいて自車両の周辺に存在する物体を検出するカメラや、探査波を送受信した結果に基づいて自車両の周辺に存在する物体を検出する探査装置などである。
　制御装置４０は、このような運転支援ＥＣＵ６２からの情報（例えば、先行車両までの距離および先行車両の方位、障害物や標識が存在する位置など）を前景情報として取得する。更に、制御装置４０には、イグニッション（ＩＧ）信号、および、自車状態情報が入力される。これらの情報の内、自車状態情報とは、車両情報として取得される情報であり、例えば、内燃機関の燃料の残量や冷却水の温度など、予め規定された異常状態となったことを表す警告情報を含んでいる。また、方向指示器の操作結果や自車両の走行速度、更には、シフトポジション情報なども含まれている。
　以上述べた制御装置４０からの映像信号は、自動車の状態および周囲環境に対応した映像情報であり観視者の観ている遠方実景に虚像で重ねる第1の情報表示装置であるＨＵＤ装置１００と、近景に実像で重ねる第２の情報表示装置である投写光学装置２２０、および第３の情報表示装置である直視型のインストルメントパネル４２に適宜選択的に表示され、観視者である運転者が運転中に起こす視点移動を軽減する。なおこの制御装置４０はイグニッション信号が入力されると起動する。以上が、本実施例における情報表示装置全体システムの構成である。
　図２は、本実施例における情報表示装置とフロントガラスと運転者の視点位置を示す概略断面構成図である。また、図３は、本実施例における映像表示位置の概略説明図であり、運転席からフロントガラス６を見た概略図である。
　これらの図２、図３に示すように、本実施例においては、ステアリング４３の前面のフロントガラス６の中央部近辺の画像表示領域１（ａ）とフロントガラス６の下部の画像表示領域２（ａ）とインストルメントパネル４２上の画像表示領域３（ａ）を有している。
　本実施例における情報表示装置は、上述したＨＵＤ装置１００によりフロントガラス６の中央部近辺の画像表示領域１（ａ）（図２、図３を参照）を反射面として観視者に虚像距離８ｍで４０インチ以上の虚像を提供し、観視者が運転中に見ている実景に重ねることで視点移動を抑えることができる。なお、発明者は、市街地走行時の運転者の視点位置変化を計測し、虚像距離の最大値を３０ｍとすれば視点移動を９０％抑えられることを実測により求め、高速走行では虚像距離を７０ｍ以上にすれば同様に視点移動を抑えることができることを実験により求めた。この時必要な虚像の大きさは３５０インチ相当になる。
　以上述べたように、観視者の視点が遠方の領域には、虚像を表示するＨＵＤ装置１００を用いて画像表示領域１（ａ）に表示し、他方、画像表示領域２（ａ）においては、観視者である運転者が実際に見る近景に映像を重畳するためにフロントガラス下部に特定偏波の光束をＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子でスキャンする投写光学装置２２０を用いて実像を映し出す。ここで、ＭＥＭＳによる映像表示は、基本的にフォーカスフリーであるために、曲率をもつフロントガラス６への投写には有利である。
　また、映像を映し出すフロントガラス下部には、後に詳細に説明する特定の偏波に対する反射率が他方の偏波に対して異なる特性を有する部材を含有または車内のガラス面に塗布または接着または粘着することで映像光を効率よく反射させ実像を観視者に向ける。ここで、ＨＵＤ装置１００によるフロントガラス６上の画像表示領域１（ａ）の水平方向表示寸法は、フロントガラス前方の遠方に虚像として焦点を結ぶために、投写光学装置２２０による実像表示の水平方向表示寸法より小さくなる。
　更に、上述した画像表示領域の分割に替えて、図４に示したように、ＨＵＤ装置を用いて虚像を表示する遠方の画像表示領域１（ｂ）の一部または全部と、近景に映像を重畳する画像表示領域２（ｂ）を重ねて表示することで、擬似的に立体表示を行うことができることを実験により実証した。より良好な表示とするために、虚像の奥行き方向の表示位置と実像の奥行き方向の表示位置を一部重ねると良好な効果が得られた。また、上述した２つの画像表示領域を重ねて表示することで表示画像の連続性が得られ視点移動がスムーズに行なわれるなど新しい効果も得られた。
　上述したフロントガラス中央部付近に映し出す虚像の表示位置、表示色、表示間隔は観視者の状態を観視する観視用カメラ２１０により適宜選択され、自動走行状態で制御された自動車が次に行う動作、例えば右左折、停止、加速などの情報を映像表示するだけでなく運転者の健康状態や眠気などをセンシングしこれらの情報により注意喚起の映像表示などを行う。なお、これらの情報は常に表示する必要がなく、運転者の目線の動きを観視用カメラ２１０で追尾し必要に応じて必要な場所に表示することが望ましい。
　＜インタラクティブ機能＞
　発明者らは上述した情報表示装置において、例えば、視点移動を軽減し多くの情報を取得できるようにするには、空間センシング装置を併用すすることにより、複数の映像を選択または映像表示されたスイッチ部等を選択して自動車の制御や制御内容およびナビゲーション情報等の多くの表示映像を少ない視点移動で選択・変更する映像表示装置が実現できることを確認した。特に、投影した画面を見ながら対話をするような形式で操作を行うことが可能な、いわゆる、インタラクティブな機能を実現することによれば、より便利で使い勝手にも優れた情報表示装置を実現するのに有効であることを確認した。かかるインタラクティブ機能を実現するための構成について、以下に述べる。
　＜空間センシング装置＞
　図１（Ａ）に示す符号５１は、インストルメントパネル４２（画像表示領域３（ａ）や３（ｂ））に対応した空間センシング装置であり、表示面に近接して配置することで複数の映像を選択または映像表示されたスイッチ部を選択し、自動車の制御や制御内容およびナビゲーション情報等の多くの表示映像を少ない視点移動で選択することが可能となる。更に、符号５２および５３は、当該空間センシング装置５１と並列させて、ステアリング４３からフロントガラス６に向かった奥行き方向の位置情報を併せて空間センシングする（図３の画像表示領域１（ａ）や２（ａ）、または、図４の画像表示領域１（ｂ）や２（ｂ）に対応）ことを可能にする空間センシング装置である。
　この空間センシング装置は、ここでは、例えば、特に、図３および図４の画像表示領域１（ａ）または１（ｂ）に対応した空間センシング装置５３をその一例として示す。そして、図５や図６にも示すように、この空間センシング装置によれば、当該画像表示領域に表示された情報を見ながら運転している運転者は、運転席に着座している状態においても、その指（または、指で把持した棒状の物：障害物）を空間領域（図では、破線Ａで示す）において自在に操作・移動することにより、当該画像表示領域に表示された画面上で指示手段（ポインタ）を自在に操作・移動することが可能となる。そこで、例えば、変換装置５３１等を介して、検出した指（障害物）の座標位置から当該指示手段（ポインタ）の位置を算出して、ポインタの位置情報として、上記のＨＵＤ装置１００へ位置情報として出力する（図１または図２を参照）。
　このことによれば、運転者は、運転している状態でも、前方に表示されている画面情報を見ながら、上述の破線Ａで示した空間領域において、当該画面情報の所望の位置に指等を移動することにより、当該画面情報の所望の位置に対する位置情報を入力して所望の指令を指示することが可能となる。すなわち、投影した画面を見ながら対話をするような形式で操作を行うことが可能な、いわゆる、インタラクティブな機能を実現することが可能となる。
　続いて、図７は本願発明の空間センシング装置の構成や動作の基本原理を示したものである。使用者（例えば運転者）の指が図面の左から右に移動した場合にまず、第一の光源６０からの光束φ１はコンデンサ光学素子６１により略平行光束とし移動する使用者の指で反射し反射光束φ３となって集光レンズ素子６５により集光されて第一の受光部６４に到達する。
　この時、第一の光源６０の発光時間と第一の受光部６４が受光した時間との時間的な差Δｔ１によりＹ軸方向の指までの距離情報を、同時に第一の光源６０の発光時間と第一の受光部６４と絶対的な位置座標によりＸ軸方向の位置情報を得る。ついで同図に示すように、使用者（例えば運転者）の指が図面の左から右に更に移動した場合にはまず、第三の光源６８からの光束φ４はコンデンサ光学素子６９により略平行光束となし移動する使用者の指で反射し反射光束φ６となって集光レンズ素子７３により集光されて第三の受光部７２に到達する。
　この時、第三の光源６８の発光時間と第三の受光部７２が受光した時間との時間的な差Δｔ２によりＹ軸方向の指までの距離情報を、同時に第三の光源６８の発光時間と第三の受光部７２と絶対的な位置座標によりＸ軸方向の位置情報を得る。
　次に、Ｚ軸方向の位置情報を取得する方法について図８を用いて説明する。上記図７において説明したＸ軸方向およびＹ軸方向の位置情報をセンシングするユニット８０を複数Ｚ軸方向（ステアリング４３からフロントガラス６に向かった奥行き方向）に並べて配置する（図中８０，８１，８２と表示）。このセンシング装置５１に対して使用者（例えば運転者）の指が図面の左から右に更に移動した場合にはまず、第一ユニット８０の特定光源６０からの光束φ８はコンデンサ光学素子６１により略平行光束となし移動する使用者の指で反射し反射光束φ７となって集光レンズ素子（図示せず）によって集光されて受光部（図示せず）に到達する。この時、上述したユニットの動作により第一ユニット８０を通過した時間（絶対時間Ｔ１）とＸＹ座標が明らかになる。使用者の指が更に左から右に移動すれば第二ユニット８１でも同様に、第二ユニット８１を通過した時間（絶対時間Ｔ２）とＸＹ座標が明らかになる。また、第三ユニット８２の光束φ１１は図８に示したように使用者の指を遮らないことから、Ｚ軸方向の指の位置も特定できる。
　更に、本発明の実施例においては、上述した絶対時間Ｔ１と絶対時間Ｔ２の時間差と第二ユニット８１のセンシング出力（ＸＹ座標と受光部で指からの反射光を得た絶対時間）から、空間軸のＺ座標方向の指の移動速度と加速度を割り出すことができる。同様に第一ユニット８０と第二ユニット８１からのセンシング情報からも指の移動方向と加速度を算出し、単なる位置情報だけでなく使用者の意志（加速度が高ければ意志が強いなど）をシステムの情報表示の量、速度、位置などに反映できる。
　なお、上述した空間センシング装置の構成は、例えば、特表２０１２－５１８２２８号等に開示されている。また、市場においても「ＡＩＲＢＡＲ（登録商標：ネオノード社）」の名称で販売されており、置くだけでＰＣをタッチパネル化するものとしても知られるところである。この空間センシング装置は、外形が棒状であることから、狭小な車内のインストルメントパネルやダッシュボード上においても、所望の位置に容易に配置することが可能である。
　なお、上記では、主に、図３の画像表示領域１（ａ）または図４の画像表示領域１（ｂ）に対応した空間センシング装置５３について詳細に述べた。しかしながら、図３の画像表示領域２（ａ）または図４の画像表示領域２（ｂ）、更には、図３の画像表示領域３（ａ）または図４の画像表示領域３（ｂ）についても、上記と同様である。そして、これによれば、運転者は、運転している状態でも、前方に表示されている画面情報を見ながら、上述の破線Ａで示した空間領域において、当該画面情報の所望の位置に指等を移動することにより、当該画面情報の所望の位置に対する位置情報を入力して指示すること、すなわち、投影した画面を見ながら対話をするような形式で操作を行う、いわゆる、インタラクティブな機能を実現することが可能となることは当業者であれば明らかであろう。
　＜本実施例のその他の特徴＞
　乗用車のフロントガラス６は、図９に示すように、垂直方向の曲率半径Ｒｖと水平方向の曲率半径Ｒｈが異なり、一般には、Ｒｈ＞Ｒｖの関係にある。このため、図７に示すように、反射面としてフロントガラス６を捉えると、凹面ミラーのトロイダル面となる。このため、本実施例のＨＵＤ装置１００では、凹面ミラー１の形状はフロントガラス６の形状による虚像倍率を補正するように、すなわち、フロントガラスの垂直方向と水平方向の曲率半径の違いを補正するように水平方向と垂直方向で異なる平均曲率半径とすれば良い。この時、凹面ミラー１の形状は、光軸に対称な球面または非球面（以下に式（２）で示す）形状では光軸からの距離ｈの関数であり、離れた場所の水平断面と垂直断面形状を個別に制御できないことから、以下に式（１）で示す自由曲面としてミラー面の光軸からの面の座標（ｘ，ｙ）の関数として補正することが好ましい。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、ｚは面を定義する軸を基準とした座標（ｘ，ｙ）におけるサグ量、ｃは面を定義する軸の原点における曲率、Ｋはコーニック定数、Ｃｊは係数である。
　再び、図１に戻り、更に、映像表示装置４と凹面ミラー１の間に透過型の光学部品として、例えばレンズ素子２およびレンズ素子３を配置し、凹面ミラー１への光線の出射方向を制御することで凹面ミラー１の形状と合わせて歪曲収差の補正を行うと同時に、前述したフロントガラス６の水平方向の曲率半径と垂直方向の曲率半径の違いによって生じる非点収差を含めた虚像の収差補正を実現する。
　一方、図１および図２に示すように太陽５０からの光束はフロントガラス６でＳ編波の殆どが反射され車内に入射する光束はＰ偏波が殆どとなるため、近景に映像を重畳するためにフロントガラス下部に映像を投写するにはＳ偏波の光束をＭＥＭＳ素子に入射させスキャンする投写光学装置２２０を用いる。この時映像表示にはＳ偏光を用いる他の理由は、フロントガラス６の傾斜角度が４０度以上と大きくこの反射率は図１０に示すようにＳ偏波が高いためである。
　また、自動車のフロントガラス６は、図９に示すように水平方向の曲率半径Ｒｈと垂直方向の曲率半径Ｒｖが異なることと、図１１に示すように観視者である運転者の位置（図１１ではステアリング４３の位置）が水平方向の曲率中心に対して映像の中心が異なるためである。
　これに対して、上述した投写光学装置２２０はレーザ光源を用いＭＥＭＳにより垂直および水平方向にスキャンすることでフロントガラス上に映像を映し出すが、図２および図３に示すフロントガラス下部の画像表示領域２（ａ）にはＳ偏波に対する反射率がＰ偏波に対して異なる特性を有する部材を含有または車内のガラス面に塗布または接着または粘着することで映像光を効率よく反射させ実像を観視者に向ける。具体的には図１２に示すようにＳ波のレーザ光の可視光範囲（３８０ｎｍ～７８０ｎｍ）での反射率が特性（１）に示すように平均で１０％程度のものから特性（２）に示す２０％程度のものが良く、フロントガラスの室内に接した反射面で反射して観視者である運転者の方向に映像光を反射させるようにする。
　より具体的には、上述した特性を有する光学多層膜を積層したシート、または、屈折率の異なる複数のシートを積層して同様の効果を持たせても良く、フロントガラスの水平方向に対する拡散特性を垂直方向に対する拡散特性に比べて大きくするためにシート表面に凹凸形状を設けても良い。
　また、上述したシートの反射率が、紫外線領域（３８０ｎｍより小）および近赤外線領域（７８０ｎｍより大）で高く設定することで、車内への紫外線および近赤外線の入射を抑え、より快適な環境を実現するためである。
　以上のように、本実施例は、上述した特徴に加えて、乗り物に情報を表示する情報表示装置であって、乗り物のフロントガラスに反射させ、虚像の映像情報を表示する第１の情報表示装置と、レーザ光をＭＥＭＳ素子でフロントガラスにスキャンして実像を得る第２の情報表示装置と、乗り物のインストルメントパネルを用いた第３の情報表示装置とを備え、第１の情報表示装置は、映像情報を表示する映像表示装置から出射された光をフロントガラスで反射させることで虚像を乗り物の前方に表示させる虚像光学系を備えており、第２の情報表示装置は、走査型ミラー素子でレーザ光をスキャンしてフロントガラスに実像を表示する実像光学系を備えており、第３の情報表示装置はインストルメントパネルとして直視型の映像表示装置を備え、第１の情報表示装置の映像表示位置がフロントガラスの中央付近で、第２の情報表示装置の映像表示位置がフロントガラスの下部であるように構成する。
　これにより、遠景に虚像を重ねるＨＵＤ装置と近景に重ねる実像を表示する実像表示装置およびインストルメントパネルの表示を組み合わせることで運転者の視点移動を軽減し安全運転の支援に寄与する情報表示装置を提供することが可能となる。
　更に、以下には、上述した情報表示装置の虚像光学系を有するＨＵＤ装置のより具体的な光学的な構成について説明する。
　図１３は本実施例におけるＨＵＤ装置１００の全体構成図である。図１３において、下流側から順に、フロントガラス６を介して虚像を形成する映像光を投射する凹面（自由曲面）ミラー１、その際に発生する歪や収差を補正するための補正用のレンズ群２、映像表示装置４、バックライトを構成するバックライト光源１０が設けられている。なお、７は筐体である。更に、ＨＵＤ装置１００の内部に侵入する太陽光のＰ波成分を抑制するため、その一例として、レンズ群２と映像表示装置４の間には、Ｐ波成分を抑制するための光学手段３が設けられている。
　まず、本実施例では、映像光を投射する凹面（自由曲面）ミラー１には、可視光（波長：略４００～７００ｎｍ）を反射すると同時に、特に、各種の波長スペクトルを含む太陽光から、情報表示装置には不要で装置にダメージを与える、例えば、赤外線（ＩＲ）や紫外線（ＵＶ）などを除去する機能を持たせることが好ましい。この時、可視光の反射率を９５％以上とすると光利用効率が高い虚像光学系が実現できる。
　しかしながら、その反面、フロントガラスを透して直接凹面（自由曲面）ミラー１を見た場合に、外光が反射して眩しく見え自動車の品位の低下や、太陽光や夜間の対向車のヘッドライトなどの強い光が凹面ミラー１に反射し一部の光線が液晶パネルに戻ることでコントラスト性能など情報表示装置として得られる画像（虚像）の画質低下を招くと共に、映像表示装置４を構成する偏光板や液晶パネルにダメージを与えることになる。このため、凹面（自由曲面）ミラー１の反射率を意図的に低減し９０％以下望ましくは８５％以下とすることで、上述した問題点を解決できる。
　凹面（自由曲面）ミラー１の基材である凹面ミラー支持部１ａは、上述した太陽光の内、反射しない波長成分の光を基材が吸収しないように透明性が高いものを選択する。プラスチック製基材であって透明度が高い基材としては、（１）日本ゼオン（株）のＺＥＯＮＥＸ、（２）ポリカーボネイト、（３）アクリル等がある。吸水率がほぼ０％で熱変形温度が高い、（１）ＺＥＯＮＥＸが最適であるが価格が高いため、熱変形温度が同等で吸水率が０．２％程度のポリカーボネイトを工夫して使用すると良い。成形性が最も高く安価なアクリルについては吸湿率が最大であるため防湿膜と反射膜を設けることが必須となる。
　凹面（自由曲面）ミラー１の基材が吸湿するのを防止するために反射面に成膜する反射膜に併せて、反対側の面に防湿膜としてＳｉＮ（窒化シリコン）を成膜して防湿膜を設けると良い。防湿膜であるＳｉＮは太陽光を通過させるため基材での光吸収が発生せず熱変形を押さえることができる。この結果、ポリカーボネイトやアクリルで成形された凹面（自由曲面）ミラーにおいても吸湿による形状変化を防止することができる。
　更に、ここでは図示しないが、上述したＩＲやＵＶを抑制／除去する機能を備えた凹面（自由曲面）ミラー１に加え、または、それに代えて、ＨＵＤ装置１００の上部に形成される開口部４１に、ＩＲやＵＶを除去する機能を備えた透光板を設けても良い。なお、その場合には、ＩＲやＵＶの抑制機能に加え、外部の塵がＨＵＤ装置１００内部に侵入することを防止することが可能となる。
　このように、上述した凹面ミラー１によれば、開口部４１からＨＵＤ装置１００の内部に侵入する多数のスペクトル成分を含む太陽光の内、当該ＨＵＤ装置では不要な成分を除去し、主に可視光成分を選択的に取り出すことが可能となる。
　一方、ＨＵＤ装置の画質を低下させる要因として、映像表示装置４から凹面ミラー１に向かって出射する映像光線が途中に配置された光学素子２の表面で反射して映像表示装置に戻り、再度反射して本来の映像光に重畳されて、画質を低下させることが知られている。このため、本実施例では、光学素子２の表面に反射防止膜を成膜して反射を抑えるだけでなく、光学素子２の映像光入射面と出射面のいずれか一方、若しくは、両方のレンズ面形状を上述した反射光が映像表示装置４の一部分に極端に集光しないような形状の制約を持たせて設計することが好ましい。
　次に、映像表示装置４として、上述した光学素子２からの反射光を吸収させるために偏光板を配置した液晶パネルとすれば、画質の低下を軽減できる。また、液晶パネルのバックライト光源１０は、映像表示装置４に入射する光の入射方向を凹面ミラー１の入射瞳に効率よく入射するように制御される。更に、光源としては、製品寿命が長い固体光源を採用すると良く、更には、周囲温度の変動に対する光出力変化が少ないＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）として光の発散角を低減する光学手段を設けたＰＢＳ（Ｐｏｌａｒｉｚｉｎｇ　Ｂｅａｍ　Ｓｐｌｉｔｔｅｒ）を用いて偏光変換を行うことが好ましい。
　液晶パネルのバックライト光源１０側（光入射面）と光学素子２側（光出射面）には偏光板を配置して、映像光のコントラスト比を高めている。バックライト光源１０側（光入射面）に設ける偏光板には、偏光度が高いヨウ素系のものを採用すれば、高いコントラスト比が得られる。一方、光学素子２側（光出射面）には染料系の偏光板を用いることで、外光が入射した場合や環境温度が高い場合でも、高い信頼性を得ることが可能となる。
　映像表示装置４として液晶パネルを用いる場合、特に、運転者が偏光サングラスを着用している場合には、特定の偏波が遮蔽されて映像が見えない不具合が発生する。これを防ぐために、液晶パネルの光学素子２側に配置した偏光板の光学素子側にλ／４板を配置し、特定の偏光方向に揃った映像光を円偏光に変換することが好ましい。
　更に、上述した情報表示装置の実像光学系を有する投写光学装置のより具体的な光学的な構成について説明する。
　図１４は、本実施例における、レーザ光をＭＥＭＳによりスキャンして実像を得る投写光学装置２２０の基本構成図である。図１４において、投写光学装置２２０は、画像信号に応じて光強度変調（以下、「変調」という）されたレーザ光を二次元方向に走査する光走査装置を搭載し、その光走査装置によりレーザ光を被照射体（例えばフロントガラス）上で走査させて画像を描画する走査型の画像表示装置である。すなわち、回動軸を有する走査ミラー９１により光源部９４（９４ａ，９４ｂ）からのレーザ光を反射させることによって、レーザ光を走査させることができる。概念的には、変調された各画素２０１が、表示面２０のレーザ光の走査軌跡２０２に沿って、像面上で二次元状に走査される。
　以下、本実施例における走査ミラー９１での二次元状の偏向作用の詳細について説明する。
　図１５は本実施例における２軸駆動のＭＥＭＳ素子である走査ミラー９１の概略構成図である。図において、レーザ光を反射角度で偏向する走査ミラー面９１ａは、同軸上に走査ミラー面９１ａを挟んで対向して配置された第１のトーションバネ９１ｂに連結されている。更に、トーションバネ９１ｂは保持部材９１ｃに連結され、次に、保持部材９１ｃは第２のトーションバネ９１ｄに連結されている。第２のトーションバネ９１ｄはフレーム９１ｅに連結されている。そして、それぞれのトーションバネ９１ｂと９１ｄに関して略対称な位置に、図示しないが永久磁石とコイルを配置している。コイルは走査ミラー９１の走査ミラー面９１ａに略平行に形成されており、走査ミラー９１の走査ミラー面９１ａが静止した状態にある時に、走査ミラー面９１ａと略平行な磁界を生じさせる。コイルに電流を流すと、フレミングの左手の法則によって、走査ミラー面９１ａと略垂直なローレンツ力が発生する。
　走査ミラー面９１ａは、ローレンツ力と、トーションバネ９１ｂと９１ｄの復元力がつりあう位置まで回動する。トーションバネ９１ｂに対しては、走査ミラー面９１ａが持つ共振周波数でコイルに交流電流を供給することによって、走査ミラー面９１ａは共振動作を行う。同様に、トーションバネ９１ｄに対しては、走査ミラー面９１ａと保持部材９１ｃを合わせた共振周波数でコイルに交流電流を供給することによって、走査ミラー面９１ａとトーションバネ９１ｂと保持部材９１ｃは共振動作を行う。これによって、２方向について、異なる共振周波数による共振動作を可能としている。
　図１６において、光走査部の反射面である走査ミラー９１の回動角をβ／２とすれば、反射光線の角度である走査角はその２倍でβ変化する。ここで、走査ミラー９１と像面２０の間になんら光学要素を配置しない場合は、走査角βは像面２０での入射角αに等しくなる。従って、ある投射距離に対する走査像の大きさは走査ミラー９１の回動角β／２で決まってしまう。このため、短い距離で大画面を得るために、本実施例においては、図１４に示す走査ミラー９１から投写面であるフロントガラスまでの間に光学系（凹レンズまたは凸面鏡）を設ける（図示せず）ことで上述した振幅を大きくする。
　本実施例では観視者が観る近景に映像を重ねるために観視者から映像までの距離が短いため、垂直方向に対して水平方向の映像表示領域を大きくとる必要がある。そこで、発明者等は観視者である運転者とフロントガラス下部までの距離を１．２ｍで固定し映像表示幅の最適値を実測により求めた。運転する自動車が左右に曲がることをステアリングの回転角度に併せて矢印で表示するためには水平方向の表示範囲を３０インチ以上とする必要があり、４０インチを超える表示ができれば更に良好な映像表示が可能であることが判った。
　一方、垂直方向の表示は１０インチあれば明確な表示が可能であることを見出した。更に表示の視認性を上げるには２０インチ程度まで表示範囲を拡大する必要があるが、ＭＥＭＳの駆動では垂直方向の振幅を大きくすると水平方向の振幅を小さくする必要があり上限を１５インチとすれば実用上十分な映像が得られることを確認した。
　次に、本実施例における像面上を走査するレーザ光の第１の走査状態について説明する。
　図１７は、本実施例における光走査部からのレーザ光の第１の走査状態を示す。上述したように、本実施例における光走査部のスキャンの範囲（振幅）は水平方向の振幅角度を垂直方向の振幅角度に対して２倍以上とし水平方向の映像表示範囲を垂直方向に対して大きくする。フロントガラス上でのレーザ光のサイズを一画素とし水平方向にレーザ光３０１を左から右方向にスキャンし、一画素分下がって右から左に向かってスキャンする。３０２は第１の走査部の走査軌跡である。画像が切り替わるフレームレートは、自動車の走行速度が４０ｋｍ／時の場合は１／６０Ｈｚで良いが、走行速度が１００ｋｍ／時ではフレームレートを１／１２０Ｈｚとすることで自動車の走行速度に応じて表示画像の書き換え速度を速めて最適表示を可能にした。
　この時、本実施例における光走査部は式（３）に示すようにフレーム周波数Ｆと水平偏向周波数ｆｈと垂直偏向周波数ｆｖの積はほぼ一定値Ａとなる。このため、図１に示した運転支援ＥＣＵ６２からの自動車の走行速度情報によりフレームレートを変更し、式（３）により水平の偏向周波数を小さくすると同時に偏向角度も比例して小さくする。
Figure JPOXMLDOC01-appb-M000003
　この結果、映像表範囲として映像表示である水平方向サイズが小さくなるが走行速度が高くなると運転者の視野が狭くなるため、使用に際しては違和感のない情報表示装置を得ることができる。
　本実施例における第１の走査状態では図１８に示す３色（赤色（６３５ｎｍ），緑色（５３２ｎｍ），青色（４６０ｎｍ））の単色レーザ光を用いた。これらを組み合わせて得られる単色の光および合成した場合の色度を図１９に示す色度図上の座標に変換した結果を図２０に示すが、単色の色純度がそれぞれ優れているために、ＮＴＳＣ方式の表示色範囲をカバーしながら十分な明るさが得られた。
　更に、それぞれ単色の発光時に他の色光を混ぜること、例えば、青色レーザ光を１００％発光させた時、緑色光を最大発光に対して１０％発光させ同時に赤色光を最大発光に対して５％発光させると混色光は青色相当色で明るさは２倍以上となった。以上述べたように、本願方式の走査部ではレーザ単色光ではなく他色レーザ光を混色させることで擬似的な単色光の明るさを更に向上できることも見出した。
　次に、本実施例における像面上を走査するレーザ光の第２の走査状態について説明する。
　図２１は、本実施例における光走査部からのレーザ光の第２の走査状態を示す。第１の走査状態との違いは光走査部を複数、すなわち、図２１では第１の走査部と第２の走査部の２個、としている点である。第１の走査部によるスキャンの範囲（振幅）は水平方向の振幅角度を垂直方向の振幅角度に対して２倍以上とし水平方向の映像表示範囲を垂直方向に対して大きくする。フロントガラス上でのレーザ光３０１のサイズを一画素とし水平方向にビームをスキャン、すなわち、図２１の実線で示す軌跡で左から右方向へスキャンし、一画素分下がって右から左に向かってスキャンする。３０２は第１の走査部の走査軌跡である。
　一方、第２の走査部によるスキャンの範囲（振幅）は第１の走査部と同様に水平方向の振幅角度を垂直方向の振幅角度に対して２倍以上とし水平方向の映像表示範囲を垂直方向に対して大きくする。フロントガラス上でのレーザ光３０３のサイズを一画素とし水平方向にビームをスキャン、すなわち、図２１の破線で示す軌跡で右から左方向へスキャンし、一画素分下がって左から右に向かってスキャンする。なお、図２１ではレーザ光３０３が最下段の最終画素に来た状態を示している）。また、第２の走査部によるスキャンは上から下方向でも良いし、下から上方向でも良い。３０４は第２の走査部の走査軌跡である。この時、第１の走査部が表示するフレーム画像の次のフレームの表示をほぼ１／２フレーム分ずらして次のフレームの映像を表示する。
　この結果、擬似的にフレームレートを２倍にできることを確認した。更に、第２の走査状態での第１の走査部では図２２に示す３色の、赤色（６３５ｎｍ），緑色（５３２ｎｍ），青色（４６０ｎｍ）の単色レーザ光を用いた。また第２の走査部では図２２に示す３色の、赤色（６４５ｎｍ），緑色（５１５ｎｍ），青色（４５０ｎｍ）の単色レーザ光を用いることでスペックルも低減でき、これらを組み合わせて得られる単色の光および合成した場合の色度は図２３に示すように、２つの走査部を構成するレーザ光源の単色の色純度がそれぞれ優れているために、ＮＴＳＣ方式の表示色範囲をカバーしながら十分な明るさが得られた。
　更に第１の走査部（以降（１）と記載）、第２の走査部（以降（２）と記載する）それぞれ単色の発光時に他の色光を混ぜること、例えば、２走査部の青色レーザ光（１）および（２）を１００％発光させた時、緑色光（１）を最大発光に対して５％発光させ同時に緑色光（２）を最大発光に対して１０％発光させ、赤色光（１）を最大発光に対して５％発光させると混色光は青色相当色で明るさは２倍以上となった。
　以上述べたように、本実施例によれば、複数の走査部を重ねて用いてもレーザ単色光ではなく他色レーザ光を混色させることで擬似的な単色光の明るさを更に向上できることも見出した。本実施例では２つの走査部を同時に使用した場合の効果について述べたが、３つ以上の走査部を同時に使用すれば、擬似的にフレームレートを速めることができることは言うまでもなく、異なる波長のレーザ光をそれぞれの走査部に用いて重ねることでスペックルノイズの大幅な軽減もできる。明るさについても上述したように単色の色度を損なうことなく向上できる。
　続いて、上述した情報表示装置のインストルメントパネルによる表示のより具体的な構成について説明する。
　図１に示すインストルメントパネル４２はステアリング４３の内径部分に配置されるため、その表示される映像は、観視者である運転者からの視点移動が最も大きくなる。このため、自動車が自動運転モードによる自動運転中以外は緊急度の低い情報を表示する。運転者の視点を、前述した観視用カメラ２１０でセンシングし、表示映像を変更すると多くの映像情報を有効に運転者に表示できる。
　インストルメントパネルとしては装置の薄型化のために液晶パネルを使用する。自動車の内装デザインを重視して曲面形状とすると良い。また、表示速度をフレームレート（６０Ｈｚ）の２倍の１２０Ｈｚまたは４倍の２４０Ｈｚとして表示内容の切り替えを高速で行うことで、車外の観視カメラからの映像情報をリアルタイムに表示可能となる。
　以上述べた情報表示装置は、図３に示すような３種類の情報表示位置として、画像表示領域１（ａ），画像表示領域２（ａ）、画像表示領域３（ａ）を有する。これに対して、観視者である運転者の視点移動を観視するセンサとして、例えば図１や図２で示した観視用カメラ２１０を用い、観視者の視点移動の情報と自動車の速度に対応して、３種類の情報表示位置に表示されるそれぞれの映像表示を最適な位置、時間、表示内容として組み合わせて表示することで安全運転支援に有効な情報表示装置を提供することができる。例えば、旋回時の観視者の視点移動に応じて、情報表示位置を旋回方向に変更する等の制御を行う。
　また、上述した３つの情報表示位置は、ステアリングの回転中心軸を含む直線近傍を表示の中心とすることで、観視者である運転者の水平方向の視点移動が左右均等になるため運転時の疲労を抑える効果と視点移動を最小にする効果がある。
　以上、本発明の種々の実施例になる情報表示装置について述べた。しかしながら、本発明は、上述した実施例のみに限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１…凹面ミラー、１ａ…凹面ミラー支持部、２、３…光学素子（レンズ）、４…映像表示装置、６…被投影部材（フロントガラス）、８…アイボックス（観察者の眼）、１０…バックライト光源、２０…表示面、４１…開口部、４２…インストルメントパネル、４３…ステアリング、４４…フロントカバー、４５…車体、５０…太陽、５１、５２、５３…空間センシング装置、５３１…変換装置、６０…光源、６１…コンデンサ光学素子、６５…集光レンズ素子、６４…受光部、８０…センシングユニット、９１…走査ミラー、１００…ＨＵＤ装置、１０１…自動車、２０１…画素、２０２…レーザ光の走査軌跡、２１０…観視用カメラ、２２０…投写光学装置、３０１…第１の走査部のレーザ光、３０２…第１の走査部の走査軌跡、３０３…第２の走査部のレーザ光、３０４…第２の走査部の走査軌跡、１（ａ）、２（ａ）、３（ａ）、１（ｂ）、２（ｂ）、３（ｂ）…画像表示領域。

Claims (10)

  1. 　乗り物に情報を表示する情報表示装置であって、
    　前記乗り物の運転座席の前方の画像表示領域に画像情報を表示する情報表示装置と、
    　前記運転座席と前記表示される画像表示領域の間の空間領域において、運転者による指示の位置情報を検出する空間センシング手段と、を備え、
    　前記運転者による指示を、前記空間センシング手段により検出された前記運転者による指示の位置情報に対応して、前方の前記画像表示領域に表示する手段を備えている、情報表示装置。
  2. 　請求項１に記載の情報表示装置において、
    　前記情報表示装置は、当該装置から出射された光を前記乗り物のフロントガラスで反射させることで虚像を前記乗り物の前方に表示する虚像光学系を備えている、情報表示装置。
  3. 　請求項２に記載の情報表示装置において、
    　前記情報表示装置は、前記フロントガラスと前記運転座席の間のダッシュボード上に配置されている、情報表示装置。
  4. 　請求項１に記載の情報表示装置において、
    　前記情報表示装置は、当該装置から出射された光を前記乗り物のフロントガラス上に走査することにより実像を表示する実像光学系を備えている、情報表示装置。
  5. 　請求項４に記載の情報表示装置において、
    　前記情報表示装置は、前記フロントガラスと前記運転座席の間のダッシュボード上に配置されている、情報表示装置。
  6. 　請求項１に記載の情報表示装置において、
    　前記情報表示装置は、前記乗り物のインストルメントパネルを用いた直視型の映像表示装置を備えている、情報表示装置。
  7. 　請求項６に記載の情報表示装置において、
    　前記情報表示装置は、前記インストルメントパネルと前記運転座席の間に配置されている、情報表示装置。
  8. 　請求項１～７のいずれか一項に記載の情報表示装置のための空間センシング装置であって、
    　光源からの光束を平行光束とする発光素子と、当該発光素子からの光束のうち障害物で反射した反射光束を受光する集光レンズ素子とからなる光学素子の対を、複数個、直線上に配置し構成している、情報表示装置の空間センシング装置。
  9. 　請求項８に記載の情報表示装置の空間センシング装置において、
    　前記複数個の光学素子の対は、フロントガラスと運転座席の間において、水平方向で、かつ、前記運転座席から前記フロントガラスへの方向に対して直交する方向に配置されている、情報表示装置の空間センシング装置。
  10. 　請求項８に記載の情報表示装置の空間センシング装置において、
    　前記複数個の光学素子の対は、乗り物のインストルメントパネルの少なくとも１つの辺に沿って配置されている、情報表示装置の空間センシング装置。
PCT/JP2018/037459 2017-10-24 2018-10-05 情報表示装置およびその空間センシング装置 WO2019082626A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112018004671.0T DE112018004671T5 (de) 2017-10-24 2018-10-05 Informationsanzeigevorrichtung und Raumabtastvorrichtung
CN202311027382.2A CN116788039A (zh) 2017-10-24 2018-10-05 信息显示装置
US16/754,764 US11878586B2 (en) 2017-10-24 2018-10-05 Information display apparatus and spatial sensing apparatus
CN201880067362.9A CN111213114B (zh) 2017-10-24 2018-10-05 信息显示装置及其空间感测装置
US18/522,958 US20240092172A1 (en) 2017-10-24 2023-11-29 Information display apparatus and spatial sensing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017205299A JP6987341B2 (ja) 2017-10-24 2017-10-24 情報表示装置およびその空間センシング装置
JP2017-205299 2017-10-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/754,764 A-371-Of-International US11878586B2 (en) 2017-10-24 2018-10-05 Information display apparatus and spatial sensing apparatus
US18/522,958 Continuation US20240092172A1 (en) 2017-10-24 2023-11-29 Information display apparatus and spatial sensing apparatus

Publications (1)

Publication Number Publication Date
WO2019082626A1 true WO2019082626A1 (ja) 2019-05-02

Family

ID=66246295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037459 WO2019082626A1 (ja) 2017-10-24 2018-10-05 情報表示装置およびその空間センシング装置

Country Status (5)

Country Link
US (2) US11878586B2 (ja)
JP (2) JP6987341B2 (ja)
CN (2) CN116788039A (ja)
DE (1) DE112018004671T5 (ja)
WO (1) WO2019082626A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4067150A4 (en) * 2019-11-27 2023-12-27 Kyocera Corporation HEAD-UP DISPLAY, HEAD-UP DISPLAY SYSTEM AND MOVING BODY

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6726674B2 (ja) * 2015-10-15 2020-07-22 マクセル株式会社 情報表示装置
WO2019198998A1 (ko) * 2018-04-12 2019-10-17 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량
JP7475107B2 (ja) * 2019-03-27 2024-04-26 パナソニックオートモーティブシステムズ株式会社 電子ミラーシステム、画像表示方法、及び移動体
JP7332449B2 (ja) * 2019-11-27 2023-08-23 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
JP7241005B2 (ja) * 2019-11-27 2023-03-16 京セラ株式会社 ヘッドアップディスプレイシステムおよび移動体
KR20210142932A (ko) * 2020-05-19 2021-11-26 현대모비스 주식회사 외부광 차단 기능을 갖는 차량용 헤드업 디스플레이 장치
CN114241972B (zh) * 2021-12-28 2023-08-22 武汉华星光电半导体显示技术有限公司 显示装置、显示装置的控制方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005023598A1 (ja) * 2003-09-02 2005-03-17 Matsushita Electric Industrial Co., Ltd. 入力装置
JP2013250833A (ja) * 2012-06-01 2013-12-12 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
US20140160074A1 (en) * 2012-12-12 2014-06-12 Electronics And Telecommunications Research Institute Multiple sensors-based motion input apparatus and method
JP2015132905A (ja) * 2014-01-10 2015-07-23 アルパイン株式会社 電子システム、検出範囲の制御方法、及び制御プログラム
JP2016149094A (ja) * 2015-02-13 2016-08-18 三菱自動車工業株式会社 車両用情報処理装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4961625A (en) * 1987-09-18 1990-10-09 Flight Dynamics, Inc. Automobile head-up display system with reflective aspheric surface
JP2000168352A (ja) 1998-12-10 2000-06-20 Honda Access Corp 車両用表示装置
JP2007523369A (ja) * 2004-02-04 2007-08-16 マイクロビジョン，インク． 走査ビームヘッドアップ表示装置および関連システム、および方法
JP2010018201A (ja) 2008-07-11 2010-01-28 Fujitsu Ten Ltd 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US8775023B2 (en) * 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
JP2012073658A (ja) 2010-09-01 2012-04-12 Shinsedai Kk コンピュータシステム
JP5467527B2 (ja) 2010-09-06 2014-04-09 株式会社デンソー 車載機器制御装置
JP2013097605A (ja) 2011-11-01 2013-05-20 Denso Corp 車両運転支援装置
WO2014096896A1 (en) 2012-12-20 2014-06-26 Renault Trucks A method of selecting display data in a display system of a vehicle
JP2015128918A (ja) * 2014-01-06 2015-07-16 株式会社東海理化電機製作所 操作装置
JP6253417B2 (ja) 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
WO2015133057A1 (ja) * 2014-03-05 2015-09-11 株式会社デンソー 検知装置及びジェスチャ入力装置
JP2015194707A (ja) 2014-03-27 2015-11-05 パナソニックＩｐマネジメント株式会社 表示装置
KR101519290B1 (ko) * 2014-04-09 2015-05-11 현대자동차주식회사 차량용 헤드 업 디스플레이 제어방법
JP6473895B2 (ja) * 2014-04-14 2019-02-27 パナソニックＩｐマネジメント株式会社 ヘッドアップディスプレイ、およびヘッドアップディスプレイを搭載した移動体
JP6487642B2 (ja) 2014-07-01 2019-03-20 国立大学法人 筑波大学 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
DE102014116292A1 (de) 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
CN204687853U (zh) * 2015-03-20 2015-10-07 京东方科技集团股份有限公司 一种车载显示系统和汽车
US10040352B2 (en) * 2016-04-12 2018-08-07 International Business Machines Corporation Vehicle steering control display device
JP6315127B2 (ja) 2017-04-10 2018-04-25 船井電機株式会社 入力装置、空中像インタラクションシステム、及び入力方法
US10600390B2 (en) * 2018-01-10 2020-03-24 International Business Machines Corporation Displaying a vehicle notification in a location determined based on driver eye gaze direction and other criteria

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005023598A1 (ja) * 2003-09-02 2005-03-17 Matsushita Electric Industrial Co., Ltd. 入力装置
JP2013250833A (ja) * 2012-06-01 2013-12-12 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
US20140160074A1 (en) * 2012-12-12 2014-06-12 Electronics And Telecommunications Research Institute Multiple sensors-based motion input apparatus and method
JP2015132905A (ja) * 2014-01-10 2015-07-23 アルパイン株式会社 電子システム、検出範囲の制御方法、及び制御プログラム
JP2016149094A (ja) * 2015-02-13 2016-08-18 三菱自動車工業株式会社 車両用情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4067150A4 (en) * 2019-11-27 2023-12-27 Kyocera Corporation HEAD-UP DISPLAY, HEAD-UP DISPLAY SYSTEM AND MOVING BODY
US11961429B2 (en) 2019-11-27 2024-04-16 Kyocera Corporation Head-up display, head-up display system, and movable body

Also Published As

Publication number Publication date
JP7360433B2 (ja) 2023-10-12
JP6987341B2 (ja) 2021-12-22
US11878586B2 (en) 2024-01-23
DE112018004671T5 (de) 2020-06-04
US20240092172A1 (en) 2024-03-21
CN111213114B (zh) 2023-08-29
CN116788039A (zh) 2023-09-22
US20200247240A1 (en) 2020-08-06
JP2019079238A (ja) 2019-05-23
JP2022020704A (ja) 2022-02-01
CN111213114A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
JP7081021B2 (ja) 情報表示装置
JP7360433B2 (ja) 情報表示装置
JP6762807B2 (ja) 情報表示装置
JP7228646B2 (ja) 情報表示装置
JP6709228B2 (ja) 情報表示装置
JP6726674B2 (ja) 情報表示装置
JP6839764B2 (ja) 情報表示装置
WO2020149078A1 (ja) 車両用情報表示システムおよび情報表示装置
WO2017061016A1 (ja) 情報表示装置
JP2023041669A (ja) ヘッドアップディスプレイ装置
JP7095018B2 (ja) ヘッドアップディスプレイ装置
JP2021036317A (ja) 情報表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18871330

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18871330

Country of ref document: EP

Kind code of ref document: A1