WO2022130996A1 - 画像投影システムおよび画像投影方法 - Google Patents

画像投影システムおよび画像投影方法 Download PDF

Info

Publication number
WO2022130996A1
WO2022130996A1 PCT/JP2021/044225 JP2021044225W WO2022130996A1 WO 2022130996 A1 WO2022130996 A1 WO 2022130996A1 JP 2021044225 W JP2021044225 W JP 2021044225W WO 2022130996 A1 WO2022130996 A1 WO 2022130996A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
determination
projection system
information
Prior art date
Application number
PCT/JP2021/044225
Other languages
English (en)
French (fr)
Inventor
俊明 津田
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to CN202180080752.1A priority Critical patent/CN116529103A/zh
Priority to US18/255,972 priority patent/US20240045203A1/en
Publication of WO2022130996A1 publication Critical patent/WO2022130996A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J1/00—Windows; Windscreens; Accessories therefor
    • B60J1/02—Windows; Windscreens; Accessories therefor arranged at the vehicle front, e.g. structure of the glazing, mounting of the glazing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0196—Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/101—Nanooptics

Definitions

  • the present invention relates to an image projection system and an image projection method, and more particularly to an image projection system and an image projection method for displaying an image to a driver or the like in a vehicle.
  • the virtual image projected from the image projection unit through a transparent member such as a windshield is visually recognized, and the background in the real space and the virtual image are superimposed.
  • the driver can visually recognize various information (virtual images) projected from the image projection unit within the same visual field range while visually recognizing the object in the real space outside the vehicle.
  • the brightness of the outside of the vehicle is measured by an optical sensor or the like, and the light emitted from the image projection unit according to the brightness of the outside world. Controls the strength of.
  • the brightness of the light that projects the virtual image is increased in a bright environment during the day and decreased in a dark environment at night, thereby controlling the contrast between the background and the virtual image within an appropriate range.
  • the brightness around the vehicle and the background do not always match in an environment where the light and darkness on the road surface is switched, and there is a possibility that the visibility may be deteriorated.
  • a vehicle runs in a dark tunnel during daytime driving and approaches the tunnel exit, or when the rear part of the preceding vehicle is illuminated by a headlight during nighttime driving, it is in front of an oncoming vehicle during nighttime rainy weather driving.
  • the light intensity from the image projection unit is lowered because the surroundings of the vehicle are dark, and the light is superimposed on the bright background, so that the visibility cannot be maintained well.
  • the light that projects the virtual image may not be noticeable in comparison with the background depending on the running condition of the vehicle, and the visibility of the virtual image may decrease.
  • rice field For example, if you are driving on a snowy road, if the fallen leaves are scattered on the road surface, if you are driving on a mountain road during the fresh green season, if you are driving along the coast, you are driving in thick fog. In such cases, good visibility cannot be maintained by projection with light similar to the color tone of the background in which the virtual image is overlapped or in the field of view.
  • the present invention has been made in view of the above-mentioned conventional problems, and is an image projection system and an image projection capable of ensuring the visibility of a virtual image projected superimposed on the background even in various driving situations.
  • the purpose is to provide a method.
  • the image projection system of the present invention irradiates a transmission / reflection portion composed of a translucent member and an inner surface of the transmission / reflection portion with light containing image information.
  • An image projection unit that projects a display image, an external situation imaging unit that captures a situation outside the transmission / reflection unit as an external image, and a display area specification that specifies a display area on which the display image is projected in the external image.
  • An image determination unit that sets a unit and a determination area including the display area, and recognizes and analyzes an image in the determination area in the external image, and the image information based on the analysis result of the image determination unit. It is characterized by including an image adjusting unit for adjustment.
  • an external image is captured by the external situation imaging unit, and the display image is adjusted and projected from the image projection unit based on the result of analyzing the image in the determination region. It is possible to ensure the visibility of the virtual image projected on top of the background even in various driving conditions.
  • the display area and the determination area are provided in plurality.
  • the image determination unit acquires the luminance information in the determination region, and the image adjustment unit adjusts the luminance of the image information based on the luminance information.
  • the image determination unit acquires the color tone information in the determination area, and the image adjustment unit adjusts the color tone of the image information based on the color tone information.
  • the image determination unit analyzes a plurality of images in the determination region within the determination period.
  • the image determination unit sets the determination period based on the image information.
  • a situation acquisition unit for acquiring an external situation as situation information is provided, and the image determination unit sets the determination period based on the situation information.
  • the external situation imaging unit includes a visible light imaging unit that captures a visible light image with visible light and an infrared light imaging unit that captures an infrared light image with infrared light.
  • the external image includes the visible light image and the infrared light image.
  • the infrared light imaging unit includes an infrared pulse light source that irradiates the infrared light in a pulse shape, and after a first delay time has elapsed from the end of light emission of the infrared pulse light source. , The infrared light image is taken.
  • the visible light image is imaged after the second delay time has elapsed from the end of imaging of the infrared light image.
  • the image adjusting unit superimposes at least a part of the infrared light image on the image information.
  • the image determination unit extracts a feature region based on the difference between the visible light image and the infrared light image, and the image adjustment unit superimposes the feature region on the image information. ..
  • the infrared light imaging unit and the visible light imaging unit are configured by mixing visible light subpixels and infrared light subpixels in one image sensor.
  • the transmitted reflection unit is a windshield of a vehicle.
  • the image projection method of the present invention projects a display image by irradiating an inner surface of a transmission / reflection portion composed of a translucent member with light containing image information.
  • the present invention can provide an image projection system and an image projection method capable of ensuring the visibility of a virtual image projected superimposed on the background even in various driving situations.
  • FIG. 5A is a schematic diagram showing the relationship between the determination area and the display area in the image projection system according to the second embodiment, and FIG. 5A shows a plurality of display areas 53a to 53c provided in the determination area 52, and FIG.
  • FIG. 8 (a) shows the determination area 52a in a visible light image
  • FIG. 8 (b) is an infrared light image
  • 8 (c) shows a comparative image 52c of a visible light image and an infrared light image
  • FIG. 8 (d) shows a viewpoint image 52d of a occupant e in which a background and a virtual image 40 are superimposed. Shows. It is a flowchart explaining the procedure of the image projection method which concerns on 4th Embodiment. It is a timing chart explaining pulse light emission and image pickup in 4th Embodiment, FIG. 10A shows light emission timing of an infrared pulse light source 50c, and FIG. 10B shows the image pickup timing of an infrared light image pickup unit 50b.
  • FIG. 10 (c) shows the imaging timing of the visible light imaging unit 50a.
  • FIG. 1 is a schematic diagram showing a configuration of an image projection system according to the present embodiment.
  • FIG. 2 is a block diagram showing a configuration of an image projection system according to the present embodiment.
  • the image projection system of the present embodiment includes an image projection unit 10, a projection optical unit 20, a transmission reflection unit 30, an external situation imaging unit 50, and an information processing unit 60.
  • a virtual image 40 is projected to form an image in space.
  • the information processing unit 60 is connected to the image projection unit 10 and the external situation imaging unit 50 so as to be capable of information communication.
  • the image projection unit 10 is a device that forms a virtual image 40 at a predetermined position by irradiating light containing the image information by supplying a signal including the image information from the information processing unit 60.
  • the light emitted from the image projection unit 10 is incident on the projection optical unit 20.
  • Examples of the image projection unit 10 include a liquid crystal display device, an organic EL display device, a micro LED display device, a projector device using a laser light source, and the like.
  • the projection optical unit 20 is an optical member having a focal point at a position separated by a predetermined focal length.
  • the light emitted from the image projection unit 10 is reflected by the projection optical unit 20 and reaches the transmission reflection unit 30.
  • FIG. 1 shows an example in which a plane reflecting mirror and a concave mirror are used as the projection optical unit 20 and the light from the image projection unit 10 is reflected to the transmission reflection unit 30, but a transmission type lens is used as the projection optical unit 20. May be.
  • FIG. 1 shows an example in which the light emitted from the image projection unit 10 directly reaches the projection optical unit 20 of the planar reflector and the concave mirror, but more planar reflectors and the like and a plurality of concave mirrors are used. The reflected light may reach the projection optical unit 20.
  • the transmission / reflection unit 30 is a member that transmits light from the outside and reflects the light that arrives from the projection optical unit 20 in the direction of the passenger e.
  • the windshield of the vehicle can be used as the transmission reflection unit 30.
  • a combiner may be prepared separately from the windshield, and the combiner may be used as the transmission / reflection unit 30.
  • a helmet shield, goggles or eyeglasses may be used as the transmission reflection unit 30.
  • the virtual image 40 is an aerial stereoscopic image that is visually recognized as if it was imaged in space when the light reflected by the transmission reflection unit 30 reaches the passenger e.
  • the position where the virtual image 40 is formed is determined by the spreading angle when the light emitted from the image projection unit 10 travels in the passenger e direction after being reflected by the projection optical unit 20 and the transmission reflection unit 30.
  • the external situation imaging unit 50 is a device that captures the situation on the opposite side (outside) of the passenger e as an external image via the transmission reflection unit 30.
  • the configuration of the external situation imaging unit 50 is not limited, and a known imaging device such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Sensor) sensor can be used.
  • the external image captured by the external situation imaging unit 50 is preferably a color image capable of expressing the gradation in detail to the extent that the luminance and color can be discriminated.
  • the direction of the external situation image pickup unit 50 to be imaged is the external direction that the passenger e visually recognizes through the transmission reflection unit 30, for example, the traveling direction (forward) of the vehicle.
  • the position where the external situation imaging unit 50 is mounted includes the front surface of the vehicle, the interior of the vehicle, and the like, but it is preferable to take an image in an imaging range close to the line-of-sight direction of the occupant e, such as overhead of the occupant e. It is preferably near the upper part of the transmission / reflection unit 30, on the dashboard of the vehicle, or the like.
  • the external situation imaging unit 50 is provided with information communication means for communicating information with the information processing unit 60, and transmits the information of the captured external image to the information processing unit 60.
  • the image projection system of the present embodiment light including image information is emitted from the image projection unit 10 toward the projection optical unit 20.
  • the light emitted from the image projection unit 10 is reflected by the inner surfaces of the projection optical unit 20 and the transmission reflection unit 30, and is incident on the eyes of the occupant e.
  • the light reflected from the transmission / reflection unit 30 spreads toward the passenger e, so that the passenger e visually recognizes that the virtual image 40 is formed at a position farther than the transmission / reflection unit 30. Further, the passenger e also visually recognizes the background on the extension of the line of sight with the virtual image 40 superimposed.
  • the external situation imaging unit 50 images the outside of the transmission / reflection unit 30 as an external image, and transmits the data of the external image to the information processing unit 60. Further, as will be described later, the information processing unit 60 adjusts the image projected from the image projection unit 10 based on the external image to improve the visibility.
  • the information processing unit 60 is a part that processes various information according to a predetermined procedure, and is a computer provided with a central processing unit (CPU: Central Processing Unit), a memory, an external storage device, and various interfaces. As shown in FIG. 2, the information processing unit 60 includes a display area specifying unit 61, an image determination unit 62, an image adjusting unit 63, and a status acquisition unit 64. Each of these units is realized by the CPU performing information processing based on the program recorded in the memory of the information processing unit 60 and the external storage device. Further, the information processing unit 60 is provided with information communication means for performing information communication between the image projection unit 10 and the external situation imaging unit 50 (not shown).
  • CPU Central Processing Unit
  • the display area specifying unit 61 is a part that acquires an external image captured by the image projection unit 10 and specifies an area in which the display image (virtual image 40) is superimposed and projected in the external image as a display area.
  • a method for the display area specifying unit 61 to specify the display area it can be obtained from the correspondence between the imaging range of the external situation imaging unit 50 and the viewing angle from the viewpoint position of the occupant e. More specifically, the position where the light from the image projection unit 10 is irradiated in the transmission reflection unit 30 is set as the irradiation position, and the straight line connecting the irradiation positions from the previously assumed viewpoint position of the passenger e is calculated as the line-of-sight vector. ..
  • the relative positional relationship between the mounting position of the external situation imaging unit 50 and the transmission reflection unit 30 is recorded in advance, and the background and the external image visually recognized by the passenger e from the imaging range of the external situation imaging unit 50 and the line-of-sight vector. Calculate the position within and specify the display area.
  • the image determination unit 62 is a portion that sets a determination area including a display area and recognizes and analyzes an image in the determination area in the external image. Since the passenger e superimposes the display image and the background on the visual recognition, a range wider than the display area on which the virtual image 40 is superposed is set as the determination area.
  • the image determination unit 62 analyzes the luminance and color tone from the image in the determination region in the external image, and acquires the luminance information and the color tone information. The acquired luminance information and color tone information are transmitted to the image adjustment unit 63. The analysis of the luminance information and the color tone information will be described later.
  • the image adjustment unit 63 is a unit that adjusts image information based on the analysis result of the image determination unit 62. Based on the luminance information and the color tone information analyzed by the image determination unit 62, the luminance or color tone is adjusted in the image information of the display image emitted from the image projection unit 10.
  • the adjustment of the image information is a physical adjustment such as increasing or decreasing the amount of light emitted by the image projection unit 10 or inserting a color filter into the path of the light emitted from the image projection unit 10. There may be.
  • the digital data of the image information may be subjected to image processing to change the brightness, contrast, and color tone, and to combine the images.
  • the status acquisition unit 64 is a unit that acquires an external situation as status information and transmits it to each unit.
  • Examples of the external situation acquired by the situation acquisition unit 64 include the traveling speed of the vehicle, the weather condition, the position information of the vehicle, the existence of the object to be alerted, the traffic information, and the like.
  • a vehicle speed sensor a GPS (Global Positioning System) device, a wireless communication means, a navigation system, an image recognition of an external image, and the like can be mentioned.
  • FIG. 3 is a schematic diagram showing the relationship between the external image captured by the external situation imaging unit 50 and the display area in the image projection system according to the first embodiment.
  • the external image 51 captured by the external situation imaging unit 50 is shown, and the determination region 52 in the external image 51 is shown by a solid line frame.
  • a plurality of display areas 53a, 53b, 53c are provided in the determination area 52, and an icon is projected on each display area 53a, 53b, 53c as a virtual image 40 of the display image.
  • the external image 51 is calculated to correspond to the background visually recognized by the passenger e through the transmission reflection unit 30, and the positions of the display areas 53a, 53b, 53c in the external image 51 and the boarding.
  • the background visually recognized by the person e and the superposition of the virtual image 40 match. Therefore, the background and the virtual image 40 that the passenger e sees through the transmission reflection unit 30 are the same as the schematic diagram shown in FIG.
  • the determination area 52 set by the image determination unit 62 includes the display areas 53a, 53b, and 53c, and includes the front surface of the passenger e and the vicinity of the center of the transmission reflection unit 30.
  • the image adjustment unit adjusts the image information based on the luminance information and the color tone information of the determination region, and superimposes the image on the determination region to form an image, thereby improving the visibility of the virtual image 40.
  • FIG. 4 is a flowchart illustrating the procedure of the image projection method according to the present embodiment.
  • the information processing unit 60 is activated, the program recorded in the external storage device is read into the memory, and the CPU performs information processing, whereby the display area specifying unit 61, the image determination unit 62, The functions of the image adjustment unit 63 and the status acquisition unit 64 are executed. Further, the image projection unit 10, the external situation imaging unit 50 and other various devices are connected to the information processing unit 60, and drive control and information communication of each unit are performed.
  • Step S1 is an external situation imaging step in which the external situation imaging unit 50 images an external situation as an external image from the transmission reflection unit 30.
  • the information processing unit 60 drives and controls the external situation imaging unit 50 to capture an external situation and acquire an external image. After acquiring the external image, the process proceeds to step S2.
  • Step S2 is an image projection step of irradiating light containing image information from the image projection unit 10 to form an image of a virtual image 40 at a predetermined position.
  • the image information includes information obtained by converting an image into digital data and correction data related to luminance and color tone.
  • the image projection unit 10 creates an image shape based on the digital data of the image included in the image information, and controls the brightness and color tone of the emitted light based on the brightness and color tone of the correction data.
  • the light constituting the virtual image 40 is irradiated from the image projection unit 10 with the intensity and color tone of the light according to the image information.
  • the process proceeds to step S3.
  • Step S3 is a display area specifying step of specifying an area in which the display images are superimposed and projected in the external image as a display area.
  • the display area specifying unit 61 obtains a display area in the external image from the correspondence between the imaging range of the external situation imaging unit 50 and the viewing angle of the occupant e.
  • the imaging range of the external situation imaging unit 50 may be calculated from the mounting position of the external situation imaging unit 50 and the optical axis direction of the lens and recorded in advance, and a part of the vehicle included in the external image may be recognized as an image. It may be extracted from the above and calculated from the relative positional relationship between the mounting position and a part of the vehicle recognized in the image.
  • Step S4 is an image determination step of setting a determination area including a display area in the external image and recognizing and analyzing the image in the determination area.
  • the image determination unit 62 sets a wide area including the display area in the external image as the determination area, analyzes the image in the determination area, and acquires the luminance information and the color tone information of the determination area.
  • the determination area may be set in advance by recording the area corresponding to the predetermined area in the transmission / reflection unit 30 as the determination area, or even if the image determination unit 62 sets the determination area based on the situation acquired by the situation acquisition unit 64. good.
  • the determination region is set so as to include the front surface of the passenger e where the line of sight of the passenger e tends to concentrate and the central region of the transmission reflection unit 30.
  • the luminance and the color are specified for each pixel of the image included in the determination area, the average value in the entire determination area is calculated, and the luminance information and the color tone information are obtained.
  • the luminance and color tone of the pixels are ranked in the entire determination area, and the rank with the largest number of corresponding pixels is used as the luminance information and the color tone information.
  • the image in the determination area may be recognized by machine learning to calculate the luminance information and the color tone information.
  • Step S5 is an image adjustment step of adjusting the image information of the virtual image 40 projected from the image projection unit 10 based on the analysis result in the image determination step.
  • the image adjustment unit 63 adjusts the image information projected by the image projection unit 10 based on the brightness information and the color tone information acquired by the image determination unit 62 analyzing the determination area.
  • the overall luminance and color tone of the determination region 52 can be grasped, and the virtual image 40 having high visibility can be superposed according to the luminance and color tone.
  • the determination area 52 substantially matches the external background actually seen by the occupant e, not the brightness or color tone around the vehicle, the visibility of the virtual image 40 can be improved according to the actual driving situation. It is possible to secure it.
  • the luminance information of the determination area is classified into 10-step evaluation, the light intensity of the virtual image 40 superimposed on the display areas 53a, 53b, 53c is adjusted, and the projection of the virtual image 40 with the contrast corresponding to the luminance information is projected.
  • Another example is to classify the color tone information in the determination area by a hue diagram or a chromaticity diagram, and project the virtual image 40 with a complementary color.
  • the virtual image 40 when the virtual image 40 is normally projected in red, yellow, which is a warning color, or green, which has high visibility, and the color tone information in the determination area is red, yellow, or green, the background and the virtual image 40 do not have similar colors. For example, switching to projection in another color. Further, the color tone of the determination area and the display color of the imaginary image 40 are recorded in association with each other in advance, and if the color tone information of the determination area is white on a snowy road, it is projected in red, and the color tone information is displayed at the time of autumn leaves or sunset. In the case of red or orange, it may be projected in green or blue.
  • the image adjusting unit 63 adjusts the image information projected from the image projection unit 10, changes the brightness or color tone of the virtual image 40, and then proceeds to step S6.
  • Step S6 is a projection continuation determination step for determining whether to continue the projection of the virtual image 40. If the projection is to be continued, the process proceeds to step S1, and if the projection is not continued, the projection of the virtual image 40 from the image projection unit 10 is stopped and the process ends.
  • the external situation imaging unit 50 captures an external image, and the display image is adjusted based on the result of analyzing the image in the determination region to obtain an image. Project from the projection unit 10.
  • the superposition of the background and the virtual image 40 in the field of view actually viewed by the passenger e can be grasped, and the visibility of the virtual image 40 projected on the background can be ensured even in various driving situations. It is possible to do.
  • the image information of the virtual image 40 projected from the image projection unit 10 according to the brightness information or the color tone information of the determination area, it is possible to appropriately control the projection of the virtual image 40 in real time in various situations. Yes, the visibility of the virtual image 40 can be further improved.
  • FIG. 5A and 5B are schematic views showing the relationship between the external image captured by the external situation imaging unit 50 and the display area in the image projection system according to the present embodiment, and FIG. 5A is a plurality of images provided in the determination area 52.
  • the display areas 53a to 53c are shown, and FIG. 5B shows the sub-determination areas 54a to 54c corresponding to the display areas 53a to 53c.
  • a plurality of display areas 53a to 53c exist in the determination area 52, and the positions and sizes corresponding to the respective display areas 53a to 53c are used.
  • the sub-determination areas 54a to 54c are set.
  • an example in which the sub-determination areas 54a to 54c are included inside the determination area 52 is shown, but the display areas 53a to 53c and the sub-determination areas 54a to 54c may be provided outside the determination area 52.
  • the sub-determination areas 54a to 54c are set at positions corresponding to the display areas 53a to 53c, and each is set to include the display areas 53a to 53c. Further, the determination area 52 and the sub-determination areas 54a to 54c are not used exclusively, but are independently set and analyzed by the image determination unit 62.
  • the image determination unit 62 sets the sub-determination areas 54a to 54c corresponding to the respective display areas 53a to 53c and the determination area 52 including all the display areas 53a to 53c. .. Further, the image determination unit 62 acquires luminance information and color tone information for each of the determination area 52 and the sub-determination areas 54a to 54c.
  • the image adjustment unit 63 has the display area 53a based on the luminance information and the color tone information of the sub-determination areas 54a to 54c acquired by the image determination unit 62 by analyzing the determination area.
  • the image information of each of ⁇ 53c is adjusted.
  • the image adjusting unit 63 individually adjusts the image information in the display areas 53a to 53c by image processing of the displayed image (virtual image 40).
  • the image information may be adjusted by associating a plurality of luminance information and the color tone information including the determination area 52.
  • the brightness and the color tone are grasped in each of the plurality of sub-determination areas 54a to 54c, and the brightness and the color tone are individually adjusted in each display area 53a to 53c, so that the background can be obtained even in various driving situations. It is possible to secure the visibility of the virtual image 40 projected by superimposing the image 40 on the image.
  • the image information is adjusted based on one external image captured by the image projection unit 10, but in the present embodiment, a plurality of external images are captured and the image information is adjusted. Is different.
  • the external situation imaging unit 50 acquires a plurality of external images per unit time.
  • the unit time and the number of images taken are not limited, such as 5 images taken in 1 second or 20 images taken in 3 seconds.
  • the image projection step of step S2 and the display area specifying step of step S3 are the same as those of the first embodiment.
  • the image determination unit 62 sets a determination area for a plurality of external images as in the first embodiment, and for each of the plurality of external images captured within a predetermined determination period. , The image in the determination area is analyzed to acquire representative luminance information and color tone information. For example, a method of acquiring luminance information and color tone information from the determination area for each external image and typifying the average value of the luminance information and chromaticity information acquired in the past 1 second can be mentioned.
  • step S5 the image information is adjusted and the light irradiation from the image projection unit 10 is performed based on the representative luminance information and color tone information acquired in the image determination step.
  • the projection continuation determination step of step S6 is also executed in the same manner as in the first embodiment.
  • FIG. 4 an example in which the image projection step is executed after the external situation imaging step is shown as step S2, but the image projection step may be executed after the image adjustment step in step S5. Further, the order in which the other steps are executed may be changed as appropriate.
  • the moving average value during the determination period changes gradually.
  • Image information can be adjusted with.
  • the brightness and color tone of the virtual image 40 can be changed in a situation where the background in the determination area changes temporarily and suddenly, for example, when the road surface is dotted with shadows of trees when traveling on a tree-lined road. It is possible to suppress sudden changes.
  • the passenger e sees the virtual image 40 as if it is blinking, and the visibility is rather lowered. Therefore, by adjusting the image information based on the plurality of external images captured within the determination period, the image information of the virtual image 40 can be adjusted more appropriately in various situations, and the virtual image 40 can be visually recognized. It can enhance the sex.
  • the determination period is predetermined, but the determination period may be variably set according to the conditions. For example, in a plurality of external images, the change cycle of the luminance information and the color tone information may be calculated, and the determination period may be set according to the change cycle.
  • the determination period may be set based on the content of the image information projected as the virtual image 40. For example, an image projected as a virtual image 40 is ranked according to urgency, and a determination period is set according to the rank. When projecting an image for which it is highly necessary to promptly present information to the passenger e, it is preferable to shorten the determination period and instantly improve the visibility of the virtual image 40.
  • the external situation may be acquired as the situation information from the situation acquisition unit 64, and the determination period may be set based on the situation information.
  • a vehicle speed sensor is used as the status acquisition unit 64, the traveling speed of the vehicle is acquired as the status information, and the determination period is set according to the traveling speed.
  • the determination period can be shortened to immediately reflect the adjustment of the image information during high-speed driving, and the determination period can be lengthened to gently adjust the image information during low-speed driving.
  • FIG. 6 is a schematic diagram showing the configuration of the image projection system according to the present embodiment.
  • FIG. 7 is a block diagram showing a configuration of an image projection system according to the present embodiment.
  • the image projection system of the present embodiment includes an image projection unit 10, a projection optical unit 20, a transmission reflection unit 30, an external situation imaging unit 50, and an information processing unit 60.
  • a virtual image 40 is projected to form an image in space.
  • the information processing unit 60 is connected to the image projection unit 10 and the external situation imaging unit 50 so as to be capable of information communication.
  • the external situation imaging unit 50 includes a visible light imaging unit 50a, an infrared light imaging unit 50b, and an infrared pulse light source 50c.
  • the visible light image pickup unit 50a is an image pickup device that captures an external situation with visible light via a transmission reflection unit 30 and acquires a visible light image.
  • the infrared light image pickup unit 50b is an image pickup device that acquires an infrared light image by capturing an external situation with infrared light via a transmission reflection unit 30.
  • the configuration of the visible light imaging unit 50a and the infrared light imaging unit 50b is not limited, and a known imaging device such as a CCD sensor or a CMOS sensor can be used.
  • FIG. 6 shows an example in which the visible light imaging unit 50a and the infrared light imaging unit 50b are separately provided, but the visible light subpixel and red are included in one image sensor such as a CCD sensor or a CMOS sensor.
  • Subpixels for external light may be mixed. Specifically, four or more sub-pixels may be provided in one pixel, RGB color filters may be arranged in the three sub-pixels, and no color filter may be arranged in one.
  • the visible light imaging unit 50a can be configured with sub-pixels provided with an RGB color filter
  • the infrared light imaging unit 50b can be configured with sub-pixels without a color filter
  • a visible light image can be configured with one image sensor. It becomes possible to capture an infrared light image.
  • the infrared pulse light source 50c is a light source device that emits infrared light in a pulse shape.
  • the configuration of the infrared pulse light source 50c is not limited, but in order to satisfactorily emit pulsed light having a small wavelength width and pulse width, it is preferable to pulse drive the infrared laser light source.
  • the infrared pulse light source 50c emits infrared pulse light toward the outside, so that the infrared light image pickup unit 50b can capture an infrared light image by the reflected infrared pulse light.
  • the visible light imaging unit 50a can capture a visible light image by receiving natural light or visible light of a headlight in the same manner as in normal imaging.
  • the external situation imaging unit 50 transmits an external image including a visible light image and an infrared light image to the information processing unit 60.
  • FIG. 8A and 8B are schematic views showing the relationship between the determination area and the display area in the image projection system according to the present embodiment
  • FIG. 8A shows the determination area 52a in the visible light image
  • FIG. 8B is red.
  • the determination region 52b in the external light image is shown
  • FIG. 8C shows a comparative image 52c of the visible light image and the infrared light image
  • FIG. 8D shows the viewpoint of the passenger e in which the background and the imaginary image 40 are superimposed.
  • Image 52d is shown.
  • FIG. 9 is a flowchart illustrating the procedure of the image projection method according to the present embodiment.
  • 10A and 10B are timing charts for explaining pulse light emission and imaging in the present embodiment
  • FIG. 10A shows the light emission timing of the infrared pulse light source 50c
  • FIG. 10B shows the light emission timing of the infrared light imaging unit 50b.
  • the imaging timing is shown
  • FIG. 10C shows the imaging timing of the visible light imaging unit 50a.
  • the image projection method of this embodiment is executed from step S11 in the following procedure. It was
  • Step S11 is an infrared pulse light emitting step of irradiating the outside with infrared pulse light from the infrared pulse light source 50c.
  • the information processing unit 60 controls the infrared pulse light source 50c to irradiate the outside with infrared light having a predetermined pulse width, and proceeds to step S12.
  • Step S12 is an infrared image imaging step of capturing an infrared light image with the infrared light imaging unit 50b.
  • the information processing unit 60 sends a shutter control signal to the infrared light imaging unit 50b at the timing when ⁇ T1 (first delay time) has elapsed from the end of light emission of the infrared pulse light source 50c.
  • ⁇ T1 first delay time
  • the infrared light image is taken with the infrared light reflected by the background.
  • the process proceeds to step S13.
  • Step S13 is a visible light image imaging step of capturing a visible light image with the visible light imaging unit 50a.
  • the information processing unit 60 shutter-controls the visible light imaging unit 50a at the timing when ⁇ T2 (second delay time) has elapsed from the end of the infrared light image imaging of the infrared light imaging unit 50b.
  • the visible light image is taken with the visible light reflected by the background.
  • the process proceeds to step S14.
  • ⁇ T1 (first delay time) and ⁇ T2 (second delay time) may be the same time.
  • the infrared light image may be captured during the acquisition of the visible light image without providing ⁇ T2 (second delay time).
  • steps S11 to S13 are steps for capturing an infrared light image and a visible light image included in the external image, they correspond to the external situation imaging step in the present invention.
  • the visible light image is captured by receiving visible light by the visible light imaging unit 50a, so that the visible light from the background is insufficient (left side in the figure).
  • a clear external image cannot be obtained. If the exposure is simply underexposed, it is possible to correct the exposure of the external image, but depending on the weather conditions such as rain and thick fog, the background cannot be imaged and the correction becomes impossible. In addition, it is difficult to obtain a clear image because noise increases in the image obtained by exposure compensation.
  • the infrared light image shown in FIG. 8B since the reflection of the pulsed light emitted from the infrared pulse light source 50c is captured, the time from the irradiation of the pulsed light to the return of the reflected light is taken.
  • the shutter of the infrared light imaging unit 50b By releasing the shutter of the infrared light imaging unit 50b, the background can be clearly imaged. Further, by releasing the shutter of the infrared light imaging unit 50b at a plurality of timings from the emission of the infrared pulse light source 50c and superimposing the obtained plurality of images, the backgrounds at different distances are clearly captured as an infrared light image. can do.
  • Step S14 is an image projection step of irradiating light containing image information from the image projection unit 10 to form an image of a virtual image 40 at a predetermined position.
  • Step S15 is a display area specifying step of designating an area in which the display images are superimposed and projected in the external image as a display area.
  • the irradiation position and contents of the virtual image 40 to be projected are determined based on the comparative image 52c extracted in the image determination step and the feature area extraction step described later, the area where the virtual image 40 can be projected is set as a display area in advance. Set it.
  • the display area specifying unit 61 identifies the display area in the external image, the process proceeds to step S16.
  • Step S16 is an image determination step of setting a determination area including a display area in the external image and recognizing and analyzing the image in the determination area.
  • the image determination unit 62 sets the entire display area as the determination area, and proceeds to step S17.
  • Step S17 is a specific region extraction step for extracting a feature region based on the difference between the visible light image and the infrared light image. Since the background actually viewed by the passenger e is equivalent to that captured as a visible light image, the passenger e cannot recognize the background in the region where the visible light is insufficient. Further, since the infrared light image is acquired as a monochrome image, it is difficult for the passenger e to recognize the object to be alerted from the background. Therefore, in the present embodiment, the image determination unit 62 compares and analyzes the determination region 52a in the visible light image of FIG. 8A and the determination region 52b in the infrared light image of FIG. 8B.
  • FIG. 8C is a comparative image 52c obtained by comparing a visible light image and an infrared light image in the determination regions 52a and 52b and extracting the difference as the feature region 55.
  • the comparative image 52c the background portion captured by both the visible light image and the infrared light image is removed, and only the characteristic region 55 which is a difference is included.
  • Step S18 is an image adjustment step of adjusting the image information of the virtual image 40 projected from the image projection unit 10 based on the analysis results in the image determination step and the feature region extraction step.
  • the image adjustment unit 63 superimposes and synthesizes the feature region 55 extracted by the image determination unit 62 on the image information, and projects the feature region 55 from the image projection unit 10. Further, the image determination unit 62 acquires the luminance information and the color tone information for the determination region 52a of the visible light image as in the first embodiment, and the image adjustment unit 63 adjusts the luminance and color tone of the feature region 55. May be good.
  • the irradiation position of the feature region 55 is set so that the position in the infrared light image, the position in the visible light image, and the view position from the passenger e match.
  • the viewpoint image 52d from the viewpoint position of the occupant e has the feature area 55 superimposed on the background, and the object that is difficult to see with visible light alone is boarded. It can be presented to the person e. Further, by adjusting the brightness and the color tone of the virtual image 40 of the feature region 55 superimposed on the actual background, the visibility can be improved as compared with projecting the infrared light image as it is.
  • Step S19 is a projection continuation determination step for determining whether to continue the projection of the virtual image 40. If the projection is to be continued, the process proceeds to step S1, and if the projection is not continued, the projection of the virtual image 40 from the image projection unit 10 is stopped and the process ends.
  • the image projection step is executed after the visible light image imaging step is shown as step S14, but the image projection step may be executed after the image adjustment step in step S18. Further, the order in which the other steps are executed may be changed as appropriate.
  • the external situation imaging unit 50 captures an external image including a visible light image and an infrared light image, and analyzes the image in the determination region to obtain the image.
  • the display image is adjusted and projected from the image projection unit 10 based on the obtained feature area 55.
  • the image information of the virtual image 40 projected from the image projection unit 10 according to the brightness information or the color tone information of the determination area, it is possible to appropriately control the projection of the virtual image 40 in real time in various situations. Yes, the visibility of the virtual image 40 can be further improved.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

様々な走行状況においても、背景と重ね合わせて投影される虚像の視認性を確保することが可能な画像投影システムおよび画像投影方法を提供する。透光性の部材で構成された透過反射部と、透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影部（１０）と、透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像部（５０）と、外部画像における表示画像が投影される表示領域を特定する表示領域特定部（６１）と、表示領域を含んだ判定領域を設定し、外部画像における判定領域内の画像を認識して分析する画像判定部（６２）と、画像判定部の分析結果に基づいて画像情報を調整する画像調整部（６３）を備える画像投影システム。

Description

画像投影システムおよび画像投影方法
　本発明は、画像投影システムおよび画像投影方法に関し、特に車両内の運転者等に対して画像を表示する画像投影システムおよび画像投影方法に関する。
　近年、車両の操舵や加減速などの運転操作の一部または全部をコンピュータが担う運転支援技術や自動運転技術の開発が進んでいる。また、車両の運転操作を人間が行う手動運転においても、車両に各種センサーや通信装置を複数搭載して車両の状態や周辺状況の情報を入手して、走行時の安全性や快適性を高める走行支援技術も開発されている。
　このような運転支援技術、自動運転技術または走行支援技術においては、車両の状態や周辺状況、コンピュータの運転操作状況など、得られた各種情報を運転者に計器類や表示装置を用いて提示している。従来から、各種情報を提示するためには車両内の計器類や表示装置に文字や画像を表示することが一般的であった。
　しかし、車両に備えられた計器類や表示装置で情報を提示すると、運転者が視線を走行方向前方から逸して計器類や表示装置を見る必要があるため好ましくない。そこで、車両の前方からの視線移動を小さくしながらも画像情報を提示するために、車両のウィンドシールドに画像を投影して、反射した光を視認させるＨＵＤ（Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ）装置が提案されている（例えば特許文献１を参照）。
　従来のＨＵＤ装置では、画像投影部からウィンドシールド等の透明な部材を介して投影された虚像を視認し、実空間の背景と虚像が重ね合わされる。これにより運転者は、車両外部の実空間における対象物を視認しながらも、画像投影部から投影された各種情報（虚像）を同一の視野範囲内で視認することができる。
特開２０１９－１１９２６２号公報
　従来のＨＵＤ装置では、背景と重ねて投影される虚像の視認性を確保するために、車両外部の明るさを光センサー等で測定し、外界の明るさに応じて画像投影部から照射する光の強度を制御している。これにより、虚像を投影する光の輝度を日中の明るい環境では高め、夜間の暗い環境では低下させることで、背景と虚像のコントラストを適切な範囲にコントロールしている。
　しかし、上述した従来のＨＵＤ装置では、路面上の明暗が切り替わる環境などにおいて、車両周囲と背景の明るさが必ずしも一致せず、視認性の低下が生じる可能性があった。例えば、日中走行において車両が暗いトンネル内を走行してトンネル出口に差し掛かる場合や、夜間走行において先行車両の後部を前照灯で照らしている場合、夜間の雨天走行中に対向車両の前照灯からの光が路面で反射する場合などには、車両周囲が暗いため画像投影部からの光強度が低下し、明るい背景と重ね合わされることで視認性を良好に保てなくなる。
　また、車両周囲と背景の明るさの差が小さい場合であっても、車両の走行状態によっては虚像を投影する光が背景との対比において目立たず、虚像の視認性が低下する可能性があった。例えば、雪道を走行している場合や、紅葉時期の落葉が路面に散在している場合、新緑の季節に山道を走行している場合、海岸沿いを走行している場合、濃霧中を走行している場合などには、虚像を重ねる領域や視界に入る背景の色調と類似した光での投影では、視認性を良好に保てなくなる。
　そこで本発明は、上記従来の問題点に鑑みなされたものであり、様々な走行状況においても、背景と重ね合わせて投影される虚像の視認性を確保することが可能な画像投影システムおよび画像投影方法を提供することを目的とする。
　上記課題を解決するために、本発明の画像投影システムは、透光性の部材で構成された透過反射部と、前記透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影部と、前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像部と、前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定部と、前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定部と、前記画像判定部の分析結果に基づいて前記画像情報を調整する画像調整部を備えることを特徴とする。
　このような本発明の画像投影システムでは、外部状況撮像部で外部画像を撮像し、判定領域内の画像を分析した結果に基づいて、表示画像を調整して画像投影部から投影するので、様々な走行状況においても、背景と重ね合わせて投影される虚像の視認性を確保することが可能となる。
　また本発明の一態様では、前記表示領域および前記判定領域を複数備える。
　また本発明の一態様では、前記画像判定部は、前記判定領域内の輝度情報を取得し、前記画像調整部は、前記輝度情報に基づいて前記画像情報の輝度を調整する。
　また本発明の一態様では、前記画像判定部は、前記判定領域内の色調情報を取得し、前記画像調整部は、前記色調情報に基づいて前記画像情報の色調を調整する。
　また本発明の一態様では、前記画像判定部は、判定期間内における前記判定領域内の複数の画像を分析する。
　また本発明の一態様では、前記画像判定部は、前記画像情報に基づいて前記判定期間を設定する。
　また本発明の一態様では、外部の状況を状況情報として取得する状況取得部を備え、前記画像判定部は、前記状況情報に基づいて前記判定期間を設定する。
　また本発明の一態様では、前記外部状況撮像部は、可視光により可視光画像を撮像する可視光撮像部と、赤外光により赤外光画像を撮像する赤外光撮像部を備え、前記外部画像は、前記可視光画像および前記赤外光画像を含む。
　また本発明の一態様では、前記赤外光撮像部は、前記赤外光をパルス状に照射する赤外パルス光源を備え、前記赤外パルス光源の発光終了から第１遅延時間が経過した後に、前記赤外光画像を撮像する。
　また本発明の一態様では、前記赤外光画像の撮像終了から第２遅延時間が経過した後に、前記可視光画像を撮像する。
　また本発明の一態様では、前記画像調整部は、前記赤外光画像の少なくとも一部を前記画像情報に重ね合わせる。
　また本発明の一態様では、前記画像判定部は、前記可視光画像と前記赤外光画像の差分に基づいて特徴領域を抽出し、前記画像調整部は前記特徴領域を前記画像情報に重ね合わせる。
　また本発明の一態様では、前記赤外光撮像部と前記可視光撮像部は、１つの画像センサー中に、可視光用サブピクセルと赤外光用サブピクセルを混在させて構成される。
　また本発明の一態様では、前記透過反射部は、車両のウィンドシールドである。
　また、上記課題を解決するために、本発明の画像投影方法は、透光性の部材で構成された透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影工程と、前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像工程と、前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定工程と、前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定工程と、前記画像判定工程の分析結果に基づいて前記画像情報を調整する画像調整工程を備えることを特徴とする。
　本発明では、様々な走行状況においても、背景と重ね合わせて投影される虚像の視認性を確保することが可能な画像投影システムおよび画像投影方法を提供することができる。
第１実施形態に係る画像投影システムの構成を示す模式図である。 第１実施形態に係る画像投影システムの構成を示すブロック図である。 第１実施形態に係る画像投影システムにおいて外部状況撮像部５０が撮像した外部画像と表示領域の関係を示す模式図である。 第１実施形態に係る画像投影方法の手順について説明するフローチャートである。 第２実施形態に係る画像投影システムにおける判定領域と表示領域の関係を示す模式図であり、図５（ａ）は判定領域５２内に設けた複数の表示領域５３ａ～５３ｃを示し、図５（ｂ）は表示領域５３ａ～５３ｃに対応したサブ判定領域５４ａ～５４ｃを示している。 第４実施形態に係る画像投影システムの構成を示す模式図である。 第４実施形態に係る画像投影システムの構成を示すブロック図である。 第４実施形態に係る画像投影システムにおける判定領域と表示領域の関係を示す模式図であり、図８（ａ）は可視光画像における判定領域５２ａを示し、図８（ｂ）は赤外光画像における判定領域５２ｂを示し、図８（ｃ）は可視光画像と赤外光画像の比較画像５２ｃを示し、図８（ｄ）は背景と虚像４０を重ね合わせた搭乗者ｅの視点画像５２ｄを示している。 第４実施形態に係る画像投影方法の手順について説明するフローチャートである。 第４実施形態におけるパルス発光と撮像について説明するタイミングチャートであり、図１０（ａ）は赤外パルス光源５０ｃの発光タイミングを示し、図１０（ｂ）は赤外光撮像部５０ｂの撮像タイミングを示し、図１０（ｃ）は可視光撮像部５０ａの撮像タイミングを示している。
　（第１実施形態）
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付すものとし、適宜重複した説明は省略する。図１は、本実施形態に係る画像投影システムの構成を示す模式図である。図２は、本実施形態に係る画像投影システムの構成を示すブロック図である。
　図１，２に示すように本実施形態の画像投影システムでは、画像投影部１０と、投影光学部２０と、透過反射部３０と、外部状況撮像部５０と、情報処理部６０を備えて、虚像４０を投影して空間上に結像する。また情報処理部６０は、画像投影部１０および外部状況撮像部５０との間で情報通信可能に接続されている。
　画像投影部１０は、情報処理部６０から画像情報を含んだ信号が供給されることで画像情報を含んだ光を照射して、所定位置に虚像４０を結像する装置である。画像投影部１０から照射された光は、投影光学部２０に入射する。画像投影部１０としては、液晶表示装置、有機ＥＬ表示装置、マイクロＬＥＤ表示装置、レーザ光源を用いたプロジェクター装置等が挙げられる。
　投影光学部２０は、所定の焦点距離だけ離れた位置に焦点を有する光学部材である。画像投影部１０から照射された光は、投影光学部２０で反射されて透過反射部３０に到達する。図１では、投影光学部２０として平面反射鏡と凹面ミラーを用い、画像投影部１０からの光を透過反射部３０に反射する例を示しているが、投影光学部２０として透過型レンズを用いるとしてもよい。また図１では、画像投影部１０から照射された光が平面反射鏡と凹面ミラーの投影光学部２０に直接到達する例を示しているが、さらに多くの平面反射鏡等や複数の凹面鏡を用いて反射光を投影光学部２０に到達させるとしてもよい。
　透過反射部３０は、外部からの光を透過するとともに、搭乗者ｅの方向に投影光学部２０から到達した光を反射する部材である。画像投影システムを車両用情報表示装置に用いる場合には、車両のウィンドシールドを透過反射部３０として用いることができる。ウィンドシールドとは別にコンバイナーを用意して、コンバイナーを透過反射部３０として用いてもよい。また、ヘルメットのシールドや、ゴーグルや眼鏡を透過反射部３０として用いてもよい。
　虚像４０は、透過反射部３０で反射された光が搭乗者ｅに到達した際に、空間中に結像されたように視認される空中立体像である。虚像４０が結像される位置は、画像投影部１０から照射された光が、投影光学部２０と透過反射部３０で反射された後に搭乗者ｅ方向に進行する際の拡がり角度によって決まる。
　外部状況撮像部５０は、透過反射部３０を介して搭乗者ｅの反対側（外部）の状況を外部画像として撮像する装置である。外部状況撮像部５０の構成は限定されず、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の公知の撮像装置を用いることができる。外部状況撮像部５０が撮像する外部画像としては、輝度や色を判別できる程度に詳細な諧調表現が可能なカラー画像であることが好ましい。
　外部状況撮像部５０が撮像する方向は、搭乗者ｅが透過反射部３０越しに視認する外部方向であり、例えば車両の進行方向（前方）である。また、外部状況撮像部５０が搭載される位置としては、車両の前面や車室内などが挙げられるが、搭乗者ｅの視線方向に近い撮像範囲で撮像することが好ましく、搭乗者ｅの頭上や透過反射部３０の上部近傍、車両のダッシュボード上などが好ましい。また、外部状況撮像部５０は、情報処理部６０との間で情報通信を行う情報通信手段を備えており、撮像した外部画像の情報を情報処理部６０に伝達する。
　図１に示したように、本実施形態の画像投影システムでは、画像投影部１０から投影光学部２０に向けて画像情報を含んだ光を照射する。画像投影部１０から出射した光は、投影光学部２０および透過反射部３０の内側面で反射され、搭乗者ｅの目に入射する。このとき、透過反射部３０から反射した光が搭乗者ｅに向かって拡がることで、搭乗者ｅは透過反射部３０より遠い位置に虚像４０が結像されているように視認する。また搭乗者ｅは、視線の延長上にある背景についても虚像４０が重ね合わされた状態で視認する。同時に、外部状況撮像部５０は透過反射部３０の外部を外部画像として撮像し、情報処理部６０に外部画像のデータを送信する。また、後述するように情報処理部６０では外部画像に基づいて、画像投影部１０から投影する画像を調整して視認性を向上させる。
　情報処理部６０は、各種情報を所定の手順に従って処理する部分であり、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とメモリ、外部記憶装置、各種インターフェースを備えるコンピュータである。図２に示すように、情報処理部６０は、表示領域特定部６１と、画像判定部６２と、画像調整部６３と、状況取得部６４を備えている。これらの各部は、情報処理部６０のメモリと外部記憶装置に記録されたプログラムに基づいて、ＣＰＵが情報処理を行うことで実現される。また、情報処理部６０は、画像投影部１０および外部状況撮像部５０との間で情報通信を行う情報通信手段を備えている（図示省略）。
　表示領域特定部６１は、画像投影部１０が撮像した外部画像を取得し、外部画像中において表示画像（虚像４０）が重ね合わせて投影される領域を表示領域として特定する部分である。ここで表示領域特定部６１が表示領域を特定する方法としては、外部状況撮像部５０の撮像範囲と、搭乗者ｅの視点位置からの視野角との対応関係から求めることができる。より詳しくは、透過反射部３０において画像投影部１０からの光が照射される位置を照射位置とし、予め想定していた搭乗者ｅの視点位置から照射位置を結んだ直線を視線ベクトルとして算出する。また、外部状況撮像部５０の搭載位置と透過反射部３０の相対的な位置関係を予め記録しておき、外部状況撮像部５０の撮像範囲と視線ベクトルから搭乗者ｅが視認する背景と外部画像内での位置を算出し、表示領域を特定する。
　画像判定部６２は、表示領域を含んだ判定領域を設定し、外部画像における判定領域内の画像を認識して分析する部分である。搭乗者ｅは表示画像と背景を重ね合わせて視認するため、虚像４０が重ね合わされる表示領域よりも広い範囲を判定領域とする。画像判定部６２は、外部画像における判定領域内の画像から輝度と色調について分析し、輝度情報と色調情報として取得する。取得した輝度情報および色調情報は、画像調整部６３に伝達される。輝度情報および色調情報の分析については後述する。
　画像調整部６３は、画像判定部６２の分析結果に基づいて画像情報を調整する部分である。画像判定部６２が分析した輝度情報および色調情報に基づいて、画像投影部１０から照射される表示画像の画像情報において輝度または色調を調整する。ここで、画像情報の調整とは、画像投影部１０が照射する光の光量を増減することや、画像投影部１０から照射される光の経路にカラーフィルターを挿入するなどの物理的な調整であってもよい。また、画像情報のデジタルデータに画像処理を施し、輝度やコントラスト、色調の変更、画像の合成をするとしてもよい。
　状況取得部６４は、外部の状況を状況情報として取得し、各部に伝達する部分である。状況取得部６４が取得する外部の状況としては、車両の走行速度、天候状況、車両の位置情報、注意喚起対象物の存在、交通情報等が挙げられる。また、これらの状況を取得する手段としては、車速センサー、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）装置、無線通信手段、ナビゲーションシステム、外部画像の画像認識等が挙げられる。
　図３は、第１実施形態に係る画像投影システムにおいて、外部状況撮像部５０が撮像した外部画像と表示領域の関係を示す模式図である。図３では、外部状況撮像部５０が撮像した外部画像５１を示し、外部画像５１内での判定領域５２を実線枠で示している。また、判定領域５２内に複数の表示領域５３ａ，５３ｂ，５３ｃが設けられており、各表示領域５３ａ，５３ｂ，５３ｃに表示画像の虚像４０としてアイコンが投影されている。
　ここで外部画像５１は、上述したように搭乗者ｅが透過反射部３０越しに視認する背景との対応が算出されており、外部画像５１内における表示領域５３ａ，５３ｂ，５３ｃの位置と、搭乗者ｅが視認する背景と虚像４０の重ね合わせが一致している。したがって、搭乗者ｅが透過反射部３０越しに視認する背景と虚像４０は、図３に示した模式図と同様になる。
　搭乗者ｅは、透過反射部３０越しに車両の前方を見ており、前方の路面や路肩の状況を視認している。このとき、視線がより集中するのは搭乗位置の正面または透過反射部３０（ウィンドシールド）の中央近傍となる。したがって、画像判定部６２が設定する判定領域５２は、表示領域５３ａ，５３ｂ，５３ｃを含み、搭乗者ｅの正面および透過反射部３０の中央付近まで含めた領域となる。本実施形態では、画像調整部が判定領域の輝度情報や色調情報に基づいて画像情報を調整して、判定領域内に重ね合わせて結像させることで、虚像４０の視認性が向上する。
　図４は、本実施形態に係る画像投影方法の手順について説明するフローチャートである。本実施形態の画像投影システムでは、情報処理部６０が起動して外部記憶装置に記録されたプログラムをメモリに読み込み、ＣＰＵで情報処理を行うことで、表示領域特定部６１、画像判定部６２、画像調整部６３、状況取得部６４の機能が実行される。また、画像投影部１０、外部状況撮像部５０およびその他の各種装置と情報処理部６０の間が接続されて、各部の駆動制御と情報通信が行われる。
　ステップＳ１は、外部状況撮像部５０が透過反射部３０よりも外部の状況を外部画像として撮像する外部状況撮像工程である。情報処理部６０は、外部状況撮像部５０を駆動制御して外部の状況を撮像して外部画像を取得する。外部画像を取得した後にステップＳ２に移行する。
　ステップＳ２は、画像投影部１０から画像情報を含んだ光を照射して、所定位置に虚像４０を結像させる画像投影工程である。ここで画像情報には、画像をデジタルデータに変換した情報と、輝度や色調に関する補正データを含んでいる。画像投影部１０は、画像情報に含まれる画像のデジタルデータに基づいて画像形状を作成し、補正データの輝度や色調に基づいて照射する光の輝度や色調を制御する。これにより、画像情報に応じた光の強度と色調で、画像投影部１０から虚像４０を構成する光が照射される。画像投影部１０が虚像４０を投影する光を照射した後にステップＳ３に移行する。
　ステップＳ３は、外部画像において表示画像が重ね合わせて投影される領域を表示領域として特定する表示領域特定工程である。上述したように、表示領域特定部６１は、外部状況撮像部５０の撮像範囲と搭乗者ｅの視野角の対応関係から、外部画像における表示領域を求める。外部状況撮像部５０の撮像範囲は、外部状況撮像部５０の取り付け位置とレンズの光軸方向から算出して予め記録しておくとしてもよく、外部画像に含まれる車両の一部を画像認識等で抽出し、取り付け位置と画像認識した車両の一部との相対的位置関係から算出するとしてもよい。表示領域特定部６１が外部画像において表示領域を特定した後にステップＳ４に移行する。
　ステップＳ４は、外部画像において表示領域を含む判定領域を設定し、判定領域内の画像を認識して分析する画像判定工程である。画像判定部６２は、外部画像において表示領域を包含する広い領域を判定領域として設定し、判定領域内の画像を分析して判定領域の輝度情報と色調情報を取得する。ここで判定領域の設定は、予め透過反射部３０における所定領域に対応する領域を判定領域として記録してもよく、状況取得部６４が取得した状況に基づいて画像判定部６２が設定するとしてもよい。図３に示した例では、搭乗者ｅの視線が集中しやすい搭乗者ｅの正面と透過反射部３０の中央領域を含むように判定領域が設定されている。
　画像判定部６２による輝度情報と色調情報の取得方法としては、判定領域内に含まれる画像の画素毎に輝度と色を特定し、判定領域全域での平均値を算出して輝度情報と色調情報とする方法が挙げられる。または、判定領域全域で画素の輝度と色調をランク分けし、該当する画素数が最も多いランクを輝度情報と色調情報とするなどが挙げられる。また、判定領域内の画像を機械学習により画像認識して輝度情報と色調情報を算出するとしてもよい。画像判定部６２が判定領域内の輝度情報と色調情報を取得した後にステップＳ５に移行する。
　ステップＳ５は、画像判定工程での分析結果に基づいて、画像投影部１０から投影される虚像４０の画像情報を調整する画像調整工程である。画像調整部６３は、画像判定部６２が判定領域を分析して取得した輝度情報と色調情報に基づいて、画像投影部１０で投影する画像情報を調整する。これにより図３で示した例では、判定領域５２の全体の輝度と色調を把握して、輝度と色調に応じて視認性が高い虚像４０の重ね合わせができる。ここで判定領域５２は、車両周囲の明るさや色調ではなく、実際に搭乗者ｅが視認している外部の背景と略一致しているため、現実の走行状況に応じて虚像４０の視認性を確保することが可能である。
　一例としては、判定領域の輝度情報を１０段階評価に分類し、表示領域５３ａ，５３ｂ，５３ｃに重ね合わされる虚像４０の光強度を調整し、輝度情報に対応したコントラストでの虚像４０の投影を行うことが挙げられる。また別の例としては、判定領域の色調情報を色相図や色度図で分類し、補色となる色で虚像４０の投影を行うなどが挙げられる。
　また、通常時には警告色である赤色や黄色、視感度が高い緑色で虚像４０の投影を行い、判定領域の色調情報が赤色や黄色、緑色である場合に、背景と虚像４０が同系色とならないように他の色での投影に切り替えるなどが挙げられる。また、判定領域の色調と虚像４０の表示色を予め対応付けて記録しておき、雪道で判定領域の色調情報が白である場合には赤色で投影し、紅葉や夕焼け時で色調情報が赤やオレンジの場合には緑色や青色で投影するなどでもよい。
　画像調整部６３が画像投影部１０から投影される画像情報を調整し、虚像４０の輝度または色調を変更した後にステップＳ６に移行する。
　ステップＳ６は、虚像４０の投影を継続するかを判断する投影継続判断工程である。投影を継続する場合にはステップＳ１に移行し、継続しない場合には画像投影部１０からの虚像４０の投影を止めて終了する。
　上述したように、本実施形態の画像投影システムおよび画像投影方法では、外部状況撮像部５０で外部画像を撮像し、判定領域内の画像を分析した結果に基づいて、表示画像を調整して画像投影部１０から投影する。これにより、搭乗者ｅが実際に視認している視界範囲での背景と虚像４０の重ね合わせを把握し、様々な走行状況においても、背景と重ね合わせて投影される虚像４０の視認性を確保することが可能である。
　また、判定領域の輝度情報または色調情報に対応して、画像投影部１０から投影される虚像４０の画像情報を調整することで、様々な状況にリアルタイムで適切に虚像４０の投影を制御可能であり、より虚像４０の視認性を高めることができる。
　（第２実施形態）
　次に、本発明の第２実施形態について図５を用いて説明する。第１実施形態と重複する内容は説明を省略する。図５は、本実施形態に係る画像投影システムにおいて外部状況撮像部５０が撮像した外部画像と表示領域の関係を示す模式図であり、図５（ａ）は判定領域５２内に設けた複数の表示領域５３ａ～５３ｃを示し、図５（ｂ）は表示領域５３ａ～５３ｃに対応したサブ判定領域５４ａ～５４ｃを示している。
　図５（ａ）（ｂ）に示したように、本実施形態では判定領域５２中に複数の表示領域５３ａ～５３ｃが存在しており、それぞれの表示領域５３ａ～５３ｃに対応した位置とサイズでサブ判定領域５４ａ～５４ｃを設定する。ここでは判定領域５２の内部にサブ判定領域５４ａ～５４ｃが含まれる例を示しているが、判定領域５２の外部に表示領域５３ａ～５３ｃおよびサブ判定領域５４ａ～５４ｃを設けるとしてもよい。
　サブ判定領域５４ａ～５４ｃは、表示領域５３ａ～５３ｃに対応した位置に設定されており、それぞれが表示領域５３ａ～５３ｃを内包するように設定されている。また、判定領域５２とサブ判定領域５４ａ～５４ｃは排他的に用いられるものではなく、各々独立して画像判定部６２で設定されて分析される対象である。
　本実施形態では、ステップＳ４の画像判定工程において、画像判定部６２が各表示領域５３ａ～５３ｃに対応したサブ判定領域５４ａ～５４ｃと、全ての表示領域５３ａ～５３ｃを含む判定領域５２を設定する。また画像判定部６２は、判定領域５２およびサブ判定領域５４ａ～５４ｃの各々について輝度情報と色調情報を取得する。
　また、ステップＳ５の画像調整工程において、画像調整部６３は、画像判定部６２が判定領域を分析して取得したサブ判定領域５４ａ～５４ｃの各々の輝度情報と色調情報に基づいて、表示領域５３ａ～５３ｃの各々の画像情報を調整する。このとき画像調整部６３は、表示画像（虚像４０）の画像処理によって表示領域５３ａ～５３ｃの画像情報を個別に調整することが好ましい。
　一例としては、各領域の輝度情報に基づいて、背景が表示領域５３ａ，５３ｂでは暗いが表示領域５３ｃでは明るい場合には、表示領域５３ａ，５３ｂよりも表示領域５３ｃで輝度が高くなるように画像処理を行う。また、各領域の色調情報に基づいて、背景の色調が表示領域５３ａ，５３ｂ，５３ｃで異なっている場合には、それぞれの表示領域５３ａ，５３ｂ，５３ｃの色調を変えるように画像処理を行う。また、サブ判定領域５４ａ～５４ｃにおける輝度情報と色調情報を単独で用いるのではなく、判定領域５２も含めて複数の輝度情報と色調情報を関連付けて画像情報の調整をするとしてもよい。
　本実施形態では、複数のサブ判定領域５４ａ～５４ｃの各々において輝度と色調を把握して、各表示領域５３ａ～５３ｃで個別に輝度と色調を調整することで、様々な走行状況においても、背景と重ね合わせて投影される虚像４０の視認性を確保することが可能である。
　（第３実施形態）
　次に、本発明の第３実施形態について説明する。第１実施形態と重複する内容は説明を省略する。第１実施形態では、画像投影部１０が撮像した１枚の外部画像に基づいて画像情報の調整を行ったが、本実施形態では複数枚の外部画像を撮像して画像情報の調整を行う点が異なっている。
　本実施形態では、ステップＳ１の外部状況撮像工程において、外部状況撮像部５０は単位時間あたりに複数枚の外部画像を撮像する。例えば１秒間に５枚撮像や３秒間に２０枚撮像など、単位時間と撮像枚数は限定されない。ステップＳ２の画像投影工程と、ステップＳ３の表示領域特定工程は、第１実施形態と同様である。
　ステップＳ４の画像判定工程では、第１実施形態と同様に画像判定部６２は複数枚の外部画像について判定領域を設定し、予め定められた判定期間内に撮像された複数の外部画像の各々について、判定領域内の画像を分析して代表となる輝度情報および色調情報を取得する。例えば、外部画像の１枚毎に判定領域から輝度情報と色調情報を取得し、過去１秒間に取得された輝度情報と色度情報の平均値を代表とする方法が挙げられる。
　ステップＳ５の画像調整工程では、画像判定工程で取得された代表の輝度情報と色調情報に基づいて、画像情報の調整と画像投影部１０からの光照射が行われる。ステップＳ６の投影継続判断工程も第１実施形態と同様に実行する。図４では、ステップＳ２として画像投影工程を外部状況撮像工程の後に実行する例を示したが、ステップＳ５の画像調整工程後に画像投影工程を実行するとしてもよい。また、他の工程についても実行する順序を適宜入れ替えるとしてもよい。
　本実施形態の画像投影システムおよび画像投影方法では、判定期間に撮像された複数枚の外部画像から代表となる輝度情報および色調情報を取得しているため、判定期間における移動平均値で緩やかな変化で画像情報の調整を実施できる。これにより、例えば並木道を走行している際に路面に樹木の影が点在しているような、判定領域内の背景が一時的に急激に変化する状況などにおいて、虚像４０の輝度や色調が急激に変化することを抑制できる。
　虚像４０の輝度や色調が急激に変化すると、搭乗者ｅには虚像４０が明滅しているように視認され、却って視認性が低下してしまう。したがって、判定期間内に撮像された複数の外部画像に基づいて画像情報の調整を行うことで、より一層、様々な状況で適切に虚像４０の画像情報を調整することができ、虚像４０の視認性を高めることができる。
　（第３実施形態の変形例）
　第３実施形態では、判定期間を予め定めておいたが、判定期間を条件に応じて可変に設定するとしてもよい。例えば、複数枚の外部画像において、輝度情報と色調情報の変化周期を算出して、変化周期に応じて判定期間を設定するとしてもよい。
　また、虚像４０として投影する画像情報の内容に基づいて、判定期間を設定するとしてもよい。例えば、虚像４０として投影する画像を緊急性でランク分けしておき、ランクに応じて判定期間を設定する。搭乗者ｅに対して迅速に情報提示する必要性が高い画像を投影する場合には、判定期間を短くして瞬時に虚像４０の視認性を向上させることが好ましい。
　また、状況取得部６４から外部の状況を状況情報として取得し、状況情報に基づいて判定期間を設定するとしてもよい。例えば、状況取得部６４として車速センサーを用い、状況情報として車両の走行速度を取得し、走行速度に応じて判定期間を設定する。これにより、高速走行時には判定期間を短くして画像情報の調整を即時に反映し、低速走行時には判定期間を長くして緩やかに画像情報の調整を行うことができる。
　本変形例では、判定期間を条件に応じて可変に設定するため、状況の変化に柔軟に対応して、虚像４０の視認性を高めることができる。
　（第４実施形態）
　次に、本発明の第４実施形態について図６～図１０を用いて説明する。第１実施形態と重複する内容は説明を省略する。図６は、本実施形態に係る画像投影システムの構成を示す模式図である。図７は、本実施形態に係る画像投影システムの構成を示すブロック図である。
　図６，７に示すように本実施形態の画像投影システムでは、画像投影部１０と、投影光学部２０と、透過反射部３０と、外部状況撮像部５０と、情報処理部６０を備えて、虚像４０を投影して空間上に結像する。また情報処理部６０は、画像投影部１０および外部状況撮像部５０との間で情報通信可能に接続されている。本実施形態では、外部状況撮像部５０が可視光撮像部５０ａと、赤外光撮像部５０ｂと、赤外パルス光源５０ｃとを備えている。
　可視光撮像部５０ａは、透過反射部３０を介して外部の状況を可視光で撮像し、可視光画像を取得する撮像装置である。赤外光撮像部５０ｂは、透過反射部３０を介して外部の状況を赤外光で撮像し、赤外光画像を取得する撮像装置である。可視光撮像部５０ａおよび赤外光撮像部５０ｂの構成は限定されず、ＣＣＤセンサーやＣＭＯＳセンサー等の公知の撮像装置を用いることができる。
　図６では、可視光撮像部５０ａと赤外光撮像部５０ｂを別体で設けた例を示しているが、ＣＣＤセンサーやＣＭＯＳセンサー等の１つの画像センサー中に、可視光用サブピクセルと赤外光用サブピクセルを混在させるとしてもよい。具体的には、１画素に４つ以上のサブピクセルを設け、３つのサブピクセルにはＲＧＢのカラーフィルターを配置し、１つにはカラーフィルターを配置しない構成としてもよい。これにより、ＲＧＢカラーフィルターを設けたサブピクセルで可視光撮像部５０ａを構成し、カラーフィルターを設けないサブピクセルで赤外光撮像部５０ｂを構成することができ、一つの画像センサーで可視光画像と赤外光画像を撮像することが可能となる。
　赤外パルス光源５０ｃは、パルス状に赤外光を発光する光源装置である。赤外パルス光源５０ｃの構成は限定されないが、波長幅とパルス幅が小さいパルス光を良好に発光するためには、赤外レーザ光源をパルス駆動することが好ましい。
　本実施形態では、赤外パルス光源５０ｃが赤外パルス光を外部に向けて発光することで、赤外光撮像部５０ｂは反射してきた赤外パルス光により赤外光画像を撮像できる。可視光撮像部５０ａでは、通常の撮像と同様に自然光や前照灯の可視光を受光して可視光画像を撮像できる。外部状況撮像部５０は、可視光画像と赤外光画像を含めた外部画像を情報処理部６０に伝達する。
　図８は、本実施形態に係る画像投影システムにおける判定領域と表示領域の関係を示す模式図であり、図８（ａ）は可視光画像における判定領域５２ａを示し、図８（ｂ）は赤外光画像における判定領域５２ｂを示し、図８（ｃ）は可視光画像と赤外光画像の比較画像５２ｃを示し、図８（ｄ）は背景と虚像４０を重ね合わせた搭乗者ｅの視点画像５２ｄを示している。図９は、本実施形態に係る画像投影方法の手順について説明するフローチャートである。図１０は、本実施形態におけるパルス発光と撮像について説明するタイミングチャートであり、図１０（ａ）は赤外パルス光源５０ｃの発光タイミングを示し、図１０（ｂ）は赤外光撮像部５０ｂの撮像タイミングを示し、図１０（ｃ）は可視光撮像部５０ａの撮像タイミングを示している。本実施形態の画像投影方法は以下の手順でステップＳ１１から実行される。　
　ステップＳ１１は、赤外パルス光源５０ｃから外部に赤外パルス光を照射する赤外パルス発光工程である。図１０（ａ）に示したように、情報処理部６０は、赤外パルス光源５０ｃを制御して所定パルス幅の赤外光を外部に照射し、ステップＳ１２に移行する。
　ステップＳ１２は、赤外光撮像部５０ｂで赤外光画像を撮像する赤外画像撮像工程である。図１０（ｂ）に示したように情報処理部６０は、赤外パルス光源５０ｃの発光終了からΔＴ１（第１遅延時間）が経過したタイミングで赤外光撮像部５０ｂにシャッター制御の信号を送り、背景で反射してきた赤外光で赤外光画像を撮像する。赤外光画像の撮像後にステップＳ１３に移行する。
　ステップＳ１３は、可視光撮像部５０ａで可視光画像を撮像する可視光画像撮像工程である。図１０（ｃ）に示したように情報処理部６０は、赤外光撮像部５０ｂの赤外光画像撮像終了からΔＴ２（第２遅延時間）が経過したタイミングで可視光撮像部５０ａにシャッター制御の信号を送り、背景で反射してきた可視光で可視光画像を撮像する。可視光画像の撮像後にステップＳ１４に移行する。なお、ΔＴ１（第１遅延時間）とΔＴ２（第２遅延時間）は同じ時間であってもよい。また、ΔＴ２（第２遅延時間）を設けず、可視光画像の撮像中に赤外光画像の撮像を実行するとしてもよい。
　ステップＳ１２で撮像した赤外光画像とステップＳ１３で撮像した可視光画像は、情報処理部６０に伝達され、可視光画像と赤外光画像を含めた外部画像として情報処理が行われる。ここで、ステップＳ１１からステップＳ１３までは、外部画像に含まれる赤外光画像と可視光画像を撮像する工程であるため、本願発明における外部状況撮像工程に相当している。
　図８（ａ）に示すように、可視光画像は可視光を可視光撮像部５０ａで受光して撮像されたものであるため、背景からの可視光が不十分である領域（図中左側）で鮮明な外部画像が得られない場合がある。単に露出不足である場合には、外部画像の露出補正を行うことも可能であるが、雨や濃霧などの気象条件によっては背景を撮像できず補正が不可能となる。また、露出補正で得られる画像ではノイズが増加するため鮮明な画像を得にくい。
　それに対して図８（ｂ）に示した赤外光画像では、赤外パルス光源５０ｃから照射したパルス光の反射を撮像しているので、パルス光の照射から反射光が戻ってくるまでの時間で赤外光撮像部５０ｂのシャッターを切ることで、背景を鮮明に撮像することができる。また、赤外パルス光源５０ｃの発光から複数のタイミングで赤外光撮像部５０ｂのシャッターを切り、得られた複数の画像を重ね合わせることで、異なる距離の背景を鮮明に赤外光画像として撮像することができる。
　ステップＳ１４は、画像投影部１０から画像情報を含んだ光を照射して、所定位置に虚像４０を結像させる画像投影工程である。虚像４０を投影した後にステップＳ１５に移行する。ステップＳ１５は、外部画像において表示画像が重ね合わせて投影される領域を表示領域として特定する表示領域特定工程である。本実施形態では、後述する画像判定工程および特徴領域抽出工程で抽出した比較画像５２ｃに基づいて、投影する虚像４０の照射位置と内容が決まるため、虚像４０が投影され得る領域を予め表示領域として設定しておく。表示領域特定部６１が外部画像において表示領域を特定した後にステップＳ１６に移行する。
　ステップＳ１６は、外部画像において表示領域を含む判定領域を設定し、判定領域内の画像を認識して分析する画像判定工程である。本実施形態では、虚像４０を照射する可能性がある領域を表示領域としているため、画像判定部６２は表示領域の全域を判定領域として設定し、ステップＳ１７に移行する。
　ステップＳ１７は、可視光画像と赤外光画像の差分に基づいて特徴領域を抽出する特定領域抽出工程である。搭乗者ｅが実際に視認している背景は、可視光画像として撮像されたものと同等であるため、搭乗者ｅは可視光が不十分な領域の背景を認識できない。また、赤外光画像はモノクロ画像として取得されるため、背景から注意喚起する対象を搭乗者ｅが認識しにくい。そこで本実施形態では、画像判定部６２が、図８（ａ）の可視光画像における判定領域５２ａと、図８（ｂ）の赤外光画像における判定領域５２ｂを比較して分析を行う。
　図８（ｃ）は、判定領域５２ａ，５２ｂにおいて、可視光画像と赤外光画像を比較し、差分を特徴領域５５として抽出した比較画像５２ｃである。比較画像５２ｃには、可視光画像と赤外光画像の両方で撮像された背景部分は取り除かれ、差分である特徴領域５５のみが含まれる。画像判定部６２が、比較画像５２ｃと特徴領域５５を取得した後に、ステップＳ１８に移行する。
　ステップＳ１８は、画像判定工程および特徴領域抽出工程での分析結果に基づいて、画像投影部１０から投影される虚像４０の画像情報を調整する画像調整工程である。画像調整部６３は、画像判定部６２が抽出した特徴領域５５を画像情報に重ね合わせて合成し、画像投影部１０から投影する。また、画像判定部６２は、可視光画像の判定領域５２ａについて第１実施形態と同様に輝度情報および色調情報を取得しておき、画像調整部６３は特徴領域５５の輝度および色調を調整するとしてもよい。
　このとき、特徴領域５５の照射位置は、赤外光画像中における位置と可視光画像における位置と搭乗者ｅからの視界位置が一致するように設定する。これにより図８（ｄ）に示したように、搭乗者ｅの視点位置からの視点画像５２ｄは、背景に特徴領域５５を重ね合わせたものとなり、可視光だけでは視認が困難な対象物を搭乗者ｅに提示することができる。また、現実の背景と重ね合わせた特徴領域５５の虚像４０について、輝度や色調を調整することで、赤外光画像をそのまま投影するよりも視認性を向上させることができる。
　ステップＳ１９は、虚像４０の投影を継続するかを判断する投影継続判断工程である。投影を継続する場合にはステップＳ１に移行し、継続しない場合には画像投影部１０からの虚像４０の投影を止めて終了する。図９では、ステップＳ１４として画像投影工程を可視光画像撮像工程の後に実行する例を示したが、ステップＳ１８の画像調整工程後に画像投影工程を実行するとしてもよい。また、他の工程についても実行する順序を適宜入れ替えるとしてもよい。
　上述したように、本実施形態の画像投影システムおよび画像投影方法では、外部状況撮像部５０で可視光画像と赤外光画像を含む外部画像を撮像し、判定領域内の画像を分析して得られた特徴領域５５に基づいて、表示画像を調整して画像投影部１０から投影する。これにより、視聴者ｅが肉眼で目視ができない対称についても、背景と虚像４０を重ね合わせて提示することができる。
　また、判定領域の輝度情報または色調情報に対応して、画像投影部１０から投影される虚像４０の画像情報を調整することで、様々な状況にリアルタイムで適切に虚像４０の投影を制御可能であり、より虚像４０の視認性を高めることができる。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
 
　本国際出願は、２０２０年１２月１４日に出願された日本国特許出願である特願２０２０－２０６８９４号に基づく優先権を主張するものであり、当該日本国特許出願である特願２０２０－２０６８９４号の全内容は、本国際出願に援用される。
　本発明の特定の実施の形態についての上記説明は、例示を目的として提示したものである。それらは、網羅的であったり、記載した形態そのままに本発明を制限したりすることを意図したものではない。数多くの変形や変更が、上記の記載内容に照らして可能であることは当業者に自明である。
１０…画像投影部
２０…投影光学部
３０…透過反射部
４０…虚像
５０…外部状況撮像部
６０…情報処理部
５０ａ…可視光撮像部
５０ｂ…赤外光撮像部
５０ｃ…赤外パルス光源
５１…外部画像
５２，５２ａ，５２ｂ…判定領域
５２ｃ…比較画像
５２ｄ…視点画像
５３ａ～５３ｃ…表示領域
５４ａ～５４ｃ…サブ判定領域
５５…特徴領域
６１…表示領域特定部
６２…画像判定部
６３…画像調整部
６４…状況取得部

Claims (15)

  1. 　透光性の部材で構成された透過反射部と、
    　前記透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影部と、
    　前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像部と、
    　前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定部と、
    　前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定部と、
    　前記画像判定部の分析結果に基づいて前記画像情報を調整する画像調整部を備えることを特徴とする画像投影システム。
  2. 　請求項１に記載の画像投影システムであって、
    　前記表示領域および前記判定領域を複数備えることを特徴とする画像投影システム。
  3. 　請求項１または２に記載の画像投影システムであって、
    　前記画像判定部は、前記判定領域内の輝度情報を取得し、
    　前記画像調整部は、前記輝度情報に基づいて前記画像情報の輝度を調整することを特徴とする画像投影システム。
  4. 　請求項１から３の何れか一つに記載の画像投影システムであって、
    　前記画像判定部は、前記判定領域内の色調情報を取得し、
    　前記画像調整部は、前記色調情報に基づいて前記画像情報の色調を調整することを特徴とする画像投影システム。
  5. 　請求項１から４の何れか一つに記載の画像投影システムであって、
    　前記画像判定部は、判定期間内における前記判定領域内の複数の画像を分析することを特徴とする画像投影システム。
  6. 　請求項５に記載の画像投影システムであって、
    　前記画像判定部は、前記画像情報に基づいて前記判定期間を設定することを特徴とする画像投影システム。
  7. 　請求項５または６に記載の画像投影システムであって、
    　外部の状況を状況情報として取得する状況取得部を備え、
    　前記画像判定部は、前記状況情報に基づいて前記判定期間を設定することを特徴とする画像投影システム。
  8. 　請求項１から７の何れか一つに記載の画像投影システムであって、
    　前記外部状況撮像部は、可視光により可視光画像を撮像する可視光撮像部と、赤外光により赤外光画像を撮像する赤外光撮像部を備え、
    　前記外部画像は、前記可視光画像および前記赤外光画像を含むことを特徴とする画像投影システム。
  9. 　請求項８に記載の画像投影システムであって、
    　前記赤外光撮像部は、前記赤外光をパルス状に照射する赤外パルス光源を備え、
    　前記赤外パルス光源の発光終了から第１遅延時間が経過した後に、前記赤外光画像を撮像することを特徴とする画像投影システム。
  10. 　請求項９に記載の画像投影システムであって、
    　前記赤外光画像の撮像終了から第２遅延時間が経過した後に、前記可視光画像を撮像することを特徴とする画像投影システム。
  11. 　請求項８から１０の何れか一つに記載の画像投影システムであって、
    　前記画像調整部は、前記赤外光画像の少なくとも一部を前記画像情報に重ね合わせることを特徴とする画像投影システム。
  12. 　請求項１１に記載の画像投影システムであって、
    　前記画像判定部は、前記可視光画像と前記赤外光画像の差分に基づいて特徴領域を抽出し、前記画像調整部は前記特徴領域を前記画像情報に重ね合わせることを特徴とする画像投影システム。
  13. 　請求項８から１２の何れか一つに記載の画像投影システムであって、
    　前記赤外光撮像部と前記可視光撮像部は、１つの画像センサー中に、可視光用サブピクセルと赤外光用サブピクセルを混在させて構成されることを特徴とする画像投影システム。
  14. 　請求項１から１３の何れか一つに記載の画像投影システムであって、
    　前記透過反射部は、車両のウィンドシールドであることを特徴とする画像投影システム。
  15. 　透光性の部材で構成された透過反射部の内側面に対して画像情報を含んだ光を照射して表示画像を投影する画像投影工程と、
    　前記透過反射部よりも外部の状況を外部画像として撮像する外部状況撮像工程と、
    　前記外部画像における前記表示画像が投影される表示領域を特定する表示領域特定工程と、
    　前記表示領域を含んだ判定領域を設定し、前記外部画像における前記判定領域内の画像を認識して分析する画像判定工程と、
    　前記画像判定工程の分析結果に基づいて前記画像情報を調整する画像調整工程を備えることを特徴とする画像投影方法。 
PCT/JP2021/044225 2020-12-14 2021-12-02 画像投影システムおよび画像投影方法 WO2022130996A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180080752.1A CN116529103A (zh) 2020-12-14 2021-12-02 图像投影系统以及图像投影方法
US18/255,972 US20240045203A1 (en) 2020-12-14 2021-12-02 Image projection system and image projection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-206894 2020-12-14
JP2020206894A JP7472007B2 (ja) 2020-12-14 2020-12-14 画像投影システムおよび画像投影方法

Publications (1)

Publication Number Publication Date
WO2022130996A1 true WO2022130996A1 (ja) 2022-06-23

Family

ID=82057584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044225 WO2022130996A1 (ja) 2020-12-14 2021-12-02 画像投影システムおよび画像投影方法

Country Status (4)

Country Link
US (1) US20240045203A1 (ja)
JP (1) JP7472007B2 (ja)
CN (1) CN116529103A (ja)
WO (1) WO2022130996A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2013203374A (ja) * 2012-03-29 2013-10-07 Denso It Laboratory Inc 車両用表示装置、その制御方法及びプログラム
JP2014172406A (ja) * 2013-03-05 2014-09-22 Funai Electric Co Ltd ヘッドアップディスプレイ装置、ヘッドアップディスプレイ装置の表示方法およびヘッドアップディスプレイ装置のプログラム
WO2017138292A1 (ja) * 2016-02-09 2017-08-17 株式会社リコー 画像表示装置及び画像表示方法
JP2017225115A (ja) * 2016-06-08 2017-12-21 パナソニックＩｐマネジメント株式会社 投影システム
JP2019179172A (ja) * 2018-03-30 2019-10-17 株式会社リコー 表示装置、表示システム、移動体、表示輝度制御方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2013203374A (ja) * 2012-03-29 2013-10-07 Denso It Laboratory Inc 車両用表示装置、その制御方法及びプログラム
JP2014172406A (ja) * 2013-03-05 2014-09-22 Funai Electric Co Ltd ヘッドアップディスプレイ装置、ヘッドアップディスプレイ装置の表示方法およびヘッドアップディスプレイ装置のプログラム
WO2017138292A1 (ja) * 2016-02-09 2017-08-17 株式会社リコー 画像表示装置及び画像表示方法
JP2017225115A (ja) * 2016-06-08 2017-12-21 パナソニックＩｐマネジメント株式会社 投影システム
JP2019179172A (ja) * 2018-03-30 2019-10-17 株式会社リコー 表示装置、表示システム、移動体、表示輝度制御方法およびプログラム

Also Published As

Publication number Publication date
US20240045203A1 (en) 2024-02-08
JP7472007B2 (ja) 2024-04-22
JP2022094079A (ja) 2022-06-24
CN116529103A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
JP6643969B2 (ja) 車両用表示装置
US10908417B2 (en) Vehicle vision system with virtual retinal display
CN102714710B (zh) 车辆周边图像显示系统
JP3855439B2 (ja) 夜間運転視界支援装置
US7015944B2 (en) Device for improving visibility in vehicles
JP6669053B2 (ja) ヘッドアップディスプレイシステム
WO2016147486A1 (ja) 投写型表示装置及び投写表示方法
US20180218711A1 (en) Display device
US20220107497A1 (en) Head-up display, vehicle display system, and vehicle display method
CN107089182B (zh) 光线控制系统和交通工具
US11938795B2 (en) Vehicular vision system with glare reducing windshield
US11312301B2 (en) Display apparatus, display method, and program
JP2021021889A (ja) 表示装置および表示方法
WO2022054557A1 (ja) 車両用表示システム及び画像照射装置
US11420680B2 (en) Method for assisting a user of a motor vehicle when swerving around an obstacle, driver assistance device, and a motor vehicle
WO2022130996A1 (ja) 画像投影システムおよび画像投影方法
EP3846450B1 (en) Display device, display method, and program
CN111086518B (zh) 显示方法、装置、车载平视显示设备及存储介质
JP7182368B2 (ja) 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
KR20160069034A (ko) 헤드업 디스플레이 정보의 밝기 제어 장치 및 방법
US11851003B2 (en) Driving assistance system and method for driver
JP6607128B2 (ja) 虚像表示装置、虚像表示方法および制御プログラム
EP1848611A1 (en) A driver assistance system
KR101826542B1 (ko) 사이드 미러 보조장치 및 그것의 제어방법
CN114545627A (zh) 亮度调整系统、显示系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906359

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180080752.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18255972

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906359

Country of ref document: EP

Kind code of ref document: A1