WO2020218282A1 - イメージング装置、車両用灯具、自動車、イメージング方法 - Google Patents

イメージング装置、車両用灯具、自動車、イメージング方法 Download PDF

Info

Publication number
WO2020218282A1
WO2020218282A1 PCT/JP2020/017166 JP2020017166W WO2020218282A1 WO 2020218282 A1 WO2020218282 A1 WO 2020218282A1 JP 2020017166 W JP2020017166 W JP 2020017166W WO 2020218282 A1 WO2020218282 A1 WO 2020218282A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference light
light
correlation calculation
intensity distribution
lighting device
Prior art date
Application number
PCT/JP2020/017166
Other languages
English (en)
French (fr)
Inventor
正人 五味
真太郎 杉本
祐太 春瀬
輝明 鳥居
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021516126A priority Critical patent/JP7408642B2/ja
Priority to EP20794126.1A priority patent/EP3961261A4/en
Priority to CN202080030716.XA priority patent/CN113767304A/zh
Publication of WO2020218282A1 publication Critical patent/WO2020218282A1/ja
Priority to US17/506,277 priority patent/US20220038625A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/60—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution
    • F21S41/67—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution by acting on reflectors
    • F21S41/675—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution by acting on reflectors by moving reflectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the present invention relates to an imaging device using ghost imaging.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • the imaging devices As one of the imaging devices (sensors), one that uses the principle of ghost imaging is known.
  • ghost imaging an object is irradiated while randomly switching the intensity distribution (pattern) of the reference light, and the light detection intensity of the reflected light is measured for each pattern.
  • the photodetection intensity is an integral value of energy or intensity over a plane, not an intensity distribution. Then, the restored image of the object is reconstructed by correlating the corresponding pattern with the light detection intensity.
  • the correlation function of Eq. (1) is used for the correlation in ghost imaging.
  • b r is the value of the detected intensity obtained when irradiating reference light having a r-th intensity distribution.
  • FIG. 1 is a time chart showing the sensing of one frame of the imaging device.
  • one image is restored by irradiating with reference light M times.
  • noise other than the reflected light from the object is incident on the photodetector, and the noise deteriorates the image quality of the restored image.
  • the pattern of the reference light changes randomly, but for a certain subject, a good image may be obtained in one pattern and the image may be deteriorated in another pattern. Recognized that it could happen.
  • One of the exemplary objects of an aspect of the present invention is to improve the image quality of a restored image.
  • one of the exemplary purposes of an aspect of the present invention is to provide a lighting device capable of adding new functions and effects to the imaging device.
  • An aspect of the present invention relates to an imaging apparatus or an imaging method.
  • an object is irradiated with a first reference light having a first intensity distribution and a second reference light having a second intensity distribution complementary to the first intensity distribution. Then, the reflected light from the object is measured. The first correlation calculation based on the result of irradiating the first reference light and the second correlation calculation based on the result of irradiating the second reference light are performed.
  • the lighting device includes a plurality of micromirrors corresponding to a plurality of pixels, and each micromirror can tilt independently in the first direction and the second direction around the twist axis (hinge), with a DMD (Digital Micromirror Device).
  • DMD Digital Micromirror Device
  • the first input beam is projected to the outside as the first output beam when the micromirror is tilted in the first direction, and is not projected when the micromirror is tilted in the second direction, and is not projected.
  • the beam has a complementary intensity distribution.
  • the image quality of the restored image can be improved.
  • new functions and effects can be added to the imaging device.
  • FIG. It is a time chart which shows the sensing of 1 frame of an imaging apparatus. It is a figure which shows the imaging apparatus which concerns on Embodiment 1.
  • FIG. It is a time chart explaining the operation of the imaging apparatus of FIG.
  • FIG. It is a figure which shows the lighting apparatus which concerns on Example 1.
  • FIG. It is a figure which shows the structure of DMD. It is sectional drawing which shows the positional relationship of the 1st light source, the 2nd light source and DMD in the lighting apparatus which concerns on Example 1.
  • FIG. It is a figure which shows the lighting apparatus which concerns on Example 2.
  • FIG. It is a block diagram of the imaging apparatus which concerns on Embodiment 2.
  • It is a time chart explaining the operation of the imaging apparatus of FIG.
  • It is a block diagram of the imaging apparatus which concerns on Embodiment 3.
  • 11 (a) and 11 (b) are diagrams showing the lighting device according to the third embodiment. It is a figure explaining the operation of the lighting apparatus of FIG. It is a block diagram of an object identification system. It is a figure which shows the automobile equipped with the object identification system. It is a block diagram which shows the lamp for a vehicle which comprises the object detection system.
  • intensity distribution is random in the present specification does not mean that it is completely random, but it may be random enough to reconstruct an image in ghost imaging. Therefore, “random” in the present specification can include some regularity in it. Also, “random” does not require unpredictability, but may be predictable and reproducible.
  • the imaging device includes a lighting device that irradiates a first reference light having a first intensity distribution and a second reference light having a second intensity distribution that is complementary to the first intensity distribution, and reflection from an object. It includes a light detector that measures light, and an arithmetic processing device that performs a first correlation calculation based on the result of irradiating the first reference light and a second correlation calculation based on the result of irradiating the second reference light.
  • the arithmetic processing unit may synthesize two correlation calculations to generate one final restored image.
  • the influence of the noise component commonly contained in the first detection intensity and the second detection intensity can be canceled, and the image quality can be improved.
  • the arithmetic processing unit may generate the first restored image based on the first correlation calculation and generate the second restored image based on the second correlation calculation.
  • the one with the better image quality may be selected as the final image.
  • the first reference light and the second reference light have the same wavelength, and may be irradiated in a time-division manner.
  • the first reference light may have a first wavelength
  • the second reference light may have a second wavelength different from the first wavelength.
  • the photodetectors include a first detector that is sensitive to the first wavelength and is insensitive to the second wavelength, and a second detector that is sensitive to the second wavelength and is insensitive to the first wavelength. , May be included.
  • the first reference light and the second reference light may be irradiated at the same time. This makes it possible to increase the frame rate.
  • the lighting device may include a DMD (Digital Micromirror Device), a first light source that irradiates the DMD with the first input beam, and a second light source that irradiates the DMD with the second input beam.
  • DMD Digital Micromirror Device
  • a part of the first input beam incident on the micromirror tilted in the first direction is projected to the outside as a first output beam
  • a part of the first input beam incident on the micromirror tilted in the second direction is projected.
  • a part of the second input beam incident on the micromirror tilted in the second direction is projected to the outside as a second output beam, and the second input beam incident on the micromirror tilted in the first direction. Part of is not projected.
  • the first light source can be turned on to generate the first reference light having the first intensity distribution
  • the second light source can be turned on to generate the second reference light having the second intensity distribution. Can be generated.
  • the lighting device can be used, for example, as an imaging device for reconstructing a restored image of an object by correlation calculation.
  • the lighting device includes a plurality of micromirrors corresponding to a plurality of pixels, and each micromirror can tilt independently in the first direction and the second direction around the twist axis.
  • DMD Digital Micromirror Device
  • DMD It includes a first light source that irradiates the first input beam and a second light source that irradiates the DMD with the second input beam.
  • the first input beam is projected to the outside as the first output beam when the micromirror is tilted in the first direction, and is not projected when the micromirror is tilted in the second direction, and is not projected.
  • the beam has a complementary intensity distribution.
  • This illuminating device can generate an output beam having a complementary intensity distribution without changing the state of the micromirror, that is, without rewriting the DMD image.
  • the wavelengths of the first input beam and the second input beam may be different.
  • the first light source and the second light source may be turned on at the same time. This allows two output beams with complementary intensity distributions to be generated simultaneously.
  • the wavelengths of the first input beam and the second input beam may be the same.
  • the first light source and the second light source may be turned on exclusively.
  • the two reflected lights can be separated based on the wavelength.
  • the first output beam and the second output beam may irradiate a spatially overlapping region. In this case, the noise can be canceled by the signal processing in the subsequent stage.
  • the first output beam and the second output beam may be applied to a region that does not spatially overlap. As a result, the irradiation range can be expanded.
  • the wavelengths of the first input beam and the second input beam may be variable. This enables sensing and imaging adapted to the color and material of the subject and the surrounding environment.
  • the lighting device according to the embodiment can be built into the vehicle lighting equipment.
  • the imaging device includes one of the above-mentioned lighting devices, a photodetector that measures the reflected light from an object, a first correlation calculation based on the result of irradiating the first output beam, and a result of irradiating the second output beam. It is provided with an arithmetic processing device that performs a second correlation calculation based on the above.
  • the first output beam and the second output beam may be applied to the overlapping region.
  • the arithmetic processing unit may synthesize the first correlation calculation and the second correlation calculation to generate a final restored image. As a result, the influence of the noise component commonly contained in the first detection intensity and the second detection intensity can be canceled.
  • FIG. 2 is a diagram showing an imaging device 100 according to the first embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes a lighting device 110, a photodetector 120, and an arithmetic processing unit 130.
  • the imaging device 100 is also referred to as a quantum radar camera.
  • Lighting device 110 is a pseudo-heat source, substantially first intensity distribution I r (x, y) to be regarded as a random first reference beam S1_1 having first intensity distribution I (x, y) and a complementary specific second intensity in relationship distribution I r ⁇ (x, y) to generate a second reference beam S1_2 having to illuminate the object OBJ. Irradiation of the reference lights S1_1 and S1-2 to the object OBJ is performed while randomly changing the intensity distribution I (x, y) M times a plurality of times.
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 132.
  • the light source 112 produces an input beam S0 having a uniform intensity distribution.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the intensity distribution I of the input beam S0 can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but this is not the case, and on and off are switched at high speed.
  • An intermediate gradation may be obtained by adjusting their time ratio.
  • the output beams S1_1 and S1-2 reflected by the patterning device 114 are modulated to have a complementary intensity distribution I (x, y).
  • Optical detector 120 the reflected light S2_1 from the object OBJ with respect to the first reference beam S1_1 measured, and outputs a first detection signal D r.
  • the photodetector 120 measures the reflected light S2_2 from the object OBJ with respect to the second reference light S1-2 and outputs the second detection signal Dr ⁇ . From the photodetector 120, a plurality of second detection signals D 1 ⁇ to D M ⁇ corresponding to each of the plurality of M intensity distributions I 1 ⁇ to IM ⁇ are output.
  • the arithmetic processing unit 130 includes a pattern generator 132 and a reconstruction processing unit 134.
  • the reconstruction processing unit 134 correlates a plurality of first intensity distributions (also referred to as random patterns) I 1 to IM with a plurality of first detection intensities b 1 to b M (first correlation calculation).
  • the first detection intensity b 1 ⁇ b M is based on the detection signal D 1 ⁇ D M.
  • the relationship between the detection intensity and the detection signal may be determined in consideration of the type and method of the photodetector 120.
  • the reconstruction processing unit 134 correlates a plurality of second intensity distributions I 1 ⁇ to IM ⁇ with a plurality of second detection intensities b 1 ⁇ to b M ⁇ (second correlation calculation).
  • the second intensity distribution I 1 ⁇ ⁇ I M ⁇ can be calculated based on the first intensity distribution I 1 ⁇ I M.
  • the second detection intensities b 1 ⁇ to b M ⁇ are based on the second detection signals D 1 ⁇ to D M ⁇ .
  • Equation (4) is a composite correlation obtained by synthesizing the correlation calculation formula of the first correlation calculation represented by the formula (2) and the correlation calculation formula of the second correlation calculation represented by the formula (3).
  • FIG. 3 is a time chart illustrating the operation of the imaging device 100 of FIG.
  • the first reference light S1_1 and the second reference light S1_2 are alternately irradiated in a time-division manner.
  • Each of irradiating the first reference beam S1_1, first detected intensity b r are acquired, each time illuminating the second reference beam S1_2, the second detection intensity b r ⁇ is obtained.
  • Each detection intensity includes a noise component ⁇ .
  • Reconstruction processor 134, a first detected intensity b r obtained for r 1 ⁇ M, the second detection intensity b r ⁇ , the first intensity distribution I r (x, y), the second intensity distribution I r ⁇ ( The composite correlation equation of equation (4) can be calculated based on x, y) to obtain the final restored image G (x, y).
  • the intensity distribution is assumed to take a binary value of 0 and 1.
  • the first intensity distribution I r (x, y) Equation (5) holds the second intensity distribution I r ⁇ (x, y) .
  • the finally obtained image G (x, y) contains only the signal components br (true) and br (true) ⁇ because the noise components cancel each other out. I'm out. Therefore, the image quality can be improved.
  • the reference lights S1-1 and S1-2 are alternately irradiated, but this is not the case.
  • the photodetector 120 may simultaneously irradiate the reference lights S1_1 and S1-2 if the reflected lights S2_1 and S2_2 corresponding to them can be separated.
  • the first reference beam S1_1 has a first wavelength lambda 1
  • the second reference light S1_2 may have a first wavelength lambda 1 and the second wavelength different lambda 2.
  • the photodetector 120 may include a first detector having sensitivity to the first wavelength ⁇ 1 and a second photodetector having sensitivity to the second wavelength ⁇ 2 .
  • the reflected lights S2 and S2_2 may be separated by a filter, and the intensities of the two separated components S2_1 and S2_2 may be measured.
  • the reflectance for the same object is significantly different. In this case, it is advisable to perform reflectance correction.
  • the object is irradiated with the first reference light S1-1 of the first wavelength ⁇ 1 having a uniform intensity distribution (for example, all pixels have the maximum intensity or 1), and the detection intensity b 0 at that time is acquired. To do. Further, the same object is irradiated with the reference light S1-2 of the second wavelength ⁇ 2 having the same intensity distribution (note that it is not complementary), and the detection intensity b 0 ⁇ at that time is acquired. b 0 and b 0 ⁇ are proportional to the reflectance of the object with respect to the wavelengths ⁇ 1 and ⁇ 2 .
  • the arithmetic processing unit 130 uses the obtained b 0 , b 0 ⁇ to correct at least one of the first detection intensity br and the second detection intensity br ⁇ obtained thereafter.
  • br may be used as it is, br ⁇ may be multiplied by a coefficient b 0 ⁇ / b 0 for correction, and the corrected br ⁇ may be used for correlation calculation. And it is used as it is b r ⁇ Conversely, corrected by multiplying the coefficients b 0 / b 0 ⁇ in b r, may be carried out correlation calculation with the b r corrected.
  • the intensity of the input beam S0 before patterning can be adjusted, the light intensity generated by the light source 112 may be corrected.
  • the intensity of the input beam S0 having the second wavelength ⁇ 2 may be multiplied by b 0 ⁇ / b 0 without adjusting the input beam S0 having the first wavelength ⁇ 1 .
  • the intensity of the input beam S0 having the first wavelength ⁇ 1 may be multiplied by b 0 / b 0 ⁇ without adjusting the input beam S0 having the second wavelength ⁇ 2 .
  • the first reference light S1-1 and the second reference light S1-2 may have the same wavelength and may have different polarization characteristics.
  • one of the first reference light S1-1 and the second reference light S1_2 may have right-handed circular polarization (or elliptical polarization), and the other may have counterclockwise circular polarization (or elliptical polarization).
  • the lighting device 110 may include an optical system that separates a clockwise polarization component and a counterclockwise polarization component.
  • the optical system for separating the polarizing components can be composed of a combination of a quarter wave plate and a linear polarizing element.
  • the reconstruction processing unit 134 calculates the first correlation equation of the equation (2) by using the result of the irradiation of the first reference light S1_1 M times, and reconstructs the first restored image G 1 (x, y). It may be configured. Further, the second correlation equation of the equation (3) may be calculated and the second restored image G 2 (x, y) may be reconstructed by using the result of the irradiation of the second reference light S1-2 M times. Then, the final restored image G (x, y) may be generated by adding the corresponding pixels of these two restored images G 1 (x, y) and G 2 (x, y). .. In this case as well, the influence of noise can be canceled.
  • Modification example 4 In the description so far, two patterns having complementary intensity distributions have been used for noise cancellation, but this is not the case.
  • the reconstruction processor 134 uses the results of the irradiation of the first reference beam S1_1 of M times, and calculates the first correlation equation of the formula (2), the first restored image G 1 (x , Y) is reconstructed, and the second correlation equation of the equation (3) is calculated by using the result of the irradiation of the second reference light S1-2 M times, and the second restored image G 2 (x, y) is obtained. Reconfigure.
  • one of these two restored images G 1 (x, y) and G 2 (x, y) having better image quality may be selected and used as the final image. For example, one may select one with a clear outline of the object. As a result, the effect of noise cancellation cannot be obtained, but a more appropriate pattern can be selected for the subject, so that the image quality can be improved.
  • the configuration of the lighting device 110 will be described based on some examples.
  • FIG. 4 is a diagram showing a lighting device 110A according to the first embodiment.
  • the lighting device 110A includes a first light source 112_1, a second light source 112_2, and a DMD 116 which is a patterning device 114.
  • the light sources 112_1 and 112_2 generate input beams S0_1 and S0_2 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used.
  • the wavelength and spectrum of the input beams S0_1 and S0_2 are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light including a predetermined wavelength.
  • the wavelengths of the input beams S0_1 and S0_2 may be infrared or ultraviolet.
  • the DMD 116 includes a plurality of micromirrors 118 corresponding to a plurality of pixels.
  • FIG. 5 is a diagram showing the structure of DMD 116.
  • Each micromirror 118 can independently tilt in the first direction (counterclockwise in the figure) and in the second direction (clockwise in the figure) around the twist axis 119.
  • the state of tilting in the first direction is defined as ⁇ 1
  • the state of tilting in the second direction is defined as ⁇ 2.
  • FIG. 6 is a cross-sectional view showing the positional relationship between the first light source 112_1, the second light source 112_2, and the DMD 116 in the lighting device 110A according to the first embodiment.
  • the two light sources 112_1 and 112_2 are arranged so as to satisfy the following relationship.
  • a part (luminous flux) of the input beam S0_1 incident on the micromirror 118 tilted in the first direction ⁇ 1 is projected to the outside as a part of the first output beam (first reference light) S1-1, and is projected in the second direction.
  • a part of the input beam S0_1 incident on the micromirror 118 in the tilted state ⁇ 2 is shielded without being projected.
  • a part of the input beam S0_2 incident on the micromirror 118 in the state of being tilted in the second direction ⁇ 2 is projected to the outside as a part of the second output beam (second reference light) S1-2 and is projected in the first direction.
  • a part of the input beam S0_2 incident on the micromirror 118 in the tilted state ⁇ 1 is shielded without being projected.
  • the input beams S0_1 and S0_2 incident on the same pixel (micromirror) are reflected in substantially the same direction.
  • the two output beams S1_1 and S1_2 irradiate substantially the same region.
  • the reference lights S1_1 and S1-2 having complementary intensity distributions are produced by lighting the first light source 112_1 and the second light source 112_2 in order in a state where the pattern (image) in the DMD 116 is given. Can be generated.
  • the two light sources 112_1 and 112_2 When irradiating two reference lights S1-1 and S1-2 at the same time, the two light sources 112_1 and 112_2 may be turned on at the same time. In this case, the wavelengths of the two light sources 112_1 and 112_2 may be different, or the polarization characteristics may be different.
  • the two light sources 112_1 and 112_2 may be turned on in order.
  • the illumination device 110A it is possible to generate two beams S1_1 and S1-2 having complementary intensity distributions without changing the state of the micromirror 118, that is, without rewriting the image of the DMD116.
  • the application of the lighting device 110A is not limited to the imaging device based on the correlation calculation.
  • FIG. 7 is a diagram showing a lighting device 110B according to the second embodiment.
  • the illuminator 110B includes a single light source 112 and a DMD 116 which is a patterning device 114.
  • the light source 112 produces an input beam S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112 .
  • pattern signal PTN image data
  • the pattern generator 132 generates the intensity distribution corresponding to the pattern signal PTN in that state I r (x, y) is the reference beam S1_1 having generated To.
  • the pattern generator 132 generates a pattern signal PTN ⁇ in which the pattern signal PTN is inverted and gives it to the patterning device 114. Accordingly, the inverted pattern signal PTN ⁇ intensity corresponding to the distribution I r ⁇ (x, y) reference light S1_2 with is generated.
  • FIG. 7 it is also possible to use a patterning device such as a transmissive type or a reflective type liquid crystal device as the patterning device 114.
  • a patterning device such as a transmissive type or a reflective type liquid crystal device as the patterning device 114.
  • FIG. 8 is a block diagram of the imaging device 100B according to the second embodiment.
  • the first light source 112_1 and the second light source 112_2 are different wavelengths lambda 1, lambda 2 of the input beam S0_1, generates a S0_2.
  • the photodetector 120B includes two detectors 122_1, 122_2 with different wavelength sensitivity characteristics.
  • the first detector 122_1 is sensitive to the first wavelength ⁇ 1 and is insensitive to the second wavelength ⁇ 2 .
  • the second detector 122_2 is sensitive to the second wavelength ⁇ 2 and is insensitive to the first wavelength ⁇ 1 .
  • First detector 122_1 generates M first detected intensity b 1 ⁇ b M corresponding to the irradiation of the first reference beam S1_1 of M times.
  • the second detector 122_2 generates M second detection intensities b 1 ⁇ to b M ⁇ corresponding to M times of irradiation of the second reference light S1-2.
  • the reference lights S1_1 and S1_2 are irradiated to the spatially overlapping common area.
  • FIG. 9 is a time chart illustrating the operation of the imaging device 100B of FIG.
  • the two light sources 112_1 and 112_2 are turned on at the same time.
  • the two reference lights S1_1 and S1-2 are simultaneously irradiated on the object, and the corresponding reflected lights S2_1 and S2_2 are also incident on the photodetector 120B at the same time.
  • the two detectors 122_1, the first detected intensity b r and the second detection intensity b r ⁇ is gradually generated simultaneously. Other than that, it is the same as in Example 1.
  • the second embodiment it is possible to obtain a high-quality restored image G (x, y) in which the influence of noise is reduced, as in the first embodiment.
  • the measurement time of one frame can be halved as that of the first embodiment.
  • the irradiation time of the reference lights S1_1 and S1_2 for each pattern may be doubled.
  • the signal levels of the detection intensities br and br ⁇ become large, and the image quality of the first restored image G 1 (x, y) and the second restored image G 2 (x, y) before composition is improved.
  • the image quality of the final image G (x, y) can be improved.
  • the reflectance for the same object is significantly different. In this case, it is advisable to perform reflectance correction.
  • the object is irradiated with the first reference light S1-1 of the first wavelength ⁇ 1 having a uniform intensity distribution (for example, all pixels have the maximum intensity or 1), and the detection intensity b 0 at that time is acquired. To do. Further, the same object is irradiated with the reference light S1-2 of the second wavelength ⁇ 2 having the same intensity distribution (note that it is not complementary), and the detection intensity b 0 ⁇ at that time is acquired. b 0 and b 0 ⁇ are proportional to the reflectance of the object with respect to the wavelengths ⁇ 1 and ⁇ 2 .
  • the arithmetic processing unit 130 uses the obtained b 0 , b 0 ⁇ to correct at least one of the first detection intensity br and the second detection intensity br ⁇ obtained thereafter.
  • br may be used as it is, br ⁇ may be multiplied by a coefficient b 0 ⁇ / b 0 for correction, and the corrected br ⁇ may be used for correlation calculation. And it is used as it is b r ⁇ Conversely, corrected by multiplying the coefficients b 0 / b 0 ⁇ in b r, may be carried out correlation calculation with the b r corrected.
  • the intensity of the input beam S0 before patterning can be adjusted, the light intensity generated by the light source 112 may be corrected.
  • the intensity of the input beam S0 having the second wavelength ⁇ 2 may be multiplied by b 0 ⁇ / b 0 without adjusting the input beam S0 having the first wavelength ⁇ 1 .
  • the intensity of the input beam S0 having the first wavelength ⁇ 1 may be multiplied by b 0 / b 0 ⁇ without adjusting the input beam S0 having the second wavelength ⁇ 2 .
  • the two light sources 112_1 and 112_2 may be turned on alternately to irradiate the two reference lights S1_1 and S1_2 alternately.
  • the reconstruction processing unit 134 calculates the first correlation equation of the equation (2) by using the result of the irradiation of the first reference light S1_1 M times, and reconstructs the first restored image G 1 (x, y). It may be configured. Further, the second correlation equation of the equation (3) may be calculated and the second restored image G 2 (x, y) may be reconstructed by using the result of the irradiation of the second reference light S1-2 M times. Then, the final restored image G (x, y) may be generated by adding the corresponding pixels of these two restored images G 1 (x, y) and G 2 (x, y). .. In this case as well, the influence of noise can be canceled.
  • reconstruction processor 134 uses the results of the irradiation of the first reference beam S1_1 of M times, and calculates the first correlation equation of the formula (2), the first restored image G 1 (X, y) is reconstructed, and the second correlation equation of the equation (3) is calculated by using the result of the irradiation of the second reference light S1-2 M times, and the second restored image G 2 (x, y) is calculated. ) Is reconstructed.
  • one of these two restored images G 1 (x, y) and G 2 (x, y) having better image quality may be selected and used as the final image. For example, one may select one with a clear outline of the object. As a result, the effect of noise cancellation cannot be obtained, but a more appropriate pattern can be selected for the subject, so that the image quality can be improved.
  • FIG. 10 is a diagram showing an imaging device 100C according to the third embodiment.
  • the imaging device 100C is a correlation function image sensor using the principle of ghost imaging, as in the first and second embodiments.
  • the lighting device 110C irradiates two reference lights S1_1 and S1-2 at spatially different positions. Their intensity distributions are complementary.
  • the wavelengths of the two reference lights S1_1 and S1_2 are the same and are irradiated at the same time.
  • the two reference lights S1_1 and S1-2 are treated as one reference light S1.
  • the photodetector 120 simultaneously detects the reflected lights S2_1 and S2_2 corresponding to the two reference lights S1_1 and S1-2.
  • Detected intensity b r is two reflected light S2_1 obtained by irradiation of the r th is the energy of S2_2.
  • Reconstruction processor 134 the intensity distribution I r (x, y) and I r ⁇ (x, y) by connecting the, it generates an intensity distribution of the reference light S1, by correlating the detected intensity br Reconstruction G (x, y) of one restored image.
  • Example 3 11 (a) and 11 (b) are views showing the lighting device 110C according to the third embodiment.
  • the basic configuration of the lighting device 110C includes a first light source 112_1, a second light source 112_2, and a DMD 116 which is a patterning device 114.
  • the input beams S0_1 and S0_2 incident on the same pixel are reflected in substantially the same direction, so that the two output beams S1_1 and S1-2 overlap substantially the same.
  • the area will be illuminated.
  • the two output beams S1-1 and S1-2 have different declinations ⁇ 1 and ⁇ 2 from the Z axis in the YZ plane.
  • FIG. 12 is a diagram illustrating the operation of the lighting device 110C of FIG.
  • the first output beam S1_1 and the second output beam S1-2 have different emission angles ⁇ in the yz plane, and therefore are irradiated to different regions deviated in the y-axis direction.
  • Two output beams S1_1, the S1_2 is that it has a complementary intensity distribution I r (x, y), I r ⁇ (x, y), is the same as in the first embodiment.
  • the above is the operation of the lighting device 110C.
  • this illuminating device 110C it is possible to irradiate a complementary pattern on a region that does not overlap spatially.
  • the irradiation of the two patterns may be simultaneous or different, and may be determined depending on the application.
  • the lighting device 110C can be used as an imaging device in the same manner as the lighting device 110A.
  • the imaging device 100D according to the fourth embodiment is modified in the third embodiment (FIG. 10) so as to generate two reference lights S1_1 and S1-2 in a time division manner.
  • first detected intensity b r is obtained by irradiation of the second reference light S1_2
  • the second detection intensity b r ⁇ is obtained.
  • the reconstruction processing unit 134 generates the first restored image G 1 (x, y) for the irradiation range of the first reference light S1-11, and the second restored image G 2 (x, y) for the irradiation range of the second reference light S1-2. ) Is generated. Then, by connecting the two restored images G 1 (x, y) and G 2 (x, y), an image of the entire irradiation range is generated.
  • the wavelengths ⁇ 1 and ⁇ 2 of the two reference lights S1_1 and S1-2 may be different and irradiated at the same time.
  • the photodetector 120 may be configured as shown in FIG. Thereby, the images relating to the irradiation regions of the two reference lights S1_1 and S1_2 can be individually restored.
  • the light sources 112_1 and 112_2 may be configured to be able to control the wavelengths ⁇ 1 and ⁇ 2 of the two input beams S0_1 and S0_2. Then, the wavelengths ⁇ 1 and ⁇ 2 may be optimized according to the color and material of the subject. Specifically, it is preferable to select a wavelength having high reflectance based on the color and material of the subject. For example, suppose that the reference light S1_1 irradiates the first object and the reference light S1_2 irradiates the second object. When the color of the first object is red and the color of the second object is blue, the wavelength ⁇ 1 may be brought closer to red and the wavelength ⁇ 2 may be brought closer to blue.
  • the materials of the first object and the second object are different and the wavelengths ⁇ 1 and ⁇ 2 are infrared rays, it is preferable to select a wavelength having a high reflectance for each material.
  • the wavelength may be selected according to the periodic environment. For example, when rain, fog, snow, sandstorms, smog, etc. occur, specific wavelengths are likely to be absorbed during light propagation. In such a case, it is preferable to select a wavelength that is difficult to be absorbed during propagation.
  • the light sources 112_1 and 112_2 may be configured to be able to control the intensities of the two input beams S0_1 and S0_2. In this case, the intensity may be dynamically changed according to the distance to the subject and the reflectance of the subject.
  • FIG. 13 is a block diagram of the object identification system 10.
  • the object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging device 100 and an arithmetic processing unit 40. As described above, the imaging device 100 irradiates the object OBJ with the reference light S1 and measures the reflected light S2 to generate a restored image G of the object OBJ.
  • the arithmetic processing unit 40 processes the output image G of the imaging device 100 and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ included in the image G.
  • the classifier 42 is implemented based on the model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the noise immunity is significantly improved. For example, when it is raining, snowing, or traveling in fog, it is difficult to recognize the object OBJ with the naked eye, but by using the imaging device 100, the object OBJ is not affected by rain, snow, or fog.
  • the restored image G can be obtained.
  • the imaging device 100 it is possible to obtain a high-quality image in which the influence of noise is reduced.
  • FIG. 14 is a diagram showing an automobile equipped with an object identification system 10.
  • the automobile 300 includes headlights 302L and 302R.
  • the imaging device 100 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the tip of the vehicle body, and is the most advantageous as an installation location of the imaging device 100 in detecting surrounding objects.
  • FIG. 15 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes an imaging device 100 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the present invention relates to an imaging device using ghost imaging.
  • OBJ Object 10 Object Identification System 40 Arithmetic Processing Device 42 Classifier 100 Imaging Device 110 Lighting Device 112 Light Source 114 Patterning Device 116 DMD 118 Micromirror 120 Photodetector 130 Arithmetic processing device 132 Pattern generator 134 Reconstruction processing unit 200 Vehicle lighting equipment 202 Light source 204 Lighting circuit 206 Optical system 300 Automobile 302 Headlight 310 Lighting equipment system 304 Vehicle side ECU

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

照明装置１１０は、第１強度分布Ｉｒ（ｘ，ｙ）を有する第１参照光Ｓ１＿１と、第１強度分布Ｉｒ（ｘ，ｙ）と相補的な関係にある第２強度分布Ｉｒ＾（ｘ，ｙ）を有する第２参照光Ｓ１＿２と、を照射する。光検出器１２０は、物体からの反射光Ｓ２＿１，Ｓ２＿２を測定する。演算処理装置は、第１参照光Ｓ１＿１を照射したときの光検出器１２０の出力にもとづく第１検出強度ｂｒと第１強度分布Ｉｒ（ｘ，ｙ）の強度分布を利用した第１相関計算を行い、第２参照光Ｓ１＿２を照射したときの光検出器１２０の出力にもとづく第２検出強度ｂｒ＾と第２強度分布Ｉｒ＾（ｘ，ｙ）を利用した第２相関計算を行う。

Description

イメージング装置、車両用灯具、自動車、イメージング方法
　本発明は、ゴーストイメージングを利用したイメージング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の復元画像を再構成（reconstruct）する。
特許第６４１２６７３号公報
１．　本発明者らは、イメージング装置について検討した結果、以下の課題を認識するに至った。ゴーストイメージングにおける相関には、式（１）の相関関数が用いられる。参照光のＩｒはｒ番目（ｒ＝１，２…，Ｍ）の強度分布であり、ｂｒはｒ番目の強度分布を有する参照光を照射したときに得られる検出強度の値である。
Figure JPOXMLDOC01-appb-M000001
　図１は、イメージング装置の１フレームのセンシングを示すタイムチャートである。式（１）から分かるように、相関計算には、Ｍ回の参照光の照射によって１枚の画像を復元する。ここでＭ回の参照光の照射中に、光検出器には、物体からの反射光以外のノイズが入射し、このノイズによって復元画像の画質が低下する。
　また、本発明者が検討したところ、参照光のパターンはランダムに変化するものであるが、ある被写体に対して、あるパターンでは良好な画像が得られ、別のパターンでは画像が劣化するケースが生じうることを認識した。
１．　本発明のある態様の例示的な目的のひとつは、復元画像の画質の改善にある。
２．　また、本発明のある態様の例示的な目的のひとつは、イメージング装置に新たな機能や効果を付加できる照明装置の提供にある。
１．　本発明のある態様は、イメージング装置あるいはイメージング方法に関する。この装置・方法は、物体に、第１強度分布を有する第１参照光と、第１強度分布と相補的な関係にある第２強度分布を有する第２参照光と、を照射する。そして物体からの反射光を測定する。第１参照光を照射した結果にもとづく第１相関計算ならびに第２参照光を照射した結果にもとづく第２相関計算を行う。
２．　本発明の別の態様は、照明装置に関する。照明装置は、複数の画素に対応する複数のマイクロミラーを含み、各マイクロミラーはねじれ軸（ヒンジ）周りに第１方向、第２方向に独立に傾動可能である、ＤＭＤ（Digital Micromirror Device）と、ＤＭＤに第１入力ビームを照射する第１光源と、ＤＭＤに第２入力ビームを照射する第２光源と、を備える。第１入力ビームは、マイクロミラーが第１方向に傾動した状態のとき、第１出力ビームとして外部に投射され、マイクロミラーが第２方向に傾動した状態のとき、投射されず、第２入力ビームは、マイクロミラーが第２方向に傾動した状態のとき、第２出力ビームとして外部に投射され、マイクロミラーが第１方向に傾動した状態のとき、投射されず、第１出力ビームと第２出力ビームは、相補的な強度分布を有する。
　本発明のある態様によれば、復元画像の画質を改善できる。また別の態様によれば、イメージング装置に新たな機能や効果を付加できる
イメージング装置の１フレームのセンシングを示すタイムチャートである。 実施形態１に係るイメージング装置を示す図である。 図２のイメージング装置の動作を説明するタイムチャートである。 実施例１に係る照明装置を示す図である。 ＤＭＤの構造を示す図である。 実施例１に係る照明装置における第１光源、第２光源およびＤＭＤの位置関係を示す断面図である。 実施例２に係る照明装置を示す図である。 実施形態２に係るイメージング装置のブロック図である。 図８のイメージング装置の動作を説明するタイムチャートである。 実施形態３に係るイメージング装置のブロック図である。 図１１（ａ）、（ｂ）は、実施例３に係る照明装置を示す図である。 図１１の照明装置の動作を説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、本明細書における「一実施形態」は、本明細書に開示するひとつ実施形態または複数の実施形態を指すものとして用いる場合がある。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
１．　一実施形態は、イメージング装置に関する。イメージング装置は、第１強度分布を有する第１参照光と、第１強度分布と相補的な関係にある第２強度分布を有する第２参照光と、を照射する照明装置と、物体からの反射光を測定する光検出器と、第１参照光を照射した結果にもとづく第１相関計算ならびに第２参照光を照射した結果にもとづく第２相関計算を行う演算処理装置と、を備える。
　たとえば演算処理装置は、２つの相関計算を合成して、１つの最終復元画像を生成してもよい。これにより、第１検出強度と第２検出強度に共通して含まれるノイズ成分の影響をキャンセルすることができ、画質を改善できる。
　あるいは演算処理装置は、第１相関計算にもとづいて第１復元画像を生成し、第２相関計算にもとづいて第２復元画像を生成してもよい。この場合、第１復元画像と第２復元画像のうち、画質が良い方を最終的な画像として選択してもよい。
　第１参照光と第２参照光は同じ波長であり、時分割で照射されてもよい。
　第１参照光は第１波長を有し、第２参照光は、第１波長と異なる第２波長を有してもよい。光検出器は、第１波長に感度を有し、第２波長に対し不感である第１検出器と、第２波長に感度を有し、第１波長に対し不感である第２検出器と、を含んでもよい。
　第１参照光と第２参照光は同時に照射されてもよい。これによりフレームレートを高めることができる。
　照明装置は、ＤＭＤ（Digital Micromirror Device）と、ＤＭＤに第１入力ビームを照射する第１光源と、ＤＭＤに第２入力ビームを照射する第２光源と、を備えてもよい。第１方向に傾動したマイクロミラーに入射した第１入力ビームの一部は、第１出力ビームとして外部に投射され、第２方向に傾動したマイクロミラーに入射した第１入力ビームの一部は投射されず、第２方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は、第２出力ビームとして外部に投射され、第１方向に傾動したマイクロミラーに入射した第２入力ビームの一部は投射されない。ＤＭＤにあるパターンを与えた状態で、第１光源を点灯させることで第１強度分布を有する第１参照光を生成でき、第２光源を点灯させることで第２強度分布を有する第２参照光を生成できる。
２．　一実施形態は、照明装置に関する。照明装置は、たとえば相関計算により物体の復元画像を再構成するイメージング装置に用いることができる。照明装置は、複数の画素に対応する複数のマイクロミラーを含み、各マイクロミラーはねじれ軸周りに第１方向、第２方向に独立に傾動可能である、ＤＭＤ（Digital Micromirror Device）と、ＤＭＤに第１入力ビームを照射する第１光源と、ＤＭＤに第２入力ビームを照射する第２光源と、を備える。第１入力ビームは、マイクロミラーが第１方向に傾動した状態のとき、第１出力ビームとして外部に投射され、マイクロミラーが第２方向に傾動した状態のとき、投射されず、第２入力ビームは、マイクロミラーが第２方向に傾動した状態のとき、第２出力ビームとして外部に投射され、マイクロミラーが第１方向に傾動した状態のとき、投射されず、第１出力ビームと第２出力ビームは、相補的な強度分布を有する。
　この照明装置は、マイクロミラーの状態を変化させることなく、すなわちＤＭＤの画像を書き換えることなく、相補的な強度分布を有する出力ビームを生成できる。
　第１入力ビームと第２入力ビームの波長は異なってもよい。この場合において、第１光源と第２光源は同時に点灯してもよい。これにより、相補的な強度分布を有する２つの出力ビームを同時に発生できる。
　第１入力ビームと第２入力ビームの波長は同一であってもよい。この場合において、第１光源と第２光源は排他的に点灯してもよい。２つの出力ビームに対応する物体からの２つの反射光を検出する際に、波長にもとづいて２つの反射光を分離することができる。
　第１出力ビームと第２出力ビームは、空間的にオーバーラップする領域に照射されてもよい。この場合、後段の信号処理によってノイズをキャンセルすることができる。
　第１出力ビームと第２出力ビームは、空間的にオーバーラップしない領域に照射されてもよい。これにより照射範囲を広げることができる。
　第１入力ビームと第２入力ビームの波長は可変であってもよい。これにより被写体の色や材質、周囲の環境に適応したセンシングやイメージングが可能となる。
　実施形態に係る照明装置は、車両用灯具に内蔵することができる。
　一実施形態には、イメージング装置が開示される。イメージング装置は、上述のいずれかの照明装置と、物体からの反射光を測定する光検出器と、第１出力ビームを照射した結果にもとづく第１相関計算、ならびに第２出力ビームを照射した結果にもとづく第２相関計算を行う演算処理装置と、を備える。
　第１出力ビームと第２出力ビームはオーバーラップする領域に照射されてもよい。演算処理装置は、第１相関計算と第２相関計算を合成し、最終的な復元画像を生成してもよい。これにより第１検出強度と第２検出強度に共通して含まれるノイズ成分の影響をキャンセルすることができる。
（実施形態）
　以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図２は、実施形態１に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０および演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる第１強度分布Ｉｒ（ｘ，ｙ）を有する第１参照光Ｓ１＿１と、第１強度分布Ｉ（ｘ，ｙ）と相補的な関係にある第２強度分布Ｉｒ＾（ｘ，ｙ）を有する第２参照光Ｓ１＿２を生成し、物体ＯＢＪに照射する。物体ＯＢＪへの参照光Ｓ１＿１，Ｓ１＿２の照射は、強度分布Ｉ（ｘ，ｙ）を複数のＭ回、ランダムに変化させながら行われる。
　たとえば照明装置１１０は、光源１１２、パターニングデバイス１１４、パターン発生器１３２を含む。光源１１２は、均一な強度分布を有する入力ビームＳ０を生成する。パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、入力ビームＳ０の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、高速にオンとオフをスイッチングして、それらの時間比率を調節することにより中間的な階調をとってもよい。パターニングデバイス１１４により反射される出力ビームＳ１＿１，Ｓ１＿２は、相補的な強度分布Ｉ（ｘ，ｙ）を有するように変調される。
　光検出器１２０は、第１参照光Ｓ１＿１に対する物体ＯＢＪからの反射光Ｓ２＿１を測定し、第１検出信号Ｄｒを出力する。第１検出信号Ｄｒは、第１強度分布Ｉｒを有する第１参照光Ｓ１＿１を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の第１検出信号Ｄ１～ＤＭが出力される。
　同様に、光検出器１２０は、第２参照光Ｓ１＿２に対する物体ＯＢＪからの反射光Ｓ２＿２を測定し、第２検出信号Ｄｒ＾を出力する。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１＾～ＩＭ＾それぞれに対応する複数の第２検出信号Ｄ１＾～ＤＭ＾が出力される。
　演算処理装置１３０は、パターン発生器１３２と再構成処理部１３４を含む。再構成処理部１３４は、複数の第１強度分布（ランダムパターンともいう）Ｉ１～ＩＭと、複数の第１検出強度ｂ１～ｂＭの相関をとる（第１相関計算）。第１検出強度ｂ１～ｂＭは、検出信号Ｄ１～ＤＭにもとづいている。検出強度と検出信号の関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
Figure JPOXMLDOC01-appb-M000002
　また再構成処理部１３４は、複数の第２強度分布Ｉ１＾～ＩＭ＾と、複数の第２検出強度ｂ１＾～ｂＭ＾の相関をとる（第２相関計算）。第２強度分布Ｉ１＾～ＩＭ＾は、第１強度分布Ｉ１～ＩＭにもとづいて演算することができる。第２検出強度ｂ１＾～ｂＭ＾は、第２検出信号Ｄ１＾～ＤＭ＾にもとづいている。
Figure JPOXMLDOC01-appb-M000003
　再構成処理部１３４は、式（４）を演算することにより、最終的な復元画像Ｇ（ｘ，ｙ）を生成する。式（４）は、式（２）で表される第１相関計算の相関計算式と、式（３）で表される第２相関計算の相関計算式を合成した合成相関である。
Figure JPOXMLDOC01-appb-M000004
　以上がイメージング装置１００の構成である。続いてその動作を説明する。図３は、図２のイメージング装置１００の動作を説明するタイムチャートである。ここでは第１参照光Ｓ１＿１と第２参照光Ｓ１＿２が交互に時分割で照射されるものとする。
　第１参照光Ｓ１＿１を照射するごとに、第１検出強度ｂｒが取得され、第２参照光Ｓ１＿２を照射するごとに、第２検出強度ｂｒ＾が取得される。各検出強度には、ノイズ成分σが含まれる。再構成処理部１３４は、ｒ＝１～Ｍについて得られる第１検出強度ｂｒ、第２検出強度ｂｒ＾、第１強度分布Ｉｒ（ｘ，ｙ）、第２強度分布Ｉｒ＾（ｘ，ｙ）にもとづいて、式（４）の合成相関式を計算し、最終的な復元画像Ｇ（ｘ，ｙ）を得ることができる。
　以上がイメージング装置１００の動作である。続いてその利点を説明する。
　いま強度分布は、０，１の２値を取るものとする。このとき、第１強度分布Ｉｒ（ｘ，ｙ）と第２強度分布Ｉｒ＾（ｘ，ｙ）には式（５）が成り立つ。
Figure JPOXMLDOC01-appb-M000005
　式（４）に、式（２）、（３）、（５）を代入すると、式（６）を得る。
Figure JPOXMLDOC01-appb-M000006
　＜ｂｒ＾＞は、ｂｒ＾の平均値であるから、式（７）が成り立つ。
Figure JPOXMLDOC01-appb-M000007
　式（７）を式（６）に代入して整理すると、式（８）を得る。
Figure JPOXMLDOC01-appb-M000008
　ここでｂｒとｂｒ＾を、反射光に起因する真の信号成分（添え字に（ｔｒｕｅ）を付す）とノイズ成分σの和で表すとする。ｂｒとｂｒ＾に同じノイズ成分σｒが含まれるとする。
　ｂｒ＝ｂｒ（ｔｒｕｅ）＋σｒ
　ｂｒ＾＝ｂｒ（ｔｒｕｅ）＾＋σｒ
　これを式（８）に代入すると、式（９）を得る。
Figure JPOXMLDOC01-appb-M000009
　式（９）から分かるように、最終的に得られた画像Ｇ（ｘ，ｙ）では、ノイズ成分同士が相殺し合うため、信号成分ｂｒ（ｔｒｕｅ）、ｂｒ（ｔｒｕｅ）＾のみを含んでいる。したがって画質を改善することができる。
（変形例１）
　図３では、参照光Ｓ１＿１とＳ１＿２を交互に照射したがその限りでない。参照光Ｓ１＿１，Ｓ１＿２が同時に照射された場合に、光検出器１２０が、それらに対応する反射光Ｓ２＿１，Ｓ２＿２を分離することができる場合、参照光Ｓ１＿１，Ｓ１＿２を同時に照射してもよい。
　たとえば第１参照光Ｓ１＿１は第１波長λ１を有し、第２参照光Ｓ１＿２は第１波長λ１と異なる第２波長λ２を有してもよい。この場合、光検出器１２０は、第１波長λ１に感度を有する第１検出器と、第２波長λ２に感度を有する第２光検出器を含んでもよい。あるいは、反射光Ｓ２，Ｓ２＿２をフィルタによって分離し、分離された２つの成分Ｓ２＿１とＳ２＿２それぞれの強度を測定してもよい。
　なお第１波長λ１と第２波長λ２が大きく異なる場合、同じ物体に対する反射率が大きく異なる状況が生ずる。この場合には、反射率補正を行うとよい。
　反射率補正のために、強度分布が均一（たとえば全画素が最大強度、あるいは１）である第１波長λ１の第１参照光Ｓ１＿１を物体に照射し、そのときの検出強度ｂ０を取得する。また、同じ強度分布（相補的でないことに注意）を有する第２波長λ２の参照光Ｓ１＿２を同じ物体に照射し、そのときの検出強度ｂ０＾を取得する。ｂ０とｂ０＾は、物体の波長λ１、λ２に対する反射率に比例する。演算処理装置１３０は、得られたｂ０，ｂ０＾を用いて、その後得られる第１検出強度ｂｒ，第２検出強度ｂｒ＾の少なくとも一方を補正する。
　たとえば、ｂｒをそのまま用いることとし、ｂｒ＾に係数ｂ０＾／ｂ０を乗じて補正し、補正後のｂｒ＾を用いて相関計算を行ってもよい。反対にｂｒ＾をそのまま用いることとし、ｂｒに係数ｂ０／ｂ０＾を乗じて補正し、補正後のｂｒを用いて相関計算を行ってもよい。
　あるいは、パターニングする前の入力ビームＳ０の強度を調節できる場合、光源１１２が生成する光強度を補正してもよい。第１波長λ１の入力ビームＳ０は調節せずに、第２波長λ２の入力ビームＳ０の強度をｂ０＾／ｂ０倍してもよい。反対に、第２波長λ２の入力ビームＳ０は調節せずに、第１波長λ１の入力ビームＳ０の強度をｂ０／ｂ０＾倍してもよい。
（変形例２）
　第１参照光Ｓ１＿１と第２参照光Ｓ１＿２を同一波長を有し、異なる偏光特性を有してもよい。たとえば、第１参照光Ｓ１＿１と第２参照光Ｓ１＿２の一方が右回りの円偏光（あるいは楕円偏光）を有し、他方が左回りの円偏光（あるいは楕円偏光）を有してもよい。
　この場合、照明装置１１０は、右回りの偏光成分と、左回りの偏光成分を分離する光学系を含んでもよい。偏光成分を分離する光学系は、１／４波長板と、直線偏光素子の組み合わせで構成することができる。
（変形例３）
　再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ１（ｘ，ｙ）を再構成してもよい。またＭ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ２（ｘ，ｙ）を再構成してもよい。そしてこれらの２つの復元画像Ｇ１（ｘ，ｙ）、Ｇ２（ｘ，ｙ）の対応する画素同士を加算することにより、最終的な復元画像Ｇ（ｘ，ｙ）を生成してもよい。この場合も、ノイズの影響をキャンセルすることができる。
（変形例４）
　これまでの説明では、相補的な強度分布を有する２つのパターンを、ノイズキャンセルのために利用したが、その限りでない。変形例４において、再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ１（ｘ，ｙ）を再構成し、Ｍ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ２（ｘ，ｙ）を再構成する。
　そしてこれらの２つの復元画像Ｇ１（ｘ，ｙ）、Ｇ２（ｘ，ｙ）のうち、より画質がよい一方を選択し、最終画像としてもよい。たとえば物体の輪郭が明瞭な一方を選択してもよい。これにより、ノイズキャンセルの効果は得られないが、被写体に対してより適切なパターンを選択することができるため、画質を改善できる。
　続いて、照明装置１１０の構成について、いくつかの実施例をもとに説明する。
（実施例１）
　図４は、実施例１に係る照明装置１１０Ａを示す図である。照明装置１１０Ａは、第１光源１１２＿１、第２光源１１２＿２、パターニングデバイス１１４であるＤＭＤ１１６を含む。光源１１２＿１，１１２＿２は、均一な強度分布を有する入力ビームＳ０＿１，Ｓ０＿２を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。入力ビームＳ０＿１，Ｓ０＿２の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。入力ビームＳ０＿１，Ｓ０＿２の波長は、赤外あるいは紫外であってもよい。
　ＤＭＤ１１６は、複数の画素に対応する複数のマイクロミラー１１８を含む。図５は、ＤＭＤ１１６の構造を示す図である。各マイクロミラー１１８はねじれ軸１１９周りに第１方向（図中、反時計回り）、第２方向（図中、時計回り）に独立に傾動可能である。第１方向に傾動した状態をφ１、第２方向に傾動した状態をφ２とする。
　図６は、実施例１に係る照明装置１１０Ａにおける第１光源１１２＿１、第２光源１１２＿２およびＤＭＤ１１６の位置関係を示す断面図である。２個の光源１１２＿１，１１２＿２は、以下の関係を満たすように配置される。
　第１方向に傾動した状態φ１のマイクロミラー１１８に入射した入力ビームＳ０＿１の一部（光束）は、第１出力ビーム（第１参照光）Ｓ１＿１の一部として外部に投射され、第２方向に傾動した状態φ２のマイクロミラー１１８に入射した入力ビームＳ０＿１の一部は、投射されずに遮光される。
　反対に、第２方向に傾動した状態φ２のマイクロミラー１１８に入射した入力ビームＳ０＿２の一部は、第２出力ビーム（第２参照光）Ｓ１＿２の一部として外部に投射され、第１方向に傾動した状態φ１のマイクロミラー１１８に入射した入力ビームＳ０＿２の一部は、投射されずに遮光される。
　同じ画素（マイクロミラー）に入射した入力ビームＳ０＿１，Ｓ０＿２は、実質的に同じ方向に反射される。これにより、２つの出力ビームＳ１＿１とＳ１＿２は、実質的に同一の領域を照射することとなる。
　以上が実施例１に係るイメージング装置１００Ａの構成である。このイメージング装置１００Ａによれば、ＤＭＤ１１６にあるパターン（画像）を与えた状態で、第１光源１１２＿１と第２光源１１２＿２を順に点灯させることにより、相補的な強度分布を有する参照光Ｓ１＿１，Ｓ１＿２を生成することができる。
　２つの参照光Ｓ１＿１，Ｓ１＿２を同時に照射する場合、２つの光源１１２＿１，１１２＿２を同時に点灯させればよい。この場合、２つの光源１１２＿１，１１２＿２の波長は異なっていてもよいし、偏光特性が異なっていてもよい。
　２つの参照光Ｓ１＿１，Ｓ１＿２を同時に照射する場合、２つの光源１１２＿１，１１２＿２を順に点灯させればよい。
　また照明装置１１０Ａによれば、マイクロミラー１１８の状態を変化させることなく、すなわちＤＭＤ１１６の画像を書き換えることなく、相補的な強度分布を有する２つのビームＳ１＿１，Ｓ１＿２を生成できる。
　なお、照明装置１１０Ａの用途は、相関計算にもとづくイメージング装置に限定されない。
（実施例２）
　図７は、実施例２に係る照明装置１１０Ｂを示す図である。照明装置１１０Ｂは、単一の光源１１２およびパターニングデバイス１１４であるＤＭＤ１１６を含む。光源１１２は、均一な強度分布を有する入力ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。
　パターニングデバイス１１４には、パターン発生器１３２が発生するパターン信号ＰＴＮ（画像データ）が与えられ、その状態でパターン信号ＰＴＮに応じた強度分布Ｉｒ（ｘ，ｙ）を有する参照光Ｓ１＿１が生成される。そしてパターン発生器１３２は、パターン信号ＰＴＮを反転したパターン信号ＰＴＮ＾を発生し、パターニングデバイス１１４に与える。これにより、反転パターン信号ＰＴＮ＾に応じた強度分布Ｉｒ＾（ｘ，ｙ）を有する参照光Ｓ１＿２が生成される。
　図７において、パターニングデバイス１１４として透過型あるいは反射型の液晶デバイスなどのパターニングデバイスを用いることも可能である。
（実施形態２）
　図８は、実施形態２に係るイメージング装置１００Ｂのブロック図である。実施形態２において、第１光源１１２＿１と第２光源１１２＿２は、異なる波長λ１，λ２の入力ビームＳ０＿１，Ｓ０＿２を生成する。
　これに対応して、光検出器１２０Ｂは、波長感度特性が異なる２個の検出器１２２＿１，１２２＿２を含む。第１検出器１２２＿１は、第１波長λ１に感度を有し、第２波長λ２に対し不感である。第２検出器１２２＿２は、第２波長λ２に感度を有し、第１波長λ１に対し不感である。第１検出器１２２＿１は、Ｍ回の第１参照光Ｓ１＿１の照射に対応するＭ個の第１検出強度ｂ１～ｂＭを生成する。第２検出器１２２＿２は、Ｍ回の第２参照光Ｓ１＿２の照射に対応するＭ個の第２検出強度ｂ１＾～ｂＭ＾を生成する。
　実施形態２においても、参照光Ｓ１＿１，Ｓ１＿２は、空間的にオーバーラップした共通の領域に照射される。
　以上がイメージング装置１００Ｂの構成である。続いてその動作を説明する。図９は、図８のイメージング装置１００Ｂの動作を説明するタイムチャートである。実施形態２では、２つの光源１１２＿１，１１２＿２は、同時に点灯する。２つの参照光Ｓ１＿１，Ｓ１＿２は、同時に物体に照射され、それらに対応する反射光Ｓ２＿１，Ｓ２＿２も、同時に光検出器１２０Ｂに入射する。２個の検出器１２２＿１，１２２＿２によって、第１検出強度ｂｒと第２検出強度ｂｒ＾が同時に生成されていく。それ以外については実施例１と同様である。
　実施形態２によれば、実施例１と同様に、ノイズの影響を低減した高画質な復元画像Ｇ（ｘ，ｙ）を得ることができる。
　また、２つの参照光Ｓ１＿１，Ｓ１＿２を同時に照射できるため、１フレームの測定時間を、実施例１の半分にすることができる。
　あるいは、１フレームの測定時間を同じにした場合、パターン毎の参照光Ｓ１＿１、Ｓ１＿２の照射時間を２倍にしてもよい。この場合は、検出強度ｂｒ、ｂｒ＾の信号レベルが大きくなり、合成前の第１復元画像Ｇ１（ｘ，ｙ），第２復元画像Ｇ２（ｘ，ｙ）それぞれの画質を改善でき、ひいては最終的な画像Ｇ（ｘ，ｙ）の画質を改善できる。
　なお第１波長λ１と第２波長λ２が大きく異なる場合、同じ物体に対する反射率が大きく異なる状況が生ずる。この場合には、反射率補正を行うとよい。
　反射率補正のために、強度分布が均一（たとえば全画素が最大強度、あるいは１）である第１波長λ１の第１参照光Ｓ１＿１を物体に照射し、そのときの検出強度ｂ０を取得する。また、同じ強度分布（相補的でないことに注意）を有する第２波長λ２の参照光Ｓ１＿２を同じ物体に照射し、そのときの検出強度ｂ０＾を取得する。ｂ０とｂ０＾は、物体の波長λ１、λ２に対する反射率に比例する。演算処理装置１３０は、得られたｂ０，ｂ０＾を用いて、その後得られる第１検出強度ｂｒ，第２検出強度ｂｒ＾の少なくとも一方を補正する。
　たとえば、ｂｒをそのまま用いることとし、ｂｒ＾に係数ｂ０＾／ｂ０を乗じて補正し、補正後のｂｒ＾を用いて相関計算を行ってもよい。反対にｂｒ＾をそのまま用いることとし、ｂｒに係数ｂ０／ｂ０＾を乗じて補正し、補正後のｂｒを用いて相関計算を行ってもよい。
　あるいは、パターニングする前の入力ビームＳ０の強度を調節できる場合、光源１１２が生成する光強度を補正してもよい。第１波長λ１の入力ビームＳ０は調節せずに、第２波長λ２の入力ビームＳ０の強度をｂ０＾／ｂ０倍してもよい。反対に、第２波長λ２の入力ビームＳ０は調節せずに、第１波長λ１の入力ビームＳ０の強度をｂ０／ｂ０＾倍してもよい。
（変形例２．１）
　なお、実施形態２において、２つの光源１１２＿１，１１２＿２を交互に点灯させて、２つの参照光Ｓ１＿１，Ｓ１＿２を交互に照射してもよい。
（変形例２．２）
　再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ１（ｘ，ｙ）を再構成してもよい。またＭ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ２（ｘ，ｙ）を再構成してもよい。そしてこれらの２つの復元画像Ｇ１（ｘ，ｙ）、Ｇ２（ｘ，ｙ）の対応する画素同士を加算することにより、最終的な復元画像Ｇ（ｘ，ｙ）を生成してもよい。この場合も、ノイズの影響をキャンセルすることができる。
（変形例２．３）
　これまでの説明では、相補的な強度分布を有する２つのパターンを、ノイズキャンセルのために利用したが、その限りでない。変形例１．３において、再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ１（ｘ，ｙ）を再構成し、Ｍ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ２（ｘ，ｙ）を再構成する。
　そしてこれらの２つの復元画像Ｇ１（ｘ，ｙ）、Ｇ２（ｘ，ｙ）のうち、より画質がよい一方を選択し、最終画像としてもよい。たとえば物体の輪郭が明瞭な一方を選択してもよい。これにより、ノイズキャンセルの効果は得られないが、被写体に対してより適切なパターンを選択することができるため、画質を改善できる。
（実施形態３）
　図１０は、実施形態３に係るイメージング装置１００Ｃを示す図である。イメージング装置１００Ｃは、実施形態１，実施形態２と同様に、ゴーストイメージングの原理を用いた相関関数イメージセンサである。
　照明装置１１０Ｃは、空間的に異なる位置に、２つの参照光Ｓ１＿１，Ｓ１＿２を照射する。それらの強度分布は相補的な関係にある。本実施の形態において２つの参照光Ｓ１＿１，Ｓ１＿２の波長は同一であり、かつ同時に照射される。実施形態３では、２つの参照光Ｓ１＿１，Ｓ１＿２が、１個の参照光Ｓ１として扱われる。
　光検出器１２０は、２つの参照光Ｓ１＿１，Ｓ１＿２に対応する反射光Ｓ２＿１，Ｓ２＿２を同時に検出する。検出強度ｂｒは、ｒ回目の照射により得られる２つの反射光Ｓ２＿１，Ｓ２＿２のエネルギーである。実施形態３では、ｂｒにｂｒ＾が含まれていることに留意されたい。
　再構成処理部１３４は、強度分布Ｉｒ（ｘ，ｙ）とＩｒ＾（ｘ，ｙ）を繋げることにより、参照光Ｓ１の強度分布を生成し、検出強度ｂｒとの相関をとることにより、１枚の復元画像を再構成Ｇ（ｘ，ｙ）する。
　このイメージング装置１００Ｃによれば、２倍の範囲をセンシングすることができる。
（実施例３）
　図１１（ａ）、（ｂ）は、実施例３に係る照明装置１１０Ｃを示す図である。照明装置１１０Ｃの基本構成は、第１光源１１２＿１、第２光源１１２＿２、パターニングデバイス１１４であるＤＭＤ１１６を含む。
　照明装置１１０Ａあるいは１１０Ｂでは、同じ画素（マイクロミラー）に入射した入力ビームＳ０＿１，Ｓ０＿２は、実質的に同じ方向に反射され、したがって２つの出力ビームＳ１＿１とＳ１＿２は、実質的に同一のオーバーラップする領域を照射することとなる。
　図１１（ｂ）に示すように、実施例３では、２つの出力ビームＳ１＿１とＳ１＿２の、ＹＺ平面におけるＺ軸からの偏角θ１，θ２が異なっている。
　以上が照明装置１１０Ｃの構成である。続いてその動作を説明する。図１２は、図１１の照明装置１１０Ｃの動作を説明する図である。第１出力ビームＳ１＿１と、第２出力ビームＳ１＿２は、ｙｚ平面内での出射角θが異なっており、したがってｙ軸方向にずれた異なる領域に照射される。２つの出力ビームＳ１＿１，Ｓ１＿２が相補的な強度分布Ｉｒ（ｘ，ｙ）、Ｉｒ＾（ｘ，ｙ）を有する点は、実施の形態１と同様である。
　以上が照明装置１１０Ｃの動作である。この照明装置１１０Ｃによれば、空間的にオーバーラップしない領域に相補的なパターンを照射することができる。２つのパターンの照射は同時であってもよいし、異なっていてもよく、用途によって決めればよい。
　続いて、実施例３に係る照明装置１１０Ｃの用途を説明する。照明装置１１０Ｃは、照明装置１１０Ａと同様に、イメージング装置に用いることができる。
（実施形態４）
　実施形態４に係るイメージング装置１００Ｄは、実施形態３（図１０）において、２つの参照光Ｓ１＿１，Ｓ１＿２を時分割で生成するように変更したものである。この実施形態４では、第１参照光Ｓ１＿１の照射によって、第１検出強度ｂｒが得られ、第２参照光Ｓ１＿２の照射によって、第２検出強度ｂｒ＾が得られる。再構成処理部１３４は、第１参照光Ｓ１＿１の照射範囲について第１復元画像Ｇ１（ｘ，ｙ）を生成し、第２参照光Ｓ１＿２の照射範囲について第２復元画像Ｇ２（ｘ，ｙ）を生成する。そして２つの復元画像Ｇ１（ｘ，ｙ），Ｇ２（ｘ，ｙ）を繋ぎ合わせることにより、全照射範囲の画像を生成する。
（実施形態５）
　実施形態３（（図１０））において、２つの参照光Ｓ１＿１，Ｓ１＿２の波長λ１，λ２を異ならしめ、同時に照射してもよい。この場合、光検出器１２０を図８のように構成すればよい。これにより、２つの参照光Ｓ１＿１，Ｓ１＿２それぞれの照射領域に関する画像を個別に復元できる。
　実施形態３～５に関して、以下の特徴を追加することができる。
（波長制御）
　光源１１２＿１、１１２＿２は、２つの入力ビームＳ０＿１，Ｓ０＿２の波長λ１，λ２を制御可能に構成されてもよい。そして、被写体の色や材質に適応して、波長λ１，λ２を最適化してもよい。具体的には、被写体の色や材質にもとづいて、反射率が高い波長を選択するとよい。たとえば参照光Ｓ１＿１が第１の物体に照射され、参照光Ｓ１＿２が第２の物体に照射されるとする。第１の物体の色が赤、第２の物体の色が青であるとき、波長λ１を赤に近づけ、波長λ２を青に近づけてもよい。
　あるいは第１の物体と第２の物体で材質が異なり、波長λ１，λ２が赤外線である場合、各材質に対して反射率が高い波長を選択するとよい。
　あるいは、周期の環境に応じて、波長を選択してもよい。たとえば雨、霧、雪、砂嵐、スモッグ等が発生している場合、光の伝搬中に特定の波長が吸収されやすくなる。そのような場合には、伝搬中に吸収されにくい波長を選択するとよい。
　たとえば、参照光Ｓ１＿＃（＃＝１，２）について強度分布を均一（全画素が１）とし、波長λ＃をスイープさせる。そして、検出強度が最も大きいときの波長λ＃を取得することで、最適な波長を決定してもよい。
（強度制御）
　光源１１２＿１、１１２＿２は、２つの入力ビームＳ０＿１，Ｓ０＿２の強度を制御可能に構成されてもよい。この場合、被写体までの距離や、被写体の反射率に応じて、強度を動的に変化させてもよい。
　以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（用途）
　続いてイメージング装置１００の用途を説明する。図１３は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。
　イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
　また、実施形態に係るイメージング装置１００を用いることでノイズの影響を低減した高画質な画像を得ることができる。
（用途）
　図１４は、物体識別システム１０を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
　図１５は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、ゴーストイメージングを利用したイメージング装置に関する。
　ＯＢＪ　物体
　１０　物体識別システム
　４０　演算処理装置
　４２　分類器
　１００　イメージング装置
　１１０　照明装置
　１１２　光源
　１１４　パターニングデバイス
　１１６　ＤＭＤ
　１１８　マイクロミラー
　１２０　光検出器
　１３０　演算処理装置
　１３２　パターン発生器
　１３４　再構成処理部
　２００　車両用灯具
　２０２　光源
　２０４　点灯回路
　２０６　光学系
　３００　自動車
　３０２　前照灯
　３１０　灯具システム
　３０４　車両側ＥＣＵ

Claims (25)

  1. 　第１強度分布を有する第１参照光と、前記第１強度分布と相補的な関係にある第２強度分布を有する第２参照光と、を照射する照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記第１参照光を照射した結果にもとづく第１相関計算、ならびに前記第２参照光を照射した結果にもとづく第２相関計算を行う演算処理装置と、
    　を備えることを特徴とするイメージング装置。
  2. 　前記演算処理装置は、前記第１相関計算と前記第２相関計算を合成し、最終的な復元画像を生成することを特徴とする請求項１に記載のイメージング装置。
  3. 　前記演算処理装置は、前記第１相関計算により前記物体の第１復元画像を再構成し、前記第２相関計算により、前記物体の第２復元画像を再構成することを特徴とする請求項１または２に記載のイメージング装置。
  4. 　前記第１参照光と前記第２参照光は同じ波長であり、時分割で照射されることを特徴とする請求項１から３のいずれかに記載のイメージング装置。
  5. 　前記第１参照光は第１波長を有し、前記第２参照光は、前記第１波長と異なる第２波長を有し、
    　前記光検出器は、
    　前記第１波長に感度を有し、前記第２波長に対し不感である第１検出器と、
    　前記第２波長に感度を有し、前記第１波長に対し不感である第２検出器と、
    　を含むことを特徴とする請求項４に記載のイメージング装置。
  6. 　前記第１参照光と前記第２参照光は同時に照射されることを特徴とする請求項５に記載のイメージング装置。
  7. 　前記演算処理装置は、前記第１検出器と前記第２検出器の出力を補正することを特徴とする請求項５または６に記載のイメージング装置。
  8. 　前記演算処理装置における補正に必要な係数は、前記第１参照光の強度分布を均一としたときにある物体からの反射光について得られた第１検出強度と、前記第２参照光の強度分布を均一としたときに同じ物体からの反射光について得られた第２検出強度と、にもとづいて生成されることを特徴とする請求項７に記載のイメージング装置。
  9. 　前記照明装置は、
    　複数の画素に対応する複数のマイクロミラーを含み、各マイクロミラーはねじれ軸周りに第１方向、第２方向に独立に傾動可能である、ＤＭＤ（Digital Micromirror Device）と、
    　前記ＤＭＤに第１入力ビームを照射する第１光源と、
    　前記ＤＭＤに第２入力ビームを照射する第２光源と、
    　を備え、
    　前記第１方向に傾動した前記マイクロミラーに入射した前記第１入力ビームの一部は、第１出力ビームとして外部に投射され、前記第２方向に傾動した前記マイクロミラーに入射した前記第１入力ビームの一部は投射されず、
    　前記第２方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は、第２出力ビームとして外部に投射され、前記第１方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は投射されないことを特徴とする請求項１から８のいずれかに記載のイメージング装置。
  10. 　請求項１から９のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  11. 　請求項１から９のいずれかに記載のイメージング装置を備えることを特徴とする自動車。
  12. 　第１強度分布を有する第１参照光を物体に照射するステップと、
    　前記第１強度分布と相補的な関係にある第２強度分布を有する第２参照光を物体に照射するステップと、
    　前記第１参照光を照射したときの前記物体からの反射光を測定し、第１検出強度を生成するステップと、
    　前記第２参照光を照射したときの前記物体からの反射光を測定し、第２検出強度を生成するステップと、
    　前記第１検出強度と前記第１強度分布にもとづく第１相関計算と、前記第２検出強度と前記第２強度分布にもとづく第２相関計算を行うステップと、
    　を備えることを特徴とするイメージング方法。
  13. 　前記第１相関計算と前記第２相関計算を合成し、最終的な復元画像を生成するステップをさらに備えることを特徴とする請求項１２に記載のイメージング方法。
  14. 　複数の画素に対応する複数のマイクロミラーを含み、各マイクロミラーはねじれ軸周りに第１方向、第２方向に独立に傾動可能である、ＤＭＤ（Digital Micromirror Device）と、
    　前記ＤＭＤに第１入力ビームを照射する第１光源と、
    　前記ＤＭＤに第２入力ビームを照射する第２光源と、
    　を備え、
    　前記第１方向に傾動した前記マイクロミラーに入射した前記第１入力ビームの一部は、第１出力ビームの一部として外部に投射され、前記第２方向に傾動した前記マイクロミラーに入射した前記第１入力ビームの一部は投射されず、
    　前記第２方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は、第２出力ビームの一部として外部に投射され、前記第１方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は投射されず、
    　前記第１出力ビームと前記第２出力ビームは、相補的な強度分布を有することを特徴とする照明装置。
  15. 　前記第１入力ビームと前記第２入力ビームの波長は異なることを特徴とする請求項１４に記載の照明装置。
  16. 　前記第１光源と前記第２光源は同時に点灯することを特徴とする請求項１５に記載の照明装置。
  17. 　前記第１入力ビームと前記第２入力ビームの波長は同一であることを特徴とする請求項１４に記載の照明装置。
  18. 　前記第１光源と前記第２光源は排他的に点灯することを特徴とする請求項１７に記載の照明装置。
  19. 　前記第１出力ビームと前記第２出力ビームは、空間的にオーバーラップする領域に照射されることを特徴とする請求項１４から１８のいずれかに記載の照明装置。
  20. 　前記第１出力ビームと前記第２出力ビームは、空間的にオーバーラップしない領域に照射されることを特徴とする請求項１４から１８のいずれかに記載の照明装置。
  21. 　前記第１入力ビームと前記第２入力ビームの波長は可変であることを特徴とする請求項１４から２０のいずれかに記載の照明装置。
  22. 　請求項１４から２１のいずれかに記載の照明装置を備えることを特徴とする車両用灯具。
  23. 　請求項１４から２１のいずれかに記載の照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記第１出力ビームを照射した結果にもとづく第１相関計算、ならびに前記第２出力ビームを照射した結果にもとづく第２相関計算を行う演算処理装置と、
    　を備えることを特徴とするイメージング装置。
  24. 　前記第１出力ビームと前記第２出力ビームは空間的にオーバーラップする領域に照射され、
    　前記演算処理装置は、前記第１相関計算と前記第２相関計算を合成し、最終的な復元画像を生成することを特徴とする請求項２３に記載のイメージング装置。
  25. 　請求項２３または２４に記載のイメージング装置を備えることを特徴とする自動車。
PCT/JP2020/017166 2019-04-22 2020-04-21 イメージング装置、車両用灯具、自動車、イメージング方法 WO2020218282A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021516126A JP7408642B2 (ja) 2019-04-22 2020-04-21 イメージング装置、車両用灯具、自動車、イメージング方法
EP20794126.1A EP3961261A4 (en) 2019-04-22 2020-04-21 IMAGING DEVICE, VEHICLE HEADLIGHT, AUTOMOTIVE AND IMAGING METHOD
CN202080030716.XA CN113767304A (zh) 2019-04-22 2020-04-21 成像装置、车辆用灯具、汽车、成像方法
US17/506,277 US20220038625A1 (en) 2019-04-22 2021-10-20 Imaging apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-081027 2019-04-22
JP2019081027 2019-04-22
JP2019-081026 2019-04-22
JP2019081026 2019-04-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/506,277 Continuation US20220038625A1 (en) 2019-04-22 2021-10-20 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2020218282A1 true WO2020218282A1 (ja) 2020-10-29

Family

ID=72941908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017166 WO2020218282A1 (ja) 2019-04-22 2020-04-21 イメージング装置、車両用灯具、自動車、イメージング方法

Country Status (5)

Country Link
US (1) US20220038625A1 (ja)
EP (1) EP3961261A4 (ja)
JP (1) JP7408642B2 (ja)
CN (1) CN113767304A (ja)
WO (1) WO2020218282A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153969A1 (ja) * 2021-01-12 2022-07-21 富士フイルム株式会社 イメージング方法、及びイメージング装置
WO2023074759A1 (ja) * 2021-10-27 2023-05-04 株式会社小糸製作所 イメージング装置、車両用灯具、車両
WO2023085328A1 (ja) * 2021-11-12 2023-05-19 株式会社小糸製作所 イメージング装置およびイメージング方法、車両用灯具、車両

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102369817B1 (ko) * 2021-08-18 2022-03-04 국방과학연구소 압축된 양자 조명 광원을 생성하는 방법 및 이를 이용한 양자 레이더 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130088726A1 (en) * 2011-10-07 2013-04-11 Vivek K. Goyal Method and Apparatus to Determine Depth Information For A Scene of Interest
WO2016027797A1 (ja) * 2014-08-19 2016-02-25 国立大学法人徳島大学 ゴーストイメージングを利用した物質測定装置
JP2017525952A (ja) * 2014-07-31 2017-09-07 レイセオン カンパニー 線形モード計算センシングレーザーレーダー
JP2017204460A (ja) * 2016-03-30 2017-11-16 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ 自動車用のリア照明および／または信号装置、およびこのような装置が設けられたリア照明および／または信号ライト
JP6412673B1 (ja) 2017-07-21 2018-10-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929751B2 (en) * 2005-11-09 2011-04-19 Gi, Llc Method and apparatus for absolute-coordinate three-dimensional surface imaging
JP4516590B2 (ja) * 2007-09-25 2010-08-04 富士フイルム株式会社 画像撮像装置及び距離測定方法
US20100007660A1 (en) * 2008-07-11 2010-01-14 Arian Soroush Forouhar Pattern inversion for improved resolution in 3D imaging
FR3027654B1 (fr) * 2014-10-24 2019-08-02 Valeo Vision Systeme d'eclairage et/ou de signalisation comprenant des moyens de telemetrie
WO2017187484A1 (ja) * 2016-04-25 2017-11-02 株式会社日立製作所 物体撮像装置
CN106324615A (zh) * 2016-08-21 2017-01-11 西安交通大学 基于计算鬼像的水下超长距离成像装置及成像方法
US10859676B2 (en) * 2016-09-30 2020-12-08 Magic Leap, Inc. Projector with spatial light modulation
EP3612790B1 (en) * 2017-04-19 2022-07-06 DRS Network & Imaging Systems, LLC Active hyperspectral imager
KR20190068355A (ko) * 2017-12-08 2019-06-18 현대자동차주식회사 차량용 램프 장치
CN108107441B (zh) * 2018-02-01 2021-06-08 北京理工大学 一种可实现测距与鬼成像的一体化装置及方法
CN109343077B (zh) * 2018-11-27 2020-06-16 北京理工大学 一种液晶相控阵鬼成像系统及其成像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130088726A1 (en) * 2011-10-07 2013-04-11 Vivek K. Goyal Method and Apparatus to Determine Depth Information For A Scene of Interest
JP2017525952A (ja) * 2014-07-31 2017-09-07 レイセオン カンパニー 線形モード計算センシングレーザーレーダー
WO2016027797A1 (ja) * 2014-08-19 2016-02-25 国立大学法人徳島大学 ゴーストイメージングを利用した物質測定装置
JP2017204460A (ja) * 2016-03-30 2017-11-16 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ 自動車用のリア照明および／または信号装置、およびこのような装置が設けられたリア照明および／または信号ライト
JP6412673B1 (ja) 2017-07-21 2018-10-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAN, KAM WAI CLIFFORD ET AL.: "Two-color ghost imaging", PHYSICAL REVIEW A, vol. 79, no. 033808, March 2009 (2009-03-01), pages 1 - 6, XP055758912, DOI: 10.1103/PhysRevA.79.033808 *
See also references of EP3961261A4
SHI, DONGFENG ET AL.: "Polarimetric ghost imaging", OPTICS LETTERS, vol. 39, no. 5, 1 March 2014 (2014-03-01), pages 1231 - 1234, XP001589180, DOI: 10.1364/0L.39.001231 *
WELSH, STEPHEN S. ET AL.: "Multi-wavelength compressive computational ghost imaging", PROCEEDINGS SPIE 8618, EMERGING DIGITAL MICROMIRROR DEVICE BASED SYSTEMS AND APPLICATIONS V, vol. 8618, no. 861801, 2013, pages 1 - 6, XP055758909, DOI: 10.1117/12.2003690 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153969A1 (ja) * 2021-01-12 2022-07-21 富士フイルム株式会社 イメージング方法、及びイメージング装置
WO2023074759A1 (ja) * 2021-10-27 2023-05-04 株式会社小糸製作所 イメージング装置、車両用灯具、車両
WO2023085328A1 (ja) * 2021-11-12 2023-05-19 株式会社小糸製作所 イメージング装置およびイメージング方法、車両用灯具、車両

Also Published As

Publication number Publication date
US20220038625A1 (en) 2022-02-03
EP3961261A1 (en) 2022-03-02
JP7408642B2 (ja) 2024-01-05
CN113767304A (zh) 2021-12-07
EP3961261A4 (en) 2022-06-08
JPWO2020218282A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
WO2020218282A1 (ja) イメージング装置、車両用灯具、自動車、イメージング方法
JP4769432B2 (ja) 対象物の変形測定又は輪郭測定のための方法及び装置
US7626709B2 (en) Device for examining the optical properties of surfaces
US7276719B2 (en) Device for a goniometric examination of the optical properties of surfaces
US10632899B2 (en) Illumination device for a motor vehicle for increasing the perceptibility of an obstacle
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
JP2005315821A6 (ja) 対象物の輪郭測定及び又は変形測定、特に干渉測定のための方法及び装置
CN113227838A (zh) 车辆用灯具及车辆
CN113557172A (zh) 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
US20220132022A1 (en) Imaging device
JP2022517985A (ja) 霧を介した画像強調のための弾道光変調
US20230009034A1 (en) Imaging apparatus
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
JPH11230823A (ja) 測光装置
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
CN109154985A (zh) 用在基于摄像机的驾驶员辅助系统中的机动车大灯线性偏振光辐射
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2020149139A1 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20794126

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516126

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020794126

Country of ref document: EP

Effective date: 20211122