WO2021079811A1 - イメージング装置、車両用灯具、車両、イメージング方法 - Google Patents

イメージング装置、車両用灯具、車両、イメージング方法 Download PDF

Info

Publication number
WO2021079811A1
WO2021079811A1 PCT/JP2020/038836 JP2020038836W WO2021079811A1 WO 2021079811 A1 WO2021079811 A1 WO 2021079811A1 JP 2020038836 W JP2020038836 W JP 2020038836W WO 2021079811 A1 WO2021079811 A1 WO 2021079811A1
Authority
WO
WIPO (PCT)
Prior art keywords
photodetector
imaging device
light
time slot
intensity
Prior art date
Application number
PCT/JP2020/038836
Other languages
English (en)
French (fr)
Inventor
健人 新田
真太郎 杉本
祐太 春瀬
輝明 鳥居
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021554334A priority Critical patent/JPWO2021079811A1/ja
Publication of WO2021079811A1 publication Critical patent/WO2021079811A1/ja
Priority to US17/727,983 priority patent/US20220244389A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V14/00—Controlling the distribution of the light emitted by adjustment of elements
    • F21V14/04—Controlling the distribution of the light emitted by adjustment of elements by movement of reflectors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V7/00—Reflectors for light sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V9/00—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters
    • F21V9/40—Elements for modifying spectral properties, polarisation or intensity of the light emitted, e.g. filters with provision for controlling spectral properties, e.g. colour, or intensity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • the present invention relates to an imaging device using correlation calculation.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • ghost imaging an object is irradiated while randomly switching the intensity distribution (pattern) of the reference light, and the light detection intensity of the reflected light is measured for each pattern.
  • the photodetection intensity is an integral value of energy or intensity over a plane, not an intensity distribution. Then, the correlation calculation between the corresponding pattern and the light detection intensity is performed, and the restored image of the object is reconstructed.
  • FIG. 1 is a diagram showing a shooting scene by a conventional quantum radar camera.
  • a thick fog 6 exists between the quantum radar camera 2 and the target 4.
  • the quantum radar camera 2 irradiates the reference light S1 having a randomly modulated intensity distribution (pattern) forward, and detects the intensity of the reflected light S2 from the target 4.
  • the image of the target 4 is restored by repeatedly performing the measurement while changing the pattern of the reference light S1 and performing the correlation calculation.
  • FIG. 2 is a diagram showing a time chart of the shooting scene of FIG.
  • the upper row shows the reference light output by the quantum radar camera, and the lower row shows the reflected light incident on the quantum radar camera.
  • the reference light modulated in a pattern is irradiated.
  • Some of the reference light is reflected in the fog 6, is incident on the quantum radar camera at time t 1.
  • t 1 t 0 + 2 ⁇ d 1 / c.
  • c is the speed of light.
  • Component b of the reflected light in the period of time t 2 ⁇ t 3 incident on the quantum radar camera 2 is incident on the quantum radar camera 2 at one correlated with the shape of the target 4, the period of time t 1 ⁇ t 2 reflection
  • the light component a is noise that does not correlate with the shape of the target 4.
  • the correlation calculation is performed using the photodetection intensity obtained by integrating both the reflected light components a and b by the photodetector, the image quality is improved in the presence of fog or the like. There was a problem of deterioration.
  • FIG. 3A is a diagram showing a shooting scene by a conventional quantum radar camera
  • FIG. 3B is a diagram showing an image obtained in the shooting scene of FIG. 3A.
  • the quantum radar camera 2 irradiates the reference light S1 having a randomly modulated intensity distribution (pattern) forward, and detects the intensity of the reflected light S2 from the object 4.
  • the image including the plurality of objects 4 shown in FIG. 3B is restored.
  • the intensity of the reflected light from the distant object 4b is smaller than the intensity of the reflected light from the near object 4a. Therefore, when there are a plurality of objects having different distances in one frame, the image of the distant object becomes unclear.
  • the imaging device includes a ranging sensor that detects the distance to the target, a lighting device that sequentially switches and irradiates a plurality of reference lights having a spatially random intensity distribution, and light that measures the reflected light from an object.
  • a window corresponding to the output of the ranging sensor is applied to the output of the detector and the photodetector, the correlation calculation of the detection intensity and the intensity distribution of the reference light based on the components contained in the window is performed, and the restored image of the target is obtained. It is provided with an arithmetic processing device to be reconstructed.
  • the imaging device sequentially switches and irradiates a plurality of reference lights having a spatially random intensity distribution, a photodetector that measures the reflected light from an object, and a waveform of the output signal of the photodetector. It is provided with an arithmetic processing device that divides into a plurality of time slots, generates a detection intensity for each time slot, calculates the correlation between the detection intensity and the intensity distribution of the reference light, and reconstructs the restored image.
  • the image quality of the imaging device can be improved.
  • FIG. 3A is a diagram showing a shooting scene by a conventional quantum radar camera
  • FIG. 3B is a diagram showing an image obtained in the shooting scene of FIG. 3A.
  • FIG. 3A shows the imaging apparatus which concerns on Embodiment 1.
  • FIG. 4 is a time chart which shows the operation of the imaging apparatus of FIG. 4 in the shooting scene of FIG.
  • FIG. 4 shows another shooting scene suitable for use of the imaging apparatus of FIG.
  • time chart shows the operation of the imaging apparatus of FIG. 4 in the shooting scene of FIG.
  • FIG. 2 shows the imaging apparatus which concerns on Embodiment 2.
  • FIG. 12 It is a figure explaining the operation of the imaging apparatus of FIG. It is a figure which shows the structural example of the imaging apparatus which concerns on Embodiment 3.
  • 11 (a) and 11 (b) are diagrams showing a configuration example of the time slot division portion of FIG. 12 (a) to 12 (c) are views showing a modified example of the imaging apparatus according to the third embodiment.
  • random intensity distribution does not mean that the image is completely random, but may be random enough to reconstruct the image in ghost imaging. Therefore, “random” in the present specification can include some regularity in it. Also, “random” does not require unpredictability, but may be predictable and reproducible.
  • the imaging device includes a ranging sensor that detects the distance to the target, a lighting device that sequentially switches and irradiates multiple reference lights with spatially random intensity distribution, and light that measures the reflected light from an object.
  • a window corresponding to the output of the ranging sensor is applied to the output of the detector and the photodetector, the correlation calculation of the detection intensity and the intensity distribution of the reference light based on the components contained in the window is performed, and the restored image of the target is obtained. It is provided with an arithmetic processing device to be reconstructed.
  • the light receiving part of the distance measuring sensor and the photodetector may be shared. As a result, the cost increase due to the addition of the distance measuring sensor can be suppressed.
  • the light source of the light emitting part of the distance measuring sensor and the lighting device may have a common light source. As a result, the cost increase due to the addition of the distance measuring sensor can be suppressed.
  • the imaging device sequentially switches and irradiates a plurality of reference lights having a spatially random intensity distribution, a photodetector that measures the reflected light from an object, and a waveform of the output signal of the photodetector. It is provided with an arithmetic processing device that divides into a plurality of time slots, generates a detection intensity for each time slot, calculates the correlation between the detection intensity and the intensity distribution of the reference light, and reconstructs the restored image.
  • the image quality of the restored image for each object obtained by performing the correlation calculation for each object is improved as compared with the image quality of one restored image including a plurality of objects.
  • improved image quality means that the visibility is improved, or the result and accuracy obtained when the restored image is signal-processed are improved.
  • the later time slot the larger the ratio (that is, gain) of the detection intensity to the intensity of the incident light of the photodetector may be.
  • the intensity of the reflected light that decreases as the object moves away can be compensated, and the image quality can be further improved.
  • the arithmetic processing unit may include a digitizer that converts the output signal of the photodetector into a digital signal.
  • the width of 1LSB (Least Significant Bit) of the digitizer may be larger toward the back time slot.
  • the digitizer includes one A / D converter, and the reference voltage supplied to the A / D converter may be lower in the later time slots.
  • the digitizer includes a plurality of A / D converters to which different reference voltages are supplied, and a plurality of A / D converters may be used in a time division manner for each time slot.
  • the imaging apparatus may further include at least one photodetector having different sensitivities.
  • a photodetector with higher sensitivity may be used for the later time slot.
  • ⁇ can be associated with the time difference between the reference light and the time slot. Therefore, the image restored for each time slot may be saved in association with the distance information corresponding to the time information of each time slot.
  • the imaging device can function as a distance measuring sensor.
  • FIG. 4 is a diagram showing an imaging device 100 according to the first embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes a lighting device 110, a photodetector 120, an arithmetic processing device 130, and a distance measuring sensor 140.
  • the imaging device 100 is also referred to as a quantum radar camera.
  • the distance measuring sensor 140 measures the distance d to one target TGT selected from a plurality of objects OBJs located in front of the imaging device 100.
  • the method of the distance measuring sensor 140 is not limited, but a millimeter wave radar or the like can be used.
  • the lighting device 110 is a pseudo-heat light source, generates reference light S1 having a spatial intensity distribution I (x, y) that can be regarded as substantially random, and irradiates the object OBJ.
  • the reference light S1 is sequentially irradiated while randomly changing its intensity distribution M times.
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 132.
  • the light source 112 produces light S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112, a laser, a light emitting diode, or the like.
  • the wavelength and spectrum of the reference light S1 are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light containing a predetermined wavelength.
  • the wavelength of the reference light S1 may be infrared or ultraviolet.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but the present invention is not limited to this, and an intermediate gradation may be taken.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is given a pattern signal PTN (image data) generated by the pattern generator 132.
  • the photodetector 120 measures the reflected light from the object OBJ and outputs the detection signal Dr.
  • the detection signal D r also includes light reflected from the object OBJ other than the target.
  • Detection signal D r is the reference beam having an intensity distribution I r when irradiating the object OBJ, a spatial integral value of light energy (or intensity) that is incident on the light detector 120. Therefore, the photodetector 120 can use a single pixel photodetector (photodetector). From the photodetector 120, a plurality of detection signals D 1 to DM corresponding to each of the plurality of M intensity distributions I 1 to IM are output.
  • the output of the photodetector 120 is an analog electric signal, which is converted into a digital signal by an A / D converter and taken into the arithmetic processing unit 130.
  • the time waveform of the detection signal D r is the output of the photodetector 120, applies the time window in accordance with the output of the distance measuring sensor 140, extracts a signal D r 'contained in the time window .. And performs correlation calculation of the component D r based on the 'detection strength b r and the reference light intensity distribution I r (x, y), to reconstruct the target TGT restored image G (x, y).
  • the arithmetic processing unit 130 includes a pattern generator 132, a reconstruction processing unit 134, and a window processing unit 136.
  • the output of the distance measuring sensor 140 that is, the distance information d to the target TGT is input to the window processing unit 136.
  • the window processing unit 136 generates a time window WIND that opens after a lapse of time ⁇ according to the distance information d from the light emission timing of the lighting device 110.
  • the length Tw of the time window WIND may be about the same as the pulse width (duration) of the reference light S1.
  • Windower 136 receives the detection signal D r based on the output of the photodetector 120, applies the time window WIND, extracts a signal component D r 'included in the period Tw open time window WIND.
  • the configuration of the window processing unit 136 is not limited, and may be configured in the digital region or in the analog region.
  • the waveform of the detection signal Dr after being converted into a digital signal by an A / D converter (digitizer) may be input to the window processing unit 136, and a part corresponding to the distance may be cut out from this waveform.
  • the A / D converter may be used as the window processing unit 136.
  • the capture period of the A / D converter may be matched with the period during which the time window WIND is opened.
  • Reconstruction processor 134 based on the signal component D r 'extracted by the windower 136 generates the detected intensity b r.
  • the relationship between the detection intensity br and the detection signal Dr ′ may be determined in consideration of the type and method of the photodetector 120.
  • the detection signal D r ' is the received light amount at a certain time (or small time), that is, representing the instantaneous value.
  • the integral value of all the sampling values of the average value or maximum value may be detected intensity b r.
  • some of the total sampling values may be selected, and the integrated value, average value, or maximum value of the selected sampling values may be used.
  • the xth to yth ranks may be extracted counting from the maximum value, sampling values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Sampling values in a small range may be extracted.
  • the reconstruction processing unit 134 performs correlation calculation between a plurality of intensity distributions (also referred to as random patterns) I 1 to IM and a plurality of detected intensities b 1 to b M , and restores images G (x, y) of the object OBJ. To reconstruct. Equation (1) is used for the correlation calculation.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 130 may be configured only by hardware.
  • the above is the configuration of the imaging device 100. Next, the operation will be described.
  • FIG. 5 is a time chart showing the operation of the imaging device 100 of FIG. 4 in the shooting scene of FIG.
  • the distance d to the target 4 is detected by the distance measuring sensor 140 at time t 0 prior to the irradiation of the reference light S1.
  • the reference light S1 is reflected by the fog 6 and the target 4 in front of the imaging device 100 and is incident on the photodetector 120.
  • the reflected light S2 incident on the photodetector 120 includes the reflected light from the fog 6 and the reflected light from the target 4, and the detection signal Dr is the signal component a corresponding to the fog 6.
  • the component b corresponding to the target 4 is included.
  • the open section of the window substantially coincides with the period during which the reflected light from the target 4 is incident on the photodetector 120. Therefore by utilizing a window signal WIND, extract signal D r 'including only the signal component b. By using the detected intensity b r based on the extracted signal D r 'in the correlation calculation, and reduce the effects of fog 6, the restored image of the target 4 can be sharpening.
  • the image quality can be improved.
  • FIG. 6 is a diagram showing another shooting scene suitable for use of the imaging device 100 of FIG. It is assumed that three objects OBJ 1 to OBJ 3 exist in front of the imaging device 100, and the distances from the imaging device 100 are d 1 , d 2 , and d 3 , respectively.
  • FIG. 7 is a time chart showing the operation of the imaging device 100 of FIG. 4 in the shooting scene of FIG.
  • the central object OBJ 2 is targeted.
  • the distance measuring sensor 140 detects the distance d 2 to the target OBJ 2.
  • the reference light S1 is reflected by the three objects OBJ 1 to OBJ 3 and is incident on the photodetector 120.
  • the reflected light S2 incident on the light detector 120 includes reflected light from three objects OBJ 1 ⁇ OBJ 3
  • the detection signal D r is corresponding to three objects OBJ 1 ⁇ OBJ 3
  • the signal components a to c to be generated are included.
  • the open section of the window substantially coincides with the period during which the reflected light from the central target OBJ 2 is incident on the photodetector 120. Therefore by utilizing a window signal WIND, extract signal D r 'including only the signal component b. By using the detected intensity b r based on the extracted signal D r 'in the correlation calculation, to reduce the influence of the object OBJ 1, OBJ 3 other than the target, it is possible to obtain a restored image of the target OBJ 2.
  • the imaging device 100 when a plurality of objects exist at different distances, it is possible to selectively photograph only one object.
  • the operation of the imaging device 100 can be grasped as controlling the position of the imaging target, that is, the focus.
  • the light receiving portion of the distance measuring sensor 140 and the photodetector 120 may be shared. As a result, the cost increase due to the addition of the distance measuring sensor 140 can be suppressed.
  • the light emitting unit of the distance measuring sensor 140 and the lighting device 110 may be configured by sharing a light source. As a result, the cost increase due to the addition of the distance measuring sensor 140 can be suppressed.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but the present invention is not limited to this.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • FIG. 8 is a diagram showing an imaging device 100 according to the second embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes a lighting device 110, a photodetector 120, and an arithmetic processing unit 130.
  • the imaging device 100 is also referred to as a quantum radar camera.
  • the lighting device 110 is a pseudo-heat light source, generates reference light S1 having a spatial intensity distribution I (x, y) that can be regarded as substantially random, and irradiates the object OBJ.
  • the reference light S1 is sequentially pulse-irradiated while randomly changing its intensity distribution M times.
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 132.
  • the light source 112 produces light S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112, a laser, a light emitting diode, or the like.
  • the wavelength and spectrum of the reference light S1 are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light containing a predetermined wavelength.
  • the wavelength of the reference light S1 may be infrared or ultraviolet.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but the present invention is not limited to this, and an intermediate gradation may be taken.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is given a pattern signal PTN (image data) generated by the pattern generator 132.
  • the photodetector 120 measures the reflected light from the object OBJ and outputs the detection signal Dr.
  • Detection signal D r is the reference beam having an intensity distribution I r when irradiating the object OBJ, a spatial integral value of light energy (or intensity) that is incident on the light detector 120. Therefore, the photodetector 120 can use a single pixel photodetector (photodetector). From the photodetector 120, a plurality of detection signals D 1 to DM corresponding to each of the plurality of M intensity distributions I 1 to IM are output.
  • the arithmetic processing unit 130 divides the time waveform of the detection signal Dr , which is the output of the photodetector 120, into a plurality of N time slots (N ⁇ 2).
  • the arithmetic processing unit 130 generates the detection intensity br [i] for each time slot based on the slot waveform Dr [i]. Then, for each time slot, the correlation calculation between the detected intensities b 1 [i] to b M [i] and the intensity distributions I 1 (x, y) to IM (x, y) of the reference light is performed, and the restored image is restored. Reconstruct G (x, y) [i].
  • the arithmetic processing unit 130 includes a pattern generator 132, a reconstruction processing unit 134, and a time slot dividing unit 138.
  • the time slot division unit 138 divides the time waveform of the detection signal Dr , which is the output of the photodetector 120, into a plurality of N time slots, and a plurality of detection intensities br [1] to correspond to the plurality of time slots. Br [N] is output.
  • the configuration of the time slot division unit 138 is not limited, and may be configured in the digital domain or in the analog domain.
  • the relationship between the detection intensity br [i] and the slot waveform Dr [i] may be determined in consideration of the type and method of the photodetector 120.
  • sampling values contained in the corresponding slot waveform D r [i] may be either an average value or a maximum value. Alternatively, some of the total sampling values may be selected, and the integrated value, average value, or maximum value of the selected sampling values may be used. For selection of a plurality of sampling values, for example, the xth to yth ranks may be extracted counting from the maximum value, sampling values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Sampling values in a small range may be extracted.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 130 may be configured only by hardware.
  • FIG. 9 is a diagram illustrating the operation of the imaging device 100 of FIG.
  • the distance d 1 to the object OBJ 1 is 15 m
  • the distance d 2 to the object OBJ 2 is 30 m.
  • the reference light S1 is pulsed while switching the intensity distribution in M ways. If there are two objects at different distances, the output waveform D r of the optical detector 120 is separated into two waveforms, two peaks appear. Of the two waveforms, the first waveform is associated with the reflected light from the near object OBJ1, and the rear waveform is associated with the reflected light from the distant object OBJ2.
  • the detection intensity groups b 1 [1] , b 2 [1] ... b M [1] obtained for the first time slot and the intensity distributions I 1 (x, y) and I 2 (x, y). ... by performing correlation calculation of I M (x, y), near the object of the restored image G (x, y) [1 ] is generated.
  • the detection intensity groups b 1 [2] , b 2 [2] ... b M [2] obtained for the second time slot and the intensity distributions I 1 (x, y), I 2 (x, y) ... I M (x, by performing correlation calculation of y), the restored image G (x distant object, y) [2] is produced.
  • the above is the operation of the imaging device 100.
  • this imaging device 100 by processing the waveform of the output signal of the photodetector 120 by dividing the time slot, it is possible to separate a plurality of objects located at different distances and obtain the detection intensity for each object. it can. Then, by performing the correlation calculation for each time slot, it is possible to obtain a restored image for each time slot.
  • the restored image corresponding to one time slot is a slice image obtained by dividing the front of the imaging device 100 in the depth direction.
  • the image quality of the restored image for each time slot is improved as compared with the image quality of one restored image including a plurality of objects.
  • the improvement in image quality as used herein means that the visibility is improved, or the result and accuracy obtained when the restored image is signal-processed are improved.
  • a plurality of restored images corresponding to a plurality of time slots may be combined to generate one final restored image. Prior to compositing, the brightness and contrast of each of the plurality of restored images may be optimized.
  • ⁇ can be associated with the time difference between the reference light and the time slot.
  • the approximate distance d to the object can be calculated.
  • d ⁇ ⁇ c / 2 Therefore, the image restored for each time slot may be saved in association with the distance information corresponding to the time information (that is, ⁇ ) of each time slot.
  • the imaging device 100 can function as a distance measuring sensor.
  • the positions, widths, and numbers of a plurality of time slots may be fixed and determined in advance.
  • measurement ranges are set such as 5 to 10 m, 10 to 30 m, 30 to 50 m, and 50 to 100 m, and for each measurement range, the position of the time slot and the position of the time slot so that the objects included in the measurement range can be seen. You may decide the width.
  • the positions and widths of the plurality of time slots may be dynamically determined based on the shape of the waveform of the output signal of the photodetector 120.
  • the positions and widths of the plurality of time slots may be dynamically determined based on the measured distance information.
  • FIG. 10 is a diagram showing a configuration example of the imaging device 100A according to the third embodiment.
  • the ratio of the detected intensities b r [i] (the gain g [i]) is increased.
  • the conversion gain g in the conversion process to the detected intensity b r [i] from the slot waveform Dr [i] [i] is larger as the back of the slot.
  • the time slot dividing unit 138 includes a digitizer 150 that converts the output signal of the photodetector 120 into a digital signal, and is configured so that the width of 1LSB (Least Significant Bit) of the digitizer 150 becomes larger toward the later time slot. Has been done.
  • 1LSB east Significant Bit
  • the digitizer 150 includes one A / D converter 152 and a variable voltage source 154.
  • the variable voltage source 154 generates a reference voltage V REF [i] corresponding to the time slot number and supplies it to the A / D converter 152.
  • the reference voltage V REF [i] is lower in the later time slot.
  • the following relational expression holds between the reference voltages V REF [i] and V REF [j] in the i-th and j-th time slots.
  • the digitizer 150 includes a plurality of A / D converters 152_1 to 152_K. Different reference voltages V REF [1] to V REF [K] are supplied to the plurality of A / D converters 152_1 to 152_K. The following relational expression holds for the reference voltages V REF [1] to V REF [K].
  • a demultiplexer DEMUX is arranged in the front stage of the plurality of A / D converters 152_1 to 152_K, and a multiplexer MUX is arranged in the rear stage, and a plurality of A / D converters are used by switching in time division for each time slot.
  • the reference voltage V REF of the A / D converter 152 can be made smaller toward the rear time slot to increase the detection sensitivity to a weak energy change for each irradiation pattern (intensity distribution). It can improve the image quality of distant objects contained in the back time slot.
  • FIG. 12A the imaging apparatus 100A includes a photodetector 120 having variable sensitivity, and the sensitivity of the photodetector 120 is controlled according to the time slot.
  • FIG. 12B the imaging apparatus 100A includes a variable amplifier that amplifies the output signal of the photodetector 120, and the gain of the variable amplifier is controlled according to the time slot.
  • FIG. 12A the imaging apparatus 100A includes a variable amplifier that amplifies the output signal of the photodetector 120, and the gain of the variable amplifier is controlled according to the time slot.
  • the imaging apparatus 100A includes a plurality of photodetectors 120_1 to 120_K having different sensitivities, and a plurality of photodetectors 120_1 to 120_K are used in time division for each time slot, and in the rear time slot A highly sensitive photodetector 120 is used.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but the present invention is not limited to this.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • FIG. 13 is a block diagram of the object identification system 10.
  • the object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging device 100 and an arithmetic processing unit 40. As described above, the imaging device 100 irradiates the object OBJ with the reference light S1 and measures the reflected light S2 to generate a restored image G of the object OBJ.
  • the arithmetic processing unit 40 processes the output image G of the imaging device 100 and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ included in the image G.
  • the classifier 42 is implemented based on the model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the noise immunity is significantly improved. For example, when it is raining, snowing, or traveling in fog, it is difficult to recognize the object OBJ with the naked eye, but by using the imaging device 100, the object OBJ is not affected by rain, snow, or fog.
  • the restored image G can be obtained.
  • the imaging device 100 by using the imaging device 100, the calculation delay can be reduced. This can provide low latency sensing. Especially in in-vehicle applications, there are cases where the object OBJ moves at high speed, so the benefit of low-delay sensing is very large.
  • FIG. 14 is a block diagram of an automobile provided with the object identification system 10.
  • the automobile 300 includes headlights 302L and 302R.
  • the imaging device 100 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the most tip of the vehicle body, and is the most advantageous as an installation location of the imaging device 100 in detecting surrounding objects.
  • FIG. 15 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes an imaging device 100 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the present disclosure can be used for an imaging apparatus using correlation calculation.
  • OBJ Object 10 Object Identification System 40 Arithmetic Processing Device 42 Classifier 100 Imaging Device 110 Lighting Device 112 Light Source 114 Patterning Device 120 Light Detector 130 Computational Processing Device 132 Pattern Generator 134 Reconstruction Processing Unit 136 Window Processing Unit 140 Distance Measuring Sensor 200 Vehicle lighting 202 Light source 204 Lighting circuit 206 Optical system 300 Automobile 302 Headlight 310 Lighting system 304 Vehicle side ECU

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

イメージング装置１００において、測距センサ１４０は、ターゲットＴＧＴまでの距離ｄを検出する。照明装置１１０は、空間的にランダムな強度分布を有する参照光Ｓ１を、シーケンシャルに照射する。光検出器１２０は、物体ＯＢＪからの反射光Ｓ２を測定する。演算処理装置１３０は、光検出器１２０の出力に、測距センサ１４０の出力に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と参照光の強度分布の相関計算を行い、ターゲットの復元画像を再構成する。

Description

イメージング装置、車両用灯具、車両、イメージング方法
　本発明は、相関計算を利用したイメージング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したもの（以下、量子レーダカメラともいう）が知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関計算を行い、物体の復元画像を再構成（reconstruct）する。
特許第６４１２６７３号公報
課題１．　本発明者らは、従来の量子レーダカメラについて検討した結果、以下の課題１を認識するに至った。図１は、従来の量子レーダカメラによる撮影シーンを示す図である。量子レーダカメラ２とターゲット４の間に、濃い霧６が存在している。量子レーダカメラ２は、前方に、強度分布（パターン）がランダムに変調された参照光Ｓ１を照射し、ターゲット４からの反射光Ｓ２の強度を検出する。参照光Ｓ１のパターンを変化させながら繰り返し測定を行い、相関計算を行うことでターゲット４の画像が復元される。
　図２は、図１の撮影シーンのタイムチャートを示す図である。上段は、量子レーダカメラが出力する参照光を、下段は、量子レーダカメラに入射する反射光を示す。時刻ｔ０に、あるパターンに変調された参照光が照射される。参照光の一部は、霧６において反射され、時刻ｔ１に量子レーダカメラに入射する。量子レーダカメラ２と霧６の距離をｄ１とするとき、ｔ１＝ｔ０＋２×ｄ１／ｃとなる。ｃは光速である。
　また参照光の残りは、霧６を透過し、ターゲット４によって反射され、再び霧６を透過して量子レーダカメラ２に入射する。量子レーダカメラ２とターゲット４の距離をｄ２とするとき、ｔ２＝ｔ０＋２×ｄ２／ｃとなる。
　時刻ｔ２～ｔ３の期間において量子レーダカメラ２に入射する反射光の成分ｂが、ターゲット４の形状と相関を有する一方、時刻ｔ１～ｔ２の期間において量子レーダカメラ２に入射する反射光の成分ａは、ターゲット４の形状と相関を有さないノイズである。従来の量子レーダカメラ２では、その光検出器によって、反射光の成分ａ，ｂの両方を積算して得られた光検出強度を用いて相関計算を行っていたため、霧等が存在すると画質が劣化するという問題があった。
課題２．　本発明者らは、従来の量子レーダカメラについて検討した結果、以下の課題２を認識するに至った。図３（ａ）は、従来の量子レーダカメラによる撮影シーンを示す図であり、図３（ｂ）は、図３（ａ）の撮影シーンで得られる画像を示す図である。図３（ａ）の撮影シーンにおいて、量子レーダカメラ２から異なる距離に、複数の物体４が存在している。量子レーダカメラ２は、前方に、強度分布（パターン）がランダムに変調された参照光Ｓ１を照射し、物体４からの反射光Ｓ２の強度を検出する。参照光Ｓ１のパターンを変化させながら繰り返し測定を行い、相関計算を行うことで図３（ｂ）に示す複数の物体４を含む画像が復元される。
　ここで、遠い物体４ｂからの反射光の強度は、近い物体４ａからの反射光の強度よりも小さい。そのため、１フレーム内に、距離が異なる複数の物体が存在する場合、遠い方の物体の像が不鮮明となる。
　本開示は係る状況においてなされたものである。
１．　本開示のある態様は、イメージング装置に関する。イメージング装置は、ターゲットまでの距離を検出する測距センサと、空間的にランダムな強度分布を有する複数の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力に、測距センサの出力に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と参照光の強度分布の相関計算を行い、ターゲットの復元画像を再構成する演算処理装置と、を備える。
２．　本開示のある態様は、イメージング装置に関する。イメージング装置は、空間的にランダムな強度分布を有する複数の参照光をシーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力信号の波形を複数のタイムスロットに分割し、タイムスロットごとに検出強度を生成して、検出強度と参照光の強度分布の相関計算を行い復元画像を再構成する演算処理装置と、を備える。
　本開示のある態様によれば、イメージング装置の画質を改善できる。
従来の量子レーダカメラによる撮影シーンを示す図である。 図１の撮影シーンのタイムチャートを示す図である。 図３（ａ）は、従来の量子レーダカメラによる撮影シーンを示す図であり、図３（ｂ）は、図３（ａ）の撮影シーンで得られる画像を示す図である。 実施形態１に係るイメージング装置を示す図である。 図１の撮影シーンにおける、図４のイメージング装置の動作を示すタイムチャートである。 図４のイメージング装置の利用に適した別の撮影シーンを示す図である。 図６の撮影シーンにおける、図４のイメージング装置の動作を示すタイムチャートである。 実施形態２に係るイメージング装置を示す図である。 図８のイメージング装置の動作を説明する図である。 実施形態３に係るイメージング装置の構成例を示す図である。 図１１（ａ）、（ｂ）は、図１０のタイムスロット分割部の構成例を示す図である。 図１２（ａ）～（ｃ）は、実施形態３に係るイメージング装置の変形例を示す図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
　本明細書に開示される一実施形態は、イメージング装置に関する。イメージング装置は、ターゲットまでの距離を検出する測距センサと、空間的にランダムな強度分布を有する複数の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力に、測距センサの出力に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と参照光の強度分布の相関計算を行い、ターゲットの復元画像を再構成する演算処理装置と、を備える。
　この構成によれば、ターゲットからの反射光のみを抽出して相関計算に利用するため、ターゲット以外の影響を取り除くことができ、画質を改善できる。
　測距センサの受光部と光検出器は共通化されてもよい。これにより測距センサを追加したことによるコスト増を抑制できる。
　測距センサの発光部と照明装置は、光源が共通化されてもよい。これにより測距センサを追加したことによるコスト増を抑制できる。
　本明細書に開示される一実施の形態は、イメージング装置に関する。イメージング装置は、空間的にランダムな強度分布を有する複数の参照光をシーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力信号の波形を複数のタイムスロットに分割し、タイムスロットごとに検出強度を生成して、検出強度と参照光の強度分布の相関計算を行い復元画像を再構成する演算処理装置と、を備える。
　距離が異なる複数の物体からの反射光は、異なる時刻に光検出器に入射する。そこで光検出器の出力信号の波形を、タイムスロットを区切って処理することにより、異なる距離に位置する複数の物体を分離し、物体ごとの検出強度を得ることができる。物体ごとに相関計算を行って得られる物体ごとの復元画像の画質は、複数の物体を含む１枚の復元画像の画質に比べて、改善されたものとなる。ここでの「画質が改善される」とは、視認性が高くなること、あるいは、復元画像を信号処理したときに得られる結果や精度が改善されることを意味する。
　後ろのタイムスロットほど、光検出器の入射光の強度に対する検出強度の比（すなわちゲイン）が大きくてもよい。これにより、物体が遠ざかるにしたがって低下する反射光の強度を補うことができ、より画質を改善できる。
　演算処理装置は、光検出器の出力信号をデジタル信号に変換するデジタイザを含んでもよい。後ろのタイムスロットほど、デジタイザの１ＬＳＢ（Least Significant Bit）の幅が大きくてもよい。
　デジタイザは１個のＡ／Ｄコンバータを含み、後ろのタイムスロットほど、Ａ／Ｄコンバータに供給される基準電圧が低くてもよい。
　デジタイザは、異なる基準電圧が供給される複数のＡ／Ｄコンバータを含み、タイムスロットごとに複数のＡ／Ｄコンバータが時分割で使用されてもよい。
　イメージング装置は、感度が異なる少なくともひとつの光検出器をさらに備えてもよい。後ろのタイムスロットほど、感度が高い光検出器が使用されてもよい。
　あるタイミングに出射した参照光が、距離ｄに位置する物体により反射され、光検出器に入射するまでの遅延時間τは、
　τ＝２×ｄ／ｃ
で与えられる。ｃは光速である。ここで、τは、参照光とタイムスロットの時間差に対応付けることができる。そこで、タイムスロットごとに復元された画像を、各タイムスロットの時間情報に対応する距離情報と対応付けて保存してもよい。これによりイメージング装置を、測距センサとして機能させることができる。
（実施形態）
　以下、本開示を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示の本質的なものであるとは限らない。
（実施形態１）
　図４は、実施形態１に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０、演算処理装置１３０および測距センサ１４０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　測距センサ１４０は、イメージング装置１００の前方に位置する複数の物体ＯＢＪから選択されるひとつのターゲットＴＧＴまでの距離ｄを測定する。測距センサ１４０の方式は限定されないが、ミリ波レーダなどを用いることができる。
　照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる空間強度分布Ｉ（ｘ，ｙ）を有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。参照光Ｓ１は、その強度分布を複数のＭ回、ランダムに変化させながらシーケンシャルに照射される。
　照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１３２を含む。光源１１２は、均一な強度分布を有する光Ｓ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光Ｓ１の波長は、赤外あるいは紫外であってもよい。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１３２が発生するパターン信号ＰＴＮ（画像データ）が与えられている。
　パターン発生器１３２は、参照光Ｓ１の強度分布Ｉｒを指定するパターン信号ＰＴＮｒを発生し、時間とともにパターン信号ＰＴＮｒを切り替える（ｒ＝１，２，…Ｍ）。
　光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｄｒを出力する。この検出信号Ｄｒには、ターゲット以外の物体ＯＢＪからの反射光も含まれている。検出信号Ｄｒは、強度分布Ｉｒを有する参照光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。光検出器１２０の出力はアナログ電気信号であり、Ａ／Ｄコンバータによってデジタル信号に変換され、演算処理装置１３０に取り込まれる。
　演算処理装置１３０は、光検出器１２０の出力である検出信号Ｄｒの時間波形に、測距センサ１４０の出力に応じた時間ウィンドウを適用し、時間ウィンドウに含まれる信号Ｄｒ’を抽出する。そしてこの成分Ｄｒ’にもとづく検出強度ｂｒと参照光の強度分布Ｉｒ（ｘ，ｙ）の相関計算を行い、ターゲットＴＧＴの復元画像Ｇ（ｘ，ｙ）を再構成する。
　演算処理装置１３０は、パターン発生器１３２、再構成処理部１３４、ウィンドウ処理部１３６を含む。ウィンドウ処理部１３６には、測距センサ１４０の出力、すなわちターゲットＴＧＴまでの距離情報ｄが入力される。ウィンドウ処理部１３６は、照明装置１１０の発光タイミングから、距離情報ｄに応じた時間τ経過後に開く時間ウィンドウＷＩＮＤを生成する。時間τは、以下のように定めることができる。
　τ＝２×ｄ／ｃ
　時間ウィンドウＷＩＮＤの長さＴｗは、参照光Ｓ１のパルス幅（持続時間）と同程度とすればよい。
　ウィンドウ処理部１３６は、光検出器１２０の出力にもとづく検出信号Ｄｒを受け、時間ウィンドウＷＩＮＤを適用し、時間ウィンドウＷＩＮＤが開いている期間Ｔｗに含まれる信号成分Ｄｒ’を抽出する。
　ウィンドウ処理部１３６の構成は限定されず、デジタル領域で構成してもよいし、アナログ領域で構成してもよい。たとえばウィンドウ処理部１３６に、Ａ／Ｄコンバータ（デジタイザ）によってデジタル信号に変換した後の検出信号Ｄｒの波形を入力し、この波形から、距離に応じた一部分を切り出してもよい。あるいは、Ａ／Ｄコンバータを、ウィンドウ処理部１３６として利用してもよい。具体的には、Ａ／Ｄコンバータの取り込みの期間を、時間ウィンドウＷＩＮＤが開く期間と一致させてもよい。
　再構成処理部１３４は、ウィンドウ処理部１３６によって抽出された信号成分Ｄｒ’にもとづいて、検出強度ｂｒを生成する。
　検出強度ｂｒと検出信号Ｄｒ’の関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　ある強度分布Ｉｒの参照光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｒ’は、ある時刻（あるいは微小時間）の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｒ’を複数回サンプリングし、検出信号Ｄｒ’の全サンプリング値の積分値、平均値あるいは最大値を検出強度ｂｒとしてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　再構成処理部１３４は、複数の強度分布（ランダムパターンともいう）Ｉ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関計算を行い、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。相関計算には式（１）が用いられる。
Figure JPOXMLDOC01-appb-M000001
　演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　以上がイメージング装置１００の構成である。続いてその動作を説明する。
　図１の撮影シーンに戻り、従来の量子レーダカメラ２に代えて、実施形態１に係るイメージング装置１００を用いたときの動作を説明する。図５は、図１の撮影シーンにおける、図４のイメージング装置１００の動作を示すタイムチャートである。参照光Ｓ１の照射に先立つ時刻ｔ０に、測距センサ１４０によりターゲット４までの距離ｄが検出される。ひとつのパターンの参照光Ｓ１は、時刻ｔ１から期間Ｔｐの間、照射される。参照光Ｓ１は、イメージング装置１００の前方にある霧６およびターゲット４によって反射され、光検出器１２０に入射する。この撮影シーンでは、光検出器１２０に入射する反射光Ｓ２には、霧６からの反射光とターゲット４からの反射光が含まれ、検出信号Ｄｒは、霧６に対応する信号成分ａと、ターゲット４に対応する成分ｂを含むこととなる。
　ウィンドウ信号ＷＩＮＤは、時刻ｔ１から時間τ（＝２×ｄ／ｃ）経過後の時刻ｔ２に開き、それから所定時間Ｔｗの間、開区間となる。ウィンドウの開区間は、ターゲット４からの反射光が光検出器１２０に入射する期間と実質的に一致する。したがってウィンドウ信号ＷＩＮＤを利用することにより、信号成分ｂのみを含む信号Ｄｒ’を抽出できる。抽出した信号Ｄｒ’にもとづく検出強度ｂｒを相関計算に利用することで、霧６の影響を低減し、ターゲット４の復元画像を鮮明化することができる。このように実施形態１に係るイメージング装置１００によれば、画質を改善できる。
　図６は、図４のイメージング装置１００の利用に適した別の撮影シーンを示す図である。イメージング装置１００の前方には３個の物体ＯＢＪ１～ＯＢＪ３が存在し、イメージング装置１００との距離がそれぞれ、ｄ１，ｄ２，ｄ３であるとする。
　図７は、図６の撮影シーンにおける、図４のイメージング装置１００の動作を示すタイムチャートである。たとえば中央の物体ＯＢＪ２をターゲットとする。参照光Ｓ１の照射に先立つ時刻ｔ０に、測距センサ１４０によりターゲットＯＢＪ２までの距離ｄ２が検出される。参照光Ｓ１は、３個の物体ＯＢＪ１～ＯＢＪ３によって反射され、光検出器１２０に入射する。この撮影シーンでは、光検出器１２０に入射する反射光Ｓ２には、３つの物体ＯＢＪ１～ＯＢＪ３からの反射光が含まれ、検出信号Ｄｒは、３つの物体ＯＢＪ１～ＯＢＪ３に対応する信号成分ａ～ｃを含む。
　ウィンドウ信号ＷＩＮＤは、時刻ｔ１から時間τ（＝２×ｄ２／ｃ）経過後の時刻ｔ２に開き、それから期間Ｔｐの間、開区間となる。ウィンドウの開区間は、中央のターゲットＯＢＪ２からの反射光が光検出器１２０に入射する期間と実質的に一致する。したがってウィンドウ信号ＷＩＮＤを利用することにより、信号成分ｂのみを含む信号Ｄｒ’を抽出できる。抽出した信号Ｄｒ’にもとづく検出強度ｂｒを相関計算に利用することで、ターゲット以外の物体ＯＢＪ１，ＯＢＪ３の影響を低減し、ターゲットＯＢＪ２の復元画像を得ることができる。
　このように実施形態１に係るイメージング装置１００によれば、異なる距離に複数の物体が存在する場合に、ひとつの物体のみを選択的に撮影することが可能となる。このイメージング装置１００の動作は、撮影対象の位置、すなわちフォーカスを制御していると把握することができる。
　続いて実施形態１に関連する変形例を説明する。
（変形例１）
　測距センサ１４０の受光部と、光検出器１２０は共通化してもよい。これにより測距センサ１４０を追加したことによるコスト増を抑制できる。
（変形例２）
　また測距センサ１４０の発光部と照明装置１１０は、光源を共通化して構成してもよい。これにより測距センサ１４０を追加したことによるコスト増を抑制できる。
（変形例３）
　実施形態１では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（実施形態２）
　図８は、実施形態２に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０および演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる空間強度分布Ｉ（ｘ，ｙ）を有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。参照光Ｓ１は、その強度分布を複数のＭ回、ランダムに変化させながらシーケンシャルにパルス照射される。
　照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１３２を含む。光源１１２は、均一な強度分布を有する光Ｓ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光Ｓ１の波長は、赤外あるいは紫外であってもよい。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１３２が発生するパターン信号ＰＴＮ（画像データ）が与えられている。
　パターン発生器１３２は、参照光Ｓ１の強度分布Ｉｒを指定するパターン信号ＰＴＮｒを発生し、時間とともにパターン信号ＰＴＮｒをシーケンシャルに切り替える（ｒ＝１，２，…Ｍ）。
　光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｄｒを出力する。検出信号Ｄｒは、強度分布Ｉｒを有する参照光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。検出信号Ｄｒ（ｒ＝１～Ｍ）はアナログ電気信号であり、Ａ／Ｄコンバータによってデジタル信号に変換され、演算処理装置１３０に取り込まれる。
　演算処理装置１３０は、光検出器１２０の出力である検出信号Ｄｒの時間波形を複数Ｎ個（Ｎ≧２）のタイムスロットに分割する。ｉ番目（ｉ＝１，２，…Ｎ）のタイムスロットの検出信号の波形（スロット波形）をＤｒ ［ｉ］と表記する。演算処理装置１３０は、タイムスロットごとに、スロット波形Ｄｒ ［ｉ］にもとづいて検出強度ｂｒ ［ｉ］を生成する。そして、タイムスロットごとに、検出強度ｂ１ ［ｉ］～ｂＭ ［ｉ］と、参照光の強度分布Ｉ１（ｘ，ｙ）～ＩＭ（ｘ，ｙ）の相関計算を行い、復元画像Ｇ（ｘ，ｙ）[ｉ]を再構成する。
　演算処理装置１３０は、パターン発生器１３２、再構成処理部１３４、タイムスロット分割部１３８を含む。タイムスロット分割部１３８は、光検出器１２０の出力である検出信号Ｄｒの時間波形を複数Ｎ個のタイムスロットに分割し、複数のタイムスロットに対応する複数の検出強度ｂｒ ［１］～ｂｒ ［Ｎ］を出力する。
　タイムスロット分割部１３８の構成は限定されず、デジタル領域で構成してもよいし、アナログ領域で構成してもよい。
　検出強度ｂｒ ［ｉ］とスロット波形Ｄｒ ［ｉ］の関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　あるタイムスロットにおける検出強度ｂｒ ［ｉ］は、対応するスロット波形Ｄｒ ［ｉ］に含まれる全サンプリング値の積分値、平均値あるいは最大値のいずれかであってもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　再構成処理部１３４はタイムスロット（ｉ＝１，２…Ｎ）ごとに、複数の強度分布（ランダムパターンともいう）Ｉ１～ＩＭと、複数の検出強度ｂ１ [ｉ]～ｂＭ [ｉ]の相関計算を行い、タイムスロットごとの復元画像Ｇ（ｘ，ｙ）［ｉ］を再構成する。相関計算には式（１）が用いられる。
Figure JPOXMLDOC01-appb-M000002
　演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　以上がイメージング装置１００の構成である。続いてその動作を説明する。図９は、図８のイメージング装置１００の動作を説明する図である。ここでは図１と同様に、イメージング装置１００から異なる距離に、２個の物体ＯＢＪ１，ＯＢＪ２が存在する撮影シーンを想定する。たとえば物体ＯＢＪ１までの距離ｄ１は１５ｍ、物体ＯＢＪ２までの距離ｄ２は３０ｍである。
　参照光Ｓ１は、強度分布をＭ通りに切り替えながら、パルス照射される。異なる距離に２個の物体が存在する場合、光検出器１２０の出力波形Ｄｒは、２つの波形に分離し、２つのピークが現れる．２個の波形のうち、先の波形は、近い物体ＯＢＪ１からの反射光に対応付けられ、後ろの波形は、遠い物体ＯＢＪ２からの反射光に対応付けられる。
　この例において、一番目の波形は、一番目（ｉ＝１）のタイムスロットに含まれており、二番目の波形は、二番目（ｉ＝２）のタイムスロットに含まれている。そしてパルス照射ごと（ｒごと）に、２個のタイムスロットそれぞれについて、検出強度ｂｒ ［１］、ｂｒ ［２］が生成される。
　そして、一個目のタイムスロットについて得られた検出強度群ｂ１ ［１］，ｂ２ ［１］…ｂＭ ［１］と、強度分布Ｉ１（ｘ，ｙ），Ｉ２（ｘ，ｙ）…ＩＭ（ｘ，ｙ）の相関計算を行うことにより、近い物体の復元画像Ｇ（ｘ，ｙ）［１］が生成される。同様に、二個目のタイムスロットについて得られた検出強度群ｂ１ ［２］，ｂ２ ［２］…ｂＭ ［２］と、強度分布Ｉ１（ｘ，ｙ），Ｉ２（ｘ，ｙ）…ＩＭ（ｘ，ｙ）の相関計算を行うことにより、遠い物体の復元画像Ｇ（ｘ，ｙ）［２］が生成される。
　以上がイメージング装置１００の動作である。このイメージング装置１００によれば、光検出器１２０の出力信号の波形を、タイムスロットを区切って処理することにより、異なる距離に位置する複数の物体を分離し、物体ごとの検出強度を得ることができる。そして、タイムスロットごとに相関計算を行うことにより、タイムスロットごとの復元画像を得ることができる。ひとつのタイムスロットに対応する復元画像は、イメージング装置１００の前方を、奥行き方向に分割したスライス画像となる。タイムスロットごとの復元画像の画質は、複数の物体を含む１枚の復元画像の画質に比べて、改善されたものとなる。ここでいう画質の改善とは、視認性が高くなること、あるいは、復元画像を信号処理したときに得られる結果や精度が改善されることを意味する。
　複数のタイムスロットに対応する複数の復元画像を合成し、１枚の最終的な復元画像を生成してもよい。合成に先だって、複数の復元画像それぞれの明るさやコントラストを最適化してもよい。
　あるタイミングに出射した参照光が、距離ｄに位置する物体により反射され、光検出器に入射するまでの遅延時間τは、
　τ＝２×ｄ／ｃ
で与えられる。ｃは光速である。ここで、τは、参照光とタイムスロットの時間差に対応付けることができる。この式を変形すると、物体までのおおよその距離ｄが計算できる。
　ｄ＝τ×ｃ／２
　そこで、タイムスロットごとに復元された画像を、各タイムスロットの時間情報（すなわちτ）に対応する距離情報と対応付けて保存してもよい。これによりイメージング装置１００を、測距センサとして機能させることができる。
　続いて、タイムスロットの位置、幅、個数の決め方について説明する。
　たとえば、複数のタイムスロットの位置、幅、個数は、予め固定して定めておいてもよい。たとえば車載用途では、５～１０ｍ、１０～３０ｍ、３０～５０ｍ、５０～１００ｍのように、測定レンジを定めておき、測定レンジそれぞれについて、それに含まれる物体が写るように、タイムスロットの位置や幅を決めておいてもよい。
　あるいは、複数のタイムスロットの位置や幅は、光検出器１２０の出力信号の波形の形状にもとづいて動的に決めてもよい。
　あるいは、複数の物体までの距離が測定可能である場合には、測定した距離情報にもとづいて、複数のタイムスロットの位置や幅を動的に決定してもよい。
（実施形態３）
　図１０は、実施形態３に係るイメージング装置１００Ａの構成例を示す図である。実施形態３において、後ろのタイムスロットほど、光検出器１２０への入射光の強度に対する、検出強度ｂｒ ［ｉ］の比（ゲインｇ［ｉ］）が大きくなっている。
　具体的には、タイムスロット分割部１３８における、スロット波形Ｄｒ［ｉ］から検出強度ｂｒ ［ｉ］への変換処理における変換ゲインｇ[ｉ]が、後ろのスロットほど大きくなっている。
　図１１（ａ）、（ｂ）は、図１０のタイムスロット分割部１３８の構成例を示す図である。タイムスロット分割部１３８は、光検出器１２０の出力信号をデジタル信号に変換するデジタイザ１５０を含んでおり、後ろのタイムスロットほど、デジタイザ１５０の１ＬＳＢ（Least Significant Bit）の幅が大きくなるように構成されている。
　図１１（ａ）では、デジタイザ１５０は、１個のＡ／Ｄコンバータ１５２と、可変電圧源１５４を含む。可変電圧源１５４は、タイムスロットの番号に応じた基準電圧ＶＲＥＦ ［ｉ］を生成し、Ａ／Ｄコンバータ１５２に供給する。基準電圧ＶＲＥＦ ［ｉ］は後ろのタイムスロットほど低い。ｉ番目およびｊ番目のタイムスロットにおける基準電圧ＶＲＥＦ ［ｉ］、ＶＲＥＦ ［ｊ］の間には以下の関係式が成り立つ。
　ＶＲＥＦ ［ｉ］≧ＶＲＥＦ ［ｊ］　　（ただしｉ＜ｊ）
　図１１（ｂ）では、デジタイザ１５０は、複数のＡ／Ｄコンバータ１５２＿１～１５２＿Ｋを含む。複数のＡ／Ｄコンバータ１５２＿１～１５２＿Ｋには、異なる基準電圧ＶＲＥＦ ［１］～ＶＲＥＦ ［Ｋ］が供給される。基準電圧ＶＲＥＦ ［１］～ＶＲＥＦ ［Ｋ］には以下の関係式が成り立つ。
　ＶＲＥＦ ［１］＞ＶＲＥＦ ［２］＞…＞ＶＲＥＦ ［Ｋ］
　複数のＡ／Ｄコンバータ１５２＿１～１５２＿Ｋの前段には、デマルチプレクサＤＥＭＵＸが、後段にはマルチプレクサＭＵＸが配置され、タイムスロットごとに複数のＡ／Ｄコンバータが時分割で切り替えて使用される。
　後ろのタイムスロットとなるほど、検出信号Ｄｒの強度（振幅）は低下していく。したがってＡ／Ｄコンバータ１５２の基準電圧ＶＲＥＦを固定すると、後ろのタイムスロットとなるほど、Ａ／Ｄコンバータ１５２が生成するデジタル信号の値は小さくなり、照射パターン（強度分布）ごとのエネルギー変化が見えにくくなる。これに対して本実施の形態では、Ａ／Ｄコンバータ１５２の基準電圧ＶＲＥＦを後ろのタイムスロットほど小さくすることにより、照射パターン（強度分布）ごとの微弱なエネルギー変化に対する検出感度を高めることができ、後ろのタイムスロットに含まれる遠方の物体の画質を改善できる。
　続いて実施形態２，３に関連する変形例を説明する。
（変形例１）
　実施形態３における変形例を説明する。図１２（ａ）～（ｃ）は、実施形態３に係るイメージング装置１００Ａの変形例を示す図である。図１２（ａ）では、イメージング装置１００Ａは感度が可変である光検出器１２０を備え、光検出器１２０の感度が、タイムスロットに応じて制御される。図１２（ｂ）では、イメージング装置１００Ａは、光検出器１２０の出力信号を増幅する可変アンプを備え、可変アンプのゲインが、タイムスロットに応じて制御される。図１２（ｃ）では、イメージング装置１００Ａは、感度が異なる複数の光検出器１２０＿１～１２０＿Ｋを備え、タイムスロットごとに複数の光検出器１２０＿１～１２０＿Ｋが時分割で使用され、後ろのタイムスロットでは高感度の光検出器１２０が使用される。
（変形例２）
　実施形態２，３では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（用途）
　続いてイメージング装置１００の用途を説明する。図１３は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。
　イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
　また、イメージング装置１００を用いることで、計算遅延を小さくできる。これにより低遅延のセンシングを提供できる。特に車載用途では物体ＯＢＪが高速に移動するケースがあるため、低遅延のセンシングがもたらす恩恵は、非常に大きい。
　図１４は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
　図１５は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　実施形態にもとづき、具体的な語句を用いて本開示を説明したが、実施形態は、本開示の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本開示の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本開示は、相関計算を利用したイメージング装置に利用できる。
　ＯＢＪ　物体
　１０　物体識別システム
　４０　演算処理装置
　４２　分類器
　１００　イメージング装置
　１１０　照明装置
　１１２　光源
　１１４　パターニングデバイス
　１２０　光検出器
　１３０　演算処理装置
　１３２　パターン発生器
　１３４　再構成処理部
　１３６　ウィンドウ処理部
　１４０　測距センサ
　２００　車両用灯具
　２０２　光源
　２０４　点灯回路
　２０６　光学系
　３００　自動車
　３０２　前照灯
　３１０　灯具システム
　３０４　車両側ＥＣＵ

Claims (16)

  1. 　ターゲットまでの距離を検出する測距センサと、
    　空間的にランダムな強度分布を有する複数の参照光を、シーケンシャルに切りかえて照射する照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記光検出器の出力に、前記測距センサの出力に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と前記参照光の強度分布の相関計算を行い、前記ターゲットの復元画像を再構成する演算処理装置と、
    　を備えることを特徴とするイメージング装置。
  2. 　前記測距センサの受光部と前記光検出器は共通化されることを特徴とする請求項１に記載のイメージング装置。
  3. 　前記測距センサの発光部と前記照明装置は、光源が共通化されることを特徴とする請求項１に記載のイメージング装置。
  4. 　前記演算処理装置は、
    　前記光検出器の出力をデジタル信号に変換するＡ／Ｄコンバータと、
    　前記Ａ／Ｄコンバータの出力に前記ウィンドウを適用し、当該ウィンドウに含まれる成分にもとづく検出強度を生成するウィンドウ処理部と、
    　を含むことを特徴とする請求項１から３のいずれかに記載のイメージング装置。
  5. 　請求項１から４のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  6. 　請求項１から４のいずれかに記載のイメージング装置を備えることを特徴とする車両。
  7. 　ターゲットまでの距離を測定するステップと、
    　ランダムな強度分布を有する複数の参照光をシーケンシャルに切りかえて照射するステップと、
    　光検出器により、物体からの反射光を測定するステップと、
    　前記光検出器の出力に、前記ターゲットまでの距離に応じたウィンドウを適用し、ウィンドウに含まれる成分にもとづく検出強度と前記参照光の強度分布の相関計算を行い、前記物体の復元画像を再構成するステップと、
    　を備えることを特徴とするイメージング方法。
  8. 　空間的にランダムな強度分布を有する複数の参照光をシーケンシャルに切りかえて照射する照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記光検出器の出力信号の波形を複数のタイムスロットに分割し、タイムスロットごとに検出強度を生成して前記検出強度と前記参照光の強度分布の相関計算を行い復元画像を再構成する演算処理装置と、
    　を備えることを特徴とするイメージング装置。
  9. 　後ろのタイムスロットほど、前記光検出器の入射光の強度に対する前記検出強度の比が大きいことを特徴とする請求項８に記載のイメージング装置。
  10. 　前記演算処理装置は、前記光検出器の出力信号をデジタル信号に変換するデジタイザを含み、
    　後ろのタイムスロットほど、前記デジタイザの１ＬＳＢ（Least Significant Bit）の幅が大きいことを特徴とする請求項８または９に記載のイメージング装置。
  11. 　前記デジタイザは、１個のＡ／Ｄコンバータを含み、後ろのタイムスロットほど、前記Ａ／Ｄコンバータに供給される基準電圧が低いことを特徴とする請求項１０に記載のイメージング装置。
  12. 　前記デジタイザは、異なる基準電圧が供給される複数のＡ／Ｄコンバータを含み、タイムスロットごとに複数のＡ／Ｄコンバータが時分割で使用されることを特徴とする請求項１０に記載のイメージング装置。
  13. 　感度が異なる少なくともひとつの光検出器をさらに備え、
    　後ろのタイムスロットほど、感度が高い光検出器が使用されることを特徴とする請求項８または９に記載のイメージング装置。
  14. 　タイムスロットごとに復元された画像は、各タイムスロットの時間情報に対応する距離情報とともに保存されることを特徴とする請求項８から１２のいずれかに記載のイメージング装置。
  15. 　請求項８から１４のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  16. 　請求項８から１４のいずれかに記載のイメージング装置を備えることを特徴とする車両。
PCT/JP2020/038836 2019-10-23 2020-10-14 イメージング装置、車両用灯具、車両、イメージング方法 WO2021079811A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021554334A JPWO2021079811A1 (ja) 2019-10-23 2020-10-14
US17/727,983 US20220244389A1 (en) 2019-10-23 2022-04-25 Imaging apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-192624 2019-10-23
JP2019192624 2019-10-23
JP2019208619 2019-11-19
JP2019-208619 2019-11-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/727,983 Continuation US20220244389A1 (en) 2019-10-23 2022-04-25 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2021079811A1 true WO2021079811A1 (ja) 2021-04-29

Family

ID=75620491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038836 WO2021079811A1 (ja) 2019-10-23 2020-10-14 イメージング装置、車両用灯具、車両、イメージング方法

Country Status (3)

Country Link
US (1) US20220244389A1 (ja)
JP (1) JPWO2021079811A1 (ja)
WO (1) WO2021079811A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276248A (ja) * 2008-05-15 2009-11-26 Mitsubishi Electric Corp レーザレーダ装置
WO2018124285A1 (ja) * 2016-12-29 2018-07-05 国立大学法人東京大学 イメージング装置及び方法
US20180224552A1 (en) * 2014-09-30 2018-08-09 Washington University Compressed-sensing ultrafast photography (cup)
WO2018225684A1 (ja) * 2017-06-08 2018-12-13 株式会社小糸製作所 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法
WO2019016994A1 (ja) * 2017-07-21 2019-01-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276248A (ja) * 2008-05-15 2009-11-26 Mitsubishi Electric Corp レーザレーダ装置
US20180224552A1 (en) * 2014-09-30 2018-08-09 Washington University Compressed-sensing ultrafast photography (cup)
WO2018124285A1 (ja) * 2016-12-29 2018-07-05 国立大学法人東京大学 イメージング装置及び方法
WO2018225684A1 (ja) * 2017-06-08 2018-12-13 株式会社小糸製作所 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法
WO2019016994A1 (ja) * 2017-07-21 2019-01-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム

Also Published As

Publication number Publication date
US20220244389A1 (en) 2022-08-04
JPWO2021079811A1 (ja) 2021-04-29

Similar Documents

Publication Publication Date Title
JP7347585B2 (ja) 距離測定装置
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
US20230179841A1 (en) Gating camera
WO2020218282A1 (ja) イメージング装置、車両用灯具、自動車、イメージング方法
US20220132022A1 (en) Imaging device
CN113383280A (zh) 用于经由雾的图像增强的弹道光调制
CN111398975A (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
US20230009034A1 (en) Imaging apparatus
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
EP4382969A1 (en) Gated camera, vehicular sensing system, and vehicular lamp
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
CN116457700A (zh) 感测装置、车辆用灯具、车辆
US20240067094A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
CN117795376A (zh) 门控照相机、车辆用传感系统、车辆用灯具
CN116235108A (zh) 门控照相机、车辆用感测系统、车辆用灯具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20878246

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554334

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20878246

Country of ref document: EP

Kind code of ref document: A1