WO2022270476A1 - イメージング装置および車両用灯具、車両 - Google Patents

イメージング装置および車両用灯具、車両 Download PDF

Info

Publication number
WO2022270476A1
WO2022270476A1 PCT/JP2022/024580 JP2022024580W WO2022270476A1 WO 2022270476 A1 WO2022270476 A1 WO 2022270476A1 JP 2022024580 W JP2022024580 W JP 2022024580W WO 2022270476 A1 WO2022270476 A1 WO 2022270476A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
intensity distribution
photodetector
image
illumination
Prior art date
Application number
PCT/JP2022/024580
Other languages
English (en)
French (fr)
Inventor
輝明 鳥居
祐太 春瀬
真太郎 杉本
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2023530467A priority Critical patent/JPWO2022270476A1/ja
Publication of WO2022270476A1 publication Critical patent/WO2022270476A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present invention relates to an imaging device.
  • An object identification system that senses the position and type of objects around the vehicle is used for automated driving and automatic control of headlamp light distribution.
  • An object identification system includes a sensor and a processor that analyzes the output of the sensor. Sensors are selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc., taking into consideration the application, required accuracy, and cost.
  • LiDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • millimeter-wave radar ultrasonic sonar
  • Ghost imaging illuminates an object while randomly switching the intensity distribution (pattern) of illumination light, and measures the photodetection intensity of the reflected light for each pattern with a single pixel.
  • the light detection intensity is the integral of energy or intensity over a plane, not the intensity distribution. Then, a restored image of the object is reconstructed by correlating the corresponding pattern with the light detection intensity.
  • Non-Patent Document 1 A method of adopting a cyclic pattern based on the Hadamard matrix as a random pattern (pseudo thermal light source) has been proposed (Non-Patent Document 1). According to this method, the number of integrations can be reduced.
  • the present disclosure has been made in this context, and one exemplary purpose of certain aspects thereof is to provide an imaging device capable of reducing noise.
  • the visible light camera will not capture objects beyond the fog detected by the single-pixel image sensor. Therefore, if it is desired to reflect an image of an object beyond the fog in control based on the output of the visible light camera, it is necessary to synthesize the output image of the visible light camera and the output image of the single-pixel image sensor.
  • One exemplary object of certain aspects thereof is to provide an imaging device capable of presenting an image of an object in front of a vehicle to a driver without using a HUD or the like.
  • An exemplary object of some aspects thereof is to provide an imaging device capable of photographing an object beyond fog with a vehicle-mounted visible light camera.
  • An aspect of the present disclosure relates to an imaging device.
  • the imaging device includes a plurality of light-emitting pixels that can be individually controlled to be turned on and off, an illumination device that emits illumination light having an intensity distribution based on the Hadamard matrix, a photodetector that measures reflected light from an object, A reconstruction processing unit that reconstructs a restored image of the object by correlation calculation of the detected intensity based on the output of the photodetector and the intensity distribution of the illumination light, and detects the temporal periodic components included in the output of the photodetector. and a correction unit that calculates a noise intensity distribution based on the periodic component and corrects the restored image using the noise intensity distribution.
  • the imaging device includes a first illumination device including a plurality of individually controllable light-emitting pixels and illuminating invisible first illumination light having an intensity distribution that varies with time according to a first pattern sequence;
  • a reconstruction processing unit that reconstructs an image of an object by a photodetector that measures the first reflected light generated by being reflected by and a correlation calculation between the detected intensity based on the output of the photodetector and the first pattern sequence and a second visible illumination light that includes a plurality of individually controllable light-emitting pixels and whose intensity distribution changes over time according to a second pattern sequence generated based on the detected intensity and the first pattern sequence. 2 lighting device.
  • noise can be reduced.
  • FIG. 1 is a diagram showing an imaging device according to Embodiment 1;
  • FIG. FIGS. 2A to 2C are diagrams for explaining the generation of Hadamard circulation patterns.
  • 2A and 2B are diagrams for explaining the operation of the imaging apparatus of FIG. 1;
  • FIG. 10 is a diagram showing an image reconstructed from detected strength b r containing periodic noise;
  • Fig. 2 shows a noise image N(x, y) calculated from detected intensities b r containing only noise;
  • 6 is a diagram showing a corrected image G(x, y)' obtained by subtracting the noise image N(x, y) of FIG. 5 from the restored image G(x, y) of FIG. 4;
  • FIG. 4 is a circuit diagram showing a configuration example of a correction unit;
  • FIG. 10 is a diagram showing an imaging device according to Embodiment 2;
  • FIGS. 9A to 9C are diagrams for explaining irradiation of the first illumination light and the second illumination light. It is a figure which shows the structural example of a 1st illuminating device and a 2nd illuminating device.
  • FIG. 9 is a diagram for explaining the operation of the imaging device of FIG. 8; 9 is a diagram illustrating another operation of the imaging device of FIG. 8;
  • FIG. 1 is a block diagram of an object identification system;
  • FIG. 1 shows a motor vehicle with an object identification system;
  • FIG. 1 is a block diagram showing a vehicle lamp equipped with an object detection system;
  • An imaging device includes a plurality of light-emitting pixels that can be individually controlled to be turned on and off.
  • An illumination device that emits illumination light having an intensity distribution based on the Hadamard matrix, and a device that measures reflected light from an object.
  • a photodetector that reconstructs a restored image of an object by correlation calculation of the detected intensity based on the output of the photodetector and the intensity distribution of the illumination light;
  • a correction unit that detects a periodic component, calculates a noise intensity distribution based on the periodic component, and corrects the restored image using the noise intensity distribution.
  • noise light In in-vehicle applications, light from street lights, lighting equipment, and headlights and taillights of other vehicles enters the photodetector of the imaging device as noise light. These noise lights often have temporal periodicity. As a result of studying single-pixel imaging using Hadamard matrices, the present inventors have come to recognize that the effect of periodic noise light appears in the reconstructed image in a manner that is distinguishable from the image of the object. Therefore, by calculating the image (noise intensity distribution) caused by the periodic noise light and subtracting it from the restored image, the influence of the periodic noise light can be reduced and a good image can be obtained.
  • the correction unit may generate the noise intensity distribution on the premise that the periodic component is a sine wave.
  • the correction unit may Fourier transform the output of the photodetector and detect the frequency of the periodic component. This makes it possible to easily extract noise components.
  • An imaging device includes a first lighting device that includes a plurality of individually controllable light-emitting pixels and emits invisible first illumination light whose intensity distribution changes over time according to a first pattern sequence; 1 Reconstructing an image of an object by a photodetector that measures the first reflected light generated by reflecting the illumination light from the object, and correlation calculation between the detected intensity based on the output of the photodetector and the first pattern sequence. and a visible second illumination having a time-varying intensity distribution according to a second pattern sequence generated based on the detected intensities and the first pattern sequence. and a second lighting device that emits light.
  • the driver's eyes can be made to recognize the image of the object.
  • This technology eliminates the need for a display device such as a HUD.
  • the image of the object can be projected at a position overlapping the actual position of the object or at a position close to it, the movement of the driver's line of sight can be minimized.
  • the visible light camera can capture images beyond the fog.
  • the visible illumination light may be white light.
  • the second lighting device may also serve as a headlamp. By using the variable light distribution lamp as the second lighting device, an increase in cost can be suppressed.
  • the invisible illumination light may be near-infrared or infrared light, and the visible illumination light may be red light.
  • the invisible illumination light may be ultraviolet light and the visible illumination light may be blue or purple.
  • Random intensity distribution in this specification does not mean that it is completely random, but it is sufficient if it is random enough to reconstruct an image in ghost imaging. Therefore, “random” in this specification can include a certain degree of regularity therein. Also, “random” does not require completely unpredictable, but may be predictable and reproducible. Random intensity distributions also include cyclic patterns based on Hadamard matrices.
  • FIG. 1 is a diagram showing an imaging apparatus 100 according to Embodiment 1.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes an illumination device 110 , a photodetector 120 and an arithmetic processing device 130 .
  • Imaging device 100 is also referred to as a quantum radar camera.
  • the illumination device 110 generates illumination light S1 having an intensity distribution I that can be regarded as substantially random, and irradiates the object OBJ with the illumination light S1.
  • a circular pattern based on Hadamard's matrix is used as the intensity distribution of the illumination light S1, and M patterns of the intensity distributions I 1 to I M are switched for illumination.
  • Illumination device 110 may include, for example, a light source 112 that produces light S0 having a uniform intensity distribution, and a patterning device 114 that is capable of spatially modulating the intensity distribution of this light S0.
  • a laser, a light emitting diode, or the like may be used as the light source 112 .
  • the wavelength and spectrum of the illumination light S1 are not particularly limited, and may be white light having multiple or continuous spectra, or monochromatic light including a predetermined wavelength (for example, near-infrared or infrared). .
  • a DMD Digital Micromirror Device
  • a liquid crystal device can be used as the patterning device 114 .
  • FIGS. 2A to 2C are diagrams for explaining the generation of Hadamard circulation patterns.
  • Hn of order n is given
  • H2n of order 2n is represented by Equation (1).
  • H 1 [1].
  • Hadamard matrices can be generated recursively.
  • FIG. 2(a) shows a 16th Hadamard matrix H16.
  • FIG. 2(b) shows a Walsh-Hadamard matrix W 16 obtained by arranging the Hadamard matrix H 16 of FIG. 2(a) in wave number order.
  • the Hadamard circulation pattern shown in FIG. 2(c) is obtained by dividing the Walsh-Hadamard matrix W 16 shown in FIG.
  • the illumination device 110 irradiates an object with illumination light S1 patterned based on a pattern (also referred to as a pseudo-Hadamard pattern) in which ⁇ 1 of the Hadamard circulation pattern is replaced with 0 (that is, pixels are turned off).
  • a pattern also referred to as a pseudo-Hadamard pattern
  • the irradiation order of the Hadamard circulation pattern is not particularly limited.
  • the detection signal Dr is a spatial integrated value of light energy (or intensity) incident on the photodetector 120 when the object OBJ is irradiated with illumination light having the intensity distribution Ir . Therefore, the photodetector 120 can use a single pixel device (photodetector).
  • the photodetector 120 outputs a plurality of detection signals D 1 to D M respectively corresponding to a plurality of M intensity distributions I 1 to I M .
  • the arithmetic processing unit 130 includes a pattern generator 132 , a reconstruction processing section 134 and a correction section 136 .
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), MPU (Micro Processing Unit), or microcomputer, and a software program executed by the processor (hardware).
  • Processing unit 130 may be a combination of multiple processors. Alternatively, the arithmetic processing unit 130 may be composed only of hardware.
  • the pattern generator 132 may generate a Hadamard circulation pattern each time by calculation, or may store it in a pattern memory in advance.
  • the reconstruction processing unit 134 reconstructs a restored image G(x, y) of the object OBJ by correlating the plurality of intensity distributions I 1 to I M with the plurality of detected intensities b 1 to b M .
  • the correlation function of Equation (2) may be used for the correlation.
  • Ir is the rth intensity distribution and br is the rth detected intensity value.
  • the restored image may be reconstructed by inverse Hadamard transform.
  • the detected intensities b 1 -b M are based on the detected signals D 1 -D M .
  • the relationship between the detection intensity b and the detection signal D may be determined in consideration of the type and system of the photodetector 120 .
  • the detection signal Dr represents the amount of light received at a certain time (or minute time), that is, an instantaneous value.
  • the detection signal Dr may be sampled multiple times during the irradiation period, and the detection strength b r may be the integrated value, average value, or maximum value of all sampled values of the detection signal Dr.
  • some of all sampled values may be selected, and the integrated value, average value, or maximum value of the selected sampled values may be used. Selection of a plurality of sampled values may be performed, for example, by extracting the order x-th to y-th counting from the maximum value, excluding sampled values lower than an arbitrary threshold, or You may extract the sampling value of the small range.
  • the output Dr of the photodetector 120 can be directly used as the detection intensity br .
  • the conversion from the detection signal Dr to the detection intensity b r may be performed by the processing unit 130 or may be performed outside the processing unit 130 .
  • the correction unit 136 detects a temporal periodic component included in the detection intensity b r based on the output Dr of the photodetector 120, and generates a noise intensity distribution (referred to as a noise image) N(x, y) based on the periodic component. and correct the restored image G(x,y) using the noise image N(x,y).
  • a noise image referred to as a noise image
  • the correction unit 136 may generate a noise-removed image G(x, y)′ by subtracting the noise image N(x, y) from the restored image G(x, y).
  • G(x, y)′ G(x, y) ⁇ N(x, y) This subtraction is performed between corresponding pixels.
  • the correction coefficient ⁇ may be determined in advance and the correction may be performed using the following formula.
  • FIG. 3 is a diagram explaining the operation of the imaging apparatus 100 of FIG.
  • the intensity sr of the reflected light from the object has a correlation with the reflectance of the object and the intensity distribution Ir of the illumination light, and changes for each irradiation pattern.
  • noise light n In the case of an in-vehicle sensor, light from street lamps, lighting equipment, and headlamps and tail lamps of other vehicles enters the photodetector 120 as noise light n. These noise lights often have temporal periodicity.
  • FIG. 3 shows sinusoidal noise light n.
  • the period of the noise light n is half the irradiation period of the Hadamard circulation pattern.
  • the detected intensity b r based on the output of the photodetector 120 contains both the signal component s r and the noise component n.
  • the present inventors have studied single-pixel imaging based on the Hadamard matrix. y), we have come to recognize that the influence of noise n appears in a manner distinguishable from the image of the object OBJ.
  • FIG. 4 is a diagram showing an image reconstructed from the detected intensity b r containing periodic noise.
  • a simulation was performed using the letter T as the target.
  • the number of Hadamard pattern irradiation is 1024, and a sine wave with a standard deviation (SD) of 100 is used as periodic noise. Numerical values 0.1, 0.3, 0.5, . In our example, this number is 8.
  • SD standard deviation
  • FIG. 5 shows a noise image N(x, y) calculated from the detected intensity br containing only noise. This noise image N(x, y) matches the striped pattern appearing in the restored image G(x, y) of FIG.
  • FIG. 6 is a diagram showing a corrected image G(x, y)′ obtained by subtracting the noise image N(x, y) in FIG. 5 from the restored image G(x, y) in FIG. .
  • this correction processing the influence of the periodic noise n can be removed, and a high-quality image of the target can be constructed.
  • the above is the operation of the imaging apparatus 100 .
  • an image (noise intensity distribution) N(x, y) caused by periodic noise light is calculated and subtracted from the restored image G(x, y). The influence can be reduced and a good image can be obtained.
  • FIG. 7 is a circuit diagram showing a configuration example of the correction unit 136.
  • Corrector 136 includes noise image generator 138 and subtractor 140 .
  • the noise image generator 138 reproduces the noise image N(x, y) based on the detected intensity b r (or D r ) and the circulation pattern.
  • the correction unit 136 may detect the frequency of the noise n to obtain the irradiation speed ratio, and reproduce the striped pattern, that is, the noise image N(x, y) based on this ratio.
  • the frequency of the noise n may be obtained by Fourier transforming the detected strength br or the detected signal Dr.
  • the correcting unit 136 generates a noise intensity signal nr indicating the intensity of noise for each pattern from b r generated in real time, and obtains a correlation between the noise intensity signal nr and the Hadamard circulation pattern Ir .
  • a noise image N(x,y) may be reproduced.
  • the correction unit 136 may obtain the frequency of the noise n by Fourier transforming the detected strength br or the detected signal Dr , and reproduce a sine wave having the obtained frequency.
  • the correction unit 136 may calculate in advance the noise image N(x, y) for each irradiation speed ratio and store it in the memory. Then, the noise image N(x, y) of the irradiation speed ratio corresponding to the frequency of the current noise n may be obtained from the memory.
  • the image reconstruction algorithm applicable to the present invention is not limited to GI (ghost imaging), but can also be applied to sensing devices using other algorithms such as DGI (differential ghost imaging).
  • the illumination device 110 is configured by a combination of the light source 112 and the patterning device 114, but this is not the only option.
  • the illumination device 110 is composed of an array of a plurality of semiconductor light sources (LEDs (light emitting diodes) and LDs (laser diodes)) arranged in a matrix so that the on/off (or brightness) of each semiconductor light source can be controlled. may be configured.
  • LEDs light emitting diodes
  • LDs laser diodes
  • a sine wave is assumed as periodic noise, but the application of the present invention is not limited to that, and can be applied to any periodic noise such as a triangular wave or rectangular wave (pulse wave).
  • the fringes of the noise image N(x,y) change for each noise waveform, but they can be reproduced by computation.
  • FIG. 8 is a diagram showing the imaging device 100 according to the second embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and comprises a first illumination device 110 , a photodetector 120 , a processor 130 and a second illumination device 140 .
  • Imaging device 100 is also referred to as a single-pixel imaging sensor or quantum radar camera.
  • the first illumination device 110 generates invisible first illumination light S1 having an intensity distribution I that can be regarded as substantially random, and illuminates the object OBJ.
  • the first illumination light S1 is irradiated by switching the first pattern sequences I 1 to I M including M intensity distributions.
  • the wavelength and spectrum of the first illumination light S1 are not particularly limited, it may be near-infrared light, infrared light, or ultraviolet light.
  • the first illumination device 110 can include, for example, a light source 112 that generates invisible light S0 having a uniform intensity distribution, and a patterning device 114 that can spatially modulate the intensity distribution of this invisible light S0.
  • a laser, a light emitting diode, or the like may be used as the light source 112 .
  • a DMD Digital Micromirror Device
  • a liquid crystal device can be used as the patterning device 114 .
  • the detection signal Dr is a spatial integral value of light energy (or intensity) incident on the photodetector 120 when the object OBJ is irradiated with the illumination light having the first pattern Ir . Therefore, the photodetector 120 can use a single pixel device (photodetector).
  • the photodetector 120 outputs a plurality of detection signals D 1 to D M respectively corresponding to the first pattern sequences I 1 to I M .
  • the arithmetic processing device 130 includes a pattern generator 132 and a reconstruction processing section 134 .
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), MPU (Micro Processing Unit), or microcomputer, and a software program executed by the processor (hardware).
  • Processing unit 130 may be a combination of multiple processors. Alternatively, the arithmetic processing unit 130 may be composed only of hardware.
  • the reconstruction processing unit 134 reconstructs a restored image G(x, y) of the object OBJ by correlating the first pattern sequences I 1 to I M with the plurality of detected intensities b 1 to b M .
  • the correlation function of Equation (3) may be used for the correlation.
  • I r is the r-th first pattern and b r is the r-th detection intensity value.
  • a simple calculation may be performed with ⁇ b> set to zero.
  • the detected intensities b 1 -b M are based on the detected signals D 1 -D M .
  • the relationship between the detection intensity b and the detection signal D may be determined in consideration of the type and system of the photodetector 120 .
  • the detection signal Dr represents the amount of light received at a certain time (or minute time), that is, an instantaneous value.
  • the detection signal Dr may be sampled multiple times during the irradiation period, and the detection strength b r may be the integrated value, average value, or maximum value of all sampled values of the detection signal Dr.
  • some of all sampled values may be selected, and the integrated value, average value, or maximum value of the selected sampled values may be used. Selection of a plurality of sampled values may be performed, for example, by extracting the order x-th to y-th counting from the maximum value, excluding sampled values lower than an arbitrary threshold, or You may extract the sampling value of the small range.
  • the output Dr of the photodetector 120 can be directly used as the detection intensity br .
  • the conversion from the detection signal Dr to the detection intensity b r may be performed by the processing unit 130 or may be performed outside the processing unit 130 .
  • the second lighting device 140 like the first lighting device 110, comprises a plurality of individually controllable light-emitting pixels and provides a visible second lighting whose intensity distribution changes over time according to a second pattern sequence J 1 to J M .
  • Light S3 is applied.
  • the pattern generator 132 generates second pattern sequences J 1 -J M based on the detected intensities b 1 -b M and the first pattern sequences I 1 -I M .
  • the r-th pattern J r of the second pattern sequences J 1 to J M is represented by Equation (4). Note that ⁇ b> may be set to 0.
  • FIGS. 9A to 9C are diagrams for explaining irradiation of the first illumination light S1 and the second illumination light S3.
  • the second illumination light S3 of the second pattern sequences J 1 to J M is emitted.
  • the first illumination light S1 of the first pattern Ir and the second illumination light S3 of the second pattern Jr may be alternately emitted.
  • the second pattern sequences J 1 to J M of the second pattern sequences J 1 to J M are irradiated in parallel with a slight delay.
  • 2 illumination light S3 may be continuously irradiated.
  • FIGS. 9A to 9C the irradiation times of the first pattern sequences I 1 to I M and the irradiation times of the second pattern sequences J 1 to J M are shown to be equal, but even if they are different good.
  • the detected intensity b r is a multi-tone signal
  • the intensity distribution of the first illumination light S1 is monochrome binary (that is, ON, OFF)
  • the intensity distribution J r (x , y) are multi-tone.
  • the second illumination light S3 may be white light.
  • this variable light distribution lamp can be used as the second lighting device 140 .
  • the reflected light S4 of the second illumination light S3 from the object OBJ enters the driver's (or fellow passenger's) eyes.
  • FIG. 10 is a diagram showing a configuration example of the first lighting device 110 and the second lighting device 140.
  • a first illumination device 110 comprises a light source 112 and a patterning device 114 .
  • a second illumination device 140 comprises a light source 142 and a patterning device 114 .
  • Light source 142 produces visible light S5 having a uniform intensity distribution.
  • the patterning device 114 is shared by the first illumination device 110 and the second illumination device 140 and similarly patterns the invisible light S0 and the visible light S5. Sharing the patterning device 114 can reduce costs.
  • the configuration of the imaging apparatus 100 is as described above. Next, the operation will be explained.
  • FIG. 11A and 11B are diagrams for explaining the operation of the imaging apparatus 100 of FIG. FIG. 11 shows sensing in fog.
  • First illumination light S1 emitted by first illumination device 110 reaches object OBJ while being scattered by fog 900, and reflected light S2 from object OBJ is detected by photodetector 120.
  • FIG. The intensity distribution of the first illumination light S1 changes based on the first pattern sequences I 1 to I M .
  • An image G(x, y) of the object OBJ is reconstructed by correlation calculation between the detected intensities b 1 to b M based on the output of the photodetector 120 and the first pattern sequences I 1 to I M .
  • the second illumination device 140 irradiates the visible second illumination light S3 based on the second pattern sequence J 1 to J M toward the fog 900 .
  • the second illumination light S3 is reflected by fog, and the second reflected light S4 is incident on the eyes 902 of the driver (or fellow passenger). Since the human eye functions as a pseudo low-pass filter, that is, an integrator, the integration operation ( ⁇ ) of Equation (1) is performed by the human eye, and the driver sees an image G of the object OBJ. (x,y)' is recognized.
  • the imaging apparatus 100 the fog 900 in front of the vehicle is used as a screen, and by projecting visible illumination light S3 on the screen that changes according to the second pattern sequences J 1 to J M , the driver's eyes are illuminated. can recognize the image of the object OBJ. According to this technology, an image of an object can be presented to the driver even without a display device such as a HUD in the vehicle interior.
  • the image of the object can be projected at a position overlapping the position of the actual object OBJ or at a position near it. Therefore, the movement of the driver's line of sight can be minimized.
  • FIG. 12 is a diagram explaining another operation of the imaging apparatus 100 of FIG. Imaging device 100 is used with visible light camera 910 .
  • FIG. 12 shows sensing in fog, similar to FIG.
  • First illumination light S1 emitted by first illumination device 110 reaches object OBJ while being scattered by fog 900, and reflected light S2 from object OBJ is detected by photodetector 120.
  • FIG. The intensity distribution of the first illumination light S1 changes based on the first pattern sequences I 1 to I M .
  • An image G(x, y) of the object OBJ is reconstructed by correlation calculation between the detected intensities b 1 to b M based on the output of the photodetector 120 and the first pattern sequences I 1 to I M .
  • the second illumination device 140 irradiates the visible second illumination light S3 based on the second pattern sequence J 1 to J M toward the fog 900 .
  • the second illumination light S3 is reflected by the fog and the second reflected light S4 is incident on the visible light camera 910.
  • FIG. If the exposure time of the visible light camera 910 is longer than the period of the second pattern sequence J 1 to J M , the visible light camera 910 functions as an integrator. ⁇ ) is performed, and an image G(x, y)' of the object OBJ is generated.
  • An ordinary visible light camera 910 cannot photograph an object beyond the fog, but when used together with the imaging apparatus 100 according to the present embodiment, the visible light camera 910 can photograph an object beyond the fog. Become.
  • the image reconstruction algorithm to which the present disclosure is applicable is not limited to GI (ghost imaging), but can also be applied to sensing devices using other algorithms such as DGI (differential ghost imaging).
  • the first illumination device 110 is configured by a combination of the light source 112 and the patterning device 114, but this is not the only option.
  • the first lighting device 110 is composed of an array of a plurality of semiconductor light sources (LEDs (light emitting diodes) and LDs (laser diodes)) arranged in a matrix, and controls the on/off (or brightness) of each semiconductor light source. may be configured as possible. The same applies to the second lighting device 140 .
  • FIG. 13 is a block diagram of the object identification system 10.
  • This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines types (categories) of objects OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging device 100 and an arithmetic processing device 40 . As described above, the imaging apparatus 100 generates a restored image G of the object OBJ by irradiating the object OBJ with the illumination light S1 and measuring the reflected light S2.
  • the arithmetic processing device 40 processes the output image G of the imaging device 100 and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ contained therein.
  • Classifier 42 is implemented based on a model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN , DSSD (Deconvolution-SSD), Mask R-CNN, etc., or algorithms that will be developed in the future.
  • FIG. 14 is a diagram showing an automobile equipped with the object identification system 10.
  • FIG. Automobile 300 includes headlights 302L and 302R. Imaging device 100 is built into at least one of headlights 302L and 302R. The headlight 302 is positioned at the extreme end of the vehicle body and is the most advantageous location for installing the imaging apparatus 100 in terms of detecting surrounding objects.
  • FIG. 15 is a block diagram showing a vehicle lamp 200 having an object detection system 210.
  • the vehicle lamp 200 constitutes a lamp system 310 together with a vehicle-side ECU 304 .
  • a vehicle lamp 200 includes a light source 202 , a lighting circuit 204 and an optical system 206 .
  • the vehicle lamp 200 is provided with an object detection system 210 .
  • Object detection system 210 corresponds to object identification system 10 described above and includes imaging device 100 and arithmetic processing device 40 .
  • Information on the object OBJ detected by the processing unit 40 may be used for light distribution control of the vehicle lamp 200 .
  • the lamp-side ECU 208 generates an appropriate light distribution pattern based on the information about the type and position of the object OBJ generated by the arithmetic processing unit 40 .
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp-side ECU 208 .
  • Information regarding the object OBJ detected by the processing unit 40 may be transmitted to the vehicle-side ECU 304 .
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the present invention relates to an imaging device.
  • Object 10 Object identification system 40
  • Arithmetic processor 42 Classifier 100
  • Imaging device 110 ... Illuminator 112
  • Light source 114 ... Patterning device 120
  • Photodetector 130 ... Arithmetic processing Apparatus 132
  • Pattern generator 134 Reconfiguration processing unit 136
  • Second lighting device 142 Light source 200 Vehicle lamp 202
  • Light source 204 Lighting circuit 206 Optical system , 300...Automobile, 302...Headlight, 310...Lamp system, 304...Vehicle side ECU.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

アダマール行列を利用したゴーストイメージングにおいて、光検出器１２０の出力に含まれる時間的な周期成分を検出し、周期成分にもとづくノイズ強度分布を演算し、ノイズ強度分布を利用して、再構成された物体の画像を補正する。 ゴーストイメージングにおいて、第１パターンシーケンスにしたがって強度分布が時間とともに変化する不可視の第１照明光Ｓ１を照射し、光検出器１２０の出力にもとづく検出強度および第１パターンシーケンスにもとづいて生成される第２パターンシーケンスにしたがって強度分布が時間とともに変化する可視の第２照明光Ｓ３を照射する。

Description

イメージング装置および車両用灯具、車両
　本発明は、イメージング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、照明光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度をシングルピクセルで測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の復元画像を再構成（reconstruct）する。
　ランダムパターン（擬似熱光源）として、アダマール行列にもとづく循環パターンを採用する手法が提案されている（非特許文献１）。この手法によれば、積算回数を低減できる。
特許第６４１２６７３号公報
・澁谷 九輝, 水谷 康弘, 岩田 哲郎, "循環パターンによるゴーストイメージングの積算回数低減効果"、３９５～３９６頁, ２０１３年度精密工学会秋季大会学術講演会講演論文集 Alessandro Boccolini, Alessandro Fedrizzi, and Daniele Faccio, "Ghost imaging with the human eye", Optics Express Vol. 27, Issue 6, pp. 9258-9265 (2019)
１．　本発明者らは、アダマール行列を利用したゴーストイメージングでは、シングルピクセルの受光器に入射する光に、周期的なノイズ成分が重畳されたときに、再構成される復元画像に、縞状のノイズが現れることを認識するに至った。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ノイズを低減可能なイメージング装置の提供にある。
２．　シングルピクセルイメージングでは、霧や強い雨が降っていても、その先にある物体の画像を復元することができる。復元した画像を、ＨＵＤ（Head Up Display）に表示すれば、運転者は、霧の向こう側の物体の像を視覚的に認識することができる。
　しかしながら、この手法では、ディスプレイデバイスを設ける必要があるため、コストが高くなる。また、運転者の視線移動を完全にゼロとすることが難しい。
　また車両が、可視光カメラを備える場合に、可視光カメラには、シングルピクセルイメージセンサが検出した霧の向こうの物体は写らない。したがって、可視光カメラの出力にもとづく制御に、霧の向こうの物体の画像を反映したい場合、可視光カメラの出力画像と、シングルピクセルイメージセンサの出力画像を合成する必要がある。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ＨＵＤなどを用いずに、車両前方の物体の画像を運転者に提示可能なイメージング装置の提供にある。またそのある態様の例示的な目的のひとつは、車載の可視光カメラによって、霧の向こうの物体を撮影可能とするイメージング装置の提供にある。
１．　本開示のある態様は、イメージング装置に関する。イメージング装置は、オン、オフが個別に制御可能な複数の発光画素を含み、アダマール行列にもとづく強度分布を有する照明光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と照明光の強度分布の相関計算により、物体の復元画像を再構成する再構成処理部と、光検出器の出力に含まれる時間的な周期成分を検出し、周期成分にもとづくノイズ強度分布を演算し、ノイズ強度分布を利用して復元画像を補正する補正部と、を備える。
２．　本開示のある態様はイメージング装置に関する。イメージング装置は、個別に制御可能な複数の発光画素を含み、第１パターンシーケンスにしたがって強度分布が時間とともに変化する不可視の第１照明光を照射する第１照明装置と、第１照明光が物体によって反射されて生成される第１反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と第１パターンシーケンスとの相関計算により、物体の画像を再構成する再構成処理部と、個別に制御可能な複数の発光画素を含み、検出強度および第１パターンシーケンスにもとづいて生成される第２パターンシーケンスにしたがって強度分布が時間とともに変化する可視の第２照明光を照射する第２照明装置と、を備える。
　本開示によれば、ノイズを低減できる。
実施形態１に係るイメージング装置を示す図である。 図２（ａ）～（ｃ）は、アダマール循環パターンの生成を説明する図である。 図１のイメージング装置の動作を説明する図である。 周期ノイズを含む検出強度ｂｒから復元される画像を示す図である。 ノイズのみを含む検出強度ｂｒから計算されるノイズ画像Ｎ（ｘ，ｙ）を示す図である。 図４の復元画像Ｇ（ｘ，ｙ）から、図５のノイズ画像Ｎ（ｘ，ｙ）を減算して得られる補正後の画像Ｇ（ｘ，ｙ）’を示す図である。 補正部の構成例を示す回路図である。 実施形態２に係るイメージング装置を示す図である。 図９（ａ）～（ｃ）は、第１照明光および第２照明光の照射を説明する図である。 第１照明装置および第２照明装置の構成例を示す図である。 図８のイメージング装置の動作を説明する図である。 図８のイメージング装置の別の動作を説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。この概要は、考えられるすべての実施形態の包括的な概要ではなく、すべての実施形態の重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
１．　一実施形態に係るイメージング装置は、オン、オフが個別に制御可能な複数の発光画素を含み、アダマール行列にもとづく強度分布を有する照明光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と照明光の強度分布の相関計算により、物体の復元画像を再構成する再構成処理部と、光検出器の出力に含まれる時間的な周期成分を検出し、周期成分にもとづくノイズ強度分布を演算し、ノイズ強度分布を利用して復元画像を補正する補正部と、を備える。
　車載用途では、イメージング装置の光検出器には、街灯や照明機器、他の車両のヘッドランプやテールランプの光が、ノイズ光として入射する。これらのノイズ光は、時間的に周期性を有している場合が多い。本発明者らは、アダマール行列を利用したシングルピクセルイメージングについて検討した結果、周期的ノイズ光の影響が、復元画像中に、物体の画像と区別可能な態様で現れることを認識するに至った。そこで、周期的なノイズ光に起因する画像（ノイズ強度分布）を算出し、復元画像から減算することにより、周期的ノイズ光の影響を低減でき、良好な画像を得ることができる。
　一実施形態において、補正部は、周期成分は正弦波であるとの前提で、ノイズ強度分布を生成してもよい。
　一実施形態において、補正部は、光検出器の出力をフーリエ変換し、周期成分の周波数を検出してもよい。これにより、ノイズ成分を簡易に抽出できる。
２．　一実施形態に係るイメージング装置は、個別に制御可能な複数の発光画素を含み、第１パターンシーケンスにしたがって強度分布が時間とともに変化する不可視の第１照明光を照射する第１照明装置と、第１照明光が物体によって反射されて生成される第１反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と第１パターンシーケンスとの相関計算により、物体の画像を再構成する再構成処理部と、個別に制御可能な複数の発光画素を含み、検出強度および第１パターンシーケンスにもとづいて生成される第２パターンシーケンスにしたがって強度分布が時間とともに変化する可視の第２照明光を照射する第２照明装置と、を備える。
　車両前方の霧をスクリーンとして利用し、霧に第２パターンシーケンスにしたがって変化する可視の照明光を投影することにより、運転者の目に、物体の像を認識させることができる。この技術によれば、ＨＵＤなどのディスプレイデバイスが不要である。また実際の物体の位置とオーバーラップした位置に、もしくはそれに近い位置に物体の像を投影することができるため、運転者の視線移動も最小限とすることができる。
　また車両が、可視光カメラを備える場合、その露光時間を、イメージング装置のセンシング周期より長く定めることで、可視光カメラによって、霧の向こうの像を撮影することが可能となる。
　一実施形態において、可視の照明光は白色光であってもよい。第２照明装置は、前照灯を兼ねていてもよい。配光可変ランプを第２照明装置として流用することにより、コストの増加を抑えることができる。
　一実施形態において、不可視の照明光は近赤外あるいは赤外光であり、可視の照明光は赤色光であってもよい。
　一実施形態において、不可視の照明光は紫外光であり、可視の照明光は青色あるいは紫色であってもよい。
（実施形態）
　以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、完全に予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。ランダムな強度分布には、アダマール行列にもとづく循環パターンも含まれる。
（実施形態１）
　図１は、実施形態１に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０、演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　照明装置１１０は、実質的にランダムとみなしうる強度分布Ｉを有する照明光Ｓ１を生成し、物体ＯＢＪに照射する。本実施形態において、照明光Ｓ１の強度分布として、アダマール行列にもとづく循環パターンが利用され、強度分布Ｉ１～ＩＭのＭ通りのパターンが切りかえて照射される。
　照明装置１１０は、たとえば均一な強度分布を有する光Ｓ０を生成する光源１１２と、この光Ｓ０の強度分布を空間的に変調可能なパターニングデバイス１１４を含みうる。光源１１２は、レーザや発光ダイオードなどを用いてもよい。照明光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長（たとえば近赤外あるいは赤外）を含む単色光であってもよい。
　パターニングデバイス１１４としては、ＤＭＤ（Digital Micromirror Device）や液晶デバイスを用いることができる。
　図２（ａ）～（ｃ）は、アダマール循環パターンの生成を説明する図である。
　ｎ次のアダマール行列Ｈｎが与えられたとき、２ｎ次のアダマール行列Ｈ２ｎは、式（１）で表される。Ｈ１＝［１］である。
Figure JPOXMLDOC01-appb-M000001
 　アダマール行列は、再帰的に生成することができる。
　図２（ａ）には、１６次のアダマール行列Ｈ１６を示す。図２（ｂ）は、図２（ａ）のアダマール行列Ｈ１６を波数順に並べたウォルシュ・アダマール行列Ｗ１６を示す。図２（ｃ）に示すアダマール循環パターンは、図２（ｂ）のウォルシュ・アダマール行列Ｗ１６を、４行４列の行列に分割することにより得られ、パターン数Ｍは１６となる。
　図１に戻る。照明装置１１０は、アダマール循環パターンの－１を０（すなわち画素のオフ）に置き換えたパターン（擬似アダマールパターンともいう）にもとづいてパターニングされた照明光Ｓ１を、物体に照射する。なお、アダマール循環パターンの照射順は特に限定されない。
　光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｄｒを出力する（ｒ＝１，２，…Ｍ）。検出信号Ｄｒは、強度分布Ｉｒを有する照明光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルのデバイス（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。
　演算処理装置１３０は、パターン発生器１３２、再構成処理部１３４、補正部１３６を含む。演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　パターン発生器１３２は、照明光Ｓ１の強度分布Ｉを指定するパターン信号ＰＴＮｒを発生し、時間とともにパターン信号ＰＴＮｒを切り替える（ｒ＝１，２，…Ｍ）。上述のように、照明装置１１０が発生する照明光Ｓ１の強度分布は、アダマール循環パターンにもとづいている。パターン発生器１３２は、アダマール循環パターンをその都度、演算によって生成してもよいし、パターンメモリに予め保持しておいてもよい。
　再構成処理部１３４は、複数の強度分布Ｉ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関をとることにより、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。相関には、式（２）の相関関数を用いてもよい。Ｉｒは、ｒ番目の強度分布であり、ｂｒはｒ番目の検出強度の値である。
Figure JPOXMLDOC01-appb-M000002
　あるいは、逆アダマール変換によって、復元画像を再構成してもよい。
　検出強度ｂ１～ｂＭは、検出信号Ｄ１～ＤＭにもとづいている。検出強度ｂと検出信号Ｄの関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　ある強度分布Ｉｒの照明光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｒは、ある時刻（あるいは微小時間）の受光量すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｒを複数回サンプリングし、検出強度ｂｒを、検出信号Ｄｒの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　光検出器１２０として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器１２０の出力Ｄｒをそのまま、検出強度ｂｒとすることができる。
　検出信号Ｄｒから検出強度ｂｒへの変換は、演算処理装置１３０が実行してもよいし、演算処理装置１３０の外部で行ってもよい。
　補正部１３６は、光検出器１２０の出力Ｄｒにもとづく検出強度ｂｒに含まれる時間的な周期成分を検出し、周期成分にもとづくノイズ強度分布（ノイズ画像という）Ｎ（ｘ，ｙ）を演算し、ノイズ画像Ｎ（ｘ，ｙ）を利用して、復元画像Ｇ（ｘ，ｙ）を補正する。
　たとえば補正部１３６は、復元画像Ｇ（ｘ，ｙ）から、ノイズ画像Ｎ（ｘ，ｙ）を減算することにより、ノイズ除去された画像Ｇ（ｘ，ｙ）’を生成してもよい。
　Ｇ（ｘ，ｙ）’＝Ｇ（ｘ，ｙ）－Ｎ（ｘ，ｙ）
　この減算は、対応する画素同士で行われる。なお、補正係数αを定めておき、以下の式で補正を行ってもよい。
　Ｇ（ｘ，ｙ）’＝Ｇ（ｘ，ｙ）－α・Ｎ（ｘ，ｙ）
　αは、ノイズｎの振幅に応じて適応的に調節してもよい。
　以上がイメージング装置１００の構成である。続いてその動作を説明する。図３は、図１のイメージング装置１００の動作を説明する図である。
　照明装置１１０は、循環アダマールパターンにもとづく強度分布Ｉｒ（ｒ＝１，２，…ｍ）を有する照明光Ｓ１を順に物体ＯＢＪに照射する。物体からの反射光の強度ｓｒは、物体の反射率と照明光の強度分布Ｉｒと相関を有しており、照射パターンごとに変化していく。
　車載用のセンサの場合、光検出器１２０には、街灯や照明機器、他の車両のヘッドランプやテールランプの光が、ノイズ光ｎとして入射する。これらのノイズ光は、時間的に周期性を有している場合が多い。図３には、正弦波のノイズ光ｎが示される。ここではノイズ光ｎの周期は、アダマール循環パターンの照射周期の１／２である例が示される。
　光検出器１２０の出力にもとづく検出強度ｂｒは、信号成分ｓｒとノイズ成分ｎの両方を含んでいる。
　本発明者らは、アダマール行列にもとづくシングルピクセルイメージングについて検討した結果、周期的なノイズｎを含む検出強度ｂｒと強度分布Ｉｒの相関計算を行うと、その結果得られる復元画像Ｇ（ｘ，ｙ）中には、物体ＯＢＪの画像と区別可能な態様で、ノイズｎの影響が現れることを認識するに至った。
　図４は、周期ノイズを含む検出強度ｂｒから復元される画像を示す図である。ターゲットとしてアルファベットのＴを用いてシミュレーションを行った。アダマールパターンの照射枚数は１０２４とし、周期ノイズとして、標準偏差（ＳＤ）が１００の正弦波を用いている。図中に示される数値０．１，０．３，０．５，…，７０，９０は、ノイズｎの周期の間に照射されるパターンの枚数（ノイズに対する照射速度比）であり、図３の例では、この数値は８となる。図４の復元画像Ｇ（ｘ，ｙ）には、ターゲット画像Ｔに加えて、規則的な模様が現れており、この模様が、周期ノイズｎに起因するものである。
　図５は、ノイズのみを含む検出強度ｂｒから計算されるノイズ画像Ｎ（ｘ，ｙ）を示す図である。このノイズ画像Ｎ（ｘ，ｙ）は、図４の復元画像Ｇ（ｘ，ｙ）に現れる縞模様と一致している。
　図６は、図４の復元画像Ｇ（ｘ，ｙ）から、図５のノイズ画像Ｎ（ｘ，ｙ）を減算して得られる補正後の画像Ｇ（ｘ，ｙ）’を示す図である。この補正処理により、周期ノイズｎの影響を除去することができ、ターゲットの画像を高品質で構築できる。
　ランダムパターン（擬似熱光源）にもとづくゴーストイメージングでは、周期的なノイズの影響は、ターゲット画像と区別できない態様でランダムに発生していた。アダマール循環パターンを用いた場合に、周期ノイズｎにもとづく縞が、ターゲット画像と区別可能に現れることは、本発明者らが独自に見いだしたものであることに留意されたい。
　以上がイメージング装置１００の動作である。
　本実施形態によれば、周期的なノイズ光に起因する画像（ノイズ強度分布）Ｎ（ｘ，ｙ）を算出し、復元画像Ｇ（ｘ，ｙ）から減算することにより、周期的ノイズ光の影響を低減でき、良好な画像を得ることができる。
　続いて、ノイズ画像Ｎ（ｘ，ｙ）の生成について説明する。図７は、補正部１３６の構成例を示す回路図である。補正部１３６はノイズ画像生成部１３８および減算部１４０を備える。ノイズ画像生成部１３８は、検出強度ｂｒ（もしくはＤｒ）および循環パターンにもとづいて、ノイズ画像Ｎ（ｘ，ｙ）を再生する。図５に示すように、周期ノイズｎに起因する縞模様は、ノイズに対する照射速度比に依存することが分かる。そこで補正部１３６は、ノイズｎの周波数を検出して照射速度比を取得し、この比にもとづいて、縞模様すなわちノイズ画像Ｎ（ｘ，ｙ）を再生してもよい。ノイズｎの周波数は、検出強度ｂｒあるいは検出信号Ｄｒをフーリエ変換することにより取得してもよい。
　補正部１３６は、リアルタイムに生成されるｂｒから、パターンごとのノイズの強度を示すノイズ強度信号ｎｒを生成し、ノイズ強度信号ｎｒとアダマール循環パターンＩｒとの相関を採ることで、ノイズ画像Ｎ（ｘ，ｙ）を再生してもよい。たとえば補正部１３６は、検出強度ｂｒあるいは検出信号Ｄｒをフーリエ変換することによりノイズｎの周波数を取得し、取得した周波数を有する正弦波を再生してもよい。
　あるいは補正部１３６は、照射速度比ごとのノイズ画像Ｎ（ｘ，ｙ）を予め計算してメモリに保持しておいてもよい。そして現在のノイズｎの周波数に対応する照射速度比のノイズ画像Ｎ（ｘ，ｙ）をメモリから取得してもよい。
　実施形態１に関連する変形例を説明する。
（変形例１．１）
　本発明が適用可能な画像再構成のアルゴリズムはＧＩ（ゴーストイメージング）に限定されず、ＤＧＩ（差動型ゴーストイメージング）など他のアルゴリズムのセンシング装置にも適用可能である。
（変形例１．２）
　実施形態１では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（変形例１．３）
　実施形態１では、周期ノイズとして正弦波を仮定したが、本発明の適用はそれに限定されず、三角波や矩形波（パルス波）など、任意の周期ノイズに適用できる。ノイズの波形ごとに、ノイズ画像Ｎ（ｘ，ｙ）の縞は変化するが、それらは計算によって再現することができる。
　図８は、実施形態２に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、第１照明装置１１０、光検出器１２０、演算処理装置１３０、第２照明装置１４０を備える。イメージング装置１００を、シングルピクセルイメージングセンサ、あるいは量子レーダカメラとも称する。
　第１照明装置１１０は、実質的にランダムとみなしうる強度分布Ｉを有する不可視の第１照明光Ｓ１を生成し、物体ＯＢＪに照射する。第１照明光Ｓ１は、Ｍ通りの強度分布を含む第１パターンシーケンスＩ１～ＩＭが切りかえて照射される。第１照明光Ｓ１の波長やスペクトルは特に限定されないが、近赤外光や赤外光であってもよいし、紫外光であってもよい。
　第１照明装置１１０は、たとえば均一な強度分布を有する不可視光Ｓ０を生成する光源１１２と、この不可視光Ｓ０の強度分布を空間的に変調可能なパターニングデバイス１１４を含みうる。光源１１２は、レーザや発光ダイオードなどを用いてもよい。
　パターニングデバイス１１４としては、ＤＭＤ（Digital Micromirror Device）や液晶デバイスを用いることができる。
　光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｄｒを出力する（ｒ＝１，２，…Ｍ）。検出信号Ｄｒは、第１パターンＩｒを有する照明光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルのデバイス（フォトディテクタ）を用いることができる。光検出器１２０からは、第１パターンシーケンスＩ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。
　演算処理装置１３０は、パターン発生器１３２および再構成処理部１３４を含む。演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　パターン発生器１３２は、第１照明光Ｓ１の強度分布を指定する第１パターンシーケンスを発生する（ｒ＝１，２，…Ｍ）。
　再構成処理部１３４は、第１パターンシーケンスＩ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関をとることにより、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。相関には、式（３）の相関関数を用いてもよい。Ｉｒは、ｒ番目の第１パターンであり、ｂｒはｒ番目の検出強度の値である。
Figure JPOXMLDOC01-appb-M000003
　なお＜ｂ＞をゼロとして簡易的な計算を行ってもよい。
　検出強度ｂ１～ｂＭは、検出信号Ｄ１～ＤＭにもとづいている。検出強度ｂと検出信号Ｄの関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　ある第１パターンＩｒの第１照明光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｒは、ある時刻（あるいは微小時間）の受光量すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｒを複数回サンプリングし、検出強度ｂｒを、検出信号Ｄｒの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　光検出器１２０として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器１２０の出力Ｄｒをそのまま、検出強度ｂｒとすることができる。
　検出信号Ｄｒから検出強度ｂｒへの変換は、演算処理装置１３０が実行してもよいし、演算処理装置１３０の外部で行ってもよい。
　第２照明装置１４０は、第１照明装置１１０と同様に個別に制御可能な複数の発光画素を含み、強度分布が時間とともに第２パターンシーケンスＪ１～ＪＭにしたがって変化する可視の第２照明光Ｓ３を照射する。パターン発生器１３２は、検出強度ｂ１～ｂＭと、第１パターンシーケンスＩ１～ＩＭにもとづいて第２パターンシーケンスＪ１～ＪＭを生成する。第２パターンシーケンスＪ１～ＪＭのｒ番目のパターンＪｒは、式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
 　なお、＜ｂ＞＝０としてもよい。
　第２パターンシーケンスＪ１～ＪＭの各要素Ｊｒは、対応する検出強度ｂｒが確定した後に、計算することができる。したがって、第２パターンシーケンスＪ１～ＪＭは、第１パターンシーケンスＩ１～ＩＭに遅れて照射される。図９（ａ）～（ｃ）は、第１照明光Ｓ１および第２照明光Ｓ３の照射を説明する図である。
　図９（ａ）に示すように、第１パターンシーケンスＩ１～ＩＭの第１照明光Ｓ１を照射が完了した後に、第２パターンシーケンスＪ１～ＪＭの第２照明光Ｓ３を照射してもよい。
　図９（ｂ）に示すように、第１パターンＩｒの第１照明光Ｓ１と、第２パターンＪｒの第２照明光Ｓ３を交互に照射してもよい。
　図９（ｃ）に示すように、第１パターンシーケンスＩ１～ＩＭの第１照明光Ｓ１を連続照射しつつ、それから少し遅れて並列的に、第２パターンシーケンスＪ１～ＪＭの第２照明光Ｓ３を連続照射してもよい。
　式（２）の＜ｂ＞の項を計算によって生成する場合、図９（ａ）の照射を選択することとなる。式（２）の＜ｂ＞の項を定数とするか、あるいは何らかの推定値を用いる場合には、図９（ｂ）、（ｃ）の照射も採用できる。
　図９（ａ）～（ｃ）において、第１パターンシーケンスＩ１～ＩＭの照射時間と、第２パターンシーケンスＪ１～ＪＭの照射時間を等しく示しているが、それらは異なっていてもよい。
　なお、検出強度ｂｒは多階調信号であるから、第１照明光Ｓ１の強度分布がモノクロ二値（つまりオン、オフ）である場合に、第２照明光Ｓ３の強度分布Ｊｒ（ｘ，ｙ）は多階調となることに留意されたい。
　図８に戻る。第２照明光Ｓ３は白色光であってもよい。イメージング装置１００が、ＡＤＢ（Adaptive Driving Beam）用の配光可変ランプとともに使用される場合、この配光可変ランプを第２照明装置１４０として利用することができる。
　物体ＯＢＪによる第２照明光Ｓ３の反射光Ｓ４は、運転者（あるいは同乗者）の目に入射する。
　図１０は、第１照明装置１１０および第２照明装置１４０の構成例を示す図である。第１照明装置１１０は、光源１１２およびパターニングデバイス１１４を備える。第２照明装置１４０は、光源１４２とパターニングデバイス１１４を備える。光源１４２は均一な強度分布を有する可視光Ｓ５を生成する。パターニングデバイス１１４は、第１照明装置１１０と第２照明装置１４０とで共有されており、不可視光Ｓ０と、可視光Ｓ５を同様にパターニングする。パターニングデバイス１１４を共有することで、コストを下げることができる。
　以上がイメージング装置１００の構成である。続いてその動作を説明する。
　図１１は、図８のイメージング装置１００の動作を説明する図である。図１１は、霧の中におけるセンシングを示している。第１照明装置１１０が照射する第１照明光Ｓ１は、霧９００によって散乱されながら物体ＯＢＪに到達し、物体ＯＢＪによる反射光Ｓ２が、光検出器１２０によって検出される。第１照明光Ｓ１の強度分布は、第１パターンシーケンスＩ１～ＩＭにもとづいて変化する。光検出器１２０の出力にもとづく検出強度ｂ１～ｂＭと第１パターンシーケンスＩ１～ＩＭの相関計算によって、物体ＯＢＪの画像Ｇ（ｘ，ｙ）が再構成される。
　第２照明装置１４０は、第２パターンシーケンスＪ１～ＪＭにもとづく可視の第２照明光Ｓ３を、霧９００に向かって照射する。第２照明光Ｓ３は霧によって反射され、第２反射光Ｓ４は、運転者（あるいは同乗者）の目９０２に入射する。人間の目は、擬似的なローパスフィルタ、すなわち積分器として機能するため、人間の目において、式（１）の積算演算（Σ）が行われることとなり、運転者には、物体ＯＢＪの画像Ｇ（ｘ，ｙ）’が認識される。
　以上がイメージング装置１００の動作である。このイメージング装置１００によれば、車両前方の霧９００をスクリーンとして利用し、スクリーン上に第２パターンシーケンスＪ１～ＪＭにしたがって変化する可視の照明光Ｓ３を投影することにより、運転者の目に、物体ＯＢＪの像を認識させることができる。この技術によれば、車室内に、ＨＵＤなどのディスプレイデバイスがなくても、運転者に物体の画像を提示できる。
　また、第１照明光Ｓ１と第２照明光Ｓ３を同じ位置、あるいは近い位置に照射することにより、実際の物体ＯＢＪの位置とオーバーラップした位置、もしくはそれに近い位置に物体の像を投影することができるため、運転者の視線移動も最小限とすることができる。
　図１２は、図８のイメージング装置１００の別の動作を説明する図である。イメージング装置１００は、可視光カメラ９１０とともに使用される。
　図１２は、図１１と同様に霧の中におけるセンシングを示している。第１照明装置１１０が照射する第１照明光Ｓ１は、霧９００によって散乱されながら物体ＯＢＪに到達し、物体ＯＢＪによる反射光Ｓ２が、光検出器１２０によって検出される。第１照明光Ｓ１の強度分布は、第１パターンシーケンスＩ１～ＩＭにもとづいて変化する。光検出器１２０の出力にもとづく検出強度ｂ１～ｂＭと第１パターンシーケンスＩ１～ＩＭの相関計算によって、物体ＯＢＪの画像Ｇ（ｘ，ｙ）が再構成される。
　第２照明装置１４０は、第２パターンシーケンスＪ１～ＪＭにもとづく可視の第２照明光Ｓ３を、霧９００に向かって照射する。第２照明光Ｓ３は霧によって反射され、第２反射光Ｓ４は、可視光カメラ９１０に入射する。可視光カメラ９１０の露光時間が、第２パターンシーケンスＪ１～ＪＭの期間より長ければ、可視光カメラ９１０は積分器として機能するため、可視光カメラ９１０によって、式（１）の積算演算（Σ）が行われることとなり、物体ＯＢＪの画像Ｇ（ｘ，ｙ）’が生成される。
　通常の可視光カメラ９１０では、霧の向こう側の物体を撮影できないが、本実施形態に係るイメージング装置１００と併用すれば、可視光カメラ９１０によって、霧の向こうの物体を撮影することが可能となる。
　実施形態２に関連する変形例を説明する。
（変形例２．１）
　本開示が適用可能な画像再構成のアルゴリズムはＧＩ（ゴーストイメージング）に限定されず、ＤＧＩ（差動型ゴーストイメージング）など他のアルゴリズムのセンシング装置にも適用可能である。
（変形例２．２）
　実施形態では、第１照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。第１照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。第２照明装置１４０も同様である。
（用途）
　続いて実施形態１もしくは実施形態２に係るイメージング装置１００の用途を説明する。
　図１３は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに照明光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　図１４は、物体識別システム１０を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
　図１５は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、イメージング装置に関する。
ＯＢＪ…物体、１０…物体識別システム、４０…演算処理装置、４２…分類器、１００…イメージング装置、１１０…照明装置、１１２…光源、１１４…パターニングデバイス、１２０…光検出器、１３０…演算処理装置、１３２…パターン発生器、１３４…再構成処理部、１３６…補正部、１４０…第２照明装置、１４２…光源、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、３００…自動車、３０２…前照灯、３１０…灯具システム、３０４…車両側ＥＣＵ。

Claims (10)

  1. 　オン、オフが個別に制御可能な複数の発光画素を含み、アダマール行列にもとづく強度分布を有する照明光を照射する照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記光検出器の出力にもとづく検出強度と前記照明光の強度分布の相関計算により、前記物体の画像を再構成する再構成処理部と、
    　前記光検出器の出力に含まれる時間的な周期成分を検出し、前記周期成分にもとづくノイズ強度分布を演算し、前記ノイズ強度分布を利用して前記画像を補正する補正部と、
    　を備えることを特徴とするイメージング装置。
  2. 　前記補正部は、前記周期成分は正弦波であるとの前提で、前記ノイズ強度分布を生成することを特徴とする請求項１に記載のイメージング装置。
  3. 　前記補正部は、前記光検出器の出力をフーリエ変換し、周期成分の周波数を検出することを特徴とする請求項２に記載のイメージング装置。
  4. 　請求項１から３のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  5. 　請求項１から３のいずれかに記載のイメージング装置を備えることを特徴とする車両。
  6. 　個別に制御可能な複数の発光画素を含み、第１パターンシーケンスにしたがって強度分布が時間とともに変化する不可視の第１照明光を照射する第１照明装置と、
    　前記第１照明光が物体によって反射されて生成される第１反射光を測定する光検出器と、
    　前記光検出器の出力にもとづく検出強度と前記第１パターンシーケンスとの相関計算により、前記物体の画像を再構成する再構成処理部と、
    　個別に制御可能な複数の発光画素を含み、前記検出強度および前記第１パターンシーケンスにもとづいて生成される第２パターンシーケンスにしたがって強度分布が時間とともに変化する可視の第２照明光を照射する第２照明装置と、
    　を備えることを特徴とするイメージング装置。
  7. 　前記第２照明光は白色光であり、前記第２照明装置は、前照灯を兼ねていることを特徴とする請求項６に記載のイメージング装置。
  8. 　前記第１照明装置と前記第２照明装置は、パターニングデバイスが共通化されていることを特徴とする請求項６または７に記載のイメージング装置。
  9. 　請求項６から８のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  10. 　請求項６から９のいずれかに記載のイメージング装置を備えることを特徴とする車両。
PCT/JP2022/024580 2021-06-22 2022-06-20 イメージング装置および車両用灯具、車両 WO2022270476A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023530467A JPWO2022270476A1 (ja) 2021-06-22 2022-06-20

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021103592 2021-06-22
JP2021-103591 2021-06-22
JP2021103591 2021-06-22
JP2021-103592 2021-06-22

Publications (1)

Publication Number Publication Date
WO2022270476A1 true WO2022270476A1 (ja) 2022-12-29

Family

ID=84545709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024580 WO2022270476A1 (ja) 2021-06-22 2022-06-20 イメージング装置および車両用灯具、車両

Country Status (2)

Country Link
JP (1) JPWO2022270476A1 (ja)
WO (1) WO2022270476A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両
CN111986118A (zh) * 2020-08-31 2020-11-24 广东工业大学 一种加权核范数最小化的水下计算鬼成像图像去噪方法及系统
WO2022091972A1 (ja) * 2020-10-28 2022-05-05 株式会社小糸製作所 イメージング装置および車両用灯具、車両

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両
CN111986118A (zh) * 2020-08-31 2020-11-24 广东工业大学 一种加权核范数最小化的水下计算鬼成像图像去噪方法及系统
WO2022091972A1 (ja) * 2020-10-28 2022-05-05 株式会社小糸製作所 イメージング装置および車両用灯具、車両

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TORII TERUAKI, HARUSE YUTA, SUGIMOTO SHINTARO, KASABA YUSUKE: "Robustness assessment of ghost imaging Ⅱ -Periodic noise", LECTURE PREPRINTS OF THE 81ST JSAP AUTUMN MEETING, 2020, 26 August 2020 (2020-08-26), pages 8a-Z20, XP093016827 *
XIAO YIN; ZHOU LINA; CHEN WEN: "High-Quality Object Reconstruction Based on Ghost Imaging", 2019 PHOTONICS & ELECTROMAGNETICS RESEARCH SYMPOSIUM - FALL (PIERS - FALL), IEEE, 17 December 2019 (2019-12-17), pages 2903 - 2907, XP033734819, DOI: 10.1109/PIERS-Fall48861.2019.9021799 *
YUTA WADA: "Optical Correlation Computer Imaging Using Deep Learning", IMAGE SENSING SYMPOSIUM LECTURE MATERIALS (THE 26TH SYMPOSIUM ON SENSING VIA IMAGE INFORMATION), vol. 26th, 10 June 2020 (2020-06-10), pages IS3-02, XP009542029 *

Also Published As

Publication number Publication date
JPWO2022270476A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
JP6361631B2 (ja) 車載センサ、車両用灯具及び車両
US11275288B2 (en) Ballistic light modulations for image enhancement through fog
WO2020218282A1 (ja) イメージング装置、車両用灯具、自動車、イメージング方法
US20220132022A1 (en) Imaging device
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
US20230009034A1 (en) Imaging apparatus
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
JP2017085414A (ja) 撮像システム、車両用灯具及び車両
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
US12003839B2 (en) Imaging apparatus using ghost imaging
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
CN116457700A (zh) 感测装置、车辆用灯具、车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828393

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023530467

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE