WO2023085329A1 - イメージングシステム、センサユニット、車両用灯具、車両 - Google Patents

イメージングシステム、センサユニット、車両用灯具、車両 Download PDF

Info

Publication number
WO2023085329A1
WO2023085329A1 PCT/JP2022/041756 JP2022041756W WO2023085329A1 WO 2023085329 A1 WO2023085329 A1 WO 2023085329A1 JP 2022041756 W JP2022041756 W JP 2022041756W WO 2023085329 A1 WO2023085329 A1 WO 2023085329A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor unit
pattern
illumination light
imaging system
infrastructure
Prior art date
Application number
PCT/JP2022/041756
Other languages
English (en)
French (fr)
Inventor
輝明 鳥居
祐太 春瀬
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Publication of WO2023085329A1 publication Critical patent/WO2023085329A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • This disclosure relates to imaging technology.
  • An object identification system that senses the position and type of objects around the vehicle is used for automated driving and automatic control of headlamp light distribution.
  • An object identification system includes a sensor and a processor that analyzes the output of the sensor. Sensors are selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc., taking into consideration the application, required accuracy, and cost.
  • LiDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • millimeter-wave radar ultrasonic sonar
  • Ghost imaging illuminates an object while randomly switching the intensity distribution (pattern) of illumination light, and detects the photodetection intensity of the reflected light for each pattern.
  • the light detection intensity is the integral of energy or intensity over a plane, not the intensity distribution. Correlation calculation between the corresponding pattern and the light detection intensity is then performed to reconstruct a restored image of the object.
  • an imaging device using ghost imaging exhibits better characteristics than ordinary cameras in photographing under bad weather.
  • the present disclosure has been made in such a situation, and one of its exemplary purposes is to provide an imaging device that further improves image quality under bad weather.
  • An imaging system includes an infrastructure and a sensor unit provided on a mobile object.
  • the infrastructure includes an illumination device that irradiates a predetermined range with illumination light that is spatially modulated with a different pattern for each time slot.
  • the sensor unit has a photodetector that detects the reflected light of the illumination light reflected by the object, reproduces the pattern of the illumination light for each time slot, and determines the detection intensity and illumination light intensity based on the output of the photodetector for each time slot.
  • a processor for reconstructing a restored image of the object based on the pattern.
  • a sensor unit is mounted on a moving object and constitutes an imaging system together with infrastructure.
  • the infrastructure includes an illumination device that irradiates a predetermined range with illumination light that is spatially modulated with a different pattern for each time slot.
  • the sensor unit has a photodetector that detects the reflected light of the illumination light reflected by the object, reproduces the pattern of the illumination light for each time slot, and determines the detection intensity and illumination light intensity based on the output of the photodetector for each time slot.
  • a processor for reconstructing a restored image of the object based on the pattern.
  • the image quality of the imaging system can be further improved.
  • FIG. 1 illustrates an imaging system according to an embodiment
  • FIG. 2 is a block diagram of the imaging system of FIG. 1
  • FIG. It is a figure explaining the 1st sequence of an imaging system.
  • FIG. 10 is a diagram illustrating a second sequence of the imaging system;
  • FIG. 5(a) is a diagram showing the influence of noise in batch restoration, and
  • FIG. 5(b) is a diagram showing the influence of noise in division restoration.
  • FIG. 6(a) shows a target image, and FIG. 6(b) shows an image obtained by batch restoration and division restoration when noise does not exist.
  • FIG. 10 is a diagram showing a restored image G(x, y) obtained by collective restoration and divisional restoration when linear noise exists;
  • FIG. 11 is a diagram illustrating another sequence in TDGI mode; 9(a) and 9(b) are diagrams illustrating advantages of the imaging system. It is a figure explaining optical signal S4 for a synchronization.
  • 1 is a block diagram of an object identification system;
  • FIG. 1 is a block diagram of a vehicle with an object identification system;
  • FIG. 1 is a block diagram showing a vehicle lamp equipped with an object detection system;
  • An imaging system includes an infrastructure and a sensor unit provided on a mobile object.
  • the infrastructure includes an illumination device that irradiates a predetermined range with illumination light that is spatially modulated with a different pattern for each time slot.
  • the sensor unit has a photodetector that detects the reflected light of the illumination light reflected by the object, reproduces the pattern of the illumination light for each time slot, and determines the detection intensity and illumination light intensity based on the output of the photodetector for each time slot.
  • a processor for reconstructing a restored image of the object based on the pattern.
  • a sensor unit is mounted on a mobile body and constitutes an imaging system together with infrastructure.
  • the infrastructure includes an illumination device that irradiates a predetermined range with illumination light that is spatially modulated with a different pattern for each time slot.
  • the sensor unit has a photodetector that detects the reflected light of the illumination light reflected by the object, reproduces the pattern of the illumination light for each time slot, and determines the detection intensity and illumination light intensity based on the output of the photodetector for each time slot.
  • a processor for reconstructing a restored image of the object based on the pattern.
  • the patterned illumination light is irradiated onto the object after being scattered by fog or rain. Due to the scattering, the restored image is blurred and the image quality is degraded.
  • the lighting device that irradiates a predetermined range with illumination light is arranged independently from the sensor unit on the moving body side and placed in the infrastructure. Therefore, when the distance between the infrastructure and the object is short, the illumination light illuminates the object without being scattered by fog or rain, so blurring can be suppressed and image quality can be improved.
  • illumination light reciprocates between the moving object and the object.
  • the distance between the moving body and the object is L
  • the light propagates 2 ⁇ L and is scattered by fog and rain twice, resulting in a large amount of attenuation.
  • the lighting device that irradiates the predetermined range with the illumination light is arranged independently from the sensor unit on the moving body side and arranged in the infrastructure. Therefore, when the distance between the moving object and the object is L, and the distance l between the infrastructure and the object satisfies l ⁇ L, the light propagation distance L+l becomes shorter than 2 ⁇ L, so the amount of light attenuation is reduced. be able to.
  • Single-pixel imaging with patterned illumination has the advantage of being less susceptible to fog and rain, and reduced attenuation can make this advantage even more pronounced.
  • the illumination light generated by the infrastructure can be sensed by multiple moving objects.
  • one infrastructure can be shared by multiple sensor units.
  • hardware resources are saved when looking at the entire transportation society.
  • the lighting device periodically emits a synchronization optical signal
  • the processor synchronizes with the lighting device based on the reception of the synchronization optical signal.
  • the pattern of the synchronizing optical signal is determined so as to be easily discriminated by the arithmetic processing unit. As a result, synchronization between the moving object and the infrastructure can be achieved by the synchronizing optical signal.
  • the sensor unit may further comprise a communication module capable of receiving information from the infrastructure.
  • the information may include at least one of lighting device specific information, synchronization information, and pattern information.
  • the intensity distribution is random in this specification does not mean that it is completely random, but it is sufficient if it is random enough to reconstruct an image in ghost imaging. Therefore, “random” in this specification can include a certain degree of regularity therein. Also, “random” does not require unpredictability, but may be predictable and reproducible.
  • FIG. 1 is a diagram illustrating an imaging system 400 according to an embodiment.
  • Imaging system 400 is a correlation function image sensor that uses the principle of ghost imaging (also called single-pixel imaging).
  • Imaging system 400 comprises infrastructure 410 and vehicle 420 .
  • the infrastructure 410 includes the lighting device 110 .
  • the illumination device 110 is a pseudo thermal light source, generates illumination light S1 having a spatial intensity distribution I(x, y) that can be regarded as substantially random, and irradiates a predetermined range.
  • the illumination light S1 is sequentially irradiated a plurality of M times while randomly changing its intensity distribution.
  • the mobile object 420 is a vehicle such as an automobile or a motorcycle.
  • a moving body 420 includes a sensor unit 100 .
  • the sensor unit 100 is also called a quantum radar camera.
  • the sensor unit 100 senses the reflected light S2 of the illumination light S1 reflected by the object OBJ existing within a predetermined range, and generates an image of the object OBJ.
  • FIG. 2 is a block diagram of the imaging system 400 of FIG.
  • Illumination device 110 includes light source 112 , patterning device 114 and pattern generator 116 .
  • Light source 112 produces light S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112 .
  • the wavelength and spectrum of the illumination light S1 are not particularly limited, and may be white light having multiple or continuous spectra, or monochromatic light including a predetermined wavelength.
  • the wavelength of the illumination light S1 may be infrared or ultraviolet.
  • the infrastructure 410 can also be used as an electric light.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured to be able to spatially modulate the light intensity distribution I based on a combination of ON and OFF of the plurality of pixels.
  • a pixel in an ON state is called an ON pixel
  • a pixel in an OFF state is called an OFF pixel.
  • each pixel takes only two values (1, 0) of ON and OFF, but it is not limited to this and may take intermediate gradations.
  • a reflective DMD Digital Micromirror Device
  • a transmissive liquid crystal device can be used as the patterning device 114 .
  • a pattern signal PTN image data generated by a pattern generator 116 is applied to the patterning device 114 .
  • Sensing by the sensor unit 100 is performed with M patterned irradiations as one set, and one restored image is generated corresponding to the M patterned irradiations.
  • One sensing based on M pattern irradiations is called one frame. That is, one frame includes M time slots.
  • the sensor unit 100 includes a photodetector 120, an arithmetic processing unit 130, and a communication module 140.
  • the photodetector 120 measures reflected light of the illumination light S1 reflected by the object OBJ, and outputs a detection signal Dr.
  • the detection signal Dr is a spatial integrated value of light energy (or intensity) incident on the photodetector 120 when the object OBJ is irradiated with illumination light having the intensity distribution Ir . Therefore, the photodetector 120 can use a single-pixel photodetector.
  • the photodetector 120 outputs a plurality of detection signals D 1 to D M respectively corresponding to a plurality of M intensity distributions I 1 to I M .
  • the arithmetic processing device 130 includes a pattern generator 132 and a reconstruction processing section 134 .
  • the pattern generator 132 reproduces (replicates) the pattern Ir of the illumination light S1 for each time slot TS. For example, between pattern generator 116 and pattern generator 132, a set of patterns to be used may be predetermined.
  • the pattern generator 116 and the pattern generator 132 may share a seed in advance, and the pattern generated by the pattern generator 116 may be reproduced by the pattern generator 132 .
  • the pattern generator 132 should be able to generate the same pattern as the pattern generated by the pattern generator 116 by some method.
  • the reconstruction processing unit 134 reconstructs the restored image G(x, y) of the object based on the detection intensity b r based on the output of the photodetector 120 obtained in each time slot TS and the pattern I r of the illumination light S1. Configure.
  • the reconstruction processing unit 134 generates a plurality of intensity distributions (also called random patterns) I 1 to I M obtained in a plurality of time slots TS 1 to TS M , and a plurality of detected intensities b 1 to b M , and reconstructs the restored image G(x, y) of the object OBJ.
  • Ir is the rth intensity distribution and br is the rth detected intensity value.
  • the detected intensities b 1 -b M are based on the detected signals D 1 -D M .
  • the relationship between the detected intensity and the detected signal may be determined in consideration of the type and system of the photodetector 120 .
  • the detection signal Dr represents the amount of light received at a certain time (or minute time), that is, an instantaneous value.
  • the detection signal Dr may be sampled multiple times during the irradiation period, and the detection strength b r may be the integrated value, average value, or maximum value of all sampled values of the detection signal Dr.
  • some of all sampled values may be selected, and the integrated value, average value, or maximum value of the selected sampled values may be used. Selection of a plurality of sampled values may be performed, for example, by extracting the order x-th to y-th counting from the maximum value, excluding sampled values lower than an arbitrary threshold, or You may extract the sampling value of the small range.
  • the output Dr of the photodetector 120 can be directly used as the detection intensity br .
  • the conversion from the detection signal Dr to the detection intensity b r may be performed by the processing unit 130 or may be performed outside the processing unit 130 .
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), MPU (Micro Processing Unit), or microcomputer, and a software program executed by the processor (hardware).
  • processor hardware
  • processing unit 130 may be a combination of multiple processors.
  • the arithmetic processing unit 130 may be composed only of hardware.
  • the functions of the arithmetic processing unit 130 may be realized by software processing, hardware processing, or a combination of software processing and hardware processing.
  • software processing is implemented by combining processors (hardware) such as CPUs (Central Processing Units), MPUs (Micro Processing Units), microcomputers, and software programs executed by the processors (hardware).
  • processors hardware
  • hardware processing is implemented by hardware such as ASIC (Application Specific Integrated Circuit), controller IC, and FPGA (Field Programmable Gate Array).
  • the above is the basic configuration of the sensor unit 100.
  • FIG. 3 is a diagram explaining the first sequence of the imaging system 400. As shown in FIG. FIG. 3 shows a time chart of sensing of one frame of the imaging system 400 . In this sequence, the average value ⁇ b> is calculated and the correlation calculation is started after M times of irradiation are completed, that is, after measurement of M time slots TS 1 to TS M is completed.
  • the second sequence is called Time Divisional ghost Imaging (TDGI).
  • TDGI Time Divisional ghost Imaging
  • the reconstructed image generation processing in the reconstruction processing unit 134 of the arithmetic processing unit 130 is performed by dividing M times of irradiation into a plurality of k (k ⁇ 2) units. Specifically, the reconstruction processing unit 134 performs correlation calculation for each divided unit to generate an intermediate image M j (x, y). Then, k intermediate images M 1 (x, y) to M k (x, y) obtained for k units are combined to generate a final restored image G TDGI (x, y).
  • the restored image G TDGI (x, y) in this case is represented by Equation (2).
  • I r is the r-th intensity distribution
  • b r is the value of the r-th detected intensity
  • ⁇ b r [j]> is the average value of the detected intensity b r measured in the j-th unit.
  • the j-th term on the right side of equation (2) represents the intermediate image M j (x, y) of the j-th unit. Therefore, the restored image G TDGI (x, y) is synthesized by simply adding the corresponding pixels of the plurality of intermediate images M j (x, y). Note that the combining method is not limited to simple addition, and weighted addition or other processing may be performed.
  • FIG. 4 is a diagram explaining the second sequence of the imaging system 400.
  • FIG. 4 is a diagram explaining the second sequence of the imaging system 400.
  • the reconstruction image G TDGI is generated by dividing it into k units each containing n exposures.
  • the first unit includes the 1st to nth irradiations, the detected intensities b 1 to bn corresponding to the n irradiations are generated, and their average value ⁇ b r [1]> is generated. Then, correlation calculation is performed using the detected intensities b 1 to b n , their average values ⁇ b r [1]>, and the intensity distributions I 1 to I n , and the intermediate image M 1 (x, y) is generated.
  • the second unit contains the n+1 to 2n exposures, the detected intensities b n+1 to b 2n corresponding to the n exposures are generated, and their average value ⁇ b r [2]> is generated. Then, correlation calculation is performed using the detected intensities b n+1 to b 2n , their average values ⁇ b r [2]>, and the intensity distributions I n+1 to I 2n , and the intermediate image M 2 (x, y) is generated.
  • the j-th unit includes (j-1)n+1 to jn-th irradiation, and the detection intensities b (j-1)n+1 to b jn corresponding to the n-th irradiation are generated, and their average A value ⁇ b r [j]> is generated. Then, correlation calculation is performed using the detected intensities b (j ⁇ 1)n+1 to b jn , their average values ⁇ b r [j]>, and the intensity distributions I (j ⁇ 1)n+1 to I jn , An intermediate image M j (x,y) is generated.
  • the last k-th unit contains the (k ⁇ 1)n+1 to kn-th irradiations, and the detected intensities b (k ⁇ 1)n+1 to b kn corresponding to the n irradiations are generated, and their average ⁇ b r [k]> is generated. Then, correlation calculation is performed using the detected intensities b (k ⁇ 1)n+1 to b kn , their average values ⁇ b r [k]>, and the intensity distributions I (k ⁇ 1)n+1 to I kn , An intermediate image M k (x,y) is generated.
  • a final restored image G(x, y) is generated by synthesizing the k intermediate images M 1 (x, y) to M k (x, y).
  • the above is the operation of the TDGI mode.
  • the TDGI mode by dividing the correlation calculation into units and performing it, the amount of noise change per correlation calculation can be reduced, the restoration accuracy can be increased, and the image quality can be improved.
  • correlation calculation can be started without waiting for the completion of M irradiations, the time required to generate a restored image can be shortened.
  • Imaging using correlation calculation for each unit based on Equation (2) is hereinafter also referred to as segmentation reconstruction.
  • conventional imaging using correlation calculation based on equation (1) is referred to as collective reconstruction.
  • linear noise For example, consider noise that monotonously increases over time (referred to as linear noise). Such linear noise can occur in cases where the distance between the noise source and the photodetector approaches over time.
  • FIG. 5(a) is a diagram showing the influence of noise in batch restoration
  • FIG. 5(b) is a diagram showing the influence of noise in division restoration.
  • the horizontal axis represents the irradiation pattern number, that is, the time.
  • the integrated value over all irradiation can be obtained by multiplying the value of equation (5) by k, which is kn 2 ⁇ /4.
  • FIG. 6(a) shows a target image
  • FIG. 6(b) shows an image obtained by batch restoration and division restoration when noise does not exist.
  • M 100000 is required in order to restore the original target image to a recognizable degree, and the same is true for segmented restoration.
  • FIG. 7 is a diagram showing a restored image G(x, y) obtained by collective restoration and divisional restoration when linear noise exists.
  • FIG. 8 is a diagram explaining another sequence in the TDGI mode.
  • the illumination light S1 is continuously emitted, and the correlation calculation is performed every n times of irradiation to generate the intermediate image M(x, y).
  • a restored image G(x, y) is generated by synthesizing the latest k intermediate images M(x, y).
  • the restored image G(x, y) can be updated every n times of irradiation, so the update rate can be increased.
  • FIG. 9A and 9B are diagrams illustrating advantages of the imaging system 400.
  • FIG. 9( a ) shows sensing in the comparative technique
  • FIG. 9( b ) shows sensing by the imaging system 400 .
  • the patterned illumination light S1 is irradiated onto the object OBJ after being scattered by fog or rain. Due to the scattering, the restored image is blurred and the image quality is degraded.
  • the illumination light S1 is irradiated onto the object without being scattered by fog or rain. Therefore, it is possible to suppress blurring due to the influence of scattering and improve the image quality.
  • the distance between the moving body 420 and the object OBJ is L.
  • the light emitted from the illumination device of the moving body 420 travels a distance of 2 ⁇ L before returning to the photodetector.
  • the illumination device 110 is provided in the infrastructure 410 .
  • the distance between the infrastructure 410 and the object is l
  • the light propagation distance is L+l. That is, in the imaging system 400, when l ⁇ L, the light propagation distance can be shortened compared to the comparative technique, and attenuation due to light scattering can be reduced. As a result, the image quality of the restored image can be improved.
  • the distance l between the lighting device 110 and the object OBJ can be shortened. Therefore, pedestrians at intersections and sidewalks, and other traffic participants such as automobiles can be quickly detected from a distance.
  • the patterns generated by pattern generator 116 and pattern generator 132 must be matched and synchronized.
  • the illumination light generated by the illumination device 110 can be used.
  • FIG. 10 is a diagram for explaining the synchronizing optical signal S4.
  • the illumination device 110 periodically emits a synchronization optical signal S4.
  • the synchronizing optical signal S4 may be generated prior to the first frame for each frame or for each of a plurality of frames.
  • the pattern generator 132 synchronizes with the pattern generator 116 and generates the same pattern as the pattern generator 116 based on the synchronizing optical signal S4.
  • the pattern and intensity distribution of the synchronizing optical signal S4 are determined so that they can be easily distinguished by the arithmetic processing unit 130.
  • the synchronizing optical signal S4 may be spatially uniform.
  • the synchronizing optical signal S4 may be spatially regularly modulated, for example having a simple predetermined pattern.
  • Information may be transmitted from the infrastructure 410 to the mobile object 420 using the synchronizing optical signal S4. For example, when switching the pattern set for each frame, information designating the pattern set may be transmitted using the synchronizing optical signal S4.
  • Mobile unit 420 includes communication module 140 .
  • the communication module 140 is capable of communicating with the communication device 412 of the infrastructure 410 and obtains information of the infrastructure 410 . Communication between the communication device 412 and the communication module 140 may be performed directly or via a base station (not shown).
  • the information received by communication module 140 may include at least one of the following.
  • Unique Information of Lighting Device 110 The unique information is exemplified by the position and ID (identifier) of the lighting device 110 .
  • Synchronization information is information necessary for synchronizing the pattern generator 116 and the pattern generator 132 . This synchronization information can be used in addition to or instead of the synchronization optical signal S4 described above.
  • Pattern information indicates a set of patterns.
  • the pattern information may include the ID of the set, or may include the seed of the random pattern.
  • the sensor unit 100 monitors the amount of reflected light S2 received by the photodetector 120, and if the amount of light received is small, requests the infrastructure 410 to increase the amount of illumination light S1. is large, the infrastructure 410 may be requested to reduce the light intensity of the illumination light S1.
  • Modification 1 In the embodiment, in the TDGI mode, the number of times of irradiation for each unit is assumed to be equal, but this is not the only option, and the number of times of irradiation for each unit may not be equal.
  • the unit number k is fixed, but the unit number k may be dynamically controlled. Image quality can be further improved by selecting the optimum number of units k according to the noise fluctuation speed and noise waveform.
  • illumination device 110 is configured by a combination of light source 112 and patterning device 114, but this is not the only option.
  • the illumination device 110 is composed of an array of multiple semiconductor light sources (LEDs (light emitting diodes) and LDs (laser diodes)) arranged in a matrix, and can control the on/off (or brightness) of each semiconductor light source.
  • LEDs light emitting diodes
  • LDs laser diodes
  • Modification 4 a technique using correlation calculation has been described as a ghost imaging (or single pixel imaging) technique, but the image reconstruction technique is not limited to this.
  • analytical methods using Fourier transform and Hadamard inverse transform methods for solving optimization problems such as sparse modeling, and algorithms using AI / machine learning, Images may be reconstructed.
  • FIG. 11 is a block diagram of the object identification system 10. As shown in FIG. This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines types (categories) of objects OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging system 400 and an arithmetic processing unit 40 .
  • Imaging system 400 generates restored image G of object OBJ by irradiating object OBJ with illumination light S1 and detecting reflected light S2, as described above.
  • the arithmetic processing unit 40 processes the output image G of the imaging system 400 and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ contained therein.
  • Classifier 42 is implemented based on a model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN , DSSD (Deconvolution-SSD), Mask R-CNN, etc., or algorithms that will be developed in the future.
  • the above is the configuration of the object identification system 10.
  • Using the imaging system 400 as a sensor for the object identification system 10 provides the following advantages.
  • the imaging system 400 that is, the quantum radar camera
  • the noise immunity is greatly improved. For example, when driving in rain, snow, or fog, it is difficult to recognize the object OBJ with the naked eye. A restored image G can be obtained.
  • the illumination device 110 is provided in the infrastructure 410, the propagation distance of light can be shortened, which is advantageous for improving image quality.
  • FIG. 12 is a block diagram of an automobile equipped with the object identification system 10.
  • FIG. Automobile 300 includes headlights 302L and 302R.
  • Sensor unit 100 is built in at least one of headlights 302L and 302R.
  • the headlight 302 is positioned at the extreme end of the vehicle body and is the most advantageous location for installing the sensor unit 100 in terms of detecting surrounding objects.
  • FIG. 13 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes a lamp system 310 together with a vehicle-side ECU 304 .
  • a vehicle lamp 200 includes a light source 202 , a lighting circuit 204 and an optical system 206 .
  • the vehicle lamp 200 is provided with an object detection system 210 .
  • the object detection system 210 corresponds to the parts of the object identification system 10 described above excluding the infrastructure 410 , and includes the sensor unit 100 and the processor 40 .
  • Information on the object OBJ detected by the processing unit 40 may be used for light distribution control of the vehicle lamp 200 .
  • the lamp-side ECU 208 generates an appropriate light distribution pattern based on the information about the type and position of the object OBJ generated by the arithmetic processing unit 40 .
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp-side ECU 208 .
  • Information regarding the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle-side ECU 304 .
  • the vehicle-side ECU may perform automatic driving based on this information.
  • This disclosure relates to imaging technology.
  • OBJ... Object 10 ... Object identification system 40... Processing unit 42... Classifier S1... Illumination light S2... Reflected light S4... Optical signal for synchronization 400... Imaging system 410... Infrastructure 412... Communication Apparatus 420 Moving object 100 Sensor unit 110 Lighting device 112 Light source 114 Patterning device 116 Pattern generator 120 Photodetector 130 Arithmetic processing device 132 Pattern generator DESCRIPTION OF SYMBOLS 134... Reconfiguration processing part 140... Communication module 200... Vehicle lamp 202... Light source 204... Lighting circuit 206... Optical system 300... Automobile 302... Headlight 304... Vehicle side ECU 310... lighting system.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

イメージングシステム４００は、インフラ４１０とセンサユニット１００を備える。センサユニット１００は、移動体４２０に設けられる。インフラ４１０に設けられた照明装置１１０は、タイムスロット毎に異なるパターンで空間的に変調された照明光Ｓ１を照射する。センサユニット１００は、物体ＯＢＪが照明光Ｓ１を反射した反射光Ｓ２を検出する。演算処理装置１３０は、タイムスロットごとの照明光Ｓ１のパターンを再生し、タイムスロットごとの光検出器１２０の出力にもとづく検出強度と照明光Ｓ１のパターンにもとづいて、物体ＯＢＪの復元画像Ｇを再構成する。

Description

イメージングシステム、センサユニット、車両用灯具、車両
　本開示は、イメージング技術に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、照明光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を検出する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関計算を行い、物体の復元画像を再構成（reconstruct）する。
　通常のカメラでは、悪天候下、具体的には霧や雨の中では、前方の物体を高画質で撮影することが難しい。一方、ゴーストイメージングを利用したイメージング装置は、悪天候下の撮影において、通常のカメラに比べて優れた特性を示す。
特許第６４１２６７３号公報 国際公開ＷＯ２０２０／２１８２８２号 国際公開ＷＯ２０２１／０７９８１０号
　本開示は係る状況においてなされたものであり、その例示的な目的のひとつは、悪天候下における画質をさらに改善したイメージング装置の提供にある。
　本開示のある態様は、イメージングシステムに関する。イメージングシステムは、インフラと、移動体に設けられたセンサユニットと、を備える。インフラは、タイムスロット毎に異なるパターンで空間的に変調された照明光を所定範囲に照射する照明装置を備える。センサユニットは、物体が照明光を反射した反射光を検出する光検出器と、タイムスロットごとの照明光のパターンを再生し、タイムスロットごとの光検出器の出力にもとづく検出強度と照明光のパターンにもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。
　本開示の別の態様は、センサユニットである。このセンサユニットは、移動体に搭載され、インフラとともにイメージングシステムを構成する。インフラは、タイムスロット毎に異なるパターンで空間的に変調された照明光を所定範囲に照射する照明装置を備える。センサユニットは、物体が照明光を反射した反射光を検出する光検出器と、タイムスロットごとの照明光のパターンを再生し、タイムスロットごとの光検出器の出力にもとづく検出強度と照明光のパターンにもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。
　本開示のある態様によれば、イメージングシステムの画質をさらに改善できる。
実施形態に係るイメージングシステムを示す図である。 図１のイメージングシステムのブロック図である。 イメージングシステムの第１シーケンスを説明する図である。 イメージングシステムの第２シーケンスを説明する図である。 図５（ａ）は、一括復元におけるノイズの影響を示す図であり、図５（ｂ）は、分割復元におけるノイズの影響を示す図である。 図６（ａ）は、ターゲット画像を、図６（ｂ）は、ノイズが存在しないときの、一括復元と分割復元により得られる画像を示す図である。 線形ノイズが存在するときの、一括復元と分割復元により得られる復元画像Ｇ（ｘ，ｙ）を示す図である。 ＴＤＧＩモードの別のシーケンスを説明する図である。 図９（ａ）、（ｂ）は、イメージングシステムの利点を説明する図である。 同期用光信号Ｓ４を説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。この概要は、考えられるすべての実施形態の包括的な概要ではなく、すべての実施形態の重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
　一実施形態に係るイメージングシステムは、インフラと、移動体に設けられたセンサユニットと、を備える。インフラは、タイムスロット毎に異なるパターンで空間的に変調された照明光を所定範囲に照射する照明装置を備える。センサユニットは、物体が照明光を反射した反射光を検出する光検出器と、タイムスロットごとの照明光のパターンを再生し、タイムスロットごとの光検出器の出力にもとづく検出強度と照明光のパターンにもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。
　一実施形態に係るセンサユニットは、移動体に搭載され、インフラとともにイメージングシステムを構成する。インフラは、タイムスロット毎に異なるパターンで空間的に変調された照明光を所定範囲に照射する照明装置を備える。センサユニットは、物体が照明光を反射した反射光を検出する光検出器と、タイムスロットごとの照明光のパターンを再生し、タイムスロットごとの光検出器の出力にもとづく検出強度と照明光のパターンにもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。
　照明装置が移動体に搭載される構成では、パターニングされた照明光が、霧や雨による散乱を受けた後に、物体に照射される。そのため散乱の影響で、復元された画像にボケが生じ、画質が劣化する。これに対して上記構成では、照明光を所定範囲に照射する照明装置を、移動体側のセンサユニットから独立させ、インフラに配置している。したがって、インフラと物体の距離が近い状況では、照明光は、霧や雨による散乱を受けずに物体に照射されることとなるためボケを抑制でき、画質を改善できる。
　さらに、照明装置が移動体に搭載される構成では、照明光が、移動体と物体の間を往復する。移動体と物体の距離をＬとすると、光は、２×Ｌ、伝搬することになり、霧や雨による散乱を２回受けることとなり、減衰量が大きくなる。これに対して、上記構成では、照明光を所定範囲に照射する照明装置を、移動体側のセンサユニットから独立させ、インフラに配置している。したがって、移動体と物体の距離がＬであり、インフラと物体の距離ｌが、ｌ＜Ｌを満たす状況では、光の伝搬距離Ｌ＋ｌは、２×Ｌより短くなるため、光の減衰量を減らすことができる。パターニングされた照明光を利用したシングルピクセルイメージングは霧や雨の影響を受けにくいという利点を有するところ、減衰量を減らすことで、この利点をさらに顕著なものとすることができる。
　また、インフラが生成する照明光を、複数の移動体によってセンシングすることができる。言い換えると、ひとつのインフラが、複数のセンサユニットで共有される構成を取ることができる。この場合、交通社会全体を見たときのハードウェア資源の節約となっている。
　一実施形態において、照明装置は、同期用光信号を定期的に照射し、演算処理装置は、同期用光信号の受光にもとづいて、照明装置との同期をとる。同期用光信号のパターンは、演算処理装置において判別しやすいように定められる。これにより、同期用光信号によって、移動体とインフラの同期を取ることができる。
　一実施形態において、センサユニットは、インフラから情報を受信可能な通信モジュールをさらに備えてもよい。
　一実施形態において、情報は、照明装置の固有情報、同期情報、パターン情報の少なくともひとつを含んでもよい。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
（実施形態）
　以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
（実施形態１）
　図１は、実施形態に係るイメージングシステム４００を示す図である。イメージングシステム４００はゴーストイメージング（シングルピクセルイメージングともいう）の原理を用いた相関関数イメージセンサである。イメージングシステム４００は、インフラ４１０および移動体４２０を備える。
　インフラ４１０は、照明装置１１０を備える。照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる空間強度分布Ｉ（ｘ，ｙ）を有する照明光Ｓ１を生成し、所定範囲に照射する。照明光Ｓ１は、その強度分布を複数のＭ回、ランダムに変化させながらシーケンシャルに照射される。
　続いて移動体４２０について説明する。移動体４２０は、自動車やオートバイなどの車両である。移動体４２０は、センサユニット１００を備える。センサユニット１００を、量子レーダカメラとも称する。センサユニット１００は、所定範囲内に存在する物体ＯＢＪが照明光Ｓ１を反射した反射光Ｓ２をセンシングし、物体ＯＢＪの画像を生成する。
　図２は、図１のイメージングシステム４００のブロック図である。
　先にインフラ４１０側の構成を説明する。照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１１６を含む。光源１１２は、均一な強度分布を有する光Ｓ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。照明光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。照明光Ｓ１の波長は、赤外あるいは紫外であってもよい。
　照明光Ｓ１を白色光とする場合、インフラ４１０は、電灯と兼用することができる。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１１６が発生するパターン信号ＰＴＮ（画像データ）が与えられている。
　パターン発生器１１６は、照明光Ｓ１の強度分布Ｉｒを指定するパターン信号ＰＴＮｒを発生し、タイムスロットごとに、パターン信号ＰＴＮｒを切り替える（ｒ＝１，２，…Ｍ）。これにより、光Ｓ０がタイムスロットごとに異なるパターンで空間的に変調され、照明光Ｓ１が生成される。センサユニット１００によるセンシングは、Ｍ個のパターン照射を１セットとして行われ、Ｍ個のパターン照射に対応して１個の復元画像が生成される。Ｍ個のパターン照射にもとづく１回のセンシングを１フレームと称する。つまり１フレームは、Ｍ個のタイムスロットを含む。
　続いて移動体４２０側の構成を説明する。
　センサユニット１００は、光検出器１２０、演算処理装置１３０、通信モジュール１４０を備える。
　光検出器１２０は、物体ＯＢＪが照明光Ｓ１を反射した反射光を測定し、検出信号Ｄｒを出力する。検出信号Ｄｒは、強度分布Ｉｒを有する照明光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。
　演算処理装置１３０は、パターン発生器１３２、再構成処理部１３４を含む。パターン発生器１３２は、タイムスロットＴＳごとの照明光Ｓ１のパターンＩｒを再生（複製）する。たとえば、パターン発生器１１６とパターン発生器１３２の間で、使用するパターンのセットを予め定めておいてもよい。
　擬似ランダムパターンを使用する場合には、パターン発生器１１６とパターン発生器１３２においてシードを予め共有してき、パターン発生器１３２によってパターン発生器１１６が生成するパターンを再生してもよい。
　つまりパターン発生器１３２は、何らかの手法によって、パターン発生器１１６が発生するパターンと同じパターンを生成できればよい。
　再構成処理部１３４は、タイムスロットＴＳごとに得られる光検出器１２０の出力にもとづく検出強度ｂｒと照明光Ｓ１のパターンＩｒにもとづいて、物体の復元画像Ｇ（ｘ，ｙ）を再構成する。
　具体的には再構成処理部１３４は、複数のタイムスロットＴＳ１～ＴＳＭにおいて得られる、複数の強度分布（ランダムパターンともいう）Ｉ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関計算を行い、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。
Figure JPOXMLDOC01-appb-M000001
 　Ｉｒは、ｒ番目の強度分布であり、ｂｒはｒ番目の検出強度の値である。
　検出強度ｂ１～ｂＭは、検出信号Ｄ１～ＤＭにもとづいている。検出強度と検出信号の関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　ある強度分布Ｉｒの照明光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｒは、ある時刻（あるいは微小時間）の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｒを複数回サンプリングし、検出強度ｂｒを、検出信号Ｄｒの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　光検出器１２０として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器１２０の出力Ｄｒをそのまま、検出強度ｂｒとすることができる。
　検出信号Ｄｒから検出強度ｂｒへの変換は、演算処理装置１３０が実行してもよいし、演算処理装置１３０の外部で行ってもよい。
　演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　演算処理装置１３０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なお演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Application Specific Integrated Circuit）やコントローラＩＣ、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアで実装される。
　以上がセンサユニット１００の基本構成である。
　続いてその動作を説明する。イメージングシステム４００によるセンシングにはいくつかのシーケンス（モード）があり得る。以下、それらを説明する。
（第１シーケンス）
　図３は、イメージングシステム４００の第１シーケンスを説明する図である。図３には、イメージングシステム４００の１フレームのセンシングのタイムチャートが視される。このシーケンスでは、Ｍ回の照射の完了後つまりＭ個のタイムスロットＴＳ１～ＴＳＭの測定完了後に、平均値＜ｂ＞を算出して、相関計算を開始する。
（第２シーケンス）
　第２シーケンスは、時分割ゴーストイメージング（ＴＤＧＩ：Time Divisional Ghost Imaging）と称される。演算処理装置１３０の再構成処理部１３４における復元画像の生成処理は、Ｍ回の照射を複数ｋ個（ｋ≧２）のユニットに分割して行われる。具体的には再構成処理部１３４は、分割したユニットごとに相関計算を行って中間画像Ｍｊ（ｘ，ｙ）を生成する。そしてｋ個のユニットについて得られたｋ個の中間画像Ｍ１（ｘ，ｙ）～Ｍｋ（ｘ，ｙ）を合成し、最終的な復元画像ＧＴＤＧＩ（ｘ，ｙ）を生成する。
　簡単のため、各ユニットの照射回数ｎは等しくＭ／ｋであるとする。この場合の復元画像ＧＴＤＧＩ（ｘ，ｙ）は、式（２）で表される。Ｉｒは、ｒ番目の強度分布であり、ｂｒはｒ番目の検出強度の値であり、＜ｂｒ［ｊ］＞は、ｊ番目のユニットにおいて測定された検出強度ｂｒの平均値である。
Figure JPOXMLDOC01-appb-M000002
 　式（２）の右辺のｊ番目の項は、ｊ番目のユニットの中間画像Ｍｊ（ｘ，ｙ）を表す。したがって、復元画像ＧＴＤＧＩ（ｘ，ｙ）は、複数の中間画像Ｍｊ（ｘ，ｙ）の対応する画素同士を単純加算することにより合成されている。なお、合成の方法は単純加算に限定されず、重み付け加算やその他の処理を行ってもよい。
　言い換えると、演算処理装置１３０は、ｎ＝Ｍ／ｋ回の照射ごとに相関計算を行う。そして、ｋ個の中間画像Ｍ（ｘ，ｙ）を合成することにより、復元画像ＧＴＤＧＩ（ｘ，ｙ）を生成する。
　図４は、イメージングシステム４００の第２シーケンスを説明する図である。
　図４では、パターニングデバイス１１４の全画素数はｐ＝４×４＝１６画素で簡略化して表され、１枚の復元画像Ｇ（ｘ，ｙ）の生成（１フレームの撮影）に関して、Ｍ個のランダムパターンＩ１～ＩＭが生成される。
　復元画像ＧＴＤＧＩの生成は、それぞれがｎ回の照射を含むｋ個のユニットに分割して行われる。
　１個目のユニットは、１～ｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ１～ｂｎが生成され、それらの平均値＜ｂｒ［１］＞が生成される。そして、検出強度ｂ１～ｂｎと、それらの平均値＜ｂｒ［１］＞と、強度分布Ｉ１～Ｉｎと、用いて相関計算を行い、中間画像Ｍ１（ｘ，ｙ）が生成される。
　２個目のユニットは、ｎ＋１～２ｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂｎ＋１～ｂ２ｎが生成され、それらの平均値＜ｂｒ［２］＞が生成される。そして、検出強度ｂｎ＋１～ｂ２ｎと、それらの平均値＜ｂｒ［２］＞と、強度分布Ｉｎ＋１～Ｉ２ｎと、用いて相関計算を行い、中間画像Ｍ２（ｘ，ｙ）が生成される。
　同様にしてｊ個目のユニットは、（ｊ－１）ｎ＋１～ｊｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ（ｊ－１）ｎ＋１～ｂｊｎが生成され、それらの平均値＜ｂｒ［ｊ］＞が生成される。そして、検出強度ｂ（ｊ－１）ｎ＋１～ｂｊｎと、それらの平均値＜ｂｒ［ｊ］＞と、強度分布Ｉ（ｊ－１）ｎ＋１～Ｉｊｎと、用いて相関計算を行い、中間画像Ｍｊ（ｘ，ｙ）が生成される。
　最後のｋ番目のユニットは、（ｋ－１）ｎ＋１～ｋｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ（ｋ－１）ｎ＋１～ｂｋｎが生成され、それらの平均値＜ｂｒ［ｋ］＞が生成される。そして、検出強度ｂ（ｋ－１）ｎ＋１～ｂｋｎと、それらの平均値＜ｂｒ［ｋ］＞と、強度分布Ｉ（ｋ－１）ｎ＋１～Ｉｋｎと、用いて相関計算を行い、中間画像Ｍｋ（ｘ，ｙ）が生成される。
　そして、ｋ個の中間画像Ｍ１（ｘ，ｙ）～Ｍｋ（ｘ，ｙ）を合成することにより、最終的な復元画像Ｇ（ｘ，ｙ）が生成される。
　以上がＴＤＧＩモードの動作である。ＴＤＧＩモードによれば、相関計算をユニット単位に分割して行うことで、相関計算１回当たりのノイズ変化量を減らすことができ、復元精度を高めて画質を改善できる。また、Ｍ回の照射の完了を待たずに、相関計算を開始できるため、復元画像を生成するのに要する時間を短縮できる。
　以下、ＴＤＧＩモードによるノイズ耐性の改善について説明する。以下では、式（２）にもとづくユニットごとの相関計算を利用したイメージングを分割復元とも称する。また式（１）にもとづく相関計算を利用した従来のイメージングを一括復元と称する。
　たとえば、時間的に単調増加するノイズ（線形ノイズと称する）を考える。このような線形ノイズは、ノイズ光源と光検出器との距離が、時間とともに接近するようなケースにおいて生じうる。
　図５（ａ）は、一括復元におけるノイズの影響を示す図であり、図５（ｂ）は、分割復元におけるノイズの影響を示す図である。横軸は照射パターンの番号、すなわち時間を表す。σｒは、ｒ番目のパターンを照射しているときのノイズ強度を表し、ここでは、σｒ＝α×ｒにしたがって増加するものとする。
　図５（ａ）を参照する。一括復元を行う場合、各パターン照射時に検出されるノイズの強度ｂｒとノイズの平均値＜σｒ＞の差分Δσｒ（＝σｒ－＜σｒ＞）の絶対値｜Δσｒ｜の全照射にわたる積算値は、ハッチングを付した面積に相当し、以下の式（４）で表される。
　Σ｜Δσｒ｜＝２×１／２×（ｋｎ／２）×（ｋｎα／２）＝ｎ２αｋ２／４　　…（４）
　図５（ｂ）を参照する。ここではｋ＝５としている。分割復元を行う場合、ｊ番目のユニットにおける差分Δσｒ（＝σｒ－＜σｒ ［ｊ］＞）の絶対値｜Δσｒ｜の積算値Σ｜Δσｒ｜は、ハッチングを付した面積に相当し、式（５）で表される。
　Σ｜Δσｒ｜＝２×１／２×（ｎ／２）×（ｎα／２）＝ｎ２α／４　…（５）
　全照射にわたる積算値は、式（５）の値をｋ倍すればよく、ｋｎ２α／４となる。
　このように、分割復元を行うことにより、ノイズ強度差分の絶対値｜Δσｒ｜の積算値が小さくなり、ノイズ耐性を高めることができる。
　続いて、一括復元と分割復元に関するシミュレーション結果を説明する。
　図６（ａ）は、ターゲット画像を、図６（ｂ）は、ノイズが存在しないときの、一括復元と分割復元により得られる画像を示す図である。シミュレーションは、Ｍ＝１０００，Ｍ＝１００００，Ｍ＝１０００００について行った。またユニット数ｋは１０としている。
　一括復元では、元のターゲット画像を認識しうる程度に復元するためには、Ｍ＝１０００００が必要であり、分割復元においても同様である。Ｍ＝１０００００において、最終的に得られる復元画像の精度は、一括復元と分割復元とで同等であると言える。
　図７は、線形ノイズが存在するときの、一括復元と分割復元により得られる復元画像Ｇ（ｘ，ｙ）を示す図である。総照射回数は、Ｍ＝１０００００であり、検出強度の平均値は、＜ｂｒ＞＝１０００である。ノイズの係数αは、０，０．０１，０．１，１の４通りで計算している。α＝０はノイズがない場合に相当する。分割復元に関しては、ｋ＝１０，１００，１０００の場合について計算している。
　図７のシミュレーション結果から分かる通り、分割数ｋを高めるほど、ノイズ耐性が高まることが分かる。
（第３シーケンス）
　図８は、ＴＤＧＩモードの別のシーケンスを説明する図である。図８の例では、照明光Ｓ１を照射し続け、ｎ回の照射ごとに相関計算を行い、中間画像Ｍ（ｘ，ｙ）を生成する。そして、中間画像Ｍ（ｘ，ｙ）を生成するたびに、最新のｋ個の中間画像Ｍ（ｘ，ｙ）を合成することにより、復元画像Ｇ（ｘ，ｙ）を生成する。このシーケンスによれば、ｎ回の照射ごとに、復元画像Ｇ（ｘ，ｙ）を更新できるため、更新レートを高めることができる。
　以上がイメージングシステム４００の動作である。続いてその利点を説明する。図９（ａ）、（ｂ）は、イメージングシステム４００の利点を説明する図である。図９（ａ）は、比較技術におけるセンシングを示し、図９（ｂ）は、イメージングシステム４００によるセンシングを示す。
　図９（ａ）の技術では、パターニングされた照明光Ｓ１が、霧や雨による散乱を受けた後に、物体ＯＢＪに照射される。そのため散乱の影響で、復元された画像にボケが生じ、画質が劣化する。これに対して図９（ｂ）では、照明光Ｓ１は、霧や雨による散乱を受けずに物体に照射される。そのため、散乱の影響によるボケを抑制でき、画質を改善できる。
　図９（ａ）の比較技術では、照明装置１１０が移動体４２０に設けられている。いま、移動体４２０と物体ＯＢＪの距離がＬであるとする。この場合、移動体４２０の照明装置から発せられた光が、光検出器に戻るまでに、光は距離２×Ｌ、伝搬することとなる。これに対して、図９（ｂ）のイメージングシステム４００では、照明装置１１０がインフラ４１０に設けられている。インフラ４１０と物体の距離がｌであるとき、光の伝搬距離はＬ＋ｌとなる。つまりイメージングシステム４００では、ｌ＜Ｌが成り立つときに、比較技術に比べて光の伝搬距離を短くでき、光の散乱による減衰を低減できる。これにより、復元画像の画質を改善できる。
　たとえばインフラ４１０を、交差点や歩道の近くに配置すると、照明装置１１０と物体ＯＢＪの距離ｌを短くすることができる。したがって、交差点や歩道に存在する歩行者や、自動車などの他の交通参加者を、遠方からいち早く検出することが可能となる。
　図２に戻る。センサユニット１００において画像を正しく再構成するためには、パターン発生器１１６とパターン発生器１３２が生成するパターンがマッチしており、かつ同期している必要がある。この同期のために、照明装置１１０が生成する照明光を利用することができる。
　図１０は、同期用光信号Ｓ４を説明する図である。図１０に示すように、照明装置１１０は、同期用光信号Ｓ４を定期的に照射する。同期用光信号Ｓ４は、１フレームごとに、あるいは複数のフレーム毎に、先頭のフレームに先立って発生してもよい。パターン発生器１３２は、同期用光信号Ｓ４にもとづいて、パターン発生器１１６と同期し、パターン発生器１１６と同じパターンを発生する。
　同期用光信号Ｓ４のパターン、強度分布は、演算処理装置１３０において判別しやすいように定められる。たとえば同期用光信号Ｓ４は、空間的に均一であってもよい。あるいは同期用光信号Ｓ４は、空間的に規則的に変調されてもよく、たとえば単純な所定のパターンを有してもよい。
　同期用光信号Ｓ４を利用して、インフラ４１０から移動体４２０に情報を伝達してもよい。たとえば、フレームごとに、パターンのセットを切り変える場合に、パターンのセットを指定する情報を、同期用光信号Ｓ４を利用して送信してもよい。
　図２に戻る。移動体４２０は、通信モジュール１４０を備える。通信モジュール１４０は、インフラ４１０の通信装置４１２と通信可能であり、インフラ４１０の情報を取得する。通信装置４１２と通信モジュール１４０の間の通信は、直接行ってもよいし、図示しない基地局を経由して行ってもよい。
　通信モジュール１４０が受信する情報は、以下の少なくともひとつを含むことができる。
　・照明装置１１０の固有情報
　固有情報は、照明装置１１０の位置やＩＤ（識別子）などが例示される。
　・同期情報
　同期情報は、パターン発生器１１６とパターン発生器１３２の同期をとるために必要な情報である。この同期情報は、上述の同期用光信号Ｓ４に加えて、またはそれに代えて用いることができる。
　・パターン情報
　パターン情報は、パターンのセットを示す。たとえばパターン情報は、セットのＩＤを含んでよいし、ランダムパターンのシードを含んでもよい。
　通信モジュール１４０から通信装置４１２に対して情報を送信してもよい。たとえば、センサユニット１００は、光検出器１２０が受信する反射光Ｓ２の光量を監視し、受光量が小さい場合には、照明光Ｓ１の光量を増やすようにインフラ４１０に要求し、反対に受光量が大きい場合には、照明光Ｓ１の光量を減らすようにインフラ４１０に要求してもよい。
　この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　実施形態では、ＴＤＧＩモードにおいて、ユニットごとの照射回数が等しいものとしたが、その限りでなく、ユニットごとの照射回数は等しくなくてもよい。
（変形例２）
　また実施形態では、ユニット数ｋが一定であるとしたが、ユニット数ｋを動的に制御してもよい。ノイズの変動速度やノイズの波形に応じて、最適なユニット数ｋを選択することで、画質をより改善できる。
（変形例３）
　実施形態では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（変形例４）
　実施の形態ではゴーストイメージング（あるいはシングルピクセルイメージング）の手法として、相関計算を用いた手法を説明したが、画像の再構築の手法はそれに限定されない。いくつかの実施の形態では、相関計算に変えて、フーリエ変換やアダマール逆変換を使用した解析的手法や、スパースモデリングなどの最適化問題を解く手法、およびＡＩ・機械学習を利用したアルゴリズムによって、画像を再構築してもよい。
（用途）
　続いてセンサユニット１００の用途を説明する。図１１は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージングシステム４００と、演算処理装置４０を備える。イメージングシステム４００は、上述のように、物体ＯＢＪに照明光Ｓ１を照射し、反射光Ｓ２を検出することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージングシステム４００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージングシステム４００を用いることで、以下の利点を得ることができる。
　イメージングシステム４００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、センサユニット１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
　特に、イメージングシステム４００では、インフラ４１０に照明装置１１０が設けられているため、光の伝搬距離を短くできるため、高画質化に有利である。
　図１２は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。センサユニット１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、センサユニット１００の設置箇所として最も有利である。
　図１３は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０のうち、インフラ４１０を除く部分に対応しており、センサユニット１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本開示は、イメージング技術に関する。
ＯＢＪ…物体、１０…物体識別システム、４０…演算処理装置、４２…分類器、Ｓ１…照明光、Ｓ２…反射光、Ｓ４…同期用光信号、４００…イメージングシステム、４１０…インフラ、４１２…通信装置、４２０…移動体、１００…センサユニット、１１０…照明装置、１１２…光源、１１４…パターニングデバイス、１１６…パターン発生器、１２０…光検出器、１３０…演算処理装置、１３２…パターン発生器、１３４…再構成処理部、１４０…通信モジュール、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、３００…自動車、３０２…前照灯、３０４…車両側ＥＣＵ、３１０…灯具システム。

Claims (10)

  1. 　イメージングシステムであって、
    　インフラと、
    　移動体に設けられたセンサユニットと、
    　を備え、
    　前記インフラは、タイムスロット毎に異なるパターンで空間的に変調された照明光を所定範囲に照射する照明装置を備え、
    　前記センサユニットは、
    　物体が前記照明光を反射した反射光を検出する光検出器と、
    　前記タイムスロットごとの前記照明光のパターンを再生し、前記タイムスロットごとの前記光検出器の出力にもとづく検出強度と前記照明光の前記パターンにもとづいて、前記物体の復元画像を再構成する演算処理装置と、
    　を備えることを特徴とするイメージングシステム。
  2. 　前記照明装置は、同期用光信号を照射し、
    　前記演算処理装置は、前記同期用光信号の受光にもとづいて、前記照明装置との同期をとることを特徴とする請求項１に記載のイメージングシステム。
  3. 　前記センサユニットは、前記インフラから情報を受信可能な通信モジュールをさらに備えることを特徴とする請求項１または２に記載のイメージングシステム。
  4. 　前記情報は、前記照明装置の固有情報、同期情報、パターン情報の少なくともひとつを含むことを特徴とする請求項３に記載のイメージングシステム。
  5. 　移動体に搭載され、インフラとともにイメージングシステムを構成するセンサユニットであって、
    　前記インフラは、タイムスロット毎に異なるパターンで空間的に変調された照明光を所定範囲に照射する照明装置を備え、
    　前記センサユニットは、
    　物体が前記照明光を反射した反射光を検出する光検出器と、
    　前記タイムスロットごとの前記照明光のパターンを再生し、前記タイムスロットごとの前記光検出器の出力にもとづく検出強度と前記照明光の前記パターンにもとづいて、前記物体の復元画像を再構成する演算処理装置と、
    　を備えることを特徴とするセンサユニット。
  6. 　前記照明装置は、定期的に規則的なパターンを有する同期用光信号を照射し、
    　前記演算処理装置は、前記同期用光信号の受光にもとづいて、前記照明装置との同期をとることを特徴とする請求項５に記載のセンサユニット。
  7. 　前記センサユニットは、前記インフラから情報を受信可能な通信モジュールをさらに備えることを特徴とする請求項５または６に記載のセンサユニット。
  8. 　前記情報は、前記照明装置の固有情報、同期情報、パターン情報の少なくともひとつを含むことを特徴とする請求項７に記載のセンサユニット。
  9. 　請求項５から８のいずれかに記載のセンサユニットを備えることを特徴とする車両用灯具。
  10. 　請求項５から８のいずれかに記載のセンサユニットを備えることを特徴とする車両。
PCT/JP2022/041756 2021-11-12 2022-11-09 イメージングシステム、センサユニット、車両用灯具、車両 WO2023085329A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021185114 2021-11-12
JP2021-185114 2021-11-12

Publications (1)

Publication Number Publication Date
WO2023085329A1 true WO2023085329A1 (ja) 2023-05-19

Family

ID=86335802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041756 WO2023085329A1 (ja) 2021-11-12 2022-11-09 イメージングシステム、センサユニット、車両用灯具、車両

Country Status (1)

Country Link
WO (1) WO2023085329A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160050401A1 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
JP2019027894A (ja) * 2017-07-28 2019-02-21 国立大学法人 鹿児島大学 位置情報取得システム、位置情報取得方法及びプログラム
WO2021005105A1 (en) * 2019-07-09 2021-01-14 Sony Semiconductor Solutions Corporation Imaging systems, devices and methods
WO2021010339A1 (ja) * 2019-07-12 2021-01-21 株式会社小糸製作所 イメージング装置およびその照明装置、車両、車両用灯具

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160050401A1 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
JP2019027894A (ja) * 2017-07-28 2019-02-21 国立大学法人 鹿児島大学 位置情報取得システム、位置情報取得方法及びプログラム
WO2021005105A1 (en) * 2019-07-09 2021-01-14 Sony Semiconductor Solutions Corporation Imaging systems, devices and methods
WO2021010339A1 (ja) * 2019-07-12 2021-01-21 株式会社小糸製作所 イメージング装置およびその照明装置、車両、車両用灯具

Similar Documents

Publication Publication Date Title
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
JP7408572B2 (ja) 車両用灯具および車両
WO2020218282A1 (ja) イメージング装置、車両用灯具、自動車、イメージング方法
US20220132022A1 (en) Imaging device
CN113383280A (zh) 用于经由雾的图像增强的弹道光调制
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
US20230009034A1 (en) Imaging apparatus
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
RU2788319C1 (ru) Способ и устройство подавления засветки при формировании фото и видеоизображений дорожного окружения перед транспортным средством с помощью метода фантомных изображений
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
RU2746614C1 (ru) Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа
US12003839B2 (en) Imaging apparatus using ghost imaging
WO2022014416A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
CN116457700A (zh) 感测装置、车辆用灯具、车辆
CN117795376A (zh) 门控照相机、车辆用传感系统、车辆用灯具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892827

Country of ref document: EP

Kind code of ref document: A1