WO2022091972A1 - イメージング装置および車両用灯具、車両 - Google Patents

イメージング装置および車両用灯具、車両 Download PDF

Info

Publication number
WO2022091972A1
WO2022091972A1 PCT/JP2021/039105 JP2021039105W WO2022091972A1 WO 2022091972 A1 WO2022091972 A1 WO 2022091972A1 JP 2021039105 W JP2021039105 W JP 2021039105W WO 2022091972 A1 WO2022091972 A1 WO 2022091972A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
light
vehicle
data group
digital filter
Prior art date
Application number
PCT/JP2021/039105
Other languages
English (en)
French (fr)
Inventor
真太郎 杉本
輝明 鳥居
祐太 春瀬
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2022559091A priority Critical patent/JPWO2022091972A1/ja
Publication of WO2022091972A1 publication Critical patent/WO2022091972A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • This disclosure relates to an imaging device.
  • an object identification system that senses the position and type of objects existing around the vehicle.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from among cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • ghost imaging an object is irradiated while randomly switching the intensity distribution (pattern) of the reference light, and the light detection intensity of the reflected light is measured for each pattern.
  • the photodetected intensity is an integral value of energy or intensity over a plane, not an intensity distribution. Then, the restored image of the object is reconstructed by correlating the corresponding pattern with the photodetection intensity.
  • disturbance noise is incident on the photodetector of the quantum radar camera.
  • the disturbance noise is assumed to be the headlight light of a surrounding vehicle, the output light of an active sensor such as LiDAR, or the light of a street lamp.
  • Disturbance noise does not correlate with the reference light generated by the quantum radar camera, so in principle it is removed from the reconstructed restored image. However, in order to eliminate the influence of disturbance noise, it is necessary to increase the number of reference light patterns.
  • the present disclosure has been made in such a situation, and one of the exemplary purposes of the embodiment is to provide an imaging apparatus capable of generating a restored image in a short time.
  • the imaging device of one aspect of the present disclosure includes a plurality of light emitting pixels whose on and off can be individually controlled, and irradiates a plurality of reference lights having a randomly patterned intensity distribution while switching at a predetermined irradiation frequency.
  • the light detector that measures the reflected light from the object, the A / D converter that converts the output of the light detector into a digital signal at a sampling rate higher than the irradiation frequency, and the output of the A / D converter are the reference light.
  • the restored image of the object is reconstructed by a digital filter that divides into data groups for each pattern and filters each data group, and a correlation calculation between the detection intensity and the intensity distribution of the reference light based on the data group that has passed through the digital filter. It is equipped with a reconstruction processing unit.
  • the influence of periodic disturbance noise can be reduced.
  • the imaging apparatus includes a plurality of light emitting pixels whose on and off can be individually controlled, and illuminates the visual field while switching a plurality of reference lights having a randomly patterned intensity distribution at a predetermined irradiation frequency.
  • the light detector that measures the reflected light from the object
  • the A / D converter that converts the output of the light detector into a digital signal at a sampling rate higher than the irradiation frequency
  • the restored image of the object is re-created by dividing the data group into data groups for each pattern and performing filtering processing for each data group, and by calculating the correlation between the detection intensity and the intensity distribution of the reference light based on the data group that has passed through the digital filter. It is provided with a reconstructing processing unit to be configured.
  • the beam of headlights of other vehicles, the output of active sensors, the illumination light of street lamps, etc. can be disturbance noise. According to this configuration, a high-quality restored image can be obtained in a short time by performing a correlation calculation after removing the influence of periodic disturbance noise with a digital filter.
  • random intensity distribution in the present specification does not mean that the intensity distribution is completely random, but may include irregularities to the extent that the image can be reconstructed in ghost imaging. Therefore, “random” in the present specification can include some regularity in it. Also, “random” does not require to be completely unpredictable, but may be predictable and reproducible.
  • FIG. 1 is a diagram showing an imaging device 100 according to an embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes a lighting device 110, a photodetector 120, and an arithmetic processing device 130.
  • the imaging device 100 is also referred to as a quantum radar camera.
  • the illuminating device 110 is a pseudo-heat light source, generates reference light S1 patterned so as to have a spatial intensity distribution I (x, y) that can be regarded as substantially random, and irradiates the object OBJ in the visual field.
  • the reference light S1 is sequentially irradiated while changing its intensity distribution at random.
  • the frequency at which the pattern of the reference light S1 changes is referred to as an irradiation frequency f 0 .
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 132.
  • the light source 112 produces light S0 with a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112, a laser, a light emitting diode, or the like.
  • the wavelength and spectrum of the reference light S1 are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light containing a predetermined wavelength.
  • the wavelength of the reference light S1 may be infrared or ultraviolet.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but it is not limited to this, and an intermediate gradation may be taken.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is provided with a pattern signal PTN (image data) generated by the pattern generator 132.
  • M is the total number of irradiations M in one sensing, and is determined to such an extent that the original image can be restored.
  • the photodetector 120 measures the reflected light from the object OBJ and outputs the detection signal S3.
  • the detection signal S3 is a spatial integral value of the light energy (or intensity) incident on the photodetector 120.
  • a single pixel photodetector photodetector
  • the arithmetic processing unit 130 includes a pattern generator 132, a reconstruction processing unit 134, a digital filter 136, and a detection intensity generation unit 138.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 130 may be configured only by hardware.
  • the digital filter 136 is an IIR (Infinite Impulse Response) or FIR (Finite Impulse Response) type digital filter, and the output of the A / D converter 122 is divided into a data group DGr for each pattern of the reference light S1 and each data is divided. Filter by group DG r .
  • the digital filter 136 is a low-pass filter, and its cutoff frequency is set lower than the frequency of noise.
  • the detection intensity generation unit 138 generates the detection intensity b based on the data group DG r'that has passed through the digital filter 136.
  • the detection intensity b may be an average value of all digital values included in the data group DG r'or an integrated value. Alternatively, some of all digital values may be selected, and the integrated value, average value, or maximum value of the selected digital values may be used. For selection of multiple digital values, for example, the xth to yth ranks may be extracted counting from the maximum value, digital values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Digital values in a small range may be extracted.
  • the reconstruction processing unit 134 performs a correlation calculation between a plurality of intensity distributions (also referred to as random patterns) I 1 to IM and a plurality of detected intensities b 1 to b M , and restores an image G (x, y) of the object OBJ. To reconstruct.
  • the reconstruction processing unit 134 reconstructs the restored image G (x, y) based on the correlation function of the equation (1).
  • br is the value of the detection intensity obtained when the reference light having the r -th intensity distribution is irradiated.
  • the process based on the equation (1) is referred to as a batch restore process.
  • FIG. 2 is a time chart showing the sensing of one frame of the batch restoration process.
  • a detection intensity br is generated for each irradiation of one pattern PTN r . Then, when the irradiation of all M patterns is completed, the average value ⁇ br> of the detection intensity br is generated. Then, the restored image G (x, y) is generated by the correlation calculation of the equation (1).
  • FIG. 3 is a diagram illustrating the operation of the imaging device 100 of FIG.
  • the beam of the headlight of another vehicle, the output of the active sensor, the illumination light of the street light, etc. become disturbance noise, but most of them have a specific frequency (noise frequency f N ). In many cases.
  • noise is incident on the photodetector 120, periodic noise is superimposed on the detection signal S3.
  • the noise is a sine wave.
  • the detection signal S3 in the period Tr of irradiating the r-th pattern PTN r is expressed as S3_r.
  • the detection signal S3_r is a DC signal having a constant level within the section Tr, but the detection signal S3_r in the presence of noise changes according to the noise.
  • the detection signal S3_r is sampled at high speed by the A / D converter 122, and a data group GD r containing p digital values is generated. By filtering this data group GD r , a data group GD r'is generated. In the data group GD r'after the filtering process, the influence of AC noise is reduced, and the DC component is extracted.
  • the detection intensity generation unit 138 generates the detection intensity br based on the data group GD r'after the filtering process.
  • the noise component contained in the detection intensity br can be reduced by the digital filter 136, and the influence of noise is reduced based on the detection intensity br , based on the equation (1).
  • the restored image G (x, y) is generated. This can improve the image quality.
  • the digital filter 136 performs filtering processing for each reference pattern, removes the influence of periodic disturbance noise from the detection signal br , and then performs correlation calculation. bottom. As a result, the image quality of the restored image can be improved when there is no digital filter 136 and when the same total number of irradiations M is assumed.
  • the disturbance noise Since the disturbance noise has no correlation with the reference light S1 irradiated by the lighting device 110, the influence of the disturbance noise is removed by the correlation calculation in principle. However, when there is disturbance noise, the total number of irradiations M required to obtain an image having the same image quality as when there is no disturbance noise increases. According to the present embodiment, by providing the digital filter 136, the total number of irradiations M required to obtain the same image quality can be reduced, and the sensing time can be shortened.
  • the irradiation frequency f 0 of the lighting device 110 was set to 1 kHz, and the duty cycle was set to 100%. Therefore, the irradiation time of each irradiation pattern is 1 ms.
  • the sampling rate of the detection signal Dr was 100 kHz. Therefore, each data group GD contains 100 digital values.
  • the noise frequency f N was set to 120 Hz, and the SD value (standard deviation) of the noise was changed in three stages of 1000, 2000, and 10000.
  • FIG. 4 is a diagram showing the frequency characteristics of the filter used in the simulation.
  • the filter was a fourth-order low-pass type Butterworth filter having an attenuation characteristic of 80 dB / decode.
  • the maximum loss amount (attenuation amount due to ripple) of the pass band is 1 dB
  • the pass band edge frequency fa is 10 Hz
  • the blocking band edge frequency fb is 50 Hz.
  • FIG. 5 is a diagram showing a simulation result when the standard deviation of noise is 1000.
  • the number of irradiations M (number of patterns) was 1024,2048,4096,8192,16384.
  • the target image is the letter T, and the upper row shows the restored image without the low-pass filter, and the lower row shows the restored image with the low-pass filter.
  • the standard deviation 1000 of noise is about the same as the energy of the reflected light S2.
  • FIG. 6 is a diagram showing a simulation result when the standard deviation of noise is 2000.
  • the standard deviation 2000 of noise corresponds to about twice the energy of the reflected light S2. It can be seen that the image quality is greatly improved in the case with the low-pass filter as compared with the case without the low-pass filter.
  • FIG. 7 is a diagram showing a simulation result when the standard deviation of noise is 10000.
  • the standard deviation of noise 10000 corresponds to about 10 times the energy of the reflected light S2. It can be seen that the image quality is greatly improved in the case with the low-pass filter as compared with the case without the low-pass filter.
  • the number of irradiations M required to obtain the same image quality as without the filter can be reduced.
  • Modification 1 The restoration process in the reconstruction processing unit 134 may be changed to the batch restoration and the division restoration described below may be used.
  • the restoration image generation processing in the reconstruction processing unit 134 of the arithmetic processing unit 130 is performed by dividing the irradiation M times into a plurality of k units (k ⁇ 2). Specifically, the reconstruction processing unit 134 performs a correlation calculation for each divided unit to generate an intermediate image Mj (x, y). Then, the k intermediate images M 1 to M k (x, y) obtained for the k units are combined to generate the final restored image G (x, y).
  • the j-th term on the right-hand side of the equation (2) represents the intermediate image M j (x, y) of the j-th unit. Therefore, the restored image G (x, y) is synthesized by simply adding the corresponding pixels of the plurality of intermediate images M j (x, y).
  • the method of synthesis is not limited to simple addition, and weighted addition or other processing may be performed.
  • FIG. 8 is a time chart showing the sensing of one frame of the split restoration process.
  • the restored image is generated by dividing it into k units, each of which contains n irradiations.
  • the first unit includes the 1st to nth irradiations, and the detection intensities b1 to bn corresponding to the nth irradiations are generated, and the average value ⁇ br [1]> thereof is generated. Then, a correlation calculation is performed using the detected intensities b 1 to b n , their average values ⁇ br [1]> , and the intensity distributions In + 1 to I 2 n , and the intermediate image M 1 (x, y) is obtained. Generated.
  • the second unit includes the n + 1 to 2nth irradiations, and the detection intensities b n + 1 to b 2n corresponding to the n irradiations are generated, and the average value ⁇ br [2]> thereof is generated. Then, a correlation calculation is performed using the detected intensities bn + 1 to b 2n , their average values ⁇ br [2]>, and the intensity distributions In + 1 to I 2n , and the intermediate image M 2 (x, y) is obtained. Generated.
  • the jth unit contains (j-1) n + 1 to jnth irradiations, and the detection intensities b (j-1) n + 1 to b jn corresponding to the nth irradiations are generated, and the average thereof is generated.
  • the value ⁇ br [j]> is generated.
  • a correlation calculation is performed using the detected intensities b (j-1) n + 1 to b jn , their average value ⁇ br [j]> , and the intensity distribution I ( j -1) n + 1 to I jn .
  • An intermediate image M j (x, y) is generated.
  • the final k-th unit contains (k-1) n + 1 to knth irradiations, and the detection intensities b (k-1) n + 1 to b kn corresponding to the n irradiations are generated, and their average value ⁇ b r [k] > is generated. Then, a correlation calculation is performed using the detected intensities b (k-1) n + 1 to b kn , their average value ⁇ br [k]> , and the intensity distribution I ( k -1) n + 1 to I kn . An intermediate image M k (x, y) is generated.
  • the final restored image G (x, y) is generated by synthesizing the k intermediate images M 1 (x, y) to M k (x, y).
  • the above is the operation of the imaging device 100.
  • this imaging device 100 by dividing the correlation calculation into units, it is possible to reduce the amount of noise change per correlation calculation, improve the restoration accuracy, and improve the image quality. Further, since the correlation calculation can be started without waiting for the completion of M irradiations, the time required to generate the restored image can be shortened.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but the present invention is not limited to this.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • Modification 3 In the above-mentioned split restoration method, as shown in FIG. 8, independent processing is performed for each frame, and a new restored image is generated for each frame period. On the other hand, in the modification 3, the restored image is updated every time a new intermediate image M is generated.
  • FIG. 9 is a diagram illustrating the imaging method according to the modified example 3.
  • the reference light is continuously irradiated, and the correlation calculation is performed every n times of irradiation. Then, the process of generating the restored image G (x, y) by synthesizing the latest k intermediate images M (x, y) is repeated for each unit.
  • the imaging method according to the third modification can be realized by the imaging device 100 of FIG. 1 in terms of hardware, and the processing of the reconstruction processing unit 134 may be modified.
  • the generation speed of the restored image can be increased.
  • FIG. 10 is a block diagram of the object identification system 10.
  • This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging device 100 and an arithmetic processing unit 40. As described above, the imaging device 100 irradiates the object OBJ with the reference light S1 and measures the reflected light S2 to generate a restored image G of the object OBJ.
  • the arithmetic processing unit 40 processes the output image G of the imaging device 100, and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ included in the image G.
  • the classifier 42 is implemented based on the model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the noise immunity is significantly improved. For example, when it is raining, snowing, or traveling in fog, it is difficult to recognize the object OBJ with the naked eye, but by using the imaging device 100, the object OBJ is not affected by rain, snow, or fog.
  • the restored image G can be obtained.
  • FIG. 11 is a block diagram of an automobile equipped with an object identification system 10.
  • the automobile 300 includes headlights 302L and 302R.
  • the imaging device 100 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the tip of the vehicle body, and is the most advantageous as an installation location of the imaging device 100 in detecting surrounding objects.
  • FIG. 12 is a block diagram showing a vehicle lamp 200 equipped with an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes an imaging device 100 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • This disclosure relates to an imaging device.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

照明装置１１０は、オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムにパターニングされた複数の参照光を所定の照射周波数で切りかえながら視野に照射する。光検出器１２０は、物体からの反射光を測定する。Ａ／Ｄコンバータ１２２は、光検出器１２０の出力を照射周波数より高いサンプリングレートでデジタル信号に変換する。デジタルフィルタ１３６は、Ａ／Ｄコンバータ１２２の出力を、参照光のパターン毎のデータ群に区切り、各データ群ごとに、フィルタリング処理する。再構成処理部１３４は、デジタルフィルタ１３６を通過したデータ群にもとづく検出強度と参照光の強度分布の相関計算により、物体の復元画像を再構成する。

Description

イメージング装置および車両用灯具、車両
　本開示は、イメージング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したもの（以下、量子レーダカメラともいう）が知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の復元画像を再構成（reconstruct）する。
特許第６４１２６７３号公報
F. Ferri, D. Magatti, L. A. Lugiato, and A. Gatti, "Differential ghost imaging", Phys. Rev. Lett. 104, 253603 (2010)
　量子レーダカメラの光検出器には、パターニングされた参照光を物体に照射して得られる反射光の他に、外乱ノイズが入射する。量子レーダカメラを車両に搭載する場合、外乱ノイズとして、周囲の車両のヘッドライト光や、ＬｉＤＡＲなどのアクティブセンサの出力光、あるいは街灯の光などが想定される。
　外乱ノイズは、量子レーダカメラが発生する参照光と相関を有さないため、原理的には、再構成される復元画像からは除去される。しかしながら、外乱ノイズの影響を除去するためには、参照光のパターン数を増やす必要がある。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、短時間で復元画像を生成可能なイメージング装置の提供にある。
　本開示のある態様のイメージング装置は、オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムにパターニングされた複数の参照光を所定の照射周波数で切りかえながら照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力を照射周波数より高いサンプリングレートでデジタル信号に変換するＡ／Ｄコンバータと、Ａ／Ｄコンバータの出力を、参照光のパターン毎のデータ群に区切り、各データ群ごとにフィルタリング処理するデジタルフィルタと、デジタルフィルタを通過したデータ群にもとづく検出強度と参照光の強度分布の相関計算により、物体の復元画像を再構成する再構成処理部と、を備える。
　本開示によれば、周期的な外乱ノイズの影響を低減できる。
実施の形態に係るイメージング装置を示す図である。 一括復元処理の１フレームのセンシングを示すタイムチャートである。 図１のイメージング装置の動作を説明する図である。 シミュレーションに用いたフィルタの周波数特性を示す図である。 ノイズの標準偏差をとしたときのシミュレーション結果を示す図である。 ノイズの標準偏差をとしたときのシミュレーション結果を示す図である。 ノイズの標準偏差をとしたときのシミュレーション結果を示す図である。 分割復元処理の１フレームのセンシングを示すタイムチャートである。 変形例３に係るイメージング方法を説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
　一実施形態に係るイメージング装置は、オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムにパターニングされた複数の参照光を所定の照射周波数で切りかえながら視野に照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力を照射周波数より高いサンプリングレートでデジタル信号に変換するＡ／Ｄコンバータと、Ａ／Ｄコンバータの出力を、参照光のパターン毎のデータ群に区切り、各データ群ごとに、フィルタリング処理するデジタルフィルタと、デジタルフィルタを通過したデータ群にもとづく検出強度と参照光の強度分布の相関計算により、物体の復元画像を再構成する再構成処理部と、を備える。
　車載のイメージング装置では、他の車両のヘッドライトのビームやアクティブセンサの出力、街灯の照明光などが外乱ノイズとなりうる。この構成によると、デジタルフィルタにより周期的な外乱ノイズの影響を除去した上で、相関計算を行うことにより、短時間で高画質な復元画像を得ることができる。
（実施形態）
　以下、実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度の不規則性を含んでいればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、完全に予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
　図１は、実施の形態に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０、および演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる空間強度分布Ｉ（ｘ，ｙ）を有するようにパターニングされた参照光Ｓ１を生成し、視野中の物体ＯＢＪに照射する。参照光Ｓ１は、その強度分布を、ランダムに変化させながらシーケンシャルに照射される。参照光Ｓ１のパターンが変化する周波数を、照射周波数ｆ０と称する。
　照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１３２を含む。光源１１２は、均一な強度分布を有する光Ｓ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光Ｓ１の波長は、赤外あるいは紫外であってもよい。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１３２が発生するパターン信号ＰＴＮ（画像データ）が与えられている。
　パターン発生器１３２は、参照光Ｓ１の強度分布Ｉｒを指定するパターン信号ＰＴＮｒを発生し、時間とともにパターン信号ＰＴＮｒを切り替える（ｒ＝１，２，…Ｍ）。Ｍは、１回のセンシングにおける総照射回数Ｍであり、元の画像を復元しうる程度に定められる。
　光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｓ３を出力する。検出信号Ｓ３は、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。
　Ａ／Ｄコンバータ１２２は、光検出器１２０の出力Ｓ３を、照射周波数ｆ０のｐ倍のサンプリングレートｆＳでデジタル信号に変換する。つまり、ある強度分布Ｉｒを有する参照光Ｓ１の照射期間中に、検出信号Ｓ３は、ｐ＝ｆＳ／ｆ０回、サンプリングされる。このｐ個のデジタル信号のセットを、データ群ＤＧｒと表記する。
　演算処理装置１３０は、パターン発生器１３２、再構成処理部１３４、デジタルフィルタ１３６、検出強度生成部１３８を含む。演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　デジタルフィルタ１３６は、ＩＩＲ（Infinite Impulse Response）あるいはＦＩＲ（Finite Impulse Response）型のデジタルフィルタであり、Ａ／Ｄコンバータ１２２の出力を、参照光Ｓ１のパターン毎のデータ群ＤＧｒに区切り、各データ群ＤＧｒごとに、フィルタリングする。デジタルフィルタ１３６は、ローパスフィルタであり、そのカットオフ周波数は、ノイズの周波数より低く定められる。
　検出強度生成部１３８は、デジタルフィルタ１３６を通過したデータ群ＤＧｒ’にもとづいて、検出強度ｂｒを生成する。たとえば検出強度ｂｒはデータ群ＤＧｒ’に含まれる全デジタル値の平均値であってもよいし、積分値であってもよい。あるいは、全デジタル値のうちのいくつかを選別し、選別したデジタル値の積分値や平均値、最大値を用いてもよい。複数のデジタル値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いデジタル値を除外してもよいし、信号変動の大きさが小さい範囲のデジタル値を抽出してもよい。
　再構成処理部１３４は、複数の強度分布（ランダムパターンともいう）Ｉ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関計算を行い、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。
　再構成処理部１３４は、式（１）の相関関数にもとづいて、復元画像Ｇ（ｘ，ｙ）を再構成する。参照光のＩｒはｒ番目（ｒ＝１，２…，Ｍ）の強度分布であり、ｂｒはｒ番目の強度分布を有する参照光を照射したときに得られる検出強度の値である。式（１）にもとづく処理を、一括復元処理と称する。
Figure JPOXMLDOC01-appb-M000001
　図２は、一括復元処理の１フレームのセンシングを示すタイムチャートである。１つのパターンＰＴＮｒの照射ごとに、検出強度ｂｒが生成される。そして、すべてのＭ個のすべてのパターンの照射が終了すると、検出強度ｂｒの平均値＜ｂｒ＞が生成される。そして、式（１）の相関計算により、復元画像Ｇ（ｘ，ｙ）が生成される。
　以上がイメージング装置１００の構成である。続いてその動作を説明する。図３は、図１のイメージング装置１００の動作を説明する図である。
　車載のイメージング装置１００では、他の車両のヘッドライトのビームやアクティブセンサの出力、街灯の照明光などが外乱ノイズとなるが、これらの多くは、特定の周波数（ノイズ周波数ｆＮ）を有している場合が多い。ノイズが光検出器１２０に入射すると、検出信号Ｓ３には、周期的なノイズが重畳する。この例では、ノイズは正弦波である。
　ｒ番目のパターンＰＴＮｒを照射する期間Ｔｒにおける検出信号Ｓ３を、Ｓ３＿ｒと表記する。ノイズがない理想状態では、検出信号Ｓ３＿ｒは区間Ｔｒ内で一定レベルをとる直流信号であるが、ノイズが存在する場合の検出信号Ｓ３＿ｒは、ノイズに応じて変化する。
　各照射期間Ｔｒにおいて、検出信号Ｓ３＿ｒは、Ａ／Ｄコンバータ１２２によって、高速にサンプリングされ、ｐ個のデジタル値を含むデータ群ＧＤｒが生成される。このデータ群ＧＤｒを、フィルタ処理することにより、データ群ＧＤｒ’が生成される。フィルタ処理後のデータ群ＧＤｒ’は、交流のノイズの影響が低減されており、直流成分が取り出される。検出強度生成部１３８は、フィルタ処理後のデータ群ＧＤｒ’にもとづいて、検出強度ｂｒを生成する。
　このように、本実施形態によれば、デジタルフィルタ１３６によって検出強度ｂｒに含まれるノイズ成分を低減でき、ノイズの影響が低減された検出強度ｂｒにもとづいて、式（１）にもとづいて復元画像Ｇ（ｘ，ｙ）が生成される。これにより画質を改善できる。
　本実施形態に係るイメージング装置１００によると、デジタルフィルタ１３６によって、参照パターン毎にフィルタリング処理を施し、検出信号ｂｒから、周期的な外乱ノイズの影響を除去した後で、相関計算を行うこととした。これにより、デジタルフィルタ１３６が無い場合と、同じ総照射回数Ｍを仮定した場合、復元画像の画質を改善することができる。
　外乱ノイズは、照明装置１１０が照射する参照光Ｓ１と相関を有さないから、原理的には相関計算によって、外乱ノイズの影響は除去される。しかしながら、外乱ノイズがある場合、無い場合と同程度の画質の画像を得るために必要な総照射回数Ｍが増えてしまう。本実施形態によれば、デジタルフィルタ１３６を設けたことにより、同じ画質を得るために必要な総照射回数Ｍを減らすことができ、センシング時間を短縮できる。
　デジタルフィルタ１３６の有効性を検証するためのシミュレーションについて説明する。シミュレーションにおいて、照明装置１１０の照射周波数ｆ０は、１ｋＨｚとし、デューティサイクルを１００％とした。したがって各照射パターンの照射時間は１ｍｓである。検出信号Ｄｒのサンプリングレートは、１００ｋＨｚとした。したがって、各データ群ＧＤは、１００個のデジタル値を含む。またノイズの周波数ｆＮは１２０Ｈｚとし、ノイズのＳＤ値（標準偏差）は、１０００，２０００，１００００の３段階で変化させた。
　図４は、シミュレーションに用いたフィルタの周波数特性を示す図である。フィルタは、減衰特性が８０ｄＢ／ｄｅｃａｄｅである４次のローパス型バターワースフィルタとした。通過帯域の最大損失量（リップルによる減衰量）は１ｄＢ、通過帯端周波数ｆａは１０Ｈｚ、阻止帯端周波数ｆｂは５０Ｈｚである。このローパスフィルタのカットオフ周波数（－３ｄＢ）は１１．８４Ｈｚであり、ノイズ周波数ｆＮ＝１２０Ｈｚよりも十分に低い。
　図５は、ノイズの標準偏差を１０００としたときのシミュレーション結果を示す図である。照射回数Ｍ（パターンの個数）は、１０２４，２０４８，４０９６，８１９２，１６３８４とした。ターゲット画像はアルファベットのＴであり、上段に、ローパスフィルタなしの場合の、下段にローパスフィルタありの場合の復元画像が示される。ノイズの標準偏差１０００は、反射光Ｓ２のエネルギーと同程度である。
　図６は、ノイズの標準偏差を２０００としたときのシミュレーション結果を示す図である。ノイズの標準偏差２０００は、反射光Ｓ２のエネルギーの２倍程度に相当する。ローパスフィルタありの場合では、なしの場合に比べて画質が大きく改善されることがわかる。
　図７は、ノイズの標準偏差を１００００としたときのシミュレーション結果を示す図である。ノイズの標準偏差１００００は、反射光Ｓ２のエネルギーの１０倍程度に相当する。ローパスフィルタありの場合では、なしの場合に比べて画質が大きく改善されることがわかる。
　図５～図７において、フィルタありとなしの場合の復元画像を、同じ照射回数Ｍ同士で比較すると、フィルタありの場合の方が、なしの場合に比べて画質が改善されることがわかる。たとえばＳＤ値＝１００００の場合（図７）、フィルタなしの場合では、照射回数Ｍを１６３８４まで増やしても正しい画像が復元できないのに対して、フィルタありの場合では、８１９２回の照射で、下の画像（アルファベットＴ）の輪郭が抽出できている。
　あるいはフィルタを用いることで、フィルタなしの場合と同等の画質を得るために必要な照射回数Ｍを減らすことができる。
　この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　再構成処理部１３４における復元処理は、一括復元に変えて、以下で説明する分割復元を用いてもよい。
　分割復元において、演算処理装置１３０の再構成処理部１３４における復元画像の生成処理は、Ｍ回の照射を複数ｋ個（ｋ≧２）のユニットに分割して行われる。具体的には再構成処理部１３４は、分割したユニットごとに相関計算を行って中間画像Ｍｊ（ｘ，ｙ）を生成する。そしてｋ個のユニットについて得られたｋ個の中間画像Ｍ１～Ｍｋ（ｘ，ｙ）を合成し、最終的な復元画像Ｇ（ｘ，ｙ）を生成する。
　簡単のため、各ユニットの照射回数ｎは等しくＭ／ｋであるとする。この場合の復元画像Ｇ（ｘ，ｙ）は、式（２）で表される。Ｉｒは、ｒ番目の強度分布であり、ｂｒはｒ番目の検出強度の値であり、＜ｂｒ ［ｊ］＞は、ｊ番目のユニットにおいて測定された検出強度ｂｒの平均値である。
Figure JPOXMLDOC01-appb-M000002
　式（２）の右辺のｊ番目の項は、ｊ番目のユニットの中間画像Ｍｊ（ｘ，ｙ）を表す。したがって、復元画像Ｇ（ｘ，ｙ）は、複数の中間画像Ｍｊ（ｘ，ｙ）の対応する画素同士を単純加算することにより合成されている。なお、合成の方法は単純加算に限定されず、重み付け加算やその他の処理を行ってもよい。
　図８は、分割復元処理の１フレームのセンシングを示すタイムチャートである。図８では、パターニングデバイス１１４の全画素数はｐ＝４×４＝１６画素として簡素化して表され、１枚の復元画像Ｇ（ｘ，ｙ）の生成（１フレームの撮影）に関して、Ｍ個のランダムパターンＩ１～ＩＭが生成される。
　復元画像の生成は、それぞれがｎ回の照射を含むｋ個のユニットに分割して行われる。
　１個目のユニットは、１～ｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ１～ｂｎが生成され、それらの平均値＜ｂｒ ［１］＞が生成される。そして、検出強度ｂ１～ｂｎと、それらの平均値＜ｂｒ ［１］＞と、強度分布Ｉｎ＋１～Ｉ２ｎと、用いて相関計算を行い、中間画像Ｍ１（ｘ，ｙ）が生成される。
　２個目のユニットは、ｎ＋１～２ｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂｎ＋１～ｂ２ｎが生成され、それらの平均値＜ｂｒ ［２］＞が生成される。そして、検出強度ｂｎ＋１～ｂ２ｎと、それらの平均値＜ｂｒ ［２］＞と、強度分布Ｉｎ＋１～Ｉ２ｎと、用いて相関計算を行い、中間画像Ｍ２（ｘ，ｙ）が生成される。
　同様にしてｊ個目のユニットは、（ｊ－１）ｎ＋１～ｊｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ（ｊ－１）ｎ＋１～ｂｊｎが生成され、それらの平均値＜ｂｒ ［ｊ］＞が生成される。そして、検出強度ｂ（ｊ－１）ｎ＋１～ｂｊｎと、それらの平均値＜ｂｒ ［ｊ］＞と、強度分布Ｉ（ｊ－１）ｎ＋１～Ｉｊｎと、用いて相関計算を行い、中間画像Ｍｊ（ｘ，ｙ）が生成される。
　最後のｋ番目のユニットは、（ｋ－１）ｎ＋１～ｋｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ（ｋ－１）ｎ＋１～ｂｋｎが生成され、それらの平均値＜ｂｒ ［ｋ］＞が生成される。そして、検出強度ｂ（ｋ－１）ｎ＋１～ｂｋｎと、それらの平均値＜ｂｒ ［ｋ］＞と、強度分布Ｉ（ｋ－１）ｎ＋１～Ｉｋｎと、用いて相関計算を行い、中間画像Ｍｋ（ｘ，ｙ）が生成される。
　そして、ｋ個の中間画像Ｍ１（ｘ，ｙ）～Ｍｋ（ｘ，ｙ）を合成することにより、最終的な復元画像Ｇ（ｘ，ｙ）が生成される。
　以上がイメージング装置１００の動作である。このイメージング装置１００によれば、相関計算をユニットに分割して行うことで、相関計算１回当たりのノイズ変化量を減らすことができ、復元精度を高めて画質を改善できる。また、Ｍ回の照射の完了を待たずに、相関計算を開始できるため、復元画像を生成するのに要する時間を短縮できる。
（変形例２）
　実施の形態では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（変形例３）
　上述の分割復元方式では、図８に示すように、フレーム毎に独立した処理が行われており、フレーム周期毎に、新たな復元画像が生成される。これに対して、変形例３では、新たな中間画像Ｍが生成されるたびに、復元画像が更新される。
　図９は、変形例３に係るイメージング方法を説明する図である。変形例３では、参照光を照射し続け、ｎ回の照射ごとに相関計算を行う。そして、直近のｋ個の中間画像Ｍ（ｘ，ｙ）を合成することにより、復元画像Ｇ（ｘ，ｙ）を生成する処理を、ユニットごとに繰り返す。なお変形例３に係るイメージング方法は、ハードウェア的には図１のイメージング装置１００によって実現可能であり、再構成処理部１３４の処理を修正すればよい。
　その他は実施の形態１と同様である。変形例３のイメージング方法によれば、復元画像の生成速度を高めることができる。
（変形例４）
　分割復元方式において、必ずしも予め定めたＭ回の照射を行う必要はなく、Ｍ回に達する前に、十分な画質の復元画像が得られた場合、あるいは物体の種類が識別できた場合、そこでセンシングを中止してもよい。
（用途）
　続いてイメージング装置１００の用途を説明する。図１０は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。
　イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
　図１１は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
　図１２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　実施の形態にもとづき、具体的な語句を用いて本開示を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本開示は、イメージング装置に関する。
ＯＢＪ…物体、１０…物体識別システム、４０…演算処理装置、４２…分類器、１００…イメージング装置、１１０…照明装置、１１２…光源、１１４…パターニングデバイス、１２０…光検出器、１２２…Ａ／Ｄコンバータ、１３０…演算処理装置、１３２…パターン発生器、１３４…再構成処理部、１３６…デジタルフィルタ、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、３００…自動車、３０２…前照灯、３１０…灯具システム、３０４…車両側ＥＣＵ。

Claims (4)

  1. 　オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムにパターニングされた複数の参照光を所定の照射周波数で切りかえながら視野に照射する照明装置と、
    　前記視野に存在する物体からの反射光を測定する光検出器と、
    　前記光検出器の出力を前記照射周波数より高いサンプリングレートでデジタル信号に変換するＡ／Ｄコンバータと、
    　前記Ａ／Ｄコンバータの出力を、前記参照光のパターン毎のデータ群に区切り、各データ群ごとに、フィルタリング処理するデジタルフィルタと、
    　前記デジタルフィルタを通過した前記データ群にもとづく検出強度と前記参照光の強度分布の相関計算により、前記物体の復元画像を再構成する再構成処理部と、
    　を備えることを特徴とするイメージング装置。
  2. 　前記検出強度は、前記デジタルフィルタを通過した前記データ群の平均値であることを特徴とする請求項１に記載のイメージング装置。
  3. 　請求項１または２に記載のイメージング装置を備えることを特徴とする車両用灯具。
  4. 　請求項１から３のいずれかに記載のイメージング装置を備えることを特徴とする車両。
PCT/JP2021/039105 2020-10-28 2021-10-22 イメージング装置および車両用灯具、車両 WO2022091972A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022559091A JPWO2022091972A1 (ja) 2020-10-28 2021-10-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-180887 2020-10-28
JP2020180887 2020-10-28

Publications (1)

Publication Number Publication Date
WO2022091972A1 true WO2022091972A1 (ja) 2022-05-05

Family

ID=81383880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/039105 WO2022091972A1 (ja) 2020-10-28 2021-10-22 イメージング装置および車両用灯具、車両

Country Status (2)

Country Link
JP (1) JPWO2022091972A1 (ja)
WO (1) WO2022091972A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022270476A1 (ja) * 2021-06-22 2022-12-29 株式会社小糸製作所 イメージング装置および車両用灯具、車両

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124285A1 (ja) * 2016-12-29 2018-07-05 国立大学法人東京大学 イメージング装置及び方法
US20180255212A1 (en) * 2017-03-03 2018-09-06 University Of Maryland Baltimore County High Resolution Turbulence Free Imaging
WO2020149140A1 (ja) * 2019-01-17 2020-07-23 株式会社小糸製作所 車載用イメージング装置、車両用灯具、自動車
JP2020136837A (ja) * 2019-02-15 2020-08-31 日本放送協会 ３次元画像用の撮像装置および３次元画像用の撮像表示装置
CN111626285A (zh) * 2020-05-27 2020-09-04 北京环境特性研究所 一种字符识别系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124285A1 (ja) * 2016-12-29 2018-07-05 国立大学法人東京大学 イメージング装置及び方法
US20180255212A1 (en) * 2017-03-03 2018-09-06 University Of Maryland Baltimore County High Resolution Turbulence Free Imaging
WO2020149140A1 (ja) * 2019-01-17 2020-07-23 株式会社小糸製作所 車載用イメージング装置、車両用灯具、自動車
JP2020136837A (ja) * 2019-02-15 2020-08-31 日本放送協会 ３次元画像用の撮像装置および３次元画像用の撮像表示装置
CN111626285A (zh) * 2020-05-27 2020-09-04 北京环境特性研究所 一种字符识别系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022270476A1 (ja) * 2021-06-22 2022-12-29 株式会社小糸製作所 イメージング装置および車両用灯具、車両

Also Published As

Publication number Publication date
JPWO2022091972A1 (ja) 2022-05-05

Similar Documents

Publication Publication Date Title
EP2979923B1 (en) Illumination system
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
JP7408572B2 (ja) 車両用灯具および車両
US20220132022A1 (en) Imaging device
US11275288B2 (en) Ballistic light modulations for image enhancement through fog
WO2021112094A1 (ja) 車両検出装置、車両用灯具システム、車両検出方法、配光制御装置および配光制御方法
WO2020218282A1 (ja) イメージング装置、車両用灯具、自動車、イメージング方法
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
US20230009034A1 (en) Imaging apparatus
JP2020106376A (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両
US12003839B2 (en) Imaging apparatus using ghost imaging
RU2788319C1 (ru) Способ и устройство подавления засветки при формировании фото и видеоизображений дорожного окружения перед транспортным средством с помощью метода фантомных изображений
RU2746614C1 (ru) Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
CN116457700A (zh) 感测装置、车辆用灯具、车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886090

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022559091

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21886090

Country of ref document: EP

Kind code of ref document: A1