WO2021079810A1 - イメージング装置、車両用灯具、車両、イメージング方法 - Google Patents

イメージング装置、車両用灯具、車両、イメージング方法 Download PDF

Info

Publication number
WO2021079810A1
WO2021079810A1 PCT/JP2020/038835 JP2020038835W WO2021079810A1 WO 2021079810 A1 WO2021079810 A1 WO 2021079810A1 JP 2020038835 W JP2020038835 W JP 2020038835W WO 2021079810 A1 WO2021079810 A1 WO 2021079810A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging device
correlation calculation
intensity distribution
photodetector
Prior art date
Application number
PCT/JP2020/038835
Other languages
English (en)
French (fr)
Inventor
輝明 鳥居
祐太 春瀬
真太郎 杉本
健人 新田
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021554333A priority Critical patent/JPWO2021079810A1/ja
Publication of WO2021079810A1 publication Critical patent/WO2021079810A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the present invention relates to an imaging device using ghost imaging.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • the imaging devices As one of the imaging devices (sensors), one that uses the principle of ghost imaging is known.
  • ghost imaging an object is irradiated while randomly switching the intensity distribution (pattern) of the reference light, and the light detection intensity of the reflected light is measured for each pattern.
  • the photodetection intensity is an integral value of energy or intensity over a plane, not an intensity distribution. Then, the correlation calculation between the corresponding pattern and the light detection intensity is performed, and the restored image of the object is reconstructed.
  • the correlation function of Eq. (1) is used for the correlation in ghost imaging.
  • b r is the value of the detected intensity obtained when irradiating reference light having a r-th intensity distribution.
  • FIG. 1 is a time chart showing the sensing of one frame of the imaging apparatus.
  • the correlation calculation requires the average value ⁇ b> of M detection intensities b 1 to b M obtained for M times of irradiation of the reference light.
  • the average value ⁇ b> is calculated and the correlation calculation is started.
  • a photodetector is used to measure the light detection intensity.
  • the photodetector is incident with ambient light (that is, a noise component). If the intensity of the ambient light is constant during the irradiation period T in which the irradiation is performed M times, the influence of noise is cancelled. However, if the intensity of the ambient light fluctuates during the irradiation period T, the influence of noise is not canceled, and the image quality of the reconstructed image deteriorates. For example, when the imaging device is mounted on a moving body such as an automobile, this problem becomes remarkable when the distance between the noise light source and the moving body changes.
  • the present invention has been made in such a situation, and one of the exemplary purposes of the embodiment is to provide an imaging apparatus having improved resistance to noise that fluctuates with time.
  • the imaging device includes a lighting device that sequentially switches and irradiates M (M ⁇ 2) reference lights having a spatially random intensity distribution, a photodetector that measures reflected light from an object, and light detection. It is provided with an arithmetic processing device that performs correlation calculation between the detection intensity and the intensity distribution of the reference light based on the output of the device and reconstructs the restored image of the object.
  • the arithmetic processing unit divides M reference lights into a plurality of k units (k ⁇ 2), performs correlation calculation for each divided unit to generate an intermediate image, and k obtained for k units. Combine the intermediate images to generate a restored image.
  • Another aspect of the present invention is also an imaging device.
  • This imaging device sequentially switches and irradiates M reference lights with a spatially random intensity distribution, a photodetector that measures the reflected light from an object, and the output of the photodetector. It is provided with an arithmetic processing device that performs correlation calculation between the detection intensity and the intensity distribution of the reference light to reconstruct the restored image of the object.
  • the arithmetic processing unit generates an intermediate image by performing a correlation calculation each time it irradiates n (n ⁇ 2) reference lights, synthesizes the latest k (k ⁇ 2) intermediate images, and produces a restored image. Generate.
  • FIG. 4A is a diagram showing the effect of noise on batch restoration
  • FIG. 4B is a diagram showing the effect of noise on divisional restoration
  • FIG. 5A is a diagram showing a target image
  • FIG. 5B is a diagram showing an image obtained by batch restoration and division restoration in the absence of noise
  • FIG. 5B is a diagram showing an image obtained by batch restoration and division restoration in the absence of noise
  • FIG. 5B is a diagram showing an image obtained by batch restoration and division restoration in the absence of noise.
  • the restoration image G (x, y) obtained by batch restoration and division restoration in the presence of linear noise.
  • FIG. It is a block diagram of an object identification system. It is a block diagram of an automobile equipped with an object identification system. It is a block diagram which shows the lighting equipment for a vehicle provided with an object detection system.
  • random intensity distribution does not mean that the image is completely random, but may be random enough to reconstruct the image in ghost imaging. Therefore, “random” in the present specification can include some regularity in it. Also, “random” does not require unpredictability, but may be predictable and reproducible.
  • the imaging device includes a lighting device that sequentially switches and irradiates M (M ⁇ 2) reference lights having a spatially random intensity distribution, a photodetector that measures reflected light from an object, and light detection. It is provided with an arithmetic processing device that performs correlation calculation between the detection intensity and the intensity distribution of the reference light based on the output of the device and reconstructs the restored image of the object.
  • the arithmetic processing unit divides M reference lights into a plurality of k units (k ⁇ 2), performs correlation calculation for each divided unit to generate an intermediate image, and k obtained for k units. Combine the intermediate images to generate a restored image.
  • the amount of noise change per correlation calculation can be reduced, the restoration accuracy can be improved, and the image quality can be improved. Further, since the correlation calculation can be started without waiting for the completion of irradiation of M reference lights, the time required to generate the restored image can be shortened.
  • the number of reference lights included in each unit may be M / k. This simplifies signal processing.
  • the number of units k may be dynamically controlled. Image quality can be further improved by selecting the optimum number of units according to the noise fluctuation rate and noise waveform.
  • the number of irradiations for each unit may be different for each unit.
  • One embodiment disclosed herein also relates to an imaging apparatus.
  • This imaging device sequentially switches and irradiates M reference lights with a spatially random intensity distribution, a photodetector that measures the reflected light from an object, and the output of the photodetector. It is provided with an arithmetic processing device that performs correlation calculation between the detection intensity and the intensity distribution of the reference light to reconstruct the restored image of the object.
  • the arithmetic processing unit generates an intermediate image by performing a correlation calculation each time it irradiates n (n ⁇ 2) reference lights, synthesizes the latest k (k ⁇ 2) intermediate images, and produces a restored image. Generate.
  • the amount of noise change per correlation calculation can be reduced, the restoration accuracy can be improved, and the image quality can be improved.
  • the update speed (frame rate) of the restored image can be increased.
  • FIG. 2 is a diagram showing an imaging device 100 according to the first embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes a lighting device 110, a photodetector 120, and an arithmetic processing unit 130.
  • the imaging device 100 is also referred to as a quantum radar camera.
  • the lighting device 110 is a pseudo-heat light source, generates reference light S1 having a spatial intensity distribution I (x, y) that can be regarded as substantially random, and irradiates the object OBJ.
  • the reference light S1 is sequentially irradiated while randomly changing its intensity distribution M times.
  • the number of irradiations M is a number of times that the original image can be restored in the conventional imaging method (collective restoration described later).
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 132.
  • the light source 112 produces light S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112, a laser, a light emitting diode, or the like.
  • the wavelength and spectrum of the reference light S1 are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light containing a predetermined wavelength.
  • the wavelength of the reference light S1 may be infrared or ultraviolet.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but the present invention is not limited to this, and an intermediate gradation may be taken.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is given a pattern signal PTN (image data) generated by the pattern generator 132.
  • the photodetector 120 measures the reflected light from the object OBJ and outputs the detection signal Dr.
  • Detection signal D r is the reference beam having an intensity distribution I r when irradiating the object OBJ, a spatial integral value of light energy (or intensity) that is incident on the light detector 120. Therefore, the photodetector 120 can use a single pixel photodetector (photodetector). From the photodetector 120, a plurality of detection signals D 1 to DM corresponding to each of the plurality of M intensity distributions I 1 to IM are output.
  • the arithmetic processing unit 130 includes a pattern generator 132 and a reconstruction processing unit 134.
  • the reconstruction processing unit 134 performs correlation calculation between a plurality of intensity distributions (also referred to as random patterns) I 1 to IM and a plurality of detected intensities b 1 to b M , and restores images G (x, y) of the object OBJ. To reconstruct.
  • Detection intensity b 1 ⁇ b M is based on the detection signal D 1 ⁇ D M.
  • the relationship between the detection intensity and the detection signal may be determined in consideration of the type and method of the photodetector 120.
  • the detection signal D r is the received light amount at a certain time (or small time), that is, representing the instantaneous value.
  • a plurality of times sampling a detection signal D r in the irradiation period, the detected intensity b r, the integral value of all sampled values of the detection signal D r it may be an average value or a maximum value. Alternatively, some of the total sampling values may be selected, and the integrated value, average value, or maximum value of the selected sampling values may be used.
  • the xth to yth ranks may be extracted counting from the maximum value, sampling values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Sampling values in a small range may be extracted.
  • the output D r of the optical detector 120 as it is can be detected intensity b r.
  • Conversion from the detection signal D r to the detected intensity b r is to the processing unit 130 may execute, may be performed outside the processor 130.
  • the restoration image generation process in the reconstruction processing unit 134 of the arithmetic processing unit 130 is performed by dividing M irradiations into a plurality of k units (k ⁇ 2). Specifically, the reconstruction processing unit 134 performs a correlation calculation for each divided unit to generate an intermediate image Mj (x, y). Then, the k intermediate images M 1 to M k (x, y) obtained for the k units are combined to generate the final restored image G (x, y).
  • the j-th term on the right-hand side of the equation (2) represents the intermediate image M j (x, y) of the j-th unit. Therefore, the restored image G (x, y) is synthesized by simply adding the corresponding pixels of the plurality of intermediate images M j (x, y).
  • the method of synthesis is not limited to simple addition, and weighted addition or other processing may be performed.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 130 may be configured only by hardware.
  • the above is the configuration of the imaging device 100. Next, the operation will be described.
  • FIG. 3 is a time chart illustrating the operation of the imaging device 100.
  • the restored image is generated by dividing it into k units, each of which contains n irradiations.
  • 1 -th unit includes a 1 ⁇ n th irradiation, detected intensity b 1 ⁇ b n corresponding to the irradiation of n times are generated, their mean value ⁇ b r [1]> is generated. Then, the detection intensity b 1 ⁇ b n, and the average value ⁇ b r [1]>, and the intensity distribution I n + 1 ⁇ I 2n, performs a correlation calculation using the intermediate image M 1 (x, y) is Will be generated.
  • 2 -th unit includes a n + 1 ⁇ 2n th irradiation, detected intensity b n + 1 ⁇ b 2n corresponding to the irradiation of n times are generated, their mean value ⁇ b r [2]> is generated. Then, the detection intensity b n + 1 ⁇ b 2n, their average value ⁇ b r [2]>, and the intensity distribution I n + 1 ⁇ I 2n, performs a correlation calculation using the intermediate image M 2 (x, y) is Will be generated.
  • the j-th unit contains (j-1) n + 1 to jn th irradiations, and detection intensities b (j-1) n + 1 to b jn corresponding to the n irradiations are generated, and their averages are generated.
  • the value ⁇ b r [j]> is generated.
  • the detection intensity b (j-1) n + 1 ⁇ b jn, their average value ⁇ b r [j]>, the intensity distribution I (j-1) and n + 1 ⁇ I jn, a correlation calculated using, An intermediate image M j (x, y) is generated.
  • the final k-th unit contains (k-1) n + 1 to kn th irradiations, and detection intensities b (k-1) n + 1 to b kn corresponding to the n irradiations are generated, and their average value ⁇ b r [k] > is generated. Then performed and the detection intensity b (k-1) n + 1 ⁇ b kn, their average value ⁇ b r [k]>, the intensity distribution I (k-1) and n + 1 ⁇ I kn, a correlation calculated using, An intermediate image M k (x, y) is generated.
  • the final restored image G (x, y) is generated by synthesizing the k intermediate images M 1 (x, y) to M k (x, y).
  • the imaging device 100 by dividing the correlation calculation into unit units, the amount of noise change per correlation calculation can be reduced, the restoration accuracy can be improved, and the image quality can be improved. Further, since the correlation calculation can be started without waiting for the completion of M irradiations, the time required to generate the restored image can be shortened.
  • imaging using the correlation calculation for each unit based on the equation (2) will be referred to as divisional restoration.
  • the conventional imaging using the correlation calculation based on the equation (1) is called batch restoration.
  • linear noise For example, consider noise that increases monotonically over time (called linear noise). Such linear noise can occur in cases where the distance between the noise source and the photodetector approaches over time.
  • FIG. 4A is a diagram showing the effect of noise on batch restoration
  • FIG. 4B is a diagram showing the effect of noise on divisional restoration.
  • the horizontal axis represents the irradiation pattern number, that is, the time.
  • 2 ⁇ 1/2 ⁇ (n / 2)
  • ⁇ (n ⁇ / 2) n 2 ⁇ / 4...
  • the integrated value over all irradiations may be kn 2 ⁇ / 4 by multiplying the value of the equation (4) by k.
  • FIG. 5A is a diagram showing a target image
  • FIG. 5B is a diagram showing an image obtained by batch restoration and division restoration in the absence of noise.
  • the number of units k is 10.
  • FIG. 6 is a diagram showing a restored image G (x, y) obtained by batch restoration and division restoration in the presence of linear noise.
  • the noise coefficient ⁇ is calculated in four ways: 0, 0.01, 0.1, and 1.
  • ⁇ 0 corresponds to the case where there is no noise.
  • FIG. 7 is a diagram illustrating an imaging method according to the second embodiment.
  • the reference light is continuously irradiated, and the correlation calculation is performed every n times of irradiation. Then, the process of generating the restored image G (x, y) by synthesizing the latest k intermediate images M (x, y) is repeated for each unit.
  • the imaging method according to the second embodiment can be realized by the imaging device 100 of FIG. 2 in terms of hardware, and the processing of the reconstruction processing unit 134 may be modified.
  • the generation speed of the restored image can be increased.
  • the number of units k is constant, but the number of units k may be dynamically controlled.
  • the image quality can be further improved by selecting the optimum number of units k according to the fluctuation speed of noise and the waveform of noise.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but the present invention is not limited to this.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • FIG. 8 is a block diagram of the object identification system 10.
  • the object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging device 100 and an arithmetic processing unit 40. As described above, the imaging device 100 irradiates the object OBJ with the reference light S1 and measures the reflected light S2 to generate a restored image G of the object OBJ.
  • the arithmetic processing unit 40 processes the output image G of the imaging device 100 and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ included in the image G.
  • the classifier 42 is implemented based on the model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the noise immunity is significantly improved. For example, when it is raining, snowing, or traveling in fog, it is difficult to recognize the object OBJ with the naked eye, but by using the imaging device 100, the object OBJ is not affected by rain, snow, or fog.
  • the restored image G can be obtained.
  • the imaging device 100 by using the imaging device 100, the calculation delay can be reduced. This can provide low latency sensing. Especially in in-vehicle applications, there are cases where the object OBJ moves at high speed, so the benefit of low-delay sensing is very large.
  • FIG. 9 is a block diagram of an automobile provided with the object identification system 10.
  • the automobile 300 includes headlights 302L and 302R.
  • the imaging device 100 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the most tip of the vehicle body, and is the most advantageous as an installation location of the imaging device 100 in detecting surrounding objects.
  • FIG. 10 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes an imaging device 100 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the present invention relates to an imaging device using ghost imaging.
  • OBJ ... object, 10 ... object identification system, 40 ... arithmetic processing device, 42 ... classifier, 100 ... imaging device, 110 ... lighting device, 112 ... light source, 114 ... patterning device, 120 ... optical detector, 130 ... arithmetic processing Equipment, 132 ... pattern generator, 134 ... reconstruction processing unit, 200 ... vehicle lighting, 202 ... light source, 204 ... lighting circuit, 206 ... optical system, 300 ... automobile, 302 ... headlight, 310 ... lighting system, 304 ... Vehicle side ECU

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

イメージング装置１００において、照明装置１１０は、空間的にランダムな強度分布を有する参照光を、Ｍ回（Ｍ≧２）、シーケンシャルに照射する。演算処理装置１３０は、Ｍ回の照射を複数ｋ個（ｋ≧２）のユニットに分割し、分割したユニットごとに相関計算を行って中間画像を生成し、ｋ個のユニットについて得られたｋ個の中間画像を合成し、復元画像Ｇ（ｘ，ｙ）を生成する。

Description

イメージング装置、車両用灯具、車両、イメージング方法
　本発明は、ゴーストイメージングを利用したイメージング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関計算を行い、物体の復元画像を再構成（reconstruct）する。
特許第６４１２６７３号公報
　本発明者らは、イメージング装置について検討した結果、以下の課題を認識するに至った。ゴーストイメージングにおける相関には、式（１）の相関関数が用いられる。参照光のＩｒはｒ番目（ｒ＝１，２…，Ｍ）の強度分布であり、ｂｒはｒ番目の強度分布を有する参照光を照射したときに得られる検出強度の値である。
Figure JPOXMLDOC01-appb-M000001
　図１は、イメージング装置の１フレームのセンシングを示すタイムチャートである。式（１）から分かるように、相関計算には、Ｍ回の参照光の照射に対して得られるＭ個の検出強度ｂ１～ｂＭの平均値＜ｂ＞が必要である。
　したがってＭ回の照射の完了後に、平均値＜ｂ＞を算出して、相関計算を開始することとなる。ここで、光検出強度の測定には光検出器が用いられる。光検出器には、物体からの反射光（すなわち信号成分）に加えて、外乱光（すなわちノイズ成分）が入射する。外乱光の強度が、Ｍ回の照射を行う照射期間Ｔの間、一定であれば、ノイズの影響はキャンセルされる。ところが、外乱光の強度が照射期間Ｔの間に変動すると、ノイズの影響がキャンセルされないため、再構成した画像の画質が低下する。たとえば、イメージング装置を自動車などの移動体に搭載した場合に、ノイズ光源と移動体の距離が変化するような場合に、この問題が顕著となる。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、時間的に変動するノイズに対する耐性を高めたイメージング装置の提供にある。
　本発明のある態様はイメージング装置に関する。イメージング装置は、空間的にランダムな強度分布を有するＭ個（Ｍ≧２）の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布の相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。演算処理装置は、Ｍ個の参照光を複数ｋ個（ｋ≧２）のユニットに分割し、分割したユニットごとに相関計算を行って中間画像を生成し、ｋ個のユニットについて得られたｋ個の中間画像を合成し、復元画像を生成する。
　本発明の別の態様もまた、イメージング装置である。このイメージング装置は、空間的にランダムな強度分布を有するＭ個の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布の相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。演算処理装置は、ｎ個（ｎ≧２）の参照光を照射するたびに相関計算を行い中間画像を生成し、最新のｋ個（ｋ≧２）の中間画像を合成して、復元画像を生成する。
　本発明のある態様によれば、イメージング装置の時間的に変動するノイズに対する耐性を高めることができる。
イメージング装置の１フレームのセンシングを示すタイムチャートである。 実施の形態１に係るイメージング装置を示す図である。 イメージング装置の動作を説明するタイムチャートである。 図４（ａ）は、一括復元におけるノイズの影響を示す図であり、図４（ｂ）は、分割復元におけるノイズの影響を示す図である。 図５（ａ）は、ターゲット画像を、図５（ｂ）は、ノイズが存在しないときの、一括復元と分割復元により得られる画像を示す図である。 線形ノイズが存在するときの、一括復元と分割復元により得られる復元画像Ｇ（ｘ，ｙ）を示す図である。 実施の形態２に係るイメージング方法を説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施の形態の概要）
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
　本明細書に開示される一実施の形態は、イメージング装置に関する。イメージング装置は、空間的にランダムな強度分布を有するＭ個（Ｍ≧２）の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布の相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。演算処理装置は、Ｍ個の参照光を複数ｋ個（ｋ≧２）のユニットに分割し、分割したユニットごとに相関計算を行って中間画像を生成し、ｋ個のユニットについて得られたｋ個の中間画像を合成し、復元画像を生成する。
　相関計算をユニット単位に分割して行うことで、相関計算１回当たりのノイズ変化量を減らすことができ、復元精度を高めて画質を改善できる。また、Ｍ個の参照光の照射の完了を待たずに、相関計算を開始できるため、復元画像を生成するのに要する時間を短縮できる。
　各ユニットに含まれる参照光の個数はＭ／ｋであってもい。これにより信号処理を簡素化できる。
　ユニット数ｋは、動的に制御されてもよい。ノイズの変動速度やノイズの波形に応じて、最適なユニット数を選択することで、画質をより改善できる。
　ユニットごとの照射回数は、ユニットごとに異なっていてもよい。
　本明細書に開示される一実施の形態も、イメージング装置に関する。このイメージング装置は、空間的にランダムな強度分布を有するＭ個の参照光を、シーケンシャルに切りかえて照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布の相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。演算処理装置は、ｎ個（ｎ≧２）の参照光を照射するたびに相関計算を行い中間画像を生成し、最新のｋ個（ｋ≧２）の中間画像を合成して、復元画像を生成する。
　相関計算をユニット単位に分割して行うことで、相関計算１回当たりのノイズ変化量を減らすことができ、復元精度を高めて画質を改善できる。また、復元画像の更新速度（フレームレート）を高めることができる。
（実施の形態）
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
（実施の形態１）
　図２は、実施の形態１に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０および演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる空間強度分布Ｉ（ｘ，ｙ）を有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。参照光Ｓ１は、その強度分布を複数のＭ回、ランダムに変化させながらシーケンシャルに照射される。照射回数Ｍは、従来のイメージング方式（後述の一括復元）において、元の画像を復元しうる程度の回数である。
　照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１３２を含む。光源１１２は、均一な強度分布を有する光Ｓ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光Ｓ１の波長は、赤外あるいは紫外であってもよい。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１３２が発生するパターン信号ＰＴＮ（画像データ）が与えられている。
　パターン発生器１３２は、参照光Ｓ１の強度分布Ｉｒを指定するパターン信号ＰＴＮｒを発生し、時間とともにパターン信号ＰＴＮｒを切り替える（ｒ＝１，２，…Ｍ）。
　光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｄｒを出力する。検出信号Ｄｒは、強度分布Ｉｒを有する参照光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。
　演算処理装置１３０は、パターン発生器１３２と再構成処理部１３４を含む。再構成処理部１３４は、複数の強度分布（ランダムパターンともいう）Ｉ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関計算を行い、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。
　検出強度ｂ１～ｂＭは、検出信号Ｄ１～ＤＭにもとづいている。検出強度と検出信号の関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　ある強度分布Ｉｒの参照光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｒは、ある時刻（あるいは微小時間）の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｒを複数回サンプリングし、検出強度ｂｒを、検出信号Ｄｒの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　光検出器１２０として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器１２０の出力Ｄｒをそのまま、検出強度ｂｒとすることができる。
　検出信号Ｄｒから検出強度ｂｒへの変換は、演算処理装置１３０が実行してもよいし、演算処理装置１３０の外部で行ってもよい。
　演算処理装置１３０の再構成処理部１３４における復元画像の生成処理は、Ｍ回の照射を複数ｋ個（ｋ≧２）のユニットに分割して行われる。具体的には再構成処理部１３４は、分割したユニットごとに相関計算を行って中間画像Ｍｊ（ｘ，ｙ）を生成する。そしてｋ個のユニットについて得られたｋ個の中間画像Ｍ１～Ｍｋ（ｘ，ｙ）を合成し、最終的な復元画像Ｇ（ｘ，ｙ）を生成する。
　簡単のため、各ユニットの照射回数ｎは等しくＭ／ｋであるとする。この場合の復元画像Ｇ（ｘ，ｙ）は、式（２）で表される。Ｉｒは、ｒ番目の強度分布であり、ｂｒはｒ番目の検出強度の値であり、＜ｂｒ ［ｊ］＞は、ｊ番目のユニットにおいて測定された検出強度ｂｒの平均値である。
Figure JPOXMLDOC01-appb-M000002
　式（２）の右辺のｊ番目の項は、ｊ番目のユニットの中間画像Ｍｊ（ｘ，ｙ）を表す。したがって、復元画像Ｇ（ｘ，ｙ）は、複数の中間画像Ｍｊ（ｘ，ｙ）の対応する画素同士を単純加算することにより合成されている。なお、合成の方法は単純加算に限定されず、重み付け加算やその他の処理を行ってもよい。
　演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　以上がイメージング装置１００の構成である。続いてその動作を説明する。
　図３は、イメージング装置１００の動作を説明するタイムチャートである。図３では、パターニングデバイス１１４の全画素数はｐ＝４×４＝１６画素で表され、１枚の復元画像Ｇ（ｘ，ｙ）の生成（１フレームの撮影）に関して、Ｍ個のランダムパターンＩ１～ＩＭが生成される。
　復元画像の生成は、それぞれがｎ回の照射を含むｋ個のユニットに分割して行われる。
　１個目のユニットは、１～ｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ１～ｂｎが生成され、それらの平均値＜ｂｒ ［１］＞が生成される。そして、検出強度ｂ１～ｂｎと、それらの平均値＜ｂｒ ［１］＞と、強度分布Ｉｎ＋１～Ｉ２ｎと、用いて相関計算を行い、中間画像Ｍ１（ｘ，ｙ）が生成される。
　２個目のユニットは、ｎ＋１～２ｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂｎ＋１～ｂ２ｎが生成され、それらの平均値＜ｂｒ ［２］＞が生成される。そして、検出強度ｂｎ＋１～ｂ２ｎと、それらの平均値＜ｂｒ ［２］＞と、強度分布Ｉｎ＋１～Ｉ２ｎと、用いて相関計算を行い、中間画像Ｍ２（ｘ，ｙ）が生成される。
　同様にしてｊ個目のユニットは、（ｊ－１）ｎ＋１～ｊｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ（ｊ－１）ｎ＋１～ｂｊｎが生成され、それらの平均値＜ｂｒ ［ｊ］＞が生成される。そして、検出強度ｂ（ｊ－１）ｎ＋１～ｂｊｎと、それらの平均値＜ｂｒ ［ｊ］＞と、強度分布Ｉ（ｊ－１）ｎ＋１～Ｉｊｎと、用いて相関計算を行い、中間画像Ｍｊ（ｘ，ｙ）が生成される。
　最後のｋ番目のユニットは、（ｋ－１）ｎ＋１～ｋｎ回目の照射を含み、ｎ回の照射に対応する検出強度ｂ（ｋ－１）ｎ＋１～ｂｋｎが生成され、それらの平均値＜ｂｒ ［ｋ］＞が生成される。そして、検出強度ｂ（ｋ－１）ｎ＋１～ｂｋｎと、それらの平均値＜ｂｒ ［ｋ］＞と、強度分布Ｉ（ｋ－１）ｎ＋１～Ｉｋｎと、用いて相関計算を行い、中間画像Ｍｋ（ｘ，ｙ）が生成される。
　そして、ｋ個の中間画像Ｍ１（ｘ，ｙ）～Ｍｋ（ｘ，ｙ）を合成することにより、最終的な復元画像Ｇ（ｘ，ｙ）が生成される。
　以上がイメージング装置１００の動作である。このイメージング装置１００によれば、相関計算をユニット単位に分割して行うことで、相関計算１回当たりのノイズ変化量を減らすことができ、復元精度を高めて画質を改善できる。また、Ｍ回の照射の完了を待たずに、相関計算を開始できるため、復元画像を生成するのに要する時間を短縮できる。
　以下、イメージング装置１００によるノイズ耐性の改善について説明する。以下では、式（２）にもとづくユニットごとの相関計算を利用したイメージングを分割復元と称する。また式（１）にもとづく相関計算を利用した従来のイメージングを一括復元と称する。
　たとえば、時間的に単調増加するノイズ（線形ノイズと称する）を考える。このような線形ノイズは、ノイズ光源と光検出器との距離が、時間とともに接近するようなケースにおいて生じうる。
　図４（ａ）は、一括復元におけるノイズの影響を示す図であり、図４（ｂ）は、分割復元におけるノイズの影響を示す図である。横軸は照射パターンの番号、すなわち時間を表す。σｒは、ｒ番目のパターンを照射しているときのノイズ強度を表し、ここでは、σｒ＝α×ｒにしたがって増加するものとする。
　図４（ａ）を参照する。一括復元を行う場合、各パターン照射時に検出されるノイズの強度ｂｒとノイズの平均値＜σｒ＞の差分Δσｒ（＝σｒ－＜σｒ＞）の絶対値｜Δσｒ｜の全照射にわたる積算値は、ハッチングを付した面積に相当し、以下の式（３）で表される。
　Σ｜Δσｒ｜＝２×１／２×（ｋｎ／２）×（ｋｎα／２）＝ｎ２αｋ２／４　　…（３）
　図４（ｂ）を参照する。ここではｋ＝５としている。分割復元を行う場合、ｊ番目のユニットにおける差分Δσｒ（＝σｒ－＜σｒ ［ｊ］＞）の絶対値｜Δσｒ｜の積算値Σ｜Δσｒ｜は、ハッチングを付した面積に相当し、式（４）で表される。
　Σ｜Δσｒ｜＝２×１／２×（ｎ／２）×（ｎα／２）＝ｎ２α／４　…（４）
　全照射にわたる積算値は、式（４）の値をｋ倍すればよく、ｋｎ２α／４となる。
　このように、分割復元を行うことにより、ノイズ強度差分の絶対値｜Δσｒ｜の積算値が小さくなり、ノイズ耐性を高めることができる。
　続いて、一括復元と分割復元に関するシミュレーション結果を説明する。
　図５（ａ）は、ターゲット画像を、図５（ｂ）は、ノイズが存在しないときの、一括復元と分割復元により得られる画像を示す図である。シミュレーションは、Ｍ＝１０００，Ｍ＝１００００，Ｍ＝１０００００について行った。またユニット数ｋは１０としている。
　一括復元では、元のターゲット画像を認識しうる程度に復元するためには、Ｍ＝１０００００が必要であり、分割復元においても同様である。Ｍ＝１０００００において、最終的に得られる復元画像の精度は、一括復元と分割復元とで同等であると言える。
　図６は、線形ノイズが存在するときの、一括復元と分割復元により得られる復元画像Ｇ（ｘ，ｙ）を示す図である。総照射回数は、Ｍ＝１００００であり、検出強度の平均値は、＜ｂｒ＞＝１０００である。ノイズの係数αは、０，０．０１，０．１，１の４通りで計算している。α＝０はノイズがない場合に相当する。分割復元に関しては、ｋ＝１０，１００，１０００の場合について計算している。
　図６のシミュレーション結果から分かる通り、分割数ｋを高めるほど、ノイズ耐性が高まることが分かる。
（実施の形態２）
　実施の形態１では、図３に示すように、フレーム毎に独立した処理が行われており、フレーム周期毎に、新たな復元画像が生成される。これに対して、実施の形態２では、新たな中間画像Ｍが生成されるたびに、復元画像が更新される。
　図７は、実施の形態２に係るイメージング方法を説明する図である。実施の形態２では、参照光を照射し続け、ｎ回の照射ごとに相関計算を行う。そして、直近のｋ個の中間画像Ｍ（ｘ，ｙ）を合成することにより、復元画像Ｇ（ｘ，ｙ）を生成する処理を、ユニットごとに繰り返す。なお実施の形態２に係るイメージング方法は、ハードウェア的には図２のイメージング装置１００によって実現可能であり、再構成処理部１３４の処理を修正すればよい。
　その他は実施の形態１と同様である。実施の形態２のイメージング方法によれば、復元画像の生成速度を高めることができる。
　以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　実施の形態では、ユニットごとの照射回数が等しいものとしたが、その限りでなく、ユニットごとの照射回数は等しくなくてもよい。
（変形例２）
　また実施の形態では、ユニット数ｋが一定であるとしたが、ユニット数ｋを動的に制御してもよい。ノイズの変動速度やノイズの波形に応じて、最適なユニット数ｋを選択することで、画質をより改善できる。
（変形例３）
　実施の形態では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（用途）
　続いてイメージング装置１００の用途を説明する。図８は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。
　イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
　また、イメージング装置１００を用いることで、計算遅延を小さくできる。これにより低遅延のセンシングを提供できる。特に車載用途では物体ＯＢＪが高速に移動するケースがあるため、低遅延のセンシングがもたらす恩恵は、非常に大きい。
　図９は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
　図１０は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、ゴーストイメージングを利用したイメージング装置に関する。
　ＯＢＪ…物体、１０…物体識別システム、４０…演算処理装置、４２…分類器、１００…イメージング装置、１１０…照明装置、１１２…光源、１１４…パターニングデバイス、１２０…光検出器、１３０…演算処理装置、１３２…パターン発生器、１３４…再構成処理部、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、３００…自動車、３０２…前照灯、３１０…灯具システム、３０４…車両側ＥＣＵ

Claims (9)

  1. 　空間的にランダムな強度分布を有するＭ個（Ｍ≧２）の参照光をシーケンシャルに切りかえて照射する照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記光検出器の出力にもとづく検出強度と前記参照光の強度分布の相関計算を行い、前記物体の復元画像を再構成する演算処理装置と、
    　を備え、
    　前記演算処理装置は、前記Ｍ個の参照光を複数ｋ個（ｋ≧２）のユニットに分割し、分割したユニットごとに相関計算を行って中間画像を生成し、ｋ個のユニットについて得られたｋ個の前記中間画像を合成し、前記復元画像を生成することを特徴とするイメージング装置。
  2. 　各ユニットに含まれる参照光の個数はＭ／ｋであることを特徴とする請求項１に記載のイメージング装置。
  3. 　ユニットの個数ｋは、動的に制御されることを特徴とする請求項１または２に記載のイメージング装置。
  4. 　空間的にランダムな強度分布を有するＭ個の参照光を、シーケンシャルに切りかえて照射する照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記光検出器の出力にもとづく検出強度と前記参照光の強度分布の相関計算を行い、前記物体の復元画像を再構成する演算処理装置と、
    　を備え、
    　前記演算処理装置は、ｎ個（ｎ≧２）の前記参照光を照射するたびに相関計算を行い中間画像を生成し、最新のｋ個（ｋ≧２）の中間画像を合成して、前記復元画像を生成することを特徴とするイメージング装置。
  5. 　前記中間画像の合成は、対応する画素値同士の単純加算処理を含むことを特徴とする請求項１から４のいずれかに記載のイメージング装置。
  6. 　請求項１から５のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  7. 　請求項１から５のいずれかに記載のイメージング装置を備えることを特徴とする車両。
  8. 　ランダムな強度分布を有するＭ個（Ｍ≧２）の参照光を、シーケンシャルに切りかえて物体に照射するステップと、
    　光検出器により、前記物体からの反射光を測定するステップと、
    　前記Ｍ回の参照光を複数ｋ個（ｋ≧２）のユニットに分割し、分割したユニットごとに相関計算を行って中間画像を生成するステップと、
    　ｋ個のユニットについて得られたｋ個の前記中間画像を合成し、復元画像を生成するステップと、
    　を備えることを特徴とするイメージング方法。
  9. 　空間的にランダムな強度分布を有するＭ個（Ｍ≧２）の参照光を、シーケンシャルに切りかえて物体に照射するステップと、
    　光検出器により、前記物体からの反射光を測定するステップと、
    　ｎ個（ｎ≧２）の前記参照光を照射するたびに相関計算を行い中間画像を生成するステップと、
    　最新のｋ個（ｋ≧２）の中間画像を合成して、復元画像を生成するステップと、
    　を備えることを特徴とするイメージング方法。
PCT/JP2020/038835 2019-10-23 2020-10-14 イメージング装置、車両用灯具、車両、イメージング方法 WO2021079810A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021554333A JPWO2021079810A1 (ja) 2019-10-23 2020-10-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019192623 2019-10-23
JP2019-192623 2019-10-23

Publications (1)

Publication Number Publication Date
WO2021079810A1 true WO2021079810A1 (ja) 2021-04-29

Family

ID=75619423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038835 WO2021079810A1 (ja) 2019-10-23 2020-10-14 イメージング装置、車両用灯具、車両、イメージング方法

Country Status (2)

Country Link
JP (1) JPWO2021079810A1 (ja)
WO (1) WO2021079810A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085328A1 (ja) * 2021-11-12 2023-05-19 株式会社小糸製作所 イメージング装置およびイメージング方法、車両用灯具、車両

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087244A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 画像処理装置、画像処理方法
WO2016027797A1 (ja) * 2014-08-19 2016-02-25 国立大学法人徳島大学 ゴーストイメージングを利用した物質測定装置
JP2019023640A (ja) * 2017-07-21 2019-02-14 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
JP2019039759A (ja) * 2017-08-24 2019-03-14 株式会社小糸製作所 センサシステム、および当該センサシステムを備えるランプユニット

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087244A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 画像処理装置、画像処理方法
WO2016027797A1 (ja) * 2014-08-19 2016-02-25 国立大学法人徳島大学 ゴーストイメージングを利用した物質測定装置
JP2019023640A (ja) * 2017-07-21 2019-02-14 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
JP2019039759A (ja) * 2017-08-24 2019-03-14 株式会社小糸製作所 センサシステム、および当該センサシステムを備えるランプユニット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIBUYA, KYUKI ET AL.: "Effect of reducing the number of quantity survey of ghost imaging by the circulation pattern", ACADEMIC LECTURE PROCEEDINGS OF THE 2013 JSPE AUTUMN CONFERENCE, 28 February 2014 (2014-02-28), pages 395 - 396 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085328A1 (ja) * 2021-11-12 2023-05-19 株式会社小糸製作所 イメージング装置およびイメージング方法、車両用灯具、車両

Also Published As

Publication number Publication date
JPWO2021079810A1 (ja) 2021-04-29

Similar Documents

Publication Publication Date Title
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
JP7408572B2 (ja) 車両用灯具および車両
CN110709281B (zh) 车辆用灯具及其控制装置、控制方法
WO2020218282A1 (ja) イメージング装置、車両用灯具、自動車、イメージング方法
US20220132022A1 (en) Imaging device
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
US20230009034A1 (en) Imaging apparatus
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両
US12003839B2 (en) Imaging apparatus using ghost imaging
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
CN116457700A (zh) 感测装置、车辆用灯具、车辆
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2019146514A1 (ja) 車載カメラシステム、車両用灯具、遠方の検出方法、車両用灯具の制御方法
CN114556412A (zh) 物体识别装置
CN116235108A (zh) 门控照相机、车辆用感测系统、车辆用灯具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20880101

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554333

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20880101

Country of ref document: EP

Kind code of ref document: A1