WO2020218283A1 - ＴｏＦカメラ、車両用灯具、自動車 - Google Patents

ＴｏＦカメラ、車両用灯具、自動車 Download PDF

Info

Publication number
WO2020218283A1
WO2020218283A1 PCT/JP2020/017167 JP2020017167W WO2020218283A1 WO 2020218283 A1 WO2020218283 A1 WO 2020218283A1 JP 2020017167 W JP2020017167 W JP 2020017167W WO 2020218283 A1 WO2020218283 A1 WO 2020218283A1
Authority
WO
WIPO (PCT)
Prior art keywords
tof camera
distance
light
irradiation light
calculation unit
Prior art date
Application number
PCT/JP2020/017167
Other languages
English (en)
French (fr)
Inventor
晃志 伊多波
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021516127A priority Critical patent/JPWO2020218283A1/ja
Priority to CN202080030777.6A priority patent/CN113728246A/zh
Publication of WO2020218283A1 publication Critical patent/WO2020218283A1/ja
Priority to US17/451,513 priority patent/US20220035039A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the present invention relates to a ToF (Time of Flight) camera.
  • ToF Time of Flight
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • Depth information cannot be obtained from a general monocular camera. Therefore, when a plurality of objects located at different distances overlap, it is difficult to separate them.
  • a ToF camera is known as a camera that can obtain depth information.
  • a ToF camera projects infrared light with a light emitting device, measures the flight time (delay time) ⁇ until the reflected light returns to the image sensor, and obtains an image obtained by converting the flight time ⁇ into distance information. Is.
  • the distance d to the object is expressed by the equation (1).
  • d c ⁇ / 2 ...
  • c is the speed of light.
  • the method of ToF camera is roughly divided into direct type and indirect type.
  • the direct type is a method of directly measuring the delay time d, and a high-speed TDC (Time To Digital Converter) is used.
  • the direct type requires a high-frequency device having a high-speed clock in order to obtain high resolution, and is difficult to adopt in a camera that generates an image containing a plurality of pixels.
  • FIG. 1 is a diagram for explaining the operating principle of the rectangular wave irradiation type ToF camera.
  • the ToF camera continuously performs two exposures (shooting) whose exposure time is equal to the pulse width tw of the irradiation light.
  • the portion of the pulse width tw of the reflected light that precedes the period t 1 is detected, and in the second exposure, the portion of the pulse width tw of the reflected light that follows the period t 2 is detected.
  • Received light amount detected by the first exposure the amount of charge Q 1
  • charge amount Q 2 the ratio of the amount of received light detected by the second exposure
  • t 1 tw x Q 1 / (Q 1 + Q 2 )
  • t 2 tw x Q 2 / (Q 1 + Q 2 ) Is established.
  • the delay time ⁇ is expressed by the equation (2).
  • the square wave irradiation type is based on the premise that the irradiation light is a perfect square wave, in other words, the intensity of the irradiation light is constant during the pulse irradiation period tw.
  • the present invention has been made in such a situation, and one of the exemplary purposes of the embodiment is to provide a ToF camera that allows waveform distortion of irradiation light.
  • a ToF camera is a light source that irradiates pulsed irradiation light whose intensity changes with time, an image sensor that measures reflected light from an object by two consecutive exposures, and an image obtained by the two exposures. It is provided with a calculation unit configured to generate a distance image by incorporating the waveform of the irradiation light based on the output of the sensor.
  • FIG. 5 (a) and 5 (b) are diagrams for explaining the calibration of the ToF camera.
  • a ToF camera is a light source that irradiates pulsed irradiation light whose intensity changes with time, an image sensor that measures reflected light from an object by two consecutive exposures, and an image obtained by the two exposures. It is provided with a calculation unit configured to generate a distance image by incorporating the waveform of the irradiation light based on the output of the sensor.
  • the accuracy of distance measurement can be improved when the irradiation light is not an ideal square wave. Therefore, the design of the light source can be facilitated and the cost of the light source can be reduced.
  • the calculation unit may generate a distance image by using a calculation formula defined based on the waveform of the irradiation light.
  • the calculation unit includes a distance calculation unit that calculates the distance when the intensity of the irradiation light is assumed to be constant, and a correction unit that corrects the distance calculated by the distance calculation unit based on the correction characteristics according to the waveform of the irradiation light. , May be provided.
  • the correction characteristics may be acquired by calibration.
  • FIG. 2 is a block diagram of the ToF camera 20 according to the embodiment.
  • the ToF camera 20 includes a light source 22, an image sensor 24, a controller 26, and a calculation unit 30.
  • the light source 22 irradiates the pulse-shaped irradiation light L1 whose intensity changes with time.
  • the image sensor 24 is a sensor suitable for a ToF camera, and measures the reflected light L2 from the object OBJ by two consecutive exposures.
  • the image sensor 24 has an array of a plurality of light receiving elements (hereinafter, also referred to as pixels), converts the light incident on the light receiving elements (pixels) into electric charges or currents for each of the two exposures, and converts the light into charges or currents. It is configured so that it can be integrated.
  • the reflected light L2 is incident on each pixel of the image sensor 24 at different timings (delay time ⁇ ).
  • the image sensor 24 generates two image data I 1 and I 2 corresponding to two exposures.
  • the pixel value of each pixel of the image data I 1 obtained in the first exposure represents the integrated value of the reflected light L2 incident on the pixel during the first exposure (that is, the integrated charge Q 1 ).
  • the pixel value of each pixel of the image data I 2 obtained in the second exposure represents the integrated value (integrated charge Q 2 ) of the reflected light L2 incident on the pixel during the second exposure.
  • the set of irradiation by the light source 22 and exposure by the image sensor 24 may be repeated a plurality of times in order to generate the distance image I 3 once.
  • the calculation unit 30 is configured to generate a distance image I 3 by incorporating the waveform of the irradiation light L1 based on the outputs I 1 and I 2 of the image sensor 24 obtained by the two exposures.
  • FIG. 3 is a diagram illustrating the operation of the ToF camera 20 of FIG. FIG. 3 shows the operation of one pixel.
  • the irradiation light L1 is attenuated with time during the irradiation period tw.
  • the reflected light L2 has the same waveform as the irradiation light L1.
  • the irradiation light L1 and the reflected light L2 are shown with the same intensity, but the reflected light L2 is actually attenuated more than the irradiation light L1.
  • the reflected light L2 In the first exposure, the reflected light L2, the amount of received light is detected in the front portion t 1, the pixel value Q 1 showing the integrated values are produced.
  • the pixel value Q 1 indicates an area S1 on the left side of the reflected light L2.
  • the reflected light L2 In the second exposure, the reflected light L2, the detection of the amount of light received at the rear portion t 2, the pixel value Q 2 to which indicating the integrated value is generated.
  • the pixel value Q 2 indicates the area S2 on the right side of the reflected light L2.
  • Waveform of the irradiation light L1 a known waveform of the reflected light L2 in other words, if the area S1, S2 are known, it is possible to obtain the time t 1, t 2. Then, based on the equations (1) and (2), the distance d to the object reflecting the reflected light incident on the pixel can be calculated.
  • the distance can be accurately measured during the irradiation period tw while allowing the intensity fluctuation of the irradiation light L1. Further, since the intensity fluctuation of the irradiation light L1 can be tolerated, the cost of the light source 22 can be reduced.
  • the calculation unit 30 calculates the distance by using the calculation formula defined based on the waveform of the irradiation light L1.
  • the intensity waveform of the irradiation light L1 and the reflected light L2 be I (t).
  • the areas S1 and S2 in FIG. 3 are represented by the following equations (3) and (4).
  • the calculation unit 30 can acquire t 1 from the measurement results Q1 and Q2.
  • the waveform I (t) is represented by the equation (5).
  • k is a coefficient representing the slope and has the dimension of the reciprocal of time.
  • equations (3) and (4) By substituting equation (2) into equations (3) and (4) for calculation, equations (6) and (7) are obtained.
  • Equation (8) can be obtained from equations (6) and (7), and when I 0 is eliminated, equation (9), which is a quadratic equation of t 1 , is obtained.
  • the distance d can be calculated from the equation (3).
  • FIG. 4 is a block diagram of the calculation unit 30 according to the third embodiment.
  • the calculation unit 30 includes a distance calculation unit 32 and a correction unit 34.
  • the distance calculation unit 32 receives the image data I 1 and the image data I 2 , and calculates the distance d of the pixels based on the pixel values Q 1 and Q 2 of the corresponding pixels.
  • the calculation of the distance d is performed on the assumption that the intensity of the irradiation light L1 is constant, and therefore is performed based on the equations (2) and (3).
  • the distance image I 4 generated by the distance calculation unit 32 is the same as the distance image of the prior art, and includes an error due to waveform distortion.
  • the correction unit 34 corrects the distance d calculated by the distance calculation unit 32 based on the correction characteristics according to the waveform of the irradiation light L1, and outputs the corrected distance image I 3 including the corrected distance dc.
  • the correction characteristics used in the correction unit 34 can be acquired by calibration.
  • 5 (a) and 5 (b) are diagrams for explaining the calibration of the ToF camera 20.
  • the output d of the distance calculation unit 32 is acquired while changing the actual distance x to the object.
  • FIG. 5A is a diagram showing the relationship between the actual distance x and the calculated value d.
  • FIG. 5B is a diagram showing correction characteristics corresponding to the distortion characteristics of FIG. 5A.
  • the correction characteristic is the inverse function f -1 (x) of the function f (x).
  • x f -1 (d)
  • This correction characteristic is converted into a polynomial approximation or a table and stored in the correction unit 34.
  • the correction unit 34 generates a corrected distance d c indicating a correct distance x based on the correction characteristics.
  • d c f -1 (d)
  • the corrected distance d c coincides with the actual distance x.
  • the correction characteristics may be calculated by simulation without being acquired by calibration.
  • the waveform of the irradiation light S1 is represented by a simple function I (t)
  • the correction characteristic may be obtained from the function I (t) and held in the correction unit 34.
  • FIG. 6 is a block diagram of an object identification system 400 including a ToF camera 410.
  • the object identification system 400 includes a ToF camera 410 and an arithmetic processing unit 420.
  • the ToF camera 410 is the above-mentioned ToF camera 20 and generates a distance image I 3 .
  • the arithmetic processing unit 420 can include a classifier 422.
  • the arithmetic processing unit 420 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 420 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 420 may be configured only by hardware.
  • the classifier 422 is implemented based on the prediction model generated by machine learning, and discriminates the type (category, class) of the object included in the input image.
  • the algorithm of the classifier 422 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the arithmetic processing unit 420 and the arithmetic unit 30 of the ToF camera 410 may be mounted on the same processor or the same FPGA.
  • the output of the object identification system 400 may be used for light distribution control of vehicle lighting equipment, or may be transmitted to the vehicle side ECU and used for automatic driving control.
  • FIG. 7 is a diagram showing an automobile 300 equipped with an object identification system 400.
  • the automobile 300 includes headlights 302L and 302R.
  • a part or all of the object identification system 400 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the most tip of the vehicle body, and is the most advantageous place for installing the ToF camera 20 in detecting surrounding objects.
  • FIG. 8 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 400, and includes a ToF camera 20 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the function of the arithmetic processing unit 40 for object detection may be implemented in the vehicle-side ECU 304.
  • the light source 22 of the ToF camera 20 When the light source 22 of the ToF camera 20 is built in the vehicle lighting equipment as shown in FIGS. 7 and 8, the light source 22 is customized to fit the vehicle lighting equipment or is designed from scratch. In this case, the waveform distortion of the irradiation light L1 generated by the light source 22 can be allowed by implementing the correction of the waveform distortion in the calculation unit 30 in the subsequent stage. Therefore, the specifications required for the light source 22 can be significantly relaxed, and the cost can be reduced.
  • the present invention relates to a ToF (Time of Flight) camera.
  • ToF Time of Flight

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

光源２２は、時間的に強度が変化するパルス状の照射光Ｌ１を照射する。イメージセンサ２４は、連続する２回の露光によって、物体からの反射光Ｌ２を測定する。演算部３０は、２回の露光により得られるイメージセンサ２４の出力Ｉ１，Ｉ２にもとづいて、照射光Ｌ１の波形を織り込んで、距離画像Ｉ３を生成する

Description

ＴｏＦカメラ、車両用灯具、自動車
　本発明は、ＴｏＦ（Time of Flight）カメラに関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
　奥行き情報が得られるカメラとして、ＴｏＦカメラが知られている。ＴｏＦカメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間（遅延時間）τを測定し、飛行時間τを距離情報に変換した画像を得るものである。物体までの距離ｄは、式（１）で表される。
　ｄ＝ｃτ／２　　　…（１）
　ｃは光速である。
　ＴｏＦカメラの方式は、直接型と間接型に大別される。直接型は、遅延時間ｄを直接測定する方法であり、高速なＴＤＣ（Time To Digital Converter）が利用される。直接型は、高い分解能を得るために、高速なクロックを有する高周波デバイスが必要であり、複数のピクセルを含む画像を生成するカメラに採用することは難しい。
　したがって現在、ＴｏＦカメラでは、間接型が主流となっている。間接型ＴｏＦカメラの一方式として、矩形波照射型がある。図１は、矩形波照射型ＴｏＦカメラの動作原理を説明する図である。ＴｏＦカメラは、矩形波の照射光を物体に照射する。この照射光が、距離ｄ離れた物体により反射され、τ＝２ｄ／ｃ経過後に、反射光がＴｏＦカメラに入射する。
　ＴｏＦカメラは、露光時間が照射光のパルス幅ｔｗと等しい２露光（撮影）を連続して回行う。
　１回目の露光で、反射光のパルス幅ｔｗのうち、先行する期間ｔ１の部分が検出され、２回目の露光で、反射光のパルス幅ｔｗのうち、後続する期間ｔ２の部分が検出される。１回目の露光で検出した受光量（電荷量Ｑ１）と、２回目の露光で検出した受光量（電荷量Ｑ２）の比は、期間ｔ１とｔ２に比例する。したがって、
　ｔ１＝ｔｗ×Ｑ１／（Ｑ１＋Ｑ２）
　ｔ２＝ｔｗ×Ｑ２／（Ｑ１＋Ｑ２）
が成り立つ。
　照射光の発光からｔｄ遅れて１回目の露光を開始する場合、遅延時間τは、式（２）で表される。
　τ＝ｔｄ＋ｔ２＝ｔｄ＋ｔｗ×Ｑ２／（Ｑ１＋Ｑ２）
　式（２）で得られる遅延時間を式（１）に代入すれば、物体までの距離ｄが得られる。
　本発明者は、矩形波照射型のＴｏＦカメラについて検討した結果、以下の課題を認識するに至った。矩形波照射型は、照射光が完全な矩形波であることを、言い換えれば、パルスの照射期間ｔｗの間、照射光の強度が一定であることを前提としている。しかしながら、時間的に均一な矩形波の照射光を生成することは容易ではなく、それを実現しようとすると光源の設計が難しくなり、コストが高くなる。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、照射光の波形歪みを許容するＴｏＦカメラの提供にある。
　本発明のある態様は、ＴｏＦカメラに関する。ＴｏＦカメラは、時間的に強度が変化するパルス状の照射光を照射する光源と、連続する２回の露光によって、物体からの反射光を測定するイメージセンサと、２回の露光により得られるイメージセンサの出力にもとづいて、照射光の波形を織り込んで、距離画像を生成するよう構成される演算部と、を備える。
　本発明によれば、照射光の波形歪みを許容するＴｏＦカメラを提供できる。
矩形波照射型ＴｏＦカメラの動作原理を説明する図である。 実施の形態に係るＴｏＦカメラのブロック図である。 図２のＴｏＦカメラの動作を説明する図である。 実施例３に係る演算部のブロック図である。 図５（ａ）、（ｂ）は、ＴｏＦカメラのキャリブレーションを説明する図である。 ＴｏＦカメラを備える物体識別システムのブロック図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施の形態の概要）
　本明細書に開示される一実施の形態は、ＴｏＦカメラに関する。ＴｏＦカメラは、時間的に強度が変化するパルス状の照射光を照射する光源と、連続する２回の露光によって、物体からの反射光を測定するイメージセンサと、２回の露光により得られるイメージセンサの出力にもとづいて、照射光の波形を織り込んで、距離画像を生成するよう構成される演算部と、を備える。
　この実施の形態によれば、照射光が理想的な矩形波でない場合に、測距の精度を高めることができる。したがって光源の設計を容易化でき、光源のコストを下げることができる。
　演算部は、照射光の波形にもとづいて規定される演算式を利用して、距離画像を生成してもよい。
　演算部は、照射光の強度が一定と仮定したときの距離を算出する距離算出部と、距離算出部が算出した距離を、照射光の波形に応じた補正特性にもとづいて補正する補正部と、を備えてもよい。
　補正特性は、キャリブレーションによって取得されてもよい。
（実施の形態）
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図２は、実施の形態に係るＴｏＦカメラ２０のブロック図である。ＴｏＦカメラ２０は、光源２２、イメージセンサ２４、コントローラ２６、演算部３０を備える。
　光源２２は、時間的に強度が変化するパルス状の照射光Ｌ１を照射する。イメージセンサ２４は、ＴｏＦカメラに適したセンサであり、連続する２回の露光によって、物体ＯＢＪからの反射光Ｌ２を測定する。イメージセンサ２４は、複数の受光素子（以下、画素ともいう）のアレイを有し、受光素子（画素）に入射光した光を、２回の露光それぞれについて、電荷あるいは電流に変換し、それを積算可能に構成される。イメージセンサ２４の各画素には、異なるタイミング（遅延時間τ）で、反射光Ｌ２が入射する。イメージセンサ２４は、２回の露光に対応する２枚の画像データＩ１，Ｉ２を生成する。１回目の露光で得られる画像データＩ１の各画素の画素値は、１回目の露光中にその画素に入射した反射光Ｌ２の積算値（つまり積算電荷Ｑ１）を表す。同様に２回目の露光で得られる画像データＩ２の各画素の画素値は、２回目の露光中にその画素に入射した反射光Ｌ２の積算値（積算電荷Ｑ２）を表す。
　なお、１回の距離画像Ｉ３の生成のために、光源２２による照射と、イメージセンサ２４による露光のセットを、複数回繰り返してもよい。
　演算部３０は、２回の露光により得られるイメージセンサ２４の出力Ｉ１，Ｉ２にもとづいて、照射光Ｌ１の波形を織り込んで距離画像Ｉ３を生成するよう構成される。
　以上がＴｏＦカメラ２０の構成である。続いてその動作を説明する。図３は、図２のＴｏＦカメラ２０の動作を説明する図である。図３は、ひとつの画素の動作を示す。この例では、照射光Ｌ１は、照射期間ｔｗの間、時間とともに減衰する。反射および伝搬による波形の乱れがないものとすると、反射光Ｌ２は、照射光Ｌ１と同じ波形を有する。図３では、照射光Ｌ１と反射光Ｌ２を同じ強度で示すが、実際には反射光Ｌ２は照射光Ｌ１よりも減衰している。
　１回目の露光では、反射光Ｌ２のうち、前側の部分ｔ１における受光量が検出され、積算値を示す画素値Ｑ１が生成される。この画素値Ｑ１は、反射光Ｌ２の左側の面積Ｓ１を示す。
　２回目の露光では、反射光Ｌ２のうち、後ろの部分ｔ２における受光量の検出され、積算値を示す画素値Ｑ２が生成される。この画素値Ｑ２は、反射光Ｌ２の右側の面積Ｓ２を示す。
　照射光Ｌ１の波形、言い換えれば反射光Ｌ２の波形が既知であり、面積Ｓ１，Ｓ２が既知であれば、時間ｔ１，ｔ２を取得することができる。そして、式（１）および（２）にもとづいて、その画素に入射する反射光を反射した物体までの距離ｄを計算することができる。
　以上がＴｏＦカメラ２０の動作である。このＴｏＦカメラ２０によれば、照射期間ｔｗの間、照射光Ｌ１の強度変動を許容しつつも、正確に距離を測定することができる。また照射光Ｌ１の強度変動を許容できるため、光源２２のコストを下げることができる。
　続いて、演算部３０における処理をいくつかの実施例をもとに説明する。
（実施例１）
　実施例１において、演算部３０は、照射光Ｌ１の波形にもとづいて規定される演算式を利用して、距離を算出する。
　照射光Ｌ１、ひいては反射光Ｌ２の強度波形をＩ（ｔ）とする。なおパルスの立ち上がりのタイミングをｔ＝０とする。このとき、図３の面積Ｓ１、Ｓ２は、以下の式（３）、（４）で表される。
Figure JPOXMLDOC01-appb-M000001
　Ｉ（ｔ）が既知であり、ｔｗが定数であるとき、演算部３０は、測定結果Ｑ１，Ｑ２から、ｔ１を取得することができる。
　たとえば照射光Ｌ１が、一定の傾きで変化する場合を考える。このとき、波形Ｉ（ｔ）は式（５）で表される。ただし、ｋは傾きを表す係数であり、時間の逆数の次元を有する。
Figure JPOXMLDOC01-appb-M000002
　式（２）を式（３）、（４）に代入して計算すると、式（６）、（７）を得る。
Figure JPOXMLDOC01-appb-M000003
　式（６）と（７）から式（８）を得ることができ、さらにＩ０を消去すると、ｔ１の２次方程式である式（９）を得る。
Figure JPOXMLDOC01-appb-M000004
　２次方程式を解くと式（１０）を得る。
Figure JPOXMLDOC01-appb-M000005
　演算部３０は、式（１０）にもとづいて、時間ｔ１を計算することができる。ｔ１が求まれば、遅延時間τは、式（１１）から計算できる。
　τ＝ｔｄ＋ｔ２＝ｔｄ＋ｔｗ－ｔ１　　　…（１１）
　そして、距離ｄは式（３）から計算できる。
（実施例２）
　式（１０）において、ｔｗ・Ｑ１／（Ｑ１＋Ｑ２）の項は、照射光Ｌ１が強度変動のない矩形波であると仮定したときの時間ｔ１’に他ならない。したがって、照射光Ｌ１の強度変動があるときの時間ｔ１は、強度変動がないと仮定したときの時間ｔ１’を補正した値として求めることも可能である。このときの補正式は式（１２）で表される。ただし、ｔ１’＝０のときにｔ１＝０としている。
Figure JPOXMLDOC01-appb-M000006
（実施例３）
　図４は、実施例３に係る演算部３０のブロック図である。演算部３０は、距離算出部３２および補正部３４を備える。距離算出部３２は、画像データＩ１と画像データＩ２を受け、対応する各ピクセルの画素値Ｑ１，Ｑ２にもとづいて、そのピクセルの距離ｄを算出する。この距離ｄの算出は、照射光Ｌ１の強度が一定と仮定して行われ、したがって、式（２）および（３）にもとづいて行われる。距離算出部３２において生成される距離画像Ｉ４は、従来技術の距離画像と同様であり、波形歪みに起因する誤差を含む。
　補正部３４は、距離算出部３２が算出した距離ｄを、照射光Ｌ１の波形に応じた補正特性にもとづいて補正し、補正後の距離ｄｃを含む補正後の距離画像Ｉ３を出力する。
　たとえば、補正部３４において使用する補正特性は、キャリブレーションによって取得することができる。図５（ａ）、（ｂ）は、ＴｏＦカメラ２０のキャリブレーションを説明する図である。キャリブレーションは、物体までの実距離ｘを変化させながら、距離算出部３２の出力ｄを取得する。図５（ａ）は、実距離ｘと、計算値ｄの関係を示す図である。波形が理想的であるとき、破線で示す直線ｄ＝ｘが得られるが、波形に歪みがあると、実線で示すように直線から逸脱する。このようにして歪み特性が得られる。
　図５（ｂ）は、図５（ａ）の歪み特性に対応する補正特性を示す図である。図５（ａ）の歪み特性が、ｄ＝ｆ（ｘ）の関数で表されるとき、補正特性は関数ｆ（ｘ）の逆関数ｆ－１（ｘ）となる。
　ｘ＝ｆ－１（ｄ）
　この補正特性は、多項式近似あるいはテーブルに変換され、補正部３４に格納される。補正部３４は補正特性にもとづいて、正しい距離ｘを示す補正後の距離ｄｃを生成する。
　ｄｃ＝ｆ－１（ｄ）
　図５（ｃ）に示すように、補正後の距離ｄｃは、実距離ｘと一致する。
　補正特性は、キャリブレーションによって取得せずに、シミュレーションによって計算してもよい。あるいは、照射光Ｓ１の波形が、簡単な関数Ｉ（ｔ）で表される場合、補正特性を関数Ｉ（ｔ）から求め、それを補正部３４に保持してもよい。
（用途）
　ＴｏＦカメラ２０の用途を説明する。図６は、ＴｏＦカメラ４１０を備える物体識別システム４００のブロック図である。物体識別システム４００は、ＴｏＦカメラ４１０と、演算処理装置４２０を備える。ＴｏＦカメラ４１０は、上述のＴｏＦカメラ２０であり、距離画像Ｉ３を生成する。
　演算処理装置４２０は、距離画像Ｉ３にもとづいて、物体の位置および種類（カテゴリー、クラス）を識別可能に構成される。演算処理装置４２０は、分類器４２２を含むことができる。演算処理装置４２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４２０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４２０はハードウェアのみで構成してもよい。
　分類器４２２は、機械学習によって生成された予測モデルにもとづいて実装され、入力された画像に含まれる物体の種類（カテゴリー、クラス）を判別する。分類器４２２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。演算処理装置４２０と、ＴｏＦカメラ４１０の演算部３０は、同じプロセッサあるいは同じＦＰＧＡに実装してもよい。
　物体識別システム４００の出力は、車両用灯具の配光制御に利用してもよいし、車両側ＥＣＵに送信して、自動運転制御に利用してもよい。
　図７は、物体識別システム４００を備える自動車３００を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム４００の一部、あるいは全部は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ＴｏＦカメラ２０の設置箇所として最も有利である。
　図８は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム４００に対応しており、ＴｏＦカメラ２０、演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。物体検出に演算処理装置４０の機能は、車両側ＥＣＵ３０４に実装してもよい。
　図７や図８のように、ＴｏＦカメラ２０の光源２２を車両用灯具に内蔵する場合、その光源２２は、車両用灯具に適合するようにカスタマイズされ、あるいはゼロから設計されることとなる。この場合に、後段の演算部３０に、波形歪みの補正を実装することにより、光源２２が生成する照射光Ｌ１の波形歪みを許容することができる。したがって光源２２に要求される仕様を大幅に緩和することができ、コストを下げることができる。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、ＴｏＦ（Time of Flight）カメラに関する。
　２０　ＴｏＦカメラ
　２２　光源
　２４　イメージセンサ
　２６　コントローラ
　３０　演算部
　３２　距離算出部
　３４　補正部
　Ｌ１　照射光
　Ｌ２　反射光
　４００　物体識別システム
　４２０　演算処理装置
　４２２　分類器
　２００　車両用灯具
　２０２　光源
　２０４　点灯回路
　２０６　光学系
　３００　自動車
　３０２　前照灯
　３０４　車両側ＥＣＵ
　３１０　灯具システム

Claims (7)

  1. 　時間的に強度が変化するパルス状の照射光を照射する光源と、
    　連続する２回の露光によって、物体からの反射光を測定するイメージセンサと、
    　前記２回の露光により得られるイメージセンサの出力にもとづいて、前記照射光の波形を織り込んで、距離画像を生成するよう構成される演算部と、
    　を備えることを特徴とするＴｏＦカメラ。
  2. 　前記演算部は、前記照射光の波形にもとづいて規定される演算式を利用して、前記距離画像を生成することを特徴とする請求項１に記載のＴｏＦカメラ。
  3. 　前記演算部は、
    　前記照射光の強度が一定と仮定したときの距離を算出する距離算出部と、
    　前記距離算出部が算出した距離を、前記照射光の波形に応じた補正特性にもとづいて補正する補正部と、
    　を備えることを特徴とする請求項１に記載のＴｏＦカメラ。
  4. 　前記補正特性は、キャリブレーションによって取得されることを特徴とする請求項３に記載のＴｏＦカメラ。
  5. 　請求項１から４のいずれかに記載のＴｏＦカメラを備えることを特徴とする車両用灯具。
  6. 　請求項１から４のいずれかに記載のＴｏＦカメラを備えることを特徴とする自動車。
  7. 　前記ＴｏＦカメラの前記光源は、車両用灯具に内蔵されることを特徴とする請求項６に記載の自動車。
PCT/JP2020/017167 2019-04-22 2020-04-21 ＴｏＦカメラ、車両用灯具、自動車 WO2020218283A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021516127A JPWO2020218283A1 (ja) 2019-04-22 2020-04-21
CN202080030777.6A CN113728246A (zh) 2019-04-22 2020-04-21 ToF照相机、车辆用灯具、汽车
US17/451,513 US20220035039A1 (en) 2019-04-22 2021-10-20 Tof camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019081025 2019-04-22
JP2019-081025 2019-04-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/451,513 Continuation US20220035039A1 (en) 2019-04-22 2021-10-20 Tof camera

Publications (1)

Publication Number Publication Date
WO2020218283A1 true WO2020218283A1 (ja) 2020-10-29

Family

ID=72942813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017167 WO2020218283A1 (ja) 2019-04-22 2020-04-21 ＴｏＦカメラ、車両用灯具、自動車

Country Status (4)

Country Link
US (1) US20220035039A1 (ja)
JP (1) JPWO2020218283A1 (ja)
CN (1) CN113728246A (ja)
WO (1) WO2020218283A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08184672A (ja) * 1994-12-28 1996-07-16 Fujitsu Ten Ltd 距離計測装置
JP2007170856A (ja) * 2005-12-19 2007-07-05 Denso Corp 距離データ生成方法、距離画像生成装置、光電センサ
JP2008105518A (ja) * 2006-10-25 2008-05-08 Calsonic Kansei Corp カメラ内蔵ランプ
JP2011149942A (ja) * 2010-01-21 2011-08-04 Samsung Electronics Co Ltd 距離情報抽出方法及び該方法を採用した光学装置
WO2017150246A1 (ja) * 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542348B2 (en) * 2010-11-03 2013-09-24 Rockwell Automation Technologies, Inc. Color sensor insensitive to distance variations
JP2013195117A (ja) * 2012-03-16 2013-09-30 Ricoh Co Ltd 測距装置
WO2014208018A1 (ja) * 2013-06-26 2014-12-31 パナソニックＩｐマネジメント株式会社 測距システム
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム
EP2955544B1 (en) * 2014-06-11 2020-06-17 Sony Depthsensing Solutions N.V. A TOF camera system and a method for measuring a distance with the system
JP6507529B2 (ja) * 2014-08-29 2019-05-08 株式会社デンソー 光飛行型測距装置
JP6764863B2 (ja) * 2015-07-03 2020-10-07 パナソニックセミコンダクターソリューションズ株式会社 距離測定装置
JP2017053769A (ja) * 2015-09-10 2017-03-16 株式会社村田製作所 距離センサ
US10416296B2 (en) * 2016-10-19 2019-09-17 Infineon Technologies Ag 3DI sensor depth calibration concept using difference frequency approach

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08184672A (ja) * 1994-12-28 1996-07-16 Fujitsu Ten Ltd 距離計測装置
JP2007170856A (ja) * 2005-12-19 2007-07-05 Denso Corp 距離データ生成方法、距離画像生成装置、光電センサ
JP2008105518A (ja) * 2006-10-25 2008-05-08 Calsonic Kansei Corp カメラ内蔵ランプ
JP2011149942A (ja) * 2010-01-21 2011-08-04 Samsung Electronics Co Ltd 距離情報抽出方法及び該方法を採用した光学装置
WO2017150246A1 (ja) * 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Also Published As

Publication number Publication date
US20220035039A1 (en) 2022-02-03
CN113728246A (zh) 2021-11-30
JPWO2020218283A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
CN109959942B (zh) 距离测量设备、识别设备和距离测量方法
JP6286677B2 (ja) 測距システム、及び撮像センサ
WO2014097539A1 (ja) ３次元測定装置および３次元測定方法
WO2020009011A1 (ja) 光測距装置
US20230179841A1 (en) Gating camera
WO2020149140A1 (ja) 車載用イメージング装置、車両用灯具、自動車
EP3961261A1 (en) Imaging device, vehicle light, automobile, and imaging method
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2016031666A1 (ja) 視線検出装置
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2020218283A1 (ja) ＴｏＦカメラ、車両用灯具、自動車
JP7167708B2 (ja) 距離情報生成装置
US11353564B2 (en) Disturbance light identifying apparatus, disturbance light separating apparatus, disturbance light identifying method, and disturbance light separating method
JPWO2020066236A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
JP6912449B2 (ja) 測距装置を有する物体監視システム
WO2023224077A1 (ja) ＴｏＦカメラ、車両用センシングシステム、および車両用灯具
US12003839B2 (en) Imaging apparatus using ghost imaging
JP7474759B2 (ja) 車両用灯具
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2022172690A1 (ja) 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム
WO2022014416A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20796346

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516127

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20796346

Country of ref document: EP

Kind code of ref document: A1