JP6424581B2 - Optical flight type distance measuring device - Google Patents

Optical flight type distance measuring device Download PDF

Info

Publication number
JP6424581B2
JP6424581B2 JP2014236484A JP2014236484A JP6424581B2 JP 6424581 B2 JP6424581 B2 JP 6424581B2 JP 2014236484 A JP2014236484 A JP 2014236484A JP 2014236484 A JP2014236484 A JP 2014236484A JP 6424581 B2 JP6424581 B2 JP 6424581B2
Authority
JP
Japan
Prior art keywords
pixel group
light receiving
distance measuring
receiving elements
measuring apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014236484A
Other languages
Japanese (ja)
Other versions
JP2016099233A (en
Inventor
利明 長井
利明 長井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014236484A priority Critical patent/JP6424581B2/en
Priority to US15/525,311 priority patent/US10422879B2/en
Priority to DE112015005163.5T priority patent/DE112015005163T5/en
Priority to PCT/JP2015/005649 priority patent/WO2016075945A1/en
Publication of JP2016099233A publication Critical patent/JP2016099233A/en
Application granted granted Critical
Publication of JP6424581B2 publication Critical patent/JP6424581B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、繰り返し周期を持つパターンで変調された変調光を空間に発光し、変調光が対象物で反射した反射光を含む入射光を受光し、その受光した入射光に応じた電荷を用いて自装置から対象物までの距離を計算して測距値を取得する光飛行型測距装置に関する。   The present invention emits modulated light modulated in a pattern having a repetitive cycle to space, receives modulated incident light including reflected light reflected by an object, and uses a charge according to the received incident light The present invention relates to an optical flight type ranging apparatus which calculates a distance from an own apparatus to an object and obtains a ranging value.

自装置から対象物までの距離を非接触で計算する測距装置として、光飛行(TOF:Time of Flight)型測距装置が供されている。光飛行型測距装置は、繰り返し周期を持つパターンで変調された変調光(測距光)を空間に発光し、変調光が対象物で反射した反射光を含む入射光を受光する。そして、光飛行型測距装置は、その受光した入射光に応じた電荷を用いて自装置から対象物までの距離を計算して測距値を取得する(例えば特許文献1〜4参照)。   A TOF (Time of Flight) type distance measuring device is provided as a distance measuring device which calculates the distance from the own device to an object without contact. The optical flight type distance measuring apparatus emits modulated light (ranging light) modulated in a pattern having a repetitive cycle to space, and receives incident light including reflected light which is reflected by the object. Then, the light flight type distance measuring apparatus calculates the distance from the own device to the object using the charge corresponding to the received incident light to obtain the distance measurement value (for example, see Patent Documents 1 to 4).

光飛行型測距装置においては、自装置から対象物までの距離が近かったり対象物が高反射率の物体であったりすると、強い強度の反射光を受光する。一方、自装置から対象物までの距離が遠かったり対象物が低反射率の物体であったりすると、弱い強度の反射光しか受光しない。そのため、光飛行型測距装置においては、大きなダイナミックレンジ(例えば80dB以上)が要求される。特に車載等の場合には、自装置及び対象物(人、車両、壁等)のうち少なくとも何れかが移動している状況で、自装置から対象物までの距離が近ければ、対象物への衝突を回避するために距離を頻繁に計算する(フレームレートを高める)ことが要求される。即ち、大きなダイナミックレンジと高いフレームレートとを両立させる必要がある。   In the optical flight type distance measuring apparatus, when the distance from the own apparatus to the object is short or the object is an object having a high reflectance, the reflected light of high intensity is received. On the other hand, when the distance from the own apparatus to the object is long or the object is an object with low reflectance, only reflected light of weak intensity is received. Therefore, a large dynamic range (for example, 80 dB or more) is required in the optical flight distance measuring apparatus. Particularly in the case of on-vehicle etc., if at least one of the own device and the object (person, vehicle, wall, etc.) is moving, if the distance from the own device to the object is short, Frequent calculations of the distance (increasing the frame rate) are required to avoid collisions. That is, it is necessary to make a large dynamic range and a high frame rate compatible.

通常の画素では80dB以上のダイナミックレンジを実現することは難しく、多重露光(多数回の露光)を行う必要がある。ところが、多重露光をシリーズで行うと、露光時間が長くなってしまい、動きのある対象物に対する追従性が劣化する問題が発生する。この点に関し、面内の複数の画素を幾つかの画素グループに区分し、画素グループ毎に露光時間を変える方法が開示されている(例えば非特許文献1、2参照)。図21及び図22に示すように、受光素子101がPD(Photodiode)102と、2個の変調スイッチ103a,103bと、1個の蓄積容量104とを有する構成であり、4位相測距を行う場合を一例として説明する。この場合、図23に示すように、例えば画素Aの画素グループが1000回の駆動を繰り返して長時間露光を行い、画素Bの画素グループが100回の駆動を繰り返して短時間露光を行うことで、ダイナミックレンジを20dB拡張することができる。   It is difficult to achieve a dynamic range of 80 dB or more with ordinary pixels, and it is necessary to perform multiple exposure (multiple exposures). However, when multiple exposures are performed in series, the exposure time becomes long, which causes a problem that the followability to a moving object is deteriorated. In this regard, a method of dividing a plurality of pixels in a plane into several pixel groups and changing the exposure time for each pixel group is disclosed (see, for example, Non-Patent Documents 1 and 2). As shown in FIGS. 21 and 22, the light receiving element 101 is configured to have a PD (Photodiode) 102, two modulation switches 103a and 103b, and one storage capacitor 104, and performs four-phase distance measurement. The case will be described as an example. In this case, as shown in FIG. 23, for example, the pixel group of pixel A repeats driving 1000 times to perform long-time exposure, and the pixel group of pixel B repeats driving 100 times to perform short-time exposure. The dynamic range can be extended by 20 dB.

特許第5579893号公報Patent No. 5579893 gazette 特開2010−96730号公報JP, 2010-96730, A 特許第5585903号公報Patent No. 5855903 gazette 特開2010−25906号公報JP, 2010-25906, A

S.Nayar and T.Mitsunaga. "High Dynamic Range Imaging:Spatially Varying Pixel Exposures. "In IEEE Conference on Computer Vision and Pattern Recognition (CVPR),volume 1,pages 472-479,Jun 2000S.Nayar and T.Mitsunaga. "High Dynamic Range Imaging: Spatial Varying Pixel Exposures." In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), volume 1, pages 472-479, Jun 2000 S.G.Narasimhan and S.K.Nayar "Enhancing Resolution Along Multiple Imaging Dimensions Using Assorted Pixels. "IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.27,NO.4,APRIL 2005,pp.518S. G. Narasimhan and S. K. Nayar "Enhancing Resolution Along Multiple Imaging Dimensions Using Assorted Pixels." "IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 27, NO. 4, APRIL 2005, pp. 518

このように面内の複数の画素を、長時間露光を行う画素グループと短時間露光を行う画素グループとに区分することで、多重露光をシリーズで行う場合よりもフレームレートを高めることができる。しかしながら、長時間露光と同様に短時間露光でも4位相測距であれば0度、90度、180度、270度のそれぞれの値を読み出した後に距離を計算するので、短時間露光のフレームレートが長時間露光の時間に律則することになる。このように非特許文献1,2の方法では、短時間露光のフレームレートを高めることに限界がある。   By dividing a plurality of pixels in a plane into a pixel group that performs long-time exposure and a pixel group that performs short-time exposure as described above, the frame rate can be increased compared to when multiple exposure is performed in series. However, as with long-time exposure, even if it is 4-phase distance measurement even in short-time exposure, the distance is calculated after each value of 0 degree, 90 degrees, 180 degrees, and 270 degrees is read out. Will be subject to the long exposure time. As described above, in the methods of Non-Patent Documents 1 and 2, there is a limit in increasing the frame rate of short-time exposure.

本発明は、上記した事情に鑑みてなされたものであり、その目的は、ダイナミックレンジを適切に拡張することができつつ、短時間露光のフレームレートを適切に高めることができる光飛行型測距装置を提供することにある。   The present invention has been made in view of the above-described circumstances, and an object thereof is to provide an optical flight distance measuring capable of appropriately enhancing a frame rate of short time exposure while appropriately expanding a dynamic range. It is in providing an apparatus.

請求項1に記載した発明によれば、発光素子は、繰り返し周期を持つパターンで変調された変調光を空間に発光する。駆動手段は、発光素子を駆動する。複数の受光素子は、それぞれが面内の画素を構成し、変調光が対象物で反射した反射光を含む入射光を受光する。制御手段は、複数の受光素子における電荷の蓄積と複数の受光素子からの電荷の読み出しを制御する。測距値取得手段は、複数の受光素子から制御手段により読み出された電荷を用いて自装置から対象物までの距離を計算して測距値を取得する。この場合、制御手段は、面内の複数の画素を幾つかの画素グループに区分し、一の画素グループに属する受光素子が1回の長時間露光を行うことで測距値取得手段により測距値が1回取得される期間内に、他の画素グループに属する受光素子が複数位相で電荷の蓄積と読み出しを行うことによる複数回の短時間露光を行うことで測距値取得手段により測距値が複数回取得されるように複数の受光素子の駆動を制御する。
According to the first aspect of the present invention, the light emitting element emits the modulated light modulated in the pattern having the repetition period to the space. The driving means drives the light emitting element. Each of the plurality of light receiving elements constitutes an in-plane pixel, and receives incident light including reflected light that the modulated light is reflected by the object. The control means controls charge accumulation in the plurality of light receiving elements and readout of the charge from the plurality of light receiving elements. The distance measurement value acquisition means calculates the distance from the own device to the object using the charge read out by the control means from the plurality of light receiving elements, and acquires the distance measurement value. In this case, the control means divides a plurality of pixels in the plane into several pixel groups, and the light receiving elements belonging to one pixel group perform long-time exposure once, thereby performing distance measurement by the distance measurement value acquiring means. Distance measurement is performed by the distance measurement value acquisition unit by performing multiple short exposures by the light receiving elements belonging to the other pixel groups performing charge accumulation and readout in multiple phases within a period in which the value is acquired once. The drive of the plurality of light receiving elements is controlled so that the value is acquired a plurality of times.

即ち、面内の複数の画素を、長時間露光を行う画素グループと短時間露光を行う画素グループとに区分することで、ダイナミックレンジを拡張することができる。又、長時間露光を行う画素グループの受光素子が1回の長時間露光により測距値を1回取得する期間内に、短時間露光を行う画素グループの受光素子が複数回の短時間露光により測距値を複数回取得することで、短時間露光のフレームレートを高めることができる。これにより、ダイナミックレンジを適切に拡張することができつつ、短時間露光のフレームレートを適切に高めることができる。特に自装置及び対象物のうち少なくとも何れかが移動する車載等の場合に好適となる。   That is, the dynamic range can be expanded by dividing a plurality of pixels in the plane into a pixel group that performs long-time exposure and a pixel group that performs short-time exposure. Also, within a period in which the light receiving elements of the pixel group performing the long time exposure acquire one distance measurement value by one long time exposure, the light receiving elements of the pixel group performing the short time exposure are subjected to multiple short exposures. The frame rate of the short time exposure can be increased by acquiring the distance measurement value multiple times. Thus, it is possible to appropriately increase the frame rate of the short exposure while appropriately expanding the dynamic range. In particular, it is suitable in the case of an on-vehicle in which at least one of the own apparatus and the target moves.

本発明の第1の実施形態であり、シングルエンド出力の構成を示す機能ブロック図A functional block diagram showing the configuration of a single end output according to a first embodiment of the present invention 受光素子(1容量構成)の構成を示す図The figure which shows the constitution of the light receiving element (1 capacity constitution) シングルエンド出力の構成のシーケンスを示す図Diagram showing the sequence of single-ended output configuration シングルエンド出力の構成において多重露光を行うタイミングチャートを示す図(その1)A diagram showing a timing chart for performing multiple exposure in the configuration of single end output (part 1) シングルエンド出力の構成において多重露光を行うタイミングチャートを示す図(その2)The figure which shows the timing chart which performs multiple exposure in the structure of a single end output (the 2) シングルエンド出力の構成において多重露光を行うタイミングチャートを示す図(その3)The figure which shows the timing chart which performs multiple exposure in the structure of a single end output (the 3) 画素の配置形態を示す図(その1)Diagram showing arrangement of pixels (part 1) 画素の配置形態を示す図(その2)Diagram showing arrangement of pixels (part 2) 画素毎に露光時間を切り替える態様を示す図The figure which shows the aspect which changes exposure time for every pixel シングルエンド出力の構成において多重露光を行うタイミングチャートを示す図(その4)The figure which shows the timing chart which performs multiple exposure in the structure of a single end output (the 4) 画素の配置形態を示す図(その3)Diagram showing the arrangement of pixels (Part 3) 画素の配置形態を示す図(その4)Diagram showing the arrangement of pixels (Part 4) 本発明の第2の実施形態であり、差動出力の構成を示す機能ブロック図A functional block diagram showing a configuration of differential output according to a second embodiment of the present invention 受光素子(2容量構成)の構成を示す図Diagram showing the configuration of a light receiving element (2-capacitance configuration) 差動出力の構成のシーケンスを示す(その1)Show a sequence of configuration of differential output (part 1) 差動出力の構成において多重露光を行うタイミングチャートを示す図(その1)The figure which shows the timing chart which performs multiple exposure in the structure of a differential output (the 1) 差動出力の構成のシーケンスを示す(その2)Show a sequence of configuration of differential output (part 2) 差動出力の構成において多重露光を行うタイミングチャートを示す図(その2)The figure which shows the timing chart which performs multiple exposure in the structure of a differential output (the 2) 差動出力の構成のシーケンスを示す(その3)Show the sequence of configuration of differential output (Part 3) 差動出力の構成において多重露光を行うタイミングチャートを示す図(その3)The figure which shows the timing chart which performs multiple exposure in the structure of a differential output (the 3) 受光素子(1容量構成)の構成を示す図The figure which shows the constitution of the light receiving element (1 capacity constitution) シングルエンド出力の構成のシーケンスを示す図Diagram showing the sequence of single-ended output configuration 従来の多重露光を行うタイミングチャートを示す図Diagram showing a timing chart for performing conventional multiple exposure

(第1の実施形態)
以下、本発明を、例えば車両に搭載可能な車載用の光飛行型測距装置に適用した第1の実施形態について図1から図12を参照して説明する。第1の実施形態はシングルエンド出力の構成である。光飛行型測距装置1は、信号源2と、駆動回路3(駆動手段)と、発光素子4と、制御回路5(制御手段)と、受光素子6と、測距値取得回路7(測距値取得手段)とを有する。測距値取得回路7は、バッファ8と、AD変換回路9と、デジタル信号処理回路10とを有する。
First Embodiment
Hereinafter, a first embodiment in which the present invention is applied to, for example, an on-vehicle optical flight distance measuring apparatus that can be mounted on a vehicle will be described with reference to FIGS. 1 to 12. The first embodiment is a single-ended output configuration. The optical flight type distance measuring apparatus 1 comprises a signal source 2, a drive circuit 3 (drive means), a light emitting element 4, a control circuit 5 (control means), a light receiving element 6, and a distance measurement value acquisition circuit 7 (measurement means). Distance acquisition means). The distance measurement value acquisition circuit 7 includes a buffer 8, an AD conversion circuit 9, and a digital signal processing circuit 10.

信号源2は、駆動信号を駆動回路3及び制御回路5に出力することで、発光素子4と受光素子6との間で同期を確立し、発光素子4から発光される変調光に同期して受光素子6の露光を制御する。信号源2から出力される駆動信号は、発光素子4及び受光素子6を駆動する矩形パルス(通常数〜数10MHz)であっても良いし、同期パルスのみであっても良い。発光素子4は、変調光としての例えば赤外光を発光するLD(Laser Diode)やLED(Light Emitting Diode)である。受光素子6は、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)のプロセスを用いたイメージセンサである。   The signal source 2 outputs a drive signal to the drive circuit 3 and the control circuit 5 to establish synchronization between the light emitting element 4 and the light receiving element 6 and synchronizes with the modulated light emitted from the light emitting element 4. The exposure of the light receiving element 6 is controlled. The drive signal output from the signal source 2 may be a rectangular pulse (usually several to several tens of MHz) for driving the light emitting element 4 and the light receiving element 6 or may be only a synchronization pulse. The light emitting element 4 is, for example, a laser diode (LD) or a light emitting diode (LED) that emits infrared light as modulated light. The light receiving element 6 is an image sensor using, for example, a process of a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD).

受光素子6は、図2に示すように、PD(Photodiode)11と、2個の変調スイッチ12a,12bと、1個の蓄積容量13とを有する。2個の変調スイッチ12a,12bは、例えばMOSトランジスタやトランスファゲート等のMOS型のデバイス、CCD構造のデバイス等である。蓄積容量13は、例えばMOS、CCD、MIM(Metal Insulator Metal)等の容量素子、配線、PN接合の寄生容量等である。受光素子6は、変調スイッチ12a,12bを制御信号(ゲート信号)TG1により駆動し、受光した入射光により発生する電荷を蓄積容量13に蓄積し、電荷の電荷量を示す信号を測距値取得回路7に出力する。制御信号TG1は変調光に同期した信号であるので、自装置から対象物までの距離に応じて蓄積容量13に蓄積される電荷の電荷量が変化する。   As shown in FIG. 2, the light receiving element 6 has a PD (Photodiode) 11, two modulation switches 12a and 12b, and one storage capacitor 13. The two modulation switches 12a and 12b are, for example, MOS type devices such as MOS transistors and transfer gates, and devices having a CCD structure. The storage capacitor 13 is, for example, a capacitive element such as MOS, CCD, MIM (Metal Insulator Metal), wiring, parasitic capacitance of a PN junction, or the like. The light receiving element 6 drives the modulation switches 12a and 12b by the control signal (gate signal) TG1, stores the charge generated by the received incident light in the storage capacitor 13, and obtains the distance value for the signal indicating the charge amount of the charge. It outputs to the circuit 7. Since the control signal TG1 is a signal synchronized with the modulated light, the charge amount of the charge stored in the storage capacitor 13 changes according to the distance from the own device to the object.

バッファ8は、その簡素さから例えばソースフォロア回路により実現される。AD変換回路9は、バッファ8から入力した信号をアナログ信号からデジタル信号に変換してデジタル信号処理回路10に出力する。デジタル信号処理回路10は、AD変換回路9から入力した信号をデジタル信号処理し、蓄積容量13に蓄積された電荷の電荷量から自装置から対象物までの距離を計算して測距値を取得する(測距する)。   The buffer 8 is realized by, for example, a source follower circuit because of its simplicity. The AD conversion circuit 9 converts the signal input from the buffer 8 from an analog signal into a digital signal and outputs the digital signal to the digital signal processing circuit 10. The digital signal processing circuit 10 performs digital signal processing on the signal input from the AD conversion circuit 9, calculates the distance from the own device to the object from the charge amount of the charge stored in the storage capacitor 13, and obtains the distance measurement value. Yes (find distance).

図3は、発光波形のデューティーを50%として4位相測距を行う(受光素子6を4位相で駆動する)場合のシーケンス(変調周期:Tm,露光期間:Tw)を示す。発光素子4から発光される変調光の波形(発光波形110)は、制御信号TG1と同期した矩形波で変調している。図3では矩形波で変調した場合を例示しているが、正弦波、三角波又は疑似ランダムシーケンス等の波形で変調しても良い。変調光が対象物で反射した反射光の波形(反射波形120)は、発光波形110に対して時間差を有するので、発光波形110に対して位相差φだけ遅れた波形となる。一方、制御信号TG1は90度ずつ位相が異なる矩形波で駆動される。デジタル信号処理回路10は、制御信号TG1−1,TG1−2(駆動波形111,112)で駆動するシーケンスを数十〜数十万回程度の周期繰り返した後に、発生した電荷Q1、Q2の情報(電荷電圧変換された電圧値)を取得する。その後、デジタル信号処理回路10は、制御信号TG1−3,TG1−4(駆動波形113、114)で駆動するシーケンスを同様に数十〜数十万回程度の周期繰り返した後に、発生した電荷Q3、Q4の情報を取得する。そして、デジタル信号処理回路10は、取得したQ1〜Q4から離散フーリエ変換(DFT:Discrete Fourier Transform)を用いて位相差θを以下の演算式(1)により計算する。   FIG. 3 shows a sequence (modulation period: Tm, exposure period: Tw) in the case of performing four-phase distance measurement (driving the light receiving element 6 with four phases) with the duty of the light emission waveform being 50%. The waveform (light emission waveform 110) of the modulated light emitted from the light emitting element 4 is modulated by a rectangular wave synchronized with the control signal TG1. Although FIG. 3 exemplifies a case where modulation is performed using a rectangular wave, modulation may be performed using a waveform such as a sine wave, a triangular wave, or a pseudo random sequence. The waveform (reflected waveform 120) of the reflected light in which the modulated light is reflected by the object has a time difference with respect to the light emission waveform 110, and thus becomes a waveform delayed by a phase difference φ with respect to the light emission waveform 110. On the other hand, the control signal TG1 is driven by rectangular waves that differ in phase by 90 degrees. The digital signal processing circuit 10 repeats the sequence driven by the control signals TG1-1 and TG1-2 (driving waveforms 111 and 112) in a cycle of several tens to several hundreds of thousands of times, and then generates information of the charges Q1 and Q2 generated. Acquire (charge voltage converted voltage value). Thereafter, the digital signal processing circuit 10 repeats the sequence driven by the control signals TG1-3 and TG1-4 (the drive waveforms 113 and 114) in a cycle of several tens to several hundreds of thousands times similarly, and generates the charge Q3. Get Q4, information. Then, the digital signal processing circuit 10 calculates the phase difference θ according to the following arithmetic expression (1) from the acquired Q1 to Q4 using the discrete Fourier transform (DFT).

θ=tan−1[(Q1−Q3)/(Q2−Q4)]…(1)
演算式(1)は上記4つのサンプリングに基づく位相差の演算式であるが、一般のN位相についても位相差θを以下の演算式(2)により計算することが可能である。
θ = tan −1 [(Q 1 -Q 3) / (Q 2 -Q 4)] (1)
Although the equation (1) is an equation for calculating the phase difference based on the four samplings, it is possible to calculate the phase difference θ according to the following equation (2) even for a general N phase.

θ=tan−1[(ΣQk*sin(2π/N*k))/(ΣQk*cos(2π/N*k))]…(2) θ = tan −1 [(ΣQk * sin (2π / N * k)) / (ΣQk * cos (2π / N * k))] (2)

さて、このような位相型の光飛行型測距装置1においては、[背景技術]で記載したように車載等で使用される場合を想定すると、ダイナミックレンジの拡張が要求されると共に、短時間露光のフレームレートの向上が要求される。以下、本発明によるダイナミックレンジを拡張しつつ、短時間露光のフレームレートを高める手法について説明する。   Now, in such a phase-type optical flying distance measuring apparatus 1, when assuming that it is used on a vehicle as described in [Background Art], expansion of the dynamic range is required, and a short time is required. It is required to improve the exposure frame rate. Hereinafter, a method of increasing the frame rate of short exposure while expanding the dynamic range according to the present invention will be described.

図4は、本発明のシングルエンド出力の構成において多重露光のタイミングチャートを示す。前述した図23に示した従来の多重露光のタイミングチャートと比較すると、本発明の多重露光では、制御回路5は、面内の複数の画素を画素Aの画素グループと画素Bの画素グループとに区分する点は同じである。しかしながら、本発明の多重露光では、制御回路5は、画素Aの画素グループで長時間露光を行う期間内に、画素Bの画素グループで単一位相ではなく複数位相で電荷の蓄積と読み出しを行うことで、複数回の短時間露光を行う。その結果、画素Bの画素グループについては、同一期間で対比すると従来の多重露光よりも測距値を取得する回数が増大し、測距値を頻繁に更新することができ、フレームレートを高めることができる。図4の例示では、画素Aの画素グループが1回の長時間露光を行う期間内に、画素Bの画素グループが4回の短時間露光を行うことで、図23のタイミングチャートで駆動する場合に対して4倍のフレームレートを実現することができる。このような短時間露光で取得可能な有効な値(十分な信号振幅)は自装置からの距離が近いか又は高反射率の対象物で反射した反射光によるものであるので、自装置からの距離が近いか又は高反射率の対象物に対してフレームレートを高めることができる。即ち、特に車載等のように対象物(人、車両、壁等)への衝突を回避するために距離を頻繁に計算する(フレームレートを高める)ことが要求される環境で好適である。   FIG. 4 shows a timing chart of multiple exposure in the single-ended output configuration of the present invention. Compared to the conventional multiple exposure timing chart shown in FIG. 23 described above, in the multiple exposure of the present invention, the control circuit 5 converts a plurality of pixels in the plane into the pixel group of pixel A and the pixel group of pixel B. The division points are the same. However, in the multiple exposure of the present invention, the control circuit 5 performs charge accumulation and readout not in a single phase but in a plurality of phases in the pixel group of the pixel B during a long exposure period in the pixel group of the pixel A. To perform multiple short exposures. As a result, for the pixel group of the pixel B, the number of times of obtaining the distance measurement value increases compared to the conventional multiple exposure when compared in the same period, the distance measurement value can be updated more frequently, and the frame rate is increased. Can. In the example of FIG. 4, in the case where the pixel group of pixel A performs driving according to the timing chart of FIG. 23 by performing short exposure of four times within the period when the pixel group of pixel A performs long exposure once. Frame rate can be realized. The effective value (sufficient signal amplitude) that can be obtained by such a short time exposure is due to the reflected light reflected from an object with a short distance from the own apparatus or a high reflectance object. The frame rate can be increased for objects that are close in distance or have high reflectivity. That is, it is preferable in an environment where it is required to frequently calculate the distance (increase the frame rate) in order to avoid a collision with an object (person, vehicle, wall, etc.), especially in a vehicle.

図5は、シングルエンド出力の構成の別の多重露光のタイミングチャートを示す。前述した図4では長時間露光と短時間露光とのフレームレートの比が「4」であるが、フレームレートの比は「4」に限らない。即ち、長時間露光に対する短時間露光のサイクル数(繰り返し回数)を増やすことで、フレームレートをより高めることができる。図5の例示では、図23のタイミングチャートで駆動する場合に対して12倍のフレームレートを実現することができ、図4のタイミングチャートで駆動する場合に対して3倍のフレームレートを実現することができる。逆に後段の信号処理の観点等から長時間露光に対する短時間露光のサイクル数を減らす(間引く)ことで、フレームレートを下げることができる。   FIG. 5 shows a timing chart of another multiple exposure in a single-ended output configuration. In FIG. 4 mentioned above, although the ratio of the frame rate of long-time exposure to short-time exposure is “4”, the ratio of frame rate is not limited to “4”. That is, the frame rate can be further increased by increasing the cycle number (the number of repetitions) of the short exposure for the long exposure. In the example of FIG. 5, a frame rate of 12 times that of the case of driving by the timing chart of FIG. 23 can be realized, and a frame rate of three times that of the case of driving by the timing chart of FIG. be able to. Conversely, the frame rate can be lowered by reducing (thinning out) the number of cycles of short exposure for long exposure from the viewpoint of signal processing in the subsequent stage.

図6は、シングルエンド出力の構成の更に別の多重露光のタイミングチャートを示す。前述した図4及び図5では長時間露光の位相毎の期間内に短時間露光で測距値を1回以上取得したが、長時間露光の複数位相に跨る期間内に短時間露光で測距値を1回取得しても良い。図6の例示では、図23のタイミングチャートで駆動する場合に対して2倍のフレームレートを実現することができる。   FIG. 6 shows a timing chart of yet another multiple exposure in a single-ended output configuration. In FIG. 4 and FIG. 5 described above, although the distance measurement value is acquired once or more by short exposure within a period for each phase of long exposure, distance measurement by short exposure within a period across multiple phases of long exposure You may get the value once. In the example of FIG. 6, a frame rate twice that of the case of driving according to the timing chart of FIG. 23 can be realized.

図7及び図8は、面内の複数の画素を2つの画素グループに区分した配置形態を示す。図7では、長時間露光の画素グループAと短時間露光の画素グループBとを行毎に区分している。図7の構成では、変調スイッチ12a,12bを駆動する制御線の配線を共通とすることができ、既存の構成に大きな変更を加えずに短時間露光のフレームレートを高めることができる。一方、図8では、長時間露光の画素グループAと短時間露光の画素グループBとを市松模様に区分している。図8の構成では、制御線の配線を増やす必要が生じるが、短時間露光を行う画素グループのみで画像を構成した場合に空間解像度を高めることができる。   7 and 8 show an arrangement in which a plurality of pixels in a plane are divided into two pixel groups. In FIG. 7, the long exposure pixel group A and the short exposure pixel group B are divided into rows. In the configuration of FIG. 7, the wiring of control lines for driving the modulation switches 12a and 12b can be made common, and the frame rate of short-time exposure can be increased without making a major change to the existing configuration. On the other hand, in FIG. 8, the long exposure pixel group A and the short exposure pixel group B are divided into a checkered pattern. In the configuration of FIG. 8, it is necessary to increase the number of control lines, but the spatial resolution can be increased when an image is configured with only a pixel group to which short-time exposure is performed.

図9は、長時間露光の画素グループと短時間露光の画素グループとを時間で切り替える態様を示す。自装置からの距離が遠いか又は低反射率の対象物で反射した反射光は場合によっては1画素にしか受光されない可能性がある。そのため、長時間露光の画素グループと短時間露光の画素グループとを固定してしまうと、いつまでも測距値を取得することができない対象物が出現する可能性がある。この点に関し、長時間露光の画素グループと短時間露光の画素グループとを時間(例えばフレーム単位)で切り替えることで、上記した問題の発生を未然に回避することができる。図9の例示は、図7に示した長時間露光の画素グループと短時間露光の画素グループとを行毎に区分している構成において切り替える態様であるが、図8に示した長時間露光の画素グループと短時間露光の画素グループとを市松模様に区分している構成においても同様に切り替えることが可能である。   FIG. 9 shows a mode in which a long exposure pixel group and a short exposure pixel group are switched with time. Reflected light that is reflected from an object that is far from the device itself or that has a low reflectance may possibly be received by only one pixel. Therefore, if the long exposure pixel group and the short exposure pixel group are fixed, there is a possibility that an object whose ranging value can not be obtained will appear indefinitely. In this regard, by switching the long exposure pixel group and the short exposure pixel group in time (for example, in units of frames), the occurrence of the above-described problem can be avoided in advance. The example of FIG. 9 is a mode in which switching is performed in the configuration in which the long exposure pixel group and the short exposure pixel group shown in FIG. 7 are divided into rows, but in the long exposure shown in FIG. It is possible to switch similarly in the configuration in which the pixel group and the pixel group for short exposure are divided into a checkered pattern.

図10は、シングルエンド出力の構成の更に別の多重露光のタイミングチャートを示す。前述した図4から図6では面内の画素を2つの画素グループに区分したが、3つの画素グループに区分しても良い。図10の例示では、中時間露光を行う画素Bの画素グループでは、長時間露光を行う画素Aの画素グループに対して4倍のフレームレートを実現することができ、短時間露光を行う画素Cの画素グループでは、長時間露光を行う画素Aの画素グループに対して12倍のフレームレートを実現することができる。   FIG. 10 shows still another multiple exposure timing chart of the single-ended output configuration. Although the pixels in the plane are divided into two pixel groups in FIGS. 4 to 6 described above, they may be divided into three pixel groups. In the example of FIG. 10, in the pixel group of the pixel B which performs medium-time exposure, a frame rate of 4 times that of the pixel group of the pixel A which performs long-time exposure can be realized. In the pixel group of 12, it is possible to realize a frame rate of 12 times that of the pixel group of the pixel A which performs long-time exposure.

図11及び図12は、面内の複数の画素を3つの画素グループに区分した配置形態を示す。図11では、画素Cを全ての行に配置すると共に画素A及び画素Bをそれぞれ1行間隔で配置するように区分している。図11の構成では、1行あたりに必要な制御線の本数が全ての行で2種類となり、共通化し易くなり、画素Cの画素グループのみで画像を構成した場合に空間解像度を高めることができる。尚、画素Aを全ての行に配置すると共に画素B及び画素Cをそれぞれ1行間隔で配置するように区分しても良いし、画素Bを全ての行に配置すると共に画素A及び画素Cをそれぞれ1行間隔で配置するように区分しても良い。一方、図12では、画素A、画素B、画素Cを全ての行に配置するように区分している。図12の構成では、1行あたりに必要な制御線の本数が全ての行で3種類となり、共通化し難くなるが、画素A、画素B、画素Cの何れの画素グループのみで画像を構成した場合でも空間解像度を高めることができる。尚、このように面内の複数の画素を3つの画素グループに区分した場合でも、それぞれの画素グループを時間で切り替えても良い。   11 and 12 show an arrangement in which a plurality of pixels in a plane are divided into three pixel groups. In FIG. 11, the pixels C are arranged in all the rows, and the pixels A and B are divided so as to be arranged at one-row intervals. In the configuration of FIG. 11, the number of control lines required for one row is two in all rows, and it becomes easy to be common, and when the image is configured with only the pixel group of pixels C, the spatial resolution can be increased. . The pixels A may be arranged in all the rows and the pixels B and the pixels C may be arranged at intervals of one row, or the pixels B may be arranged in all the rows and the pixels A and C may be arranged. You may divide so that it may arrange | position by 1 line space | interval, respectively. On the other hand, in FIG. 12, the pixels A, B, and C are divided so as to be arranged in all the rows. In the configuration of FIG. 12, the number of control lines required for one row is three in all rows, which makes it difficult to share, but the image is configured with only any pixel group of pixel A, pixel B, and pixel C. You can even increase spatial resolution. Even when the plurality of pixels in the plane are divided into three pixel groups as described above, the respective pixel groups may be switched with time.

以上に説明したように第1の実施形態によれば、次に示す作用効果を得ることができる。光飛行型測距装置1において、面内の複数の画素を、長時間露光を行う画素グループと短時間露光を行う画素グループとに区分することで、ダイナミックレンジを拡張することができる。又、長時間露光を行う画素グループの受光素子が1回の長時間露光により測距値を1回取得する期間内に、短時間露光を行う画素グループの受光素子が複数回の短時間露光により測距値を複数回取得することで、短時間露光のフレームレートを高めることができる。これにより、ダイナミックレンジを適切に拡張することができつつ、短時間露光のフレームレートを適切に高めることができる。特に自装置及び対象物のうち少なくとも何れかが移動する車載等の場合に好適となる。   As described above, according to the first embodiment, the following effects can be obtained. The dynamic range can be expanded by dividing the plurality of pixels in the plane into a pixel group that performs long-time exposure and a pixel group that performs short-time exposure in the light flight type distance measuring apparatus 1. Also, within a period in which the light receiving elements of the pixel group performing the long time exposure acquire one distance measurement value by one long time exposure, the light receiving elements of the pixel group performing the short time exposure are subjected to multiple short exposures. The frame rate of the short time exposure can be increased by acquiring the distance measurement value multiple times. Thus, it is possible to appropriately increase the frame rate of the short exposure while appropriately expanding the dynamic range. In particular, it is suitable in the case of an on-vehicle in which at least one of the own apparatus and the target moves.

(第2の実施形態)
次に、本発明の第2の実施形態について、図13から図20を参照して説明する。尚、前述した第1の実施形態と同一部分については説明を省略し、異なる部分について説明する。第1の実施形態は、シングルエンド出力の構成であるが、第2の実施形態は、差動出力の構成である。光飛行型測距装置21は、信号源22と、駆動回路23(駆動手段)と、発光素子24と、制御回路25(制御手段)と、受光素子26と、CM(コモンモード)成分除去回路27と、測距値取得回路28(測距値取得手段)とを有する。測距値取得回路28は、バッファ29a,29bと、差分検出回路30と、AD変換回路31と、デジタル信号処理回路32とを有する。
Second Embodiment
Next, a second embodiment of the present invention will be described with reference to FIG. 13 to FIG. The description of the same parts as those of the first embodiment described above will be omitted, and only different parts will be described. The first embodiment is a single-ended output configuration, while the second embodiment is a differential output configuration. The optical flight distance measuring apparatus 21 includes a signal source 22, a drive circuit 23 (drive means), a light emitting element 24, a control circuit 25 (control means), a light receiving element 26, and a CM (common mode) component removal circuit 27 and a distance measurement value acquisition circuit 28 (distance measurement value acquisition means). The distance measurement value acquisition circuit 28 includes buffers 29 a and 29 b, a difference detection circuit 30, an AD conversion circuit 31, and a digital signal processing circuit 32.

信号源22、駆動回路23、発光素子24及び制御回路25は、それぞれ第1の実施形態で説明した信号源2、駆動回路3、発光素子4及び制御回路5と同等である。受光素子26は、図14に示すように、PD41と、2個の変調スイッチ42a,42bと、2個の蓄積容量43a,43bとを有する。受光素子26は、変調スイッチ42a,42bを制御信号TG1,TG2により駆動し、受光した入射光により発生する電荷を蓄積容量43a,43bに振り分けて蓄積し、電荷の電荷量を示す信号をCM成分除去回路27に出力する。制御信号TG1,TG2は変調光に同期した信号であるので、自装置から対象物までの距離に応じて蓄積容量43a,43bに振り分けられて蓄積される電荷の電荷量が変化する。図14では、2個の蓄積容量43a,43bを例示したが、3個以上の蓄積容量を設けても良い。   The signal source 22, the drive circuit 23, the light emitting element 24 and the control circuit 25 are respectively equivalent to the signal source 2, the drive circuit 3, the light emitting element 4 and the control circuit 5 described in the first embodiment. As shown in FIG. 14, the light receiving element 26 has a PD 41, two modulation switches 42a and 42b, and two storage capacitors 43a and 43b. The light receiving element 26 drives the modulation switches 42a and 42b by the control signals TG1 and TG2, distributes the charges generated by the received incident light to the storage capacitors 43a and 43b and stores the signals indicating the charge amount of the charge as the CM component The data is output to the removal circuit 27. Since the control signals TG1 and TG2 are signals synchronized with the modulated light, the charge amount of the charges distributed to and stored in the storage capacitors 43a and 43b changes according to the distance from the own device to the object. Although two storage capacitors 43a and 43b are illustrated in FIG. 14, three or more storage capacitors may be provided.

CM成分除去回路27は、発光している変調光に対して無視できない程度のレベルの背景光が存在する場合に、この背景光に起因して発生する電荷による画素の飽和を回避するものである。CM成分を除去する方法としては、先行文献で様々な技術が開示されている。例えば米国6919549B2号公報、独逸102005056774A1号公報、欧州1622200A1号公報等に開示されている。差分検出回路30は、CM成分除去回路27からバッファ29a,29bを介して入力した信号の差分を検出し、その検出した差分に応じた信号をAD変換回路31に出力する。差分検出回路30は、例えば差動のアンプにより実現される。   The CM component removal circuit 27 prevents the saturation of the pixel due to the charge generated due to the background light, when the background light at a level that can not be ignored is present with respect to the modulated light being emitted. . Various techniques have been disclosed in the prior art as methods of removing the CM component. For example, U.S. Pat. No. 6,919,549 B2, U.S. Pat. No. 102005056774 A1, U.S. Pat. No. 1,622,200 A1 and the like. The difference detection circuit 30 detects the difference between the signals input from the CM component removal circuit 27 via the buffers 29a and 29b, and outputs a signal corresponding to the detected difference to the AD conversion circuit 31. The difference detection circuit 30 is realized by, for example, a differential amplifier.

AD変換回路31は、差分検出回路30から入力した信号をアナログ信号からデジタル信号に変換してデジタル信号処理回路32に出力する。デジタル信号処理回路32は、AD変換回路31から入力した信号をデジタル信号処理し、蓄積容量43a,43bに振り分けられて蓄積された電荷の電荷量から自装置から対象物までの距離を計算して測距値を取得する(測距する)。   The AD conversion circuit 31 converts the signal input from the difference detection circuit 30 from an analog signal into a digital signal, and outputs the digital signal to the digital signal processing circuit 32. The digital signal processing circuit 32 performs digital signal processing on the signal input from the AD conversion circuit 31, and calculates the distance from the own device to the object from the charge amount of the charge distributed and stored in the storage capacitors 43a and 43b. Get the distance measurement value (distance measurement).

図15は、発光波形のデューティーを50%として4位相測距を行う(受光素子26を4位相で駆動する)場合のシーケンスを示す。差分検出回路30は、制御信号TG1,TG2の組み合わせ、例えば制御信号TG1−1(駆動波形111),TG2−1(駆動波形121)を数十〜数十万回繰り返してデジタル値D1を生成する。同様にして、差分検出回路30は、制御信号TG1−2(駆動波形112),TG2−2(駆動波形122)を数十〜数十万回繰り返してデジタル値D2を生成する。差分検出回路30は、デジタル値D1,D2を、DC成分を除去した値として出力する。それぞれのデジタル値D1,D2について制御信号TG1が「H」であり且つTG2が「L」であるときに「1」を割り当て、制御信号TG1が「L」であり且つTG2が「H」であるときに「−1」を割り当てて記述する。即ち、Dxの波形について値が「1」及び「−1」の何れであるかにより、制御信号TG1,TG2の状態が一意に決定される。尚、このようにDxが2つの蓄積容量43a,43bの差分を示す信号であるので、AD変換回路31は、先述した演算式(1)の分子又は分母に相当する演算が実施された信号を出力する。   FIG. 15 shows a sequence in the case of performing four-phase distance measurement (driving the light receiving element 26 with four phases) with the duty of the light emission waveform being 50%. The difference detection circuit 30 generates a digital value D1 by repeating the combination of the control signals TG1 and TG2, for example, by repeating the control signals TG1-1 (drive waveform 111) and TG2-1 (drive waveform 121) several tens to several hundreds of thousands of times. . Similarly, the difference detection circuit 30 repeats the control signals TG1-2 (drive waveform 112) and TG2-2 (drive waveform 122) several tens to several hundreds of thousands of times to generate the digital value D2. The difference detection circuit 30 outputs the digital values D1 and D2 as values from which the DC component is removed. Assign “1” when the control signal TG1 is “H” and TG2 is “L” for each digital value D1, D2, and the control signal TG1 is “L” and TG2 is “H” When assigning "-1", it describes. That is, the states of the control signals TG1 and TG2 are uniquely determined depending on whether the value of the waveform Dx is “1” or “−1”. Since Dx is a signal indicating the difference between the two storage capacitors 43a and 43b as described above, the AD conversion circuit 31 outputs the signal on which the operation corresponding to the numerator or denominator of the arithmetic expression (1) described above is performed. Output.

図16は、本発明の作動出力の構成において多重露光のタイミングチャートを示す。図16の例示では、画素Aの画素グループが1回の長時間露光を行う期間内に、画素Bの画素グループが6回の短時間露光を行うことで、長時間露光を行う画素Aの画素グループに対して6倍のフレームレートを実現することができる。   FIG. 16 shows a timing chart of multiple exposure in the configuration of the operation output of the present invention. In the example of FIG. 16, the pixel group of pixel A performs long exposure by performing the pixel group B of pixel B performs short exposure six times within a period in which the pixel group of pixel A performs one long exposure period. A frame rate of six times that of a group can be realized.

図17は、本発明の作動出力の別のシーケンスを示し、図18は、そのシーケンスに対応する多重露光のタイミングチャートを示す。前述した図15ではデジタル値D1,D2を生成するのみであったが、デジタル値D1,D2に加え、制御信号TG1−3(駆動波形113),TG2−3(駆動波形123)を数十〜数十万回繰り返してデジタル値D3を生成し、制御信号TG1−4(駆動波形114),TG2−4(駆動波形124)を数十〜数十万回繰り返してデジタル値D4を生成する。図18の例示では、画素Aの画素グループが1回の長時間露光を行う期間内に、画素Bの画素グループが4回の短時間露光を行うことで、長時間露光を行う画素Aの画素グループに対して4倍のフレームレートを実現することができる。又、回路のミスマッチを未然に回避することができ、ロバスト性を高めることができる。   FIG. 17 shows another sequence of actuation outputs of the present invention, and FIG. 18 shows a timing chart of multiple exposures corresponding to the sequence. In FIG. 15 described above, only the digital values D1 and D2 are generated, but in addition to the digital values D1 and D2, the control signals TG1-3 (drive waveform 113) and TG2-3 (drive waveform 123) are several tens to several The digital value D3 is generated several hundreds of thousands of times repeatedly, and the digital values D4 are generated by repeating the control signals TG1-4 (drive waveform 114) and TG2-4 (drive waveform 124) several tens to several hundreds of thousands of times. In the example of FIG. 18, the pixel group of pixel A performs long exposure by performing the pixel group B of pixel B performs short exposure four times within a period in which the pixel group of pixel A performs one long exposure period. A frame rate of four times that of a group can be realized. In addition, circuit mismatch can be avoided in advance, and robustness can be enhanced.

図19は、本発明の作動出力の更に別のシーケンスを示し、図20は、そのシーケンスに対応する多重露光のタイミングチャートを示す。長時間露光の位相数と短時間露光の位相数とは同一である必要はなく、異なっていても良い。図19及び図20の例示では、長時間露光を6位相測距で駆動し、短時間露光を4位相測距で駆動している。又、図19及び図20の例示では、長時間露光については「1」及び「−1」に加え、信号を積分しない期間である非積分期間を示す「0」を挿入することで、高次高調波に感度を持たせている。即ち、発光波形のデューティーを50%よりも短くすると、デューティーが短くなるにしたがって高次高調波の成分のエネルギーが増加する特性を利用し、長時間露光については、所定の高次高調波に感度を持たせて高次高調波の成分のエネルギーを有効に活用する。デジタル信号処理回路32は、基本波の成分と高次高調波の成分とを線形結合して距離を計算することで、高次高調波の成分を加味する分、基本波の成分のみから距離を計算する場合よりも距離誤差を低減することができる。尚、このような高次高調波に感度を持たせる発明について出願人は特願2014−226069号を出願している。   FIG. 19 shows still another sequence of the operation output of the present invention, and FIG. 20 shows a timing chart of multiple exposure corresponding to the sequence. The number of phases in the long time exposure and the number of phases in the short time exposure do not have to be the same but may be different. In the example of FIG. 19 and FIG. 20, long-time exposure is driven by six-phase distance measurement, and short-time exposure is driven by four-phase distance measurement. Also, in the examples of FIGS. 19 and 20, in addition to “1” and “−1” for long-time exposure, high-order exposure is performed by inserting “0” indicating a non-integral period which is a period in which the signal is not integrated. It is sensitive to harmonics. That is, when the duty of the light emission waveform is shorter than 50%, the energy of the component of the higher harmonics increases as the duty becomes shorter, and the sensitivity to a predetermined higher harmonic is used for long-time exposure. To effectively utilize the energy of the high-order harmonic components. The digital signal processing circuit 32 linearly combines the component of the fundamental wave and the component of the higher harmonics to calculate the distance, thereby adding the component of the higher harmonics to the distance from only the component of the fundamental wave. Distance error can be reduced more than when calculating. The applicant has filed Japanese Patent Application No. 2014-226069 for the invention for giving sensitivity to such high-order harmonics.

以上に説明したように第2の実施形態によれば、シングルエンド出力の構成に限らず、差動出力の構成でも前述した第1の実施形態と同様の作用効果を得ることができ、ダイナミックレンジを適切に拡張することができつつ、短時間露光のフレームレートを適切に高めることができる。尚、第2の実施形態でも、2つの画素グループに区分する構成に限らず、前述した第1の実施形態と同様に3つの画素グループに区分する構成としても良いし、それぞれの画素グループを時間で切り替えても良い。   As described above, according to the second embodiment, not only the single-ended output configuration but also the differential output configuration can provide the same effects as those of the first embodiment described above. The frame rate of the short exposure can be appropriately increased while appropriately expanding Note that the second embodiment is not limited to the configuration in which two pixel groups are divided, and may be configured in three pixel groups as in the first embodiment described above. You may switch by.

(その他の実施形態)
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形又は拡張することができる。
車載以外の用途に適用しても良い。
本実施形態では、2つの画素グループや3つの画素グループに区分する構成を例示したが、露光期間が互いに異なる4つ以上の画素グループに区分する構成でも良い。又、4つ以上の画素グループに区分する場合でも、それぞれの画素グループを時間で切り替えても良い。
2つの画素グループに区分する場合の長時間露光と短時間露光のそれぞれの位相数の組み合わせや3つの画素グループに区分する場合の長時間露光と中時間露光と短時間露光のそれぞれの位相数の組み合わせはどのようであっても良い。又、4つ以上の画素グループに区分する場合でも同様にそれぞれの位相数の組み合わせはどのようであっても良い。
(Other embodiments)
The present invention is not limited only to the above-described embodiment, and can be modified or expanded as follows.
It may be applied to uses other than in-vehicle use.
In the present embodiment, the configuration in which the image is divided into two pixel groups and three pixel groups is illustrated, but the configuration may be such that the exposure period is divided into four or more pixel groups different from each other. Also, even when dividing into four or more pixel groups, each pixel group may be switched by time.
A combination of the respective phase numbers of the long exposure and the short exposure in the case of dividing into two pixel groups, and a phase number of each of the long exposure, the medium time and the short exposure in the case of dividing into three pixel groups Any combination may be used. Also, even in the case of dividing into four or more pixel groups, similarly, the combination of the respective phase numbers may be arbitrary.

図面中、1,21は光飛行型測距装置、3,23は駆動回路(駆動手段)、4,24は発光素子、5,25は制御回路(制御手段)、6,26は受光素子、7,28は測距値取得回路(測距値取得手段)である。   In the drawing, 1 and 21 are light flight type distance measuring devices, 3 and 23 are drive circuits (drive means), 4 and 24 are light emitting elements, 5 and 25 are control circuits (control means), 6 and 26 are light receiving elements, 7, 28 is a distance measurement value acquisition circuit (distance measurement value acquisition means).

Claims (13)

繰り返し周期を持つパターンで変調された変調光を空間に発光する発光素子(4,24)と、
前記発光素子を駆動する駆動手段(3,23)と、
それぞれが面内の画素を構成し、変調光が対象物で反射した反射光を含む入射光を受光する複数の受光素子(6,26)と、
前記複数の受光素子における電荷の蓄積と前記複数の受光素子からの電荷の読み出しを制御する制御手段(5,25)と、
前記複数の受光素子から前記制御手段により読み出された電荷を用いて自装置から対象物までの距離を計算して測距値を取得する測距値取得手段(7,28)と、を備え、
前記制御手段は、面内の複数の画素を幾つかの画素グループに区分し、一の画素グループに属する受光素子が1回の長時間露光を行うことで前記測距値取得手段により測距値が1回取得される期間内に、他の画素グループに属する受光素子が複数位相で電荷の蓄積と読み出しを行うことによる複数回の短時間露光を行うことで前記測距値取得手段により測距値が複数回取得されるように複数の受光素子の駆動を制御することを特徴とする光飛行型測距装置(1,21)。
A light emitting element (4, 24) for emitting in space a modulated light modulated by a pattern having a repetition period;
Driving means (3, 23) for driving the light emitting element;
A plurality of light receiving elements (6, 26), each of which constitutes an in-plane pixel, and receives incident light including reflected light that the modulated light is reflected by the object;
Control means (5, 25) for controlling accumulation of charges in the plurality of light receiving elements and readout of charges from the plurality of light receiving elements;
Distance measurement value acquisition means (7, 28) for calculating the distance from the own device to the object using the charge read from the plurality of light receiving elements by the control means and acquiring the distance measurement value ,
The control means divides a plurality of pixels in a plane into several pixel groups, and the light receiving elements belonging to one pixel group perform one long-time exposure, and the distance measuring value acquiring means measures the distance measurement value. Within the period in which the light receiving element belonging to the other pixel group carries out a plurality of short-time exposures by storing and reading out electric charges in a plurality of phases within a period in which the distance measurement is performed by the distance measurement value acquisition means An optical flight distance measuring apparatus (1, 21) characterized by controlling driving of a plurality of light receiving elements so that a value is acquired plural times.
請求項1に記載した光飛行型測距装置において、
前記制御手段は、一の画素グループに属する受光素子がn(nは2以上の自然数)位相を基本とするn回の電荷の蓄積とn回の電荷の読み出しを繰り返す1回の長時間露光を行う期間内に、他の画素グループに属する受光素子がn位相を基本とするn回の電荷の蓄積とn回の電荷の読み出しを繰り返す1回の短時間露光を複数回行うように、前記複数の受光素子の駆動を制御することを特徴とする光飛行型測距装置。
In the optical flight type distance measuring apparatus according to claim 1,
The control means performs one long-time exposure in which the light receiving elements belonging to one pixel group repeat accumulation of n charges and n readout of charges based on n (n is a natural number of 2 or more) phases. The plurality of light-receiving elements belonging to another pixel group perform one short-time exposure repeatedly repeating accumulation of n charge and readout of n charge based on n phase within a period to be performed An optical flight distance measuring apparatus characterized in that the drive of the light receiving element of the above is controlled.
請求項2に記載した光飛行型測距装置において、
前記制御手段は、前記複数の受光素子の駆動を、デューティーが50%の矩形波形を2π/nずつずらした駆動波形を用いて制御することを特徴とする光飛行型測距装置。
In the optical flight distance measuring apparatus according to claim 2,
The light flight type distance measuring apparatus, wherein the control means controls driving of the plurality of light receiving elements using a driving waveform in which a rectangular waveform with a duty of 50% is shifted by 2π / n.
請求項1に記載した光飛行型測距装置において、
前記制御手段は、一の画素グループに属する受光素子がn(nは2以上の自然数)位相を基本とするn回の電荷の蓄積とn回の電荷の読み出しを繰り返す1回の長時間露光を行う期間内に、他の画素グループに属する受光素子がm(mは2以上の自然数であり、nとは異なる値)位相を基本とするm回の電荷の蓄積とm回の電荷の読み出しを繰り返す1回の短時間露光を複数回行うように、前記複数の受光素子の駆動を制御することを特徴とする光飛行型測距装置。
In the optical flight type distance measuring apparatus according to claim 1,
The control means performs one long-time exposure in which the light receiving elements belonging to one pixel group repeat accumulation of n charges and n readout of charges based on n (n is a natural number of 2 or more) phases. Within the time period, m (where m is a natural number of 2 or more, n is a different value from n) light-receiving elements belonging to other pixel groups are accumulated m times based on the phase and m times charge readout A light flight type distance measuring apparatus characterized in that the drive of the plurality of light receiving elements is controlled such that one repetitive short exposure is performed a plurality of times.
請求項4に記載した光飛行型測距装置において、
前記制御手段は、一の画素グループに属する受光素子の駆動を、デューティーが50%の矩形波形を2π/nずつずらした駆動波形を用いて制御し、他の画素グループに属する受光素子の駆動を、デューティーが50%の矩形波形を2π/mずつずらした駆動波形を用いて制御することを特徴とする光飛行型測距装置。
In the optical flight distance measuring apparatus according to claim 4,
The control means controls driving of the light receiving elements belonging to one pixel group using a driving waveform in which a rectangular waveform with a duty of 50% is shifted by 2π / n, and driving of light receiving elements belonging to the other pixel group An optical flight distance measuring apparatus characterized in that a rectangular waveform with a duty of 50% is controlled using a drive waveform shifted by 2π / m.
請求項1から5の何れか一項に記載した光飛行型測距装置において、
前記測距値取得手段(7)は、前記複数の受光素子(6)からシングルエンドで出力された値を用いて自装置から対象物までの距離を計算して測距値を取得することを特徴とする光飛行型測距装置(1)。
The optical flight distance measuring apparatus according to any one of claims 1 to 5, wherein
The distance measurement value acquiring means (7) calculates the distance from the own device to the object using the values outputted at a single end from the plurality of light receiving elements (6) to acquire distance measurement values. An optical flight distance measuring apparatus (1) characterized by the above.
請求項1から5の何れか一項に記載した光飛行型測距装置において、
前記測距値取得手段(28)は、前記複数の受光素子(26)から差動で出力された値を用いて自装置から対象物までの距離を計算して測距値を取得することを特徴とする光飛行型測距装置(21)。
The optical flight distance measuring apparatus according to any one of claims 1 to 5, wherein
The distance measurement value acquiring means (28) calculates the distance from the own device to the object using the values differentially output from the plurality of light receiving elements (26) to acquire the distance measurement value. An optical flight distance measuring apparatus (21) characterized by the above.
請求項7に記載した光飛行型測距装置において、
前記制御手段は、長時間露光を行う画素グループに属する受光素子が所定の高次高調波に感度を有するように、長時間露光を行う画素グループに属する受光素子の駆動を制御し、
前記測距値取得手段は、長時間露光を行う画素グループに属する受光素子については、基本波の成分と高次高調波の成分とを線形結合して測距値を取得することを特徴とする光飛行型測距装置。
In the optical flight distance measuring apparatus according to claim 7,
The control means controls driving of the light receiving elements belonging to the long exposure group such that the light receiving elements belonging to the long exposure group have sensitivity to a predetermined higher harmonic.
The said ranging value acquisition means is characterized by acquiring the ranging value by linearly combining the component of a fundamental wave and the component of a high-order harmonic about the light receiving element which belongs to the pixel group which performs long-time exposure. Optical flight type distance measuring device.
請求項1から8の何れか一項に記載した光飛行型測距装置において、
前記制御手段は、他の画素グループを1つとし、一の画素グループに属する受光素子と他の画素グループに属する受光素子とがそれぞれ1行間隔の行単位で配置されるように区分することを特徴とする光飛行型測距装置。
The optical flight distance measuring apparatus according to any one of claims 1 to 8,
The control means divides one pixel group into another pixel group, and divides the light receiving elements belonging to one pixel group and the light receiving elements belonging to the other pixel group so as to be arranged in row units of one row interval. An optical flight type distance measuring device characterized by
請求項1から8の何れか一項に記載した光飛行型測距装置において、
前記制御手段は、他の画素グループを1つとし、一の画素グループに属する受光素子と他の画素グループに属する受光素子とがそれぞれ市松模様で配置されるように区分することを特徴とする光飛行型測距装置。
The optical flight distance measuring apparatus according to any one of claims 1 to 8,
The control means divides one pixel group into another pixel group, and divides the light receiving elements belonging to one pixel group and the light receiving elements belonging to the other pixel group into a checkered pattern. Flight type distance measuring device.
請求項1から8の何れか一項に記載した光飛行型測距装置において、
前記制御手段は、他の画素グループを第1の他の画素グループと第2の他の画素グループとを含む2つとし、何れか1つの画素グループに属する受光素子が市松模様で配置され、残りの2つの画素グループにそれぞれ属する受光素子が市松模様の残りに1行間隔の行単位で配置されるように区分することを特徴とする光飛行型測距装置。
The optical flight distance measuring apparatus according to any one of claims 1 to 8,
The control means sets the other pixel group to two including the first other pixel group and the second other pixel group, and the light receiving elements belonging to any one pixel group are arranged in a checkered pattern, and the rest A light-flying distance-measuring device, wherein light-receiving elements belonging to each of the two pixel groups are divided so that they are arranged in rows of one row apart in the rest of the checkered pattern.
請求項1から8の何れか一項に記載した光飛行型測距装置において、
前記制御手段は、他の画素グループを第1の他の画素グループと第2の他の画素グループとを含む2つとし、全ての画素グループが全ての行に配置されるように区分することを特徴とする光飛行型測距装置。
The optical flight distance measuring apparatus according to any one of claims 1 to 8,
The control means divides the other pixel group into two including the first other pixel group and the second other pixel group, and divides all the pixel groups so as to be arranged in all the rows. An optical flight type distance measuring device characterized by
請求項1から12の何れか一項に記載した光飛行型測距装置において、
前記制御手段は、所定の受光素子が一の画素グループに属する期間と他の画素グループに属する期間とを切り替えることを特徴とする光飛行型測距装置。
The optical flight distance measuring apparatus according to any one of claims 1 to 12.
The light flight type distance measuring apparatus, wherein the control means switches between a period in which a predetermined light receiving element belongs to one pixel group and a period in which another light receiving element belongs to another pixel group.
JP2014236484A 2014-11-14 2014-11-21 Optical flight type distance measuring device Expired - Fee Related JP6424581B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014236484A JP6424581B2 (en) 2014-11-21 2014-11-21 Optical flight type distance measuring device
US15/525,311 US10422879B2 (en) 2014-11-14 2015-11-12 Time-of-flight distance measuring device
DE112015005163.5T DE112015005163T5 (en) 2014-11-14 2015-11-12 FLIGHT TIME DISTANCE MEASURING DEVICE
PCT/JP2015/005649 WO2016075945A1 (en) 2014-11-14 2015-11-12 Optical time-of-flight range-finding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014236484A JP6424581B2 (en) 2014-11-21 2014-11-21 Optical flight type distance measuring device

Publications (2)

Publication Number Publication Date
JP2016099233A JP2016099233A (en) 2016-05-30
JP6424581B2 true JP6424581B2 (en) 2018-11-21

Family

ID=56076938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014236484A Expired - Fee Related JP6424581B2 (en) 2014-11-14 2014-11-21 Optical flight type distance measuring device

Country Status (1)

Country Link
JP (1) JP6424581B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11448757B2 (en) 2016-11-29 2022-09-20 Nuvoton Technology Corporation Japan Distance measuring device
JP6981043B2 (en) * 2017-05-19 2021-12-15 株式会社デンソー Distance measuring device
US10914824B2 (en) 2017-11-21 2021-02-09 Analog Devices International Unlimited Company Systems and methods for measuring a time of flight in a lidar system
CN111175774B (en) * 2020-01-14 2022-09-09 炬佑智能科技(苏州)有限公司 Control method of TOF sensor module
US20230048328A1 (en) * 2020-03-18 2023-02-16 Hirokazu Takenaka Distance-measuring apparatus and distance-measuring method
JP7508822B2 (en) * 2020-03-23 2024-07-02 株式会社リコー Distance measurement device and distance measurement method
JP2022112829A (en) * 2021-01-22 2022-08-03 凸版印刷株式会社 Distance image imaging device and distance image imaging method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003247809A (en) * 2002-02-26 2003-09-05 Olympus Optical Co Ltd Distance information input device
US6919549B2 (en) * 2003-04-11 2005-07-19 Canesta, Inc. Method and system to differentially enhance sensor dynamic range
JP2007121116A (en) * 2005-10-28 2007-05-17 Sharp Corp Optical distance measuring device
JP4793059B2 (en) * 2006-04-03 2011-10-12 セイコーエプソン株式会社 Imaging apparatus and imaging system
JP2009047661A (en) * 2007-08-22 2009-03-05 Hamamatsu Photonics Kk Ranging device
JP5308088B2 (en) * 2008-07-24 2013-10-09 パナソニック株式会社 Distance image sensor
JP5585903B2 (en) * 2008-07-30 2014-09-10 国立大学法人静岡大学 Distance image sensor and method for generating imaging signal by time-of-flight method
JP4981780B2 (en) * 2008-10-20 2012-07-25 本田技研工業株式会社 Ranging system and ranging method
JP2013175951A (en) * 2012-02-27 2013-09-05 Honda Motor Co Ltd Pixel drive device and pixel drive method
US8686367B2 (en) * 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
JP6025081B2 (en) * 2013-02-28 2016-11-16 株式会社テクノロジーハブ Distance image sensor
CN106461763B (en) * 2014-06-09 2019-04-30 松下知识产权经营株式会社 Solid-state imager used in range unit and the range unit

Also Published As

Publication number Publication date
JP2016099233A (en) 2016-05-30

Similar Documents

Publication Publication Date Title
JP6424581B2 (en) Optical flight type distance measuring device
US10422879B2 (en) Time-of-flight distance measuring device
JP6520053B2 (en) Optical flight type distance measuring device
CN109564287B (en) Optical flight type distance measuring device
JP6539990B2 (en) Optical flight type distance measuring device
JP6817387B2 (en) LADAR system and method
JP6507529B2 (en) Optical flight type distance measuring device
WO2011105438A1 (en) Range image sensor
JP6558122B2 (en) Optical flight rangefinder
KR20110009691A (en) Tof range finding with background radiation suppression
US11570424B2 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
JP6025081B2 (en) Distance image sensor
WO2019146457A1 (en) Time-of-flight image sensor with distance determination
Morrison et al. A 64× 64 SPAD flash LIDAR sensor using a triple integration timing technique with 1.95 mm depth resolution
JP7508822B2 (en) Distance measurement device and distance measurement method
WO2021116758A1 (en) Imaging devices and multiple camera interference rejection
US12080727B2 (en) Processing circuit and method for time-of-flight image sensor
JP2018169162A (en) Solid-state imaging device
Tanveer et al. Time-to-digital converter based on analog time expansion for 3D time-of-flight cameras
Yasutomi et al. A time-of-flight image sensor with sub-mm resolution using draining only modulation pixels
CN112946602A (en) Multipath error compensation method and multipath error compensated indirect time-of-flight distance calculation device
JP2021043131A (en) Distance measuring device and method for adjusting deviation of distance measuring mechanism in said device
Halin et al. A review on solid state time of flight TOF range image sensors
CN116299539A (en) Active imaging system
WO2024188807A1 (en) Control, control method and time-of-flight device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181008

R151 Written notification of patent or utility model registration

Ref document number: 6424581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees