JP7027403B2 - 測距装置、および測距方法 - Google Patents

測距装置、および測距方法 Download PDF

Info

Publication number
JP7027403B2
JP7027403B2 JP2019502858A JP2019502858A JP7027403B2 JP 7027403 B2 JP7027403 B2 JP 7027403B2 JP 2019502858 A JP2019502858 A JP 2019502858A JP 2019502858 A JP2019502858 A JP 2019502858A JP 7027403 B2 JP7027403 B2 JP 7027403B2
Authority
JP
Japan
Prior art keywords
unit
conversion
light
distance
emission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502858A
Other languages
English (en)
Other versions
JPWO2018159289A1 (ja
Inventor
和秀 難波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2018159289A1 publication Critical patent/JPWO2018159289A1/ja
Application granted granted Critical
Publication of JP7027403B2 publication Critical patent/JP7027403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69—Spread spectrum techniques
    • H04B1/713—Spread spectrum techniques using frequency hopping
    • H04B1/7143—Arrangements for generation of hop patterns
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Description

本開示は、測距装置、および測距方法に関し、特に、AD（Analog-Digital）変換処理を簡略化することにより動作時間を短縮できるようにした測距装置、および測距方法に関する。
対象物までの距離を測定する（以下、測距を行うとも称する）測距装置としてTOF(Time Of Flight)センサが知られている（例えば、特許文献１参照）。
TOFセンサは、対象物に照射する光である照射光を発光し、その照射光が対象物において反射した反射光を受光することで、照射光の発光から反射光の受光までの時間、すなわち、照射光が対象物で反射されて戻ってくるまでの反射時間Δtを求めている。そして、この反射時間Δtと光速c[m/s]とを用い、次式（１）に基づいて対象物までの距離Lを演算している。
L=c×Δt／2 ・・・（１）
特開2016-090268号公報
上述したように、TOFセンサでは、照射光が対象物で反射されて戻ってくるまでの時間Δtを求めており、反射光を受光するための構成として、例えばCMOSイメージセンサ等と同様に構成される固体撮像装置が採用されている。
該固体撮像装置においては、光電変換によって生成された電荷に基づく画素信号をAD変換するADC(Analog Digital Converter)が設けられているが、ADCの動作がボトルネックとなってTOFセンサの全体の動作を高速化させる際の妨げとなっている。
本開示は、このような状況に鑑みてなされたものでありADCの動作を高速化することによってTOFセンサの全体の動作を高速化させるとともに、高速化したTOFセンサの利用方法を提案するものである。
本開示の一側面である測距装置は、照射光を発光する発光部と、複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部とを備え、前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有するように構成され、前記AD変換部は、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行するように構成され、前記算出部は、前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するに際して、前記AD変換部による前記第２のAD変換の結果を用いて高精度測距を行う前に、前記AD変換部による前記第１のAD変換の結果を用いて高速測距を行うように構成され、前記高精度測距を行う前に行われた前記高速測距の結果に基づき、直後に行う前記高精度測距における検出画角を制限することが可能なように構成される。
本開示の第１の側面である測距方法は、照射光を発光する発光部と、複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部とを備え、前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有する測距装置の測距方法において、前記AD変換部による、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行し、前記算出部による、前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するに際して、前記AD変換部による前記第２のAD変換の結果を用いて高精度測距を行う前に、前記AD変換部による前記第１のAD変換の結果を用いて高速測距を行い、前記高精度測距を行う前に行われた前記高速測距の結果に基づき、直後に行う前記高精度測距における検出画角を制限するステップを含む。
本開示の第１の側面である測距装置は、照射光を発光する発光部と、複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部とを備え、前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有するように構成され、前記AD変換部は、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行するように構成され、前記算出部は、前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するように構成され、前記制御部は、前記照射光の発光周波数の周波数ホッピングを実行させる周波数ホッピング制御部と、前記照射光の発光周波数の位相変更を実行させ、前記照射光の発光周波数の位相をπ[rad]だけ変更させるように構成される位相変更制御部とを有し、同じ発光周波数状態の下で前記受光部から出力される数値のバラツキを検出する差分検出部と、前記差分検出部の出力に基づき、前記周波数ホッピング制御部または前記位相変更制御部の少なくとも一方を制御する発光周波数状態設定部とをさらに備え、前記発光周波数状態設定部は、所望の測距精度が得られるまで、前記周波数ホッピングを繰り返し実行させた後、前記位相変更を実行させることが可能なように構成される。
本開示の一側面においては、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とが切り替えて実行され、前記第１または第２のAD変換の結果を用いて対象物までの距離が測定されるに際して、前記第２のAD変換の結果を用いて高精度測距を行う前に、前記第１のAD変換の結果を用いて高速測距が行われる。また、前記高精度測距を行う前に行われた前記高速測距の結果に基づき、直後に行う前記高精度測距における検出画角が制限される。
本開示の一側面によれば、ADCの動作を高速化することによってTOFセンサの全体の動作を高速化させることができる。
本開示を適用したTOFセンサの一実施の形態の概要を説明する図である。 反射時間Δtの第１の算出方法の原理を説明する図である。 反射時間Δtの第２の算出方法の原理を説明する図である。 TOFセンサ１０の第１の構成例を示すブロック図である。 受光部１２の構成例を示すブロック図である。 カラムADC３３０にて画素信号に10bitでAD変換を行う場合の所要時間を示す図である。 カラムADC３３０にて画素信号に1bitでAD変換を行う場合の所要時間を示す図である。 1bitのAD変換を飽和検出に用い、その検出結果に基づいて露光制御を行う場合のタイミングチャートである。 1bitのAD変換を飽和検出に用い、その検出結果に基づいて発光制御を行う場合のタイミングチャートである。 TOFセンサ１０とHDR(High Dynamic Range)TOFセンサ６００との連携動作を説明するための図である。 1bitのAD変換を飽和検出に用い、その検出結果に基づいてHDR TOFセンサ６００を制御する場合のタイミングチャートである。 TOFセンサ１０とLidarセンサ７００との連携動作を説明するための図である。 TOFセンサ１０とLidarセンサ７００との連携動作を説明するための図である。 TOFセンサ１０における1bit高速測距と10bit高精度測距の第１の連携動作について説明するための図である。 TOFセンサ１０における1bit高速測距と10bit高精度測距の第１の連携動作について説明するための図である。 TOFセンサ１０における1bit高速測距と10bit高精度測距の第２の連携動作について説明するための図である。 TOFセンサ１０における1bit高速測距と10bit高精度測距の第２の連携動作について説明するための図である。 TOFセンサ１０とVisionセンサ８００との連携動作を説明するための図である。 TOFセンサが第２の算出方法により反射時間Δtを求める場合の測距の例を説明するタイミングチャートである。 混信対策を行ったTOFセンサ１０が第２の算出方法により反射時間Δtを求める場合の測距の例を説明するタイミングチャートである。 フレーム単位で、先頭タイミングをランダムに変化させる場合と、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合との消費電力の例を説明する図である。 TOFセンサ１０の第２の構成例を示すブロック図である。 TOFセンサ１０の第３の構成例を示すブロック図である。 TOFセンサ１０の第４の構成例を示すブロック図である。 発光周波数状態の例を示す図である。 第１の発光周波数Fmod変更処理を説明するフローチャートである。 第２の発光周波数Fmod変更処理を説明するフローチャートである。 第３の発光周波数Fmod変更処理を説明するフローチャートである。 TOFセンサ１０の第５の構成例を示すブロック図である。 TOFセンサ１０の第６の構成例を示すブロック図である。 本開示に係る技術を適用し得る積層型の半導体装置の一例としての固体撮像装置の構成例の概要を示す図である。 積層型の固体撮像装置23020の第１の構成例を示す断面図である。 積層型の固体撮像装置23020の第２の構成例を示す断面図である。 積層型の固体撮像装置23020の第３の構成例を示す断面図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
＜本開示を適用したTOFセンサの一実施の形態＞
図１は、本開示を適用したTOFセンサの一実施の形態の概要を説明する図である。
TOFセンサ１０は、発光部１１および受光部１２を有し、TOF方式で、対象物までの距離を測定する。
発光部１１は、対象物に照射するパルス光等の所定の変調光等である照射光を発光する。
受光部１２は、照射光が対象物において反射した反射光を受光する。
TOFセンサ１０は、発光部１１での照射光の発光から、受光部１２での反射光の受光までの時間（以下、反射時間ともいう）Δtを求め、上述した式（１）に基づいて対象物までの距離Lを算出する。
したがって、対象物までの距離Lは、反射時間Δtを求めることにより得ることができるが、TOFセンサ１０等において、反射時間Δtを求める方法としては、例えば、第１の算出方法と第２の算出方法とがある。
＜反射時間Δtの第１の算出方法＞
図２は、反射時間Δtの第１の算出方法の原理を説明する図である。
ここで、照射光として、例えば所定のパルス幅Tpのパルス光を採用することにする。
TOFセンサでは、照射光が発光されてから、対象物までの距離Lに応じた反射時間Δtだけ経過した後に、照射光の反射光（照射光が対象物で反射した光）が受光される。
いま、照射光としてのパルス光と同一のパルス幅であって、位相が等しいパルスを第１の受光パルスと称することにする。また、照射光としてのパルス光と同一のパルス幅であって、位相がパルス光のパルス幅Tpと同じ幅だけずれたパルスを第２の受光パルスと称することにする。
第１の算出方法では、第１の受光パルスの（H(High)レベルの）期間と、第２の受光パルスの期間とのそれぞれの期間において、反射光が受光される。
いま、第１の受光パルスの期間に受光された反射光の電荷量（受光量）をQ1と表すとともに、第２の受光パルスの期間に受光された反射光の電荷量をQ2と表すことにする。
この場合、反射時間Δtは次式（２）に従って求めることができる。
△t＝Tp×Q2／(Q1+Q2) ・・・（２）
式（２）から分かるように、反射時間Δtは、電荷量Q2に比例する。よって、対象物までの距離Lが近距離である場合、電荷量Q2は小さくなり、対象物までの距離Lが遠距離である場合、電荷量Q2は大きくなる。
図２のＡは、対象物までの距離Lが近距離である場合の照射光、反射光、第１の受光パルスにおける電荷量Q1、および第２の受光パルスにおける電荷量Q2を表しており、図２のＢは、対象物までの距離Lが遠距離である場合の照射光、反射光、第１の受光パルスにおける電荷量Q1、および第２の受光パルスにおける電荷量Q2を表している。
なお、実際には、第１および第２の受光パルスの期間においては、反射光の他、環境光も受光されるため、反射時間Δt（延いては距離L）の算出にあたっては、環境光の電荷量をキャンセルする必要がある。但し、本実施の形態では、説明を簡単にするため、環境光の電荷量のキャンセルについては説明を省略する。
＜反射時間Δtの第２の算出方法＞
図３は、反射時間Δtの第２の算出方法の原理を説明する図である。
第２の算出方法では、照射光としてのパルス光の発光が、複数回、例えば４回行われる。
そして、４回のパルス光の発光に対して、0ずらし受光、π/2ずらし受光、πずらし受光、および、3π/2ずらし受光が、それぞれ行われる。
θずらし受光では、第１および第２の受光パルスを、第１の算出方法の場合から、θ[rad]だけずらして、反射光の受光が行われる。ここで、照射光としてのパルス光のパルス幅Tpの位相がπ[rad]である。
いま、θずらし受光における第１の受光パルスの期間に受光された反射光の電荷量を、TapAと表すとともに、第２の受光パルスの期間に受光された反射光の電荷量を、TapBと表すことにする。
そして、0ずらし受光で得られた電荷量TapAとTapBとの差分TapA-TapBを差信号Sig1と表すことにする。
同様に、π/2ずらし受光、πずらし受光、および、3π/2ずらし受光で得られた電荷量TapAとTapBとの差分TapA-TapBを、差信号Sig2，Sig3、および、Sig4と、それぞれ表すことにする。
この場合、照射光と反射光との位相差φは、次式（３）に従って求めることができる。
φ＝arctan((Sig2-Sig4)/(Sig1-Sig3)) ・・・（３）
さらに、位相差φと反射時間Δtとは一対一に対応し、反射時間Δtは、位相差φに基づき、次式（４）に従って求めることができる。
Δt＝Tp×φ／π ・・・（４）
本開示は、上述した第１および第２の算出方法のいずれも適用することができるが、以下では、第１および第２の算出方法のうち、第２の算出方法を例に説明を行う。
＜TOFセンサ１０の第１の構成例＞
図４は、図１に示されたTOFセンサ１０の第１の構成例を示すブロック図である。
該第１の構成例は、発光部１１、受光部１２、距離算出部５１、および、制御部５３を有する。
発光部１１は、例えば、LED(Light Emitting Diode)等で構成され、制御部５３からの制御に従い、発光周波数Fmod（位相情報を含む）に同期して明滅させた光を照射光として対象物が存在し得る方向に照射する。
受光部１２は、有効画素部３０およびダミー画素部４０を有し、制御部５３からの制御に従って、発光部１１によって発光した照射光の対象物における反射光を受光する。なお、受光部１２の詳細な構成例については、図５を参照して後述する。
有効画素部３０は、複数の画素３１を有し、ダミー画素部４０は、複数の画素４１を有する。
画素３１および４１は、例えば、PD（フォトダイオード）等で構成され、そこに入射する光を受光し、その光の光量に対応する電荷を発生する。
有効画素部３０では、画素３１が、制御部５３の制御に従って、発光部１１が発光した照射光の反射光を受光し、その反射光に応じた電荷、すなわち、例えば、図３で説明した第１の受光パルスの期間に受光された反射光の電荷量TapA、および、第２の受光パルスの期間に受光された反射光の電荷量TapBを生成して距離算出部５１に供給する。
ダミー画素部４０では、画素４１は、例えば、遮光されており、いわゆるOPB(Optical Black)画素として機能する。
なお、図４に示された構成例では、図が煩雑になるのを避けるため、有効画素部３０を構成する画素３１と、ダミー画素部４０を構成する画素４１とを、別個のエリアに配置してあるが、画素４１は、例えば、画素３１の中に混在するように配置することができる。
距離算出部５１は、画素３１からの電荷の電荷量を用いて、例えば、図３で説明したように、位相差φを算出し、その位相差φから求められる反射時間Δtに基づいて、対象物までの距離Lを算出する。距離算出部５１は、有効画素部３０を構成する各画素３１に対して、距離Lを算出し、その距離L（に対応する値）を画素値とする距離画像等を、距離情報として出力する。
制御部５３は、発光部１１による照射光の発光、および、受光部１２の画素３１による反射光の受光を制御する。
＜受光部１２の構成例＞
図５は、受光部１２の構成例を示すブロック図である。
受光部１２は、同図に示されるように、列並列ADC(Analog Digital Converter)が採用されたCMOSイメージセンサ等の固体撮像装置と略同様に構成される。
受光部１２は、画素部１０１、水平転送走査回路１０３、垂直走査回路１０５、DAC(Digital Analog Converter）３１０、カウンタ制御部３２０、および列並列ADC３３０から構成されている。以下、列並列ADC３３０をカラムADC３３０と称する。
画素部１０１は、図４の有効画素部３０およびダミー画素部４０に相当し、PDと各種の画素Tr.（トランジスタ）を含む単位画素１２１がマトリクス状（行列状）に配置されて構成される。単位画素１２１は、図４の画素３１，４１に相当する。
また画素部１０１は、行列状の画素配列に対して行毎に画素駆動線（不図示）が図の左右方向（画素行の画素の配列方向）に沿って形成され、列ごとに垂直信号線１２２－１乃至１２２－Ｎが図の上下方向（画素列の画素の配列方向）に沿って形成されている。なお、以下の説明において、垂直信号線１２２－１乃至１２２－Ｎを個々に区別する必要がない場合、単に垂直信号線１２２と記述する。他の部分も同様の記載を行う。
垂直走査回路１０５は、シフトレジスタやアドレスデコーダなどによって構成され、画素部１０１の各画素を、全画素同時あるいは行単位等で駆動する画素駆動部である。この垂直走査回路１０５は、その具体的な構成については図示を省略するが、読み出し走査系と、掃き出し走査系あるいは、一括掃き出し、一括転送を有する構成となっている。
垂直走査回路１０５によって選択走査された画素行の各単位画素１２１から出力される画素信号（電圧信号VSL）は、垂直信号線１２２－１乃至１２２－Ｎの各々を介してカラムADC３３０－１乃至３３０－Ｎに供給される。カラムADC３３０は、画素部１０１の画素列ごとに、選択行の各単位画素から垂直信号線１２２を通して出力される画素信号に対して所定の信号処理を行うことによりAD変換を行って、AD変換された画素信号を水平転送走査回路１０３に供給する。
水平転送走査回路１０３は、シフトレジスタやアドレスデコーダなどによって構成され、カラムASDC３３０－１乃至３３０－Ｎの画素列に対応する単位回路を順番に選択する。この水平転送走査回路１０３による選択走査により、カラムADC３３０でAD変換された画素信号が順番に後段の距離算出部５１に出力される。
DAC３１０は、Vslop３１１、Vcons３１２、およびスイッチ３１３を備える。カウンタ制御部３２０は、10bit count３２１、1bit count３２２、およびスイッチ３２３を備える。
カラムADC３３０は、比較器３３１とカウンタ３３２を備え、垂直信号線１２２を介して供給される単位画素１２１からの画素信号に対して異なる２種類以上のbit数（すなわち、精度）でAD変換を行うことができる。以下、カラムADC３３０は、画素信号に対して10bitまたは1bitの精度でAD変換を行うことにする。ただし、これらのbit数は、一例であって、これらに限るものではない。なお、1bitの精度で行うAD変換を、本開示の一側面における第１のAD変換とみなすことができ、10bitの精度で行うAD変換を、本開示の一側面における第２のAD変換とみなすことができる。
TOFセンサ１０が高い精度で測距を行う場合、カラムADC３３０では10bitの精度でAD変換が行われる。反対に、TOFセンサ１０が低い精度で測距を行う場合、カラムADC３３０では1bitの精度でAD変換が行われる。
なお、TOFセンサ１０が低い精度で測距を行う場合とは、例えば、対象物までの距離を正確に求める必要はなく、所定の距離までの間に何からの物体が存在していることを検知できればよい場合等を指す。
カラムADC３３０で10bitの精度でAD変換を行う場合、DAC３１０のスイッチ３１３は、Vslop３１１側に接続される。また、カウンタ制御部３２０のスイッチ３２３は、10bit count３２１側に接続される（いずれも、図５に示されている状態と反対の状態）。
この場合、カラムADC３３０の比較器３３１には、DAC３１０のVslop３１１で生成されたスロープ状に変化する参照電圧Vrampが供給される。また、カラムADC３３０のカウンタ３３２には、カウンタ制御部３２０の10bit count３２１から、10bitでAD変換を行うように指示する制御信号が供給される。
そして、カラムADC３３０においては、比較器３３１において参照電圧Vrampと電圧信号VSLが比較され、電圧信号VSLよりも参照電圧Vrampが大きい間は、比較器３３１は出力信号VCOとして１を出力する。そして、参照電圧Vrampが電圧信号VSLを下回ったタイミングで、比較器３３１の出力信号VCOとして０を出力し、この立ち下りエッジでカウンタ３３２のカウント動作が停止される。カウント値VCNTは参照電圧Vrampがスイープした電圧幅と１対１の関係であり、このカウント値VCNTが、画素信号を10bitでAD変換した結果として、後段の水平転送走査回路１０３に供給される。
一方、カラムADC３３０で１bitの精度でAD変換を行う場合、DAC３０１のスイッチ３１３は、Vcons３１２側に接続される。また、カウンタ制御部３２０のスイッチ３２３は、1bit count３２２側に接続される（いずれも、図５に示されている状態）。
この場合、カラムADC３３０の比較器３３１には、DAC３１０のVcons３１２で生成された定電圧Vconsが供給される。また、各カラムADC３３０のカウンタ３３２には、カウンタ制御部３２０の1bit count３２１から、1bitでAD変換を行うように指示する制御信号が供給される。
そして、カラムADC３３０においては、比較器３３１で定電圧Vconsと電圧信号Vslとが比較され、電圧信号VSLよりも定電圧Vconsが大きい間は、比較器３３１は出力信号VCOとして１を出力する。そして、定電圧Vconsが電圧信号VSLを下回ったタイミングで、比較器３３１の出力信号VCOとして０を出力する。そして、比較器３３１の出力信号VCOが１から０に反転したことをトリガとして、反転した比較器３３１の出力信号に応答して1bit count３２２で生成されたデジタルコード（例えば、参照電圧より大きい合１、小さい場合０）をカウンタ３３２（ラッチ部）へラッチする。そして、このデジタルコードが画素信号を1bitでAD変換した結果として、後段の水平転送走査回路１０３に供給される。
＜カラムADC３３０にて画素信号に10bitまたは1bitの精度でAD変換を行う場合の比較＞
次に、カラムADC３３０にて画素信号に10bitまたは1bitの精度でAD変換を行う場合について、上述した反射時間Δtの第２の算出方法における、1回のθずらし受光に要する時間を比較する。
1回のθずらし受光に要する時間は、単位画素１２１における電荷の蓄積時間(integration)、AD変換に要する時間（RO）、および、次のθずらし受光までの間隔（dead time）から成る。
図６は、カラムADC３３０にて画素信号に10bitの精度でAD変換を行う場合を示している。同図の場合、例えば、蓄積時間に0.5[ms]、10bitのAD変換に要する時間に2[ms]、次のθずらし受光までの間隔に0.1[ms]の合計2.6[ms]を要する。したがって、上述した反射時間Δtの第２の算出方法における1フレーム（4回のθずらし受光に要する時間）は10.4[ms]となり、フレームレートは100fpsとなる。以下、カラムADC３３０にて画素信号に10bitの精度でAD変換を行い（高精度動作を行い）、その結果に基づいて高精度で測距を行うことを、10bit高精度測距と称する。
図７は、カラムADC３３０にて画素信号に1bitの精度でAD変換を行う場合をそれぞれ示している。同図の場合、例えば、蓄積時間に0.5[ms]、1bitのAD変換に要する時間に0.2[ms]、次のθずらし受光までの間隔（dead time）に0.1[ms]の合計0.8[ms]を要する。したがって、上述した反射時間Δtの第２の算出方法における1フレーム（4回のθずらし受光に要する時間）は3.2[ms]となり、フレームレートは313fpsとなる。以下、カラムADC３３０にて画素信号に1bitの精度でAD変換を行い（高速動作を行い）、その結果に基づいて低い精度で測距を行うことを、1bit高速測距と称する。
図６と図７を比較して明らかなように、1bit高速測距の場合には、10bit高精度測距の場合に比較して大幅に高速化できることが分かる。
ただし、1bit高速測距の場合、10bit高精度測距の場合に比較して、測距の精度は低下するので、1bit高速測距と10it AD変換の使い分けが必要となる。
1bit高速測距は、例えば、所定の距離までの間に何からの物体が存在していることを検知したり、外乱光等に起因して受光部１２が飽和したことを検出したりする用途等に用いることができる。
なお、図５に示された受光部１２の構成例は、図３１乃至図３４を参照して後述する積層型の半導体装置として形成することができる。その場合、図５に示された構成要素を積層されている複数の基板に分散して配置することができる。例えば、画素部１０１を最上層の基板に配置し、その他の構成要素を下層の基板に配置するようにしてもよい。
また、図５に示された受光部１２の構成例では、カラム毎にADC（カラムADC３３０）を設けているが、数画素毎または究極的には単位画素１２１毎にADCを設けるようにしてもよい。その場合、1bit高速測距および10bit高精度測距をより高速化することができる。
以下、TOFセンサ１０にて1bit高速測距を行う場合における様々な利用方法ついて説明する。
＜1bit高速測距を飽和検出に用いた第１の例＞
1bit高速測距を受光部１２が飽和したことを検出する用途に用いる場合は、受光部１２から後段に出力される1bitのデジタルコード（例えば、参照電圧より大きい合１、小さい場合０）が１である画素の数をカウントし、その画素数が所定の閾値を超えているときに、受光部１２が飽和していると判断すればよい。
図８は、1bit高速測距を飽和検出に用い、その検出結果に基づき、受光部１２の露光制御を行う場合のタイミングチャートを示している。
なお、図８のＡは、受光部１２の飽和の要因と成り得る外乱光の変化を示している。図８のＢは、1bit高速測距を飽和検出に用いない場合を示しており、図中のADは10bit高精度測距のため10bitのAD変換の実行を意味する。図８のＣは、1bit高速測距を飽和検出に用いた場合を示しており、図中のADは10bit高精度測距のための10bitのAD変換の実行を意味し、図中の飽和検出は1bit高速測距、すなわち、1bitのAD変換の実行を意味する。
1bit高速測距を飽和検出に用いない場合、図８のＢに示されるように、HW（ハードウェア）処理として10bitのAD変換が行われ、10bitのAD変換の結果に基づき、SW（ソフトウェア）処理によって測距演算が行われ、その結果を用いてフレーム毎の画像（各画素の画素値が距離を表す画像等）が生成される。そして、生成した画像に基づいて受光部１２の飽和が検出された場合に露光制御が行われる。なお、図８の例では、１フレーム当たりの10bitのAD変換には、電荷の蓄積時間も含めて3[ms]程度を要し、測距演算と画像生成を行うSW処理には30[ms]程度を要するものとする。
図８のＢの場合、SW処理を待ってから飽和の有無が検出されて露光制御が行われるので、飽和が生じている場合には、正常な（飽和が生じていない）画像を得ることができないことになる。すなわち、飽和が生じている場合には、10bitのAD変換の結果が1024LSBのフルコードとなるので、SW処理では、この出力が1000LSB以上であるか否かに基づいて飽和が生じている否かを判断する。そして、SW処理で飽和が生じていると判断された場合、例えば、次のフレームの露光制御を、現フレームの露光制御より短い露光時間に設定する。次のフレームの蓄積は、この短い露光時間で蓄積が実施されるので、飽和を回避することができる。このように、次のフレームでは飽和は回避されるが、現フレームは飽和が生じたものとなる。
これに対して、1bit高速測距を飽和検出に用いる場合、図８のＣに示されるように、HW処理として10bitのAD変換が行われない期間、すなわち、図８のＢの場合においてSW処理が行われている期間に、HW処理として1bit高速測距（1bitのAD変換）を利用した飽和検出を行い、その結果を用いて露光制御を行うようにする。
1bit高速測距を利用した飽和検出は、図８のＢの場合のようなSW処理による飽和の検出に比較して、要する時間が短く、且つ、消費電力を抑えることができる。
したがって、1bit高速測距を飽和検出に用いる場合、SW処理の結果を待つことなく速やかに、10bit高精度測距を行う場合の露光を最適な状態に制御することができ、正常な（飽和が生じていない）画像を得ることができる。
＜1bit高速測距を飽和検出に用いた第２の例＞
図９は、1bit高速測距を飽和検出に用い、その検出結果に基づいて、発光部１１の発光制御を行う場合のタイミングチャートを示している。図中のADは10bit高精度測距のための10bitのAD変換の実行を意味し、図中の飽和検出は1bit高速測距、すなわち、1bitのAD変換の実行を意味する。
この場合、上述した図８のＣと同様に、HW処理として10bitのAD変換が行われない期間、すなわち、図８のＢの場合においてSW処理が行われている期間に、HW処理として1bit高速測距（1bitのAD変換）を利用した飽和検出を行い、その結果を用いて発光制御を行うようにする。
1bit高速測距を利用した飽和検出は、図８のＢの場合のようなSW処理による飽和の検出に比較して、要する時間が短く、且つ、消費電力を抑えることができる。
したがって、1bit高速測距を飽和検出に用いる場合、SW処理の結果を待つことなく速やかに、10bit高精度測距を行う場合の発光を最適な状態に制御することができ、正常な（飽和や露光不足が生じていない）画像を得ることができる。
＜TOFセンサ１０とHDR(High Dynamic Range) TOFセンサの連携動作＞
次に、TOFセンサ１０による1bit高速測距を、HDR TOFセンサとの連携動作に利用する場合について説明する。ここで、HDR TOFセンサは、本開示の一側面における他の電子機器とみなすことができる。
図１０および図１１は、TOFセンサ１０とHDR TOFセンサとの連携動作を説明するための図である。なお、図１１のＡは、受光部１２の飽和の要因と成り得る外乱光の変化を示している。図１１のＢは、TOFセンサ１０による1bit高速測距による飽和検出と、その結果に基づくHDR TOFセンサの制御のタイミングを示している。
ここで、HDR TOFセンサは、ある短い露光時間（例えば、0.01[ms]。以下、短蓄積と称する）で撮像を行い、これに続いて、それよりも長い露光時間（例えば、1[ms]。以下、長蓄積と称する）で撮像を行い、短蓄積で撮像した画像と長蓄積で撮像した画像を合成することにより、通常のダイナミックレンジよりも広いハイダイナミックレンジの画像生成または距離算出できるものを指す。
図１１のＢに示されるように、TOFセンサ１０は、HDR TOFセンサ６００が短蓄積で撮像を行うとき、それと同時に、1bit高速測距を行って飽和検出を行い、飽和検出の結果をHDR TOFセンサ６００に通知するようにする。HDR TOFセンサ６００では、TOFセンサ１０から飽和が検出された旨が通知された場合、短蓄積の撮像に続けて行う予定であった長蓄積の撮像を止めるようにする。この場合、長蓄積の撮像と合成に要する時間を待つことなく、短蓄積の撮像を速やかに出力することできる。
なお、HDR TOFセンサ６００がTOFセンサ１０と同等の機能を有する場合、HDR TOFセンサ６００が単独で1bit高速測距を飽和検出に用い、その検出結果に基づいて、自らのHDR機能を制御するようにしてもよい。すなわち、HDR TOFセンサ６００は、短蓄積で撮像を行うとき、その前に、1bit高速測距を行って飽和検出を行い、飽和が検出された場合、短蓄積の撮像に続けて行う予定であった長蓄積の撮像を止めるようにする。この場合、長蓄積の撮像と合成に要する時間を待つことなく、短蓄積の撮像を速やかに出力することできる。
＜TOFセンサ１０とLidarセンサの連携動作＞
次に、TOFセンサ１０による1bit高速測距を、Lidarセンサとの連携動作に利用する場合について説明する。ここで、Lidarセンサは、本開示の一側面における他の電子機器とみなすことができる。
Lidarセンサとは、対象物に対してパルス状に発光するレーザ光を照射し、その散乱光を測定することにより対象物までの距離を測定するものである。Lidarセンサは、TOFセンサ１０に比較して高精度で測距を行うことができる。ただし、対象物が存在し得る方向をレーザ光でスキャンするため、TOFセンサ１０と同じ画角をスキャンした場合、TOFセンサ１０に比較して、得られる画像（各画素の画素値が距離を表す画像等）の解像度が低くなり、遠方になるほどレーザ光のスキャン間隔が広がってしまう欠点がある。
そこで、TOFセンサ１０とLidarセンサ７００とを連携動作させることにより、上述した欠点を補うような運用が考えられる。
図１２および図１３は、TOFセンサ１０とLidarセンサ７００との連携動作を説明するための図である。
図１２に示されるように、例えば、同一の車両（自動車等）にTOFセンサ１０とLidarセンサ７００を搭載し、始めに、TOFセンサ１０の受光部１２におけるカラムADC３３０で1bit AD変換を行うことにより、図１３のＡに破線で示すように、TOFセンサ１０の画角全体を高速、且つ、低精度で測距を行う。実質的には、所定の距離までの間に何らかの物体が存在している領域を検出する。
これにより、TOFセンサ１０は、画角全体のうち、所定の距離までの間に何らかの物体が存在している領域（図１３のＡの場合、人型の領域）を検出できる。TOFセンサ１０は、この検出結果をLidarセンサ７００に通知する。
TOFセンサ１０から検出結果の通知を受けたLidarセンサ７００は、TOFセンサ１０から通知された何らかの物体が存在している領域（図１３のＡの場合、人型の領域）を含む比較的狭い領域（図１３のＢに破線で示す）をレーザ光のスキャン範囲に設定して対象物までの距離を高精度に測距する。この場合、Lidarセンサ７００によるレーザ光のスキャン範囲は比較的狭い領域に制限されているので、Lidarセンサ７００は、画角全体をスキャン範囲としている場合に比較して、遠方であってもスキャン間隔の広がりを抑えることができ、高い解像度の画像（各画素の画素値が距離を表す画像等）を出力することができる。
＜TOFセンサ１０における1bit高速測距と10bit高精度測距との第１の連携動作＞
次に、TOFセンサ１０における1bit高速測距と10bit高精度測距との第１の連携動作について説明する。
上述したように、TOFセンサ１０では、1bit高速測距により低精度の測距、10bit高精度測距により高精度の測距を行うことができる。そして、1bit高速測距は、10bit高精度測距に比較して、高速、且つ、低消費電力で実行できる。そこで、第１の連携動作では、このような特性を利用してTOFセンサ１０を運用する。
図１４および図１５は、TOFセンサ１０における1bit高速測距と10bit高精度測距との第１の連携動作を説明するための図である。
図１４に示されるように、始めに、TOFセンサ１０の受光部１２におけるカラムADC３３０で1bit AD変換を行うことにより、図１５のＡに破線で示すように、TOFセンサ１０の画角全体を対象物の検出画角として、高速、且つ、低精度で測距を行う。実質的には、所定の距離までの間に何らかの物体が存在している領域を検出する。1bit AD変換を行う間は、TOFセンサ１０全体の消費電力を抑えることができる。
所定の距離までの間に何らかの物体が存在している領域を検出できた場合、次に、TOFセンサ１０は、該領域（図１５のＡの場合、人型の領域）を含む比較的狭い領域（図１５のＢに破線で示す）を対象物の検出画角に設定して、10bit AD変換を行うことにより、対象物までの距離を高精度に測距する。この場合、対象物の検出画角が制限されているので、画像全体を検出画角とする場合に比較して、速やかに画像（各画素の画素値が距離を表す画像等）を得ることができる。
＜TOFセンサ１０における1bit高速測距と10bit高精度測距との第２の連携動作＞
次に、TOFセンサ１０における1bit高速測距と10bit高精度測距との第２の連携動作について説明する。
上述したように、TOFセンサ１０では、1bit高速測距と10bit高精度を行うことができる。ただし、10bit高精度測距の場合、対象物が移動することによってモーションブラ（ぶれ）が大きくなると、高精度での測距が困難となる。これに対して、1bit高速測距の場合、対象物が移動することによってモーションブラが生じても、低精度で行う測距への影響が比較的少ない。そこで、第２の連携動作では、このような特性を利用してTOFセンサ１０を運用する。
図１６および図１７は、TOFセンサ１０における1bit高速測距と10bit高精度測距との第２の連携動作を説明するための図である。
図１６に示されるように、始めに、TOFセンサ１０は10bit高精度測距を行う。そして、図１７のＡに示すように、対象物に動きが生じて、モーションブラが所定の閾値を超えた場合、次に、TOFセンサ１０は、図１７のＢに示すように、10bit高精度測距から1bit高速測距に切り替える。
1bit高速測距に切り替えることにより、10bit高精度測距の場合に比較して、モーションブラの影響が比較的少ない画像（各画素の画素値が、所定の距離までの間に物体が存在するか否かを表す画像等）を高速で得ることができる。
＜TOFセンサ１０における1bit高速測距と10bit高精度測距との第３の連携動作＞
次に、TOFセンサ１０における1bit高速測距と10bit高精度測距との第３の連携動作について説明する。
TOFセンサ１０では、対象物を測距する場合、発光部１１の発光周波数Fmod（光の明滅の周波数）を所定の低い値から開始し、対象物が所定の中長距離に存在していることが検出された場合には、発光周波数Fmodを高い値まで段階的に上げることにより、対象物までの距離をより正確に測定するようになされている。
そこで、上述したように、発光部１１の発光周波数Fmodを低い値から高い値まで段階的に上げる場合には、発光周波数Fmodが低い値であるときには1bit高速測距を行い、ある程度発光周波数Fmodが高い値になったときに10bit高精度測距を行うようにする。このようにすれば、常に10bit高精度測距を行う場合に比較して、発光周波数Fmodが低い値である測距開始時から、発光周波数Fmodが高い値となって正確な測距を行えるまでのトータルの時間を短縮することができる。
＜TOFセンサ１０とVisionセンサの連携動作＞
次に、TOFセンサ１０による1bit高速測距を、Visionセンサとの連携動作に利用する場合について説明する。ここで、Visionセンサは、本開示の一側面における他の電子機器とみなすことができる。
Visionセンサとは、一般的なビデオカメラのフレームレート（30fps程度）に比較して非常に高速なフレームレート（例えば、300fps等）で動画像を撮像できるものである。
図１８は、TOFセンサ１０とVisionセンサ８００との連携動作を説明するための図である。
図１８に示されるように、例えば、同一の車両（自動車等）にTOFセンサ１０とVisionセンサ８００を搭載し、TOFセンサ１０で1bit AD変換を行うことにより300fpsで動作させるとともに、それに同期させてVisionセンサ８００を300fpsで動作させれば、非常に高速なフレームレートの動画像と、それに同期したTOFセンサ１０からの出力画像（各画素の画素値が、所定の距離までの間に物体が存在するか否かを表す画像等）を得ることができる。
なお、上述したLidarセンサ700との連携動作と同様に、先にTOFセンサ１０で1bit高速測距を行い、その結果、所定の距離までの間に何らかの物体が存在している領域が検出された場合には、それをトリガとして、Visionセンサ８００の動作を開始させるようにしてもよい。
または反対に、先にVisionセンサ８００を動作させ、Visionセンサ８００によって撮像された動画像に物体が存在していることが検知された場合には、それをトリガとして、TOFセンサ１０で1bit高速測距を開始するか、または、10bit高精度測距を開始するようにしてもよい。
このように、TOFセンサ１０とVisionセンサ８００の一方の検出結果を、他方の動作開始のトリガとするようにすれば、高速で移動する物体に対応することができる。また、この場合、一方の検出結果を待っている間、他方は消費電力を抑えることができる。
＜TOFセンサに生じ得る混信とその対策について＞
次に、TOFセンサに生じ得る混信とその対策について説明する。
例えば、１台の車両の複数のTOFセンサを搭載した場合、あるTOFセンサが、自身で発光した照射光の反射光だけでなく、他のTOFセンサが発光した照射光やその反射光を受光してしまう混信が生じ得る。TOFセンサに混信が生じた場合、測距の精度が低下することになるので、測距の精度を維持できるように、TOFセンサに混信対策を行う必要がある。
ここで、混信対策を説明するために、改めてTOFセンサによる測距のタイミングについて説明する。
図１９は、TOFセンサが、上述した第２の算出方法により反射時間Δtを求める場合の測距の例を説明するタイミングチャートである。
TOFセンサでは、対象物までの距離Lを算出する期間をフレームとして、フレーム単位で、距離Lを算出する。図１９の例では、フレームの長さ（フレーム長）は、例えば、33[ms]になっている。
フレームは、照射光を発光する期間である複数のサブフレームsubを含む。
図１９の例では、サブフレームの長さ（サブフレーム長）は、例えば、0.2[ms]になっている。
さらに、図１９の例では、フレームは、例えば、4個のサブフレームsubを含み、その4個のサブフレームsubは、所定の一定の間隔sdで、フレームの先頭から配置されている。4個のサブフレームsubの先頭から終わりまでの長さは、例えば、1[ms]になっており、したがって、図１９のフレームでは、先頭から1[ms]の期間に、4個のサブフレームsubが存在し、残りの32(=33-1)[ms]の期間は、サブフレームが存在しない期間になっている。
フレームにおいて、4個のサブフレームsubでは、0ずらし受光、π/2ずらし受光、πずらし受光、および、3π/2ずらし受光が、それぞれ行われる。
サブフレームsubでは、1回の照射光の発光およびθずらし受光の時間（例えば、2πの位相に対応する時間）を、例えば、100[ns]として、照射光の発光およびθずらし受光の時間が、例えば、2000回等の複数回繰り返される。そして、照射光と反射光との位相差φの算出には、2000回等の複数回受光された反射光の電荷量の総和が用いられる。
ところで、あるTOFセンサの周囲に、他のTOFセンサが存在すると、両TOFセンサのサブフレームsubの少なくとも一部が重複してしまうことが、少なからず起こり得る。
上述のように、フレームにおいて、その先頭から4個のサブフレームsubが一定の間隔sdで配置されている場合には、該TOFセンサのあるフレームのサブフレームsubと、他のTOFセンサのサブフレームsubとの重複が生じると、該TOFセンサの以降のフレームでも、他のTOFセンサとの間で、サブフレームsubの重複が継続する。
サブフレームsubが重複している期間では、該TOFセンサでは、自身が発光する照射光の他、他のTOFセンサが発光する照射光を受光する混信が生じる。
混信は、第１の受光パルスの期間の電荷量TapA（またはQ1）や、第２の受光パルスの期間の電荷量TapB（またはQ2）に影響し、測距の精度を低下させる原因となる。
このように、フレームにおいて、その先頭から4個のサブフレームsubが、一定の間隔sdで配置されている場合には、以上のような混信は、例えば、該TOFセンサの周囲に、他のTOFセンサが存在しなくなるまで解消しない。
図２０は、混信対策を行ったTOFセンサが、第２の算出方法により反射時間Δtを求める場合の測距の例を説明するタイミングチャートである。
図１９を参照して説明したように、各フレームにおいて、複数のサブフレームsubが、一定の間隔sdで、フレームの先頭から配置されている場合には、他のTOFセンサとの間で、サブフレームsubの重複が生じると、以降のフレームでも、サブフレームsubの重複が継続し、混信が生じ続ける。
そこで、混信対策を行ったTOFセンサでは、あるフレームである第１のフレームと、その第１のフレームに続く第２のフレームとで、先頭のサブフレームsubのタイミングが異なり、かつ、サブフレームどうしの間隔sdが一定になるように、照射光の発光（および照射光の反射光の受光）を制御するようにする。
図２０の例の場合、混信対策を行ったTOFセンサは、最初のフレームにおいては、図１９の場合と同様に、フレームの先頭から、複数のサブフレームsubを、一定の間隔sdで配置するように、照射光の発光を制御する。
そして、混信対策を行ったTOFセンサは、次のフレームにおいては、フレームの先頭から所定の時間だけ経過したタイミングから、複数のサブフレームsubを、一定の間隔sdで配置するように、照射光の発光を制御する。
以下、フレーム内の複数のサブフレームsubの先頭のサブフレームsubが開始するタイミングを、先頭タイミングとも称する。
混信対策を行ったTOFセンサでは、あるフレームである第１のフレームと、その第１のフレームに続く第２のフレームとで、サブフレームどうしの間隔sdを一定（固定）にしたままで、先頭タイミングだけを変化させるように、照射光の発光を制御する。
以上のように、第１のフレームと、第１のフレームに続く第２のフレームとで、先頭タイミングが異なり、かつ、サブフレームどうしの間隔が一定になるように、照射光の発光を制御することで、混信を抑制することができる。
すなわち、図２０の例では、混信対策を行ったTOFセンサの最初のフレームでは、図１９の場合と同様に、他のTOFセンサとの間で、サブフレームsubの重複が生じ、混信が生じている。
しかしながら、次のフレームでは、先頭タイミングが、最初のフレームとは異なっているため、他のTOFセンサとの間で、サブフレームsubが重複しておらず、混信は生じない。
なお、混信対策を行ったTOFセンサにおいて、先頭タイミングは、例えば、あらかじめ決められたパターンに従って変化させることや、ランダムに変化させることができる。先頭タイミングを、あらかじめ決められたパターンに従って変化させるよりも、ランダムに変化させる方が、混信を抑制する確率を向上させることができる。
ここで、混信を抑制する確率を向上させる観点からは、フレーム単位で、先頭タイミングをランダムに変化させるよりも、サブフレーム単位で、サブフレームの開始タイミング（サブフレームの位置）をランダムに変化させる方が、混信を抑制する確率を向上させることができる。
しかしながら、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合には、フレーム単位で、先頭タイミングをランダムに変化させるよりも、照射光の発光（および照射光の反射光の受光）の制御の処理や回路が複雑になる。
言い換えれば、フレーム単位で、先頭タイミングをランダムに変化させる場合には、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合に比較して、照射光の発光の制御の処理や回路が簡素化され、その結果、混信を、容易に抑制することができる。
さらに、フレーム単位で、先頭タイミングをランダムに変化させる場合には、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合に比較して、消費電力を抑制することができる。
次に、図２１は、フレーム単位で、先頭タイミングをランダムに変化させる場合（図２１のＡ）と、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合（図２１のＢ）との消費電力の例を説明する図である。
フレーム単位で、先頭タイミングをランダムに変化させる（ずらす）方法としては、例えば、先頭タイミングを、乱数に基づいて制御する方法を採用することができる。同様に、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる（ずらす）方法としては、サブフレームの開始タイミングを、乱数に基づいて制御する方法を採用することができる。
以上のような乱数に基づく制御を行う場合には、その制御に用いる乱数を発生する乱数発生処理を行う必要がある。
図２１のＡは、フレーム単位で、先頭タイミングをランダムに変化させる場合の乱数発生処理の状態の例を示している。
フレーム単位で、先頭タイミングをランダムに変化させる場合には、少なくとも、フレームが開始するまでに、そのフレームの先頭タイミングの制御に用いる乱数を得られれば良い。したがって、乱数発生処理は、フレームが開始する直前の所定の期間だけアクティブ(Active)状態にし、他の期間についてはスタンバイ(Standby)状態にすることができる。
図２１の例では、乱数発生処理がアクティブ状態である場合の消費電力が、50[mW]になっており、乱数発生処理がスタンバイ状態である場合の消費電力が、0.1[mW]になっている。
したがって、乱数発生処理を、フレームが開始する直前の所定の期間だけアクティブ状態にし、他の期間についてはスタンバイ状態にすることにより、消費電力を抑制することができる。
図２１のＢは、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合の乱数発生処理の状態の例を示している。
サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合には、サブフレームの開始タイミングの制御に用いる乱数が、適宜必要になる。そのため、乱数発生処理は、常時、アクティブ状態にする必要がある。
したがって、図２１のＢの場合には、乱数発生処理を、フレームが開始する直前の所定の期間だけアクティブ状態にし、他の期間についてはスタンバイ状態にすることができる図２１のＡの場合に比較して、消費電力が大になることが分かる。
＜TOFセンサ１０の第２の構成例＞
図２２は、混信対策を行ったTOFセンサ１０の構成例（第２の構成例）を示すブロック図である。
該第２の構成例は、図４に示された第１の構成例（混信対策が行われていない構成例）に対して、乱数発生部５２を追加したものであり、その他の共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
乱数発生部５２は、例えば、あらかじめ決められた値を、乱数の種として用いて、乱数を発生し、制御部５３に供給する。
第２の構成例における制御部５３は、発光部１１による照射光の発光、および、受光部１２の画素３１による反射光の受光を制御する。
制御部５３は、照射光の発光、および、反射光の受光の制御において、乱数発生部５２からの乱数に基づいて、フレーム単位で、フレーム内の複数のサブフレームsubの先頭のサブフレームsubが開始する先頭タイミングを制御する。これにより、フレーム単位で、先頭タイミングがランダムに変化する。
なお、制御部５３では、乱数発生部５２（の乱数発生処理）について、図２１のＡに示したように、アクティブとスタンバイとの制御を行うことができる。
＜TOFセンサ１０の第２の構成例＞
図２３は、混信対策を行ったTOFセンサ１０の他の構成例（第３の構成例）を示すブロック図である。
該第３構成例は、図２２に示された第２の構成例に対して、画素ノイズ検出部６１を追加したものであり、その他の共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
画素ノイズ検出部６１は、例えば、OPB画素である画素４１の電荷量を、画素３１や４１で生じる画素ノイズとして検出し、乱数発生部５２に供給する。
なお、画素ノイズ検出部６１では、ダミー画素部４０の複数の画素４１を、特定の順番や任意の順番で選択し、その選択した画素４１の電荷量を、画素ノイズとして検出することができる。
該第３の構成例における乱数発生部５２は、画素ノイズ検出部６１から供給される画素ノイズを、乱数の種として用いて、乱数を発生する。
画素３１や画素４１の画素ノイズの特性は、（ほぼ）ランダムな特性である。したがって、そのようなランダムな特性の画素ノイズを種として、乱数を発生し、その乱数に基づいて、先頭タイミングを制御する該第３の構成例では、図２２に示された第２の構成例に比較して、混信（が生じる可能性）をより抑制することができる。
なお、画素３１（の精度）の特性は、画素３１や画素４１の画素ノイズの特性と同様のランダムな特性である（画素３１の特性＝ランダムな特性）。
また、TOFセンサ１０において、混信の抑制の特性は、画素３１や画素４１の画素ノイズの特性と同様のランダムな特性に反比例する特性である（混信の抑制の特性＝１／ランダムな特性）。
一方、TOFセンサ１０の測距の精度は、画素３１の特性と、混信の抑制の特性との積に比例する。
上述のように、画素３１の特性は、ランダムな特性であり、混信の抑制の特性は、ランダムな特性に反比例するから、画素３１の特性（＝ランダムな特性）と、混信の抑制の特性（＝１／ランダムな特性）との積は、1であり定数になる。
したがって、TOFセンサ１０において、画素ノイズを種として、乱数を発生し、その乱数に基づいて、先頭タイミングを制御する場合には、測距の精度を、（ほぼ）一定値に維持することができる。
＜混信対策としての周波数ホッピングと位相変更について＞
上述したTOFセンサ１０の第２および第３の構成例では、フレーム単位で、フレーム内の複数のサブフレームsubの先頭のサブフレームsubが開始する先頭タイミングをランダムに変化させることで混信を抑制していた。
以下に説明するTOFセンサ１０の第４の構成例では、発光部１１の発光周波数Fmod（光の明滅の周波数）の周波数ホッピングと、位相変更の少なくとも一方を行うことによって混信を抑制するものである。
発光周波数Fmodの周波数ホッピングは、スペクトラム拡散の一方式であり、発光周波数Fmodを一定の規則に従って高速に切り替える処理を指す。具体的には、例えば、周波数ホッピング前の発光周波数Fmod（例えば、60[MHz]）を段階的に59.999[MHz]、59.992[MHz]等に変更する処理を指す。発光周波数Fmodの周波数ホッピングは、混信の抑制に対して効果的であるが、デメリットとして、処理の複雑化と消費電力の増加が挙げられる。
発光周波数Fmodの位相変更は、発光周波数Fmodに同期して切り替わる２値（例えば、101010。0が消灯、1が点灯を表す）の位相をπ[rad]だけずらして010101に反転させる処理を指し、例えば、サブフレームsub単位で、ランダムに実行するものとする。
なお、発光周波数Fmodの位相変更の詳細については、R.Z.Whyte,A.D.Payne,A.A.Dorrington,and M.J.Cree,"Multiple range imaging camera operation with minimal performance impact",Proc.SPIE-IS&T Electronic Imaging,edited by D.Fofi,K.S.Niel,SPIE vol.7538,pp75380I,(2010).に記載されている方法を適用できる。
発光周波数Fmodの位相変更も、混信の抑制に対して効果的である。また、周波数ホッピングを行う場合のように消費電力の増加を招くことなく実行できる。ただし、デメリットとして、発光周波数Fmodと妨害波（他のTOFセンサの発光周波数Fmod）がほぼ一致している場合には、混信抑制の効果が薄れてしまうことが挙げられる。
そこで、TOFセンサ１０の第４の構成例では、上述した周波数ホッピングと位相変更の特性を考慮し、ユースケースに応じて周波数ホッピングと位相変更を使い分けるようにする。
例えば、省電力が求められるモバイル分野では、位相変更を優先して実行し、できるだけ周波数ホッピングの実行を避けるようにする。
また、例えば、省電力よりも高精度な測距が要求される車載分野では、周波数ホッピングと位相変更を実行して、より効果的に混信を抑制できるようにする。
さらに、例えば、妨害波が多い環境では、周波数ホッピングを繰り返し実行して最適な発光周波数Fmodを探した後に位相変更を行って、妨害波との混信を確実に抑制できるようにする。
＜TOFセンサ１０の第４の構成例＞
図２４は、TOFセンサ１０の第４の構成例を示すブロック図である。
該第４構成例は、図４に示された第１の構成例に対して、その外部に混信抑制部５１１を追加したものである。なお、第１の構成例と共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
該第４構成例における制御部５３は、周波数ホッピング制御部５０１、位相変更制御部５０２、およびFmod設定部５０３を有する。
周波数ホッピング制御部５０１は、混信抑制部５１１からの制御に従い、Fmod設定部５０３に対して、発光周波数Fmodの周波数ホッピングを実行させる。位相変更制御部５０２は、混信抑制部５１１からの制御に従い、Fmod設定部５０３に対して発光周波数Fmodの位相変更を実行させる。
Fmod設定部５０３は、周波数ホッピング制御部５０１からの制御に従い、発光周波数Fmodの周波数ホッピングを実行する。また、Fmod設定部５０３は、位相変更制御部５０２からの制御に従い、発光周波数Fmodの位相変更を実行する。
混信抑制部５１１は、距離検出部５２１、差分検出部５２２、判定部５２３、および設定部５２４を有する。
距離検出部５２１には、受光部１２から供給される画素信号（距離算出部５１に出力される画素信号と同じもの）に基づき、距離算出部５１と同様に、フレーム単位で対象物までの距離Lを算出し、差分検出部５２２に出力する。
なお、距離検出部５２１を省略し、距離算出部５１が算出する対象物までの距離Lを差分検出部５２２に供給するようにしてもよい。
差分検出部５２２は、同じ発光周波数状態（発光周波数Fmodと位相変更の有無）の下で算出された、所定のフレーム数（例えば、数100フレーム）分の各フレームに対応する距離Lのバラツキの程度を表す差分を検出して判定部５２３に出力する。
上記した差分は、例えば、所定のフレーム数分の各フレームに対応する距離Lの平均値を算出して基準値とし、基準値と各フレームの距離Lとの差の平均値を算出して百分率等で表すことにする。
該差分の値が小さい場合、同じ発光周波数状態の下で算出された距離Lのバラツキが少なく、安定した測距が行われていることになるので、混信が発生していないか、または混信が抑制されていると推察できる。
反対に、該差分の値が大きい場合、同じ発光周波数状態の下で算出された距離Lのバラツキが多く、安定した測距が行われていないことになるので、混信が発生していると推察できる。
図２５は、発光周波数状態の例を示す図である。同図において、状態ａは、周波数ホッピングと位相変更が未適用（未実施）の状態を指す。状態ｂは、周波数ホッピングが未適用であって、位相変更が適用（実施）の状態を指す。状態ｃは、周波数ホッピングが１段階適用されていて、位相変更が未適用の状態を指す。状態ｄは、周波数ホッピングが１段階適用されていて、位相変更が適用の状態を指す。状態ｅは、周波数ホッピングが２段階適用されていて、位相変更が未適用の状態を指す。状態ｆは、周波数ホッピングが２段階適用されていて、位相変更が適用の状態を指す。
なお、図２５に記載されている発光周波数Fmodの値は一例に過ぎず、これらに限るものではない。
図２４に戻る。判定部５２３は、異なる発光周波数状態の下で検出された差分を比較する。例えば、図２５の状態ａで検出された差分と、状態ｂで検出された差分とを比較したり、状態ｃで検出された差分と、状態ｅで検出された差分とを比較したりする。
そして、判定部５２３は、比較結果を設定部５２４に出力する。設定部５２４は、判定部５２３から入力される判定結果に基づいて、周波数ホッピング制御部５０１および位相変更制御部５０２を制御する。
＜TOFセンサ１０の第４の構成例による動作＞
次に、TOFセンサ１０の第４の構成例による動作について説明する。
図２６は、TOFセンサ１０の第４の構成例による第１の発光周波数Fmod変更処理を説明するフローチャートである。
該第１の発光周波数Fmod変更処理は、省電力が求められるモバイル分野等でのユースケースを想定したものである。
第１の発光周波数Fmod変更処理は、混信の発生が疑われる場合等に開始される。
ステップＳ１１において、混信抑制部５１１の差分検出部５２２は、現状の発光周波数Fmodのままであって、位相変更を適用しない状態（例えば、図２５の状態ａ）の下で算出された、所定のフレーム数分の各フレームに対応する距離Lのバラツキの程度を表す差分を検出して判定部５２３に出力する。
なお、所定のフレーム数分の各フレームに対応する距離Lを算出するために用いる画素信号を混信抑制部５１１が得られるように、制御部５３は、設定部５２４からの制御に従って、発光周波数状態を適切に調整しているものとする。
ステップＳ１２において、差分検出部５２２は、現状の発光周波数Fmodのままであって、位相変更を適用した状態（いまの場合、図２５の状態ｂ）の下で算出された、所定のフレーム数分の各フレームに対応する距離Lのバラツキの程度を表す差分を検出して判定部５２３に出力する。
ステップＳ１３において、判定部５２３は、位相変更を適用しない状態の下で算出された差分、および、位相変更を適用した状態の下で算出された差分に基づき、位相変更を適用したことの効果があるか否かを判定する。
具体的には、例えば、位相変更を適用しない状態の下で算出された差分が、混信の有無を判断するための第１の閾値以上であり、かつ、位相変更を適用した状態の下で算出された差分が、第１の閾値よりも小さい第２の閾値以下である場合には、混信が生じている状態から、混信が抑制された状態に変わったと推定できる。よって、位相変更を適用したことの効果があると判定される。この場合、処理はステップＳ１４に進められる。ステップＳ１４において、設定部５２４は、現状の発光周波数Fmodのままであって、位相変更を適用するように制御部５３の位相変更制御部５０２を制御する。
また、例えば、位相変更を適用しない状態の下で算出された差分が第１の閾値以上であり、かつ、位相変更を適用した状態の下で算出された差分が、第２の閾値よりも大きい場合には、混信が生じている状態が継続していると推定できるので、位相変更を適用したことの効果がないと判定される。この場合、処理はステップＳ１５に進められる。ステップＳ１５において、設定部５２４は、発光周波数Fmodのままであって、位相変更を適用せず、周波数ホッピングを行うように、制御部５３の周波数ホッピング制御部５０１を制御する。
以上に説明した第１の発光周波数Fmod変更処理によれば、発生している混信を抑制し、測距の精度を維持することができる。また、位相変更を優先して実行し、できるだけ周波数ホッピングの実行を避けることができるので、周波数ホッピングを実行することによって生じ得る消費電力の増加を抑止することができる。
次に、図２７は、TOFセンサ１０の第４の構成例による第２の発光周波数Fmod変更処理を説明するフローチャートである。
該第２の発光周波数Fmod変更処理は、省電力よりも高精度な測距が求められる車載等でのユースケースを想定したものである。
該第２の発光周波数Fmod変更処理は、混信の発生が疑われる場合等に開始される。
ステップＳ２１において、混信抑制部５１１の差分検出部５２２は、周波数ホッピングを行う前の現状の発光周波数Fmodのままであって、位相変更を適用しない状態（例えば、図２５の状態ａ）の下で算出された、所定のフレーム数分の各フレームに対応する距離Lのバラツキの程度を表す差分を検出して判定部５２３に出力する。
なお、所定のフレーム数分の各フレームに対応する距離Lを算出するために用いる画素信号を混信抑制部５１１が得られるように、制御部５３は、設定部５２４からの制御に従って、発光周波数状態を適切に調整しているものとする。
ステップＳ２２において、差分検出部５２２は、現状の発光周波数Fmodから周波数ホッピングを行い、位相変更を適用していない状態（いまの場合、図２５の状態ｃ）の下で算出された、所定のフレーム数分の各フレームに対応する距離Lのバラツキの程度を表す差分を検出して判定部５２３に出力する。
ステップＳ２３において、判定部５２３は、ステップＳ２１で算出された差分と、ステップＳ２２で算出された差分とを比較し、その値が小さい方の周波数を設定部５２４に通知する。設定部５２４は、判定部５２３からの通知に従い、制御部５３の周波数ホッピング制御部５０１を制御する。すなわち、ステップＳ２１で算出された差分の方が小さければ、周波数ホッピングを実行させないように制御し、ステップＳ２２で算出された差分の方が小さければ、周波数ホッピングを実行させるように制御する。
次に、ステップＳ２４において、混信抑制部５１１の差分検出部５２２は、ステップＳ２３で設定された発光周波数Fmodのままであって、位相変更を適用しない状態（いまの場合、図２５の状態ａまたは状態ｃ）の下で算出された、所定のフレーム数分の各フレームに対応する距離Lのバラツキの程度を表す差分を検出して判定部５２３に出力する。なお、ステップＳ２４の処理は、既に実行済みのステップＳ２１の処理、またはステップＳ２２の処理と同様なので、ステップＳ２３の判定結果に対応して、どちらかの処理結果を流用するようにしてもよい。
ステップＳ２５において、混信抑制部５１１の差分検出部５２２は、ステップＳ２３で設定された発光周波数Fmodのままであって、位相変更を適用した状態（例えば、図２５の状態ｂまたは状態ｄ）の下で算出された、所定のフレーム数分の各フレームに対応する距離Lのバラツキの程度を表す差分を検出して判定部５２３に出力する。
ステップＳ２６において、判定部５２３は、ステップＳ２４で算出された差分（位相変更未適用）と、ステップＳ２５で算出された差分（位相変更適用）とを比較し、その値が小さい方を判定して、判定結果を設定部５２４に通知する。設定部５２４は、判定部５２３の判定結果に基づき、制御部５３の位相変更制御部５０２を制御する。すなわち、ステップＳ２４で算出された差分の方が小さければ、位相変更を適用しないように制御し、ステップＳ２５で算出された差分の方が小さければ、位相変更を適用するように制御する。
以上に説明した第２の発光周波数Fmod変更処理によれば、状況に応じて周波数ホッピングと位相変更を併用できるので、混信をより抑制し、測距の精度を維持することができる。
次に、図２８は、TOFセンサ１０の第４の構成例による第３の発光周波数Fmod変更処理を説明するフローチャートである。
該第３の発光周波数Fmod変更処理は、例えば、妨害波が多い環境でのユースケースを想定したものである。第３の発光周波数Fmod変更処理におけるステップＳ３１乃至Ｓ３３は、図２７に示された第２の発光周波数Fmod変更処理におけるステップＳ２１乃至Ｓ２３と同様であるので、その説明は省略する。
ステップＳ３４において、判定部５２３は、直前のステップＳ３３の処理の結果、所望の精度が得られているか否かを判定する。ここで、所望の精度が得られていないと判定された場合、処理はステップＳ３２に戻されて、ステップＳ３２およびＳ３４が繰り返される。すなわち、周波数ホッピングが繰り返される。周波数ホッピングが繰り返された場合、発光周波数Fmodは妨害波の周波数から徐々に遠ざかることになるので、混信をより抑制することができる。その後、ステップＳ３４において、所望の精度が得られていると判定された場合、処理はステップＳ３５に進められる。なお、ステップＳ３５乃至Ｓ３７は、図２７に示された第２の発光周波数Fmod変更処理におけるステップＳ２４乃至Ｓ２６と同様であるので、その説明は省略する。
以上に説明した第３の発光周波数Fmod変更処理によれば、所望の精度が得られるまで周波数ホッピングを繰り返すことができ、さらに、位相変更を併用できるので、妨害波が多い環境においても、混信をより抑制し、測距の精度を維持することができる。
＜TOFセンサ１０の第５の構成例＞
図２９は、TOFセンサ１０の第５の構成例を示すブロック図である。
該第５構成例は、図２４に示された第４の構成例において外部に設けられていた混信抑制部５１１を、TOFセンサ１０の内部に設けるとともに、該混信抑制部５１１から距離検出部５２１を省略したものである。なお、第４の構成例と共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
すなわち、第５の構成例における混信抑制部５１１は、差分検出部５２２、判定部５２３、および設定部５２４から構成される。
第５の構成例における差分検出部５２２は、同じ発光周波数状態の下において、所定のフレーム数（例えば、数100フレーム）分の各フレームに対応して受光部１２から入力される所定の値のバラツキの程度を表す差分を検出して判定部５２３に出力する。
すなわち、差分検出部５２２が検出する差分は、混信の有無やその程度を判別するために用いるので、必ずしも距離Lのバラツキの程度を表すものでなくてもよい。したがって、第５の構成例において受光部１２から差分検出部５２２に供給する値は、各フレームに対応するものであれば何でもよい。例えば、画素で発生された電荷量、該電荷量に対応するAD変換前の画素信号、該電荷量に対応するAD変換後の画素信号、または、電荷量TapA-電荷量TapB等を採用することができる。
第５の構成例における差分検出部５２２で検出される差分も、例えば、所定のフレーム数分の各フレームに対応する距離Lの平均値を算出して基準値とし、基準値と各フレームの距離Lとの差の平均値を算出して百分率等で表すことにする。
該差分の値が小さい場合、同じ発光周波数状態の下で取得された所定の値のバラツキが少なく、安定した測距が行われていることになるので、混信が発生していないか、または混信が抑制されていると推察できる。
反対に、該差分の値が大きい場合、同じ発光周波数状態の下で取得された所定の値のバラツキが多く、安定した測距が行われていないことになるので、混信が発生していると推察できる。
TOFセンサ１０の第５の構成例によれば、上述した第４の構成例と同様の効果を得ることができる。
＜TOFセンサ１０の第６の構成例＞
図３０は、TOFセンサ１０の第６の構成例を示すブロック図である。
該第６構成例は、図４に示された第１の構成例に対して、その内部に混信抑制部５５１を追加したものである。なお、第１の構成例と共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
該第６構成例における制御部５３は、周波数ホッピング制御部５０１、位相変更制御部５０２、およびFmod設定部５０３を有する。周波数ホッピング制御部５０１、位相変更制御部５０２、およびFmod設定部５０３については、図２４に示された第４の構成例と同様なので、その説明は省略する。
混信抑制部５５１は、通信部５５２、および設定部５５３を有する。
通信部５５２は、周囲に存在する、同様の構成を有する他のTOFセンサの通信部５５２と互いの発光周波数状態を通信し、他のTOFセンサの発光周波数状態を設定部５５３に供給する。
設定部５５３は、通信部５５２から供給される他のTOFセンサの発光周波数状態に基づき、混信が生じないように周波数ホッピング制御部５０１および位相変更制御部５０２を制御する。
TOFセンサ１０の第６の構成例によれば、周囲に存在するTOFセンサの発光周波数状態に基づき、混信が発生しないように発光周波数状態を変更するので、周囲に存在するTOFセンサとの混信を確実に抑制することができる。よって、測距の精度を維持することができる。
なお、上述したTOFセンサ１０の第１乃至第６の構成例は、適宜、組み合わせることが可能である。
＜本開示に係る技術を適用し得る積層型の半導体装置の構成例＞
図３１は、本開示に係る技術を適用し得る積層型の半導体装置の一例としての固体撮像装置の構成例の概要を示す図である。
図３１のＡは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置23010は、図３１のＡに示すように、１枚のダイ（半導体基板）23011を有する。このダイ23011には、画素がアレイ状に配置された画素領域23012と、画素の駆動その他の各種の制御を行う制御回路23013と、信号処理するためのロジック回路23014とが搭載されている。
図３１のＢ及びＣは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置23020は、図３１のＢ及びＣに示すように、センサダイ23021とロジックダイ23024との2枚のダイが積層され、電気的に接続されて、１つの半導体チップとして構成されている。
図３１のＢでは、センサダイ23021には、画素領域23012と制御回路23013が搭載され、ロジックダイ23024には、信号処理を行う信号処理回路を含むロジック回路23014が搭載されている。
図３１のＣでは、センサダイ23021には、画素領域23012が搭載され、ロジックダイ23024には、制御回路23013及びロジック回路23014が搭載されている。
図３２は、積層型の固体撮像装置23020の第１の構成例を示す断面図である。
センサダイ23021には、画素領域23012となる画素を構成するPD（フォトダイオード）や、FD（フローティングディフュージョン）、Tr（MOS FET）、及び、制御回路23013となるTr等が形成される。さらに、センサダイ23021には、複数層、本例では３層の配線23110を有する配線層23101が形成される。なお、制御回路23013（となるTr）は、センサダイ23021ではなく、ロジックダイ23024に構成することができる。
ロジックダイ23024には、ロジック回路23014を構成するTrが形成される。さらに、ロジックダイ23024には、複数層、本例では３層の配線23170を有する配線層23161が形成される。また、ロジックダイ23024には、内壁面に絶縁膜23172が形成された接続孔23171が形成され、接続孔23171内には、配線23170等と接続される接続導体23173が埋め込まれる。
センサダイ23021とロジックダイ23024とは、互いの配線層23101及び23161が向き合うように貼り合わされ、これにより、センサダイ23021とロジックダイ23024とが積層された積層型の固体撮像装置23020が構成されている。センサダイ23021とロジックダイ23024とが貼り合わされる面には、保護膜等の膜23191が形成されている。
センサダイ23021には、センサダイ23021の裏面側（PDに光が入射する側）（上側）からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達する接続孔23111が形成される。さらに、センサダイ23021には、接続孔23111に近接して、センサダイ23021の裏面側から１層目の配線23110に達する接続孔23121が形成される。接続孔23111の内壁面には、絶縁膜23112が形成され、接続孔23121の内壁面には、絶縁膜23122が形成される。そして、接続孔23111及び23121内には、接続導体23113及び23123がそれぞれ埋め込まれる。接続導体23113と接続導体23123とは、センサダイ23021の裏面側で電気的に接続され、これにより、センサダイ23021とロジックダイ23024とが、配線層23101、接続孔23121、接続孔23111、及び、配線層23161を介して、電気的に接続される。
図３３は、積層型の固体撮像装置23020の第２の構成例を示す断面図である。
固体撮像装置23020の第２の構成例では、センサダイ23021に形成する１つの接続孔23211によって、センサダイ23021（の配線層23101（の配線23110））と、ロジックダイ23024（の配線層23161（の配線23170））とが電気的に接続される。
すなわち、図３３では、接続孔23211が、センサダイ23021の裏面側からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達し、且つ、センサダイ23021の最上層の配線23110に達するように形成される。接続孔23211の内壁面には、絶縁膜23212が形成され、接続孔23211内には、接続導体23213が埋め込まれる。上述の図３２では、２つの接続孔23111及び23121によって、センサダイ23021とロジックダイ23024とが電気的に接続されるが、図３３では、１つの接続孔23211によって、センサダイ23021とロジックダイ23024とが電気的に接続される。
図３４は、積層型の固体撮像装置23020の第３の構成例を示す断面図である。
図３４の固体撮像装置23020は、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されていない点で、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されている図３２の場合と異なる。
図３４の固体撮像装置23020は、配線23110及び23170が直接接触するように、センサダイ23021とロジックダイ23024とを重ね合わせ、所要の加重をかけながら加熱し、配線23110及び23170を直接接合することで構成される。
図３５は、本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
図３５では、固体撮像装置23401は、センサダイ23411と、ロジックダイ23412と、メモリダイ23413との3枚のダイが積層された３層の積層構造になっている。
メモリダイ23413は、例えば、ロジックダイ23412で行われる信号処理において一時的に必要となるデータの記憶を行うメモリ回路を有する。
図３５では、センサダイ23411の下に、ロジックダイ23412及びメモリダイ23413が、その順番で積層されているが、ロジックダイ23412及びメモリダイ23413は、逆順、すなわち、メモリダイ23413及びロジックダイ23412の順番で、センサダイ23411の下に積層することができる。
なお、図３５では、センサダイ23411には、画素の光電変換部となるPDや、画素Trのソース／ドレイン領域が形成されている。
PDの周囲にはゲート絶縁膜を介してゲート電極が形成され、ゲート電極と対のソース／ドレイン領域により画素Tr23421、画素Tr23422が形成されている。
PDに隣接する画素Tr23421が転送Trであり、その画素Tr23421を構成する対のソース／ドレイン領域の一方がFDになっている。
また、センサダイ23411には、層間絶縁膜が形成され、層間絶縁膜には、接続孔が形成される。接続孔には、画素Tr23421、及び、画素Tr23422に接続する接続導体23431が形成されている。
さらに、センサダイ23411には、各接続導体23431に接続する複数層の配線23432を有する配線層23433が形成されている。
また、センサダイ23411の配線層23433の最下層には、外部接続用の電極となるアルミパッド23434が形成されている。すなわち、センサダイ23411では、配線23432よりもロジックダイ23412との接着面23440に近い位置にアルミパッド23434が形成されている。アルミパッド23434は、外部との信号の入出力に係る配線の一端として用いられる。
さらに、センサダイ23411には、ロジックダイ23412との電気的接続に用いられるコンタクト23441が形成されている。コンタクト23441は、ロジックダイ23412のコンタクト23451に接続されるとともに、センサダイ23411のアルミパッド23442にも接続されている。
そして、センサダイ23411には、センサダイ23411の裏面側（上側）からアルミパッド23442に達するようにパッド孔23443が形成されている。
本開示に係る技術は、以上のような積層型の半導体装置として形成できる。
＜移動体への応用例＞
本開示に係る技術（本開示）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図３６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図３７は、撮像部１２０３１の設置位置の例を示す図である。
図３７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１等に適用され得る。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は以下のような構成も取ることができる。
（１）
照射光を発光する発光部と、
複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部と
を備え、
前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有するように構成され、
前記AD変換部は、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行するように構成され、
前記算出部は、前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するように構成されている
測距装置。
（２）
前記算出部は、前記AD変換部による前記第２のAD変換の結果を用いて高精度測距を行う前に、前記AD変換部による前記第１のAD変換の結果を用いて高速測距を行うように構成される
前記（１）に記載の測距装置。
（３）
前記制御部は、前記高精度測距を行う前に行われた前記高速測距の結果から飽和が検出された場合、直後に行われる前記高精度測距に対応する前記受光部の露出を制御するように構成される
前記（１）または（２）に記載の測距装置。
（４）
前記制御部は、前記高精度測距を行う前に行われた前記高速測距の結果から飽和が検出された場合、直後に行われる前記高精度測距に対応する前記発光部の発光を制御するように構成される
前記（１）または（２）に記載の測距装置。
（５）
前記制御部は、前記高精度測距を行う前に行われた前記高速測距の結果から飽和が検出された場合、直後に行われる予定の前記高精度測距を中止するように構成される
前記（１）または（２）に記載の測距装置。
（６）
前記算出部は、前記高精度測距を行う前に行われた前記高速測距の結果に基づき、直後に行う前記高精度測距における検出画角を制限するように構成される
前記（１）または（２）に記載の測距装置。
（７）
前記算出部は、前記AD変換部による前記第１のAD変換の結果を用いて高速測距を行う前に、前記AD変換部による前記第２のAD変換の結果を用いて高精度測距を行うように構成される
前記（１）に記載の測距装置。
（８）
前記高精度測距の結果からモーションブラが検出された場合、
前記AD変換部は、前記第２のAD変換から前記第１のAD変換に切り替えるように構成され、
前記算出部は、前記高精度測距から前記高速測距に切り替えるように構成される
前記（７）に記載の測距装置。
（９）
前記高速測距の結果は、他の電子機器の動作開始のトリガとして用いられる
前記（１）から（８）のいずれかに記載の測距装置。
（１０）
前記高速測距は、他の電子機器と同期して実行される
前記（１）から（９）のいずれかに記載の測距装置。
（１１）
前記制御部は、
前記照射光の発光周波数の周波数ホッピングを実行させる周波数ホッピング制御部と、
前記照射光の発光周波数の位相変更を実行させる位相変更制御部と
を有する
前記（１）から（１０）のいずれかに記載の測距装置。
（１２）
前記位相変更制御部は、前記照射光の発光周波数の位相をπ[rad]だけ変更させるように構成される
前記（１１）に記載の測距装置。
（１３）
同じ発光周波数状態の下で前記受光部から出力される数値のバラツキを検出する差分検出部と、
前記差分検出部の出力に基づき、前記周波数ホッピング制御部または前記位相変更制御部の少なくとも一方を制御する発光周波数状態設定部と
をさらに備える前記（１１）または（１２）に記載の測距装置。
（１４）
発光周波数状態設定部は、前記位相変更を、前記周波数ホッピングに対して優先的に実行させるように構成される
前記（１３）に記載の測距装置。
（１５）
発光周波数状態設定部は、前記周波数ホッピングの後、前記位相変更を実行させるように構成される
前記（１３）に記載の測距装置。
（１６）
発光周波数状態設定部は、所望の測距精度が得られるまで、前記周波数ホッピングを繰り返し実行させるように構成される
前記（１３）に記載の測距装置。
（１７）
発光周波数状態設定部は、所望の測距精度が得られるまで前記周波数ホッピングを繰り返し実行させた後、前記位相変更を実行させるように構成される
前記（１３）に記載の測距装置。
（１８）
他の測距装置と互いの発光周波数状態を通信する通信部と、
前記他の測距装置の発光周波数状態に基づき、前記周波数ホッピング制御部または前記位相変更制御部の少なくとも一方を制御する発光周波数状態設定部と
をさらに備える前記（１１）または（１２）に記載の測距装置。
（１９）
照射光を発光する発光部と、
複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部とを備え、
前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有する測距装置の測距方法において、
前記AD変換部による、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行し、
前記算出部による、前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定する
ステップを含む測距方法。
（２０）
測距装置と他の電子機器から成る測距システムにおいて、
前記測距装置は、
照射光を発光する発光部と、
複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部とを備え、
前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有するように構成され、
前記AD変換部は、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行するように構成され、
前記算出部は、前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するように構成され、
前記他の電子機器は、
前記測距装置による前記高速測距の結果をトリガとして動作を開始するように構成される
測距システム。
１０ TOFセンサ， １１ 発光部， １２ 受光部， ３０ 有効画素部， ３１ 画素， ４０ ダミー画素部， ４１ 画素， ５１ 距離算出部， ５２ 乱数発生部， ５３ 制御部，６１ 画素ノイズ検出部， １０１ 画素部， １０２ カラムADC， １０３ 水平転送回路， １０５ 垂直走査回路， １２２ 垂直信号線， ３１０ DAC， ３２０ カウンタ制御部， ３３０ カラムADC， ３３１ 比較器， ３３２ カウンタ， ５０１ 周波数ホッピング制御部， ５０２ 位相変更制御部， ５０３ Fmod設定部， ５１１ 混信抑制部， ５２１ 距離検出部， ５２２ 差分検出部， ５２３ 判定部， ５２４ 設定部， ５５１ 混信抑制部， ５５２ 通信部， ５５３ 設定部，７００ Lidarセンサ， ８００ Visionセンサ

Claims (11)

  1. 照射光を発光する発光部と、
    複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、
    前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
    前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部と
    を備え、
    前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有するように構成され、
    前記AD変換部は、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行するように構成され、
    前記算出部は、
    前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するに際して、前記AD変換部による前記第２のAD変換の結果を用いて高精度測距を行う前に、前記AD変換部による前記第１のAD変換の結果を用いて高速測距を行うように構成され、
    前記高精度測距を行う前に行われた前記高速測距の結果に基づき、直後に行う前記高精度測距における検出画角を制限することが可能なように構成される
    測距装置。
  2. 前記制御部は、前記高精度測距を行う前に行われた前記高速測距の結果から飽和が検出された場合、直後に行われる前記高精度測距に対応する前記受光部の露出を制御するように構成される
    請求項１に記載の測距装置。
  3. 前記制御部は、前記高精度測距を行う前に行われた前記高速測距の結果から飽和が検出された場合、直後に行われる前記高精度測距に対応する前記発光部の発光を制御するように構成される
    請求項１に記載の測距装置。
  4. 前記高速測距の結果は、他の電子機器の動作開始のトリガとして用いられる
    請求項１に記載の測距装置。
  5. 前記高速測距は、他の電子機器と同期して実行される
    請求項１に記載の測距装置。
  6. 照射光を発光する発光部と、
    複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、
    前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
    前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部と
    を備え、
    前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有するように構成され、
    前記AD変換部は、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行するように構成され、
    前記算出部は、
    前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するように構成され、
    前記制御部は、
    前記照射光の発光周波数の周波数ホッピングを実行させる周波数ホッピング制御部と、
    前記照射光の発光周波数の位相変更を実行させ、前記照射光の発光周波数の位相をπ[rad]だけ変更させるように構成される位相変更制御部と
    を有し、
    同じ発光周波数状態の下で前記受光部から出力される数値のバラツキを検出する差分検出部と、
    前記差分検出部の出力に基づき、前記周波数ホッピング制御部または前記位相変更制御部の少なくとも一方を制御する発光周波数状態設定部と
    をさらに備え、
    前記発光周波数状態設定部は、所望の測距精度が得られるまで、前記周波数ホッピングを繰り返し実行させた後、前記位相変更を実行させることが可能なように構成される
    測距装置。
  7. 前記発光周波数状態設定部は、前記位相変更を、前記周波数ホッピングに対して優先的に実行させるように構成される
    請求項６に記載の測距装置。
  8. 前記発光周波数状態設定部は、前記周波数ホッピングの後、前記位相変更を実行させるように構成される
    請求項６に記載の測距装置。
  9. 前記発光周波数状態設定部は、所望の測距精度が得られるまで、前記周波数ホッピングを繰り返し実行させるように構成される
    請求項６に記載の測距装置。
  10. 他の測距装置と互いの発光周波数状態を通信する通信部をさらに備え、
    前記発光周波数状態設定部は、前記他の測距装置の発光周波数状態に基づき、前記周波数ホッピング制御部または前記位相変更制御部の少なくとも一方を制御するように構成される
    請求項６に記載の測距装置。
  11. 照射光を発光する発光部と、
    複数の画素から成り、前記照射光が対象物において反射した反射光を受光する受光部と、
    前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
    前記発光部による前記照射光の発光と、前記受光部による前記反射光の受光とを制御する制御部とを備え、
    前記受光部は、前記画素から読み出される画素信号をAD変換する複数のAD変換部を有する測距装置の測距方法において、
    前記AD変換部による、第１のbit数の精度で行う第１のAD変換と、前記第１のbit数よりも大きい第２のbit数の精度で行う第２のAD変換とを切り替えて実行し、
    前記算出部による、
    前記AD変換部による前記第１または第２のAD変換の結果を用いて前記対象物までの距離を測定するに際して、前記AD変換部による前記第２のAD変換の結果を用いて高精度測距を行う前に、前記AD変換部による前記第１のAD変換の結果を用いて高速測距を行い、
    前記高精度測距を行う前に行われた前記高速測距の結果に基づき、直後に行う前記高精度測距における検出画角を制限する
    ステップを含む測距方法。
JP2019502858A 2017-02-28 2018-02-14 測距装置、および測距方法 Active JP7027403B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017037701 2017-02-28
JP2017037701 2017-02-28
JP2017115827 2017-06-13
JP2017115827 2017-06-13
PCT/JP2018/004984 WO2018159289A1 (ja) 2017-02-28 2018-02-14 測距装置、測距方法、および測距システム

Publications (2)

Publication Number Publication Date
JPWO2018159289A1 JPWO2018159289A1 (ja) 2019-12-19
JP7027403B2 true JP7027403B2 (ja) 2022-03-01

Family

ID=63371045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502858A Active JP7027403B2 (ja) 2017-02-28 2018-02-14 測距装置、および測距方法

Country Status (5)

Country Link
US (1) US20190383946A1 (ja)
EP (1) EP3591437A4 (ja)
JP (1) JP7027403B2 (ja)
CN (1) CN110168403B (ja)
WO (1) WO2018159289A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11598849B2 (en) * 2017-12-03 2023-03-07 Munro Design & Technologies, Llc Signal generating systems for three-dimensional imaging systems and methods thereof
DE102018205378A1 (de) * 2018-04-10 2019-10-10 Ibeo Automotive Systems GmbH Verfahren zur Ansteuerung von Sensorelementen eines LIDAR Messsystems
CN110196433B (zh) * 2019-01-25 2021-06-22 北京梧桐车联科技有限责任公司 一种检测车辆的方法、装置及车辆
US11798960B2 (en) * 2019-03-13 2023-10-24 Sony Semiconductor Solutions Corporation Processing circuit and method for time-of-flight image sensor
JP7235638B2 (ja) * 2019-10-04 2023-03-08 株式会社日立エルジーデータストレージ 測距装置および測距システム
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법
JP2023085575A (ja) * 2020-04-24 2023-06-21 ソニーセミコンダクタソリューションズ株式会社 測距装置
US20210356597A1 (en) * 2020-05-15 2021-11-18 Analog Devices International Unlimited Company Continuous wave time of flight system
JP7452374B2 (ja) * 2020-10-20 2024-03-19 株式会社Soken 物体検知装置および物体検知プログラム
CN113126670A (zh) * 2021-03-31 2021-07-16 武汉益邦汽车技术有限公司 一种lpg汽化装置的控制方法及系统
CN115273785A (zh) * 2022-06-23 2022-11-01 中国第一汽车股份有限公司 一种基于距离传感器的车内主动降噪方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2644895B2 (ja) 1989-09-08 1997-08-25 松下技研株式会社 レーザ視覚センサ
WO2008152647A2 (en) 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
JP2009503470A (ja) 2005-07-29 2009-01-29 ライメ、ゲルト 光伝搬時間の測定方法
WO2014207983A1 (ja) 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置
WO2016208215A1 (ja) 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2237263C2 (ru) * 1991-04-18 2004-09-27 Открытое акционерное общество "Научно-исследовательский институт измерительных приборов" Способ подавления помех в области боковых лепестков антенны радиолокатора и устройство для его реализации
US5221928A (en) * 1992-06-12 1993-06-22 Motorola, Inc. Method and apparatus for accurate, high speed pulse-echo measurement calibration
US7070106B2 (en) * 1998-03-24 2006-07-04 Metrologic Instruments, Inc. Internet-based remote monitoring, configuration and service (RMCS) system capable of monitoring, configuring and servicing a planar laser illumination and imaging (PLIIM) based network
US6741633B1 (en) * 1999-03-11 2004-05-25 Itt Manufacturing Enterprises, Inc. Hop overlay signal structure for including additional signaling channels in code division multiple access communication and navigation systems
JP2004180230A (ja) * 2002-11-29 2004-06-24 Dainippon Printing Co Ltd 周波数ホッピング方式を用いた無線通信装置
WO2005006584A2 (en) * 2003-07-10 2005-01-20 Matsushita Electric Industrial Co., Ltd. Radio communication apparatus and interference avoiding method
WO2006013615A1 (ja) * 2004-08-02 2006-02-09 Mitsubishi Denki Kabushiki Kaisha レーダ装置
JP5022017B2 (ja) * 2006-12-15 2012-09-12 株式会社日立製作所 Ｏｆｄｍセルラ無線通信方法、そのシステム及び基地局
JP5371277B2 (ja) * 2008-03-31 2013-12-18 三菱電機株式会社 レーダ装置
JP6536008B2 (ja) 2014-10-30 2019-07-03 株式会社デンソー 車両用光飛行型測距装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2644895B2 (ja) 1989-09-08 1997-08-25 松下技研株式会社 レーザ視覚センサ
JP2009503470A (ja) 2005-07-29 2009-01-29 ライメ、ゲルト 光伝搬時間の測定方法
WO2008152647A2 (en) 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
WO2014207983A1 (ja) 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置
WO2016208215A1 (ja) 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WHYTE, R. Z. et al.，"Multiple range imaging camera operation with minimal perfomance impact"，Proceedings of SPIE [online]，2010年01月29日，Volume 7538，Article 75380I, 10 Pages，https://doi.org/10.1117/12.838271

Also Published As

Publication number Publication date
EP3591437A4 (en) 2020-07-22
CN110168403B (zh) 2023-12-01
EP3591437A1 (en) 2020-01-08
US20190383946A1 (en) 2019-12-19
JPWO2018159289A1 (ja) 2019-12-19
WO2018159289A1 (ja) 2018-09-07
CN110168403A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
JP7027403B2 (ja) 測距装置、および測距方法
JP7073325B2 (ja) センシングデバイス
JP7044107B2 (ja) 光センサ、及び、電子機器
JP6972011B2 (ja) 測距装置及び測距方法
WO2018155194A1 (ja) 測距装置、および測距方法
WO2019150785A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020031496A1 (ja) 時間計測デバイスおよび時間計測装置
KR20220061121A (ko) 광 검출 장치, 광 검출 방법, 및 측거 시스템
KR20220069001A (ko) 광 검출 장치 및 시스템
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2021235222A1 (ja) 受光装置およびその駆動制御方法、並びに、測距装置
WO2020255855A1 (ja) 測距装置および測距方法
WO2021215113A1 (ja) 固体撮像素子、センシングシステム、および、固体撮像素子の制御方法
WO2022239459A1 (ja) 測距装置及び測距システム
WO2022044805A1 (ja) 撮像装置、撮像方法、電子機器
WO2021261079A1 (ja) 光検出装置および測距システム
WO2021100593A1 (ja) 測距装置及び測距方法
WO2023153104A1 (ja) 信号生成回路および光検出装置
WO2021256276A1 (ja) 測距装置および測距システム
WO2021002071A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2022105924A (ja) 撮像装置および測距システム
CN113196104A (zh) 测距装置、测距方法和程序
JP2022185168A (ja) 受光素子およびその駆動方法、並びに、測距システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220216

R150 Certificate of patent or registration of utility model

Ref document number: 7027403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150