JPWO2020054617A1 - 測距撮像装置、及び固体撮像素子 - Google Patents

測距撮像装置、及び固体撮像素子 Download PDF

Info

Publication number
JPWO2020054617A1
JPWO2020054617A1 JP2020545993A JP2020545993A JPWO2020054617A1 JP WO2020054617 A1 JPWO2020054617 A1 JP WO2020054617A1 JP 2020545993 A JP2020545993 A JP 2020545993A JP 2020545993 A JP2020545993 A JP 2020545993A JP WO2020054617 A1 JPWO2020054617 A1 JP WO2020054617A1
Authority
JP
Japan
Prior art keywords
signal
exposure
phase
delay
light emission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020545993A
Other languages
English (en)
Other versions
JP7356440B2 (ja
Inventor
充彦 大谷
充彦 大谷
中村　清治
清治 中村
圭一 森
圭一 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of JPWO2020054617A1 publication Critical patent/JPWO2020054617A1/ja
Application granted granted Critical
Publication of JP7356440B2 publication Critical patent/JP7356440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

発光を指示する発光信号の出力と、露光を指示する露光信号の出力とを繰り返し行う制御部（３）と、制御部（３）が繰り返し出力する発光信号のそれぞれに従って複数回の発光を行う光源部（１）と、制御部（３）が繰り返し出力する露光信号のそれぞれに従って複数回の露光を行う固体撮像素子（２０）を有し、当該複数回の露光により撮像信号を生成する撮像部（２）とを備え、制御部（３）は、互いに位相が異なる複数の遅延クロックを生成する多相遅延信号発生回路（３０）を有し、当該複数の遅延クロックを用いて、発光信号と露光信号との出力を繰り返し行う。

Description

本発明は、測距撮像装置、及び固体撮像素子に関する。
物体を検知する複数の方式の中で、測定対象物まで光が往復する飛行時間を利用して測距を行うＴＯＦ（Time Of Flight）方式が知られている。
特許文献１には、光源の発光および露光ドライバの実駆動パルスと基準パルスとの位相比較に基づいて、温度や経年によるカメラの状態変化によるともなう光源の発光駆動と撮像部の露光駆動との位相誤差を原因とする測距誤差を能動的に補償する技術が開示されている。
特開２０１６−９５２９８号公報
しかしながら、特許文献１に開示された技術では、基準パルスを発生する駆動制御回路のバラツキ、温度変化、経年劣化に起因する光源の発光タイミングと撮像部の露光タイミングとの位相誤差は補正されない。このため、例えば、測定されたＤｅｐｔｈ値を実距離値に換算する際の係数を決定するための測距カメラキャリブレーションにおいて、被写体（測定対象物）を固定し、駆動制御回路を制御して光源の発光タイミングあるいは撮像部の露光タイミングのどちらか一方をスキャン（走査）させて仮想的に距離を変えてキャリブレーションを行う場合、この仮想的な距離変化に誤差が発生し、結果的にキャリブレーションの精度が悪くなり、測距精度が低下するという問題がある。
そこで、本発明は、発光タイミングと露光タイミングとの位相誤差に起因する測距精度の低下を抑制することができる測距撮像装置、及び個体撮像素子を提供することを目的とする。
本開示の一態様に係る測距撮像装置は、発光を指示する発光信号の出力と、露光を指示する露光信号の出力とを繰り返し行う制御部と、前記制御部が繰り返し出力する前記発光信号のそれぞれに従って複数回の発光を行う光源部と、前記制御部が繰り返し出力する前記露光信号のそれぞれに従って複数回の露光を行う固体撮像素子を有し、当該複数回の露光により撮像信号を生成する撮像部とを備え、前記制御部は、互いに位相が異なる複数の遅延クロックを生成する多相遅延信号発生回路を有し、当該複数の遅延クロックを用いて、前記発光信号と前記露光信号との出力を繰り返し行う。
また、前記制御部は、基本クロックを基準とする、前記発光信号の出力タイミング及び前記露光信号の出力タイミングの位相差を設定する２つ以上の位相設定の中から、逐次利用する位相設定を更新するとしてもよい。
また、前記２つ以上の位相設定のそれぞれを、前記基本クロックと露光信号の出力タイミングとの位相差が小さい方から順に、第１の位相設定〜第ｋ（ｋは２以上の整数）の位相設定とする場合において、任意のｋについて、第ｋ−１の位相設定における露光信号の出力タイミングと、第ｋの位相設定における露光信号の出力タイミングとの位相差が、前記基本クロックの１サイクルの１／ｋとなるとしてもよい。
また、前記制御部は、前記２つ以上の位相設定の中から一の位相設定を用いて、前記発光信号の出力と前記露光信号の出力とを繰り返し行う第１のセットを複数回行い、前記２つ以上の位相設定の中から他の一の位相設定を用いて、前記発光信号の出力と前記露光信号の出力とを繰り返し行う第２のセットを、前記第１のセットを行う回数と同数回の複数回行うとしてもよい。
また、前記制御部は、前記逐次利用する位相設定の更新を、一のフレームの露光期間内において行うとしてもよい。
また、前記制御部は、前記逐次利用する位相設定の更新を、互いに異なるフレームの露光期間の切り替えの際に行うとしてもよい。
また、前記制御部は、前記発光信号の出力と前記露光信号の出力との複数の繰り返しにおいて、前記発光信号の出力タイミングと前記露光信号の出力タイミングとの相対位相関係を維持し、更に、互いに前記相対位相関係が等しい２つ以上の位相設定の中から、前記逐次利用する位相設定を更新するとしてもよい。
また、前記多相遅延信号発生回路は、ＤＬＬ回路であるとしてもよい。
また、前記多相遅延信号発生回路は、前記基本クロックを順次遅延させ、前記複数の遅延クロックを生成する可変遅延回路と、前記複数の遅延クロックのいずれか１つ又は前記基本クロックである第１の基準クロックと、前記複数の遅延クロックのいずれか１つであって、前記第１の基準クロックよりも位相が遅れた遅延クロックである第２の基準クロックとが入力され、前記第１の基準クロックと前記第２の基準クロックとの電圧レベルに基づいて、前記基本クロックの１サイクルの範囲内における前記第１の基準クロックと前記第２の基準クロックとの位相を比較する位相比較回路と、前記位相比較回路による比較結果に基づいて、前記可変遅延回路における前記基本クロックの順次遅延における遅延量を制御する遅延制御回路と、前記可変遅延回路により生成された前記複数の遅延クロックから、１以上の遅延クロックを選択して出力する選択回路と、を備えるとしてもよい。
また、さらに、前記撮像信号に基づいて、被写体までの距離の情報を含む距離信号を出力する演算部を備えるとしてもよい。
また、前記固体撮像素子は、行列状に配置される複数の画素からなる画素アレイを備え、前記複数の画素のそれぞれは、受光した光を電荷に変換する光電変換部と、前記光電変換部により変換された電荷を読み出す読み出しゲートとを有し、前記画素アレイは、列毎に、前記読み出しゲートにより読み出された電荷を、列方向に転送する垂直転送部を有するとしてもよい。
本開示の一態様に係る固体撮像素子は、発光を指示する発光信号の出力と、露光を指示する露光信号の出力とを繰り返し行う制御部であって、互いに位相が異なる複数の遅延クロックを生成する多相遅延信号発生回路を有し、当該複数の遅延クロックを用いて、前記発光信号と前記露光信号との出力を繰り返し行う制御部と、前記制御部が繰り返し出力する前記発光信号のそれぞれに従って複数回の発光を行う光源部と、撮像信号を生成する撮像部とを備える測距撮像装置における前記撮像部に含まれ、前記制御部が繰り返し出力する前記露光信号のそれぞれに従って複数回の露光を行う。
本開示の一態様に係る測距撮像装置、及び固体撮像素子によると、発光タイミングと露光タイミングとの位相誤差に起因する測距精度の低下を抑制することができる
図１は、実施の形態に係る測距撮像装置の構成の一例を示す機能ブロック図である。 図２は、実施の形態に係る多相遅延信号発生回路の構成の一例を示す機能ブロック図である。 図３は、実施の形態に係る単位発光露光処理における、発光信号の出力タイミングと露光の出力タイミングとの相対位相関係の一例を示すタイミングチャートである。 図４Ａは、実施の形態に係る測距撮像装置が行う撮像動作における発光信号及び露光信号のタイミングの一例を示すタイミングチャートである。 図４Ｂは、発光露光処理と位相設定との対応関係の一例を示す対応表である。 図５は、実施の形態に係る測距撮像装置の構成の一例を示す機能ブロック図である。 図６は、実施の形態に係る位相調整回路の構成の一例を示すブロック図である。 図７Ａは、実施の形態に係る固体撮像素子の構成の一例を示すブロック図である。 図７Ｂは、実施の形態に係る画素の構成の一例を示すブロック図である。
以下、本開示の実施の形態に係る測距撮像装置、及びそれに用いられる固体撮像素子について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは一例であり、本開示を限定するものではない。
また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
（実施の形態）
図１は、実施の形態に係る測距撮像装置１０の構成の一例を示す機能ブロック図である。
図１に示すように、測距撮像装置１０は、光源部１と、撮像部２と、制御部３と、演算部４とを含んで構成される。この構成により、測距撮像装置１０は、静止画の撮像、及び動画の撮影を行うことが可能である。
制御部３は、発光を指示する発光信号の出力と、露光を指示する露光信号の出力とを繰り返し行う。制御部３は、互いに位相が異なる複数の遅延クロックを生成する多相遅延信号発生回路３０を有し、多相遅延信号発生回路３０により生成された複数の遅延クロックを用いて、発光信号の出力と露光信号の出力とを行う。より具体的には、制御部３は、複数の遅延クロックのエッジを用いて、生成する発光信号のエッジと、生成する露光信号のエッジを生成することで、発光信号と露光信号とを生成して出力する。
光源部１は、制御部３が繰り返し出力する発光信号のそれぞれに従って複数回の発光を行う。光源部１は、例えば、図示していない駆動回路、コンデンサ、及び発光素子を有し、駆動回路が、発光信号に従って、コンデンサに蓄えられたエネルギーを用いて発光素子から照射光を放射させることで発光を行う。発光素子は、例えば、レーザダイオード、垂直共振器面発光レーザ（ＶＣＳＥＬ：Vertical Cavity Surface Emitting LASER）、発光ダイオード（ＬＥＤ：Light emitting device）により実現されてもよいし、他の素子により実現されてもよい。照射光は、例えば、赤外光である。ここで、赤外光には、近赤外光、遠赤外光が含まれる。
撮像部２は、制御部３が繰り返し出力する露光信号のそれぞれに従って複数回の露光を行う固体撮像素子２０を有する。
固体撮像素子２０は、光源部１から放射された照射光が対象物により反射された反射光、太陽光等の背景光を受光する。
撮像部２は、固体撮像素子２０による複数回の露光により撮像信号を生成する。撮像部２は、さらに、カメラレンズ、光源部１から放射される照射光の波長近傍の光のみを通過させる光学的バンドフィルタ（帯域通過フィルタ）、及び、Ａ／Ｄコンバータ等の回路を適宜有してもよい。
演算部４は、撮像部２により生成された撮像信号に基づいて、被写体である対象物までの距離の情報を含む距離信号を出力する。距離信号は、例えば、距離画像である。演算部４は、距離信号に加えて、輝度信号を出力してもよい。
図２は、多相遅延信号発生回路３０の構成の一例を示す機能ブロック図である。
ここでは、多相遅延信号発生回路３０がＤＬＬ（Delay Locked Loop）回路であるとして説明する。しかしながら、以下で説明する機能と同様の機能を実現することができれば、多相遅延信号発生回路３０は、必ずしも、ＤＬＬ回路である例に限定される必要はない。多相遅延信号発生回路３０は、例えば、ＰＬＬ（Phase Locked Loop）回路により実現されてもよい。
図２に示すように、多相遅延信号発生回路３０は、可変遅延回路３２と、位相比較回路３３と、遅延制御回路３４と、選択回路３８とを備える。なお、ここでの説明が煩雑なものとなりすぎてしまわないように、図２には、後述する図５に示される回路の一部（エッジ分離回路５１、可変シフトレジスタ５２、位相比較５３、遅延調整回路５６等。それぞれ、図５参照。）の図示が省略されている。これら図示が省略された回路については、後程、図５を用いて説明する。
可変遅延回路３２は、基本クロックを順次遅延させ、それぞれ位相が異なる複数の遅延クロックを生成する。より具体的には、可変遅延回路３２は、縦続接続されたｎ（ｎは２以上の整数）個の遅延素子３１を含み、入力される基本クロックＣＫｉｎを順次遅延させてｎ個の遅延クロックＣＫ（１）、ＣＫ（２）、・・・、ＣＫ（ｎ）を生成する。遅延素子３１のそれぞれにおける遅延時間を“Ｔｐ”とすると、遅延クロックＣＫ（１）、ＣＫ（２），・・・，ＣＫ（ｎ）の遅延時間は、それぞれ、“Ｔｐ×１”、“Ｔｐ×２”、・・・、“Ｔｐ×ｎ”となる。
位相比較回路３３は、遅延クロックＣＫ（ｎ）のいずれか１つ又は基本クロックＣＫｉｎである第１の基準クロックと、遅延クロックＣＫ（ｎ）のいずれか１つであって、第１の基準クロックよりも位相が遅れた遅延クロックＣＫ（ｎ）である第２の基準クロックとが入力され、第１の基準クロックと第２の基準クロックとの電圧レベルに基づいて、基本クロックＣＫｉｎの１サイクルの範囲内における第１の基準クロックと第２の基準クロックとの位相を比較する。ここでは、位相比較回路３３は、第１番目の遅延クロックＣＫ（１）及び第ｎ番目の遅延クロックＣＫ（ｎ）が、それぞれ第１の基準クロック及び第２の基準クロックとして入力され、第１の基準クロックすなわち遅延クロックＣＫ（１）と、第２の基準クロックすなわちＣＫ（ｎ）のそれぞれの電圧レベルに基づいて位相比較を行い、比較結果として充電信号ＵＰ又は放電信号ＤＮを出力する。
充電信号ＵＰは、後述のチャージポンプ回路３５に充電動作をさせるための信号であり、遅延クロックＣＫ（ｎ）の位相が遅延クロックＣＫ（１）の位相よりも遅れていることを示す。
一方、放電信号ＤＮは、チャージポンプ回路３５に放電動作をさせるための信号であり、遅延クロックＣＫ（ｎ）の位相が遅延クロックＣＫ（１）の位相よりも進んでいることを示す。
遅延制御回路３４は、位相比較回路３３による出力結果に基づいて、可変遅延回路３２における基本クロックＣＫｉｎの順次遅延における遅延量を制御する。
遅延制御回路３４は、チャージポンプ回路３５と、ローパスフィルタ３６と、電圧制御回路３７とを含んで構成される。
チャージポンプ回路３５は、位相比較回路３３から出力される充電信号ＵＰ又は放電信号ＤＮに応答して、ローパスフィルタ３６へ出力する出力電圧を昇圧又は降圧する。
電圧制御回路３７は、ローパスフィルタ３６から出力される出力電圧をｎ個の遅延素子３１のそれぞれの電源端子に供給する。ローパスフィルタ３６から出力される出力電圧が低い程、遅延素子３１のそれぞれにおける遅延時間が大きくなり、ローパスフィルタ３６から出力される出力電圧が高い程、遅延素子３１のそれぞれにおける遅延時間が小さくなる。このように、遅延素子３１のそれぞれの電源端子に供給する電圧を制御することで、遅延クロックＣＫ（１）と遅延クロックＣＫ（ｎ）との位相が一致し、遅延時間“Ｔｐ”が入力の基本クロックＣＫｉｎの１周期の１／ｎとなる。
選択回路３８は、可変遅延回路３２により生成された複数の遅延クロックＣＫ（ｎ）から、１以上の遅延クロックＣＫ（ｎ）を選択して出力する。より具体的には、選択回路３８は、可変遅延回路３２から出力されるｎ個の遅延クロックＣＫ（１）、ＣＫ（２）、・・・、ＣＫ（ｎ）の中から、発光信号、露光信号のそれぞれの前エッジ及び後エッジの位相に使用する遅延クロックＣＫ（ｎ）を選択して出力する。
選択回路３８から出力された遅延クロックＣＫ（ｎ）は、後段の論理回路にて、基本クロックＣＫｉｎの１クロック単位でタイミング作成された前エッジ信号及び後エッジ信号と論理が組まれた後、発光基準信号の前エッジ、発光基準信号の後エッジ、露光基準信号の前エッジ、露光基準信号の後エッジが生成される。そして、発光基準信号の前エッジ及び後エッジと、露光基準信号の前エッジ及び後エッジとが、それぞれ、エッジ合成回路３９に入力される。そして、エッジ合成回路３９のそれぞれにて発光基準信号及び露光基準信号の両エッジが合成されて、エッジ合成回路３９のそれぞれから、発光信号と露光信号とが出力される。これにより、発光信号及び露光信号のパルス幅及び相対位相を、基本クロックＣＫｉｎの１クロック周期の１／ｎの細かさでの微調整が可能となる。これにより、測距撮像装置１０は、要望される測距範囲に最適な距離分解能を実現することができる。
制御部３は、発光信号の出力タイミングと露光信号の出力タイミングとの相対位相関係を維持しつつ、発光信号の出力と露光信号の出力とを行う単位発光露光処理を行う。
また、制御部３は、基本クロックＣＫｉｎを基準とする、発光信号の出力タイミングの位相差及び露光信号の出力タイミングの位相差を設定する２つ以上の位相設定であって、互いに、発光信号の出力タイミングと露光信号の出力タイミングとの相対位相関係が等しい２つ以上の位相設定の中から、逐次利用する位相設定を更新して、単位発光露光処理を繰り返し行う。
図３は、単位発光露光処理における、発光信号の出力タイミングと露光の出力タイミングとの相対位相関係の一例を示すタイミングチャートである。
ここでは、可変遅延回路３２において縦続接続される遅延素子３１の数が１２８であり、各遅延素子３１が基本クロックＣＫｉｎを順次遅延させて、１２８個の遅延クロックＣＫ（１）、ＣＫ（２）・・・、ＣＫ（１２８）を生成するとして説明する。また、ここでは、２つ以上の位相設定が、第１の位相設定１〜第４の位相設定の４つであるとして説明する。
ここでは、単位発光露光処理は、第１の発光信号Ａ０と露光信号との組を出力する処理、第２の発光信号Ａ１と露光信号との組を出力する処理、及び、第３の発光信号Ａ２と露光信号との組を出力する処理のそれぞれのことを言う。
図３に示すように、第１の位相設定では、第１の発光露光期間の発光信号である第１の発光信号Ａ０は、前エッジには遅延クロックＣＫ（１００）を使用し、後エッジには遅延クロックＣＫ（１２４）を使用し、第２の発光露光期間の発光信号である第２の発光信号Ａ１は、前エッジには遅延クロックＣＫ（６７）を使用し、後エッジには遅延クロックＣＫ（９１）を使用し、第３の発光露光期間の発光信号である第３の発光信号Ａ２は、無発光なので常にローレベル、露光信号は、第１、第２および第３の発光露光期間の全てにおいて、前エッジには遅延クロックＣＫ（９４）を使用し、後エッジには遅延クロックＣＫ（１２７）を使用する。
第２の位相設定では、第１の発光露光期間の発光信号である第１の発光信号Ａ０は、前エッジには遅延クロックＣＫ（６８）を使用し、後エッジには遅延クロックＣＫ（９２）を使用し、第２の発光露光期間の発光信号である第２の発光信号Ａ１は、前エッジには遅延クロックＣＫ（３５）を使用し、後エッジには遅延クロックＣＫ（５９）を使用し、第３の発光露光期間の発光信号である第３の発光信号Ａ２は、無発光なので常にローレベル、露光信号は、第１、第２および第３の発光露光期間の全てにおいて、前エッジには遅延クロックＣＫ（６２）を使用し、後エッジには遅延クロックＣＫ（９５）を使用する。
第３の位相設定では、第１の発光露光期間の発光信号である第１の発光信号Ａ０は、前エッジには遅延クロックＣＫ（３６）を使用し、後エッジには遅延クロックＣＫ（６０）を使用し、第２の発光露光期間の発光信号である第２の発光信号Ａ１は、前エッジには遅延クロックＣＫ（３）を使用し、後エッジには遅延クロックＣＫ（２７）を使用し、第３の発光露光期間の発光信号である第３の発光信号Ａ２は、無発光なので常にローレベル、露光信号は、第１、第２および第３の発光露光期間の全てにおいて、前エッジには遅延クロックＣＫ（３０）を使用し、後エッジには遅延クロックＣＫ（６３）を使用する。
第４の位相設定では、第１の発光露光期間の発光信号である第１の発光信号Ａ０は、前エッジには遅延クロックＣＫ（４）を使用し、後エッジには遅延クロックＣＫ（２８）を使用し、第２の発光露光期間の発光信号である第２の発光信号Ａ１は、前エッジには遅延クロックＣＫ（９９）を使用し、後エッジには遅延クロックＣＫ（１２３）を使用し、第３の発光露光期間の発光信号である第３の発光信号Ａ２は、無発光なので常にローレベル、露光信号は、第１、第２および第３の発光露光期間の全てにおいて、前エッジには遅延クロックＣＫ（１２６）を使用し、後エッジには遅延クロックＣＫ（３１）を使用する。
以上のように、第１の位相設定、第２の位相設定、第３の位相設定、及び、第４の位相設定における、第１の発光信号Ａ０と、第２の発光信号Ａ１と、第３の発光信号Ａ２と、露光信号との相対位相関係が全て同じとなる。また、第１の位相設定と第２の位相設定の間、第２の位相設定と第３の位相設定との間、第３の位相設定と第４の位相設定との間、及び、第４の位相設定と第１の位相設定との間における、第１の発光信号Ａ０の位相差、第２の発光信号Ａ１の位相差、第３の発光信号Ａ２の位相差、及び、露光信号の位相差が全て、基本クロックＣＫｉｎの１サイクルの１／４である“Ｔｐ×３２”となる。すなわち、２〜４のうちの任意の整数ｊについて、第ｊ−１の位相設定における露光信号の出力タイミングと、第ｊの位相設定における露光信号の出力タイミングとの位相差が、基本クロックＣＫｉｎの１サイクルの１／４となる。
次に、測距撮像装置１０が１フレームを撮像する撮像動作について説明する。
図４Ａは、測距撮像装置１０が行う撮像動作における発光信号及び露光信号のタイミングの一例を示すタイミングチャートである。図４Ａにおいて、横軸は時間軸を示し、縦軸は、発光信号及び露光信号の信号レベルを示す。
発光信号は、発光を指示するパルスを有する正論理のデジタル信号である。発光信号は、ハイレベルで光源部１に発光を指示し、ローレベルで光源部１に非発光を指示する。
露光信号は、露光を指示するパルスを有する正論理のデジタル信号である。露光信号は、ハイレベルで固体撮像素子２０に露光を指示し、ローレベルで固体撮像素子２０に非露光を指示する。
１フレームの撮像動作は、Ｎ（Ｎは２以上の整数）セットの発光露光処理と、１回の信号出力処理とからなる。ここではＮは１２であるとする。
図４Ａにおいて、発光露光期間は、Ｎセットの発光露光処理を行う期間を示し、信号し出力処理期間は、１回の信号出力処理を行う期間を示す。
１セットの発光露光処理は、第１の発光露光処理、第２の発光露光処理、及び第３の発光露光処理を含む。また、第１の発光露光処理、第２の発光露光処理、及び第３の発光露光処理は、それぞれ、ｍ（ｍは１以上の整数）回の単位発光露光処理を含む。
第１の発光露光処理では、各単位発光露光処理において、制御部３は、露光信号を発光信号よりも第１の遅延時間だけ遅らせるように、発光信号及び露光信号を出力する。また、各単位発光露光処理において、固体撮像素子２０では、後述の各画素で露光量を示す信号電荷が生成され、生成された各画素の信号電荷は、画素毎に構成される後述の複数の信号蓄積領域のうちの１つに蓄積される。第１の発光露光処理では、この単位発光露光処理がｍ回繰り返される。
第２の発光露光処理では、各単位発光露光処理において、制御部３は、露光信号を発光信号よりも第２の遅延時間だけ遅らせるように、発光信号及び露光信号を出力する。また、各単位発光露光処理において、固体撮像素子２０では、各画素で露光量を示す信号電荷が生成され、生成された各画素の信号電荷は、画素毎に構成される複数の信号蓄積領域のうちの１つに蓄積される。ここで、第２の発光露光処理において信号電荷が蓄積される信号蓄積領域は、第１の発光露光処理において信号電荷が蓄積される信号蓄積領域とは異なる信号蓄積領域である。第２の発光露光処理では、この単位発光露光処理がｍ回繰り返される。
第３の発光露光処理では、各単位発光露光処理において、制御部３は、発光信号を出力せずに、露光信号のみを出力するように、発光信号及び露光信号を出力する。また、各単位発光露光処理において、固体撮像素子２０では、各画素で露光量を示す信号電荷が生成され、生成された各画素の信号電荷は、画素毎に構成される複数の信号蓄積領域のうちの１つに蓄積される。ここで、第３の発光露光処理において信号電荷が蓄積される信号蓄積領域は、第１の発光露光処理において信号電荷が蓄積される信号蓄積領域、及び、第２の発光露光処理において信号電荷が蓄積される信号蓄積領域とは異なる信号蓄積領域である。第３の発光露光処理では、この単位発光露光処理がｍ回繰り返される。
１フレームの撮像動作では、上述の１セットの発光露光処理を１２セット繰り返される。そして、１２セット繰り返された後に、各画素の各信号蓄積領域に格納された信号電荷が読み出される。そして、読み出された各信号電荷は、演算部４へ出力される。
第１の発光露光処理における露光期間と、第２の発光露光処理における露光期間とが加算された期間に、光源部１から放射された照射光が対象物により反射された反射光の全てが固体撮像素子２０によって受光されるように、第１の発光露光処理における露光期間と、第２の発光露光処理における露光期間とが決定される。この場合、第１の発光露光処理による露光量の総和をＡ０、第２の発光露光処理における露光量の総和をＡ１、第３の発光露光処理における露光量の総和をＡ２、発光信号のパルス幅（ハイレベルの期間）をＴｏ、光速（２９９，７９２，４５８ｍ／ｓ）をＣとすると、演算部４は、以下の式１の演算を行うことにより、対象物までの距離Ｌを算出することができる。
Figure 2020054617
式１に示されるように、対象物までの距離Ｌの算出にＡ２を用いることで、距離Ｌの算出における、背景光、暗電流等による悪影響が低減される。
図４Ｂは、１２セットの発光露光処理のそれぞれにおいて、図３に示される第１の位相設定〜第４の位相設定のうちのいずれの位相設定を用いて、発光信号と露光信号とを出力するかを示す対応表の一例を示す図である。
図４Ｂに示されるように、ここでは、制御部３は、１セット目、５セット目、及び９セット目において、第１の位相設定によって設定されるタイミングで、発光信号と露光信号とを出力する。また、制御部３は、２セット目、６セット目、及び１０セット目において、第２の位相設定によって設定されるタイミングで、発光信号と露光信号とを出力する。また、制御部３は、３セット目、７セット目、及び１１セット目において、第３の位相設定によって設定されるタイミングで、発光信号と露光信号とを出力する。また、制御部３は、４セット目、８セット目、及び１２セット目において、第４の位相設定によって設定されるタイミングで、発光信号と露光信号とを出力する。
このように、各セットの発光露光処理において、発光信号の出力タイミングと露光信号の出力タイミングとの相対位相関係は維持される一方で、発光信号及び露光信号を生成するために使用される、可変遅延回路３２から出力される遅延クロックは互いに異なる。このため、可変遅延回路３２を構成する各遅延素子３１間の遅延差に起因する、発光信号のパルス幅のずれ、露光信号のパルス幅のずれ、発光信号と露光信号との位相関係のずれによる、Ａ０、Ａ１、Ａ２のばらつきを低減することができる。これにより、測距撮像装置１０は、測距精度の低下を抑制することができる。
なお、１２セットの発光露光処理のそれぞれにおいて、図３に示される第１の位相設定〜第４の位相設定のうちのいずれの位相設定を利用するかは、ランダムに決定されるとしてもよい。
また、一のフレームの撮像動作における各セットの発光露光処理のそれぞれにおいて、図３に示される第１の位相設定〜第４の位相設定のうちの一の位相設定を用いてその一のフレームの撮像動作を行う一方で、互いに異なるフレームの撮像動作毎に、利用する位相設定が決定されるとしてもよい。
次に、測距撮像装置１０の構成について、より詳細に説明する。
図５は、測距撮像装置１０のより詳細な構成の一例を示す機能ブロック図である。
図５に示すように、制御部３は、ＰＬＬ４５と、タイミング制御部４６と、位相調整回路４９とを含んで構成される。タイミング制御部４６は、撮像制御部４７と、発光露光制御部４８とを備える。
撮像制御部４７は、撮像部２と演算部４とを制御する撮像制御信号を生成する。
発光露光制御部４８は、多相遅延信号発生回路３０を備え、光源部１の発光及び撮像部２の露光を制御する信号を作成する。
撮像部２は、受光部４１と、露光駆動部４２と、垂直走査４３と、列処理部４４とを備える。ここで、受光部４１と列処理部４４とは、固体撮像素子２０に含まれる。
受光部４１は、行列状に配置された複数の画素からなる画素アレイを備える。ここで、前述したように、各画素には、露光量を示す信号電荷を蓄積する複数の信号蓄積領域が構成される。信号蓄積領域は、例えば、ＭＩＭ（Ｍｅｔａｌ ＩｎｓｕｌａｔｏｒＭｅｔａｌ）構造の容量などの各種アナログメモリを用いて実現してもよいし、後述するように垂直転送チャネルを用いて実現してもよい。
露光駆動部４２は、制御部３で生成された露光信号が示すタイミングに従って、受光部４１の露光駆動制御を行う。
垂直走査４３は、受光部４１において蓄積された信号電荷を列毎に読み出して、読み出した信号電荷を列処理部４４に順次送る動作を制御する。
列処理部４４は、受光部４１から列毎に送られてくる信号電荷を受けて撮像信号を生成する。
ＰＬＬ４５は、入力クロックを適宜分周、逓倍を行って基本クロックを生成し、撮像制御部４７、発光露光制御部４８に分配する。
発光露光制御部４８は、多相遅延信号発生回路３０を備え、ＰＬＬ４５から分配された基本クロックを基に発光基準信号と露光基準信号とを生成し、位相調整回路４９へ出力する。
位相調整回路４９は、発光基準信号と、光源部１からの発光フィードバック信号との位相を比較して、発光基準信号の位相を調整して発光信号を生成する。ここで、発光フィードバック信号とは、光源部１が発光したことを示す信号である。発光フィードバック信号は、例えば、光源部１の発光素子が発光ダイオードである場合には、発光ダイオードのカソードの信号であってもよい。
また、位相調整回路４９は、露光基準信号と、露光駆動部４２からの露光フィードバック信号との位相を比較して、露光基準信号の位相を調整して露光信号を生成する。ここで、露光フィードバック信号とは、露光駆動部４２が受光部４１の露光駆動を行ったことを示す信号である。露光フィードバック信号は、例えば、露光駆動部４２が、受光部４１の露光駆動を行うための信号を出力するドライバを有する場合には、そのドライバの出力信号であってもよい。
これにより、発光基準信号と露光基準信号とを生成する多相遅延信号発生回路３０における遅延バラツキ、温度変化や経年劣化に起因する光源部１の発光駆動と撮像部２の露光駆動との位相誤差による測距誤差を抑制し、かつ、温度や経年による測距撮像装置１０の状態変化によるともなう光源の発光駆動と撮像部の露光駆動との位相誤差を原因とする測距誤差も能動的に補償することができる。
光源部１は、前述した通り、制御部３が繰り返し出力する発光信号のそれぞれに従って複数回の発光を行う。
撮像部２は、露光駆動部４２が受光部４１を制御して、制御部３が繰り返し出力する露光信号のそれぞれに従って複数回の露光を行い、画素毎に異なる複数の信号蓄積領域に信号電荷を蓄積することで撮像を行う。そして、撮像制御部４７からの撮像制御信号に従って、垂直走査４３は、受光部４１において蓄積された信号電荷を列毎に読み出して、読み出した信号電荷を列処理部４４に順次送る。すると、列処理部４４は、信号電荷を受信して、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行って画素信号を生成し、さらに、生成した画素信号に対して、Ａ／Ｄコンバータにて列毎にデジタル信号に変換し、水平走査を行って、デジタル信号に変換された画素信号を、演算部４に出力する。
演算部４は、撮像部２により生成された撮像信号に基づいて、信号処理部にて演算により、距離信号、輝度信号を生成し、生成した距離信号、輝度信号を、出力インターフェースから出力する。
次に、位相調整回路４９の一例について説明する。
図６は、位相調整回路４９の構成の一例を示すブロック図である。
図６に示すように、位相調整回路４９は、複数のエッジ分離回路５１と、複数の可変シフトレジスタ５２と、複数の位相比較５３と、複数のチャージポンプ５４と、複数のループフィルタ５５と、複数の遅延調整回路５６と、複数のエッジ合成回路３９とを備える。
発光露光制御部４８から出力された発光基準信号と露光基準信号とは、それぞれ、遅延調整回路５６と、可変シフトレジスタ５２を介して位相比較５３とに入力される。
可変シフトレジスタ５２では、それぞれ、位相比較５３における最大位相差が遅延調整回路５６の遅延調整可能範囲内になるように、光源部１の駆動回路における発光信号の遅延量又は撮像部２の露光駆動部４２の遅延量に合わせて、発光基準信号又は露光基準信号のシフト量を設定する。
一方、光源部１からの発光フィードバック信号及び撮像部２の露光駆動部４２からの露光フィードバック信号は、それぞれ、エッジ分離回路５１で前エッジと後エッジとに分離され、それぞれ、位相比較５３に入力される。
位相比較５３では、それぞれ、発光基準信号の前エッジと発光フィードバック信号の前エッジ、発光基準信号の後エッジと発光フィードバック信号の後エッジ、露光基準信号の前エッジと露光フィードバック信号の前エッジ、露光基準信号の後エッジと露光フィードバック信号の後エッジとを位相比較し、位相比較結果に基づいて充電信号又は放電信号をチャージポンプ５４に出力する。
チャージポンプ５４は、それぞれ、位相比較５３からの充電信号又は放電信号に応答してループフィルタ５５へ出力する出力電圧を昇圧又は降圧して遅延調整回路５６の遅延調整電圧を変化させることで遅延調整回路５６の遅延量を調整し、常に位相比較５３における位相差が無いようにフィードバックをかける。これにより、発光基準信号の前エッジ、発光基準信号の後エッジ、露光基準信号の前エッジ、露光基準信号の後エッジの位相が調整される。位相が調整された、発光基準信号の前エッジと発光基準信号の後エッジとは、エッジ合成回路３９で合成されて、発光信号として光源部１に出力される。位相が調整された、露光基準信号の前エッジと露光基準信号の後エッジとは、エッジ合成回路３９で合成されて、露光信号として撮像部２に出力される。
これにより、可変遅延回路３２を構成する遅延素子３１間の遅延差のバラツキ、温度変化や経年劣化に起因する発光信号と露光信号のパルス幅のズレと位相関係のずれによる測距誤差を抑圧し、かつ温度や経年によるカメラの状態変化によるともなう光源の発光駆動と撮像部の露光駆動との位相誤差を原因とする測距誤差も能動的に補償することができる。
次に、固体撮像素子２０の一例について説明する。
図７Ａは、固体撮像素子２０の構成の一例を示すブロック図である。
図７Ａに示すように、固体撮像素子２０は、受光部４１と、列処理部４４とを備える。
受光部４１は、行列状に配置された複数の画素１００からなる画素アレイと、画素アレイの列毎に設けられた垂直転送部１０２と、画素アレイの列毎に設けられた垂直信号線１０４とを備える。
画素１００は、光電変換部１０１と、複数の信号蓄積領域（図７Ａには図示されず）と、読み出し部１０３とを有する。
光電変換部１０１は、例えば、フォトダイオードによって実現され、受光した光を信号電荷に変換する。
複数の信号蓄積領域のそれぞれは、光電変換部１０１で変換された信号電荷を蓄積する領域であって、垂直転送部１０２内にポテンシャルの井戸として形成される。複数の信号蓄積領域は、第１の信号蓄積領域と第２の信号蓄積領域と第３の信号蓄積領域とを少なくとも含む。すなわち、垂直転送部１０２には、画素１００毎に、少なくとも３つのポテンシャルの井戸が形成される。各画素１００の第１の信号蓄積領域、第２の信号蓄積領域、及び、第３の信号蓄積領域には、それぞれ、第１の発光露光処理においてその画素１００で生成された信号電荷、第２の発光露光処理においてその画素１００で生成された信号電荷、及び、第３の発光露光処理においてその画素１００で生成された信号電荷が蓄積される。
読み出し部１０３は、複数の信号蓄積領域の中の特定の信号蓄積領域に蓄積された信号電荷を読み出して、電圧に変換して垂直信号線１０４に出力する。
垂直転送部１０２は、垂直転送チャネルと複数の垂直転送ゲートとを備える。
複数の垂直転送ゲートは、垂直転送チャネルを覆う複数種類の垂直転送電極である。複数の垂直転送ゲートに印加される電圧の組み合わせによって垂直転送チャネル内に、複数の信号蓄積領域として複数のポテンシャルの井戸が形成される。以下、ポテンシャルの井戸をパケットとも呼ぶ。
上記構成の固体撮像素子２０は、一般的なＣＣＤ（Charge Coupled Device）イメージセンサが有する垂直転送部１０２と、一般的なＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが備える読み出し部１０３及び垂直信号線１０４とを併せ持つハイブリッド構成の例となっている。なお、ここでＣＭＯＳイメージセンサとＣＣＤイメージセンサのハイブリッド構成とは、ＣＭＯＳイメージセンサの特徴である垂直信号線に選択的に電圧信号出力する構成と、ＣＣＤイメージセンサの特徴である画素毎の信号蓄積領域として電荷転送路を形成する構成とを併せ持つ構成をいう。
次に画素１００のより具体的な構成例について説明する。
図７Ｂは、画素１００の構成の一例を示すブロック図である。
図７Ｂに示すように、画素１００は、第１の信号蓄積領域Ｐ１と、第２の信号蓄積領域Ｐ２と、第３の信号蓄積領域Ｐ３と、光電変換部１０１と、読み出し部１０３とを含んで構成される。光電変換部１０１には、読み出しゲート６４と、露光制御ゲート６５と、オーバーフロードレイン６６とが設けられている。読み出し部１０３は、浮遊拡散層６１（フローティング・ディフュージョン６１）と、読み出し回路６２と、出力制御ゲート６３とを備える。
第１の信号蓄積領域Ｐ１と、第２の信号蓄積領域Ｐ２と、第３の信号蓄積領域Ｐ３とは、それぞれ、垂直転送部１０２のうちの画素１００に対応する部分にパケットとして形成される。
垂直転送部１０２は、それぞれ、１つの垂直転送チャネル６８と、１つの光電変換部１０１当たり６種類の垂直転送ゲート６７とを有する。６種類の垂直転送ゲート６７のそれぞれは、垂直転送ゲートＶＧ１、垂直転送ゲートＶＧ２、垂直転送ゲートＶＧ３、垂直転送ゲートＶＧ４、垂直転送ゲートＶＧ５、垂直転送ゲートＶＨとも称する。
第１の信号蓄積領域Ｐ１と第２の信号蓄積領域Ｐ２と第３の信号蓄積領域Ｐ３とのそれぞれは、より具体的には、複数の垂直転送ゲート６７に印加される電圧の組み合わせに従って垂直転送チャネル６８内にパケットとして形成される。
図７Ｂにおいて、第１の信号蓄積領域Ｐ１は、垂直転送ゲートＶＨによって形成されるパケットであり、第２の信号蓄積領域Ｐ２は、垂直転送ゲートＶＧ４によって形成されるパケットであり、第３の信号蓄積領域Ｐ３は、垂直転送ゲートＶＧ２によって形成されるパケットである。但し、第１の信号蓄積領域Ｐ１と第２の信号蓄積領域Ｐ２と第３の信号蓄積領域Ｐ３とのそれぞれの位置は、固定的ではなく、信号電荷の順方向または逆方向への垂直転送に伴って上下に移動する。
読み出しゲート６４は、読み出しゲート６４に印加される電圧に応じて、光電変換部１０１で変換された信号電荷を垂直転送部１０２に転送するゲート電極である。より具体的には、読み出しゲート６４は、光電変換部１０１で変換された信号電荷を、垂直転送ゲートＶＧ４によって形成されるパケットに転送する。
露光制御ゲート６５は、露光制御ゲート６５に印加される電圧に応じて、光電変換部１０１の露光を制御する。露光制御ゲート６５には、例えば、アクティブローの（つまり負論理の）パルスを有する露光制御信号が入力される。例えば、露光制御信号がハイレベルのときは、露光制御ゲート６５は、光電変換部１０１の信号電荷をオーバーフロードレイン６６に放出し、光電変換部１０１による光電変換を無効にする。つまり、露光制御ゲート６５は、光電変換部１０１をクリアした状態にして、光電変換部１０１が露光していない状態と同じにする。また、例えば、露光制御信号がローレベルのときは、露光制御ゲート６５は、光電変換部１０１を受光量に応じて信号電荷を発生する露光状態にする。露光制御信号がローレベルの期間は、光電変換部１０１が露光状態にあり、かつ、読み出しゲート６４が開いていれば（読み出しゲート６４に印加される電圧がハイレベルであれば）、光電変換部１０１で変換された信号電荷は、読み出しゲート６４を介して垂直転送ゲートＶＧ４によって形成されるパケットに転送および蓄積される。
オーバーフロードレイン６６は、光電変換部１０１の信号電荷を半導体基板の深さ方向（つまり裏面側）に放出するための領域である。
出力制御ゲート６３は、垂直転送ゲートＶＨによって形成されるパケットの信号電荷を、浮遊拡散層６１に転送するためのゲート電極である。
浮遊拡散層６１は、垂直転送ゲートＶＨによって形成されるパケットから出力制御ゲート６３を介して転送された信号電荷を電圧に変換する。
読み出し回路６２は、浮遊拡散層６１で電圧に変換された信号を垂直信号線１０４に出力する。読み出し回路６２は、例えば、選択トランジスタおよび増幅トランジスタを有する。増幅トランジスタは、垂直信号線１０４に接続された負荷回路と共にソースフォロワ回路を構成する。
固体撮像素子２０は、上記構成により、列処理動作による高速化と信号蓄積領域に垂直転送チャネルを使用することによる低暗電流化とを同時に実現するので、動きの速い対象物を高精度に測距することが可能となる。
なお、ここでは、固体撮像素子２０は、一例として、一般的なＣＣＤイメージセンサが有する垂直転送部１０２と、一般的なＣＭＯＳイメージセンサが備える読み出し部１０３及び垂直信号線１０４とを併せ持つハイブリッド構成であるとして説明した。しかしながら固体撮像素子２０は、必ずしも、上記ハイブリッド構成の例に限定される必要はなく、他の構成であってもよい。固体撮像素子２０は、例えば、ＣＣＤイメージセンサにより実現されてもよいし、ＣＭＯＳイメージセンサにより実現されてもよいし、光電変換膜を備えるイメージセンサにより実現されてもよい。
以下、上記構成の測距撮像装置１０について考察する。
上述した通り、測距撮像装置１０は、上記構成により、発光タイミングと露光タイミングとの位相誤差に起因する、第１の発光露光処理による露光量の総和Ａ０、第２の発光露光処理による露光量の総和Ａ１、及び、第３の発光露光処理による露光量の総和Ａ２のばらつきを低減することができる。そして、測距撮像装置１０は、これらばらつきが低減されたＡ０、Ａ１、及びＡ２を用いて、対象物までの距離Ｌを算出する。従って、測距撮像装置１０は、発光タイミングと露光タイミングとの位相誤差に起因する測距精度の低下を抑制することができる。
以上、本開示に係る測距撮像装置及び固体撮像素子について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、実施の形態に対して本開示の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示に係る測距撮像装置及び固体撮像素子を内蔵した各種機器も本開示に含まれる。
本開示に係る測距撮像装置及び固体撮像素子は、対象物を撮像する撮像装置等に広く利用可能である。
１ 光源部
２ 撮像部
３ 制御部
４ 演算部
１０ 撮像装置（測距撮像装置）
２０ 固体撮像素子
３０ 多相遅延信号発生回路
３１ 遅延素子
３２ 可変遅延回路
３３ 位相比較回路
３４ 遅延制御回路
３５ チャージポンプ回路
３６ ローパスフィルタ
３７ 電圧制御回路
３８ 選択回路
３９ エッジ合成回路
４１ 受光部
４２ 露光駆動部
４３ 垂直走査
４４ 列処理部
４５ ＰＬＬ
４６ タイミング制御部
４７ 撮像制御部
４８ 発光露光制御部
４９ 位相調整回路
５１ エッジ分離回路
５２ 可変シフトレジスタ
５３ 位相比較
５４ チャージポンプ
５５ ループフィルタ
５６ 遅延調整回路
６１ 浮遊拡散層（フローティング・ディフュージョン）
６２ 読み出し回路
６３ 出力制御ゲート
６４ 読み出しゲート
６５ 露光制御ゲート
６６ オーバーフロードレイン
６７、ＶＧ１、ＶＧ２、ＶＧ３、ＶＧ４、ＶＧ５、ＶＨ 垂直転送ゲート
６８ 垂直転送チャネル
１００ 画素
１０１ 光電変換部
１０２ 垂直転送部
１０３ 読み出し部
１０４ 垂直信号線

Claims (12)

  1. 発光を指示する発光信号の出力と、露光を指示する露光信号の出力とを繰り返し行う制御部と、
    前記制御部が繰り返し出力する前記発光信号のそれぞれに従って複数回の発光を行う光源部と、
    前記制御部が繰り返し出力する前記露光信号のそれぞれに従って複数回の露光を行う固体撮像素子を有し、当該複数回の露光により撮像信号を生成する撮像部とを備え、
    前記制御部は、互いに位相が異なる複数の遅延クロックを生成する多相遅延信号発生回路を有し、当該複数の遅延クロックを用いて、前記発光信号と前記露光信号との出力を繰り返し行う
    測距撮像装置。
  2. 前記制御部は、基本クロックを基準とする、前記発光信号の出力タイミング及び前記露光信号の出力タイミングの位相差を設定する２つ以上の位相設定の中から、逐次利用する位相設定を更新する
    請求項１に記載の測距撮像装置。
  3. 前記２つ以上の位相設定のそれぞれを、前記基本クロックと露光信号の出力タイミングとの位相差が小さい方から順に、第１の位相設定〜第ｋ（ｋは２以上の整数）の位相設定とする場合において、任意のｋについて、第ｋ−１の位相設定における露光信号の出力タイミングと、第ｋの位相設定における露光信号の出力タイミングとの位相差が、前記基本クロックの１サイクルの１／ｋとなる
    請求項２に記載の測距撮像装置。
  4. 前記制御部は、前記２つ以上の位相設定の中から一の位相設定を用いて、前記発光信号の出力と前記露光信号の出力とを繰り返し行う第１のセットを複数回行い、前記２つ以上の位相設定の中から他の一の位相設定を用いて、前記発光信号の出力と前記露光信号の出力とを繰り返し行う第２のセットを、前記第１のセットを行う回数と同数回の複数回行う
    請求項２又は３に記載の測距撮像装置。
  5. 前記制御部は、前記逐次利用する位相設定の更新を、一のフレームの露光期間内において行う
    請求項２又は３に記載の測距撮像装置。
  6. 前記制御部は、前記逐次利用する位相設定の更新を、互いに異なるフレームの露光期間の切り替えの際に行う
    請求項２又は３に記載の測距撮像装置。
  7. 前記制御部は、前記発光信号の出力と前記露光信号の出力との複数の繰り返しにおいて、前記発光信号の出力タイミングと前記露光信号の出力タイミングとの相対位相関係を維持し、
    更に、互いに前記相対位相関係が等しい２つ以上の位相設定の中から、前記逐次利用する位相設定を更新する
    請求項２〜６のいずれか１項に記載の測距撮像装置。
  8. 前記多相遅延信号発生回路は、ＤＬＬ回路である
    請求項１〜７のいずれか１項に記載の測距撮像装置。
  9. 前記多相遅延信号発生回路は、
    前記基本クロックを順次遅延させ、前記複数の遅延クロックを生成する可変遅延回路と、
    前記複数の遅延クロックのいずれか１つ又は前記基本クロックである第１の基準クロックと、前記複数の遅延クロックのいずれか１つであって、前記第１の基準クロックよりも位相が遅れた遅延クロックである第２の基準クロックとが入力され、前記第１の基準クロックと前記第２の基準クロックとの電圧レベルに基づいて、前記基本クロックの１サイクルの範囲内における前記第１の基準クロックと前記第２の基準クロックとの位相を比較する位相比較回路と、
    前記位相比較回路による比較結果に基づいて、前記可変遅延回路における前記基本クロックの順次遅延における遅延量を制御する遅延制御回路と、
    前記可変遅延回路により生成された前記複数の遅延クロックから、１以上の遅延クロックを選択して出力する選択回路と、を備える
    請求項８に記載の測距撮像装置。
  10. さらに、前記撮像信号に基づいて、被写体までの距離の情報を含む距離信号を出力する演算部を備える
    請求項１〜９のいずれか１項に記載の測距撮像装置。
  11. 前記固体撮像素子は、行列状に配置される複数の画素からなる画素アレイを備え、
    前記複数の画素のそれぞれは、受光した光を電荷に変換する光電変換部と、前記光電変換部により変換された電荷を読み出す読み出しゲートとを有し、
    前記画素アレイは、列毎に、前記読み出しゲートにより読み出された電荷を、列方向に転送する垂直転送部を有する
    請求項１〜１０のいずれか１項に記載の測距撮像装置。
  12. 発光を指示する発光信号の出力と、露光を指示する露光信号の出力とを繰り返し行う制御部であって、互いに位相が異なる複数の遅延クロックを生成する多相遅延信号発生回路を有し、当該複数の遅延クロックを用いて、前記発光信号と前記露光信号との出力を繰り返し行う制御部と、前記制御部が繰り返し出力する前記発光信号のそれぞれに従って複数回の発光を行う光源部と、撮像信号を生成する撮像部とを備える測距撮像装置における前記撮像部に含まれ、前記制御部が繰り返し出力する前記露光信号のそれぞれに従って複数回の露光を行う
    固体撮像素子。
JP2020545993A 2018-09-11 2019-09-06 測距撮像装置、及び固体撮像素子 Active JP7356440B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862729957P 2018-09-11 2018-09-11
US62/729,957 2018-09-11
PCT/JP2019/035218 WO2020054617A1 (ja) 2018-09-11 2019-09-06 測距撮像装置、及び固体撮像素子

Publications (2)

Publication Number Publication Date
JPWO2020054617A1 true JPWO2020054617A1 (ja) 2021-09-09
JP7356440B2 JP7356440B2 (ja) 2023-10-04

Family

ID=69776770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020545993A Active JP7356440B2 (ja) 2018-09-11 2019-09-06 測距撮像装置、及び固体撮像素子

Country Status (3)

Country Link
JP (1) JP7356440B2 (ja)
CN (1) CN112689777B (ja)
WO (1) WO2020054617A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199519B (zh) * 2021-10-31 2024-04-16 昆山丘钛光电科技有限公司 一种测试装置及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069927A (ja) * 2003-08-26 2005-03-17 Nec Viewtechnology Ltd 距離測定器および距離測定方法
WO2008047640A1 (fr) * 2006-10-18 2008-04-24 Panasonic Electric Works Co., Ltd. Dispositif de détection d'informations spatiales
JP2013200186A (ja) * 2012-03-23 2013-10-03 Honda Motor Co Ltd 測距システム
WO2016189808A1 (ja) * 2015-05-28 2016-12-01 パナソニックＩｐマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
US20160365846A1 (en) * 2015-06-15 2016-12-15 David Wyland Precision measurements and calibrations for timing generators
US20170041589A1 (en) * 2015-08-06 2017-02-09 Texas Instruments Incorporated Non-linearity correction in phase-to-depth conversion in 3d time of flight systems
WO2019123738A1 (ja) * 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 センサチップ、電子機器、及び装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6424338B2 (ja) * 2014-06-09 2018-11-21 パナソニックＩｐマネジメント株式会社 測距装置
EP3361283A4 (en) * 2015-10-09 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and solid-state image element used for same
EP3379291A4 (en) * 2015-11-16 2018-12-05 Panasonic Intellectual Property Management Co., Ltd. Imaging device and solid-state imaging element used in same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069927A (ja) * 2003-08-26 2005-03-17 Nec Viewtechnology Ltd 距離測定器および距離測定方法
WO2008047640A1 (fr) * 2006-10-18 2008-04-24 Panasonic Electric Works Co., Ltd. Dispositif de détection d'informations spatiales
JP2013200186A (ja) * 2012-03-23 2013-10-03 Honda Motor Co Ltd 測距システム
WO2016189808A1 (ja) * 2015-05-28 2016-12-01 パナソニックＩｐマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
US20160365846A1 (en) * 2015-06-15 2016-12-15 David Wyland Precision measurements and calibrations for timing generators
US20170041589A1 (en) * 2015-08-06 2017-02-09 Texas Instruments Incorporated Non-linearity correction in phase-to-depth conversion in 3d time of flight systems
WO2019123738A1 (ja) * 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 センサチップ、電子機器、及び装置

Also Published As

Publication number Publication date
CN112689777A (zh) 2021-04-20
JP7356440B2 (ja) 2023-10-04
US20210190955A1 (en) 2021-06-24
WO2020054617A1 (ja) 2020-03-19
CN112689777B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
JP6501403B2 (ja) イメージセンサ
US9838654B2 (en) Solid-state imaging device, driving method, and electronic device
JP5868065B2 (ja) 撮像装置
TWI394448B (zh) 固態成像裝置，成像裝置及固態成像裝置之驅動方法
JP6485674B1 (ja) 固体撮像装置、及びそれを備える撮像装置
US7817200B2 (en) Solid-state image-capturing device, driving method thereof, camera, electric charge transfer device, driving method and driving device for driving load, and electronic equipment
WO2016013412A1 (ja) 固体撮像素子、撮像制御方法、信号処理方法、及び、電子機器
JP4506684B2 (ja) 負荷を駆動する駆動方法および駆動装置、並びに電子機器
JP2014140152A (ja) 撮像装置の駆動方法、デジタル信号の補正方法、撮像装置、撮像システムの駆動方法、撮像システム
US20140253752A1 (en) Imaging apparatus, method for driving imaging apparatus, imaging system, and driving method for imaging system
US7884856B2 (en) Imaging apparatus and exposure control method thereof
JP7356440B2 (ja) 測距撮像装置、及び固体撮像素子
JP7426339B2 (ja) 撮像装置、それに用いられる固体撮像素子及び撮像方法
US12019158B2 (en) Distance-measuring imaging device and solid-state imaging element
US10616517B2 (en) Imaging apparatus
WO2021172364A1 (ja) 固体撮像装置および撮像装置
US10165216B2 (en) Imaging device, camera system, and imaging method
US10623642B2 (en) Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
WO2019054100A1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP7279746B2 (ja) 撮像ユニットおよび撮像装置
US20240107199A1 (en) Photoelectric conversion device, control method, and storage medium
JP6485676B1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP6547265B2 (ja) 撮像素子および撮像装置
JP2021034869A (ja) 撮像装置および撮像装置の制御方法
JP2019092109A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7356440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150