JPWO2019123738A1 - センサチップ、電子機器、及び装置 - Google Patents

センサチップ、電子機器、及び装置 Download PDF

Info

Publication number
JPWO2019123738A1
JPWO2019123738A1 JP2019537387A JP2019537387A JPWO2019123738A1 JP WO2019123738 A1 JPWO2019123738 A1 JP WO2019123738A1 JP 2019537387 A JP2019537387 A JP 2019537387A JP 2019537387 A JP2019537387 A JP 2019537387A JP WO2019123738 A1 JPWO2019123738 A1 JP WO2019123738A1
Authority
JP
Japan
Prior art keywords
delay
sensor chip
control
light
delay amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019537387A
Other languages
English (en)
Other versions
JP7177066B2 (ja
Inventor
康大 篠塚
康大 篠塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2019123738A1 publication Critical patent/JPWO2019123738A1/ja
Application granted granted Critical
Publication of JP7177066B2 publication Critical patent/JP7177066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14634Assemblies, i.e. Hybrid structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14636Interconnect structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】距離の測定に係る処理の分解能に起因して生じる誤差の影響をより低減可能とする。【解決手段】光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、前記受光量に基づいて前記被写体までの距離を測定する測定部と、制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のうちの少なくともいずれかを、前記受光部が前記受光量を検出する第1のタイミングの制御に適用することで、当該第1のタイミングと前記光源が光を投光する第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量に応じて、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、を備える、センサチップ。【選択図】図30

Description

本開示は、センサチップ、電子機器、及び装置に関する。
近年、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサや、ToF(Time of Flight)センサ、蛍光発光検出センサなどのセンサチップでは、高速に制御を行うことが求められている。例えば、1MHzの変調周波数を超えるような高速駆動が求められセンサチップでは、サブμ秒または10n秒のオーダで制御信号のパルスを制御することが必要となる。
例えば、特許文献1には、測定情報をランダムに出力することにより、三次元画像で測定されているオブジェクトを追跡する信号処理などを、すぐに遂行することができるToFセンサが開示されている。
特開2012−049547号公報
ところで、上記ToFセンサを利用して測距を行う場合には、測距の対象となる物体(被写体)に対する光の投光に係る動作と、当該物体で反射した光の検出に係る動作とを同期させる場合がある。このような場合においては、距離の測定に際し、当該同期に係る処理の分解能に起因して生じる誤差が測距結果の誤差として顕在化し、ひいては当該測定の精度に影響を及ぼす場合がある。
そこで、本開示では、距離の測定に係る処理の分解能に起因して生じる誤差の影響をより低減可能とする技術を提案する。
本開示によれば、光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、前記受光量に基づいて前記被写体までの距離を測定する測定部と、制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のうちの少なくともいずれかを、前記受光部が前記受光量を検出する第1のタイミングの制御に適用することで、当該第1のタイミングと前記光源が光を投光する第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量に応じて、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、を備える、センサチップが提供される。
また、本開示によれば、光源と、前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、前記受光量に基づいて前記被写体までの距離を測定する測定部と、制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、を備える、電子機器が提供される。
また、本開示によれば、光源と、前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、前記受光量に基づいて前記被写体までの距離を測定する測定部と、制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、を備える、装置が提供される。
以上説明したように本開示によれば、距離の測定に係る処理の分解能に起因して生じる誤差の影響をより低減可能とする技術が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本技術を適用したセンサチップの第1の実施の形態の構成例を示すブロック図である。 グローバル制御回路の構成例を示す図である。 ローリング制御回路の構成例を示す図である。 図1のセンサチップの第1の変形例を示すブロック図である。 図1のセンサチップの第2の変形例を示すブロック図である。 センサチップの第2の実施の形態の構成例を示すブロック図である。 センサチップの第3の実施の形態の構成例を示す斜視図である。 センサチップの第3の実施の形態の構成例を示すブロック図である。 図8のセンサチップの第1の変形例を示すブロック図である。 図8のセンサチップの第2の変形例を示すブロック図である。 センサチップの第4の実施の形態の構成例を示すブロック図である。 センサチップの第5の実施の形態の構成例を示すブロック図である。 センサチップの第6の実施の形態の構成例を示す斜視図である。 センサチップの第6の実施の形態の構成例を示すブロック図である。 図14のセンサチップの第1の変形例を示すブロック図である。 図14のセンサチップの第2の変形例を示すブロック図である。 図14のセンサチップの第3の変形例を示すブロック図である。 図14のセンサチップの第4の変形例を示すブロック図である。 図14のセンサチップの第5の変形例を示すブロック図である。 図14のセンサチップの第6の変形例を示すブロック図である。 図14のセンサチップの第7の変形例を示すブロック図である。 図14のセンサチップの第8の変形例を示すブロック図である。 センサチップの第7の実施の形態の構成例を示す斜視図である。 図23のセンサチップの第1の変形例を示す斜視図である。 図23のセンサチップの第2の変形例を示す斜視図である。 センサチップの第8の実施の形態の構成例、および、その変形例を示すブロック図である。 撮像装置の構成例を示すブロック図である。 間接ToFによる測距の原理について概要を説明するための説明図である。 比較例に係る距離画像センサの動作制御の一例について説明するための説明図である。 本開示の一実施形態に係る距離画像センサの制御の基本思想について説明するための説明図である。 同実施形態に係る距離画像センサの第1の制御例について説明するための説明図である。 同実施形態に係る距離画像センサの第1の制御例について説明するための説明図である。 同実施形態に係る距離画像センサの第2の制御例について説明するための説明図である。 同実施形態に係る距離画像センサの第2の制御例について説明するための説明図である。 同実施形態に係る距離画像センサに適用可能な可変遅延回路の概略的な構成の一例を示した図である。 同実施形態に係る距離画像センサに適用可能な可変遅延回路の概略的な構成の一例を示した図である。 同実施形態に係る距離画像センサに適用可能な可変遅延回路の概略的な構成の一例を示した図である。 同実施形態に係る距離画像センサに適用可能な可変遅延回路の概略的な構成の一例を示した図である。 同実施形態に係る距離画像センサの第1の構成例について示した機能ブロック図である。 同実施形態に係る距離画像センサの第2の構成例について示した機能ブロック図である。 同一実施形態に係る距離画像センサの第3の構成例について示した機能ブロック図である。 イメージセンサを使用する使用例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.構成例
2.ToFの概要
3.技術的特徴
4.使用例及び応用例
5.むすび
<<1.構成例>>
まず、本開示の一実施形態に係る距離画像センサに適用されるセンサチップの構成の一例と、当該距離画像センサの構成の一例と、についてそれぞれ説明する。
<センサチップの第1の構成例>
図1は、本技術を適用したセンサチップの第1の実施の形態の構成例を示すブロック図である。
図1に示すように、センサチップ11は、ピクセルアレイ部12、グローバル制御回路13、ローリング制御回路14、カラムADC(Analog-to-Digital Converter)15、および、入出力部16が、半導体基板に配置されて構成される。
ピクセルアレイ部12は、センサチップ11の機能に応じた様々なセンサ素子が、例えば、光を光電変換する光電変換素子が、アレイ状に配置された矩形形状の領域である。図1に示す例では、ピクセルアレイ部12は、横方向に長辺が設けられ、縦方向に短辺が設けられた横長の長方形の領域となっている。
グローバル制御回路13は、ピクセルアレイ部12に配置される複数のセンサ素子が略同一のタイミングで一斉に(同時的に)駆動するように制御するグローバル制御信号を出力する制御回路である。図1に示す構成例では、グローバル制御回路13は、その長手方向がピクセルアレイ部12の長辺に沿うように、ピクセルアレイ部12の上辺側に配置される。従って、センサチップ11では、グローバル制御回路13から出力されるグローバル制御信号をピクセルアレイ部12のセンサ素子に供給する制御線21は、ピクセルアレイ部12に行列状に配置されるセンサ素子の列ごとに、ピクセルアレイ部12の上下方向に向かって配置される。
ローリング制御回路14は、ピクセルアレイ部12に配置される複数のセンサ素子が行ごとに次々と順番に(逐次的に)駆動するように制御するローリング制御信号を出力する制御回路である。図1に示す構成例では、ローリング制御回路14は、その長手方向がピクセルアレイ部12の短辺に沿うように、ピクセルアレイ部12の右辺側に配置される。
カラムADC15は、ピクセルアレイ部12のセンサ素子から出力されるアナログのセンサ信号を列ごとに並列的にデジタル値にAD(Analog-to-Digital)変換する。このとき、カラムADC15は、例えば、センサ信号に対してCDS(Correlated Double Sampling:相関2重サンプリング)処理を施すことによって、センサ信号に含まれるリセットノイズを除去することができる。
入出力部16には、センサチップ11と外部回路との間で入出力を行うための端子が設けられており、例えば、入出力部16を介して、グローバル制御回路13の駆動に必要な電力がセンサチップ11に入力される。図1に示す構成例では、入出力部16は、グローバル制御回路13に隣接するように、グローバル制御回路13に沿って配置される。例えば、グローバル制御回路13は消費電力が大きいことより、IRドロップ(電圧降下)の影響を低減するために、入出力部16はグローバル制御回路13の近傍に配置することが好ましい。
このようにセンサチップ11は構成されており、グローバル制御回路13がピクセルアレイ部12の長辺に沿うように配置されるレイアウトが採用される。これにより、センサチップ11は、グローバル制御回路13から制御線21の遠端(図1の例では下端)に配置されるセンサ素子までの距離を、例えば、グローバル制御回路13がピクセルアレイ部12の短辺に沿うように配置されるレイアウトよりも短くすることができる。
従って、センサチップ11は、グローバル制御回路13から出力されるグローバル制御信号に発生する遅延量およびスルーレートを改善することができるため、より高速にセンサ素子に対する制御を行うことができる。特に、センサチップ11がグローバルシャッタ駆動を行うイメージセンサである場合、画素に供給する転送信号やリセット信号、オーバーフローゲート信号などの高速制御が可能となる。また、センサチップ11がToFセンサである場合には、MIX信号の高速制御が可能となる。
例えば、ToFセンサや蛍光発光検出センサなどでは、グローバル制御信号のスルーレートや、駆動素子からの距離に応じて発生するグローバル制御信号の遅延量などが、センサ素子ごとに違うものになると、検出誤差となってしまう。これに対し、センサチップ11は、上述したように、グローバル制御信号に発生する遅延量およびスルーレートを改善することができるので、そのような検出誤差を抑制することができる。
また、センサチップ11がToFセンサや蛍光発光検出センサなどである場合、露光期間に100回を超えるような複数回のオン/オフ制御が必要になるだけでなく、トグル周波数が高いため消費電流が大きくなってしまう。これに対し、センサチップ11は、上述したように入出力部16をグローバル制御回路13の近傍に配置して、電源を独立した配線とすることができる。
また、センサチップ11では、露光期間において、グローバル制御回路13が動作することが多いのに対し、ローリング制御回路14は停止している。一方、センサチップ11では、読み出し期間において、ローリング制御回路14が動作しているのに対し、グローバル制御回路13が停止していることが多い。そのため、センサチップ11では、グローバル制御回路13とローリング制御回路14とを独立して制御することが求められる。さらに、センサチップ11では、面内同時性を担保するために、グローバル制御回路13において、後述の図2Cに示すようなクロックツリー構造を採用することが一般的であるため、ローリング制御回路14とは独立して配置することが好ましい。
従って、センサチップ11のように、より高速な制御を行うことが求められる場合、グローバル制御回路13とローリング制御回路14とを独立して個別に配置するレイアウトとすることで、より良好な制御を行うことができる。なお、グローバル制御回路13とローリング制御回路14とが独立して個別に配置されていれば、同一方向に沿うようなレイアウト、および、互いに直交するようなレイアウトのどちらを採用してもよい。
なお、本実施の形態では、図示する構成例に従って、図の上側をピクセルアレイ部12の上辺とし、図の下側をピクセルアレイ部12の下辺として説明するが、例えば、グローバル制御回路13は、ピクセルアレイ部12の長辺に沿うように配置されていれば、その上辺側および下辺側のどちらに配置されていても同様の作用効果を得ることができる。また、ピクセルアレイ部12およびカラムADC15についても同様である。
図2を参照して、グローバル制御回路13の構成について説明する。
図2Aには、グローバル制御回路13の第1の構成例が示されており、図2Bには、グローバル制御回路13の第2の構成例が示されており、図2Cには、グローバル制御回路13の第3の構成例が示されている。なお、グローバル制御回路13は、ピクセルアレイ部12に配置されるセンサ素子の列数に応じたグローバル制御信号を同時的に出力するように構成されているが、図2においては、その一部として、8つのグローバル制御信号を同時的に出力する構成が概略的に図示されている。
図2Aに示すグローバル制御回路13は、1個の内部バッファ31と、8個の駆動素子32a乃至32hとを備えて構成される。
図示するように、グローバル制御回路13は、長手方向に沿って設けられる内部配線の一端に内部バッファ31が接続され、図1の制御線21の位置に応じて一方向に向かって、駆動素子32a乃至32hが内部配線に接続される接続構成となっている。従って、グローバル制御回路13に入力されるグローバル制御信号は、内部バッファ31を介して内部配線の一端側(図2の例では左側)から駆動素子32a乃至32hに供給され、それぞれに接続される制御線21に同時的に出力される。
図2Bに示すグローバル制御回路13Aは、2個の内部バッファ31aおよび31bと、8個の駆動素子32a乃至32hとを備えて構成される。
図示するように、グローバル制御回路13Aは、グローバル制御回路13Aの長手方向に沿って設けられる内部配線の両端に内部バッファ31aおよび31bが接続され、図1の制御線21の位置に応じて一方向に向かって、駆動素子32a乃至32hが内部配線に接続される接続構成となっている。従って、グローバル制御回路13Aに入力されるグローバル制御信号は、内部バッファ31aおよび31bを介して内部配線の両端から駆動素子32a乃至32hに供給され、それぞれに接続される制御線21に同時的に出力される。
図2Cに示すグローバル制御回路13Bは、7個の内部バッファ31a乃至31gと、8個の駆動素子32a乃至32hとを備えて構成される。
図示するように、グローバル制御回路13Bは、内部バッファ31a乃至31gによりクロックツリー構造が構成され、最終段において、制御線21の位置に応じて一方向に向かって配置される駆動素子32a乃至32hに接続される接続構成となっている。例えば、クロックツリー構造は、1段目において、1つの内部バッファ31の出力が2つの内部バッファ31に入力され、2段目において、それらの2つの内部バッファ31の入力が4つの内部バッファ31に入力されるという構成が、複数段において繰り返される構造である。従って、グローバル制御回路13Bに入力されるグローバル制御信号は、内部バッファ31a乃至31gからなるクロックツリー構造を介して駆動素子32a乃至32hに供給され、それぞれに接続される制御線21に同時的に出力される。
このような構成のグローバル制御回路13Bは、駆動素子32a乃至32hどうしの間における遅延の発生を回避することができ、例えば、グローバル制御回路13および13Aと比較して、面内均一性を担保することができる。即ち、グローバル制御回路13Bは、駆動素子32が並ぶ方向に亘って、同時性が強く求められる用途に採用することが好適である。
図3を参照して、ローリング制御回路14の構成について説明する。
図3Aには、ローリング制御回路14の第1の構成例が示されており、図3Bには、ローリング制御回路14の第2の構成例が示されている。なお、ローリング制御回路14は、ピクセルアレイ部12に配置されるセンサ素子の行数に応じたローリング制御信号を逐次的に出力するように構成されているが、図3においては、その一部として、8つのローリング制御信号を逐次的に出力する構成が概略的に図示されている。
図3Aに示すローリング制御回路14は、シフトレジスタ方式を採用しており、2個の内部バッファ41および42、8個のレジスタ43a乃至43h、並びに8個の駆動素子44a乃至44hを備えて構成される。なお、簡易化のため、2個の内部バッファ41および42が配置されている構成例を示しているが、内部バッファの配線長などに応じて、複数個の内部バッファを配置する構成を採用してもよい。
図示するように、ローリング制御回路14は、長手方向に沿って設けられる内部配線の一端に内部バッファ41が接続され、ピクセルアレイ部12に配置されるセンサ素子の行の位置に応じて、その内部配線にレジスタ43a乃至43hが接続される接続構成となっている。また、ローリング制御回路14は、内部バッファ42がレジスタ43aに接続され、レジスタ43a乃至43hが順次接続されるとともに、レジスタ43a乃至43hに駆動素子44a乃至44hがそれぞれ接続される接続構成となっている。
従って、ローリング制御回路14では、内部バッファ42を介してレジスタ43aに供給されるスタートパルスが、内部バッファ41を介して供給されるクロックに従って、レジスタ43a乃至43hに順次シフトされ、レジスタ43a乃至43hそれぞれに接続される駆動素子44a乃至44hからローリング制御信号として逐次的に出力される。
図3Bに示すローリング制御回路14Aは、デコーダ方式を採用しており、2個の内部バッファ41および42、デコーダ45、8個のANDゲート46a乃至46h、並びに8個の駆動素子44a乃至44hを備えて構成される。なお、デコーダ45には、ラッチを含む方式、および、ラッチを含まない方式のどちらを用いてもよい。例えば、デコーダ45が、信号をラッチする方式では、アドレスを1度で送る方式や、アドレスを分割して送る方式などを採用することができる。
図示するように、ローリング制御回路14Aは、内部バッファ41がデコーダ45に接続されており、内部バッファ42がANDゲート46a乃至46hの入力端に接続されるとともに、デコーダ45が行ごとにANDゲート46a乃至46hの入力端に接続される。そして、ローリング制御回路14Aは、ANDゲート46a乃至46hの出力端が、それぞれ駆動素子44a乃至44hに接続される接続構成となっている。
従って、ローリング制御回路14Aでは、内部バッファ42を介してANDゲート46a乃至46hに供給されるパルスが、内部バッファ41を介してデコーダ45に供給されるアドレスで指定された行の駆動素子44a乃至44hからローリング制御信号として逐次的に出力される。
図2および図3を参照して説明したように、グローバル制御回路13およびローリング制御回路14は、それぞれ異なる回路構成となっている。
図4は、図1に示したセンサチップ11の第1の変形例を示すブロック図である。なお、図4に示すセンサチップ11−aを構成するブロックのうち、図1のセンサチップ11と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図4に示すように、センサチップ11−aは、ピクセルアレイ部12、ローリング制御回路14、カラムADC15、および、入出力部16の配置は、図1のセンサチップ11と共通する構成となっている。
一方、センサチップ11−aは、2個のグローバル制御回路13−1および13−2がピクセルアレイ部12の上辺および下辺にそれぞれ沿うように配置されており、制御線21の両端に駆動素子32−1および32−2が接続される点で、図1のセンサチップ11と異なる構成となっている。即ち、センサチップ11−aは、グローバル制御回路13−1が有する駆動素子32−1が制御線21の上端からグローバル制御信号を供給し、グローバル制御回路13−2が有する駆動素子32−2が制御線21の下端からグローバル制御信号を供給するように構成される。
このように構成されるセンサチップ11−aは、2個の駆動素子32−1および駆動素子32−2間のスキューを抑制することができ、制御線21を介して伝播されるグローバル制御信号に発生する遅延時間のバラツキを解消することができる。これにより、センサチップ11−aでは、より高速にセンサ素子に対する制御を行うことができる。なお、センサチップ11−aでは、貫通電流が発生することがないようにグローバル制御信号の出力の遅延差が大きくなることを回避するように制御を行う必要がある。
図5は、図1に示したセンサチップ11の第2の変形例を示すブロック図である。なお、図5に示すセンサチップ11−bを構成するブロックのうち、図1のセンサチップ11と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図5に示すように、センサチップ11−bは、ピクセルアレイ部12、ローリング制御回路14、カラムADC15、および、入出力部16の配置は、図1のセンサチップ11と共通する構成となっている。
一方、センサチップ11−bは、2個のグローバル制御回路13−1および13−2がピクセルアレイ部12の上辺および下辺にそれぞれ沿うように配置されるとともに、ピクセルアレイ部12に行列状に配置されるセンサ素子の列の中央で分離されるように、2本の制御線21−1および21−2が配置される点で、図1のセンサチップ11と異なる構成となっている。そして、センサチップ11−bでは、制御線21−1の上端に駆動素子32−1が接続され、制御線21−2の下端に駆動素子32−2が接続されている。
従って、センサチップ11−bは、ピクセルアレイ部12の中央より上側に配置されるセンサ素子には、グローバル制御回路13−1が有する駆動素子32−1が制御線21−1の上端からグローバル制御信号を供給するように構成される。また、センサチップ11−bは、ピクセルアレイ部12の中央より下側に配置されるセンサ素子には、グローバル制御回路13−2が有する駆動素子32−2が制御線21−2の下端からグローバル制御信号を供給するように構成される。
このように構成されるセンサチップ11−bは、駆動素子32−1から制御線21−1の遠端(図5の例では下端)に配置されるセンサ素子までの距離、および、駆動素子32−2から制御線21−2の遠端(図5の例では上端)に配置されるセンサ素子までの距離を、例えば、図1のセンサチップ11よりも短くすることができる。これにより、センサチップ11−bは、グローバル制御回路13−1および13−2から出力されるグローバル制御信号に発生する遅延量およびスルーレートをさらに低減することができるため、さらに高速にセンサ素子に対する制御を行うことができる。
<センサチップの第2の構成例>
図6を参照して、本技術を適用したセンサチップの第2の実施の形態について説明する。なお、図6に示すセンサチップ11Aを構成するブロックのうち、図1のセンサチップ11と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
図6に示すように、センサチップ11Aは、ピクセルアレイ部12A、グローバル制御回路13A、ローリング制御回路14A、カラムADC15A、および、入出力部16Aが、半導体基板に配置されて構成される。
そして、センサチップ11Aでは、ピクセルアレイ部12Aが、縦方向に長辺が設けられ、横方向に短辺が設けられた縦長の長方形の領域となっている点で、図1のセンサチップ11と異なる構成となっている。従って、センサチップ11Aでは、グローバル制御回路13Aおよび入出力部16Aが、ピクセルアレイ部12Aの長辺に沿うように、ピクセルアレイ部12Aの左辺側に配置される。これに伴い、制御線21Aは、ピクセルアレイ部12Aに行列状に配置されるセンサ素子の行ごとに、ピクセルアレイ部12Aの左右方向に向かって配置される。
また、センサチップ11Aでは、ローリング制御回路14Aが、ピクセルアレイ部12Aの長辺に沿うように、ピクセルアレイ部12Aの右辺側(グローバル制御回路13Aと対向する側)に配置されている。なお、グローバル制御回路13Aおよびピクセルアレイ部12Aを、ピクセルアレイ部12Aに対して同一側に配置してもよいが、この場合、いずれか一方の配線長が長くなることが想定されるため、図示するような配置とすることが好ましい。
また、センサチップ11Aでは、カラムADC15Aが、ピクセルアレイ部12Aの短辺に沿うように、ピクセルアレイ部12Aの下辺側に配置される。このように、ローリング制御回路14Aに対して直交する方向にカラムADC15Aが配置されているのは、カラムADC15Aは、1つのADコンバータに接続されるセンサ素子を1つずつオンする必要があるためであり、それぞれの配線が重なるようなレイアウトとなるのを回避している。
このように構成されるセンサチップ11Aは、図1のセンサチップ11と同様に、グローバル制御回路13Aがピクセルアレイ部12Aの長辺に沿うように配置されるレイアウトにより、制御線21Aの配線長を短くすることができる。従って、センサチップ11Aは、図1のセンサチップ11と同様に、より高速にセンサ素子に対する制御を行うことができる。
<センサチップの第3の構成例>
図7乃至10を参照して、本技術を適用したセンサチップの第3の実施の形態について説明する。なお、図7乃至10に示すセンサチップ11Bを構成するブロックのうち、図1のセンサチップ11と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
図7には、センサチップ11Bの斜視図が示されており、図8には、センサチップ11Bのブロック図が示されている。
図7に示すように、センサチップ11Bは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている。そして、センサチップ11Bは、平面的に見たときにピクセルアレイ部12と重ならないセンサチップ11Bの周辺領域において、センサ基板51の制御線21と、ロジック基板52のグローバル制御回路13とが接続される接続構成となっている。即ち、図7に示す例では、センサチップ11Bは、ピクセルアレイ部12に行列状に配置されるセンサ素子の列方向に沿って配置される複数の制御線21が、センサ基板51の上辺側においてグローバル制御回路13側に接続されている。
従って、センサチップ11Bでは、グローバル制御回路13から出力されるグローバル制御信号は、図7において白抜きの矢印で示すように、センサ基板51の上辺側からピクセルアレイ部12のセンサ素子に供給される。このとき、グローバル制御回路13の長手方向が、ピクセルアレイ部12の長辺に沿うように配置されており、センサチップ11Bは、グローバル制御回路13からピクセルアレイ部12のセンサ素子まで最短距離となるような構成となっている。
図8を参照して、センサチップ11Bの構成について、さらに説明する。
センサ基板51には、ピクセルアレイ部12、および、TSV(Through Silicon Via)領域53−1乃至53−3が配置されている。ロジック基板52には、グローバル制御回路13、ローリング制御回路14、カラムADC15、ロジック回路17、およびTSV領域54−1乃至54−3が配置されている。例えば、センサチップ11Bでは、ピクセルアレイ部12のセンサ素子から出力されるセンサ信号はカラムADC15でAD変換され、ロジック回路17において各種の信号処理が施された後、外部に出力される。
TSV領域53−1乃至53−3およびTSV領域54−1乃至54−3は、センサ基板51およびロジック基板52を電気的に接続するための貫通電極が形成される領域であり、例えば、制御線21ごとに貫通電極が配置されている。従って、TSV領域53−1乃至53−3およびTSV領域54−1乃至54−3は、センサ基板51およびロジック基板52を積層したときに重なり合うように配置される。なお、TSV領域54において貫通電極を利用して接続を行う他、例えば、マイクロバンプや銅(Cu-Cu)接続などを利用することができる。
このように構成されるセンサチップ11Bは、図1のセンサチップ11と同様に、グローバル制御回路13がピクセルアレイ部12の長辺に沿うように配置されるレイアウトにより、制御線21の配線長を短くすることができる。従って、センサチップ11Bは、図1のセンサチップ11と同様に、より高速にセンサ素子に対する制御を行うことができる。
図9は、図8に示したセンサチップ11Bの第1の変形例を示すブロック図である。なお、図9に示すセンサチップ11B−aを構成するブロックのうち、図8のセンサチップ11Bと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図9に示すように、センサチップ11B−aは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図8のセンサチップ11Bと共通する構成となっている。
一方、センサチップ11B−aは、2個のグローバル制御回路13−1および13−2がピクセルアレイ部12の上辺および下辺にそれぞれ沿うようにロジック基板52に配置されるとともに、ピクセルアレイ部12に行列状に配置されるセンサ素子の列の中央で分離されるように、2本の制御線21−1および21−2が配置される点で、図8のセンサチップ11Bと異なる構成となっている。
即ち、センサチップ11B−aは、図5に示したセンサチップ11−bと同様に、制御線21−1の上端に駆動素子32−1が接続され、制御線21−2の下端に駆動素子32−2が接続されている。従って、センサチップ11B−aは、ピクセルアレイ部12の中央より上側に配置されるセンサ素子には、グローバル制御回路13−1が有する駆動素子32−1が制御線21−1の上端からグローバル制御信号を供給するように構成される。また、センサチップ11B−aは、ピクセルアレイ部12の中央より下側に配置されるセンサ素子には、グローバル制御回路13−2が有する駆動素子32−2が制御線21−2の下端からグローバル制御信号を供給するように構成される。
このように構成されるセンサチップ11B−aは、駆動素子32−1から制御線21−1の遠端(図9の例では下端)に配置されるセンサ素子までの距離、および、駆動素子32−2から制御線21−2の遠端(図9の例では上端)に配置されるセンサ素子までの距離を、例えば、図8のセンサチップ11Bよりも短くすることができる。これにより、センサチップ11B−aは、グローバル制御回路13−1および13−2から出力されるグローバル制御信号に発生する遅延量およびスルーレートをさらに低減することができるため、さらに高速にセンサ素子に対する制御を行うことができる。
図10は、図8に示したセンサチップ11Bの第2の変形例を示すブロック図である。なお、図10に示すセンサチップ11B−bを構成するブロックのうち、図8のセンサチップ11Bと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図10に示すように、センサチップ11B−bは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図8のセンサチップ11Bと共通する構成となっている。
一方、センサチップ11B−bは、2個のグローバル制御回路13−1および13−2がピクセルアレイ部12の上辺および下辺にそれぞれ沿うようにロジック基板52に配置されるとともに、制御線21の両端に駆動素子32−1および32−2が接続される点で、図8のセンサチップ11Bと異なる構成となっている。
即ち、センサチップ11B−bは、図4に示したセンサチップ11−aと同様に、グローバル制御回路13−1が有する駆動素子32−1が制御線21の上端からグローバル制御信号を供給し、グローバル制御回路13−2が有する駆動素子32−2が制御線21の下端からグローバル制御信号を供給するように構成される。
このように構成されるセンサチップ11B−bは、2個の駆動素子32−1および駆動素子32−2間のスキューを抑制することができ、制御線21を介して伝播されるグローバル制御信号に発生する遅延時間のバラツキを解消することができる。これにより、センサチップ11B−bでは、より高速にセンサ素子に対する制御を行うことができる。なお、センサチップ11B−bでは、貫通電流が発生することがないようにグローバル制御信号の出力の遅延差が大きくなることを回避するように制御を行う必要がある。
以上のように構成されるセンサチップ11Bでは、ロジック基板51およびセンサ基板52が積層されたスタック構造において、図1のセンサチップ11と同様に、より高速にセンサ素子に対する制御を行うことができる。
なお、図8乃至図10に示した構成例では、カラムADC15は、下辺に配置されているTSV領域53−3およびTSV領域54−3を介してピクセルアレイ部12の下端側からセンサ信号を読み出すように構成されている。このような構成の他、例えば、2個のカラムADC15を上辺近傍および下辺近傍に配置して、それぞれピクセルアレイ部12の上端側および下端側からセンサ信号を読み出すように構成してもよい。
<センサチップの第4の構成例>
図11を参照して、本技術を適用したセンサチップの第4の実施の形態について説明する。なお、図11に示すセンサチップ11Cを構成するブロックのうち、図8のセンサチップ11Bと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図11に示すように、センサチップ11Cは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図8のセンサチップ11Bと共通する構成となっている。
一方、センサチップ11Cは、図6に示したセンサチップ11Aのピクセルアレイ部12Aと同様に、ピクセルアレイ部12Cが、縦長の長方形の領域となっている点で、図8のセンサチップ11Bと異なる構成となっている。従って、センサチップ11Cでは、グローバル制御回路13Cが、ピクセルアレイ部12Cの長辺に沿うように、ロジック基板52の左辺側に配置される。これに伴い、制御線21Cは、ピクセルアレイ部12Cに行列状に配置されるセンサ素子の行ごとに、ピクセルアレイ部12Cの左右方向に向かって配置される。
また、センサチップ11Cでは、ローリング制御回路14Cが、ピクセルアレイ部12Cの長辺に沿うように、ロジック基板52の右辺側(グローバル制御回路13Cと対向する側)に配置されている。なお、グローバル制御回路13Cおよびピクセルアレイ部12Cを、ロジック基板52の同一側に配置してもよいが、この場合、いずれか一方の配線長が長くなることが想定されるため、図示するような配置とすることが好ましい。
また、センサチップ11Cでは、カラムADC15Cが、ピクセルアレイ部12Cの短辺に沿うように、ロジック基板52の下辺側に配置される。このように、ローリング制御回路14Cに対して直交する方向にカラムADC15Cが配置されているのは、カラムADC15Cは、1つのADコンバータに接続されるセンサ素子を1つずつオンする必要があるためであり、それぞれの配線が重なるようなレイアウトとなるのを回避している。
このように構成されるセンサチップ11Cは、図8のセンサチップ11Bと同様に、グローバル制御回路13Cがピクセルアレイ部12Cの長辺に沿うように配置されるレイアウトにより、制御線21Cの配線長を短くすることができる。従って、センサチップ11Cは、図8のセンサチップ11Bと同様に、より高速にセンサ素子に対する制御を行うことができる。
<センサチップの第5の構成例>
図12を参照して、本技術を適用したセンサチップの第5の実施の形態について説明する。なお、図12に示すセンサチップ11Dを構成するブロックのうち、図8のセンサチップ11Bと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図12に示すように、センサチップ11Dは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図8のセンサチップ11Bと共通する構成となっている。
一方、センサチップ11Dは、ロジック基板52において、センサ基板51のピクセルアレイ部12が形成される領域に対応して、複数のADC15が、図12の例では、12個のADC15−1乃至15−12が配置されている点で、図8のセンサチップ11Bと異なる構成となっている。
例えば、センサチップ11Dは、ピクセルアレイ部12の所定領域ごとに、ADC15が配置されて構成される。図示するように12個のADC15−1乃至15−12を使用する場合には、ピクセルアレイ部12を12等分した領域ごとに、ADC15が配置され、それぞれの領域に設けられるセンサ素子から出力されるセンサ信号のAD変換が並列的に行われる。なお、ピクセルアレイ部12の所定領域ごとにADC15を配置する構成の他、例えば、ピクセルアレイ部12が有する1つのセンサ素子ごとに1個のADC15を配置する構成としてもよい。
このように構成されるセンサチップ11Dは、図8のセンサチップ11Bと同様に、グローバル制御回路13がピクセルアレイ部12の長辺に沿うように配置されるレイアウトにより、制御線21の配線長を短くすることができる。従って、センサチップ11Dは、図8のセンサチップ11Bと同様に、より高速にセンサ素子に対する制御を行うことができる。
さらに、センサチップ11Dは、ローリング制御回路14とADC15との位置関係は、図8に示したカラムADC15のような制約に限定されることがなくなる。例えば、図12に示すセンサチップ11Dでは、ロジック基板52の右辺側にローリング制御回路14が配置されているが、ローリング制御回路14は、上辺側または下辺側のどちらに配置してもよい。つまり、センサチップ11Dに対するピクセルアレイ部12の配置位置(例えば、光学的な中心に対するセンサチップ11Dの中心位置)などの制限がなければ、ローリング制御回路14をどこに配置してもよい。
または、例えば、光学的な中心とセンサチップ11Dの中心位置とに強い制限がある場合には、グローバル制御回路13に対してADC15が配置されている領域の反対側となる位置にローリング制御回路14を配置することで、レイアウトをバランス良くすることができる。これにより、センサチップ11Dの特性を向上させることができる。
<センサチップの第6の構成例>
図13乃至22を参照して、本技術を適用したセンサチップの第6の実施の形態について説明する。なお、図13乃至22に示すセンサチップ11Eを構成するブロックのうち、図7および図8のセンサチップ11Bと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
図13に示すように、センサチップ11Eは、図7に示したセンサチップ11Bと同様に、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている。そして、センサチップ11Eは、平面的に見たときにピクセルアレイ部12の中央に重なるようにグローバル制御回路13が配置されており、ピクセルアレイ部12の中央部においてグローバル制御回路13が制御線21に接続される接続構成となっている。
例えば、センサチップ11Eは、配線を構成する銅(Cu)どうしの接続や、マイクロバンプまたはTSVを利用した接続などにより、ピクセルアレイ部12において接続可能である場合、駆動素子32から制御線21の遠端に配置されるセンサ素子までの距離を短くすることができる。
図14を参照して、センサチップ11Eの構成について、さらに説明する。
図14に示すように、センサ基板51において、ピクセルアレイ部12は、横方向に長辺が設けられ、縦方向に短辺が設けられた横長の長方形の領域となっている。従って、ロジック基板52において、グローバル制御回路13は、その長手方向がピクセルアレイ部12の長辺に沿うように配置される。そして、グローバル制御回路13の駆動素子32から出力される配線が、ピクセルアレイ部12の上下方向に向かって配置される制御線21の中央に接続されるように、グローバル制御回路13がロジック基板52の略中央に配置される。なお、平面的に見て、グローバル制御回路13から直接的にピクセルアレイ部12に向かって、駆動素子32から出力される配線が基板を貫通するような構成としてもよい。
このように構成されるセンサチップ11Eでは、駆動素子32から制御線21の両端に配置されるセンサ素子までの距離を短くすることができる。従って、センサチップ11Eは、グローバル制御信号の遅延量およびスルーレートを改善することができるため、より高速にセンサ素子に対する制御を行うことができる。
また、センサチップ11Eに示すような構成は、例えば、ToFセンサに適用するのに好適である。
図15は、図14に示したセンサチップ11Eの第1の変形例を示すブロック図である。なお、図15に示すセンサチップ11E−aを構成するブロックのうち、図14のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図15に示すように、センサチップ11E−aは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図14のセンサチップ11Eと共通する構成となっている。
一方、センサチップ11E−aは、センサ基板51において、ピクセルアレイ部12に行列状に配置されるセンサ素子の1行に対し、中央で分割された2本の制御線21−1および21−2が配置される点で、図14のセンサチップ11Eと異なる構成となっている。また、センサチップ11E−aは、ロジック基板52において、グローバル制御回路13が、センサ素子の1行に対して2個の駆動素子32−1および32−2を備える点で、図14のセンサチップ11Eと異なる構成となっている。
そして、センサチップ11E−aでは、制御線21−1の中央側の端部に駆動素子32−1が接続されるとともに、制御線21−2の中央側の端部に駆動素子32−2が接続される接続構成となっている。即ち、センサチップ11E−aは、ピクセルアレイ部12の1行に配置される複数のセンサ素子のうち、中央より上側に配置されるセンサ素子は制御線21−1を介して駆動素子32−1により駆動され、中央より下側に配置されるセンサ素子は制御線21−2を介して駆動素子32−2により駆動されるように構成される。
このように構成されるセンサチップ11E−aは、図14のセンサチップ11Eと同様に、駆動素子32−1から制御線21−1の遠端に配置されるセンサ素子までの距離、および、駆動素子32−2から制御線21−2の遠端に配置されるセンサ素子までの距離を短くすることができる。従って、センサチップ11E−aは、図14のセンサチップ11Eと同様に、グローバル制御信号の遅延量およびスルーレートを改善することができる。
さらに、センサチップ11E−aは、1個の駆動素子32あたりの負荷を削減することができるので、図14のセンサチップ11Eよりも、駆動素子32のサイズを小型化することができる。さらに、センサチップ11E−aは、センサ素子の1列に対して2個の駆動素子32を配置する構成とすることで、駆動素子32のレイアウトが一カ所に集積されることになり、全体のレイアウト構造を簡易化することができる。
図16は、図14に示したセンサチップ11Eの第2の変形例を示すブロック図である。なお、図16に示すセンサチップ11E−bを構成するブロックのうち、図14のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図16に示すセンサチップ11E−bは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図14のセンサチップ11Eと共通する構成となっている。
一方、センサチップ11E−bは、センサ基板51において、ピクセルアレイ部12に行列状に配置されるセンサ素子の1行に対し、中央で分割された2本の制御線21−1および21−2が配置されている点で、図14のセンサチップ11Eと異なる構成となっている。また、センサチップ11E−bは、ロジック基板52において、2個のグローバル制御回路13−1および13−2が配置される点で、図14のセンサチップ11Eと異なる構成となっている。
そして、センサチップ11E−bでは、制御線21−1の中央に駆動素子32−1が接続されるとともに、制御線21−2の中央に駆動素子32−2が接続される接続構成となっている。即ち、センサチップ11E−bは、ピクセルアレイ部12の1行に配置される複数のセンサ素子のうち、中央より上側に配置されるセンサ素子は制御線21−1を介して駆動素子32−1により駆動され、中央より下側に配置されるセンサ素子は制御線21−2を介して駆動素子32−2により駆動されるように構成される。
このように構成されるセンサチップ11E−bは、図14のセンサチップ11Eと比較して、駆動素子32−1から制御線21−1の遠端に配置されるセンサ素子までの距離、および、駆動素子32−2から制御線21−2の遠端に配置されるセンサ素子までの距離を短くすることができる。これにより、センサチップ11E−bは、図14のセンサチップ11Eよりも、より高速な駆動が可能となり、グローバル制御信号の遅延量およびスルーレートのさらなる改善を図ることができる。
また、図16に示すように、センサチップ11E−bでは、グローバル制御回路13−1および13−2を分割して配置することができるので、それらの間となる中央箇所にロジック回路17を配置することができる。なお、図示しないが、グローバル制御回路13−1および13−2の間となる中央箇所にカラムADC15を配置してもよい。
また、センサチップ11E−bに示すような構成は、例えば、ToFセンサに適用するのに好適である。
図17は、図14に示したセンサチップ11Eの第3の変形例を示すブロック図である。なお、図17に示すセンサチップ11E−cを構成するブロックのうち、図14のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図17に示すセンサチップ11E−cは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図14のセンサチップ11Eと共通する構成となっている。
一方、センサチップ11E−cは、センサ基板51において、ピクセルアレイ部12に行列状に配置されるセンサ素子の1行に対し、中央で分割された2本の制御線21−1および21−2が配置されている点で、図14のセンサチップ11Eと異なる構成となっている。また、センサチップ11E−cは、ロジック基板52において、2個のグローバル制御回路13−1および13−2が配置される点で、図14のセンサチップ11Eと異なる構成となっている。
そして、センサチップ11E−cでは、図16のセンサチップ11E−bと同様に、制御線21−1の中央に駆動素子32−1が接続されるとともに、制御線21−2の中央に駆動素子32−2が接続される接続構成となっている。従って、センサチップ11E−cは、図16のセンサチップ11E−bと同様に、図14のセンサチップ11Eよりも、より高速な駆動が可能となり、グローバル制御信号の遅延量およびスルーレートのさらなる改善を図ることができる。
さらに、センサチップ11E−cは、ロジック基板52の上辺側にカラムADC15−1が配置されるとともに、ロジック基板52の下辺側にカラムADC15−2が配置されている。このように構成されるセンサチップ11E−cは、レイアウトを上下に対象となる構造となり対称性が向上する結果、センサチップ11E−cの特性を向上させることができる。
図18は、図14に示したセンサチップ11Eの第4の変形例を示すブロック図である。なお、図18に示すセンサチップ11E−dを構成するブロックのうち、図14のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図18に示すセンサチップ11E−dは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図14のセンサチップ11Eと共通する構成となっている。
一方、センサチップ11E−dは、ロジック基板52において、2個のグローバル制御回路13−1および13−2が配置されており、グローバル制御回路13−1が制御線21の上側半分の略中央に接続されるとともに、グローバル制御回路13−2が制御線21の下側半分の略中央に接続されるような接続構成となっている点で、図14のセンサチップ11Eと異なる構成となっている。つまり、センサチップ11E−dは、図17の制御線21−1および21−2が接続された1本の制御線21が用いられる構成となっている。
このように構成されるセンサチップ11E−dは、2個の駆動素子32−1および駆動素子32−2間のスキューを抑制することができ、制御線21を介して伝播されるグローバル制御信号に発生する遅延時間のバラツキを解消することができる。これにより、センサチップ11E−dでは、より高速にセンサ素子に対する制御を行うことができる。なお、センサチップ11E−dでは、貫通電流が発生することがないようにグローバル制御信号の出力の遅延差が大きくなることを回避するように制御する必要がある。
図19は、図14に示したセンサチップ11Eの第5の変形例を示すブロック図である。なお、図19に示すセンサチップ11E−eを構成するブロックのうち、図14のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。また、図19に示すセンサチップ11E−eでは、図が煩雑になることを回避するために、センサチップ11E−eを構成する一部のブロックの図示が省略されている。
即ち、図19に示すセンサチップ11E−eは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図14のセンサチップ11Eと共通する構成となっている。
一方、センサチップ11E−eは、センサ基板51において、ピクセルアレイ部12に行列状に配置されるセンサ素子の1行に対し、4分割された制御線21−1乃至21−4が配置されている点で、図14のセンサチップ11Eと異なる構成となっている。また、センサチップ11E−eは、ロジック基板52において、4個のグローバル制御回路13−1乃至13−4が配置される点で、図14のセンサチップ11Eと異なる構成となっている。
そして、センサチップ11E−eでは、制御線21−1乃至21−4それぞれの中央にグローバル制御回路13−1乃至13−4の駆動素子32−1乃至32−4が接続される接続構成となっている。従って、センサチップ11E−eは、駆動素子32−1乃至32−4それぞれから制御線21−1乃至21−4の遠端に配置されるセンサ素子までの距離を、さらに短くすることができる。これにより、センサチップ11E−eは、センサ素子に対する制御のさらなる高速化を図ることができる。なお、センサチップ11E−eでは、カラムADC15Aやロジック回路17などが分離されて配置されることが想定されるが、そのような場合でも特性に影響を与えないようなレイアウトを採用することが必要となる。
なお、図19に示す構成例では、4本に分割された制御線21−1乃至21−4を用いて説明を行っているが、制御線21を3本に分割したり、5本以上に分割したりしてもよい。そして、分割された制御線21の略中央に、それぞれ対応するグローバル制御回路13が接続されるような構成とすることができる。
図20は、図14に示したセンサチップ11Eの第6の変形例を示すブロック図である。なお、図20に示すセンサチップ11E−fを構成するブロックのうち、図14のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図20に示すセンサチップ11E−fは、ピクセルアレイ部12が形成されるセンサ基板51と、グローバル制御回路13が形成されるロジック基板52とが積層される積層構造となっている点で、図14のセンサチップ11Eと共通する構成となっている。
一方、センサチップ11E−fは、ロジック基板52において、4個のグローバル制御回路13−1乃至13−4が配置されており、グローバル制御回路13−1乃至13−4が、制御線21に対して均等な間隔で接続されるような接続構成となっている点で、図14のセンサチップ11Eと異なる構成となっている。つまり、センサチップ11E−dは、図19の制御線21−1乃至21−4が接続された1本の制御線21が用いられる構成となっている。
このように構成されるセンサチップ11E−fは、4個の駆動素子32−1乃至32−4間のスキューを抑制することができ、制御線21を介して伝播されるグローバル制御信号に発生する遅延時間のバラツキを解消することができる。これにより、センサチップ11E−fでは、より高速にセンサ素子に対する制御を行うことができる。なお、センサチップ11E−fでは、貫通電流が発生することがないようにグローバル制御信号の出力の遅延差が大きくなることを回避するように制御する必要がある。
図21は、図14に示したセンサチップ11Eの第7の変形例を示すブロック図である。なお、図21に示すセンサチップ11E−gを構成するブロックのうち、図19のセンサチップ11E−eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、センサチップ11E−gは、1個のグローバル制御回路13を備えて構成され、図19のセンサチップ11E−eのグローバル制御回路13−2乃至13−4に替えて、バッファ回路55−1乃至55−3を備えて構成される。バッファ回路55−1乃至55−3は、それぞれバッファ56−1乃至56−3を有しており、グローバル制御回路13の駆動素子32の出力がバッファ56−1乃至56−3それぞれで分岐されて、4分割された制御線21−1乃至21−4に接続されている。
このように構成されるセンサチップ11E−gにおいても、図19のセンサチップ11E−eと同様に、センサ素子に対する制御のさらなる高速化を図ることができる。
図22は、図14に示したセンサチップ11Eの第8の変形例を示すブロック図である。なお、図22に示すセンサチップ11E−hを構成するブロックのうち、図20のセンサチップ11E―fと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、センサチップ11E−gは、1個のグローバル制御回路13を備えて構成され、図20のセンサチップ11E―fのグローバル制御回路13−2乃至13−4に替えて、バッファ回路55−1乃至55−3を備えて構成される。バッファ回路55−1乃至55−3は、それぞれバッファ56−1乃至56−3を有しており、グローバル制御回路13の駆動素子32の出力がバッファ56−1乃至56−3それぞれで分岐されて、制御線21に接続されている。
このように構成されるセンサチップ11E−hにおいても、図20のセンサチップ11E―fと同様に、センサ素子に対する制御のさらなる高速化を図ることができる。
<センサチップの第7の構成例>
図23乃至25を参照して、本技術を適用したセンサチップの第7の実施の形態について説明する。なお、図23乃至25に示すセンサチップ11Fを構成するブロックのうち、図13のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、図23に示すセンサチップ11Fは、センサ基板51と、2枚のロジック基板52−1および52−2とが積層される積層構造となっている。即ち、本技術は、3枚の半導体基板が積層される構造に適用することができる。
図23に示すように、センサチップ11Fは、1層目のセンサ基板51にピクセルアレイ部12が形成され、2層目のロジック基板52−1に、グローバル制御回路13と、メモリ61−1および61−2とが形成され、3層目のロジック基板52−2に、例えば、図示しないカラムADC15やロジック回路17などが形成されて構成される。
このように構成されるセンサチップ11Fにおいても、センサ基板51のピクセルアレイ部12の長手方向に沿って、ロジック基板52−1にグローバル制御回路13を配置することで、図13のセンサチップ11Eと同様に、より高速にセンサ素子に対する制御を行うことができる。
また、センサ基板51、ロジック基板52−1、およびロジック基板52−2の順番で積層されるセンサチップ11Fは、グローバル制御回路13は、センサ基板51およびロジック基板52−2の間に積層されるロジック基板52−1の中央に配置することが好ましい。これにより、グローバル制御回路13から制御線21の遠端に配置されるセンサ素子までの距離を短くすることができる。もちろん、グローバル制御回路13から制御線21の遠端に配置されるセンサ素子までの距離を短くすることができれば、図23に示すようなレイアウトに限定されることはない。
図24は、図23に示したセンサチップ11Fの第1の変形例を示す斜視図である。
図24に示すように、センサチップ11F−aでは、1層目のセンサ基板51にピクセルアレイ部12が形成され、2層目のロジック基板52−1に、メモリ61−1および61−2が形成され、3層目のロジック基板52−2に、例えば、グローバル制御回路13や、図示しないカラムADC15およびロジック回路17などが形成されて構成される。
このように構成されるセンサチップ11F−aにおいても、センサ基板51のピクセルアレイ部12の長手方向に沿って、ロジック基板52−2にグローバル制御回路13を配置することで、図13のセンサチップ11Eと同様に、より高速にセンサ素子に対する制御を行うことができる。
図25は、図23に示したセンサチップ11Fの第2の変形例を示す斜視図である。
図25に示すように、センサチップ11F−bでは、1層目のセンサ基板51にピクセルアレイ部12が形成され、2層目のロジック基板52−1に、メモリ61が形成され、3層目のロジック基板52−2に、例えば、グローバル制御回路13や、図示しないカラムADC15およびロジック回路17などが形成されて構成される。なお、センサチップ11F−bでは、例えば、図8のセンサチップ11Bと同様に、センサチップ11F−bの周辺領域に形成されるTSV領域を利用して、グローバル制御回路13に制御線21が接続される接続構成となっている。
このように構成されるセンサチップ11F−bにおいても、センサ基板51のピクセルアレイ部12の長手方向に沿って、ロジック基板52−2にグローバル制御回路13を配置することで、図13のセンサチップ11Eと同様に、より高速にセンサ素子に対する制御を行うことができる。
なお、例えば、3枚以上の半導体基板を積層してもよく、上述の図16に示したように2カ所にグローバル制御回路13を配置したり、2カ所以上の複数個所にグローバル制御回路13を配置したりしてもよい。この場合、メモリ61が配置される半導体基板や、メモリ61の配置位置または分割数を、グローバル制御回路13の配置に応じて適切にレイアウトすることができる。
例えば、1層目の半導体基板にピクセルアレイ部12を配置し、2層目の半導体基板にカラムADC15やロジック回路17などを配置し、3層目の半導体基板にメモリ61を配置する構成を採用してもよい。このような構成においても、2層目の半導体基板にグローバル制御回路13を配置することで、配線長を短くすることができるが、メモリ61が配置される半導体基板にグローバル制御回路13を配置してもよい。
<センサチップの第8の構成例>
図26を参照して、本技術を適用したセンサチップの第8の実施の形態について説明する。なお、図26に示すセンサチップ11Gを構成するブロックのうち、図14のセンサチップ11Eと共通する構成については、同一の符号を付し、その詳細な説明は省略する。
即ち、センサチップ11におけるグローバル制御回路13の配置は、上述した各実施の形態で説明したものに限定されることなく、図26に示すような様々なレイアウトを採用することができる。もちろん、いずれの配置においても、ピクセルアレイ部12の長辺に沿うようにグローバル制御回路13が配置されていれば、図示されていないようなレイアウトを採用してもよい。
図26Aに示すように、センサチップ11Gは、センサ基板51にピクセルアレイ部12およびグローバル制御回路13が配置され、ロジック基板52にローリング制御回路14、カラムADC15、およびロジック回路17が配置されたレイアウトとなっている。そして、センサチップ11Gでは、グローバル制御回路13は、ピクセルアレイ部12の長辺に沿うように、ピクセルアレイ部12の下辺側に配置されている。
図26Bに示すように、センサチップ11G−aは、センサ基板51にピクセルアレイ部12およびグローバル制御回路13が配置され、ロジック基板52にローリング制御回路14、カラムADC15、およびロジック回路17が配置されたレイアウトとなっている。そして、センサチップ11G−aでは、グローバル制御回路13は、ピクセルアレイ部12の長辺に沿うように、ピクセルアレイ部12の上辺側に配置されている。
図26Cに示すように、センサチップ11G−bは、センサ基板51にピクセルアレイ部12、並びに、グローバル制御回路13−1および13−2が配置され、ロジック基板52にローリング制御回路14、カラムADC15、およびロジック回路17が配置されたレイアウトとなっている。そして、センサチップ11G−bでは、グローバル制御回路13−1および13−2は、ピクセルアレイ部12の長辺に沿うように、ピクセルアレイ部12の上辺側および下辺側にそれぞれ配置されている。
図26Dに示すように、センサチップ11G−cは、センサ基板51にピクセルアレイ部12、並びに、グローバル制御回路13−1および13−2が配置され、ロジック基板52にローリング制御回路14、カラムADC15、およびロジック回路17が配置されたレイアウトとなっている。そして、センサチップ11G−cでは、グローバル制御回路13−1および13−2は、ピクセルアレイ部12の長辺に沿うように、ピクセルアレイ部12の上辺側および下辺側にそれぞれ配置されているとともに、ピクセルアレイ部12に行列状に配置されるセンサ素子の列の中央で分離されるように、2本の制御線21−1および21−2が配置されている。
図26Eに示すように、センサチップ11G−dは、センサ基板51にピクセルアレイ部12、並びに、グローバル制御回路13−1および13−2が配置され、ロジック基板52にローリング制御回路14、カラムADC15、およびロジック回路17が配置されたレイアウトとなっている。さらに、センサチップ11G−dでは、ピクセルアレイ部12の長辺に沿うように、ロジック基板52に入出力部16が配置されている。
例えば、センサチップ11G−dは、入出力部16からTSV領域54−1およびTSV領域53−1を介してグローバル制御回路13へ電源を供給するように構成される。なお、TSVを利用する他、配線を構成する銅(Cu)どうしの接続や、マイクロバンプなどを利用して、グローバル制御回路13へ電源を供給するようにしてもよい。また、グローバル制御回路13へ電力を供給する配線は、制御線21と同一の接続方法を用いてもよいし、他の組み合わせの接続方法を用いてもよい。また、2層の半導体基板が積層される構成の他、3層の半導体基板が積層される構成であっても同様に、入出力部16の近傍にグローバル制御回路13を配置することが好ましい。
なお、図26に示した各種のレイアウトでは、カラムADC15はロジック基板52の片側に配置された例が示されているが、カラムADC15がロジック基板52の上下両側に配置されるレイアウトを採用してもよい。また、カラムADC15やロジック回路17の位置は、図26に示したような配置に限定されることはない。
以上のように、センサチップ11に積層型の構造を適用することで、グローバル制御回路13を様々なレイアウトで配置することができ、レイアウトの自由度が増すとともに、グローバル制御回路13とローリング制御回路14とを個別に制御する効果が大きくなる。
<距離画像センサの構成例>
図27は、センサチップ11を利用した電子機器である距離画像センサの構成例を示すブロック図である。
図27に示すように、距離画像センサ201は、光学系202、センサチップ203、画像処理回路204、モニタ205、およびメモリ206を備えて構成される。そして、距離画像センサ201は、光源装置211から被写体に向かって投光され、被写体の表面で反射された光(変調光やパルス光)を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
光学系202は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)をセンサチップ203に導き、センサチップ203の受光面(センサ部)に結像させる。
センサチップ203としては、上述した各実施の形態のセンサチップ11が適用され、センサチップ203から出力される受光信号(APD OUT)から求められる距離を示す距離信号が画像処理回路204に供給される。
画像処理回路204は、センサチップ203から供給された距離信号に基づいて距離画像を構築する画像処理を行い、その画像処理により得られた距離画像(画像データ)は、モニタ205に供給されて表示されたり、メモリ206に供給されて記憶(記録)されたりする。
このように構成されている距離画像センサ201では、上述したセンサチップ11を適用することで、より高速な制御を行うことによって、例えば、より正確な距離画像を取得することができる。
なお、距離画像センサ201と光源装置211とが一体的に構成されていてもよい。この場合には、距離画像センサ201と光源装置211とが一体的に構成されたモジュールが、上記センサチップ11を利用した電子機器の一例に相当し得る。
<<2.ToFの概要>>
本開示の一実施形態に係る距離画像センサを利用した測距に適用可能な技術の一例として、「ToF(time of flight)」と称される技術の概要について説明する。ToFとは、距離画像センサから投光された光が被写体で反射し、当該距離画像センサに戻ってくるまでの時間を何らかの方法により求めることで測距を行う技術である。ToFとしては、例えば、直接ToF(Direct ToF)と称される技術と、間接ToF(InDirect ToF)と称される技術とが挙げられる。なお、以降の説明では、距離画像センサから投光された光が被写体で反射し、当該距離画像センサに戻ってくるまでの時間を、便宜上「光の飛行時間」または単に「ToF」とも称する。
直接ToFと称される技術は、光の飛行時間を直接計測することで、被写体までの距離を測定する手法である。具体的には、直接ToFでは、距離画像センサに設けられた光源(または、距離画像センサと共に設けられた光源)からごく短時間だけ発光するパルス光を被写体に投光し、当該光が被写体で反射して当該距離画像センサに設けられたセンサチップにより受光されるまでの時間を直接計測する。このようにして計測された時間の1/2に光速を乗ずることで、距離画像センサと被写体との間の距離を求めることが可能となる。このような特性から、直接ToFによる測距精度は、距離画像センサによる時間の計測に係る分解能に依存する場合がある。
これに対して、間接ToFとは、光の飛行時間に依存した物理量の変化を測定することで当該光の飛行時間を間接的に計測し、当該計測結果に基づき被写体までの距離を測定する手法である。
間接ToFの具体的な一例として、距離画像センサから投光された光が被写体で反射し、当該距離画像センサに戻ってくるまでの時間の遅れを位相差として検出する方法が挙げられる。例えば、図28は、間接ToFによる測距の原理について概要を説明するための説明図である。なお、図28に示す距離画像センサ201は、図27を参照して説明した距離画像センサ201を模式的に示した図である。即ち、図28に示す参照符号211及び203は、図27に示す距離画像センサ201における光源装置211及びセンサチップ203に相当する。
図28に示すように、距離画像センサ201は、光源装置211に被写体に向かって光(変調光やパルス光)を投光させ、被写体で反射された当該光をセンサチップ203に検出させる。なお、以降の説明では、便宜上、光源装置211からパルス光が投光される場合に着目して説明するが、当該パルス光を変調光に置き換えることも可能である。
具体的には、距離画像センサ201は、光源装置211からパルス光P11を周期的に投光し、当該パルス光P11が投光される周期に同期して駆動するようにセンサチップ203の動作を制御する(換言すると、シャッターを切る)。これにより、センサチップ203の各センサ素子は、光源装置211から投光され被写体で反射したパルス光P13を受光し、上記周期に同期して当該パルス光P13の受光量を検出する(即ち、蓄積された電荷を読み出す)こととなる。換言すると、センサチップ203の各センサ素子が被写体で反射されたパルス光P13を検出する期間(以下、「検出期間」とも称する)が、上記周期に同期して設定されることとなる。
このような構成に基づき、距離画像センサ201は、センサチップ203の各センサ素子に、被写体で反射されたパルス光P13を、光源装置211からパルス光P11が投光される上記周期に応じた位相ごとの検出期間それぞれにおいて個別に検出させる。上記周期に応じた位相ごとの検出期間としては、例えば、所定の位相を0度として、0度から180度までの検出期間と、180度から360度までの検出期間とが設定される。また、90度から270度までの検出期間と、270度から90度までの検出期間とが設定されてもよい。即ち、上記周期に応じた位相ごとに設定された検出期間それぞれにおいて、被写体で反射されたパルス光P13が個別に検出されることとなる。
光源装置211から被写体に向けて投光されたパルス光P11(照射光)と、被写体で反射されたパルス光P13(反射光)との間には、距離画像センサ201と被写体との間の距離に応じた位相差が生じる。このとき、位相ごとに検出期間に蓄積される電荷量(即ち、受光量)の差(換言すると、位相ごとに検出期間に蓄積される電荷量の比率)は、照射光(パルス光P11)と反射光(パルス光P13)との間の位相差(換言すると、遅延時間)に依存する。
即ち、間接ToFでは、位相ごとの検出期間に個別に蓄積される電荷量の差(即ち、位相間における電荷量の比率)に応じて光の飛行時間を間接的に計測し、当該計測結果に基づき距離画像センサと被写体との間の距離を求める。このような特性から、間接ToFによる測距精度は、例えば、光源から投光されるパルス光の周期(換言すると、パルス光のパルス幅)に依存し、基本的には当該周期が短いほど測距精度がより向上する傾向にある。
なお、以降の説明では、本開示の一実施形態に係る距離画像センサの特徴をよりわかりやすくするために、特に説明が無い限りは、間接ToFにより測距が行われるものとする。
<<3.技術的特徴>>
続いて、本開示の一実施形態に係る距離画像センサの技術的特徴について、特に、測距に係る構成に制御に着目して説明する。
前述したように、間接ToFにより測距を行う場合には、光源装置からパルス光が投光される周期に同期するよう、被写体で反射した当該パルス光(反射光)を検出するセンサチップを駆動させる。そのため、間接ToFにより測距が行われる場合においては、上記光源装置がパルス光を投光する動作(以下、単に「光源装置の動作」とも称する)と、上記センサチップが被写体で反射した当該パルス光を検出する動作(以下、単に「センサチップの動作」とも称する)とを同期させるための制御が行われる場合がある。なお、光源装置がパルス光を投光するタイミングが「第2のタイミング」の一例に相当する。また、センサチップが被写体で反射した当該パルス光を検出するタイミングが「第1のタイミング」の一例に相当する。即ち、上記制御により、第1のタイミングと第2のタイミングとの間の相対的な時間差が制御され、ひいては当該第1のタイミングと当該第2のタイミングとの同期が行われることとなる。
<比較例>
ここで、本開示の一実施形態に係る距離画像センサの特徴をよりわかりやすくするために、まず、比較例に係る距離画像センサの動作制御の一例について、特に、光源装置の動作とセンサチップの動作とを同期させるための制御に着目して説明する。例えば、図29は、比較例に係る距離画像センサの動作制御の一例について説明するための説明図である。図29に示す例では、センサチップの各センサ素子を駆動するための駆動信号(以下、「画素駆動信号」とも称する)を遅延させることで、光源装置の動作とセンサチップの動作との同期が行われる。
具体的には、図29に示す例では、画素駆動信号の遅延調整に係る分解能はtd1となる。即ち、図29に示す例では、画素駆動信号の遅延を調整するための最小単位(LSB:Least−Significant Bit)はtd1となり、換言すると当該遅延の調整はtd1単位で行われることとなる。なお、図29に示す例では、画素駆動信号に対して遅延量が1LSB〜3LSBの遅延が施された遅延信号をあわせて示している。
また、図29において参照符号T11は、光源駆動信号に基づき光源装置が駆動された場合に、光源装置を駆動するための駆動回路等による遅延により、実際に光源装置が発光するタイミングを模式的に示している。即ち、参照符号R2は、光源装置を駆動するための駆動回路等による遅延の遅延量を模式的に示している。即ち、図29に示す例では、光源装置の発光タイミングT11に同期してセンサチップのセンサ素子が受光動作を行うように、画素駆動信号に対してtd1単位で遅延を施すことで、光源装置の動作とセンサチップの動作との同期が行われる。
一方で、図29に示すように、比較例に係る距離画像センサにおいては、画素駆動信号の遅延がtd1単位で調整されるという特性から、光源装置の動作とセンサチップの動作との間の同期を、td1よりも細かい分解能で調整することが困難である。そのため、比較例に係る距離画像センサにおいては、光源装置から被写体に向けて投光されるパルス光(照射光)と、被写体で反射した当該パルス光(反射光)と、の間の位相差に、画素駆動信号と光源駆動信号との間の同期時の誤差(即ち、光源装置の動作とセンサチップの動作との同期時に生じる誤差)が重畳することとなる。このような誤差は、例えば、測距結果の誤差として顕在化する可能性があり、即ち、測距精度の低下の一要因となる可能性がある。換言すると、比較例に係る距離画像センサは、画素駆動信号と光源駆動信号との同期に伴い上記位相差に重畳される誤差を解消するための補正に係る分解能(以下、「位相調整分解能」とも称する)を、画素駆動信号の遅延の調整に係る分解能td1(以下、「遅延調整分解能td1」とも称する)よりも細かく設定することが困難である。そのため、比較例に係る距離画像センサにおいては、画素駆動信号と光源駆動信号との同期に伴い上記位相差に重畳される誤差のうち、遅延調整分解能td1よりも細かい誤差を解消することが困難な場合がある。
上述した問題を解決するための一手段として、遅延の調整に係る分解能td1がより細かい遅延回路を適用する方法が挙げられる。しかしながら、この場合には、遅延回路に適用される遅延素子としてより微小な素子(例えば、容量、抵抗等)を採用する必要が生じ、要求される分解能によっては実現が困難な場合がある。
このような背景から、距離をより高い精度で測定するために、光源装置の動作とセンサチップの動作との同期に伴い、照射光と反射光との間の位相差に重畳される誤差をより高い分解能で補正することを可能とする仕組みの実現が求められている。そこで、本開示では、位相調整分解能をより向上させることで、測距に係る精度をより向上させることを可能とする技術の一例について提案する。より具体的には、本開示では、光源装置の動作とセンサチップの動作との間の相対的な遅延(即ち、光源装置及びセンサチップそれぞれの動作タイミングの相対的な時間差)の制御を、当該遅延の制御に適用される遅延回路自体の分解能よりも細かい分解能で制御可能とする技術の一例について提案する。
<基本思想>
まず、図30を参照して、本開示の一実施形態に係る距離画像センサの制御の基本思想について概要を説明する。図30は、本開示の一実施形態に係る距離画像センサの制御の基本思想について説明するための説明図である。
本開示の一実施形態に係る距離画像センサでは、被写体に投光する光としてパルス光や変調光等のように所定のパターンが周期的に繰り返される光を使用し、照射光と反射光との間の位相差を測定する。また、本開示の一実施形態に係る距離画像センサでは、光源装置の動作とセンサチップの動作との間の相対的な遅延を制御することで、当該光源装置の動作と当該センサチップの動作とを同期させる。このような前提の基で、本開示の一実施形態に係る距離画像センサでは、分解能(遅延調整分解能)の異なる複数の遅延回路それぞれによる遅延を、画素駆動信号または光源駆動信号に適用することで、光源装置の動作とセンサチップの動作との間の相対的な遅延を制御する。なお、画素駆動信号が「第1の駆動信号」の一例に相当し、光源駆動信号が「第2の駆動信号」の一例に相当する。
例えば、図30に示す例では、画素駆動信号と光源駆動信号とのそれぞれを遅延調整分解能の異なる遅延回路により遅延させることで、センサチップの画素を駆動するタイミングと、光源装置を駆動するタイミングとを独立して調整(制御)している。換言すると、図30に示す例では、センサチップの画素を駆動するタイミングの制御と、光源装置を駆動するタイミングの制御と、のそれぞれに対して、遅延調整分解能の異なる遅延量が適用されている。例えば、図30に示す例では、画素駆動信号の遅延調整に係る分解能がtd1であるのに対して、光源駆動信号の遅延調整に係る分解能がtd2となっている。なお、本制御については、「第1の制御例」として詳細を別途後述する。
また、他の一例として、遅延調整分解能の異なる複数の遅延回路による複数の遅延を画素駆動信号と光源駆動信号とのいずれかに対して適用することで、センサチップの画素を駆動するタイミングと、光源装置を駆動するタイミングとのいずれかを調整(制御)してもよい。換言すると、センサチップの画素を駆動するタイミングの制御と、光源装置を駆動するタイミングの制御と、のいずれかに対して、遅延調整分解能の異なる複数の遅延量を適用してもよい。なお、本制御については、「第2の制御例」として詳細を別途後述する。
<第1の制御例>
まず、本開示の一実施形態に係る距離画像センサの第1の制御例について説明する。例えば、図31及び図32は、本開示の一実施形態に係る距離画像センサの第1の制御例について説明するための説明図である。
まず、図31を参照して、本制御例に係る遅延制御の概要について説明する。本制御例では、互いに異なる複数の駆動信号それぞれを遅延調整分解能の異なる遅延回路により遅延させることで、当該複数の駆動信号間の相対的な遅延量を制御する。例えば、図31において、入力信号I11及びI12は、位相差が調整される前の駆動信号にそれぞれ相当し、出力信号O11及びO12は、入力信号I11及びI12間の位相差が調整された後の駆動信号にそれぞれ相当する。参照符号1010は、入力された複数の駆動信号それぞれに対して遅延を施すことで、当該複数の駆動信号間の相対的な遅延量を制御する構成(以下、「位相調整回路」とも称する)に相当する。
位相調整回路1010は、互い遅延調整分解能の異なる第1可変遅延回路1011と第2可変遅延回路1013とを含む。なお、第1可変遅延回路1011の遅延調整分解能をtd1とし、第2可変遅延回路1013の遅延調整分解能をtd2とする。このような構成の基で、第1可変遅延回路1011は、入力信号I11に対して遅延を施し、出力信号O11として出力する。このとき、第1可変遅延回路1011が入力信号I11に対して施す遅延の遅延量は、遅延制御信号D11に基づきtd1単位で制御される。また、第2可変遅延回路1013は、入力信号I12に対して遅延を施し、出力信号O12として出力する。このとき、第2可変遅延回路1013が入力信号I12に対して施す遅延の遅延量は、遅延制御信号D12に基づきtd2単位で制御される。なお、入力信号I11及びI12のうち、いずれか一方が、遅延が施される前の光源駆動信号に相当し、他方が、遅延が施される前の画素駆動信号に相当し得る。
図31において、参照符号R11は、入力信号I11及びI12間の相対的な遅延の遅延量を模式的に示している。また、参照符号R13は、出力信号O11及びO12間の相対的な遅延の遅延量を模式的に示している。遅延量R11及びR13を比較するとわかるように、位相調整回路1010により入力される複数の駆動信号(即ち、入力信号I11及びI12)に対して遅延が施されることで、当該位相調整回路1010から出力される駆動信号(即ち、出力信号O11及びO12)間の相対的な遅延量が変化することとなる。即ち、第1可変遅延回路1011によりtd1単位で入力信号I11に施される遅延量と、第2可変遅延回路1013によりtd2単位で入力信号I12に施される遅延量との差が、入力信号I11及びI12間の相対的な遅延の調整量(以下、「位相調整量」とも称する)となる。
ここで、図32を参照して、図31に示す例において入力信号I11及びI12それぞれに遅延を施した場合における、当該入力信号I11及びI12間の位相調整量について具体的な例を挙げて説明する。図32に示す例では、入力信号I11及びI12と、当該入力信号I11及びI12に対して遅延が施された後の遅延信号(即ち、出力信号O11及びO12)とを示している。なお、図32に示す例では、入力信号I11及びI12それぞれに対応する遅延信号として、当該入力信号(即ち、入力信号I11及びI12)に対して対応する遅延回路により遅延量が1LSB〜3LSBの遅延が施された遅延信号を示している。
図32において、参照符号R21は、入力信号I11に対して遅延量が1LSBの遅延が施された遅延信号と、入力信号I12に対して遅延量が1LSBの遅延が施された遅延信号と、の間の相対的な遅延の遅延量(換言すると、位相調整量)を模式的に示している。このとき、入力信号I11及びI12が同期している場合には、位相調整量R21は、td1−td2で表されることとなる。
また、参照符号R23は、入力信号I11に対して遅延量が2LSBの遅延が施された遅延信号と、入力信号I12に対して遅延量が2LSBの遅延が施された遅延信号と、の間の相対的な遅延の遅延量(換言すると、位相調整量)を模式的に示している。このとき、入力信号I11及びI12が同期している場合には、位相調整量R23は、2*td1−2*td2で表されることとなる。
ここで、Δtd=td1−td2とし、かつtd2<td1とした場合に、Δtd<td2<td1の関係が成り立つことがわかる。即ち、上述のような位相調整回路1010の特性を利用することで、例えば、光源駆動信号と画素駆動信号との間の位相差(換言すると、相対的な遅延)を、各駆動信号に対して施される遅延の調整に係る分解能td1及びtd2よりも細かい分解能で調整することが可能となる。これにより、本開示の一実施形態に係る距離画像センサに依れば、各駆動信号に対して遅延を施す遅延回路の分解能よりも細かい分解能で、光源駆動信号と画素駆動信号との間の位相差を調整する(即ち、光源駆動信号と画素駆動信号との同期をとる)ことが可能となる。
なお、本制御例において、第1可変遅延回路1011が「第1の遅延回路」の一例に相当し、当該第1可変遅延回路1011により駆動信号(換言すると、当該回路への入力信号)に施される遅延の遅延量(即ち、遅延調整分解能がtd1の遅延量)が「第1の遅延量」の一例に相当する。また、第2可変遅延回路1013が「第2の遅延回路」の一例に相当し、当該第2可変遅延回路1013により駆動信号に施される遅延の遅延量(即ち、遅延調整分解能がtd2の遅延量)が「第2の遅延量」の一例に相当する。
以上、図31及び図32を参照して、本開示の一実施形態に係る距離画像センサの第1の制御例について説明した。
<第2の制御例>
続いて、本開示の一実施形態に係る距離画像センサの第2の制御例について説明する。例えば、図33及び図34は、本開示の一実施形態に係る距離画像センサの第2の制御例について説明するための説明図である。
まず、図33を参照して、本制御例に係る遅延制御の概要について説明する。本制御例では、互いに異なる複数の駆動信号のうちいずれかを遅延調整分解能の異なる複数の遅延回路により遅延させることで、当該複数の駆動信号間の相対的な遅延を制御する。例えば、図33において、入力信号I21及びI22は、位相差が調整される前の駆動信号にそれぞれ相当し、出力信号O21及びO22は、入力信号I21及びI22間の位相差が調整された後の駆動信号にそれぞれ相当する。参照符号1020は、図31に示す例における位相調整回路1010に相当する。本制御例において、位相調整回路1020は、入力された複数の駆動信号のうちのいずれかに対して複数種類の遅延を施すことで、当該複数の駆動信号間の位相差(即ち、相対的な遅延の遅延量)を制御する。
位相調整回路1020は、互い遅延調整分解能の異なる第1可変遅延回路1021と第2可変遅延回路1023とを含む。なお、第1可変遅延回路1021の遅延調整分解能をtd1とし、第2可変遅延回路1023の遅延調整分解能をtd2とする。このような構成の基で、第1可変遅延回路1021及び第2可変遅延回路1023のそれぞれは、例えば、入力信号I21に対して遅延を施し、出力信号O21として出力する。このとき、第1可変遅延回路1021が入力信号I21に対して施す遅延の遅延量は、遅延制御信号D21に基づきtd1単位で制御される。また、第2可変遅延回路1023が入力信号I21に対して施す遅延の遅延量は、遅延制御信号D22に基づきtd2単位で制御される。なお、入力信号I11及びI12のうち、いずれか一方が、遅延が施される前の光源駆動信号に相当し、他方が、遅延が施される前の画素駆動信号に相当する。
図31において、参照符号R31は、入力信号I21及びI22間の相対的な遅延の遅延量(即ち、位相調整量)を模式的に示している。また、参照符号R33は、出力信号O21及びO22間の相対的な遅延の遅延量を模式的に示している。遅延量R31及びR33を比較するとわかるように、位相調整回路1020により入力される複数の駆動信号(即ち、入力信号I21及びI22)のうちのいずれかに対して遅延が施されることで、当該位相調整回路1020から出力される駆動信号(即ち、出力信号O11及びO12)間の相対的な遅延量が変化することとなる。このとき、第1可変遅延回路1011によりtd1単位で入力信号I21に施される遅延量と、第2可変遅延回路1013によりtd2単位で入力信号I21に施される遅延量とに基づき、入力信号I21及びI22間の相対的な遅延の調整量(位相調整量)が決定される。
ここで、図34を参照して、図33に示す例において入力信号I21に対して第1可変遅延回路1021及び第2可変遅延回路1023それぞれにより適用される遅延量を制御した場合における、当該制御間における位相調整量について具体的な例を挙げて説明する。図34の上側に示した例は、入力信号I21に対して、第1可変遅延回路1021により遅延量が1LSBの遅延が施され、その後、第2可変遅延回路1023により遅延量が2LSBの遅延が施された場合の一例を示している。これに対して、図34の下側に示した例は、入力信号I21に対して、第1可変遅延回路1021により遅延量が2LSBの遅延が施され、その後、第2可変遅延回路1023により遅延量が1LSBの遅延が施された場合の一例を示している。
図34において、参照符号R41は、上側に示した例と、下側に示した例と、の間の相対的な遅延の遅延量を模式的に示している。このとき、当該遅延量R41は、(2*td1+td2)−(td1+2*td2)=td1−td2で表されることとなる。
ここで、Δtd=td1−td2とし、かつtd2<td1とした場合に、Δtd<td2<td1の関係が成り立つことがわかる。即ち、上述のような位相調整回路1020の特性を利用することで、光源駆動信号と画素駆動信号とうちのいずれかの遅延を、各遅延回路により施される遅延の調整に係る分解能td1及びtd2よりも細かい分解能で調整することが可能となる。これにより、本開示の一実施形態に係る距離画像センサに依れば、光源駆動信号及び画素駆動信号のいずれかに対して遅延を施す各遅延回路の分解能よりも細かい分解能で、光源駆動信号と画素駆動信号との間の位相差を調整する(即ち、光源駆動信号と画素駆動信号との同期をとる)ことが可能となる。
なお、本制御例において、第1可変遅延回路1021が「第1の遅延回路」の一例に相当し、当該第1可変遅延回路1021により駆動信号に施される遅延の遅延量(即ち、遅延調整分解能がtd1の遅延量)が「第1の遅延量」の一例に相当する。また、第2可変遅延回路1023が「第2の遅延回路」の一例に相当し、当該第2可変遅延回路1023により駆動信号に施される遅延の遅延量(即ち、遅延調整分解能がtd2の遅延量)が「第2の遅延量」の一例に相当する。
以上、図33及び図34を参照して、本開示の一実施形態に係る距離画像センサの第2の制御例について説明した。
<遅延回路の構成例>
続いて、本開示の一実施形態に係る距離画像センサにおいて、光源装置やセンサチップの駆動信号を遅延させるための可変遅延回路(例えば、第1の可変遅延回路及び第2の可変遅延回路)の一例について説明する。例えば、図35〜図38のそれぞれは、本開示の一実施形態に係る距離画像センサに適用可能な可変遅延回路の概略的な構成の一例を示した図である。
図35は、第1の遅延回路と第2の遅延回路とのそれぞれの負荷容量に差をつけることで、当該第1の遅延回路と当該第2の遅延回路との間で遅延差を設ける場合の一例について示している。即ち、図35に示す例では、第1の遅延回路の負荷容量C1と、第2の遅延回路の負荷容量C2とが、C1≠C2の関係となるように各遅延回路を構成している。これにより、第1の遅延回路の遅延時間td1(換言すると、遅延調整分解能td1)と、第2の遅延回路の遅延時間td2(換言すると、遅延調整分解能td2)とが、td1≠td2の関係を満たすように、各遅延回路を構成することが可能となる。
図36は、第1の遅延回路と第2の遅延回路とのそれぞれの負荷抵抗に差をつけることで、当該第1の遅延回路と当該第2の遅延回路との間で遅延差を設ける場合の一例について示している。即ち、図36に示す例では、第1の遅延回路の負荷抵抗R1と、第2の遅延回路の負荷抵抗R2とが、R1≠R2の関係となるように各遅延回路を構成している。これにより、第1の遅延回路の遅延時間td1(換言すると、遅延調整分解能td1)と、第2の遅延回路の遅延時間td2(換言すると、遅延調整分解能td2)とが、td1≠td2の関係を満たすように、各遅延回路を構成することが可能となる。
図37は、第1の遅延回路と第2の遅延回路とのそれぞれを構成する遅延素子の段数に差をつけることで、当該第1の遅延回路と当該第2の遅延回路との間で遅延差を設ける場合の一例について示している。即ち、図36に示す例では、第1の遅延回路を構成する遅延素子の段数N1と、第2の遅延回路を構成する遅延素子の段数N2とが、N1≠N2の関係となるように各遅延回路を構成している。これにより、第1の遅延回路の遅延時間td1(換言すると、遅延調整分解能td1)と、第2の遅延回路の遅延時間td2(換言すると、遅延調整分解能td2)とが、td1≠td2の関係を満たすように、各遅延回路を構成することが可能となる。
図38は、第1の遅延回路と第2の遅延回路とのそれぞれを構成する遅延素子(例えば、トランジスタ)のサイズに差をつけることで、当該第1の遅延回路と当該第2の遅延回路との間で遅延差を設ける場合の一例について示している。即ち、図37に示す例では、第1の遅延回路を構成する遅延素子のサイズW1と、第2の遅延回路を構成する遅延素子のサイズW2とが、W1≠W2の関係となるように各遅延回路を構成している。これにより、第1の遅延回路の遅延時間td1(換言すると、遅延調整分解能td1)と、第2の遅延回路の遅延時間td2(換言すると、遅延調整分解能td2)とが、td1≠td2の関係を満たすように、各遅延回路を構成することが可能となる。
なお、図35〜図38を参照して説明した例はあくまで一例であり、必ずしも本開示の一実施形態に係る距離画像センサに適用される遅延回路(例えば、第1の遅延回路及び第2の遅延回路)の構成を限定するものではない。即ち、第1の遅延回路と第2の遅延回路との間で遅延差を設ける(即ち、遅延調整分解能に差を設ける)ことが可能であれば、当該第1の遅延回路及び当該第2の遅延回路それぞれの構成は特に限定されない。より具体的な一例として、図35〜図38のそれぞれに示す例のうち複数の例が組み合わせて使用されてもよい。また、図35〜図38のそれぞれに示す例とは異なる思想に基づき、第1の遅延回路と第2の遅延回路との間に遅延差が設けられてもよい。
<距離画像センサの第1の構成例>
続いて、本開示の一実施形態に係る距離画像センサの第1の構成例として、当該距離画像センサの機能構成の一例について説明する。例えば、図39は、本開示の一実施形態に係る距離画像センサの第1の構成例について示した機能ブロック図であり、特に、当該距離画像センサに適用されるセンサチップの構成の一例について示している。なお、以降の説明では、便宜上、第1の構成例に係る距離画像センサを、他の構成例と区別するために、「距離画像センサ1100」と称する場合がある。
図39において、参照符号1101は、距離画像センサ1100に適用されるセンサチップを示しており、例えば、図27を参照して説明した距離画像センサ201におけるセンサチップ203に相当する。また、図39において、光源1171及び光源駆動回路1173は、例えば、図27を参照して説明した光源装置211の光源及び光源駆動回路に相当する。
センサチップ1101は、画素アレイ1111と、画素駆動回路1113と、読み出し回路1115と、PLL(Phase−Locked Loop)1120と、入出力部(I/O)1130と、駆動信号生成回路1140と、位相調整回路1150と、制御回路1160とを含む。また、駆動信号生成回路1140は、画素駆動パルス生成回路1141と、光源駆動パルス生成回路1143とを含む。
画素アレイ1111は、前述したセンサチップ11におけるピクセルアレイ部12に相当する。また、画素駆動回路1113は、画素アレイ1111の各画素を駆動する回路に相当し、例えば、前述したセンサチップ11におけるグローバル制御回路13やローリング制御回路14に相当する。また、読み出し回路1115は、画素アレイ1111の各画素からセンサ信号を読み出す回路に相当し、例えば、前述したセンサチップ11におけるカラムADC15等が該当する。そのため、画素アレイ1111、画素駆動回路1113、及び読み出し回路1115については詳細な説明は省略する。
PLL1120は、センサチップ1101の各構成の動作タイミングを制御するための基準となる基準信号(クロックパルス)を生成する。即ち、センサチップ1101内の各構成は、PLL1120により生成されたクロックパルスに同期して動作することとなる。PLL1120は、生成したクロックパルスを、駆動信号生成回路1140と制御回路1160とに供給する。
画素駆動パルス生成回路1141は、PLL1120から供給されるクロックパルスに基づき、画素駆動回路1113の駆動タイミングを制御するためのパルス信号(即ち、画素駆動信号)を生成する。画素駆動パルス生成回路1141は、生成した画素駆動信号を後段に位置する位相調整回路1150に出力する。また、光源駆動パルス生成回路1143は、PLL1120から供給されるクロックパルスに基づき、光源駆動回路1173の駆動タイミングを制御するためのパルス信号(即ち、光源駆動信号)を生成する。光源駆動パルス生成回路1143は、生成した光源駆動信号を後段に位置する位相調整回路1150に出力する。なお、画素駆動パルス生成回路1141及び光源駆動パルス生成回路1143それぞれが動作するタイミングは、制御回路1160により制御される。
位相調整回路1150は、画素駆動パルス生成回路1141から出力される画素駆動信号と、光源駆動パルス生成回路1143から出力される光源駆動信号と、のうちの少なくともいずれかを遅延させることで、当該画素駆動信号と当該光源駆動信号との間の位相差を調整する。そして、位相調整回路1150は、位相調整後の光源駆動信号を光源駆動回路1173に供給する。これにより、光源駆動回路1173が光源1171を駆動するタイミング、即ち、光源1171がパルス光を投光するタイミングが、位相調整回路1150から供給される光源駆動信号に基づき制御される。また、位相調整回路1150は、位相調整後の画素駆動信号を画素駆動回路1113に供給する。これにより、画素駆動回路1113が画素アレイ1111の各画素を駆動するタイミング、即ち、画素アレイ1111の各画素が被写体で反射した上記パルス光を検出するタイミングが、位相調整回路1150から供給される画素駆動信号に基づき制御される。以上により、光源1171の動作とセンサチップ1101(特に、画素アレイ1111及び読み出し回路1115)の動作とを同期させることが可能となる。
なお、位相調整回路1150による画素駆動信号と光源駆動信号との間の位相差の調整に係る制御については、例えば、第1の制御例及び第2の制御例として前述したとおりである。即ち、位相調整回路1150は、画素駆動信号や光源駆動信号を遅延させる遅延回路の遅延調整分解能よりも細かい分解能で、画素駆動信号と光源駆動信号との間の位相差を調整することが可能である。
これにより、例えば、光源駆動回路1173の動作と画素駆動回路1113の動作とが同期するように制御される。即ち、光源1171がパルス光を投光する動作と、画素アレイ1111の各画素(各センサ素子)が被写体で反射した当該パルス光を検出する動作と、が同期するように制御される。なお、位相調整回路1150が動作するタイミングは、制御回路1160により制御される。
制御回路1160は、センサチップ1101内の各構成の動作を制御する。例えば、制御回路1160は、PLL1120から出力されるクロックパルスに基づき、駆動信号生成回路1140及び位相調整回路1150の動作タイミングを制御する。
また、制御回路1160は、読み出し回路1115による画素アレイ1111の各画素からのセンサ信号(即ち、各画素に蓄積された電荷量の)の読み出し結果に基づき、被写体との距離を測定してもよい。この場合には、制御回路1160は、入出力部1130を介して距離の測定結果に応じた情報をセンサチップ1101の外部に出力してもよい。
入出力部1130は、センサチップ1101が外部の構成との間で情報の送受信を行うための入出力インタフェースである。例えば、読み出し回路1115による画素アレイ1111の各画素からのセンサ信号の読み出し結果に応じた情報は、入出力部1130を介してセンサチップ1101の外部に出力されてもよい。また、制御回路1160による各種演算結果に応じた情報が、入出力部1130を介してセンサチップ1101の外部に出力されてもよい。例えば、前述したように、制御回路1160による被写体との間の距離の測定結果に応じた情報が、入出力部1130を介してセンサチップ1101の外部に出力されてもよい。
なお、画素アレイ1111及び読み出し回路1115が、被写体までの距離の測定における「受光部」の一例に相当し、光源1171が、被写体までの距離の測定における「光源」の一例に相当する。また、位相調整回路1150が、受光部(画素アレイ1111の各画素)が受光量を検出する第1のタイミングと、光源が光を投光する第2のタイミングと、の間の相対的な時間差(換言すると、位相差)を制御する「制御部」の一例に相当する。また、読み出し回路1115による画素アレイ1111の各画素から読み出されたセンサ信号に基づき被写体までの距離を測定する構成が「測定部」の一例に相当し、例えば、制御回路1160が該当し得る。
また、上述した機能構成はあくまで一例であり、各構成の動作が実現されれば、距離画像センサ1100の構成は必ずしも図39に示す例のみには限定されない。具体的な一例として、センサチップ1101と、光源装置に相当する構成(即ち、光源1171及び光源駆動回路1173)とが一体的に構成されていてもよい。
また、センサチップ1101が、前述した積層構造を有していてもよい。この場合には、センサチップ1101の各構成のうち、一部の構成と、当該一部の構成とは異なる他の構成とが、互いに異なる基板に設けられていてもよい。より具体的な一例として、センサチップ1101の各構成のうち、画素アレイ1111と、当該画素アレイ1111以外の他の構成とが、互いに異なる基板に設けられていてもよい。
また、センサチップ1101の各構成のうち、一部の構成がセンサチップ1101の外部に設けられていてもよい。具体的な一例として、PLL1120、駆動信号生成回路1140、位相調整回路1150、及び制御回路1160が、センサチップ1101の外部(例えば、制御用に設けられた他のチップ、電子機器、または装置等)に設けられていてもよい。
また、位相調整回路1150のうち、画素駆動信号に対して遅延を適用する部分と、光源駆動信号に対して遅延を適用する部分とが互いに異なるチップ、互いに異なる電子機器、または互いに異なる装置に設けられていてもよい。具体的な一例として、光源駆動信号に対して遅延を適用する部分がセンサチップ1101の外部(例えば、光源装置側)に設けられていてもよい。なお、この場合には、例えば、画素駆動信号に対して遅延を適用する部分と、光源駆動信号に対して遅延を適用する部分とが連動することにより、上記位相調整回路1150の機能が実現され得る。具体的な一例として、光源駆動信号に対して適用される遅延に応じて、画素駆動信号に対して適用される遅延が制御されることで、当該画素駆動信号と当該光源駆動信号との間の位相差を、各遅延の遅延調整分解能よりも細かい分解能で制御することが可能となる。
以上、本開示の一実施形態に係る距離画像センサの第1の構成例として、図39を参照して、当該距離画像センサの機能構成の一例について説明した。
<距離画像センサの第2の構成例>
続いて、本開示の一実施形態に係る距離画像センサの第2の構成例として、当該距離画像センサの機能構成の他の一例について説明する。例えば、図40は、本開示の一実施形態に係る距離画像センサの第2の構成例について示した機能ブロック図であり、特に、当該距離画像センサに適用されるセンサチップの構成の一例について示している。なお、以降の説明では、便宜上、第2の構成例に係る距離画像センサを、他の構成例と区別するために、「距離画像センサ1200」と称する場合がある。
図40において、参照符号1201は、距離画像センサ1200に適用されるセンサチップを示しており、例えば、図27を参照して説明した距離画像センサ201におけるセンサチップ203に相当する。また、図40において、光源1271及び光源駆動回路1273は、例えば、図27を参照して説明した光源装置211の光源及び光源駆動回路に相当する。
センサチップ1201は、画素アレイ1211と、画素駆動回路1213と、読み出し回路1215と、PLL1220と、入出力部(I/O)1230と、駆動信号生成回路1240と、位相調整回路1250と、制御回路1260とを含む。また、駆動信号生成回路1240は、画素駆動パルス生成回路1241と、光源駆動パルス生成回路1243とを含む。なお、画素アレイ1211、画素駆動回路1213、読み出し回路1215、PLL1220、及び入出力部1230については、図39を参照して説明した距離画像センサ1100における画素アレイ1111、画素駆動回路1113、読み出し回路1115、PLL1120、及び入出力部1130と実質的に同様である。そこで、以降では、距離画像センサ1200の機能構成について、前述した距離画像センサ1100と異なる部分に着目して説明し、当該距離画像センサ1100と実質的に同様の部分については詳細な説明は省略する。
PLL1220は、センサチップ1201の各構成の動作タイミングを制御するための基準となる基準信号(クロックパルス)を生成し、当該クロックパルスを位相調整回路1250と制御回路1260とに出力する。
位相調整回路1250は、PLL1220から供給されるクロックパルスを、後段に位置する画素駆動パルス生成回路1241及び光源駆動パルス生成回路1243のそれぞれに個別に供給する。なお、以降の説明では、便宜上、画素駆動パルス生成回路1241に供給されるクロックパルスを「第1のクロックパルス」とも称し、光源駆動パルス生成回路1243に供給されるクロックパルスを「第2のクロックパルス」とも称する。このとき位相調整回路1250は、第1のクロックパルス及び第2のクロックパルスのうちの少なくともいずれかを遅延させることで、当該第1のクロックパルス及び当該第2のクロックパルス間の位相差を調整する。即ち、位相が調整された第1のクロックパルス及び第2のクロックパルスが、光源駆動パルス生成回路1243及び画素駆動パルス生成回路1241にそれぞれ供給されることとなる。
なお、位相調整回路1250による第1のクロックパルスと第2のクロックパルスとの間の位相差の調整に係る制御については、例えば、第1の制御例及び第2の制御例として前述したとおりである。即ち、位相調整回路1250は、PLL1220から供給されるクロックパルスを遅延させる遅延回路の遅延調整分解能よりも細かい分解能で、第1のクロックパルスと第2のクロックパルスとの間の位相差を調整することが可能である。
画素駆動パルス生成回路1241は、位相調整回路1250から供給される第1のクロックパルスに基づき、画素駆動回路1213の駆動タイミングを制御するためのパルス信号(即ち、画素駆動信号)を生成する。画素駆動パルス生成回路1141は、生成した画素駆動信号を画素駆動回路1213に出力する。また、光源駆動パルス生成回路1243は、位相調整回路1250から供給される第2のクロックパルスに基づき、光源駆動回路1273の駆動タイミングを制御するためのパルス信号(即ち、光源駆動信号)を生成する。光源駆動パルス生成回路1243は、生成した光源駆動信号を光源駆動回路1273に出力する。
なお、前述したように、位相調整回路1250により、第1のクロックパルス及び第2のクロックパルス間の位相差が調整されている。そのため、第1のクロックパルスに基づき生成される光源駆動信号と、第2のクロックパルスに基づき生成される画素駆動信号との間の位相差が、当該第1のクロックパルス及び当該第2のクロックパルス間の位相差にあわせて調整されることとなる。即ち、光源駆動信号と画素駆動信号との間の上記位相差(換言すると、第1のクロックパルス及び第2のクロックパルス間の位相差)に応じて、光源1171がパルス光を投光するタイミングと、画素アレイ1111の各画素が被写体で反射した上記パルス光を検出するタイミングと、を同期させることも可能となる。
位相調整回路1250及び駆動信号生成回路1240それぞれの動作タイミングは、制御回路1260により、PLL1220から出力されるクロックパルスに基づき制御される。また、制御回路1260は、読み出し回路1215による画素アレイ1211の各画素からのセンサ信号(即ち、各画素に蓄積された電荷量の)の読み出し結果に基づき、被写体との距離を測定してもよい。この場合には、制御回路1260は、入出力部1230を介して距離の測定結果に応じた情報をセンサチップ1101の外部に出力してもよい。
また、図39を参照して説明した例と同様に、上述した機能構成はあくまで一例であり、各構成の動作が実現されれば、距離画像センサ1200の構成は必ずしも図40に示す例のみには限定されない。
以上、本開示の一実施形態に係る距離画像センサの第2の構成例として、図40を参照して、当該距離画像センサの機能構成の他の一例について説明した。
<距離画像センサの第3の構成例>
続いて、本開示の一実施形態に係る距離画像センサの第3の構成例として、当該距離画像センサの機能構成の他の一例について説明する。例えば、図41は、本開示の一実施形態に係る距離画像センサの第3の構成例について示した機能ブロック図であり、特に、当該距離画像センサに適用されるセンサチップの構成の一例について示している。なお、以降の説明では、便宜上、第3の構成例に係る距離画像センサを、他の構成例と区別するために、「距離画像センサ1300」と称する場合がある。
図41において、参照符号1301は、距離画像センサ1300に適用されるセンサチップを示しており、例えば、図27を参照して説明した距離画像センサ201におけるセンサチップ203に相当する。また、図41において、光源1371及び光源駆動回路1373は、例えば、図27を参照して説明した光源装置211の光源及び光源駆動回路に相当する。
センサチップ1301は、画素アレイ1311と、画素駆動回路1313と、読み出し回路1315と、PLL1320と、入出力部(I/O)1330と、駆動信号生成回路1340と、位相調整回路1350と、制御回路1360と、距離誤差演算回路1380とを含む。なお、画素アレイ1311、画素駆動回路1313、読み出し回路1315と、PLL1320、入出力部1330、及び駆動信号生成回路1340は、図39を参照して説明した距離画像センサ1100における画素アレイ1111、画素駆動回路1113、読み出し回路1115、PLL1120、入出力部1130、及び駆動信号生成回路1140と実質的に同様である。そこで、以降では、距離画像センサ1300の機能構成について、前述した距離画像センサ1100と異なる部分に着目して説明し、当該距離画像センサ1100と実質的に同様の部分については詳細な説明は省略する。
距離誤差演算回路1380は、読み出し回路1215による画素アレイ1211の各画素からのセンサ信号(即ち、各画素に蓄積された電荷量の)の読み出し結果に基づき、被写体までの距離の測定に係る誤差を算出し、当該誤差の算出結果を位相調整回路1350にフィードバックする。具体的な一例として、距離誤差演算回路1380は、距離の測定に係るセンサ信号の読み出し結果の理想値を制御回路1360から取得し、読み出し回路1215から出力されるセンサ信号の読み出し結果と、取得した当該理想値と、の間の誤差を算出する。そして、距離誤差演算回路1380は、算出した当該誤差を位相調整回路1350に出力する。この場合には、位相調整回路1350は、距離誤差演算回路1380からフィードバックされる誤差に基づき、当該誤差がより小さくなるように(即ち、センサ信号の読み出し結果が理想値により近づくように)、光源駆動信号と画素駆動信号との間の位相差を制御する。このとき、位相調整回路1350は、光源駆動信号や画素駆動信号を遅延させる遅延回路の遅延調整分解能よりも細かい分解能で、光源駆動信号と画素駆動信号との間の位相差を調整することが可能である。
なお、制御回路1360が、上記理想値を導出する方法については特に限定されない。例えば、距離の測定結果を補正するモード等のように、距離が既知の被写体が撮像される場合において、当該既知の距離に応じた情報を上記理想値として距離誤差演算回路1380に出力してもよい。また、他の一例として、制御回路1360は、GPS等のような他の検知デバイスによる検知結果を利用することで上記理想値を算出してもよい。もちろん、上記はあくまで一例であり、上記理想値を導出または決定することが可能であれば、その方法は特に限定されない。また、距離誤差演算回路1380が、「誤差演算部」の一例に相当する。
なお、上記では、図39に示す距離画像センサ1100に対して距離誤差演算回路1380を追加することで、各画素からのセンサ信号の読み出し結果に応じて、被写体までの距離の測定に係る誤差を位相調整回路1350にフィードバックする場合の一例について説明した。一方で、図40に示す距離画像センサ1200についても同様に、距離誤差演算回路1380を追加することで、各画素からのセンサ信号の読み出し結果に応じて、被写体までの距離の測定に係る誤差を位相調整回路1250にフィードバックすることが可能である。
また、図39を参照して説明した例と同様に、上述した機能構成はあくまで一例であり、各構成の動作が実現されれば、距離画像センサ1300の構成は必ずしも図41に示す例のみには限定されない。
以上、本開示の一実施形態に係る距離画像センサの第3の構成例として、図41を参照して、当該距離画像センサの機能構成の他の一例について説明した。
<<4.使用例及び応用例>>
続いて、本開示に係る技術の使用例及び応用例について説明する。
<イメージセンサの使用例>
図42は、上述のイメージセンサ(撮像素子)を使用する使用例を示す図である。
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
また、本開示の一実施形態に係る距離画像センサについては、例えば、ToF等の測距技術を利用して各種機能を提供するような様々な装置に使用することが可能である。当該装置の一例として、例えば、スマートフォン、ウェアラブルデバイス(例えば、腕時計型やメガネ型のデバイス)、HMD(Head Mounted Display)等のように、ユーザにより保持されることが移動可能に構成された装置が挙げられる。また、上記装置の他の一例として、車両等の移動体、ドローン、ロボット(例えば、産業用ロボット、自律的に行動可能なロボット等)、FA(Factory Automation)機器、農業用機器等のように、それ自体が移動可能に構成された装置が挙げられる。もちろん上記はあくまで一例であり、本開示の一実施形態に係る距離画像センサによる測距結果を利用可能な装置であれば、当該距離画像センサが適用される装置は特に限定されない。
<内視鏡手術システムへの応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図43は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図43では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図44は、図43に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡11100や、カメラヘッド11102(の撮像部11402)、CCU11201(の画像処理部11412)等に適用され得る。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
<移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図45は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図45に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図45の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図46は、撮像部12031の設置位置の例を示す図である。
図46では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図46には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031等に適用され得る。
<<5.むすび>>
以上説明したように、本開示の一実施形態に係る距離画像センサにおいて、受光部は、光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する。また、測定部は、上記受光量に基づいて上記被写体までの距離を測定する。また、制御部は、制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、上記受光部が受光量を検出する第1のタイミングと、上記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用する。このような構成に基づき、上記制御部は、上記第1のタイミングと上記第2のタイミングとの間の相対的な時間差を、上記第1の遅延量及び上記第2の遅延量それぞれの上記分解能よりも細かい分解能で制御する。
以上のような構成により、第1の遅延量及び第2の遅延量のいずれかのみに基づき、第1のタイミングと第2のタイミングとの間の相対的な時間差が制御される場合に比べて、光源の動作と受光部の動作とをより高い精度で同期させることが可能となる。即ち、本開示の一実施形態に係る距離画像センサに依れば、距離の測定に係る処理の分解能に起因して生じる誤差の影響をより低減することが可能となり、ひいては距離の測定に係る精度をより向上させる効果を期待することも可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
具体的な一例として、受光部が受光量を検出するタイミングや光源が光を投光するタイミングの制御に適用される遅延量の種類は必ずしも2つには限定されない。即ち、遅延調整分解が互いに異なる3種類以上の遅延量のそれぞれが、受光部が受光量を検出するタイミングの制御や光源が光を投光するタイミングの制御に適用されてもよい。より具体的な一例として、受光部が受光量を検出するタイミングと、光源が光を投光するタイミングと、の間の相対的な時間差の制御に要求される分解能に応じて、当該制御に利用される遅延量の種類の数が決定されてもよい。
また、3種類以上の遅延量を利用する場合においては、前述した第1の制御例及び第2の制御例を組み合わせて利用することも可能である。具体的な一例として、遅延調整分解が互いに異なる第1の遅延量〜第3の遅延量を利用する場合において、第1の遅延量及び第2の遅延量を受光部が受光量を検出するタイミングの制御に適用し、第3の遅延量を光源が光を投光するタイミングの制御に適用してもよい。
また、他の一例として、遅延調整分解が互いに異なる遅延のそれぞれが適用される信号の種類は必ずしも2つには限定されない。即ち、3種類以上の異なる信号(例えば、駆動信号)が、上述した遅延に係る制御の対象となってもよい。なお、この場合においては、例えば、遅延に係る制御の対象となる信号の種類の数に応じて、当該制御に利用される遅延量の種類の数が決定されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、
前記受光量に基づいて前記被写体までの距離を測定する測定部と、
制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のうちの少なくともいずれかを、前記受光部が前記受光量を検出する第1のタイミングの制御に適用することで、当該第1のタイミングと前記光源が光を投光する第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量に応じて、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、
を備える、センサチップ。
(2)
前記制御部は、前記第2のタイミングの制御に適用される前記第2の遅延量に応じて、前記第1のタイミングの制御に適用する前記第1の遅延量を制御することで、前記時間差を制御する、前記(1)に記載のセンサチップ。
(3)
前記制御部は、前記第1のタイミングの制御に適用する前記第1の遅延量及び前記第2の遅延量それぞれを制御することで、前記時間差を制御する、前記(1)に記載のセンサチップ。
(4)
光源と、
前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、
前記受光量に基づいて前記被写体までの距離を測定する測定部と、
制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、
を備える、電子機器。
(5)
前記制御部は、前記第1の遅延量及び前記第2の遅延量のうち、一方を前記第1のタイミングの制御に適用し、他方を前記第2のタイミングの制御に適用することで、前記時間差を制御する、前記(4)に記載の電子機器。
(6)
前記制御部は、前記第1の遅延量及び前記第2の遅延量の双方を、前記第1のタイミングの制御と前記第2のタイミングの制御とのいずれかに適用することで、前記時間差を制御する、前記(4)に記載の電子機器。
(7)
前記制御部は、前記第1の遅延量及び前記第2の遅延量それぞれを制御することで、前記時間差を制御する、前記(4)〜(6)のいずれか一項に記載の電子機器。
(8)
第1の駆動信号及び第2の駆動信号を生成する生成回路を備え、
前記第1の駆動信号に基づき前記受光部が駆動され、
前記第2の駆動信号に基づき前記光源が駆動される、
前記(4)〜(7)のいずれか一項に記載の電子機器。
(9)
前記制御部は、前記第1の遅延量及び第2の遅延量それぞれに基づき、生成された前記第1の駆動信号または前記第2の駆動信号を遅延させることで、前記時間差を制御する、前記(8)に記載の電子機器。
(10)
前記生成回路は、前記第1の遅延量及び前記第2の遅延量に応じて、前記第1の駆動信号及び前記第2の駆動信号を生成し、
生成された当該第1の駆動信号及び当該第2の駆動信号に基づき、前記光源及び前記受光部の駆動が制御されることで、前記時間差が制御される、
前記(8)に記載の電子機器。
(11)
前記制御部は、
入力信号に対して前記第1の遅延量に応じた遅延を施す第1の遅延回路と、
入力信号に対して前記第2の遅延量を応じた遅延を施す第2の遅延回路と、
を備え、
前記第1の遅延回路と前記第2の遅延回路とは、それぞれが備える遅延素子の付加容量、前記遅延素子の負荷抵抗、前記遅延素子の接続段数、及び前記遅延素子に適用されるトランジスタのサイズの少なくともいずれかが異なる、
前記(4)〜(10)のいずれか一項に記載の電子機器。
(12)
前記受光量の検出結果に応じて距離の測定に係る誤差を算出する誤差演算部を備え、
前記制御部は、前記誤差の算出結果に応じて、前記第1の遅延量及び前記第2の遅延量のうち少なくともいずれかを制御する、前記(4)〜(11)のいずれか一項に記載の電子機器。
(13)
光源と、
前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、
前記受光量に基づいて前記被写体までの距離を測定する測定部と、
制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、
を備える、装置。
(14)
光源と、前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、のそれぞれの動作を制御する制御部を備え、
前記制御部は、制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御し、
前記受光量に基づいて前記被写体までの距離が測定される、
装置。
201 距離画像センサ
202 光学系
203 センサチップ
204 画像処理回路
205 モニタ
206 メモリ
211 光源装置
1010、1020 位相調整回路
1011、1021 第1可変遅延回路
1013、1023 第2可変遅延回路
1100 距離画像センサ
1101 センサチップ
1111 画素アレイ
1113 画素駆動回路
1115 読み出し回路
1120 PLL
1130 入出力部
1140 駆動信号生成回路
1141 画素駆動パルス生成回路
1143 光源駆動パルス生成回路
1150 位相調整回路
1160 制御回路
1171 光源
1173 光源駆動回路

Claims (14)

  1. 光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、
    前記受光量に基づいて前記被写体までの距離を測定する測定部と、
    制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のうちの少なくともいずれかを、前記受光部が前記受光量を検出する第1のタイミングの制御に適用することで、当該第1のタイミングと前記光源が光を投光する第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量に応じて、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、
    を備える、センサチップ。
  2. 前記制御部は、前記第2のタイミングの制御に適用される前記第2の遅延量に応じて、前記第1のタイミングの制御に適用する前記第1の遅延量を制御することで、前記時間差を制御する、請求項1に記載のセンサチップ。
  3. 前記制御部は、前記第1のタイミングの制御に適用する前記第1の遅延量及び前記第2の遅延量それぞれを制御することで、前記時間差を制御する、請求項1に記載のセンサチップ。
  4. 光源と、
    前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、
    前記受光量に基づいて前記被写体までの距離を測定する測定部と、
    制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、
    を備える、電子機器。
  5. 前記制御部は、前記第1の遅延量及び前記第2の遅延量のうち、一方を前記第1のタイミングの制御に適用し、他方を前記第2のタイミングの制御に適用することで、前記時間差を制御する、請求項4に記載の電子機器。
  6. 前記制御部は、前記第1の遅延量及び前記第2の遅延量の双方を、前記第1のタイミングの制御と前記第2のタイミングの制御とのいずれかに適用することで、前記時間差を制御する、請求項4に記載の電子機器。
  7. 前記制御部は、前記第1の遅延量及び前記第2の遅延量それぞれを制御することで、前記時間差を制御する、請求項4に記載の電子機器。
  8. 第1の駆動信号及び第2の駆動信号を生成する生成回路を備え、
    前記第1の駆動信号に基づき前記受光部が駆動され、
    前記第2の駆動信号に基づき前記光源が駆動される、
    請求項4に記載の電子機器。
  9. 前記制御部は、前記第1の遅延量及び第2の遅延量それぞれに基づき、生成された前記第1の駆動信号または前記第2の駆動信号を遅延させることで、前記時間差を制御する、請求項8に記載の電子機器。
  10. 前記生成回路は、前記第1の遅延量及び前記第2の遅延量に応じて、前記第1の駆動信号及び前記第2の駆動信号を生成し、
    生成された当該第1の駆動信号及び当該第2の駆動信号に基づき、前記光源及び前記受光部の駆動が制御されることで、前記時間差が制御される、
    請求項8に記載の電子機器。
  11. 前記制御部は、
    入力信号に対して前記第1の遅延量に応じた遅延を施す第1の遅延回路と、
    入力信号に対して前記第2の遅延量を応じた遅延を施す第2の遅延回路と、
    を備え、
    前記第1の遅延回路と前記第2の遅延回路とは、それぞれが備える遅延素子の付加容量、前記遅延素子の負荷抵抗、前記遅延素子の接続段数、及び前記遅延素子に適用されるトランジスタのサイズの少なくともいずれかが異なる、
    請求項4に記載の電子機器。
  12. 前記受光量の検出結果に応じて距離の測定に係る誤差を算出する誤差演算部を備え、
    前記制御部は、前記誤差の算出結果に応じて、前記第1の遅延量及び前記第2の遅延量のうち少なくともいずれかを制御する、請求項4に記載の電子機器。
  13. 光源と、
    前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、
    前記受光量に基づいて前記被写体までの距離を測定する測定部と、
    制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御する制御部と、
    を備える、装置。
  14. 光源と、前記光源から投光され被写体で反射した反射光を受光して、所定の検出期間ごとに当該検出期間内における当該反射光の受光量を検出する受光部と、のそれぞれの動作を制御する制御部を備え、
    前記制御部は、制御に係る分解能が互いに異なる第1の遅延量及び第2の遅延量のそれぞれを、前記受光部が前記受光量を検出する第1のタイミングと、前記光源が光を投光する第2のタイミングと、のうちのいずれかの制御に適用することで、当該第1のタイミングと当該第2のタイミングとの間の相対的な時間差を、前記第1の遅延量及び前記第2の遅延量それぞれの前記分解能よりも細かい分解能で制御し、
    前記受光量に基づいて前記被写体までの距離が測定される、
    装置。
JP2019537387A 2017-12-22 2018-09-12 センサチップ、電子機器、及び装置 Active JP7177066B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017245944 2017-12-22
JP2017245944 2017-12-22
PCT/JP2018/033860 WO2019123738A1 (ja) 2017-12-22 2018-09-12 センサチップ、電子機器、及び装置

Publications (2)

Publication Number Publication Date
JPWO2019123738A1 true JPWO2019123738A1 (ja) 2020-10-22
JP7177066B2 JP7177066B2 (ja) 2022-11-22

Family

ID=66992542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019537387A Active JP7177066B2 (ja) 2017-12-22 2018-09-12 センサチップ、電子機器、及び装置

Country Status (5)

Country Link
US (1) US11543497B2 (ja)
EP (1) EP3575825B1 (ja)
JP (1) JP7177066B2 (ja)
CN (1) CN110249237B (ja)
WO (1) WO2019123738A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3392674A1 (en) * 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
US10418405B2 (en) * 2017-09-05 2019-09-17 Sony Semiconductor Solutions Corporation Sensor chip and electronic apparatus
JP6643417B2 (ja) * 2018-08-02 2020-02-12 Hapsモバイル株式会社 システム、制御装置及び軽航空機
CN112689777B (zh) * 2018-09-11 2024-02-06 新唐科技日本株式会社 测距摄像装置及固体摄像元件
US11054849B2 (en) 2019-07-12 2021-07-06 Himax Technologies Limited Source driver and output buffer thereof
TWI701948B (zh) * 2019-07-18 2020-08-11 香港商京鷹科技股份有限公司 影像感測裝置及影像感測方法
TWI741326B (zh) * 2019-07-26 2021-10-01 奇景光電股份有限公司 源極驅動器及其輸出緩衝器
TWI831995B (zh) * 2019-10-04 2024-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
KR20210044433A (ko) * 2019-10-15 2021-04-23 에스케이하이닉스 주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
WO2021172364A1 (ja) * 2020-02-25 2021-09-02 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置および撮像装置
CN111401522B (zh) * 2020-03-12 2023-08-15 上海交通大学 脉动阵列变速控制方法及可变速脉动阵列微框架系统
US11787563B2 (en) 2020-04-06 2023-10-17 Workhorse Group Inc. Unmanned aerial vehicle including equipment mounted in recessed seat of apex support structure
JP7563892B2 (ja) * 2020-04-10 2024-10-08 株式会社キーエンス 変位センサ
CN115836231A (zh) * 2020-07-10 2023-03-21 长春长光辰芯光电技术有限公司(日本) Tof传感器
US11440679B2 (en) * 2020-10-27 2022-09-13 Cowden Technologies, Inc. Drone docking station and docking module
US11871135B2 (en) * 2022-02-03 2024-01-09 Omnivision Technologies, Inc. Circuit and method for image artifact reduction in high-density, high-pixel-count, image sensor with phase detection autofocus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013195306A (ja) * 2012-03-21 2013-09-30 Honda Motor Co Ltd 測距システム
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックIpマネジメント株式会社 測距システム及び信号発生装置
US20160363654A1 (en) * 2015-06-15 2016-12-15 David Wyland Time-of-flight (tof) system calibration
JP2017032342A (ja) * 2015-07-30 2017-02-09 株式会社デンソー 光飛行型測距装置
JP2017053769A (ja) * 2015-09-10 2017-03-16 株式会社村田製作所 距離センサ

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906793B2 (en) 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
JP2007032342A (ja) * 2005-07-25 2007-02-08 Hitachi Ltd 燃料噴射弁
WO2008005516A2 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
EP1944622B1 (en) * 2006-10-18 2013-04-10 Panasonic Corporation Spatial information detecting device
JP4098341B1 (ja) * 2006-12-28 2008-06-11 北陽電機株式会社 走査式測距装置の光学窓汚れ検出装置
US8699008B2 (en) 2009-02-27 2014-04-15 Panasonic Corporation Distance measuring device
KR101668869B1 (ko) * 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
US8642938B2 (en) * 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
US9109888B2 (en) * 2012-03-21 2015-08-18 Honda Motor Co., Ltd. Distance measuring system
US9658336B2 (en) * 2014-08-20 2017-05-23 Omnivision Technologies, Inc. Programmable current source for a time of flight 3D image sensor
JP6507529B2 (ja) * 2014-08-29 2019-05-08 株式会社デンソー 光飛行型測距装置
US9720076B2 (en) * 2014-08-29 2017-08-01 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013195306A (ja) * 2012-03-21 2013-09-30 Honda Motor Co Ltd 測距システム
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックIpマネジメント株式会社 測距システム及び信号発生装置
US20160363654A1 (en) * 2015-06-15 2016-12-15 David Wyland Time-of-flight (tof) system calibration
JP2017032342A (ja) * 2015-07-30 2017-02-09 株式会社デンソー 光飛行型測距装置
JP2017053769A (ja) * 2015-09-10 2017-03-16 株式会社村田製作所 距離センサ

Also Published As

Publication number Publication date
EP3575825A4 (en) 2020-02-26
JP7177066B2 (ja) 2022-11-22
US11543497B2 (en) 2023-01-03
CN110249237B (zh) 2024-08-16
EP3575825A1 (en) 2019-12-04
US20190383917A1 (en) 2019-12-19
EP3575825B1 (en) 2023-07-05
CN110249237A (zh) 2019-09-17
WO2019123738A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP7177066B2 (ja) センサチップ、電子機器、及び装置
JP7167036B2 (ja) センサチップおよび電子機器
CN110192118B (zh) 脉冲生成器和信号生成装置
JP7232762B2 (ja) 信号生成装置
US11921209B2 (en) Signal generation apparatus
JP7436207B2 (ja) 信号生成装置
WO2018131510A1 (ja) 固体撮像素子および電子機器
WO2018225306A1 (ja) 固体撮像素子および撮像装置
CN110192121B (en) Signal generating device
CN110199205B (zh) 信号生成装置
JPWO2020075380A1 (ja) 記憶回路および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221110

R150 Certificate of patent or registration of utility model

Ref document number: 7177066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150