JPWO2014207788A1 - 固体撮像素子及び測距撮像装置 - Google Patents

固体撮像素子及び測距撮像装置 Download PDF

Info

Publication number
JPWO2014207788A1
JPWO2014207788A1 JP2015523668A JP2015523668A JPWO2014207788A1 JP WO2014207788 A1 JPWO2014207788 A1 JP WO2014207788A1 JP 2015523668 A JP2015523668 A JP 2015523668A JP 2015523668 A JP2015523668 A JP 2015523668A JP WO2014207788 A1 JPWO2014207788 A1 JP WO2014207788A1
Authority
JP
Japan
Prior art keywords
exposure
light receiving
period
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015523668A
Other languages
English (en)
Other versions
JP6160971B2 (ja
Inventor
真 鎗野
真 鎗野
藤井 俊哉
俊哉 藤井
充彦 大谷
充彦 大谷
遥 高野
遥 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014207788A1 publication Critical patent/JPWO2014207788A1/ja
Application granted granted Critical
Publication of JP6160971B2 publication Critical patent/JP6160971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/148Charge coupled imagers
    • H01L27/14831Area CCD imagers
    • H01L27/14843Interline transfer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

測距撮像装置に用いる固体撮像素子であって、半導体基板に設けられ、露光によって電荷を生成する複数のPD(21)と、複数のPD(21)に1対1に対応して配置され、複数のPD(21)で生成された電荷を読み出す複数の読み出しゲート(22)と、複数のPD(21)の露光を指示する露光制御信号を受け取るための複数のボンディングパッド(9)とを有し、複数の読み出しゲート(22)の一部は、対応するPD(21)の左側に配置され、対応するPD(21)で生成された電荷を左へ読み出し、複数の読み出しゲート(22)の他部は、対応するPD(21)の右側に配置され、対応するPD(21)で生成された電荷を右へ読み出し、複数のボンディングパッド(9)は、複数のPD(21)及び複数の読み出しゲート(22)を含む撮像領域(8)の上下または上下左右に配置されている。

Description

本発明は、固体撮像素子及び測距撮像装置に関する。
物体を検知する複数の方式の中で、固体撮像素子(イメージセンサ)を用いて被写体まで光が往復する飛行時間を利用して測距を行うTOF(time of flight)方式が知られている。
図24は、特許文献1に開示された従来技術であり、TOF方式に用いる固体撮像素子を構成する単位画素900の一部を示す平面図である。単位画素900は、複数の受光装置100を有する。本実施の形態では、単位画素900は、4つの受光装置100を有し、行列状に配置されている。
単位画素900は、行列状に配置された4つの受光装置100を有する。受光装置100は、半導体基板上に形成された光電変換素子104と、4つの光電子振分部106と、2つの光電子排出部108とを有する。光電変換素子104は、半導体基板上に絶縁体を介して形成された電極を有するフォトゲート構造を有している。光電変換素子104は、光を検知して、光電子(負電荷)を発生する(検知した光を光電子に変換する)フォトダイオードである。フォトゲートには、光電変換素子104を駆動するためのゲート駆動信号がゲート駆動回路から入力される。また、光電子振分部106は、第1転送部112、光電子保持部114、第2転送部116、及び浮遊拡散層118を有する。第1転送部112は、光電変換素子104に発生した光電子を光電子保持部114に転送する。
特開2012−215480号公報
しかしながら、特許文献1に開示された従来技術では、光電子振分部により斜入射光による光の漏れ込みがおきる。また、光電子振分部はタイミングの異なる4種の受光信号期間の信号電荷が読み出される。
このため、光の漏れ込みの影響を受ける受光信号期間が異なり、更に、受光面(撮像領域)内の右側と左側とでは一方側は測定距離が実際よりも大きく、他方側は測定距離が実際よりも小さくなり、測距精度が悪化するという課題を有している。
前記課題を鑑み、本発明は、固体撮像素子における撮像領域内誤差を低減し、高い測距精度を有する固体撮像素子及び測距撮像装置を実現することを目的とする。
上記課題を解決するために、本発明の一態様に係る固体撮像素子は、測距撮像装置に用いる固体撮像素子であって、半導体基板に設けられ、露光によって電荷を生成する複数の受光部と、前記複数の受光部に1対1に対応して配置され、前記複数の受光部で生成された電荷を読み出す複数の電荷読み出し部と、前記複数の受光部の露光を指示する露光制御信号を受け取るための複数のボンディングパッドとを有し、前記複数の電荷読み出し部の一部は、対応する受光部の左側に配置され、対応する受光部で生成された電荷を左へ読み出し、前記複数の電荷読み出し部の他部は、対応する受光部の右側に配置され、対応する受光部で生成された電荷を右へ読み出し、前記複数のボンディングパッドは、前記複数の受光部及び前記複数の電荷読み出し部を含む撮像領域の上下または上下左右に配置されている。
このように、複数の電荷読み出し部の一部が対応する受光部の左側に配置され、他部が対応する受光部の右側に配置されていることにより、撮像領域内誤差を低減できる。よって、高い測距精度を実現できる。また、露光を指示する露光制御信号を受け取る複数のボンディングパッドが撮像領域の上下または上下左右に配置されることにより、撮像領域面内における上下方向または上下左右方向における露光量の誤差を低減できる。その結果、より高い測距精度を実現できる。
例えば、前記複数の受光部は行列状に配置され、左に電荷が読み出される受光部と右に電荷が読み出される受光部とは、列方向および行方向に交互に配置されていてもよい。
これにより、撮像領域内誤差を一層低減できる。
また、例えば、前記固体撮像素子は、CCD型の固体撮像素子であり、前記露光制御信号は、前記複数の受光部の電荷を掃き捨てるための基板電圧を含んでもよい。
これにより、複数の受光部を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、更に高精度な測距を実現できる。
また、例えば、前記固体撮像素子は、行列状に配置された前記複数の受光部のうち、奇数行目の露光・読み出し時刻と偶数行目の露光・読み出し時刻とが異なってもよい。
また、本発明はこのような固体撮像素子として実現できるだけでなく測距撮像装置としても実現できる。つまり、本発明の一態様に係る測距撮像装置は、光照射を指示する発光制御信号と、露光を指示する露光制御信号とを発生する駆動制御部と、前記発光制御信号を受信することにより前記光照射を行う光源部と、前記光照射に対する対象物体からの反射光に対し、前記露光制御信号を受信することにより前記露光を行い、撮像情報を取得する撮像部と、前記撮像情報を用いて前記対象物体までの距離情報を出力する画像処理部とを備え、前記撮像部は、前記露光によって電荷を生成する複数の受光部と、前記複数の受光部に1対1に対応して配置され、前記複数の受光部で生成された電荷を読み出す複数の電荷読み出し部とを有し、前記複数の電荷読み出し部の一部は、対応する受光部の左側に配置され、前記複数の電荷読み出し部の他部は、対応する受光部の右側に配置され、前記光源部による前記発光制御信号の受信タイミングに対して第一の遅延時間を経て前記露光制御信号を受信し前記露光を行う第一の露光期間、及び、前記光源部による前記発光制御信号の受信タイミングに対して第一の遅延時間より長い第二の遅延時間を経て前記露光制御信号を受信し前記露光を行う第二の露光期間のいずれにおいても、前記複数の電荷読み出し部の一部は、対応する受光部で生成された電荷を左へ読み出し、前記複数の電荷読み出し部の他部は、対応する受光部で生成された電荷を右へ読み出す。
例えば、前記撮像部は、さらに、露光制御信号を受け取るための複数のボンディングパッドであって、前記複数の受光部及び前記複数の電荷読み出し部を含む撮像領域の上下または上下左右に配置された複数のボンディングパッドを備えてもよい。
また、例えば、前記画像処理部は、前記撮像情報を用いて、前記撮像部の前記複数の受光部及び前記複数の電荷読み出し部を含む撮像領域内誤差である面内シェーディング成分を、前記撮像領域の分割領域ごとに検出するシェーディング成分検出部と、前記シェーディング成分検出部で検出された前記分割領域ごとのシェーディング成分を保存するLookup tableと、前記Lookup tableに保存されている前記分割領域ごとのシェーディング成分に基づいて前記距離情報の面内シェーディングを補正して出力する補正部とを備えてもよい。
これにより、距離情報の面内シェーディングが補正され、高精度な測距が可能となる。
また、例えば、前記撮像部は、CCD型の固体撮像素子を備え、前記露光制御信号は、前記複数の受光部の電荷を掃き捨てるための基板電圧を含んでもよい。
本発明は、固体撮像素子における撮像領域内誤差を低減し、高い測距精度を実現可能とする。
図1は、実施の形態1に係る固体撮像部を有する測距撮像装置の概略構成を示す機能ブロック図である。 図2は、一般的な測距撮像装置の露光量を検出するタイミングを説明する図である。 図3は、一般的なCCD型の固体撮像素子の構成を示すレイアウト図である。 図4は、実施の形態1に係る固体撮像素子の一例を示す構成図である。 図5は、撮像領域周辺の構成の一例を示すレイアウト図である。 図6は、撮像領域周辺の構成の他の一例を示すレイアウト図である。 図7は、実施の形態1に係る測距撮像装置の動作の概要を示すタイミングチャートである。 図8は、実施の形態1に係る測距撮像装置の動作の詳細を示すタイミングチャートである。 図9は、実施の形態1に係る測距撮像装置の動作の詳細を示すタイミングチャートである。 図10は、信号電荷加算及び信号電荷転送のイメージを示す図である。 図11は、実施の形態1に係る測距撮像装置の他の動作の概要を示すタイミングチャートである。 図12は、実施の形態1に係る測距撮像装置の他の動作の詳細を示すタイミングチャートである。 図13は、実施の形態1に係る測距撮像装置の他の動作の詳細を示すタイミングチャートである。 図14は、実施の形態1に係る測距撮像装置の他の動作の詳細を示すタイミングチャートである。 図15は、実施の形態1に係る測距撮像装置の他の動作の詳細を示すタイミングチャートである。 図16は、実施の形態1に係る測距撮像装置の他の動作の詳細を示すタイミングチャートである。 図17は、実施の形態1に係る測距撮像装置の他の動作の詳細を示すタイミングチャートである。 図18Aは、信号電荷加算及び信号電荷転送のイメージを示す図である。 図18Bは、図18Aの後の、信号電荷加算及び信号電荷転送のイメージを示す図である。 図19は、読み出しキズ信号電荷転送のイメージを示す図である。 図20は、実施の形態2における画像処理部の構成を示すブロック図である。 図21は、距離信号の固体撮像素子における撮像領域内誤差である面内シェーディングの補正概念の例を示す図である。 図22は、固体撮像素子における撮像領域内誤差である面内シェーディングの別の補正概念の例を示す図である。 図23は、分割領域の一例を示す図である。 図24は、従来の固体撮像素子を構成する単位画素の一部を示す平面図である。
以下、本開示の実施の形態に係る測距撮像装置について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。
(実施の形態1)
[測距撮像装置]
図1は、本実施の形態に係る測距撮像装置の概略構成を示す機能ブロック図である。
同図に示すように、測距撮像装置10は、光源部1と、固体撮像部2と、画像処理部3と、駆動制御部4とを備える。
光源部1は、駆動制御部4で発生された発光制御信号を受信することにより、発光制御信号が示すタイミングに従って、光(例えば赤外光)の照射を行う。この光源部1は、駆動回路、コンデンサ、及び、発光素子を有し、コンデンサに保持した電荷を発光素子へ供給することで光を発する。発光素子としてはレーザダイオードや発光ダイオード(LED)等を用いてもよい。
固体撮像部2(撮像部)は、駆動制御部4で発生された露光制御信号が示すタイミングに従って露光を行い、複数回の露光量の総和からRAWデータ(撮像情報)を得る。すなわち、光源部1による光照射に対する対象物体からの反射光に対し、駆動制御部4で発生された露光制御信号を受信することにより露光を行い、RAWデータを取得する。この固体撮像部2は、カメラレンズ、固体撮像素子、A/Dコンバータ、及び、RAWデータを作成し出力する回路等、を有する。
駆動制御部4は、光照射を指示する発光制御信号と、露光を指示する露光制御信号とを発生することにより、光源部1による照射タイミング、及び、固体撮像部2による露光タイミングを指示する。
画像処理部3は、固体撮像部2から受けたRAWデータを用いて対象物体までの距離画像情報(距離情報)を出力する。
[一般的な固体撮像素子]
ここで、図2及び図3を用いて、一般的な測距撮像装置に搭載される固体撮像素子について説明する。図2は、一般的な測距撮像装置の露光量を検出するタイミングを説明する図であり、図3は、一般的なCCD(Charge Coupled Device)型の固体撮像素子の構成を示すレイアウト図である。
図2に示すように、TOF方式で測定対象物の測距を行う場合、発光制御信号に対して、測定対象物からの反射光をタイミングの異なる2パターンで露光した光量の比に基づいて測定対象物までの距離を算出する方法が一般的である。例えば、測距撮像装置は、第一の露光制御信号によって、測定対象物からの反射光の全てが露光期間に含まれるように露光を行い、第二の露光制御信号によって、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。また、さらに、背景光等による露光量のオフセット成分を検出するため、発光制御信号を停止させて第一の露光制御信号、及び、第二の露光制御信号と同じ条件の露光を行う。
ここで、第一の露光制御信号による露光量の総和をS0、第二の露光制御信号による露光量の総和をS1、背景光の露光量の総和をBG、照射する直接光の発光信号幅をT0、光速(299,792,458m/s)をc、とすると、以下式1の演算を行う事で距離Lを算出できる。なお、第一の露光制御信号による露光量とは、第一の露光制御信号により行った露光により発生した電荷量であり、第二の露光制御信号による露光とは、第二の露光制御信号により行った露光により発生した電荷量である。
Figure 2014207788
ここで、図3に示すように、一般的なCCD型の固体撮像素子は、受光部(PD;フォトダイオード)から垂直転送部(以下VCCD)への電荷読み出し部(読み出しゲート)がPDに対して全て左右の同一方向に配置され、各列のPDと各列のVCCDが一対の組合せとなる。よって、一般的なCCD型の固体撮像素子は、PDとVCCDとの位置関係から明らかなように構造的に左右の幾何学的対称性を有しない。このような左右の幾何学的対称性を有さないことにより、一般的なCCD型の固体撮像素子が搭載された測距撮像装置では、次のような課題がある。
例えば、図3のように、PDに対して読み出しゲートが左側のみに位置する場合、図面上の左側(読み出しゲートによる読み出し方向)から入射する光はVCCDに漏れ込まないが、図面上の右側から入射する光はVCCDに漏れ込む。これにより、撮像領域908に入射した光の光量が同じ場合であっても、図面上の右側から入射した光による露光量は、図面上の左側から入射した光による露光量より大きくなる。
また、測定対象物からの反射光の全てが露光期間に含まれるように露光を行う第一の露光制御信号による露光量の総和であるS0よりも、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う第二の露光制御信号による露光量の総和であるS1の方が必ず小さい。よって、第一の露光制御信号による露光期間におけるVCCDへの光の漏れ込み量と、第二の露光制御信号による露光期間におけるVCCDへの光の漏れ込み量とが同じであっても、各期間の露光量に対して、光の漏れ込みによって発生する電荷量が占める割合が大きくなる。つまり、第二の露光制御信号による露光量の総和であるS1の方が影響比率は大きく、その結果、測定距離が実際の測定対象物までの距離よりも大きくなる。
従って、固体撮像素子における撮像領域内の左側になるほど光が右側から入射する角度が大きくなりVCCDへの漏れ込み量が大きくなる。よって、第一の露光制御信号による露光量の総和であるS0に対して、第二の露光制御信号による露光量の総和であるS1の比率が増加し、その結果、式1から分かるように、測定距離が実際の測定対象物までの距離よりも大きくなる。
また、PDの左右に光電子振分部を形成する構成も考えられるが、このような構成の場合は、斜入射光による光の漏れ込みが起き、距離画像のシェーディング成分に起因する特性劣化が発生する。加えて、光電子振分部にはタイミングの異なる複数の受光信号期間の信号電荷が読み出されるので、固体撮像素子における受光面内の右側と左側とで光の漏れ込みの影響を受ける受光信号期間が異なる。その結果、固体撮像素子における受光面内の右側と左側とでは、一方は測定距離が実際の測定対象物までの距離よりも大きく、他方は測定距離が実際測定対象物までの距離よりも小さくなる。
また、固体撮像素子の露光を制御する画素駆動回路が撮像領域908周辺の片方(撮像領域908を構成する4辺のうちの1辺)に配置されている場合は、画素駆動回路から離れて配置されているPD(画素)ほど発光信号に対する第一及び第二の露光制御信号の遅延が大きくなる。よって、画素駆動回路に近いPDと画素駆動回路から遠いPDとでは、受光する露光タイミングが異なる。その結果、露光量が異なり、測定距離に誤差が発生する。
これに対し、本実施の形態に係る固体撮像素子は、上述した特性劣化(問題)を解決できる。その詳細について説明する。
[本実施の形態に係る固体撮像素子]
図4は、本実施の形態に係る固体撮像素子の一例を示す構成図であり、上述の測距撮像装置10の固体撮像部2はこの固体撮像素子20を備える。ここでは、開示の理解を容易とするため垂直方向に4画素分、水平方向に4画素分のみ示している。
図4に示すように、本実施の形態に係る固体撮像素子20は、複数のPD21(複数の受光部)と、複数の読み出しゲート22(複数の電荷読み出し部)と、複数のVCCD23(複数の垂直転送部)と、HCCD24(水平転送部)と、出力アンプ25とを備える。
複数のPD21は、半導体基板に行列状に配置され、各々が入射光を信号電荷に変換するフォトダイオードである。
複数の読み出しゲート22は、各々がPD21に対応して設けられ、対応するPD21から信号電荷を読み出す。
複数のVCCD23は、複数のゲートから構成され、PD21から読み出しゲート22で読み出された信号電荷を順次垂直方向に転送する。各VCCD23は、例えば、PD21から読み出された信号電荷を列方向(垂直方向)に転送する8相電極V1〜V8(以降、ゲートV1〜V8と記載する場合あり)で構成されている。
HCCD24は、複数のゲートから構成され、複数のVCCD23から転送された信号電荷を順次水平方向(行方向)に転送する。このHCCD24は、例えば、2相電極H1、H2で構成される。
出力アンプ25は、HCCD24から転送された信号電荷を順次検出して電圧信号に変換して出力する。
ここで、上述のVCCD23を構成するゲートV1〜V8のうち、ゲートV1及びV5は、一行かつ一列毎に読み出すことが可能なように、複数のPD21のそれぞれに対応して設けられた読み出しゲート22と共用されている。また、PD21の読み出しゲート22が形成された側と左右方向の反対側には、信号電荷の混入を抑制ためのチャネルストップが設置されている。
このように、本実施の形態に係る固体撮像素子20は、CCD型の固体撮像素子(CCD型のイメージセンサ)である。
この構成により、発光制御信号に対して対象物体からの反射光を受光する露光制御信号のタイミングが各々異なる複数の露光期間で得られる信号を蓄積する手段として、VCCD23に既に構成されている複数パケットを利用することができるので、追加で信号蓄積手段を形成することが不要となり、小型で高精度な測距撮像装置を実現出来る。
つまり、図4に示すように、本実施の形態に係る固体撮像素子20及びそれが搭載される測距撮像装置は、上述した読み出しゲート22の構成によりPD21の左右の幾何学的対称性を満たすという特徴を備え、より具体的には、偶数列のVCCD23(図中のVCCD2、VCCD4)にはその左右のPD21から読み出しを行う垂直転送と共用した読み出しゲートV1が、奇数列のVCCD23(図中のVCCD1、VCCD3)にはその左右のPD21から読み出しを行う垂直転送と共用した読み出しゲートV5が設置される。つまり、偶数列のVCCD23のゲートV1のパケット、及び、奇数列のVCCD23のゲートV5のパケットでは、左右に隣接した2つのPD21の信号電荷が加算され、上記一つのV1およびV5の読み出しゲートにより信号電荷が読み出され、その結果VCCD23内には千鳥状に信号電荷を読み出すことが出来る。
このように、本実施の形態に係る固体撮像素子20は、露光によって信号電荷(電荷)を生成する複数のPD21(受光部)と、複数のPD21に1対1に対応して配置され、複数のPD21で生成された信号電荷を読み出す複数の読み出しゲート22(電荷読み出し部)とを有し、複数の読み出しゲート22の一部は、対応するPD21の左側に配置され、対応するPD21で生成された信号電荷を左へ読み出し、複数の読み出しゲート22の他部は、対応するPD21の右側に配置され、対応するPD21で生成された信号電荷を右へ読み出す。
これにより、撮像領域8(受光面)内誤差を抑制できる。具体的には、PD21とVCCD23とが左右の幾何学的対称性を有することにより、各VCCD23へ漏れ込む光の量の差を抑制できるので、撮像領域8(受光面)内誤差を抑制できる。すなわち、本実施の形態に係る固体撮像素子20を用いた測距撮像装置10は、全ての読み出しゲートが対応するPDの同一側(左側)に配置されている一般的な固体撮像素子を用いた測距撮像装置と比較して、高い測距精度を実現できる。
また、左に信号電荷が読み出されるPD21と右に信号電荷が読み出されるPD21とは、列方向および行方向に交互に配置されている。これにより、撮像領域8内誤差を一層低減できる。
次に、図5及び図6を用いて、本実施の形態に係る固体撮像素子20の撮像領域周辺の構成について詳細に説明する。図5は、撮像領域周辺の構成の一例を示すレイアウト図であり、図6は、撮像領域周辺の構成の他の一例を示すレイアウト図であり、これらの図には、全画素のPD21に蓄積された信号電荷を掃き捨てるため各PD21に与える基板電圧(SUB)を供給するためのボンディングパッド、及び、縦型電荷掃き出しドレイン(VOFD:vertical over flow drain)の詳細である。
VOFDは、PD21のバルク方向(半導体基板の深さ方向)に構成されており、φSUB端子に高電圧が印加されると全PD21の信号電荷は一括してφSUB端子を介して外部に排出される構成である。具体的には、SUB端子がHレベルの時はPD21内の信号電荷は半導体基板(外部)に排出され、SUB端子がLレベルで、電極V1及び電極V5のそれぞれに印加されるパルスであるφV1及びφV5がHレベルの時にPD21内で光電変換された信号電荷は電極V1及び電極V5ゲート下にて、蓄積されることになる。
また、読み出しゲート22を開いた状態で、SUB端子に印加されるφSUBパルスに従って基板電圧(SUB)を制御し、φSUBがLowの期間で露光し、信号電荷をVCCD23に蓄積する。つまり、φSUBは、露光タイミングを指示する露光制御信号でもある。
ここで、図5に示すように、露光制御信号であるφSUBを受け取るためのボンディングパッド9を撮像領域8の上下に複数配置する。一例として図5では、複数のPD21の露光を指示する露光制御信号を受け取るための複数のボンディングパッド9は、複数のPD21及び複数の読み出しゲート22を含む撮像領域8の上下に配置されている。このとき、ボンディングパッド9に印加されたφSUBはφSUBパルス伝播イメージ7のように伝播する。
これによって、複数のPD21を含む撮像領域8面内における上下方向で、露光制御信号であるφSUBの伝播遅延差が解消されるため、撮像領域8の面内における上下方向で露光量の誤差を低減でき、測定距離に誤差が少なく高精度な測距が出来る。
なお、露光制御信号であるφSUBパルスを供給するボンディングパッド9を撮像領域8の上下及び左右に複数配置してもよい。一例として図6では、複数のボンディングパッド9は、撮像領域8の上下左右に配置されている。これにより、撮像領域8の面内における上下方向と左右方向で、露光制御信号であるφSUBパルスの伝播遅延差が解消され、撮像領域8の面内における上下方向のみならず左右方向での露光量の誤差が無くなり、測定距離に誤差が更に少なく高精度な測距が出来る。
[測距撮像装置の駆動方法]
次に、本実施の形態に係る測距撮像装置10の動作タイミングについて説明する。図7は、測距撮像装置10の動作の概要を示すタイミングチャートであり、1フレーム期間内で、左右に隣接する2つのPD21で発生された信号電荷をVCCD23に読み出し、垂直転送する駆動タイミングの一例を示す。
図7には、垂直同期パルスVDと、露光制御信号であるφSUBと、φV1及びφV5と、光源部1から照射される赤外光と、対象物体で反射された反射光と、背景光と、PD21で発生した信号電荷を示すSignalとが示されている。
垂直同期パルスVDは毎秒60フレーム(60fps)であり、各フレーム期間内に、φSUBによって決定されるPD21の露光期間に対し、光源部1による赤外光照射タイミングの第1の位相で照射され、対象物体までの距離に応じて遅延した反射光を固体撮像部2で受光するS0期間の信号電荷蓄積イメージ51と、光源部1による赤外光照射タイミングの第2の位相で照射され、対象物体までの距離に応じて遅延した反射光を固体撮像部2で受光するS1期間の信号電荷蓄積イメージ52と、光源部1による赤外光照射を停止し、背景光のみを固体撮像部2で受光するBG期間の信号電荷蓄積イメージ53との三種類の固体撮像素子20の出力信号が得られる。
つまり、固体撮像素子20の出力信号としては、光源部1から照射されて対象物体で反射した反射光全てを含む露光期間(S0期間)で露光することにより得られる電荷蓄積イメージと、反射光の一部を含む露光期間(S1期間)で露光することにより得られる電荷蓄積イメージと、反射光を含まない露光期間(BG期間)で露光することにより得られる電荷蓄積イメージとの3パターンが得られる。ここで、S0期間、S1期間、及び、BG期間からなる組は、1フレームあたり複数回(例えば、2回)繰り返されている。
なお図7では、本開示の理解を容易とするため、反射光全てを含むように露光するS0撮像と、反射光の一部を含むように露光するS1撮像と、反射光を含まないように露光するBG撮像とを1フレームあたり2回ずつ行っているが、20回程度行ってもよい。このように1フレームあたり20回程度行うことにより、見かけ上のS0期間、S1期間、BG期間(すなわち、1フレームにおけるS0期間の平均時刻、S1期間の平均時刻、BG期間の平均時刻)を同時化することができ、対象物体の動きが速い場合であっても、測定距離の誤差を抑制することができる。
さらに図7では、S0−1、S1−1、BG−1期間についても、本開示の理解を容易とするため、各々1回の光源照射となっているが、実際の詳細タイミングは、後述する図8、図9に示すタイミングチャートのように、複数回行うことが好ましい。つまり、各期間に複数回露光することが好ましい。実際には各500回程度の設定にすることが、より好ましい適例となる。
さらに、図8、図9、図10を用いて、本実施の形態に係る測距撮像装置10の詳細動作を説明する。図8及び図9は、測距撮像装置10の動作の詳細を示すタイミングチャートであり、具体的には、図8は図7に示すS0−1期間およびS1−1期間のタイミングチャートであり、図9は図7に示すBG−1期間およびS1−2期間のタイミングチャートである。図10は、信号電荷加算及び信号電荷転送のイメージを示す図である。各発光、受光のためのタイミングパルスは駆動制御部4により印加される。
図8に示す通り、まずS0−1期間にφV1とφV5にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、φSUBの位相に同期して光源部1から赤外光が発光され、対象物体までの距離に応じて遅延する反射光の全てと背景光を受光する。
これを複数回繰り返した後、VCCD23にS0−1期間に蓄積した信号電荷が図10(1)の信号電荷31(1)に示す通りに格納される。次に図8の時刻T1〜T10のタイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−1期間に蓄積した信号電荷31(1)がVCCD23内を順方向に転送され、ゲートV1及びV5下の信号電荷は空となる。
次に、図8に示すS1−1期間にφV1とφV5にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、φSUBの位相に同期して光源部1から赤外光が発光され、対象物体までの距離に応じて遅延する反射光の一部と背景光を受光する。
これを複数回繰り返した後、VCCD23にS1−1期間に蓄積した信号電荷が図10(2)の信号電荷32(1)に示す通りに格納される。この時、S0−1期間に蓄積した信号電荷31(1)と、S1−1期間に蓄積した信号電荷32(1)は、混合することなく独立して、VCCD23内に格納される。次に図8の時刻T11〜T19のタイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−1期間に蓄積した信号電荷31(1)とS1−1期間に蓄積した信号電荷32(1)とがVCCD23内を順方向に転送され、ゲートV1及びV5下の信号電荷は再び空となる。
次に、図9に示すBG−1期間にφV1とφV5にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、光源部1からの赤外光の発光を停止し、背景光のみを受光する。
これを複数回繰り返した後、VCCD23にBG−1期間に蓄積した信号電荷が図10(3)の信号電荷33(1)に示す通りに格納される。この時、S0−1期間に蓄積した信号電荷31(1)と、S1−1期間に蓄積した信号電荷32(1)と、BG−1期間に蓄積した信号電荷33(1)との3種類が混合することなく、独立してVCCD23内に格納される。
次に、VCCD23内の信号電荷を転送することなく、図7に示すとおりにBG−1期間と同様の動作をもう一度繰り返して、BG−2期間とする。つまり、BG−1期間の信号電荷33(1)とBG−2期間の信号電荷とがVCCD23内で加算され、BG−1期間の信号電荷33(1)とBG−2期間の信号電荷とが加算された信号電荷33(2)がVCCD23内に格納されることになる。次に、図9の時刻T20〜T28タイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−1期間に蓄積した信号電荷31(1)とS1−1期間に蓄積した信号電荷32(1)とBG−1及びBG−2期間に蓄積した信号電荷33(2)とが、VCCD23内を逆方向に転送される。
以下、S1−2期間に、上記S1−1期間と同様に露光することにより、S1−1期間に蓄積した信号電荷32(1)とS1−2期間に蓄積した信号電荷とがVCCD23内で加算され、加算された信号電荷32(2)がVCCD23内に格納されることになる。その後、図9に示す時刻T29〜T37の通りにφV1〜φV8にパルスを印加することによりVCCD23の逆転送を実現する。同様に、S0−2期間に、上記S0−1期間と同様に露光することにより、S0−1期間に蓄積した信号電荷31(1)とS0−2期間に蓄積した信号電荷とがVCCD23内で加算され、加算された信号電荷31(2)がVCCD23内に格納されることになる。
これら一連の全体動作を複数回繰り返したのち、図7のtran期間に示す転送期間にて、VCCDとHCCDとを順次転送し、出力アンプ25で各信号電荷に応じた信号電圧に変換されてCCD型の固体撮像素子20から出力する。これが1フレームの動作となり、この繰り返しによって、撮像動作が完了する。
このように、本実施の形態に係る測距撮像装置10では、光源部1による発光制御信号の受信タイミングに対して第一の遅延時間を経て露光制御信号を受信し露光を行う第一の露光期間(S0期間)、及び、光源部1による発光制御信号の受信タイミングに対して第一の遅延時間より長い第二の遅延時間を経て露光制御信号を受信し露光を行う第二の露光期間(S1期間)のいずれにおいても、複数の読み出しゲート22の一部は、対応するPD21で生成された信号電荷を左へ読み出し、複数の読み出しゲート22の他部は、対応するPD21で生成された信号電荷を右へ読み出す。
次に図1に示す画像処理部3により、距離演算を施す。距離Lは上述した式1で表される。この演算を画像処理部でCCD型の固体撮像素子20の各画素アドレスについて実行することで本側距撮像装置の出力である距離画像の動画像を示す距離画像情報(距離情報)を得る。
上記一連の動作にて、S0、S1、BG期間の全てのPD21からの信号電荷の読み出しにおいて、固体撮像素子20の受光部であるPD21とVCCD23との構造が幾何学的な左右対称性を完全に満足しており、距離画像のシェーディング成分に起因する特性劣化を低減することが出来る。
以上、本実施の形態に係る固体撮像素子20および測距撮像装置10は、固体撮像素子20における撮像領域8面内の端における斜入射光による漏れ込みの影響がなく、また、露光制御信号の有効画素領域内における伝播遅延が解消され、高精度な測距が実現できる。また、固体撮像素子20における撮像領域8内誤差を低減でき、高い測距精度を実現できる。
すなわち、本実施の形態に係る固体撮像素子20は、露光によって信号電荷(電荷)を生成する複数のPD21(受光部)と、複数のPD21に1対1に対応して配置され、複数のPD21で生成された信号電荷を読み出す複数の読み出しゲート22(電荷読み出し部)とを有し、複数の読み出しゲート22の一部は、対応するPD21の左側に配置され、対応するPD21で生成された信号電荷を左へ読み出し、複数の読み出しゲート22の他部は、対応するPD21の右側に配置され、対応するPD21で生成された信号電荷を右へ読み出す。
このように、複数の読み出しゲート22の一部が対応するPD21の左側に配置され、他部が対応するPD21の右側に配置されることにより、撮像領域8(受光面)内誤差を抑制できる。つまり、PD21とVCCD23とが左右の幾何学的対称性を有することにより、各VCCD23へ漏れ込む光の量の差を抑制できるので、撮像領域8(受光面)内誤差を抑制できる。また、露光を指示するφSUB(露光制御信号)を受け取る複数のボンディングパッド9が撮像領域8の上下または上下左右に配置されることにより、撮像領域8面内における上下方向または上下左右方向における露光量の誤差を低減できる。その結果、より高い測距精度を実現できる。
また、左に電荷が読み出されるPD21と右に電荷が読み出されるPD21とは、列方向および行方向に交互に配置されている。これにより、撮像領域8内誤差を一層低減できる。
また、固体撮像素子20は、CCD型の固体撮像素子であり、露光制御信号は、複数のPD21の電荷を掃き捨てるための基板電圧を含む。これにより、複数のPD21を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、更に高精度な測距を実現できる。
次に、本実施の形態に係る測距撮像装置10の他の動作タイミングについて説明する。図11は、測距撮像装置10の他の動作の概要を示すタイミングチャートであり、1フレーム期間内で、左右に隣接する2つのPD21で発生された信号電荷をVCCD23に読み出し、垂直転送する駆動タイミングの一例を示す。
図11には、垂直同期パルスVDと、露光制御信号であるφSUBと、φV1及びφV5と、光源部1から照射される赤外光と、対象物体で反射された反射光と、背景光と、PD21で発生した信号電荷を示すSignalとが示されている。
垂直同期パルスVDは毎秒60フレーム(60fps)であり、各フレーム期間内に、φSUBによって決定されるPD21の露光期間に対し、光源部1による赤外光照射タイミングの第1の位相で照射され、対象物体までの距離に応じて遅延した反射光を固体撮像部2で受光するS0期間の信号電荷蓄積イメージ51と、光源部1による赤外光照射タイミングの第2の位相で照射され、対象物体までの距離に応じて遅延した反射光を固体撮像部2で受光するS1期間の信号電荷蓄積イメージ52と、光源部1による赤外光照射を停止し、背景光のみを固体撮像部2で受光するBG期間の信号電荷蓄積イメージ53との三種類の固体撮像素子20の出力信号が得られる。
つまり、固体撮像素子20の出力信号としては、光源部1から照射されて対象物体で反射した反射光全てを含む露光期間(S0期間)で露光することにより得られる電荷蓄積イメージと、反射光の一部を含む露光期間(S1期間)で露光することにより得られる電荷蓄積イメージと、反射光を含まない露光期間(BG期間)で露光することにより得られる電荷蓄積イメージとの3パターンが得られる。ここで、S0期間、S1期間、及び、BG期間からなる組は、1フレームあたり複数回(例えば、2回)繰り返されている。
なお図11では、本開示の理解を容易とするため、反射光全てを含むように露光するS0撮像と、反射光の一部を含むように露光するS1撮像と、反射光を含まないように露光するBG撮像とを1フレームあたり2回ずつ行っているが、20回程度行ってもよい。このように1フレームあたり20回程度行うことにより、見かけ上のS0期間、S1期間、BG期間(すなわち、1フレームにおけるS0期間の平均時刻、S1期間の平均時刻、BG期間の平均時刻)を同時化することができ、対象物体の動きが速い場合であっても、測定距離の誤差を抑制することができる。
さらに図11では、φV1にHレベルを印加しているS0−11、S1−11、BG−11、S0−21、S1−21、BG−21期間と、φV5にHレベルを印加しているS0−12、S1−12、BG−12、S0−22、S1−22、BG−22期間とのそれぞれについても、本開示の理解を容易とするため、各々1回の光源照射となっているが、実際の詳細タイミングは、後述する図12、図13、図14、図15、図16、図17に示すタイミングチャートのように、複数回行うことが好ましい。つまり、各期間に複数回露光することが好ましい。実際には各500回程度の設定にすることが、より好ましい適例となる。
さらに、図12、図13、図14、図15、図16、図17、図18A、図18Bを用いて、本実施の形態に係る測距撮像装置10の他の詳細動作を説明する。図12、図13、図14、図15、図16及び図17は、測距撮像装置10の他の動作の詳細を示すタイミングチャートであり、具体的には、図12は図11に示すS0−11期間およびS1−11期間のタイミングチャートであり、図13は図11に示すBG−11期間およびS0−12期間のタイミングチャートであり、図14は図11に示すS1−12期間およびBG−12期間のタイミングチャートであり、図15は図11に示すS0−21期間およびS1−21期間のタイミングチャートであり、図16は図11に示すBG−21期間およびS0−22期間のタイミングチャートであり、図17は図11に示すS1−22期間およびBG−22期間のタイミングチャートである。図18A及び図18Bは、信号電荷加算及び信号電荷転送のイメージを示す図である。各発光、受光のためのタイミングパルスは駆動制御部4により印加される。
図12に示す通り、まずS0−11期間にφV1にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、φSUBの位相に同期して光源部1から赤外光が発光され、対象物体までの距離に応じて遅延する反射光の全てと背景光を受光する。
これを複数回繰り返した後、VCCD23にS0−11期間に蓄積した信号電荷が図18A(1)の信号電荷61(1)に示す通りに格納される。次に図12の時刻T1〜T10のタイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−11期間に蓄積した信号電荷61(1)がVCCD23内を順方向に転送され、ゲートV1下の信号電荷は空となる。
次に、図12に示すS1−11期間にφV1にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、φSUBの位相に同期して光源部1から赤外光が発光され、対象物体までの距離に応じて遅延する反射光の一部と背景光を受光する。
これを複数回繰り返した後、VCCD23にS1−11期間に蓄積した信号電荷が図18A(2)の信号電荷62(1)に示す通りに格納される。この時、S0−11期間に蓄積した信号電荷61(1)と、S1−11期間に蓄積した信号電荷62(1)は、混合することなく独立して、VCCD23内に格納される。次に図12の時刻T11〜T19のタイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−11期間に蓄積した信号電荷61(1)とS1−11期間に蓄積した信号電荷62(1)とがVCCD23内を順方向に転送され、ゲートV1下の信号電荷は再び空となる。
次に、図13に示すBG−11期間にφV1にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、光源部1からの赤外光の発光を停止し、背景光のみを受光する。
これを複数回繰り返した後、VCCD23にBG−11期間に蓄積した信号電荷が図18A(3)の信号電荷63(1)に示す通りに格納される。この時、S0−11期間に蓄積した信号電荷61(1)と、S1−11期間に蓄積した信号電荷62(1)と、BG−11期間に蓄積した信号電荷63(1)との3種類が混合することなく、独立してVCCD23内に格納される。
次に、VCCD23内の信号電荷を転送することなく、図13に示す通りS0−12期間にφV5にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、φSUBの位相に同期して光源部1から赤外光が発光され、対象物体までの距離に応じて遅延する反射光の全てと背景光を受光する。
これを複数回繰り返した後、VCCD23にS0−12期間に蓄積した信号電荷が図18A(4)の信号電荷64(1)に示す通りに格納される。次に図13の時刻T20〜T28のタイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−11期間に蓄積した信号電荷61(1)、S1−11期間に蓄積した信号電荷62(1)、BG−11期間に蓄積した信号電荷63(1)及びS0−12期間に蓄積した信号電荷64(1)がVCCD23内を順方向に転送され、ゲートV5下の信号電荷は空となる。
次に、図14に示すS1−12期間にφV5にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、φSUBの位相に同期して光源部1から赤外光が発光され、対象物体までの距離に応じて遅延する反射光の一部と背景光を受光する。
これを複数回繰り返した後、VCCD23にS1−12期間に蓄積した信号電荷が図18A(5)の信号電荷65(1)に示す通りに格納される。この時、S0−12期間に蓄積した信号電荷64(1)と、S1−12期間に蓄積した信号電荷65(1)は、混合することなく独立して、VCCD23内に格納される。次に図14の時刻T29〜T37のタイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−11期間に蓄積した信号電荷61(1)、S1−11期間に蓄積した信号電荷62(1)、BG−11期間に蓄積した信号電荷63(1)及びS0−12期間に蓄積した信号電荷64(1)とS1−12期間に蓄積した信号電荷65(1)とがVCCD23内を順方向に転送され、ゲートV5下の信号電荷は再び空となる。
次に、図14に示すBG−12期間にφV5にHレベルを印加し、φSUBをLレベルに下げることにより露光が開始され、光源部1からの赤外光の発光を停止し、背景光のみを受光する。
これを複数回繰り返した後、VCCD23にBG−12期間に蓄積した信号電荷が図18A(6)の信号電荷66(1)に示す通りに格納される。この時、S0−12期間に蓄積した信号電荷64(1)と、S1−12期間に蓄積した信号電荷65(1)と、BG−12期間に蓄積した信号電荷66(1)との3種類が混合することなく、独立してVCCD23内に格納される。次に、図14の時刻T38〜T73タイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−11期間に蓄積した信号電荷61(1)、S1−11期間に蓄積した信号電荷62(1)、BG−11期間に蓄積した信号電荷63(1)及びS0−12期間に蓄積した信号電荷64(1)、S1−12期間に蓄積した信号電荷65(1)、BG−12期間に蓄積した信号電荷66(1)が、VCCD23内を4回逆方向に転送される。
次に図15に示す通りにS0−11期間と同様の動作をもう一度繰り返して、S0−21期間とする。つまり、図18B(7)に示す通りS0−11期間の信号電荷61(1)とS0−21期間の信号電荷とがVCCD23内で加算され、S0−11期間の信号電荷とS0−21期間の信号電荷とが加算された信号電荷61(2)がVCCD23内に格納されることになる。次に、図15の時刻T74〜T83タイミングに示す、φV1〜φV8のパルスを印加することにより、VCCD23内のS0−11及びS0−21期間に蓄積した信号電荷61(2)、S1−11期間に蓄積した信号電荷62(1)、BG−11期間に蓄積した信号電荷63(1)及びS0−12期間に蓄積した信号電荷64(1)、S1−12期間に蓄積した信号電荷65(1)、BG−12期間に蓄積した信号電荷66(1)が、VCCD23内を順方向に転送される。
以下、S1−21期間に、上記S1−11期間と同様の動作で露光することにより、図18B(8)に示す通りS1−11期間に蓄積した信号電荷とS1−21期間に蓄積した信号電荷とがVCCD23内で加算され信号電荷62(2)となる。その後、図15に示す時刻T84〜T92の通りにφV1〜φV8にパルスを印加することにより信号電荷がVCCD23内を順方向に転送される。同様に、BG−21期間に、上記BG−11期間と同様の動作で露光することにより、図18B(9)に示す通りBG−11期間に蓄積した信号電荷とBG−21期間に蓄積した信号電荷とがVCCD23内で加算され信号電荷63(2)となる。その後、VCCD23内の信号電荷を転送することなく、同様に、S0−22期間に、上記S0−12期間と同様の動作で露光することにより、図18B(10)に示す通りS0−12期間に蓄積した信号電荷とS0−22期間に蓄積した信号電荷とがVCCD23内で加算され信号電荷64(2)となる。その後、図16に示す時刻T93〜T101の通りにφV1〜φV8にパルスを印加することにより信号電荷がVCCD23内を順方向に転送される。同様に、S1−22期間に、上記S1−12期間と同様の動作で露光することにより、図18B(11)に示す通りS1−12期間に蓄積した信号電荷とS1−22期間に蓄積した信号電荷とがVCCD23内で加算され信号電荷65(2)となる。その後、図17に示す時刻T102〜T110の通りにφV1〜φV8にパルスを印加することにより信号電荷がVCCD23内を順方向に転送される。同様に、BG−22期間に、上記BG−12期間と同様の動作で露光することにより、図18B(12)に示す通りBG−12期間に蓄積した信号電荷とBG−22期間に蓄積した信号電荷とがVCCD23内で加算され信号電荷66(2)となる。
これら一連の全体動作を複数回繰り返したのち、図11のtran期間に示す転送期間にて、VCCDとHCCDとを順次転送し、出力アンプ25で各信号電荷に応じた信号電圧に変換されてCCD型の固体撮像素子20から出力する。これが1フレームの動作となり、この繰り返しによって、撮像動作が完了する。
このように、本実施の形態に係る測距撮像装置10では、他の動作タイミングにおいても、光源部1による発光制御信号の受信タイミングに対して第一の遅延時間を経て露光制御信号を受信し露光を行う第一の露光期間(S0期間)、及び、光源部1による発光制御信号の受信タイミングに対して第一の遅延時間より長い第二の遅延時間を経て露光制御信号を受信し露光を行う第二の露光期間(S1期間)のいずれにおいても、複数の読み出しゲート22の一部は、対応するPD21で生成された信号電荷を左へ読み出し、複数の読み出しゲート22の他部は、対応するPD21で生成された信号電荷を右へ読み出す。
次に図1に示す画像処理部3により、距離演算を施す。距離Lは上述した式1で表される。この演算を画像処理部でCCD型の固体撮像素子20の各画素アドレスについて実行することで本測距撮像装置の出力である距離画像の動画像を示す距離画像情報(距離情報)を得る。
上記一連の動作にて、S0、S1、BG期間の全てのPD21からの信号電荷の読み出しにおいて、固体撮像素子20の受光部であるPD21とVCCD23との構造が幾何学的な左右対称性を完全に満足しており、距離画像のシェーディング成分に起因する特性劣化を低減することが出来る。
さらに図19は、読み出しキズが発生した場合に、上記一連の動作による読み出しキズ信号の蓄積信号電荷への加算及び転送のイメージを示す図である。読み出しキズは読み出しゲートにHレベルを印加した際に、対応するPD21の読み出しゲートを配置していない側のVCCD23に発生する。図19では図面上第1行目のφV1による読み出しキズ信号をA、図面上第2行目のφV5による読み出しキズ信号をB、図面上第3行目のφV1による読み出しキズ信号をC、図面上第4行目のφV5による読み出しキズ信号をDとして、信号電荷への加算及び転送のイメージを示している。上記一連の動作により、図19(6)に示す通り、S0−11期間に蓄積した信号電荷61(1)、S1−11期間に蓄積した信号電荷62(1)、BG−11期間に蓄積した信号電荷63(1)には等しく読み出しキズ信号Bが加算されるものと読み出しキズ信号Dが加算されるものとが存在し、S0−12期間に蓄積した信号電荷64(1)、S1−12期間に蓄積した信号電荷65(1)、BG−12期間に蓄積した信号電荷66(1)には等しく読み出しキズ信号Aが加算されるものと読み出しキズ信号Cが加算されるものとが存在する。つまり、上記一連の動作によりS0,S1,BG期間のいずれにも読み出しキズ信号A,B,C,Dが等しく含まれているので、上述した式1で表される演算により求められる距離Lには読み出しキズ信号が全てキャンセルされる。
以上、本実施形態に係る固体撮像素子20および測距撮像装置10は、固体撮像素子20における読み出しゲートをHレベルにすることにより発生する読み出しキズに起因する距離誤差をキャンセルでき、誤差の無い更に高精度な測距を実現できる。
(実施の形態2)
以下、図面を参照しながら、実施の形態2に係る測距撮像装置の構成及び動作について、実施の形態1との相違点を中心に説明する。本実施の形態に係る測距撮像装置は、実施の形態1に係る測距撮像装置10と比較して、画像処理部の構成が異なる。
図20は、本実施の形態にかかる画像処理部503の構成を示すブロック図であり、実施の形態1における画像処理部3と比較して距離画像情報(以下、距離信号と記載する場合あり)の固体撮像素子における受光面内誤差(撮像領域8内誤差)である面内シェーディングを補正する手段が構成されている。
図20に示す通り、面内シェーディングを補正する手段は、固体撮像素子20を備える固体撮像部2から出力されたRAW信号から面内シェーディング成分を検出する検出部511(シェーディング成分検出部)と、検出部511で検出した面内各領域のシェーディング成分を保存するLookup table512と、Lookup table512に保存されている面内各領域のシェーディング成分に基づいて距離信号の面内シェーディングを補正する補正部513とを備える。
図21は、本開示の実施の形態にかかる、距離信号の固体撮像素子20における撮像領域内誤差である面内シェーディングの補正概念の例を示す図である。図21に示す通り、固体撮像素子20における撮像領域を複数の領域に分割し、複数の分割領域毎に代表点を設定し、代表点毎に実距離と測距値との関係の理想直線の差異から、測距オフセットと測距ゲイン(傾き)の少なくとも一方を算出し、補正値としてLookup table512に保存し、更に代表点間の測距オフセットと測距ゲイン(傾き)は線形補完して算出し、補正部513にて距離信号の面内シェーディングを補正する。この構成により、距離信号の固体撮像素子20における撮像領域内誤差である面内シェーディングが補正され、高精度な測距が可能となる効果を有する。
図22は、本実施の形態にかかる、固体撮像素子20における撮像領域内誤差である面内シェーディングの別の補正概念の例を示す図である。固体撮像素子20における撮像領域8を複数の領域に分割し、複数の分割領域毎に代表点を設定し、代表点毎に実距離と測距値との誤差を補正値として、Lookup table512に保存し、更に代表点間の補正値は線形補完して算出し、補正部513にて距離信号の面内シェーディングを補正する。この構成により、距離信号の固体撮像素子における撮像領域内誤差である面内シェーディングが更に精度よく補正され、更に高精度な測距が可能となる効果を有する。
上記のいずれの補正においても、代表点は単一画素でも、複数画素でもよい。複数画素の場合、実距離と測距値は平均値、中間値、メディアン値のいずれでもよい。
なお、複数の分割領域の面積は均等であることに限定されるものではなく、図23に示す通り、異なる面積で分割してもよい。図23に示す固体撮像素子における撮像領域の複数領域分割例では、撮像領域の端になる程、分割領域の面積を小さくしている。このことにより、光の入射角度が大きいことによる漏れ込みに起因する測距誤差が大きい撮像領域の端になる程、補正の精度が高くなるので、より面内シェーディングの小さい、高精度な測距が可能となる効果を有する。
また、代表点間の測距オフセットと測距ゲイン(傾き)の補完および、代表点間の補正値の補完は線形に限定はしない。
以上、本実施の形態に係る測距撮像装置は、実施の形態1に係る測距撮像装置10と同様に固体撮像素子20における受光面(撮像領域8)内の端における斜入射光による漏れ込みの影響がなく、また、露光制御信号の有効画素領域内における伝播遅延が解消され、高精度な測距が実現できる。また、固体撮像素子における撮像領域内誤差を低減でき、高い測距精度を実現できる。また、実施の形態1に係る測距撮像装置10と比較して、面内シェーディングに対する補正が高度になるので、より高精度な測距が実現できる。
以上、本開示の固体撮像素子及び測距撮像装置について上記実施の形態に基づいて説明してきたが、本開示の固体撮像素子及び測距撮像装置は、上記実施の形態に限定されるものではない。上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本開示の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の固体撮像素子及び測距撮像装置を内蔵した各種機器も本開示に含まれる。
なお、上記実施の形態では、CCDイメージセンサ(CCD型固体撮像素子)を用いたことにより複数のPD(受光部)を一括してリセットする動作、いわゆるグローバルリセットを行うことが出来、更に高精度な測距を実現することが出来る。しかし、本開示に用いる固体撮像素子はCCDイメージセンサに限定されものではなく、測距撮像装置としての他の要求を考慮して、CMOSイメージセンサ(CMOS型固体撮像素子)などのその他の固体撮像素子(イメージセンサ)を用いても本開示の効果を得ることが出来る。
更に、本開示は距離情報により距離を測定する装置(測距撮像装置)に留まらず、その他の物理量(例:形状、温度、放射線濃度など)を精度よく検知(測定)する装置(物理量検知装置)や、撮像したデータを精度良く描写させる装置(撮像装置)にも用いることが出来る。
本発明に係る固体撮像素子及び測距撮像装置は、周辺環境に依存することなく、測定対象物の高精度な3次元測定が実現できるため、例えば、人物、建物などの3次元測定の精度向上に有効である。
1 光源部
2 固体撮像部(撮像部)
3、503 画像処理部
4 駆動制御部
7 φSUBパルス伝播イメージ
8、908 撮像領域
9 ボンディングパッド
10 測距撮像装置
20 固体撮像素子
21 PD(受光部)
22 読み出しゲート(電荷読み出し部)
23 VCCD
24 HCCD
25 出力アンプ
31(1)〜33(1)、31(2)〜33(2)、61(1)〜66(1)、61(2)〜66(2) 信号電荷
51 S0期間の信号電荷蓄積イメージ
52 S1期間の信号電荷蓄積イメージ
53 BG期間の信号電荷蓄積イメージ
100 受光装置
104 光電変換素子
106 光電子振分部
108 光電子排出部
112 第1転送部
114 光電子保持部
116 第2転送部
118 浮遊拡散層
511 検出部(シェーディング成分検出部)
512 Lookup table
513 補正部
900 単位画素

Claims (8)

  1. 測距撮像装置に用いる固体撮像素子であって、
    半導体基板に設けられ、露光によって電荷を生成する複数の受光部と、
    前記複数の受光部に1対1に対応して配置され、前記複数の受光部で生成された電荷を読み出す複数の電荷読み出し部と、
    前記複数の受光部の露光を指示する露光制御信号を受け取るための複数のボンディングパッドとを有し、
    前記複数の電荷読み出し部の一部は、対応する受光部の左側に配置され、対応する受光部で生成された電荷を左へ読み出し、
    前記複数の電荷読み出し部の他部は、対応する受光部の右側に配置され、対応する受光部で生成された電荷を右へ読み出し、
    前記複数のボンディングパッドは、前記複数の受光部及び前記複数の電荷読み出し部を含む撮像領域の上下または上下左右に配置されている
    固体撮像素子。
  2. 前記複数の受光部は行列状に配置され、
    左に電荷が読み出される受光部と右に電荷が読み出される受光部とは、列方向および行方向に交互に配置されている
    請求項1に記載の固体撮像素子。
  3. 前記固体撮像素子は、CCD型の固体撮像素子であり、
    前記露光制御信号は、前記複数の受光部の電荷を掃き捨てるための基板電圧を含む
    請求項1または2に記載の固体撮像素子。
  4. 行列状に配置された前記複数の受光部のうち、奇数行目の露光・読み出し時刻と偶数行目の露光・読み出し時刻とが異なる
    請求項1または2に記載の固体撮像素子。
  5. 光照射を指示する発光制御信号と、露光を指示する露光制御信号とを発生する駆動制御部と、
    前記発光制御信号を受信することにより前記光照射を行う光源部と、
    前記光照射に対する対象物体からの反射光に対し、前記露光制御信号を受信することにより前記露光を行い、撮像情報を取得する撮像部と、
    前記撮像情報を用いて前記対象物体までの距離情報を出力する画像処理部とを備え、
    前記撮像部は、
    前記露光によって電荷を生成する複数の受光部と、
    前記複数の受光部に1対1に対応して配置され、前記複数の受光部で生成された電荷を読み出す複数の電荷読み出し部とを有し、
    前記複数の電荷読み出し部の一部は、対応する受光部の左側に配置され、
    前記複数の電荷読み出し部の他部は、対応する受光部の右側に配置され、
    前記光源部による前記発光制御信号の受信タイミングに対して第一の遅延時間を経て前記露光制御信号を受信し前記露光を行う第一の露光期間、及び、前記光源部による前記発光制御信号の受信タイミングに対して第一の遅延時間より長い第二の遅延時間を経て前記露光制御信号を受信し前記露光を行う第二の露光期間のいずれにおいても、
    前記複数の電荷読み出し部の一部は、対応する受光部で生成された電荷を左へ読み出し、
    前記複数の電荷読み出し部の他部は、対応する受光部で生成された電荷を右へ読み出す
    測距撮像装置。
  6. 前記撮像部は、さらに、露光制御信号を受け取るための複数のボンディングパッドであって、前記複数の受光部及び前記複数の電荷読み出し部を含む撮像領域の上下または上下左右に配置された複数のボンディングパッドを備える
    請求項5に記載の測距撮像装置。
  7. 前記画像処理部は、
    前記撮像情報を用いて、前記撮像部の前記複数の受光部及び前記複数の電荷読み出し部を含む撮像領域内誤差である面内シェーディング成分を、前記撮像領域の分割領域ごとに検出するシェーディング成分検出部と、
    前記シェーディング成分検出部で検出された前記分割領域ごとのシェーディング成分を保存するLookup tableと、
    前記Lookup tableに保存されている前記分割領域ごとのシェーディング成分に基づいて前記距離情報の面内シェーディングを補正して出力する補正部とを備える
    請求項5または6に記載の測距撮像装置。
  8. 前記撮像部は、CCD型の固体撮像素子を備え、
    前記露光制御信号は、前記複数の受光部の電荷を掃き捨てるための基板電圧を含む
    請求項5〜7のいずれか1項に記載の測距撮像装置。
JP2015523668A 2013-06-27 2013-10-15 固体撮像素子及び測距撮像装置 Active JP6160971B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013135488 2013-06-27
JP2013135488 2013-06-27
PCT/JP2013/006123 WO2014207788A1 (ja) 2013-06-27 2013-10-15 固体撮像素子及び測距撮像装置

Publications (2)

Publication Number Publication Date
JPWO2014207788A1 true JPWO2014207788A1 (ja) 2017-02-23
JP6160971B2 JP6160971B2 (ja) 2017-07-12

Family

ID=52141197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015523668A Active JP6160971B2 (ja) 2013-06-27 2013-10-15 固体撮像素子及び測距撮像装置

Country Status (3)

Country Link
US (1) US10048380B2 (ja)
JP (1) JP6160971B2 (ja)
WO (1) WO2014207788A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014106854A1 (de) * 2014-05-15 2016-01-28 Odos Imaging Ltd. Bildgebendes System und Verfahren zum Überwachen eines Sichtfeldes
JP6422306B2 (ja) * 2014-11-04 2018-11-14 キヤノン株式会社 撮像装置及びその制御方法
WO2016151982A1 (ja) * 2015-03-26 2016-09-29 パナソニックIpマネジメント株式会社 固体撮像素子およびこれを備えた撮像装置
US9749565B2 (en) * 2015-05-18 2017-08-29 Analog Devices, Inc. Interline charge-coupled devices
CN107852470B (zh) * 2015-08-04 2020-11-03 松下半导体解决方案株式会社 固体摄像装置的驱动方法
EP3425901A4 (en) * 2016-02-29 2019-06-26 Panasonic Intellectual Property Management Co., Ltd. IMAGING DEVICE AND SEMICONDUCTOR IMAGING ELEMENT USED THEREIN
US10768300B2 (en) * 2017-07-28 2020-09-08 Black Sesame International Holding Limited Distance detection by global shutter image sensor
CN112513671A (zh) * 2018-08-02 2021-03-16 新唐科技日本株式会社 摄像装置及在该摄像装置中使用的固体摄像元件

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59169279A (ja) * 1983-03-16 1984-09-25 Hitachi Ltd 固体撮像装置
JP2000138367A (ja) * 1998-11-02 2000-05-16 Sony Corp 電荷転送装置
JP2000184385A (ja) * 1998-12-17 2000-06-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2001153624A (ja) * 1999-11-24 2001-06-08 Asahi Optical Co Ltd 3次元画像入力装置
JP2012004264A (ja) * 2010-06-16 2012-01-05 Fujifilm Corp 固体撮像素子および撮影装置
JP2012215480A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379100B2 (en) * 2004-02-12 2008-05-27 Canesta, Inc. Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
JP2005295442A (ja) * 2004-04-05 2005-10-20 Hitachi Kokusai Electric Inc 撮像装置及び撮像方法
US7283213B2 (en) * 2005-02-08 2007-10-16 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
JP6435513B2 (ja) * 2013-06-26 2018-12-12 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
JP6286677B2 (ja) * 2013-06-26 2018-03-07 パナソニックIpマネジメント株式会社 測距システム、及び撮像センサ
US9826214B2 (en) * 2014-09-08 2017-11-21 Microsoft Technology Licensing, Llc. Variable resolution pixel

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59169279A (ja) * 1983-03-16 1984-09-25 Hitachi Ltd 固体撮像装置
JP2000138367A (ja) * 1998-11-02 2000-05-16 Sony Corp 電荷転送装置
JP2000184385A (ja) * 1998-12-17 2000-06-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2001153624A (ja) * 1999-11-24 2001-06-08 Asahi Optical Co Ltd 3次元画像入力装置
JP2012004264A (ja) * 2010-06-16 2012-01-05 Fujifilm Corp 固体撮像素子および撮影装置
JP2012215480A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム

Also Published As

Publication number Publication date
US10048380B2 (en) 2018-08-14
WO2014207788A1 (ja) 2014-12-31
JP6160971B2 (ja) 2017-07-12
US20160103223A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
JP6160971B2 (ja) 固体撮像素子及び測距撮像装置
CN107924927B (zh) 固体摄像装置
JP6145826B2 (ja) 撮像装置及びその駆動方法
JP6008148B2 (ja) 撮像装置
JP5635937B2 (ja) 固体撮像装置
US9736438B2 (en) Solid state imaging device and imaging device and driving method thereof
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
CN107925733B (zh) 固体摄像装置
JPWO2016170833A1 (ja) 固体撮像素子、半導体装置、及び、電子機器
TWI471006B (zh) 成像裝置及相機系統
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
JP6664122B2 (ja) 固体撮像装置及びカメラ
JP5675469B2 (ja) 測距システム
WO2016151982A1 (ja) 固体撮像素子およびこれを備えた撮像装置
JP2019075826A (ja) 固体撮像装置、及びそれを備える撮像装置
KR101577844B1 (ko) 고체 촬상 장치
JP2008042714A (ja) 固体撮像装置
JP2008099066A (ja) 固体撮像装置
JP6190690B2 (ja) 距離測定システム及び補正用データの取得方法
JP2003247809A (ja) 距離情報入力装置
JP2016090785A (ja) 撮像装置及びその制御方法
JP7426339B2 (ja) 撮像装置、それに用いられる固体撮像素子及び撮像方法
WO2021172364A1 (ja) 固体撮像装置および撮像装置
US11172146B2 (en) Imaging apparatus and solid-state imaging device used therein

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170602

R151 Written notification of patent or utility model registration

Ref document number: 6160971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250