JP2024073685A - 光電変換装置及びその駆動方法 - Google Patents

光電変換装置及びその駆動方法 Download PDF

Info

Publication number
JP2024073685A
JP2024073685A JP2022184522A JP2022184522A JP2024073685A JP 2024073685 A JP2024073685 A JP 2024073685A JP 2022184522 A JP2022184522 A JP 2022184522A JP 2022184522 A JP2022184522 A JP 2022184522A JP 2024073685 A JP2024073685 A JP 2024073685A
Authority
JP
Japan
Prior art keywords
charge
photoelectric conversion
unit
charge holding
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022184522A
Other languages
English (en)
Inventor
周平 林
堅斗 渡辺
裕介 大貫
一 池田
大祐 小林
武範 小布施
太郎 滝田
直樹 石川
雄介 山下
孝博 上倉
繁治 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022184522A priority Critical patent/JP2024073685A/ja
Priority to US18/504,445 priority patent/US20240171874A1/en
Publication of JP2024073685A publication Critical patent/JP2024073685A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/532Control of the integration time by controlling global shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】良質な高ダイナミックレンジの動画を取得し得る光電変換装置を提供する。【解決手段】光電変換装置は、光電変換により電荷を生じる光電変換部と、光電変換部から電荷を転送可能に構成された第1乃至第4電荷保持部と、第1乃至第4電荷保持部から転送される電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素と、複数の画素を制御する制御回路と、を有する。制御回路は、一のフレームの間に、光電変換部に蓄積された電荷を第1及び第2電荷保持部のうちの一方に転送する転送動作を、第1及び第2電荷保持部の各々に対してそれぞれ複数回、複数の画素において同時に行い、当該一のフレームの間に、複数の画素の各々から、第3電荷保持部が保持する電荷の量に応じた信号と、第4電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う。【選択図】図2

Description

本発明は、光電変換装置及びその駆動方法に関する。
CMOSイメージセンサなどの光電変換装置として、各画素が信号電荷を一時的に保持する電荷保持部を有し、光電変換部から電荷保持部への電荷転送を総ての画素で一斉に行う、いわゆるグローバルシャッタ機能を備えた光電変換装置が提案されている。グローバルシャッタ機能を用いることで、光電変換部での信号蓄積タイミングを総ての画素で揃えることができ、動きの速い被写体を撮影する場合における被写体像の歪みを抑制することができる。
また、光電変換装置における別の技術として、信号電荷の蓄積時間が異なる複数の画像信号を合成して高ダイナミックレンジの画像を生成する技術が提案されている。例えば、1つの光電変換部に対して複数の電荷保持部を設け、これら電荷保持部に異なる蓄積時間で信号電荷を蓄積するように構成することで、信号電荷の蓄積時間が異なる複数の画像信号を取得することができる。特許文献1には、グローバルシャッタ機能を備えた光電変換装置において前述の方法により高ダイナミックレンジの画像を生成するための技術が開示されている。
米国特許出願公開第2013/0135486号明細書
しかしながら、特許文献1に記載の方法では、各画素の電荷保持部に蓄積されている信号電荷に基づく信号を読み出している間は電荷保持部に次のフレームの信号電荷を蓄積することができなかった。そのため、フレームとフレームとの間に信号電荷を蓄積できない期間が生じ、シームレスな動画を取得できないことがあった。
本発明の目的は、良質な高ダイナミックレンジの動画を取得し得る光電変換装置及びその駆動方法を提供することにある。
本明細書の一開示によれば、光電変換により電荷を生じる光電変換部と、前記光電変換部から電荷を転送可能に構成された第1電荷保持部、第2電荷保持部、第3電荷保持部及び第4電荷保持部と、前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から転送される電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素と、前記複数の画素を制御する制御回路と、を有し、前記制御回路は、一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部及び前記第2電荷保持部のうちの一方に転送する転送動作を、前記第1電荷保持部及び前記第2電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う光電変換装置が提供される。
本明細書の他の一開示によれば、光電変換により電荷を生じる光電変換部と、前記光電変換部から電荷を転送可能に構成された第1電荷保持部、第2電荷保持部、第3電荷保持部及び第4電荷保持部と、前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から転送される電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する光電変換装置の駆動方法であって、一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部及び前記第2電荷保持部のうちの一方に転送する転送動作を、前記第1電荷保持部及び前記第2電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う光電変換装置の駆動方法が提供される。
本発明によれば、良質な高ダイナミックレンジの動画を取得することができる。
本発明の第1実施形態による光電変換装置の概略構成を示すブロック図である。 本発明の第1実施形態による光電変換装置の画素の構成例を示す等価回路図である。 本発明の第1実施形態による光電変換装置の駆動方法を示すタイミング図(その1)である。 本発明の第1実施形態による光電変換装置の駆動方法を示すタイミング図(その2)である。 本発明の第2実施形態による光電変換装置の画素の構成例を示す等価回路図である。 本発明の第2実施形態による光電変換装置の駆動方法を示すタイミング図(その1)である。 本発明の第2実施形態による光電変換装置の駆動方法を示すタイミング図(その2)である。 本発明の第3実施形態による光電変換装置の画素の構成例を示す等価回路図である。 1つの画素に含まれる2つの光電変換部の配置例を示す概略図である。 本発明の第4実施形態による光電変換装置の画素の構成例を示す等価回路図である。 本発明の第5実施形態による光電変換装置の画素の構成例を示す等価回路図である。 本発明の第6実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第7実施形態による撮像システム及び移動体の構成例を示す図である。 本発明の第8実施形態による機器の概略構成を示すブロック図である。
以下、図面を用いて本発明に係る実施形態を説明する。なお、以下に述べる各実施形態では、光電変換装置の一例として撮像装置を中心に説明する。ただし、各実施形態は、撮像装置に限られるものではなく、光電変換装置の他の例にも適用可能である。例えば、測距装置(焦点検出やTOF(Time Of Flight)を用いた距離測定等の装置)、測光装置(入射光量の測定等の装置)などがある。
[第1実施形態]
本発明の第1実施形態による光電変換装置及びその駆動方法について、図1乃至図4を用いて説明する。図1は、本実施形態による光電変換装置の概略構成を示すブロック図である。図2は、本実施形態による光電変換装置の画素の構成例を示す等価回路図である。図3及び図4は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。
はじめに、本実施形態による光電変換装置の概略構成について、図1及び図2を用いて説明する。
本実施形態による光電変換装置は、図1に示すように、画素部10と、垂直走査回路20と、読み出し回路30と、水平走査回路40と、出力回路50と、制御回路60と、を有する。画素部10は、垂直走査回路20及び読み出し回路30に接続されている。読み出し回路30は、水平走査回路40及び出力回路50に接続されている。制御回路60は、垂直走査回路20、読み出し回路30及び水平走査回路40に接続されている。
画素部10には、複数の行及び複数の列をなすように行列状に配された複数の画素12が設けられている。複数の画素12の各々は、フォトダイオード等の光電変換素子からなる光電変換部を含み、入射光の光量に応じた画素信号を出力する。画素部10に配される画素アレイの行数及び列数は、特に限定されるものではない。なお、画素部10には、入射光の光量に応じた画素信号を出力する有効画素のほか、光電変換部が遮光されたオプティカルブラック画素や、信号を出力しないダミー画素などが配置されていてもよい。
画素部10の各行には、第1の方向(図1において横方向)に延在して、制御線14が配されている。制御線14の各々は、第1の方向に並ぶ画素12にそれぞれ接続され、これら画素12に共通の信号線をなしている。制御線14の延在する第1の方向は、行方向或いは水平方向と呼ぶことがある。制御線14の各々は、複数の信号線を含み得る。制御線14は、垂直走査回路20に接続されている。
画素部10の各列には、第1の方向と交差する第2の方向(図1において縦方向)に延在して垂直出力線16が配されている。垂直出力線16の各々は、第2の方向に並ぶ画素12に接続され、これら画素12に共通の信号線をなしている。垂直出力線16の延在する第2の方向は、列方向或いは垂直方向と呼ぶことがある。垂直出力線16は、読み出し回路30に接続されている。
垂直走査回路20は、制御回路60からの制御信号を受け、画素12を駆動するための制御信号を生成し、制御線14を介して画素12に出力する機能を備える制御回路である。垂直走査回路20には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。垂直走査回路20は、各行の制御線14に順次制御信号を出力し、画素部10の画素12を行単位で順次駆動する。行単位で画素12から読み出された信号は、画素部10の各列に配された垂直出力線16を介して読み出し回路30に入力される。
読み出し回路30は、画素12から読み出された信号に対して所定の処理、例えば、増幅処理や加算処理等の信号処理を実施する機能を備える。読み出し回路30は、信号保持部、列アンプ、相関二重サンプリング(CDS)回路、加算回路等を含み得る。また、読み出し回路30は、必要に応じてA/D(アナログ/デジタル)変換回路等のその他の処理回路を更に含んでもよい。
水平走査回路40は、制御回路60からの制御信号を受け、読み出し回路30で処理された信号を列毎に順次、出力回路50に転送するための制御信号を生成し、読み出し回路30に出力する機能を備える制御回路である。水平走査回路40には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。出力回路50は、バッファアンプや差動増幅器などから構成され、水平走査回路40によって選択された列の信号を増幅して出力するための回路部である。出力回路50は、画素信号に対して所定の信号処理、例えば補正処理やHDR合成処理を行う信号処理部を更に有していてもよい。
制御回路60は、垂直走査回路20、読み出し回路30及び水平走査回路40に、それらの動作やタイミングを制御する制御信号を供給する機能を備える。なお、垂直走査回路20、読み出し回路30及び水平走査回路40に供給する制御信号の少なくとも一部は、光電変換装置100の外部から供給してもよい。
各々の画素12は、図2に示すように、光電変換部PDと、転送トランジスタM1L1,M1L2,M1S1,M1S2,M3L1,M3L2,M3S1,M3S2と、を有する。また、各々の画素12は、リセットトランジスタM4と、増幅トランジスタM5と、選択トランジスタM6と、電荷排出トランジスタM7と、を更に有する。光電変換部PDは、光電変換素子、例えばフォトダイオードにより構成され得る。各トランジスタは、信号電荷として例えば電子を用いる場合、N型MOSトランジスタによって構成され得る。なお、各トランジスタは必ずしもN型MOSトランジスタである必要はなく、各トランジスタをP型MOSトランジスタによって構成し、信号電荷として正孔を用いるようにしてもよい。
光電変換部PDは、アノードが接地ノードに接続され、カソードが転送トランジスタM1L1,M1L2,M1S1,M1S2及び電荷排出トランジスタM7の各々のソースに接続されている。転送トランジスタM1L1のドレインは、転送トランジスタM3L1のソースに接続されている。転送トランジスタM1L1のドレインと転送トランジスタM3L1のソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM_L1)としての機能を備える。転送トランジスタM1L2のドレインは、転送トランジスタM3L2のソースに接続されている。転送トランジスタM1L2のドレインと転送トランジスタM3L2のソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM_L2)としての機能を備える。転送トランジスタM1S1のドレインは、転送トランジスタM3S1のソースに接続されている。転送トランジスタM1S1のドレインと転送トランジスタM3S1のソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM_S1)としての機能を備える。転送トランジスタM1S2のドレインは、転送トランジスタM3S2のソースに接続されている。転送トランジスタM1S2のドレインと転送トランジスタM3S2のソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM_S2)としての機能を備える。
転送トランジスタM3L1,M3L2,M3S1,M3S2の各々のドレインは、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートに接続されている。転送トランジスタM3L1,M3L2,M3S1,M3S2のドレイン、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートの接続ノードは、いわゆる浮遊拡散(フローティングディフュージョン)部FDである。浮遊拡散部FD部は、容量成分(浮遊拡散容量)を含み、電荷保持部としての機能を備える。
リセットトランジスタM4のドレイン、増幅トランジスタM5のドレイン及び電荷排出トランジスタM7のドレインは、電源電圧線(電圧VDD)に接続されている。なお、リセットトランジスタM4のドレインに供給される電圧、増幅トランジスタM5のドレインに供給される電圧、電荷排出トランジスタM7のドレインに供給される電圧は、何れか2つ又は3つが同じでもよいし、総てが異なっていてもよい。増幅トランジスタM5のソースは、選択トランジスタM6のドレインに接続されている。選択トランジスタM6のソースは、垂直出力線16に接続されている。
制御線14の各々は、転送トランジスタM1L1,M1L2,M1S1,M1S2,M3L1,M3L2,M3S1,M3S2、リセットトランジスタM4、選択トランジスタM6及び電荷排出トランジスタM7のゲートの各々に接続された11本の信号線を含む。転送トランジスタM1L1のゲートに接続された信号線には、垂直走査回路20から制御信号GS_L1が出力される。転送トランジスタM1L2のゲートに接続された信号線には、垂直走査回路20から制御信号GS_L2が出力される。転送トランジスタM1S1のゲートに接続された信号線には、垂直走査回路20から制御信号GS_S1が出力される。転送トランジスタM1S2のゲートに接続された信号線には、垂直走査回路20から制御信号GS_S2が出力される。転送トランジスタM3L1のゲートに接続された信号線には、垂直走査回路20から制御信号TX_L1が出力される。転送トランジスタM3L2のゲートに接続された信号線には、垂直走査回路20から制御信号TX_L2が出力される。転送トランジスタM3S1のゲートに接続された信号線には、垂直走査回路20から制御信号TX_S1が出力される。転送トランジスタM3S2のゲートに接続された信号線には、垂直走査回路20から制御信号TX_S2が出力される。リセットトランジスタM4のゲートに接続された信号線には、垂直走査回路20から制御信号RESが出力される。選択トランジスタM6のゲートに接続された信号線には、垂直走査回路20から制御信号SELが出力される。電荷排出トランジスタM7のゲートに接続された信号線には、垂直走査回路20から制御信号OFGが出力される。各トランジスタがN型トランジスタで構成される場合、垂直走査回路20からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査回路20からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。
光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。転送トランジスタM1L1は、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM_L1に転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3L1は、オンになることにより電荷保持部MEM_L1が保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM1L2は、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM_L2に転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3L2は、オンになることにより電荷保持部MEM_L2が保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM1S1は、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM_S1に転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3S1は、オンになることにより電荷保持部MEM_S1が保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM1S2は、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM_S2に転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3S2は、オンになることにより電荷保持部MEM_S2が保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。
増幅トランジスタM5は、ドレインに電圧VDDが供給され、ソースに選択トランジスタM6を介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成している。これにより増幅トランジスタM5は、浮遊拡散部FDの電位に応じた信号を、選択トランジスタM6を介して垂直出力線16に出力する。この意味で、浮遊拡散部FD、増幅トランジスタM5及び選択トランジスタM6は、浮遊拡散部FDが保持する電荷の量に応じた信号を出力する出力部を構成するものといえる。なお、図2には4つの転送部(転送トランジスタM3L1,M3L2,M3S1,M3S2)が1つの浮遊拡散部FD或いは出力部を共有する構成を示しているが、4つの転送部の各々に対して個別に浮遊拡散部FD或いは出力部を接続する構成としてもよい。
リセットトランジスタM4は、オンになることにより浮遊拡散部FDを電圧VDDに応じた電圧にリセットするリセット動作を行うリセット部としての機能を備える。電荷排出トランジスタM7は、オンになることにより光電変換部PDが保持する電荷を排出するオーバーフロードレイン部としての機能を備える。或いは、電荷排出トランジスタM7は、オンになることにより光電変換部PDを電圧VDDに応じた電圧にリセットするリセット動作を行うリセット部としての機能を備える、とも言える。選択トランジスタM6は、増幅トランジスタM5のソース電圧に応じた信号を画素信号として垂直出力線16に出力するか否かを選択する選択部としての機能を備える。
次に、本実施形態による光電変換装置の駆動方法について、図3及び図4を用いて説明する。図3は画素の露光動作に関わる駆動を示すタイミング図であり、図4は画素信号の読み出し動作に関わる駆動を示すタイミング図である。
図3には、第(2N-1)フレーム及び第2Nフレームに転送トランジスタM1L1,M1L2,M1S1,M1S2及び電荷排出トランジスタM7に供給される制御信号GS_L1,GS_L2,GS_S1,GS_S2,OFGの時間変化を示している。ここで、Nは1以上の整数である。各制御信号がハイレベルのとき、対応するトランジスタがアクティブ(オン状態)となる。なお、本実施形態ではグローバルシャッタ方式の駆動を行うため、露光動作に関わる駆動及びそのタイミングは総ての行の画素12において同時である。ここで、「同時」とは、各行を同時に駆動するように設計されていることを意味し、製造による誤差や、設計上のレイアウトに基づく差異があってもよい。すなわち、全行一括でグローバルに各行のトランジスタを駆動したいという意図があれば、各行の駆動線の長さが異なることなどに起因した信号遅延があったとしても、「同時」という文言を満たす。
各フレームでは、複数回(Ks回)の蓄積期間Tsと、複数回(Kl回)の蓄積期間Tlと、が実行される。蓄積期間Tsは電荷保持部MEM_S1又は電荷保持部MEM_S2に信号電荷を蓄積するための期間であり、蓄積期間Tlは電荷保持部MEM_L1又は電荷保持部MEM_L2に信号電荷を蓄積するための期間である。以下、Ks回のうちのi回目の蓄積期間Ts及び(i+1)回目の蓄積期間Tsi+1の動作と、Kl回のうちのj回目の蓄積期間Tl及び(j+1)回目の蓄積期間Tlj+1の動作について、図3を用いて説明する。ここで、iは、1以上、Ks-2以下の整数である。jは、1以上、Kl-1以下の整数である。なお、回数Ks,Klは1フレーム期間内におけるトータルの蓄積時間等に応じて適宜設定が可能であり、また、回数Ks,Klは同じであってもよいし異なっていてもよい。
まず、奇数フレーム(第(2N-1)フレーム)における露光動作について説明する。奇数フレームでは、光電変換部PDで生じた信号電荷を電荷保持部MEM_L1,MEM_S1に蓄積し、電荷保持部MEM_L2,MEM_S2に蓄積されている信号電荷に基づく信号の読み出しを行う。
時刻t10の直前において、制御信号OFGはハイレベルであるものとする。電荷排出トランジスタM7は、ハイレベルの制御信号OFGを受けてオンになっており、光電変換部PDは電圧VDDに応じた電位にリセットされている。
時刻t10において、垂直走査回路20は、制御信号OFGをハイレベルからローレベルへと制御する。これにより、電荷排出トランジスタM7がオフになり、光電変換部PDのリセット状態が解除される。すなわち、制御信号OFGがハイレベルからローレベルへと遷移するタイミングが、光電変換部PDにおける蓄積期間Tsの開始時刻となる。電荷排出トランジスタM7がオフの間に光電変換部PDへの光子の入射によって生じた信号電荷は、光電変換部PDに蓄積される。
時刻t10の後の所定のタイミングから時刻t11までの期間において、垂直走査回路20は、制御信号GS_S1をハイレベルに制御する。これにより、転送トランジスタM1S1がオンになり、光電変換部PDに蓄積されている信号電荷が電荷保持部MEM_S1へと転送される。転送トランジスタM1S1がオフになる時刻t11が、光電変換部PDにおける蓄積期間Tsの終了時刻となる。すなわち、時刻t10から時刻t11までの期間が、信号電荷の蓄積期間Tsである。
時刻t11の後、垂直走査回路20は、制御信号OFGをローレベルからハイレベルへと制御する。これにより、電荷排出トランジスタM7がオンになり、光電変換部PDは電圧VDDに応じた電位にリセットされる。
続く時刻t12において、垂直走査回路20は、制御信号OFGをハイレベルからローレベルへと制御する。これにより、電荷排出トランジスタM7がオフになり、光電変換部PDのリセット状態が解除される。すなわち、制御信号OFGがハイレベルからローレベルへと遷移するタイミングが、光電変換部PDにおける蓄積期間Tlの開始時刻となる。電荷排出トランジスタM7がオフの間に光電変換部PDへの光子の入射によって生じた信号電荷は、光電変換部PDに蓄積される。
なお、ここでは電荷排出トランジスタM7をオンにすることにより光電変換部PDをリセットしているが、転送時に信号電荷が光電変換部PDに残存しないような構成の場合には、電荷排出トランジスタM7による光電変換部PDのリセットを省略してもよい。その場合、転送トランジスタ(ここでは転送トランジスタM1S1)がオフになるタイミング(時刻t11)が、光電変換部PDにおける蓄積期間Tlの開始時刻となる。その他の蓄積期間Ts,Tlについても同様である。光電変換部PDから電荷保持部MEMへの信号電荷の完全転送は、光電変換部PD、転送トランジスタM1、電荷保持部MEM等のポテンシャル設計により実現可能である。
時刻t12の後の所定のタイミングから時刻t13までの期間において、垂直走査回路20は、制御信号GS_L1をハイレベルに制御する。これにより、転送トランジスタM1L1がオンになり、光電変換部PDに蓄積されている信号電荷が電荷保持部MEM_L1へと転送される。転送トランジスタM1L1がオフになる時刻t13が、光電変換部PDにおける蓄積期間Tlの終了時刻となる。すなわち、時刻t12から時刻t13までの期間が、信号電荷の蓄積期間Tlである。
この後、時刻t10から時刻t13までの期間と同様にして、蓄積期間Tsと蓄積期間Tlとが所定の回数、繰り返し行われる。例えば図3に示すように、時刻t14から時刻t15の期間には蓄積期間Tsi+1が行われ、時刻t16から時刻t17の期間には蓄積期間Tlj+1が行われ、時刻t18からは蓄積期間Tsi+2が行われる。
このようにして、奇数フレームには、Ks回の蓄積期間TsとKl回の蓄積期間Tlとが実行される。これにより、電荷保持部MEM_S1には、蓄積期間Tsから蓄積期間TsKsまでのKs個の期間の長さを合計した長さの蓄積期間Tshortの間に光電変換部PDで生成された信号電荷が保持される。また、電荷保持部MEM_L1には、蓄積期間Tlから蓄積期間TlKlまでのKl個の期間の長さを合計した長さの蓄積期間Tlongの間に光電変換部PDで生成された信号電荷が保持される。
次に、偶数フレーム(第2Nフレーム)における露光動作について説明する。偶数フレームでは、光電変換部PDで生じた信号電荷を電荷保持部MEM_L2,MEM_S2に蓄積し、電荷保持部MEM_L1,MEM_S1に蓄積されている信号電荷に基づく信号の読み出しを行う。
時刻t20の直前において、制御信号OFGはハイレベルであるものとする。電荷排出トランジスタM7は、ハイレベルの制御信号OFGを受けてオンになっており、光電変換部PDは電圧VDDに応じた電位にリセットされている。
時刻t20において、垂直走査回路20は、制御信号OFGをハイレベルからローレベルへと制御する。これにより、電荷排出トランジスタM7がオフになり、光電変換部PDのリセット状態が解除される。すなわち、制御信号OFGがハイレベルからローレベルへと遷移するタイミングが、光電変換部PDにおける蓄積期間Tsの開始時刻となる。電荷排出トランジスタM7がオフの間に光電変換部PDへの光子の入射によって生じた信号電荷は、光電変換部PDに蓄積される。
時刻t20の後の所定のタイミングから時刻t21までの期間において、垂直走査回路20は、制御信号GS_S2をハイレベルに制御する。これにより、転送トランジスタM1S2がオンになり、光電変換部PDに蓄積されている信号電荷が電荷保持部MEM_S2へと転送される。転送トランジスタM1S2がオフになる時刻t21が、光電変換部PDにおける蓄積期間Tsの終了時刻となる。すなわち、時刻t20から時刻t21までの期間が、信号電荷の蓄積期間Tsである。
時刻t21の後、垂直走査回路20は、制御信号OFGをローレベルからハイレベルへと制御する。これにより、電荷排出トランジスタM7がオンになり、光電変換部PDは電圧VDDに応じた電位にリセットされる。
続く時刻t22において、垂直走査回路20は、制御信号OFGをハイレベルからローレベルへと制御する。これにより、電荷排出トランジスタM7がオフになり、光電変換部PDのリセット状態が解除される。すなわち、制御信号OFGがハイレベルからローレベルへと遷移するタイミングが、光電変換部PDにおける蓄積期間Tlの開始時刻となる。電荷排出トランジスタM7がオフの間に光電変換部PDへの光子の入射によって生じた信号電荷は、光電変換部PDに蓄積される。
時刻t22の後の所定のタイミングから時刻t23までの期間において、垂直走査回路20は、制御信号GS_L2をハイレベルに制御する。これにより、転送トランジスタM1L2がオンになり、光電変換部PDに蓄積されている信号電荷が電荷保持部MEM_L2へと転送される。転送トランジスタM1L2がオフになる時刻t23が、光電変換部PDにおける蓄積期間Tlの終了時刻となる。すなわち、時刻t22から時刻t23までの期間が、信号電荷の蓄積期間Tlである。
この後、時刻t20から時刻t23までの期間と同様にして、蓄積期間Tsと蓄積期間Tlとが所定の回数、繰り返し行われる。例えば図3に示すように、時刻t24から時刻t25の期間には蓄積期間Tsi+1が行われ、時刻t26から時刻t27の期間には蓄積期間Tlj+1が行われ、時刻t28からは蓄積期間Tsi+2が行われる。
このようにして、偶数フレームにも、Ks回の蓄積期間TsとKl回の蓄積期間Tlとが実行される。これにより、電荷保持部MEM_S2には、蓄積期間Tsから蓄積期間TsKsまでのKs個の期間の長さを合計した長さの蓄積期間Tshortの間に光電変換部PDで生成された信号電荷が保持される。また、電荷保持部MEM_L2には、蓄積期間Tlから蓄積期間TlKlまでのKl個の期間の長さを合計した長さの蓄積期間Tlongの間に光電変換部PDで生成された信号電荷が保持される。
図4には、第(2N-1)フレーム及び第2Nフレームに転送トランジスタM3L1,M3L2,M3S1,M3S2、リセットトランジスタM4及び選択トランジスタM6に供給される制御信号TX_L1,TX_L2,TX_S1,TX_S2,RES,SELの時間変化を示している。各制御信号がハイレベルのとき、対応するトランジスタがアクティブ(オン状態)となる。ここで、画素信号の読み出し動作は、行毎に順次実行される。図4には、画素部10を構成する複数の行の各々に対応する制御信号のうち、第n行の画素12に供給される制御信号と、第(n+1)行の画素12に供給される制御信号と、を示している。第n行の画素12に供給される制御信号にはその符号に(n)を付記し、第(n+1)行の画素12に供給される制御信号にはその符号に(n+1)を付記している。
まず、奇数フレーム(第(2N-1)フレーム)における読み出し動作について説明する。奇数フレームでは、前述のように、電荷保持部MEM_L2及び電荷保持部MEM_S2に蓄積されている信号電荷に基づく信号の読み出し動作を行う。第(2N-1)フレームにおいて、各画素12の電荷保持部MEM_L2及び電荷保持部MEM_S2には、図示しない第(2N-2)フレームにおいて蓄積された信号電荷が保持されている。なお、各フレームの読み出し動作は、前述の露光動作と並行して行うことが可能である。
時刻t30の直前において、制御信号TX_L1(n),TX_L2(n),TX_S1(n),TX_S2(n),SEL(n)はローレベルであり、制御信号RES(n)はハイレベルであるものとする。
時刻t30において、垂直走査回路20は、制御信号SEL(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の選択トランジスタM6がオンになり、第n行の各列の画素12の増幅トランジスタM5が選択トランジスタM6を介して対応する列の垂直出力線16に接続され、画素信号の読み出しが可能な選択状態となる。このときリセットトランジスタM4はオンであり、浮遊拡散部FDは電圧VDDに応じた電位にリセットされている。これにより、垂直出力線16には、浮遊拡散部FDのリセット電位に応じた信号が出力されている。
続く時刻t31において、垂直走査回路20は、制御信号RES(n)をハイレベルからローレベルへと制御する。これにより、リセットトランジスタM4がオフになり、浮遊拡散部FDのリセット状態が解除される。リセットトランジスタM4をオフにした後に整定する垂直出力線16の電圧が、画素12のリセットレベル電圧VRESである。こうして、垂直出力線16には、画素12のリセットレベル電圧VRESが読み出される。
続く時刻t32から時刻t33の期間において、垂直走査回路20は、制御信号TX_L2(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の転送トランジスタM3L2がオンになり、電荷保持部MEM_L2に保持されていた信号電荷が浮遊拡散部FDへと転送される。そして、浮遊拡散部FDは電荷保持部MEM_L2から転送された信号電荷の量に応じた電位となり、垂直出力線16には浮遊拡散部FDの電位に応じた電圧が出力される。時刻t33において転送トランジスタM3L2がオフになった後に整定する垂直出力線16の電圧が、画素12の信号レベル電圧VSIGである。こうして、垂直出力線16には、電荷保持部MEM_L2に保持されていた信号電荷に基づく画素12の信号レベル電圧VSIGが読み出される。
このようにして得られるリセットレベル電圧VRESと信号レベル電圧VSIGとの差分、すなわち|VSIG-VRES|が、電荷保持部MEM_L2に保持されていた信号電荷の量に応じた物理量となる。
続く時刻t34において、垂直走査回路20は、制御信号RES(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12のリセットトランジスタM4がオンになり、浮遊拡散部FDが電圧VDDに応じた電位にリセットされる。垂直出力線16には、浮遊拡散部FDのリセット電位に応じた信号が出力される。
続く時刻t35において、垂直走査回路20は、制御信号RES(n)をハイレベルからローレベルへと制御する。これにより、リセットトランジスタM4がオフになり、浮遊拡散部FDのリセット状態が解除される。リセットトランジスタM4をオフにした後に整定する垂直出力線16の電圧が、画素12のリセットレベル電圧VRESである。こうして、垂直出力線16には、画素12のリセットレベル電圧VRESが読み出される。
続く時刻t36から時刻t37の期間において、垂直走査回路20は、制御信号TX_S2(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の転送トランジスタM3S2がオンになり、電荷保持部MEM_S2に保持されていた信号電荷が浮遊拡散部FDへと転送される。そして、浮遊拡散部FDは電荷保持部MEM_S2から転送された信号電荷の量に応じた電位となり、垂直出力線16には浮遊拡散部FDの電位に応じた電圧が出力される。時刻t33において転送トランジスタM3S2がオフになった後に整定する垂直出力線16の電圧が、画素12の信号レベル電圧VSIGである。こうして、垂直出力線16には、電荷保持部MEM_S2に保持されていた信号電荷に基づく画素12の信号レベル電圧VSIGが読み出される。
このようにして得られるリセットレベル電圧VRESと信号レベル電圧VSIGとの差分、すなわち|VSIG-VRES|が、電荷保持部MEM_S2に保持されていた信号電荷の量に応じた物理量となる。
続く時刻t38において、垂直走査回路20は、制御信号RES(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12のリセットトランジスタM4がオンになり、浮遊拡散部FDが電圧VDDに応じた電位にリセットされる。
続く時刻t39において、垂直走査回路20は、制御信号SEL(n)をハイレベルからローレベルへと制御する。これにより、第n行の画素12の選択トランジスタM6がオフになり、第n行の選択が解除される。
また、時刻t39から続く時刻t40までの期間には、時刻t30から時刻t39の期間と同様にして、第(n+1)行の画素12から電荷保持部MEM_L2及び電荷保持部MEM_S2に蓄積されている信号電荷に基づく信号の読み出しを行う。その他の行の画素12の読み出し動作も同様である。
次に、偶数フレーム(第2Nフレーム)における読み出し動作について説明する。偶数フレームでは、前述のように、電荷保持部MEM_L1及び電荷保持部MEM_S1に蓄積されている信号電荷に基づく信号の読み出し動作を行う。第2Nフレームにおいて、各画素12の電荷保持部MEM_L1及び電荷保持部MEM_S1には、第(2N-1)フレームにおいて蓄積された信号電荷が保持されている。
時刻t50の直前において、制御信号TX_L1(n),TX_L2(n),TX_S1(n),TX_S2(n),SEL(n)はローレベルであり、制御信号RES(n)はハイレベルであるものとする。
時刻t50において、垂直走査回路20は、制御信号SEL(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の選択トランジスタM6がオンになり、第n行の各列の画素12の増幅トランジスタM5が選択トランジスタM6を介して対応する列の垂直出力線16に接続され、画素信号の読み出しが可能な選択状態となる。このときリセットトランジスタM4はオンであり、浮遊拡散部FDは電圧VDDに応じた電位にリセットされている。これにより、垂直出力線16には、浮遊拡散部FDのリセット電位に応じた信号が出力されている。
続く時刻t51において、垂直走査回路20は、制御信号RES(n)をハイレベルからローレベルへと制御する。これにより、リセットトランジスタM4がオフになり、浮遊拡散部FDのリセット状態が解除される。リセットトランジスタM4をオフにした後に整定する垂直出力線16の電圧が、画素12のリセットレベル電圧VRESである。こうして、垂直出力線16には、画素12のリセットレベル電圧VRESが読み出される。
続く時刻t52から時刻t53の期間において、垂直走査回路20は、制御信号TX_L1(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の転送トランジスタM3L1がオンになり、電荷保持部MEM_L1に保持されていた信号電荷が浮遊拡散部FDへと転送される。そして、浮遊拡散部FDは電荷保持部MEM_L1から転送された信号電荷の量に応じた電位となり、垂直出力線16には浮遊拡散部FDの電位に応じた電圧が出力される。時刻t53において転送トランジスタM3L1がオフになった後に整定する垂直出力線16の電圧が、画素12の信号レベル電圧VSIGである。こうして、垂直出力線16には、電荷保持部MEM_L1に保持されていた信号電荷に基づく画素12の信号レベル電圧VSIGが読み出される。
このようにして得られるリセットレベル電圧VRESと信号レベル電圧VSIGとの差分、すなわち|VSIG-VRES|が、電荷保持部MEM_L1に保持されていた信号電荷の量に応じた物理量となる。
続く時刻t54において、垂直走査回路20は、制御信号RES(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12のリセットトランジスタM4がオンになり、浮遊拡散部FDが電圧VDDに応じた電位にリセットされる。垂直出力線16には、浮遊拡散部FDのリセット電位に応じた信号が出力される。
続く時刻t55において、垂直走査回路20は、制御信号RES(n)をハイレベルからローレベルへと制御する。これにより、リセットトランジスタM4がオフになり、浮遊拡散部FDのリセット状態が解除される。リセットトランジスタM4をオフにした後に整定する垂直出力線16の電圧が、画素12のリセットレベル電圧VRESである。こうして、垂直出力線16には、画素12のリセットレベル電圧VRESが読み出される。
続く時刻t56から時刻t57の期間において、垂直走査回路20は、制御信号TX_S1(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の転送トランジスタM3S1がオンになり、電荷保持部MEM_S1に保持されていた信号電荷が浮遊拡散部FDへと転送される。そして、浮遊拡散部FDは電荷保持部MEM_S1から転送された信号電荷の量に応じた電位となり、垂直出力線16には浮遊拡散部FDの電位に応じた電圧が出力される。時刻t53において転送トランジスタM3S1がオフになった後に整定する垂直出力線16の電圧が、画素12の信号レベル電圧VSIGである。こうして、垂直出力線16には、電荷保持部MEM_S1に保持されていた信号電荷に基づく画素12の信号レベル電圧VSIGが読み出される。
このようにして得られるリセットレベル電圧VRESと信号レベル電圧VSIGとの差分、すなわち|VSIG-VRES|が、電荷保持部MEM_S1に保持されていた信号電荷の量に応じた物理量となる。
続く時刻t58において、垂直走査回路20は、制御信号RES(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12のリセットトランジスタM4がオンになり、浮遊拡散部FDが電圧VDDに応じた電位にリセットされる。
続く時刻t59において、垂直走査回路20は、制御信号SEL(n)をハイレベルからローレベルへと制御する。これにより、第n行の画素12の選択トランジスタM6がオフになり、第n行の選択が解除される。
続く時刻t59から時刻t60の期間には、時刻t50から時刻t59の期間と同様にして、第(n+1)行の画素12から電荷保持部MEM_L1及び電荷保持部MEM_S1に蓄積されている信号電荷に基づく信号の読み出しを行う。その他の行の画素12の読み出し動作も同様である。
図3及び図4を用いて説明した駆動例において、蓄積期間Tlongの長さと蓄積期間Tshortの長さとは同じでもよいが異なっていることが好ましい。蓄積期間Tlongの長さと蓄積期間Tshortの長さとを変えることで、実効的な露光量の異なる2種類の画像を同一フレームにおいて取得することが可能となる。このように取得した2種類の画像のうちの一方の信号を蓄積期間の長さの比に応じて補正し、他方の画像の信号と組み合わせて1枚の画像に合成することで、ダイナミックレンジの広い画像(HDR画像)を得ることができる。HDR画像の合成処理は、光電変換装置内の信号処理部において行ってもよいし、外部の信号処理装置において行ってもよい。
また、本実施形態においては、蓄積期間TshortをKs回の蓄積期間Tsに、蓄積期間TlongをKl回の蓄積期間Tlに、それぞれ分割し、これらを交互に実行している。蓄積期間をこのように構成することで、信号電荷を取得する時間領域がフレーム内で偏るのを抑制し、フレーム内で分散させることができる。これにより、蓄積期間Tshort及び蓄積期間Tlongの各々を連続した1つの期間で実行する場合と比較して、動画撮影時のフレーム間の画像のガタつきを抑制することができる。特に、画面内を高速で移動する被写体や点滅する光源の撮影時に顕著な効果を得ることができる。また、蓄積期間Tshortと蓄積期間Tlongとの時間的な重心の位置を近づけることができ、良質の合成画像を取得することができる。
また、本実施形態の光電変換装置の画素12は、信号電荷の蓄積を行う電荷保持部の他に、前フレームの信号電荷を保持する電荷保持部を備えている。したがって、信号電荷の蓄積を行う期間にも信号の読み出しが可能となり、各フレーム期間の中で信号電荷を取得できない時間領域を減らし、シームレスな動画を取得することができる。
このように、本実施形態によれば、良質な高ダイナミックレンジの動画を取得することができる。
[第2実施形態]
本発明の第2実施形態による光電変換装置及びその駆動方法について、図5乃至図7を用いて説明する。第1実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図5は、本実施形態による光電変換装置の画素の構成例を示す等価回路図である。図6及び図7は、本実施形態による光電変換装置の駆動方法を示すタイミング図である。
本実施形態による光電変換装置は、画素12の構成が異なるほかは、第1実施形態による光電変換装置と同様である。本実施形態では、第1実施形態の光電変換装置と異なる点を中心に説明し、第1実施形態の光電変換装置と同様の部分については適宜説明を省略する。
本実施形態の光電変換装置における各々の画素12は、図5に示すように、光電変換部PDと、転送トランジスタM1L,M1S,M2L,M2S,M3L,M3Sと、を有する。また、各々の画素12は、リセットトランジスタM4と、増幅トランジスタM5と、選択トランジスタM6と、電荷排出トランジスタM7と、を更に有する。
光電変換部PDは、アノードが接地ノードに接続され、カソードが転送トランジスタM1Lのソース、転送トランジスタM1Sのソース及び電荷排出トランジスタM7のソースに接続されている。転送トランジスタM1Lのドレインは、転送トランジスタM2Lのソースに接続されている。転送トランジスタM1Lのドレインと転送トランジスタM2Lのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM1_L)としての機能を備える。転送トランジスタM2Lのドレインは、転送トランジスタM3Lのソースに接続されている。転送トランジスタM2Lのドレインと転送トランジスタM3Lのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM2_L)としての機能を備える。転送トランジスタM1Sのドレインは、転送トランジスタM2Sのソースに接続されている。転送トランジスタM1Sのドレインと転送トランジスタM2Sのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM1_S)としての機能を備える。転送トランジスタM2Sのドレインは、転送トランジスタM3Sのソースに接続されている。転送トランジスタM2Sのドレインと転送トランジスタM3Sのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM2_S)としての機能を備える。
転送トランジスタM3Lのドレイン及び転送トランジスタM3Sのドレインは、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートに接続されている。転送トランジスタM3Lのドレイン、転送トランジスタM3Sのドレイン、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートの接続ノードは、いわゆる浮遊拡散部FDである。浮遊拡散部FD部は、容量成分(浮遊拡散容量)を含み、電荷保持部としての機能を備える。
リセットトランジスタM4のドレイン、増幅トランジスタM5のドレイン及び電荷排出トランジスタM7のドレインは、電源電圧線(電圧VDD)に接続されている。増幅トランジスタM5のソースは、選択トランジスタM6のドレインに接続されている。選択トランジスタM6のソースは、垂直出力線16に接続されている。
制御線14の各々は、転送トランジスタM1L,M1S,M2L,M2S,M3L,M3S、リセットトランジスタM4、選択トランジスタM6及び電荷排出トランジスタM7のゲートの各々に接続された9本の信号線を含む。転送トランジスタM1Lのゲートに接続された信号線には、垂直走査回路20から制御信号GS1_Lが出力される。転送トランジスタM2Lのゲートに接続された信号線には、垂直走査回路20から制御信号GS2_Lが出力される。転送トランジスタM3Lのゲートに接続された信号線には、垂直走査回路20から制御信号TX_Lが出力される。転送トランジスタM1Sのゲートに接続された信号線には、垂直走査回路20から制御信号GS1_Sが出力される。転送トランジスタM2Sのゲートに接続された信号線には、垂直走査回路20から制御信号GS2_Sが出力される。転送トランジスタM3Sのゲートに接続された信号線には、垂直走査回路20から制御信号TX_Sが出力される。リセットトランジスタM4のゲートに接続された信号線には、垂直走査回路20から制御信号RESが出力される。選択トランジスタM6のゲートに接続された信号線には、垂直走査回路20から制御信号SELが出力される。電荷排出トランジスタM7のゲートに接続された信号線には、垂直走査回路20から制御信号OFGが出力される。各トランジスタがN型トランジスタで構成される場合、垂直走査回路20からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査回路20からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。
光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。転送トランジスタM1Lは、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM1_Lに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM2Lは、オンになることにより電荷保持部MEM1_Lが保持する電荷を電荷保持部MEM2_Lに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3Lは、オンになることにより電荷保持部MEM2_Lが保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM1Sは、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM1_Sに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM2Sは、オンになることにより電荷保持部MEM1_Sが保持する電荷を電荷保持部MEM2_Sに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3Sは、オンになることにより電荷保持部MEM2_Sが保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。リセットトランジスタM4、増幅トランジスタM5、選択トランジスタM6及び電荷排出トランジスタM7の機能及び動作は、第1実施形態の場合と同様である。
第1実施形態では、光電変換部PDと浮遊拡散部FDとの間に電荷保持部MEM_L1,MEM_L2,MEM_S1,MEM_S2を並列に接続していた。これに対し、本実施形態では、光電変換部PDと浮遊拡散部FDとの間に、直列に接続された電荷保持部MEM1_L,MEM2_Lと、直列に接続された電荷保持部MEM1_S,MEM2_Sと、を並列に接続している。画素12の出力側から見ると、第1実施形態では浮遊拡散部FDに4つの転送部が接続されていたのに対し、本実施形態では浮遊拡散部FDに接続する転送部を2つに減らすことができる。したがって、本実施形態の画素構成によれば、第1実施形態の場合よりも浮遊拡散部FDの容量を小さくすることができ、ノイズに強い回路構成を実現することができる。
次に、本実施形態による光電変換装置の駆動方法について、図6及び図7を用いて説明する。図6は画素の露光動作に関わる駆動を示すタイミング図であり、図7は画素信号の読み出し動作に関わる駆動を示すタイミング図である。
図6には、転送トランジスタM1L,M1S,M2L,M2S及び電荷排出トランジスタM7に供給される制御信号GS1_L,GS1_S,GS2_L,GS2_S,OFGの時間変化を示している。各制御信号がハイレベルのとき、対応するトランジスタがアクティブ(オン状態)となる。なお、本実施形態ではグローバルシャッタ方式の駆動を行うため、画素12の露光動作に関わる駆動は総ての行の画素12において同じである。また、本実施形態では奇数フレームの駆動と偶数フレームの駆動とは同じであるため、図6には1フレーム分(第Nフレーム)の駆動のみを示している。
本実施形態においても、各フレームでは、複数回(Ks回)の蓄積期間Tsと、複数回(Kl回)の蓄積期間Tlと、が実行される。蓄積期間Tsは電荷保持部MEM1_Sに信号電荷を蓄積するための期間であり、蓄積期間Tlは電荷保持部MEM1_Lに信号電荷を蓄積するための期間である。以下、Ks回のうちのi回目の蓄積期間Ts、(i+1)回目の蓄積期間Tsi+1及びKs回目の蓄積期間TsKsと、Kl回のうちのj回目の蓄積期間Tl及び(j+1)回目の蓄積期間Tlj+1の動作について、図6を用いて説明する。ここで、iは、1以上、Ks-2以下の整数である。jは、1以上、Kl-1以下の整数である。なお、回数Ks,Klは1フレーム期間内におけるトータルの蓄積時間等に応じて適宜設定が可能であり、また、回数Ks,Klは同じであってもよいし異なっていてもよい。
時刻t10の直前において、制御信号OFGはハイレベルであるものとする。電荷排出トランジスタM7は、ハイレベルの制御信号OFGを受けてオンになっており、光電変換部PDは電圧VDDに応じた電位にリセットされている。
時刻t10において、垂直走査回路20は、制御信号OFGをハイレベルからローレベルへと制御する。これにより、電荷排出トランジスタM7がオフになり、光電変換部PDのリセット状態が解除される。すなわち、制御信号OFGがハイレベルからローレベルへと遷移するタイミングが、光電変換部PDにおける蓄積期間Tsの開始時刻となる。電荷排出トランジスタM7がオフの間に光電変換部PDへの光子の入射によって生じた信号電荷は、光電変換部PDに蓄積される。
時刻t10の後の所定のタイミングから時刻t11までの期間において、垂直走査回路20は、制御信号GS1_Sをハイレベルに制御する。これにより、転送トランジスタM1Sがオンになり、光電変換部PDに蓄積されている信号電荷が電荷保持部MEM1_Sへと転送される。転送トランジスタM1Sがオフになる時刻t11が、光電変換部PDにおける蓄積期間Tsの終了時刻となる。すなわち、時刻t10から時刻t11までの期間が、信号電荷の蓄積期間Tsである。
時刻t11の後、垂直走査回路20は、制御信号OFGをローレベルからハイレベルへと制御する。これにより、電荷排出トランジスタM7がオンになり、光電変換部PDは電圧VDDに応じた電位にリセットされる。
続く時刻t12において、垂直走査回路20は、制御信号OFGをハイレベルからローレベルへと制御する。これにより、電荷排出トランジスタM7がオフになり、光電変換部PDのリセット状態が解除される。すなわち、制御信号OFGがハイレベルからローレベルへと遷移するタイミングが、光電変換部PDにおける蓄積期間Tlの開始時刻となる。電荷排出トランジスタM7がオフの間に光電変換部PDへの光子の入射によって生じた信号電荷は、光電変換部PDに蓄積される。
時刻t12の後の所定のタイミングから時刻t13までの期間において、垂直走査回路20は、制御信号GS1_Lをハイレベルに制御する。これにより、転送トランジスタM1Lがオンになり、光電変換部PDに蓄積されている信号電荷が電荷保持部MEM1_Lへと転送される。転送トランジスタM1Lがオフになる時刻t13が、光電変換部PDにおける蓄積期間Tlの終了時刻となる。すなわち、時刻t12から時刻t13までの期間が、信号電荷の蓄積期間Tlである。
次いで、時刻t10から時刻t13までの期間と同様にして、蓄積期間Tsと蓄積期間Tlとが所定の回数、繰り返し行われる。例えば図6に示すように、時刻t14から時刻t15の期間には蓄積期間Tsi+1が行われ、時刻t16から時刻t17の期間には蓄積期間Tlj+1が行われ、時刻t18から時刻t19の期間には蓄積期間TsKsが行われる。
このようにして、各フレームにおいて、Ks回の蓄積期間TsとKl回の蓄積期間Tlとが実行される。これにより、電荷保持部MEM1_Sには、蓄積期間Tsから蓄積期間TsKsまでのKs個の期間の長さを合計した長さの蓄積期間Tshortの間に光電変換部PDで生成された信号電荷が保持される。また、電荷保持部MEM1_Lには、蓄積期間Tlから蓄積期間TlKlまでのKl個の期間の長さを合計した長さの蓄積期間Tlongの間に光電変換部PDで生成された信号電荷が保持される。
電荷保持部MEM1_S,MEM1_Lに蓄積された信号電荷は、電荷保持部MEM2_S,MEM2_Lに蓄積されていた第(N-1)フレームの信号電荷に基づく画素信号の読み出しが完了した後、電荷保持部MEM2_S,MEM2_Lに転送可能となる。ここでは、電荷保持部MEM2_S,MEM2_Lに蓄積されていた第(N-1)フレームの信号電荷に基づく画素信号の読み出しが、時刻t19までに完了していたものとする。
この後、時刻t19の後の所定のタイミングから時刻t20までの期間において、垂直走査回路20は、制御信号GS2_Lをハイレベルに制御する。これにより、転送トランジスタM2Lがオンになり、電荷保持部MEM1_Lに蓄積されている信号電荷が電荷保持部MEM2_Lへと転送される。
また、時刻t19の後の所定のタイミングから時刻t21までの期間において、垂直走査回路20は、制御信号GS2_Sをハイレベルに制御する。これにより、転送トランジスタM2Sがオンになり、電荷保持部MEM1_Sに蓄積されている信号電荷が電荷保持部MEM2_Sへと転送される。
なお、ここでは電荷保持部MEM1_Lから電荷保持部MEM2_Lへの電荷転送と電荷保持部MEM1_Sから電荷保持部MEM2_Sへの電荷転送とを別々のタイミングで行っているが、これらは同時に行ってもよい。電荷保持部MEM1_L,MEM1_Sから電荷保持部MEM2_L,MEM2_Sへの電荷転送を終えると、電荷保持部MEM1_L,MEM1_Sは空の状態となる。これにより、電荷保持部MEM1_L,MEM1_Sへの次フレーム(第(N+1)フレーム)の信号電荷の蓄積が可能となる。
図7には、転送トランジスタM3L,M3S、選択トランジスタM6及びリセットトランジスタM4に供給される制御信号TX_L,TX_S,SEL,RESの時間変化を示している。各制御信号がハイレベルのとき、対応するトランジスタがアクティブ(オン状態)となる。ここで、画素信号の読み出し動作は、行毎に順次実行される。図7には、画素部10を構成する複数の行の各々に対応する制御信号のうち、第n行の画素12に供給される制御信号と、第(n+1)行の画素12に供給される制御信号と、を示している。第n行の画素12に供給される制御信号にはその符号に(n)を付記し、第(n+1)行の画素12に供給される制御信号にはその符号に(n+1)を付記している。
各フレームでは、各行の画素12の電荷保持部MEM2_L,MEM2_Sに蓄積されている信号電荷に基づく信号の読み出しを行ごとに順次実行する。第Nフレームの開始時刻において、各画素12の電荷保持部MEM2_L,MEM2_Sには、第(N-1)フレームの蓄積期間Tlong,Tshortの間に蓄積された信号電荷がそれぞれ保持されている。
時刻t30の直前において、制御信号TX_L(n),TX_S(n),SEL(n)はローレベルであり、制御信号RES(n)はハイレベルであるものとする。
時刻t30において、垂直走査回路20は、制御信号SEL(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の選択トランジスタM6がオンになり、第n行の各列の画素12の増幅トランジスタM5が選択トランジスタM6を介して対応する列の垂直出力線16に接続され、画素信号の読み出しが可能な選択状態となる。このときリセットトランジスタM4はオンであり、浮遊拡散部FDは電圧VDDに応じた電位にリセットされている。これにより、垂直出力線16には、浮遊拡散部FDのリセット電位に応じた信号が出力されている。
続く時刻t31において、垂直走査回路20は、制御信号RES(n)をハイレベルからローレベルへと制御する。これにより、リセットトランジスタM4がオフになり、浮遊拡散部FDのリセット状態が解除される。リセットトランジスタM4をオフにした後に整定する垂直出力線16の電圧が、画素12のリセットレベル電圧VRESである。こうして、垂直出力線16には、画素12のリセットレベル電圧VRESが読み出される。
続く時刻t32から時刻t33の期間において、垂直走査回路20は、制御信号TX_L(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の転送トランジスタM3Lがオンになり、電荷保持部MEM2_Lに保持されていた信号電荷が浮遊拡散部FDへと転送される。そして、浮遊拡散部FDは電荷保持部MEM2_Lから転送された信号電荷の量に応じた電位となり、垂直出力線16には浮遊拡散部FDの電位に応じた電圧が出力される。時刻t33において転送トランジスタM3Lがオフになった後に整定する垂直出力線16の電圧が、画素12の信号レベル電圧VSIGである。こうして、垂直出力線16には、電荷保持部MEM_L2に保持されていた信号電荷に基づく画素12の信号レベル電圧VSIGが読み出される。
このようにして得られるリセットレベル電圧VRESと信号レベル電圧VSIGとの差分、すなわち|VSIG-VRES|が、電荷保持部MEM2_Lに保持されていた信号電荷の量に応じた物理量となる。
続く時刻t34において、垂直走査回路20は、制御信号RES(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12のリセットトランジスタM4がオンになり、浮遊拡散部FDが電圧VDDに応じた電位にリセットされる。垂直出力線16には、浮遊拡散部FDのリセット電位に応じた信号が出力される。
続く時刻t35において、垂直走査回路20は、制御信号RES(n)をハイレベルからローレベルへと制御する。これにより、リセットトランジスタM4がオフになり、浮遊拡散部FDのリセット状態が解除される。リセットトランジスタM4をオフにした後に整定する垂直出力線16の電圧が、画素12のリセットレベル電圧VRESである。こうして、垂直出力線16には、画素12のリセットレベル電圧VRESが読み出される。
続く時刻t36から時刻t37の期間において、垂直走査回路20は、制御信号TX_S(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12の転送トランジスタM3Sがオンになり、電荷保持部MEM2_Sに保持されていた信号電荷が浮遊拡散部FDへと転送される。そして、浮遊拡散部FDは電荷保持部MEM2_Sから転送された信号電荷の量に応じた電位となり、垂直出力線16には浮遊拡散部FDの電位に応じた電圧が出力される。時刻t33において転送トランジスタM3Sがオフになった後に整定する垂直出力線16の電圧が、画素12の信号レベル電圧VSIGである。こうして、垂直出力線16には、電荷保持部MEM2_Sに保持されていた信号電荷に基づく画素12の信号レベル電圧VSIGが読み出される。
このようにして得られるリセットレベル電圧VRESと信号レベル電圧VSIGとの差分、すなわち|VSIG-VRES|が、電荷保持部MEM_S2に保持されていた信号電荷の量に応じた物理量となる。
続く時刻t38において、垂直走査回路20は、制御信号RES(n)をローレベルからハイレベルへと制御する。これにより、第n行の画素12のリセットトランジスタM4がオンになり、浮遊拡散部FDが電圧VDDに応じた電位にリセットされる。
続く時刻t39において、垂直走査回路20は、制御信号SEL(n)をハイレベルからローレベルへと制御する。これにより、第n行の画素12の選択トランジスタM6がオフになり、第n行の選択が解除される。
また、時刻t39から続く時刻t40の期間には、時刻t30から時刻t39の期間と同様にして、第(n+1)行の画素12から電荷保持部MEM2_L及び電荷保持部MEM2_Sに蓄積されている信号電荷に基づく信号の読み出しを行う。その他の行の画素12の読み出し動作も同様である。
図6及び図7を用いて説明した駆動例において、蓄積期間Tlongの長さと蓄積期間Tshortの長さとは同じでもよいが異なっていることが好ましい。蓄積期間Tlongの長さと蓄積期間Tshortの長さとを変えることで、実効的な露光量の異なる2種類の画像を同一フレームにおいて取得することが可能となる。このように取得した2種類の画像のうちの一方の信号を蓄積期間の長さの比に応じて補正し、他方の画像の信号と組み合わせて1枚の画像に合成することで、ダイナミックレンジの広い画像を得ることができる。
また、本実施形態においても、蓄積期間TshortをKs回の蓄積期間Tsに、蓄積期間TlongをKl回の蓄積期間Tlに、それぞれ分割し、これらを交互に実行している。蓄積期間をこのように構成することで、信号電荷を取得する時間領域がフレーム内で偏るのを抑制し、フレーム内で分散させることができる。これにより、蓄積期間Tshort及び蓄積期間Tlongの各々を連続した1つの期間で実行する場合と比較して、動画撮影時のフレーム間の画像のガタつきを抑制することができる。特に、画面内を高速で移動する被写体や点滅する光源の撮影時に顕著な効果を得ることができる。また、蓄積期間Tshortと蓄積期間Tlongとの時間的な重心の位置を近づけることができ、良質の合成画像を取得することができる。
また、本実施形態の光電変換装置の画素12は、信号電荷の蓄積を行う電荷保持部の他に、前フレームの信号電荷を保持する電荷保持部を備えている。したがって、信号電荷の蓄積を行う期間にも信号の読み出しが可能となり、各フレーム期間の中で信号電荷を取得できない時間領域を減らし、シームレスな動画を取得することができる。
このように、本実施形態によれば、良質な高ダイナミックレンジの動画を取得することができる。
[第3実施形態]
本発明の第3実施形態による光電変換装置及びその駆動方法について、図8及び図9を用いて説明する。第1又は第2実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図8は、本実施形態による光電変換装置の画素の構成例を示す等価回路図である。図9は、1つの画素に含まれる2つの光電変換部の配置例を示す概略図である。
本実施形態による光電変換装置は、画素12の構成が異なるほかは、第1又は第2実施形態による光電変換装置と同様である。本実施形態では、第1又は第2実施形態の光電変換装置と異なる点を中心に説明し、第1又は第2実施形態の光電変換装置と同様の部分については適宜説明を省略する。
本実施形態の光電変換装置における各々の画素12は、光電変換部PD、転送トランジスタM1L,M1S,M2L,M2S、M3L,M3S及び電荷排出トランジスタM7で構成される第2実施形態の回路ブロックと同様の回路ブロックを2組有している。すなわち、本実施形態の画素12は、図8に示すように、光電変換部PDA、転送トランジスタM1LA,M1SA,M2LA,M2SA、M3LA,M3SA及び電荷排出トランジスタM7Aを含む第1回路ブロックを有する。また、本実施形態の画素12は、光電変換部PDB、転送トランジスタM1LB,M1SB,M2LB,M2SB、M3LB,M3SB及び電荷排出トランジスタM7Bを含む第2回路ブロックを更に有する。
光電変換部PDAは、アノードが接地ノードに接続され、カソードが転送トランジスタM1LAのソース、転送トランジスタM1SAのソース及び電荷排出トランジスタM7Aのソースに接続されている。転送トランジスタM1LAのドレインは、転送トランジスタM2LAのソースに接続されている。転送トランジスタM1LAのドレインと転送トランジスタM2LAのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM1_LA)としての機能を備える。転送トランジスタM2LAのドレインは、転送トランジスタM3LAのソースに接続されている。転送トランジスタM2LAのドレインと転送トランジスタM3LAのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM2_LA)としての機能を備える。転送トランジスタM1SAのドレインは、転送トランジスタM2SAのソースに接続されている。転送トランジスタM1SAのドレインと転送トランジスタM2SAのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM1_SA)としての機能を備える。転送トランジスタM2SAのドレインは、転送トランジスタM3SAのソースに接続されている。転送トランジスタM2SAのドレインと転送トランジスタM3SAのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM2_SA)としての機能を備える。
光電変換部PDBは、アノードが接地ノードに接続され、カソードが転送トランジスタM1LBのソース、転送トランジスタM1SBのソース及び電荷排出トランジスタM7Bのソースに接続されている。転送トランジスタM1LBのドレインは、転送トランジスタM2LBのソースに接続されている。転送トランジスタM1LBのドレインと転送トランジスタM2LBのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM1_LB)としての機能を備える。転送トランジスタM2LBのドレインは、転送トランジスタM3LBのソースに接続されている。転送トランジスタM2LBのドレインと転送トランジスタM3LBのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM2_LB)としての機能を備える。転送トランジスタM1SBのドレインは、転送トランジスタM2SBのソースに接続されている。転送トランジスタM1SBのドレインと転送トランジスタM2SBのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM1_SB)としての機能を備える。転送トランジスタM2SBのドレインは、転送トランジスタM3SBのソースに接続されている。転送トランジスタM2SBのドレインと転送トランジスタM3SBのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM2_SB)としての機能を備える。
転送トランジスタM3LA,M3SA,M3LB,M3SBの各々のドレインは、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートに接続されている。転送トランジスタM3LA,M3SA,M3LB,M3SBの各々のドレイン、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートの接続ノードは、いわゆる浮遊拡散部FDである。浮遊拡散部FD部は、容量成分(浮遊拡散容量)を含み、電荷保持部としての機能を備える。
リセットトランジスタM4のドレイン、増幅トランジスタM5のドレイン及び電荷排出トランジスタM7のドレインは、電源電圧線(電圧VDD)に接続されている。増幅トランジスタM5のソースは、選択トランジスタM6のドレインに接続されている。選択トランジスタM6のソースは、垂直出力線16に接続されている。
制御線14の各々は、転送トランジスタM1LA,M1SA,M1LB,M1SB,M2LA,M2SA,M2LB,M2SB,M3LA,M3SA,M3LB,M3SB、リセットトランジスタM4、選択トランジスタM6及び電荷排出トランジスタM7A,M7Bのゲートの各々に接続された16本の信号線を含み得る。
転送トランジスタM1LAのゲートに接続された信号線には、垂直走査回路20から制御信号GS1_LAが出力される。転送トランジスタM2LAのゲートに接続された信号線には、垂直走査回路20から制御信号GS2_LAが出力される。転送トランジスタM3LAのゲートに接続された信号線には、垂直走査回路20から制御信号TX_LAが出力される。転送トランジスタM1SAのゲートに接続された信号線には、垂直走査回路20から制御信号GS1_SAが出力される。転送トランジスタM2SAのゲートに接続された信号線には、垂直走査回路20から制御信号GS2_SAが出力される。転送トランジスタM3SAのゲートに接続された信号線には、垂直走査回路20から制御信号TX_SAが出力される。電荷排出トランジスタM7Aのゲートに接続された信号線には、垂直走査回路20から制御信号OFGAが出力される。
転送トランジスタM1LBのゲートに接続された信号線には、垂直走査回路20から制御信号GS1_LBが出力される。転送トランジスタM2LBのゲートに接続された信号線には、垂直走査回路20から制御信号GS2_LBが出力される。転送トランジスタM3LBのゲートに接続された信号線には、垂直走査回路20から制御信号TX_LBが出力される。転送トランジスタM1SBのゲートに接続された信号線には、垂直走査回路20から制御信号GS1_SBが出力される。転送トランジスタM2SBのゲートに接続された信号線には、垂直走査回路20から制御信号GS2_SBが出力される。転送トランジスタM3SBのゲートに接続された信号線には、垂直走査回路20から制御信号TX_SBが出力される。電荷排出トランジスタM7Bのゲートに接続された信号線には、垂直走査回路20から制御信号OFGBが出力される。リセットトランジスタM4のゲートに接続された信号線には、垂直走査回路20から制御信号RESが出力される。選択トランジスタM6のゲートに接続された信号線には、垂直走査回路20から制御信号SELが出力される。
なお、第1回路ブロックと第2回路ブロックの対応するトランジスタの一部は、共通の信号線に接続してもよい。この場合、制御線14の各々は、11本の信号線で構成され得る。すなわち、転送トランジスタM1LAのゲート及び転送トランジスタM1LBのゲートには、共通の信号線を介して同じ制御信号が供給されてもよい。同様に、転送トランジスタM1SAのゲート及び転送トランジスタM1SBのゲートには、共通の信号線を介して同じ制御信号が供給されてもよい。転送トランジスタM2LAのゲート及び転送トランジスタM2LBのゲートには、共通の信号線を介して同じ制御信号が供給されてもよい。転送トランジスタM2SAのゲート及び転送トランジスタM2SBのゲートには、共通の信号線を介して同じ制御信号が供給されてもよい。また、電荷排出トランジスタM7Aのゲート及び電荷排出トランジスタM7Bのゲートには、共通の信号線を介して同じ制御信号が供給されてもよい。このように構成することで、2つの光電変換部PDA,PDBにより取得する信号の同時性を確保することができる。
上述の第1回路ブロック及び第2回路ブロックの機能及び動作は、第2実施形態と同様である。また、リセットトランジスタM4、増幅トランジスタM5、選択トランジスタM6及び電荷排出トランジスタM7の機能及び動作は、第1実施形態の場合と同様である。
図9は、1つの画素12を構成する光電変換部PDA及び光電変換部PDBの配置例を示す概略図である。図9(a)が上面図であり、図9(b)が図9(a)のA-A′線断面図である。光電変換部PDA及び光電変換部PDBは、画素12を構成する各トランジスタ(図示せず)とともに半導体層110に設けられる。半導体層110の上方には、カラーフィルタ層CFなどを介してマイクロレンズMLが配置される。1つの画素12を構成する光電変換部PDAと光電変換部PDBとは、図9(a)及び図9(b)に示すように、1つのマイクロレンズMLを共有している。別の言い方をすると、光電変換部PDAと光電変換部PDBとは、撮像光学系に入射した光のうち互いに異なる瞳領域を通過した光を受光するように構成されている。すなわち、マイクロレンズMLは、撮像レンズの射出瞳のうち、第1瞳領域を通過した光を光電変換部PDAに集光し、第1瞳領域と異なる第2瞳領域を通過した光を光電変換部PDBに集光する。このように構成することで、光電変換部PDAで生成された電荷に基づく信号(A像信号)と、光電変換部PDBで生成された電荷に基づく信号(B像信号)とは、測距用の位相差検出信号として利用することができる。また、光電変換部PDA,PDBで生成された総電荷に基づく信号(A+B像信号)は、画像生成用の信号として利用することができる。
このように、本実施形態によれば、良質な高ダイナミックレンジの動画を取得することができる。また、本実施形態によれば、各画素12の2つの回路ブロックの出力信号に基づいて位相差検知を行うことが可能であり、被写体までの距離情報の取得やレンズの焦点合わせなどを行うことができる。
[第4実施形態]
本発明の第4実施形態による光電変換装置及びその駆動方法について、図10を用いて説明する。第1乃至第3実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図10は、本実施形態による光電変換装置の画素の構成例を示す等価回路図である。
本実施形態による光電変換装置は、画素12の構成が異なるほかは、第1乃至第3実施形態による光電変換装置と同様である。本実施形態では、第1乃至第3実施形態の光電変換装置と異なる点を中心に説明し、第1乃至第3実施形態の光電変換装置と同様の部分については適宜説明を省略する。
本実施形態の光電変換装置における各々の画素12は、図10に示すように、図5に示す第2実施形態の画素12の構成要素に加え、転送トランジスタM1M,M2M,M3Mを更に有する。転送トランジスタM1Mのソースは、光電変換部PDのフォトダイオードのカソード及び電荷排出トランジスタM7のソースに接続されている。転送トランジスタM1Mのドレインは、転送トランジスタM2Mのソースに接続されている。転送トランジスタM1Mのドレインと転送トランジスタM2Mのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM1_M)としての機能を備える。転送トランジスタM2Mのドレインは、転送トランジスタM3Mのソースに接続されている。転送トランジスタM2Mのドレインと転送トランジスタM3Mのソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM2_M)としての機能を備える。転送トランジスタM3Mのドレインは、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートに接続されている。画素12の他の構成要素の接続関係は、第2実施形態において説明した通りである。
制御線14の各々は、転送トランジスタM1M,M2M,M3Mの各々に接続された3本の信号線を更に含む。転送トランジスタM1Mのゲートに接続された信号線には、垂直走査回路20から制御信号GS1_Mが出力される。転送トランジスタM2Mのゲートに接続された信号線には、垂直走査回路20から制御信号GS2_Mが出力される。転送トランジスタM3Mのゲートに接続された信号線には、垂直走査回路20から制御信号TX_Mが出力される。各トランジスタがN型トランジスタで構成される場合、垂直走査回路20からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査回路20からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。
転送トランジスタM1Mは、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM1_Mに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM2Mは、オンになることにより電荷保持部MEM1_Mが保持する電荷を電荷保持部MEM2_Mに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3Mは、オンになることにより電荷保持部MEM2_Mが保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。画素12の他の構成要素の動作は、第2実施形態において説明した通りである。
第2実施形態では、1つの光電変換部PDに対し、2つの電荷保持部MEM1_L,MEM1_Sを、それぞれ転送トランジスタM1L,M1Sを介して並列に接続していた。これに対し,本実施形態においては、1つの光電変換部PDに対し、3つの電荷保持部MEM1_L,MEM1_M,MEM1_Sを、それぞれ転送トランジスタM1L,M1M,M1Sを介して並列に接続している。したがって、本実施形態によれば、1フレーム期間の間に、互いに異なる蓄積時間の間に蓄積された信号電荷に基づく3種類の画像を取得することが可能である。このように取得した3種類の画像を合成することで、第2実施形態と比較してダイナミックレンジを更に拡大することができる。
また、本実施形態においては、電荷保持部MEM1_L,MEM1_M,MEM1_Sに対し、電荷保持部MEM2_L,MEM2_M,MEM2_Sを、それぞれ転送トランジスタM1L,M1M,M1Sを介して接続している。すなわち、画素12は、信号電荷の蓄積に用いる電荷保持部MEM1_L,MEM1_M,MEM1_Sとは別に、電荷を保持可能な電荷保持部MEM2_L,MEM2_M,MEM2_Sを有している。これにより、本実施形態においては、前フレームの信号電荷を保持しつつ、次フレームの信号電荷の蓄積動作が可能である。これにより、信号電荷の蓄積を行う期間にも信号の読み出しが可能となり、各フレーム期間の中で信号電荷を取得できない時間領域を減らし、シームレスな動画を取得することができる。
なお、本実施形態では、1つの光電変換部PDに対して3つの電荷保持部を並列に接続する構成としたが、4つ以上の電荷保持部を並列に接続する構成としてもよい。このように構成することで、ダイナミックレンジを更に拡大することができる。
このように、本実施形態によれば、良質な高ダイナミックレンジの動画を取得することができる。
[第5実施形態]
本発明の第5実施形態による光電変換装置及びその駆動方法について、図11を用いて説明する。第1乃至第4実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図11は、本実施形態による光電変換装置の画素の構成例を示す等価回路図である。
本実施形態による光電変換装置は、画素12の構成が異なるほかは、第1乃至第4実施形態による光電変換装置と同様である。本実施形態では、第1乃至第4実施形態の光電変換装置と異なる点を中心に説明し、第1乃至第4実施形態の光電変換装置と同様の部分については適宜説明を省略する。
本実施形態の光電変換装置における各々の画素12は、図11に示すように、図2に示す第1実施形態の画素12の構成要素に加え、転送トランジスタM1M1,M1M2,M3M1,M3M2を更に有する。転送トランジスタM1M1のソース及び転送トランジスタM1M2のソースは、光電変換部PDのフォトダイオードのカソード及び電荷排出トランジスタM7のソースに接続されている。転送トランジスタM1M1のドレインは、転送トランジスタM3M1のソースに接続されている。転送トランジスタM1M1のドレインと転送トランジスタM3M1のソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM_M1)としての機能を備える。転送トランジスタM1M2のドレインは、転送トランジスタM3M2のソースに接続されている。転送トランジスタM1M2のドレインと転送トランジスタM3M2のソースとの接続ノードは、容量成分を含み、電荷の保持部(電荷保持部MEM_M2)としての機能を備える。転送トランジスタM3M1のドレイン及び転送トランジスタM3M2のドレインは、リセットトランジスタM4のソース及び増幅トランジスタM5のゲートに接続されている。画素12の他の構成要素の接続関係は、第1実施形態において説明した通りである。
制御線14の各々は、転送トランジスタM1M1,M1M2,M3M1,M3M2の各々に接続された4本の信号線を更に含む。転送トランジスタM1M1のゲートに接続された信号線には、垂直走査回路20から制御信号GS_M1が出力される。転送トランジスタM1M2のゲートに接続された信号線には、垂直走査回路20から制御信号GS_M2が出力される。転送トランジスタM3M1のゲートに接続された信号線には、垂直走査回路20から制御信号TX_M1が出力される。転送トランジスタM3M2のゲートに接続された信号線には、垂直走査回路20から制御信号TX_M2が出力される。各トランジスタがN型トランジスタで構成される場合、垂直走査回路20からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査回路20からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。
転送トランジスタM1M1は、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM_M1に転送する転送動作を行う転送部としての機能を備える。転送トランジスタM1M2は、オンになることにより光電変換部PDが保持する電荷を電荷保持部MEM_M2に転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3M1は、オンになることにより電荷保持部MEM_M1が保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。転送トランジスタM3M2は、オンになることにより電荷保持部MEM_M2が保持する電荷を浮遊拡散部FDに転送する転送動作を行う転送部としての機能を備える。画素12の他の構成要素の動作は、第1実施形態において説明した通りである。
第1実施形態では、1つの光電変換部PDに対し、4つの電荷保持部MEM_L1,MEM_L2,MEM_S1,MEM_S2を、それぞれ転送トランジスタM1L1,M1L2,M1S1,M1S2を介して並列に接続していた。これに対し、本実施形態においては、当該1つの光電変換部PDに対し、更に2つの電荷保持部MEM_M1,MEM_M2を、それぞれ転送トランジスタM1M1,M1M2を介して並列に接続している。したがって、本実施形態によれば、電荷保持部を3個ずつ用いることで、互いに異なる蓄積時間の間に蓄積された信号電荷に基づく3種類の画像を、フレームごとに交互に取得することが可能である。このようにして各フレームで取得した3種類の画像を合成することで、第1実施形態と比較してダイナミックレンジを更に拡大することができる。また、この構成によれば、信号電荷の蓄積を行う期間にも信号の読み出しが可能となり、各フレーム期間の中で信号電荷を取得できない時間領域を減らし、シームレスな動画を取得することができる。
なお、本実施形態では、1つの光電変換部PDに対して6つの電荷保持部を並列に接続する構成としたが、8つ以上の電荷保持部を並列に接続する構成としてもよい。このように構成することで、ダイナミックレンジを更に拡大することができる。
このように、本実施形態によれば、良質な高ダイナミックレンジの動画を取得することができる。
[第6実施形態]
本発明の第6実施形態による撮像システムについて、図12を用いて説明する。図12は、本実施形態による撮像システムの概略構成を示すブロック図である。
上記第1乃至第5実施形態で述べた光電変換装置100は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図12には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図12に例示した撮像システム200は、撮像装置201、被写体の光学像を撮像装置201に結像させるレンズ202、レンズ202を通過する光量を可変にするための絞り204、レンズ202の保護のためのバリア206を有する。レンズ202及び絞り204は、撮像装置201に光を集光する光学系である。撮像装置201は、第1乃至第5実施形態のいずれかで説明した光電変換装置100であって、レンズ202により結像された光学像を画像データに変換する。
撮像システム200は、また、撮像装置201より出力される出力信号の処理を行う信号処理部208を有する。信号処理部208は、撮像装置201が出力するデジタル信号から画像データの生成を行う。また、信号処理部208は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置201は、信号処理部208で処理されるデジタル信号を生成するAD変換部を備えうる。AD変換部は、撮像装置201の光電変換部が形成された半導体層(半導体基板)に形成されていてもよいし、撮像装置201の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部208が撮像装置201と同一の半導体基板に形成されていてもよい。
撮像システム200は、更に、画像データを一時的に記憶するためのメモリ部210、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)212を有する。更に撮像システム200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体214、記録媒体214に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)216を有する。なお、記録媒体214は、撮像システム200に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム200は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部218、撮像装置201と信号処理部208に各種タイミング信号を出力するタイミング発生部220を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム200は少なくとも撮像装置201と、撮像装置201から出力された出力信号を処理する信号処理部208とを有すればよい。
撮像装置201は、撮像信号を信号処理部208に出力する。信号処理部208は、撮像装置201から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部208は、撮像信号を用いて、画像を生成する。
このように、本実施形態によれば、第1乃至第5実施形態による光電変換装置100を適用した撮像システムを実現することができる。
[第7実施形態]
本発明の第7実施形態による撮像システム及び移動体について、図13を用いて説明する。図13は、本実施形態による撮像システム及び移動体の構成を示す図である。
図13(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム300は、撮像装置310を有する。撮像装置310は、上記第1乃至第5実施形態のいずれかに記載の光電変換装置100である。撮像システム300は、撮像装置310により取得された複数の画像データに対し、画像処理を行う画像処理部312と、撮像システム300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部314を有する。また、撮像システム300は、算出された視差に基づいて対象物までの距離を算出する距離取得部316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部318と、を有する。ここで、視差取得部314や距離取得部316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム300は車両情報取得装置320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム300は、衝突判定部318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU330が接続されている。また、撮像システム300は、衝突判定部318での判定結果に基づいて、ドライバーへ警報を発する警報装置340とも接続されている。例えば、衝突判定部318の判定結果として衝突可能性が高い場合、制御ECU330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム300で撮像する。図13(b)に、車両前方(撮像範囲350)を撮像する場合の撮像システムを示した。車両情報取得装置320が、撮像システム300ないしは撮像装置310に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[第8実施形態]
本発明の第8実施形態による機器について、図14を用いて説明する。図14は、本実施形態による機器の概略構成を示すブロック図である。
図14は、光電変換装置APRを含む機器EQPを示す模式図である。光電変換装置APRは、第1乃至第5実施形態のいずれかの光電変換装置100の機能を備える。光電変換装置APRの全部又は一部が、半導体デバイスICである。本例の光電変換装置APRは、例えば、イメージセンサやAF(Auto Focus)センサ、測光センサ、測距センサとして用いることができる。半導体デバイスICは、光電変換部を含む画素回路PXCが行列状に配列された画素エリアPXを有する。半導体デバイスICは画素エリアPXの周囲に周辺エリアPRを有することができる。周辺エリアPRには画素回路以外の回路を配置することができる。
光電変換装置APRは、複数の光電変換部が設けられた第1半導体チップと、周辺回路が設けられた第2半導体チップとを積層した構造(チップ積層構造)を有していてもよい。第2半導体チップにおける周辺回路は、ぞれぞれ、第1半導体チップの画素列に対応した列回路とすることができる。また、第2半導体チップにおける周辺回路は、それぞれ、第1半導体チップの画素あるいは画素ブロックに対応したマトリクス回路とすることもできる。第1半導体チップと第2半導体チップとの接続は、貫通電極(TSV)、銅等の導電体の直接接合によるチップ間配線、チップ間のマイクロバンプによる接続、ワイヤボンディングによる接続などを採用することができる。
光電変換装置APRは、半導体デバイスICの他に、半導体デバイスICを収容するパッケージPKGを含みうる。パッケージPKGは、半導体デバイスICが固定された基体と、半導体デバイスICに対向するガラス等の蓋体と、基体に設けられた端子と半導体デバイスICに設けられた端子とを接続するボンディングワイヤやバンプ等の接続部材と、を含みうる。
機器EQPは、光学装置OPT、制御装置CTRL、処理装置PRCS、表示装置DSPL、記憶装置MMRY及び機械装置MCHNのうちの少なくともいずれかを更に備えうる。光学装置OPTは、光電変換装置としての光電変換装置APRに対応するものであり、例えばレンズやシャッター、ミラーである。制御装置CTRLは、光電変換装置APRを制御するものであり、例えばASICなどの半導体デバイスである。処理装置PRCSは、光電変換装置APRから出力された信号を処理するものであり、AFE(アナログフロントエンド)あるいはDFE(デジタルフロントエンド)を構成する。処理装置PRCSは、CPU(中央処理装置)やASIC(特定用途向け集積回路)などの半導体デバイスである。表示装置DSPLは、光電変換装置APRで得られた情報(画像)を表示する、EL表示装置や液晶表示装置である。記憶装置MMRYは、光電変換装置APRで得られた情報(画像)を記憶する、磁気デバイスや半導体デバイスである。記憶装置MMRYは、SRAMやDRAMなどの揮発性メモリ、或いは、フラッシュメモリやハードディスクドライブなどの不揮発性メモリである。機械装置MCHNは、モーターやエンジン等の可動部あるいは推進部を有する。機器EQPでは、光電変換装置APRから出力された信号を表示装置DSPLに表示したり、機器EQPが備える通信装置(不図示)によって外部に送信したりする。そのために、機器EQPは、光電変換装置APRが有する記憶回路部や演算回路部とは別に、記憶装置MMRYや処理装置PRCSを更に備えることが好ましい。
図14に示した機器EQPは、撮影機能を有する情報端末(例えばスマートフォンやウエアラブル端末)やカメラ(例えばレンズ交換式カメラ、コンパクトカメラ、ビデオカメラ、監視カメラ)などの電子機器でありうる。カメラにおける機械装置MCHNはズーミングや合焦、シャッター動作のために光学装置OPTの部品を駆動することができる。また、機器EQPは、車両や船舶、飛行体などの輸送機器(移動体)でありうる。また、機器EQPは、内視鏡やCTスキャナーなどの医療機器でありうる。また、機器EQPは、内視鏡やCTスキャナーなどの医療機器でありうる。
輸送機器における機械装置MCHNは移動装置として用いられうる。輸送機器としての機器EQPは、光電変換装置APRを輸送するものや、撮影機能により運転(操縦)の補助及び/又は自動化を行うものに好適である。運転(操縦)の補助及び/又は自動化のための処理装置PRCSは、光電変換装置APRで得られた情報に基づいて移動装置としての機械装置MCHNを操作するための処理を行うことができる。
本実施形態による光電変換装置APRは、その設計者、製造者、販売者、購入者及び/又は使用者に、高い価値を提供することができる。そのため、光電変換装置APRを機器EQPに搭載すれば、機器EQPの価値も高めることができる。よって、機器EQPの製造、販売を行う上で、本実施形態の光電変換装置APRの機器EQPへの搭載を決定することは、機器EQPの価値を高める上で有利である。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
例えば、上記第3実施形態ではデュアルピクセルによる位相差検出機能を第2実施形態の構成に適用した例を示したが、デュアルピクセルによる位相差検出機能を他の実施形態に適用することも可能である。
また、上記第6及び第7実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図12及び図13に示した構成に限定されるものではない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上記実施形態の開示は、以下の構成及び方法を含む。
(構成1)
光電変換により電荷を生じる光電変換部と、前記光電変換部から電荷を転送可能に構成された第1電荷保持部、第2電荷保持部、第3電荷保持部及び第4電荷保持部と、前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から転送される電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素と、
前記複数の画素を制御する制御回路と、を有し、
前記制御回路は、
一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部及び前記第2電荷保持部のうちの一方に転送する転送動作を、前記第1電荷保持部及び前記第2電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、
前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う
ことを特徴とする光電変換装置。
(構成2)
前記一のフレームにおいて前記第3電荷保持部が保持する電荷は、前記一のフレームの1つ前のフレームにおける複数回の転送動作によって前記光電変換部から前記第3電荷保持部に転送された電荷であり、
前記一のフレームにおいて前記第4電荷保持部が保持する電荷は、前記1つ前のフレームにおける複数回の転送動作によって前記光電変換部から前記第4電荷保持部に転送された電荷である
ことを特徴とする構成1記載の光電変換装置。
(構成3)
前記制御回路は、
前記光電変換部から前記第1電荷保持部に電荷を転送する前記複数回の転送動作及び前記光電変換部から前記第2電荷保持部に電荷を転送する前記複数回の転送動作と、前記第3電荷保持部が保持する電荷の量に応じた信号と前記第4電荷保持部が保持する電荷の量に応じた信号とを前記複数の画素の各々から読み出す前記読み出し動作と、を行うフレームと、
前記光電変換部から前記第3電荷保持部に電荷を転送する前記複数回の転送動作及び前記光電変換部から前記第4電荷保持部に電荷を転送する前記複数回の転送動作と、前記第1電荷保持部が保持する電荷の量に応じた信号と前記第2電荷保持部が保持する電荷の量に応じた信号とを前記複数の画素の各々から読み出す前記読み出し動作と、を行うフレームと、を交互に行う
ことを特徴とする構成2記載の光電変換装置。
(構成4)
前記光電変換部が保持する電荷を前記第1電荷保持部に転送する第1転送部と、
前記光電変換部が保持する電荷を前記第2電荷保持部に転送する第2転送部と、
前記光電変換部が保持する電荷を前記第3電荷保持部に転送する第3転送部と、
前記光電変換部が保持する電荷を前記第4電荷保持部に転送する第4転送部と、
前記第1電荷保持部が保持する電荷を前記出力部に転送する第5転送部と、
前記第2電荷保持部が保持する電荷を前記出力部に転送する第6転送部と、
前記第3電荷保持部が保持する電荷を前記出力部に転送する第7転送部と、
前記第4電荷保持部が保持する電荷を前記出力部に転送する第8転送部と、を更に有し、
前記出力部は、前記第5転送部、前記第6転送部、前記第7転送部又は前記第8転送部により前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から電荷が転送される浮遊拡散部を更に有する
ことを特徴とする構成2又は3記載の光電変換装置。
(構成5)
前記浮遊拡散部は、前記第5転送部、前記第6転送部、前記第7転送部及び前記第8転送部の各々に対して個別に設けられている
ことを特徴とする構成4記載の光電変換装置。
(構成6)
前記制御回路は、
前記光電変換部から前記第1電荷保持部への前記複数回の転送動作の後に、前記第1電荷保持部が保持する電荷を前記第3電荷保持部に転送する転送動作を更に行い、
前記光電変換部から前記第2電荷保持部への前記複数回の転送動作の後に、前記第2電荷保持部が保持する電荷を前記第4電荷保持部に転送する転送動作を更に行う
ことを特徴とする請求項1記載の光電変換装置。
(構成7)
前記一のフレームにおいて前記第3電荷保持部が保持する電荷は、前記一のフレームの1つ前のフレームにおいて前記第1電荷保持部から前記第3電荷保持部に転送された電荷であり、
前記一のフレームにおいて前記第4電荷保持部が保持する電荷は、前記1つ前のフレームにおいて前記第2電荷保持部から前記第4電荷保持部に転送された電荷である
ことを特徴とする構成6記載の光電変換装置。
(構成8)
前記光電変換部が保持する電荷を前記第1電荷保持部に転送する第1転送部と、
前記光電変換部が保持する電荷を前記第2電荷保持部に転送する第2転送部と、
前記第1電荷保持部が保持する電荷を前記第3電荷保持部に転送する第3転送部と、
前記第2電荷保持部が保持する電荷を前記第4電荷保持部に転送する第4転送部と、
前記第3電荷保持部が保持する電荷を前記出力部に転送する第5転送部と、
前記第4電荷保持部が保持する電荷を前記出力部に転送する第6転送部と、を更に有し、
前記出力部は、前記第5転送部又は前記第6転送部により前記第3電荷保持部又は前記第4電荷保持部から電荷が転送される浮遊拡散部を更に有する
ことを特徴とする構成6又は7記載の光電変換装置。
(構成9)
前記浮遊拡散部は、前記第3転送部及び前記第4転送部の各々に対して個別に設けられている
ことを特徴とする構成8記載の光電変換装置。
(構成10)
前記制御回路は、前記光電変換部から前記第1電荷保持部への前記転送動作と、前記光電変換部から前記第2電荷保持部への前記転送動作と、を交互に行う
ことを特徴とする構成1乃至9のいずれかに記載の光電変換装置。
(構成11)
前記複数回の転送動作によって前記第1電荷保持部に転送される電荷を蓄積するための前記光電変換部における蓄積期間の合計の長さと、前記複数回の転送動作によって前記第2電荷保持部に転送される電荷を蓄積するための前記光電変換部における蓄積期間の合計の長さと、が異なっている
ことを特徴とする構成1乃至10のいずれかに記載の光電変換装置。
(構成12)
前記複数の画素から出力される信号を処理する信号処理部を更に有し、
前記信号処理部は、前記複数の画素の前記第1電荷保持部又は前記第3電荷保持部が保持する電荷に基づく信号と前記第2電荷保持部又は前記第4電荷保持部が保持する電荷に基づく信号とを合成し、高ダイナミックレンジの画像を生成する
ことを特徴とする構成11記載の光電変換装置。
(構成13)
前記複数の画素の各々は、第1光電変換部と、第2光電変換部と、前記第1光電変換部に対して設けられた前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部及び前記第4電荷保持部と、前記第2光電変換部に対して設けられた前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部及び前記第4電荷保持部と、マイクロレンズと、を有し、
前記マイクロレンズは、撮像レンズの射出瞳のうち、第1瞳領域を通過した光を前記第1光電変換部に集光し、前記第1瞳領域とは異なる第2瞳領域を通過した光を前記第2光電変換部に集光する
ことを特徴とする構成1乃至13のいずれかに記載の光電変換装置。
(構成14)
複数の画素の各々は、前記光電変換部から電荷を転送可能に構成された第5電荷保持部及び第6電荷保持部を更に有し、
前記制御回路は、
一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部、前記第2電荷保持部及び前記第5電荷保持部のうちのいずれかに転送する転送動作を、前記第1電荷保持部、前記第2電荷保持部及び前記第5電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、
前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、前記第6電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う
ことを特徴とする構成1乃至9のいずれかに記載の光電変換装置。
(構成15)
前記複数の画素の各々は、前記光電変換部に接続されたリセット部を更に有し、
前記光電変換部における電荷の蓄積期間は、前記リセット部による前記光電変換部のリセット動作により開始し、前記転送動作によって終了する
ことを特徴とする請求項1乃至14のいずれかに記載の光電変換装置。
(方法1)
光電変換により電荷を生じる光電変換部と、前記光電変換部から電荷を転送可能に構成された第1電荷保持部、第2電荷保持部、第3電荷保持部及び第4電荷保持部と、前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から転送される電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する光電変換装置の駆動方法であって、
一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部及び前記第2電荷保持部のうちの一方に転送する転送動作を、前記第1電荷保持部及び前記第2電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、
前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う
ことを特徴とする光電変換装置の駆動方法。
(構成16)
構成1乃至15のいずれかに記載の光電変換装置と、
前記光電変換装置から出力される信号を処理する信号処理装置と
を有することを特徴とする撮像システム。
(構成17)
移動体であって、
構成1乃至15のいずれかに記載の光電変換装置と、
前記光電変換装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
(構成18)
構成1乃至15のいずれかに記載の光電変換装置と、
前記光電変換装置に対応する光学装置、
前記光電変換装置を制御する制御装置、
前記光電変換装置から出力された信号を処理する処理装置、
前記光電変換装置で得られた情報に基づいて制御される機械装置、
前記光電変換装置で得られた情報を表示する表示装置、及び、
前記光電変換装置で得られた情報を記憶する記憶装置、の少なくともいずれかと
を備えることを特徴とする機器。
PD…光電変換部
M1,M2,M3…転送トランジスタ
M4…リセットトランジスタ
M5…増幅トランジスタ
M6…選択トランジスタ
M7…電荷排出トランジスタ
MEM…電荷保持部
FD…浮遊拡散部
10…画素部
12…画素
20…垂直走査回路
60…制御回路
100…光電変換装置

Claims (19)

  1. 光電変換により電荷を生じる光電変換部と、前記光電変換部から電荷を転送可能に構成された第1電荷保持部、第2電荷保持部、第3電荷保持部及び第4電荷保持部と、前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から転送される電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素と、
    前記複数の画素を制御する制御回路と、を有し、
    前記制御回路は、
    一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部及び前記第2電荷保持部のうちの一方に転送する転送動作を、前記第1電荷保持部及び前記第2電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、
    前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う
    ことを特徴とする光電変換装置。
  2. 前記一のフレームにおいて前記第3電荷保持部が保持する電荷は、前記一のフレームの1つ前のフレームにおける複数回の転送動作によって前記光電変換部から前記第3電荷保持部に転送された電荷であり、
    前記一のフレームにおいて前記第4電荷保持部が保持する電荷は、前記1つ前のフレームにおける複数回の転送動作によって前記光電変換部から前記第4電荷保持部に転送された電荷である
    ことを特徴とする請求項1記載の光電変換装置。
  3. 前記制御回路は、
    前記光電変換部から前記第1電荷保持部に電荷を転送する前記複数回の転送動作及び前記光電変換部から前記第2電荷保持部に電荷を転送する前記複数回の転送動作と、前記第3電荷保持部が保持する電荷の量に応じた信号と前記第4電荷保持部が保持する電荷の量に応じた信号とを前記複数の画素の各々から読み出す前記読み出し動作と、を行うフレームと、
    前記光電変換部から前記第3電荷保持部に電荷を転送する前記複数回の転送動作及び前記光電変換部から前記第4電荷保持部に電荷を転送する前記複数回の転送動作と、前記第1電荷保持部が保持する電荷の量に応じた信号と前記第2電荷保持部が保持する電荷の量に応じた信号とを前記複数の画素の各々から読み出す前記読み出し動作と、を行うフレームと、を交互に行う
    ことを特徴とする請求項2記載の光電変換装置。
  4. 前記光電変換部が保持する電荷を前記第1電荷保持部に転送する第1転送部と、
    前記光電変換部が保持する電荷を前記第2電荷保持部に転送する第2転送部と、
    前記光電変換部が保持する電荷を前記第3電荷保持部に転送する第3転送部と、
    前記光電変換部が保持する電荷を前記第4電荷保持部に転送する第4転送部と、
    前記第1電荷保持部が保持する電荷を前記出力部に転送する第5転送部と、
    前記第2電荷保持部が保持する電荷を前記出力部に転送する第6転送部と、
    前記第3電荷保持部が保持する電荷を前記出力部に転送する第7転送部と、
    前記第4電荷保持部が保持する電荷を前記出力部に転送する第8転送部と、を更に有し、
    前記出力部は、前記第5転送部、前記第6転送部、前記第7転送部又は前記第8転送部により前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から電荷が転送される浮遊拡散部を更に有する
    ことを特徴とする請求項2記載の光電変換装置。
  5. 前記浮遊拡散部は、前記第5転送部、前記第6転送部、前記第7転送部及び前記第8転送部の各々に対して個別に設けられている
    ことを特徴とする請求項4記載の光電変換装置。
  6. 前記制御回路は、
    前記光電変換部から前記第1電荷保持部への前記複数回の転送動作の後に、前記第1電荷保持部が保持する電荷を前記第3電荷保持部に転送する転送動作を更に行い、
    前記光電変換部から前記第2電荷保持部への前記複数回の転送動作の後に、前記第2電荷保持部が保持する電荷を前記第4電荷保持部に転送する転送動作を更に行う
    ことを特徴とする請求項1記載の光電変換装置。
  7. 前記一のフレームにおいて前記第3電荷保持部が保持する電荷は、前記一のフレームの1つ前のフレームにおいて前記第1電荷保持部から前記第3電荷保持部に転送された電荷であり、
    前記一のフレームにおいて前記第4電荷保持部が保持する電荷は、前記1つ前のフレームにおいて前記第2電荷保持部から前記第4電荷保持部に転送された電荷である
    ことを特徴とする請求項6記載の光電変換装置。
  8. 前記光電変換部が保持する電荷を前記第1電荷保持部に転送する第1転送部と、
    前記光電変換部が保持する電荷を前記第2電荷保持部に転送する第2転送部と、
    前記第1電荷保持部が保持する電荷を前記第3電荷保持部に転送する第3転送部と、
    前記第2電荷保持部が保持する電荷を前記第4電荷保持部に転送する第4転送部と、
    前記第3電荷保持部が保持する電荷を前記出力部に転送する第5転送部と、
    前記第4電荷保持部が保持する電荷を前記出力部に転送する第6転送部と、を更に有し、
    前記出力部は、前記第5転送部又は前記第6転送部により前記第3電荷保持部又は前記第4電荷保持部から電荷が転送される浮遊拡散部を更に有する
    ことを特徴とする請求項6記載の光電変換装置。
  9. 前記浮遊拡散部は、前記第3転送部及び前記第4転送部の各々に対して個別に設けられている
    ことを特徴とする請求項8記載の光電変換装置。
  10. 前記制御回路は、前記光電変換部から前記第1電荷保持部への前記転送動作と、前記光電変換部から前記第2電荷保持部への前記転送動作と、を交互に行う
    ことを特徴とする請求項1乃至9のいずれか1項に記載の光電変換装置。
  11. 前記複数回の転送動作によって前記第1電荷保持部に転送される電荷を蓄積するための前記光電変換部における蓄積期間の合計の長さと、前記複数回の転送動作によって前記第2電荷保持部に転送される電荷を蓄積するための前記光電変換部における蓄積期間の合計の長さと、が異なっている
    ことを特徴とする請求項1乃至9のいずれか1項に記載の光電変換装置。
  12. 前記複数の画素から出力される信号を処理する信号処理部を更に有し、
    前記信号処理部は、前記複数の画素の前記第1電荷保持部又は前記第3電荷保持部が保持する電荷に基づく信号と前記第2電荷保持部又は前記第4電荷保持部が保持する電荷に基づく信号とを合成し、高ダイナミックレンジの画像を生成する
    ことを特徴とする請求項11記載の光電変換装置。
  13. 前記複数の画素の各々は、第1光電変換部と、第2光電変換部と、前記第1光電変換部に対して設けられた前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部及び前記第4電荷保持部と、前記第2光電変換部に対して設けられた前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部及び前記第4電荷保持部と、マイクロレンズと、を有し、
    前記マイクロレンズは、撮像レンズの射出瞳のうち、第1瞳領域を通過した光を前記第1光電変換部に集光し、前記第1瞳領域とは異なる第2瞳領域を通過した光を前記第2光電変換部に集光する
    ことを特徴とする請求項1乃至9のいずれか1項に記載の光電変換装置。
  14. 複数の画素の各々は、前記光電変換部から電荷を転送可能に構成された第5電荷保持部及び第6電荷保持部を更に有し、
    前記制御回路は、
    一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部、前記第2電荷保持部及び前記第5電荷保持部のうちのいずれかに転送する転送動作を、前記第1電荷保持部、前記第2電荷保持部及び前記第5電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、
    前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、前記第6電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う
    ことを特徴とする請求項1乃至9のいずれか1項に記載の光電変換装置。
  15. 前記複数の画素の各々は、前記光電変換部に接続されたリセット部を更に有し、
    前記光電変換部における電荷の蓄積期間は、前記リセット部による前記光電変換部のリセット動作により開始し、前記転送動作によって終了する
    ことを特徴とする請求項1乃至9のいずれか1項に記載の光電変換装置。
  16. 光電変換により電荷を生じる光電変換部と、前記光電変換部から電荷を転送可能に構成された第1電荷保持部、第2電荷保持部、第3電荷保持部及び第4電荷保持部と、前記第1電荷保持部、前記第2電荷保持部、前記第3電荷保持部又は前記第4電荷保持部から転送される電荷の量に応じた信号を出力する出力部と、を各々が含む複数の画素を有する光電変換装置の駆動方法であって、
    一のフレームの間に、前記光電変換部に蓄積された電荷を前記第1電荷保持部及び前記第2電荷保持部のうちの一方に転送する転送動作を、前記第1電荷保持部及び前記第2電荷保持部の各々に対してそれぞれ複数回、前記複数の画素において同時に行い、
    前記一のフレームの間に、前記複数の画素の各々から、前記第3電荷保持部が保持する電荷の量に応じた信号と、前記第4電荷保持部が保持する電荷の量に応じた信号と、を読み出す読み出し動作を行う
    ことを特徴とする光電変換装置の駆動方法。
  17. 請求項1乃至9のいずれか1項に記載の光電変換装置と、
    前記光電変換装置から出力される信号を処理する信号処理装置と
    を有することを特徴とする撮像システム。
  18. 移動体であって、
    請求項1乃至9のいずれか1項に記載の光電変換装置と、
    前記光電変換装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。
  19. 請求項1乃至9のいずれか1項に記載の光電変換装置と、
    前記光電変換装置に対応する光学装置、
    前記光電変換装置を制御する制御装置、
    前記光電変換装置から出力された信号を処理する処理装置、
    前記光電変換装置で得られた情報に基づいて制御される機械装置、
    前記光電変換装置で得られた情報を表示する表示装置、及び、
    前記光電変換装置で得られた情報を記憶する記憶装置、の少なくともいずれかと
    を備えることを特徴とする機器。
JP2022184522A 2022-11-18 2022-11-18 光電変換装置及びその駆動方法 Pending JP2024073685A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022184522A JP2024073685A (ja) 2022-11-18 2022-11-18 光電変換装置及びその駆動方法
US18/504,445 US20240171874A1 (en) 2022-11-18 2023-11-08 Photoelectric conversion device and method of driving photoelectric conversion device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022184522A JP2024073685A (ja) 2022-11-18 2022-11-18 光電変換装置及びその駆動方法

Publications (1)

Publication Number Publication Date
JP2024073685A true JP2024073685A (ja) 2024-05-30

Family

ID=91079615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022184522A Pending JP2024073685A (ja) 2022-11-18 2022-11-18 光電変換装置及びその駆動方法

Country Status (2)

Country Link
US (1) US20240171874A1 (ja)
JP (1) JP2024073685A (ja)

Also Published As

Publication number Publication date
US20240171874A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
JP7242262B2 (ja) 光電変換装置及び撮像システム
JP6806553B2 (ja) 撮像装置、撮像装置の駆動方法及び撮像システム
JP7237622B2 (ja) 光電変換装置
CN110611777B (zh) 摄像设备、摄像系统和移动装置
JP2021129136A (ja) 撮像装置及び撮像システム
US11838668B2 (en) Photoelectric conversion device
JP2024073685A (ja) 光電変換装置及びその駆動方法
JP2023057660A (ja) 半導体装置
JP2023023218A (ja) 光電変換装置
JP2022142433A (ja) 光電変換装置及び撮像システム
US20240040279A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
JP7129264B2 (ja) 撮像装置
US20230292024A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US20230276150A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
EP4277294A1 (en) Photoelectric conversion device, imaging system, movable object, equipment, signal processing device and signal processing method
US11843880B2 (en) Photoelectric conversion device
US20230199347A1 (en) Photoelectric conversion device and imaging system
US20240179436A1 (en) Photoelectric conversion apparatus and equipment having ad conversion circuits
JP2024073687A (ja) 光電変換装置及び撮像システム
JP2024013891A (ja) 光電変換装置、光電変換装置の駆動方法および撮像システム
JP2024078502A (ja) 光電変換装置、機器
JP2023166968A (ja) 信号処理装置及び光電変換装置
JP2023042083A (ja) 光電変換装置
JP2023111095A (ja) 光電変換装置及びその駆動方法
JP2023039289A (ja) 固体撮像装置