JP6080411B2 - 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。 - Google Patents

撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。 Download PDF

Info

Publication number
JP6080411B2
JP6080411B2 JP2012157551A JP2012157551A JP6080411B2 JP 6080411 B2 JP6080411 B2 JP 6080411B2 JP 2012157551 A JP2012157551 A JP 2012157551A JP 2012157551 A JP2012157551 A JP 2012157551A JP 6080411 B2 JP6080411 B2 JP 6080411B2
Authority
JP
Japan
Prior art keywords
photoelectric conversion
charge
signal
units
conversion unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012157551A
Other languages
English (en)
Other versions
JP2014022822A (ja
JP2014022822A5 (ja
Inventor
和昭 田代
和昭 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012157551A priority Critical patent/JP6080411B2/ja
Priority to US13/939,719 priority patent/US9294692B2/en
Publication of JP2014022822A publication Critical patent/JP2014022822A/ja
Publication of JP2014022822A5 publication Critical patent/JP2014022822A5/ja
Application granted granted Critical
Publication of JP6080411B2 publication Critical patent/JP6080411B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は撮像装置の駆動方法に関する。
特許文献1で提案された撮像装置では、2つの出力回路が、互いに行方向および列方向に1個分のフォトダイオードの配置ピッチだけずれて配されている。そして、それぞれの出力回路が、その周囲の4個分のフォトダイオードの信号電荷を混合することが開示されている。このような構成により、光学ローパスフィルタが不要になるとされている。
また、特許文献2に記載の撮像装置では、共有されたフォトダイオードに4つの転送トランジスタが接続され、当該1つの光電変換部の電荷が同時に4つの拡散領域に転送される。そして、特許文献2の図6には、隣り合う画素から得られた値を情報処理ブロックで加算することで、画素サイズを大きくし解像度を落とすが、画質を向上させることの開示がある。
特開2006−270658号公報 米国特許公開公報2010/0133590号
特許文献1に記載の駆動方法では、ある期間にフォトダイオードで得られた電荷を一方の出力回路に転送し、それに続く別の期間にフォトダイオードで得られた電荷を他方の出力回路に転送している。しかし、このような駆動によれば異なる露光期間の信号が合成されることになるため、画質が低下する可能性がある。特に、高速で移動する被写体を撮像する場合には、画質の低下が顕著になりやすい。
特許文献2では、情報処理ブロックでの加算を行うため、回路規模が大きくなりやすい。つまり、撮像装置あるいは撮像システムの小型化が困難である。
本発明の1つの側面に係る実施形態である撮像装置の駆動方法は、複数の光電変換部と、複数の電荷受領部と、前記複数の光電変換部の1つの光電変換部に接続され、前記1つの光電変換部と、前記複数の電荷受領部のうち対応する少なくとも2つの電荷受領部との間の電気経路にそれぞれ配された複数の転送トランジスタと、を有する撮像装置の駆動方法であって、前記光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷を、前記複数の電荷受領部に並行して転送する電荷転送ステップを含み、前記電荷転送ステップにおいて、前記複数の転送トランジスタを並行してオンすることにより、前記1つの光電変換部の電荷を、前記対応する少なくとも2つの電荷受領部に転送し、前記複数の光電変換部のそれぞれについて前記電荷転送ステップを行うことで、前記複数の電荷受領部の少なくとも1つにおいて前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算することを特徴とする。
本発明の別の側面に係る実施形態である撮像装置の駆動方法は、複数の光電変換部と、複数のフローティングディフュージョン領域と、前記複数の光電変換部の1つの光電変換部に接続され、前記1つの光電変換部と、前記複数のフローティングディフュージョン領域のうち対応する少なくとも2つのフローティングディフュージョン領域との間の電気経路にそれぞれ配された複数の転送トランジスタと、を有する撮像装置の駆動方法であって、前記光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷を、前記複数のフローティングディフュージョン領域に並行して転送する電荷転送ステップを含み、前記電荷転送ステップにおいて、前記複数の転送トランジスタを並行してオンすることにより、前記1つの光電変換部の電荷を、前記対応する少なくとも2つのフローティングディフュージョン領域に転送し、前記複数の光電変換部のそれぞれについて前記電荷転送ステップを行うことで、前記複数のフローティングディフュージョン領域の少なくとも1つにおいて前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算することを特徴とする。
本発明の別の側面に係る実施形態である撮像装置は、複数の光電変換部と、複数の電荷受領部と、前記複数の光電変換部の1つの光電変換部に接続され、前記1つの光電変換部と、前記複数の電荷受領部のうち対応する少なくとも2つの電荷受領部との間の電気経路にそれぞれ配された複数の転送トランジスタと、を備え、前記光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷を、前記複数の電荷受領部に並行して転送する電荷転送ステップを行い、前記電荷転送ステップにおいて、前記複数の転送トランジスタを並行してオンすることにより、前記1つの光電変換部の電荷を、前記対応する少なくとも2つの電荷受領部に転送し、前記複数の光電変換部のそれぞれについて前記電荷転送ステップを行うことで、前記複数の電荷受領部の少なくとも1つにおいて前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算することを特徴とする。
本発明によれば、撮像装置あるいは撮像システムの規模を大きくすることなく、画質を向上することができる。
本発明に係る実施例の要部を説明するための概念図。 実施例1乃至実施例9に係る撮像装置の構成を示す概略図。 実施例1乃至実施例3に係る撮像装置の等価回路を示す図。 移動平均処理について説明するための図。 実施例1に係る撮像装置の画素のレイアウトを示す模式図。 実施例1乃至実施例3の駆動信号を示す図。 実施例2に係る撮像装置の撮像領域を示す模式図。 実施例3に係る撮像装置の撮像領域を示す模式図。 実施例4に係る撮像装置の信号処理部の等価回路を示す図。 実施例4の駆動信号を示す図 実施例5に係る撮像装置の等価回路を示す図。 実施例6に係る撮像装置の等価回路を示す図。 実施例7に係る撮像装置の等価回路を示す図。 実施例8に係る撮像装置の等価回路を示す図。 本発明に係る実施例の撮像システムのブロック図。
本発明に係る1つの実施例は、複数の光電変換部を有する撮像装置の駆動方法である。本実施例の駆動方法は、1つの光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷を、複数の電荷受領部に並行して転送する電荷転送ステップを含む。そして、ある1つの電荷受領部において複数の光電変換部から転送されてきた電荷が加算されるように、複数の光電変換部に対して電荷転送ステップを行う。以下、本発明に係る実施例の要部について図1を用いて説明する。
図1(a)は本発明に係る実施例の要部を示す概念図である。撮像装置は、複数の光電変換部を有する。図1(a)では4つの光電変換部11〜14のレイアウトが模式的に示されている。光電変換部11〜14では、入射した光が電荷に変換される。言い換えると、入射した光に基づく信号電荷が生成される。光電変換部11〜14は例えばフォトダイオードである。光電変換部11〜14は半導体基板に配される。半導体基板は少なくとも1つの主面を有する。複数の光電変換部は、当該主面において1次元状にあるいは2次元状に配置されうる。
図1(a)には、4つの電荷受領部21〜24のレイアウトが模式的に示されている。矢印が光電変換部から電荷受領部へ電荷が転送されることを示している。電荷受領部は、光電変換部からの電荷の転送先である。電荷受領部は、それぞれ、所定の容量値を有する電気的に単一のノードである。例えば、電荷受領部は、フローティングディフュージョン領域(以下、FD領域)などの半導体領域である。あるいは、1つの電荷受領部が、配線を介して電気的に接続された複数の半導体領域を含んだ構造でもよい。例えば、複数の光電変換部に対応して複数の半導体領域が配され、当該複数の半導体領域が配線を介して電気的に接続される。また、電荷受領部は、後段の増幅回路の入力ノードであってもよい。さらに、電荷受領部にスイッチが接続されてもよい。スイッチによって電荷受領部の容量値が切り替えられてもよい。または、スイッチによって、複数の電荷受領部が互いに電気的に接続され、1つのノードとされてもよい。
図1(a)が示す通り、1つの光電変換部で第1の時刻から第2の時刻までの期間に生じた電荷は、少なくとも2つの電荷受領部に並行して転送される。例えば、光電変換部11の電荷は、第1の電荷受領部21と第2の電荷受領部22とに並行して転送される。また、光電変換部12の電荷は、第2の電荷受領部22と第3の電荷受領部23とに並行して転送される。また、別の観点で言えば、1つの光電変換部の電荷が2つの電荷受領部に分配される。
電荷の転送の具体的な手段としては、転送トランジスタなどの転送手段が用いられる。例えば、1つの光電変換部に対して2つの転送トランジスタが接続されうる。この2つの転送トランジスタは、1つの光電変換部とその光電変換部に対応する2つの電荷受領部のそれぞれとの間の電気経路に配されうる。駆動の例としては、2つの転送トランジスタをオフにして、光電変換部で電荷の蓄積を開始し、その後、2つの転送トランジスタを並行してオンする。このような転送トランジスタの駆動によって、1つの光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷が、所定の割合で2つの電荷受領部に転送されうる。所定の割合は好適には、1:1である。所定の割合は、転送トランジスタをオンにするタイミングや、転送トランジスタの転送能力によって変化しうる。転送トランジスタを同時にオンにすることで、所定の割合が1:1になりうる、あるいは1:1に近づきうる。
第1の時刻および第2の時刻は光電変換部ごとに適宜設定される。なお、第1の時刻は、例えば、メカ的なシャッタが開くタイミング、電気的なシャッタが解除されるタイミング、あるいは、2つの転送トランジスタがオフするタイミングなど、撮像装置の動作に対応した時刻であってもよい。また、第2の時刻は、2つの転送トランジスタがオンするタイミングなど、撮像装置の動作に対応した時刻であってもよい。
別の転送手段の例としては、光電変換部から電荷受領部へ電荷の転送チャネルが形成されていてもよい。このような構成では、光電変換が行われている期間に、生じた電荷が所定の確率で複数の電荷受領部のいずれかへ転送されうる。好適には、複数の電荷受領部へ等しい確率で転送される。所定の確率は、転送チャネルの構造によって変化しうる。なお、この場合、第1の時刻は、例えばメカシャッタが開く時刻、電子シャッタが解除される時刻、あるいは、電荷が蓄積されるノードがリセットされたタイミングであってもよい。第2の時刻は、例えばメカシャッタが閉じるタイミング、電子シャッタが動作するタイミング、あるいは、電荷が蓄積されるノードがリセットされたタイミングであってもよい。
電荷受領部21〜24では、転送されてきた電荷が加算される。少なくともいずれか1つの電荷受領部で電荷が加算される。例えば、図1(a)の第2の電荷受領部22には、光電変換部11の電荷と、光電変換部12の電荷とが転送される。その結果、第2の電荷受領部22において、2つの光電変換部11、12から転送されてきた電荷が加算される。2つの光電変換部11、12からの電荷の転送を同時に行うことで、それぞれの光電変換部から転送されてきた電荷を加算しうる。あるいは、一方の光電変換部11からの電荷を先に転送し、そして、先に転送された電荷を保持したまま、他方の光電変換部12から電荷を転送することで、それぞれの光電変換部から転送されてきた電荷を加算しうる。このとき、光電変換部11から第2の電荷受領部22に転送されてきた電荷とは、光電変換部11において第1の時刻から第2の時刻までの期間に生じた電荷を第1の電荷受領部21および第2の電荷受領部22に並行して転送するステップによって、第2の電荷受領部22に転送される電荷である。また、光電変換部12から第2の電荷受領部22へ転送されてきた電荷とは、光電変換部12において第1の時刻から第2の時刻までの期間に生じた電荷を第2の電荷受領部22および第3の電荷受領部23に並行して転送するステップによって、第2の電荷受領部22に転送される電荷である。
電荷受領部は所定の容量値を有するノードであるため、転送されてきた電荷の総量に応じて電荷受領部の電圧が変化する。1つの半導体領域に2つの光電変換部から電荷が転送されてきた場合でも、配線を介して互いに電気的に接続された2つの半導体領域に2つの光電変換部から電荷がそれぞれ転送されてきた場合でも、同様の加算が行われる。
本実施例の駆動方法では、それぞれの光電変換部に対して、個別に第1の時刻と第2の時刻とが設定されうる。それぞれの光電変換部における第1の時刻から第2の時刻までの期間が、当該光電変換部での1回の露光期間に対応していてもよい。この場合について、それぞれの光電変換部における第1の時刻から第2の時刻までの期間と、撮像装置の露光期間との関係について説明する。
撮像装置の露光方法には、大きく分けてグローバルシャッタとローリングシャッタとがある。グローバルシャッタは全ての光電変換部で露光期間の開始と終了とが一致するような露光方法である。このような露光方法では、光電変換部11で電荷が生じる第1の時刻から第2の時刻までの期間と、光電変換部12で電荷が生じる第1の時刻から第2の時刻までの期間とは、同一の期間である。つまり、光電変換部11にとっての第1の時刻と、光電変換部12にとっての第1の時刻とが同じ時刻である。そして、光電変換部11にとっての第2の時刻と、光電変換部12にとっての第2の時刻とが同じ時刻である。この期間にそれぞれの光電変換部11,12で生じた電荷が、第2の電荷受領部22を含む複数の電荷受領部に並行して転送される。
一方、ローリングシャッタは、それぞれの光電変換部での露光期間の長さは互いに等しいが、露光期間の開始と終了のタイミングが光電変換部ごとにずれているような露光方法である。したがって、光電変換部11における第1の時刻から第2の時刻までの期間と、光電変換部12における第1の時刻から第2の時刻までの期間とは、完全には一致しない。つまり、光電変換部11にとっての第1の時刻と、光電変換部12にとっての第1の時刻とが異なる時刻である。そして、光電変換部11にとっての第2の時刻と、光電変換部12にとっての第2の時刻とが異なる時刻である。
次に、光電変換部11あるいは光電変換部12から、第2の電荷受領部22への電荷の転送と並行して、第2の電荷受領部22以外の電荷受領部へ転送された電荷について説明する。例えば、光電変換部11から第1の電荷受領部21に転送された電荷は、他の電荷と加算されずに排出されてもよい。つまり、第1の電荷受領部21が電源電圧の供給された電荷排出ノードであってもよい。このように1つの光電変換部から複数の電荷受領部へ並行して転送された電荷の一方を、排出してもよい。このような構成は、特に撮像領域の外周に配された光電変換部に用いられるとよい。
あるいは、光電変換部12から第3の電荷受領部23に転送された電荷が、光電変換部13から第3の電荷受領部23に転送された電荷と加算されてもよい。このように1つの光電変換部から複数の電荷受領部へ並行して転送された電荷のそれぞれが、電荷受領部で他の光電変換部からの電荷と加算されてもよい。このような構成は、後述する移動平均処理を行う場合に用いられるとよい。
続いて、本実施例の駆動方法において、その電荷が加算される光電変換部の組み合わせについて説明する。図1(b)は、複数の光電変換部の別のレイアウトの例を模式的に示している。図1(b)では、3つの光電変換部15〜17が例示されている。図1(b)では、光電変換部15と光電変換部16の間には、1つ以上の光電変換部が配されている。そして、光電変換部16と光電変換部17の間には、1つ以上の光電変換部が配されている。
このように、間に他の光電変換部が配された2つの光電変換部の電荷が、電荷受領部で加算されてもよい。例えば、光電変換部15の電荷は、電荷受領部25および電荷受領部26に並行して転送される。一方、光電変換部16の電荷は電荷受領部26および電荷受領部27に並行して転送される。そして、電荷受領部27では、光電変換部15から転送されてきた電荷と、光電変換部16から転送されてきた電荷とが加算される。
図1(c)は、撮像装置のさらに別のレイアウトの例を模式的に示している。図1(c)では、2つの光電変換部18、19の電荷が、それぞれ2つの電荷受領部28、29に並行して転送される。図1(c)の構成は、撮像面での位相差AF(Auto Focusing)を行う場合に用いられるとよい。この場合には加算を行なう複数の光電変換部に共通して1つの集光部、例えばマイクロレンズが配されうる。
以下では、本発明の実施例についてさらに詳細に説明する。以上の説明は、後述する実施例についても同様である。なお、本発明は以下に説明される実施例のみに限定されない。本発明の趣旨を超えない範囲で以下に説明される実施例の一部の構成が変更された変形例も、本発明の実施例である。また、以下のいずれかの実施例の一部の構成を、他の実施例に追加した例、あるいは他の実施例の一部の構成と置換した例も本発明の実施例である。
本発明の実施例について説明する。本実施例に係る撮像装置では、各画素が光電変換部と、光電変換部から電荷を転送する転送部とを有する。本実施例の転送部は、1つの光電変換部で第1の時刻から第2の時刻までの期間に生じた電荷を2つの電荷受領部に並行して転送する。別の観点で言えば、転送部は、1つの光電変換部で生じた電荷を2つの電荷受領部に分配する。そして、電荷受領部となるノードにおいて、電荷の加算が行われる。
なお、本実施例では、電荷の加算によって移動平均処理が行われている。また、本実施例では、露光期間が全画素で一致している。いわゆるグローバルシャッタ動作が行われる。
図2は、本実施例の撮像装置の全体ブロック図である。撮像装置101は半導体基板を用いて1つのチップで構成することができる。撮像装置101は、撮像領域102に配された複数の画素を有している。更に、撮像装置101は制御部103を有している。制御部103は、垂直走査部104、信号処理部105及び出力部106に制御信号、電源電圧等を供給する。
垂直走査部104は撮像領域102に配された複数の画素に駆動信号を供給する。垂直走査部104は複数の画素に並行に駆動信号を供給しうる。垂直走査部104はシフトレジスタもしくはアドレスデコーダにより構成することができる。
信号処理部105は、列回路、水平走査回路、水平出力線を含んで構成される。列回路は、各々が、複数の回路ブロックを含んで構成されうる。回路ブロックは、信号保持部、列増幅回路、ノイズ除去部、AD変換部などである。水平走査回路はシフトレジスタもしくはアドレスデコーダにより構成することができる。水平出力線に出力される信号は、アナログ信号でもデジタル信号でもよい。
出力部106は水平出力線を介して伝達された信号を撮像装置101外に出力する。出力部106は、バッファもしくは増幅回路を含んで構成されている。
垂直走査部104、信号処理部105、出力部106は撮像領域102の外側に配される。つまり、撮像領域102の境界は、画素に含まれる素子と、垂直走査部104、信号処理部105、または出力部106を構成する素子との間にある。例えば、もっとも外周に配された画素に含まれる素子と、垂直走査部104、信号処理部105、または出力部106を構成する素子との間の素子分離部が撮像領域102の境界であってもよい。
図3に本実施例の撮像装置の等価回路を示す。図3では、12個の画素201が示されている。撮像領域102が更に多数の画素201を含んで構成されていてもよい。本実施例では、これらの画素201が行列状に配される。上述の12個の画素201が3行4列の行列を構成している。垂直走査部によって並行に制御されうる画素群が行である。列は、行とは異なる方向に配された画素群であって、1本もしくは複数本の出力線を共有している画素群である。なお、複数の画素は必ずしも行列状に配される必要はなく、撮像領域102に1次元状、あるいは2次元状に複数の画素が配置されればよい。
なお、図3において、個別の画素を区別して説明する場合は、画素201aのように、数字の符号とアルファベットとを組み合わせて表記する。特に個別の画素を区別する必要がない場合は、画素201のように、単に数字のみの符号で表記する。また、同じ機能を有する素子には、同じ数字の符号が付されている。個別の素子を区別して説明する際には、アルファベットを数字の後に付して表記する。例えば、画素201aに含まれる素子は、数字の符号の後にアルファベットのaを付す。これは本図に限らず以降の図の説明でも基本的には同様である。
図3において、画素201a、201b、201c、201dが第1行に含まれる。画素201e、201f、201g、201hが、第1行の隣の第2行に含まれる。そして、画素201i、201j、201k、201lが第3行に含まれる。また、画素201a、201e、201iが第1列に含まれる。画素201b、201f、201jが、第1列の隣の第2列に含まれる。そして、画素201c、201g、201kが第3列に含まれ、画素201d、201h、201lが第4列に含まれる。
次に撮像装置の各部を詳細に説明する。画素201は、光電変換部202、第1転送トランジスタ261、第2転送トランジスタ262を含む。また、撮像装置は、撮像領域102に、第1増幅トランジスタ263、リセットトランジスタ267、クランプトランジスタ264、第2増幅トランジスタ265、選択トランジスタ266を備える。第1増幅トランジスタ263、リセットトランジスタ267、クランプトランジスタ264、第2増幅トランジスタ265、選択トランジスタ266は、複数の画素によって共有される。これらの複数の画素に共有される素子が、複数の画素のそれぞれに含まれた素子であるとしてもよい。つまり、画素増幅型の撮像装置としてもよい。
光電変換部202は入射光を信号電荷(電子、あるいは正孔)に変換する。光電変換部202の例としてフォトダイオードを示している。第1転送トランジスタ261、および第2転送トランジスタ262は、それぞれ光電変換部202の信号電荷を転送する。第1転送トランジスタ261および第2転送トランジスタ262のそれぞれの制御ノード(転送ゲート)に供給される電圧によって、光電変換部202からの電荷の転送が制御される。第1転送トランジスタ261および第2転送トランジスタ262は転送部を構成する。
第1増幅トランジスタ263は、電流源とともにソースフォロア回路を構成する。第1増幅トランジスタ263は入力ノード260を有する。
第1増幅トランジスタ263の出力ノードは、クランプ容量を介して第2増幅トランジスタ265の入力ノードに電気的に接続される。クランプ容量は、第1増幅トランジスタ263から出力された信号をクランプする。第1増幅トランジスタ263の入力ノード260がリセットされたときに出力される電圧をクランプ容量にクランプすることで、リセットノイズを除去することができる。
第2増幅トランジスタ265の出力ノードは、選択トランジスタ266を介して出力線272、273に電気的に接続される。出力線272および出力線273のそれぞれには不図示の電流源が接続される。第2増幅トランジスタ265は、出力線272あるいは出力線273に接続された電流源とともにソースフォロア回路を構成する。
リセットトランジスタ267は、第1増幅トランジスタ263の入力ノード260の電圧をリセットする。クランプトランジスタ264は、第2増幅トランジスタ265の入力ノードに所定の電圧を供給する。選択トランジスタ266は、増幅信号を出力する1つの第2増幅トランジスタ265を選択する。
本実施例では、リセットトランジスタ267、第1増幅トランジスタ263、第2増幅トランジスタ265、クランプトランジスタ264、選択トランジスタ266は、それぞれMOSトランジスタである。なお、これらのトランジスタが、バイポーラトランジスタなど、別の種類のトランジスタで構成されてもよい。
第1および第2転送トランジスタ261、262、リセットトランジスタ267、クランプトランジスタ264、選択トランジスタ266の制御ノードには、それぞれ制御線が接続される。制御線は垂直走査部104に電気的に接続される。垂直走査部104は、上述の各トランジスタを駆動するための駆動信号を制御線に供給する。
本実施例においては、第1の時刻から第2の時刻までの期間に光電変換部202で生じた電荷が、2つの電荷受領部に転送される。この点について、画素201fを例に説明する。第1転送トランジスタ261fは、光電変換部202fの電荷を第1増幅トランジスタ263aの入力ノード260aに転送する。第2転送トランジスタ262fは、光電変換部202fの電荷を第1増幅トランジスタ263fの入力ノード260fに転送する。つまり、画素の転送部が、光電変換部202の電荷を2つのノードに転送する。
本実施例では、第1転送トランジスタ261の制御ノードと、第2転送トランジスタ262fの制御ノードとが互いに接続されている。このため、電荷を転送するための駆動信号が転送ゲートに供給されると、第1および第2転送トランジスタ261、262が並行してオンする。これにより、光電変換部202で第1の時刻から第2の時刻までの期間に生じた電荷は、2つの電荷受領部にほぼ均等に転送される。言い換えると、光電変換部202で第1の時刻から第2の時刻までの期間に生じた電荷が2つの電荷受領部に分配される。2つの電荷受領部は、例えば画素201fでは、入力ノード260aと入力ノード260fである。なお、本実施例では、各光電変換部202から転送される電荷を便宜的に第1の信号と呼ぶ。
本実施例では、複数の光電変換部202から転送されてきた電荷が、第1増幅トランジスタ263の入力ノード260で加算される。例えば、第1増幅トランジスタ263aの入力ノード260aには、4つの光電変換部202a、202b、202e、202fの電荷が転送される。そして、入力ノード260aにおいて、上述の4つの光電変換部202a、202b、202e、202fからの電荷が加算される。そのため、第1増幅トランジスタ263aは4つの光電変換部202a、202b、202e、202fから入力ノード260aに転送される電荷の総量に基づいた信号を出力する。また、第1増幅トランジスタ263fの入力ノード260fには、4つの光電変換部202f、202g、202j、202kの電荷が転送され、そして入力ノード260fにおいて加算される。そのため、第1増幅トランジスタ263fは4つの光電変換部202f、202g、202j、202kから入力ノード260fに転送される電荷の総量に基づいた信号を出力する。このように、第1増幅トランジスタ263は、複数の第1の信号が加算されたことで得られる第2の信号を出力する。
図3において、電荷が加算される画素の組み合わせを破線270および一点鎖線271で例示している。それぞれの第1増幅トランジスタ263の入力ノード260において、4つの光電変換部からの電荷が加算される。
入力ノード260はFD領域を含んで構成される。光電変換部202の電荷は、転送トランジスタを介してFD領域に転送される。入力ノード260が1つのFD領域のみを含んで構成されてもよい。この場合は、画素に占める光電変換部の面積の割合を大きくできるため、感度や飽和を向上させることができる。あるいは、入力ノード260が配線によって電気的に接続された複数のFD領域を含んで構成されてもよい。この場合は、配線によって任意のFD領域を電気的に接続できる。そのため、特にカラーの撮像装置に用いられるとよい。また、入力ノード260が、FD領域と第1増幅トランジスタのゲート電極との間の電気的経路を構成する配線を含んで構成されてもよい。
以上に述べたように、ある光電変換部から分配された電荷と、別の光電変換部から分配された電荷とが加算されることが本実施例の特徴である。
また、本実施例では、上述の電荷の転送および加算によって、移動平均処理を行っている。移動平均処理とは、例えば、複数の信号に対して、加算前の信号の信号重心のピッチと加算後の信号の信号重心のピッチとが等しくなるように組み合わせを順次変えながら、加算を行うことである。本実施例では、この移動平均処理を行う際、それぞれの画素において、第1の時刻から第2の時刻までの期間に生じた電荷に基づく複数の信号が出力される。具体的には、1つの光電変換部2で第1の時刻から第2の時刻までの期間に生じた電荷が複数の電荷受領部に並行して転送される。なお、複数の信号の信号重心のピッチとは、いわゆるサンプリングピッチのことである。
移動平均処理について図4を用いてさらに詳細に説明する。図4(a)では4つの画素1a〜1dのレイアウトが模式的に示されている。画素1は、光電変換部2を含んで構成される。また、図4(a)では、光電変換部2から転送される電荷である第1の信号、および電荷の加算によって得られる第2の信号が矢印で示されている。
本実施例の駆動方法では、画素ごとに、第1の時刻から第2の時刻までの期間に生じた電荷に基づく複数の第1の信号3、4を出力する。ここで第1の信号3、4の露光期間の開始時刻、終了時刻は実質的に一致している。そのため、複数の第1の信号3、4は、いずれも同じ期間に生じた電荷に基づく信号である。そして、第1の信号3、4は、他の画素1で生じた電荷に基づく信号とは加算も平均化もされていない信号である。つまり、第1の信号は加算前あるいは平均化前の信号である。なお、本実施例では、第1の信号3、4は、それぞれ1つの光電変換部2から2つの電荷受領部へ並行して転送される電荷である。
本実施例の駆動方法では、1つの画素の複数の第1の信号3、4をそれぞれ別々の画素の第1の信号と加算することによって、移動平均処理を行う。具体的には、画素1aの第1の信号4aと、画素1bの第1の信号3bとを加算することによって、第2の信号5abを得る。画素1bの第1の信号4bと画素1cの第1の信号3cとを加算することによって、第2の信号5bcを得る。画素1cの第1の信号4cと画素1dの第1の信号3dとを加算することによって、第2の信号5cdを得る。そして、画素1dの第1の信号4dは、不図示の画素1eの第1の信号3eと加算され、第2の信号5deが得られる。このようにして、2つの画素1の第1の信号を、加算することで、複数の第2の信号を得る。つまり、第2の信号は加算後の信号である。なお、加算とは、電荷受領部での電荷の加算のことである。また、第2の信号は、例えば、加算された電荷の総量に基づいて、第1増幅トランジスタ263が出力する増幅信号である。
続いて、移動平均処理を行ったときの、加算前の信号の信号重心のピッチと、加算後の信号の信号重心のピッチとの関係について説明する。移動平均処理においては、第1方向において、加算前の信号の信号重心のピッチと加算後の信号の信号重心のピッチとが等しい。つまり、加算あるいは平均化の前後で、サンプリングピッチが変わらないと言える。別の観点としては、第1方向において、複数の加算前の信号の信号重心が含まれるような単位長さを考えた場合に、当該単位長さあたりに加算後の信号の信号重心が加算前の信号の信号重心と同じ数だけ含まれる。ここで、第1方向は半導体基板の主面に平行な方向である。
図4(a)では、光電変換部2の重心6が黒いドットで示されている。光電変換部2の重心6は、所定の平面における光電変換部2の外縁に基づいて幾何学的に決定されうる。ここで、所定の平面は、半導体基板の主面と平行な平面である。光電変換部2は一般に立体的な構造を有する。そこで、光電変換部2を切断するような平面において光電変換部2の外縁を決めてよい。
光電変換部2の外縁は、例えば光電変換部2を構成する半導体領域のうち、信号電荷が収集される半導体領域のPN接合面である。信号電荷が収集される半導体領域とは、信号電荷が電子の場合、フォトダイオードのN型半導体領域である。また、画素1が光電変換部2からの電荷の転送を制御する転送トランジスタを含む場合は、当該転送トランジスタのゲート電極の光電変換部2の側の端が、光電変換部2の外縁の一部に含まれてもよい。
撮像装置がフォトリソグラフィープロセスを用いて製造される場合には、当該フォトリソグラフィーに使われるマスクのパターンが、実質的に光電変換部2の外縁を規定している。例えば、信号電荷の収集される半導体領域を形成するプロセスにおけるマスクのパターンが、信号電荷の収集される半導体領域の外縁を実質的に規定しうる。また、転送トランジスタのゲート電極を形成するプロセスにおけるマスクのパターンが、ゲート電極の光電変換部2の側の端を実質的に規定しうる。
なお、所定の平面における光電変換部2の外縁に基づいて重心を決定することが困難な場合、あるいは、一義的には重心が決定されない場合は、光電変換部2の上に配された構造に基づいて重心の位置を決定してもよい。たとえば、平面で見たときに、配線によって1つの光電変換部に対して1つの開口が規定されているならば、当該開口の形状に基づいて重心を決定してもよい。1つの光電変換部に対して1つの開口が規定されていない場合は、例えばマイクロレンズなどの光学素子の重心を、光電変換部の重心としてもよい。
1つの光電変換部2で生じた電荷に基づく第1の信号の信号重心は、他の信号と加算されていなければ、当該1つの光電変換部2の重心6と同じ位置である。つまり、第1の信号の信号重心は、光電変換部2の重心6と同じ位置である。図4(a)における第1の信号3、4は加算前の信号である。したがって、加算前の信号の信号重心は、光電変換部2の重心6と同じ位置である。1つの光電変換部2の電荷に基づく信号が増幅されても、あるいはAD変換されても、信号重心の位置は変わらない。なお、特に区別する必要がない場合には、第1の信号3、4の信号重心、および光電変換部2の重心について同じ符号を付して説明する。
図4(a)が示す通り、4つの光電変換部2a〜2dの重心6a〜6dは、第1方向に沿ってピッチP1で並んでいる。つまり、加算前の信号の信号重心のピッチはP1である。換言すると、加算前の信号のサンプリングピッチがP1である。隣り合う2つの画素の光電変換部2の間隔が、必ずしもピッチP1と完全に等しい必要はない。たとえば、隣り合う2つの画素の光電変換部2の間隔が撮像装置の製造プロセスに起因してばらついてもよい。
図4(a)には、移動平均処理によって得られる第2の信号5の信号重心7が、白いドットで示されている。第2の信号5の信号重心7は、加算される2つの第1の信号の信号重心6の中点である。例えば、第2の信号5abの信号重心7abは、画素1aの第1の信号4aの信号重心6aと、画素1bの第1の信号3bの信号重心6bとの中点である。ここで、第1の信号3、4は加算前の信号であり、第2の信号は加算後の信号である。したがって、加算後の信号の信号重心は、加算される2つの加算前の信号の信号重心の中点に位置する。
図4(a)が示す通り、4つの第2の信号5ab、5bc、5cd、5deの信号重心7ab、7bc、7cd、7deは、第1方向に沿ってピッチP2で並んでいる。つまり、加算後の信号の信号重心のピッチはP2である。換言すると、加算後の信号のサンプリングピッチがP2である。
図4(a)が示すように、ピッチP1とピッチP2とは等しい。つまり、本発明に係る実施例の駆動方法では、加算前の信号の信号重心のピッチP1と加算後の信号の信号重心のピッチP2とが等しくなるように、複数の信号の加算を行っている。換言すれば、加算前の複数の信号のサンプリングピッチと、加算後の複数の信号のサンプリングピッチとが同じであるように、複数の信号に対して加算を行っている。このような加算の処理が、移動平均処理である。なお、ピッチP1とピッチP2とは厳密に等しい必要はない。たとえば撮像装置の製造プロセスに起因するばらつき程度の差があってもよい。
図4(b)に、画素のレイアウトが図4(a)とは異なる例を示す。図4(b)において、図4(a)と同じ機能を有する部材には図4(a)と同じ符号を付している。また、図4(b)においても、光電変換部2から転送される電荷である第1の信号、および電荷の加算によって得られる第2の信号が矢印で示されている。
図4(a)では4つの光電変換部2a〜2dの重心6a〜6dが一直線上に並んでいるのに対し、図4(b)では4つの光電変換部2a〜2dの重心6a〜6dがジグザグに配置されている。つまり、図4(b)では複数の画素が一直線上に並んでいない。図4(b)に示されるように、一直線上に配置されていない複数の画素の第1の信号に対して、移動平均処理を行ってもよい。
この場合には、光電変換部2の重心6のピッチおよび第2の信号5の信号重心7のピッチは、第1方向に沿った間隔に基づいて決められる。第1方向は、半導体基板の主面と平行な方向である。例えば、図4(b)において、光電変換部2aと光電変換部2bとが隣り合って配されている。また、第2の信号5abと第2信号5bcとは、互いに隣り合う位置に信号重心を有している。このとき、光電変換部2aの重心6aと光電変換部2bの重心6bとの距離は、第2の信号5abの信号重心7abと第2の信号5bcの信号重心7bcとの距離とは異なっている。しかし、第1方向における光電変換部2aの重心6aと光電変換部2bの重心6bとの間隔は、第1方向における信号重心7abと信号重心7bcとの間隔と等しい。
このように、第1方向における間隔を基準とすると、光電変換部2a〜2dのピッチP1と信号重心7ab〜7deのピッチP2は等しい。つまり、一直線上に配置されていない複数の画素の第1の信号に対して、移動平均処理が行われている。
図4(a)および(b)では、隣り合う2つの画素の光電変換部2は、いずれもピッチP1で配されている。しかし、移動平均処理を適用しうる撮像装置は、このようなレイアウトを有する撮像装置に限られることはない。複数の画素を1つの繰り返し単位として、複数の光電変換部2が周期的に配置されるレイアウトであってもよい。たとえば、図4(a)において、重心6aと重心6bとの間隔、および重心6cと重心6dとの間隔が第1の距離であり、重心6bと重心6cとの間隔、および重心6dと重心6eとの間隔が第1の距離とは異なる第2の距離であってもよい。これは、2つの画素を1つの繰り返し単位として、周期的に光電変換部2が配置される例である。
また、図1(a)および(b)では、簡便のために、加算後の信号(第2の信号)の信号重心が、2つの加算前の信号(第1の信号)の信号重心の中点である例を説明した。しかし、例えば加重平均を行う場合には、加重の度合いに応じて中点からオフセットした位置に信号重心が配置されうる。
図4(a)および(b)では、簡便のために、加算後の信号(第2の信号)の信号重心が、2つの加算前の信号(第1の信号)の信号重心の中点である例を説明した。3つ以上の画素の第1の信号を加算する場合でも、加算前の信号の信号重心の位置に基づいて加算後の信号の信号重心が決められる。そのために、本明細書では中点の意味が通常より広く解釈される。具体的には、3つ以上の加算前の信号の信号重心のそれぞれに、半導体基板の主面と平行な平面における2次元座標、例えばXY座標を割り当てる。このとき、X座標の平均値およびY座標の平均値が、それぞれ加算後の信号の信号重心のX座標およびY座標であってもよい。本明細書では、このように得られた点についても中点に含まれるものとする。
光電変換部2が等間隔に配置されない撮像装置において移動平均処理が行われる場合などは、加算前の信号の信号重心のピッチと、加算後の信号の信号重心のピッチとが一致しない可能性がある。しかし、別の観点として、電荷の加算を行った結果、第1方向に沿った単位長さあたりにおける複数の加算前の信号の信号重心の数と、第1方向に沿った同じ単位長さあたりにおける複数の加算後の信号の信号重心の数とが等しければ、移動平均処理が行われたと言える。
具体的な例として、図4(a)において、光電変換部2aの重心6aから光電変換部2dの重心6dまでの距離を単位長さとする。そうすると、この単位長さあたりに、信号重心6aおよび6dを含む4つの信号重心6a〜6dが位置する。一方で、図4では、第2の信号5abの信号重心7abから第2の信号5deの信号重心7deまでの距離が光電変換部2aの重心6aから光電変換部2dの重心6dまでの距離と等しい。つまり、単位長さあたりに、信号重心7abおよび7deを含む4つの信号重心が含まれる。
このように、加算前の信号と加算後の信号について第1方向に沿った単位長さあたりに同じ数の信号重心が含まれるように、複数の信号に対して組み合わせを順次変えながら加算することも、移動平均処理に含まれる。
続いて、本実施例において、移動平均処理によって得られる第2の信号の信号重心について、図5を用いて具体的に説明する。図5は、光電変換部202のレイアウトを模式的に示している。また、図5には、光電変換部202の重心6が黒いドットで示されている。光電変換部202の重心6の位置が、当該光電変換部202を含む画素201の第1の信号の信号重心6の位置である。本実施例では、画素201の第1の信号は、当該画素201の光電変換部202において第1の時刻から第2の時刻までの期間に生じ、光電変換部202から転送される電荷である。画素201の第1の信号は、加算前の信号である。
また、図5では、複数の画素201の第1の信号が加算されたことで得られる第2の信号の信号重心7の位置が白いドットで示されている。第2の信号は、入力ノード260で加算された電荷の総量に基づいて、第1増幅トランジスタ263が出力する増幅信号、あるいはその信号が第1増幅トランジスタ263の後段で増幅された信号である。
第2列に含まれる画素を例に説明する。画素201bの第1の信号(加算前の信号)の信号重心は、光電変換部202bの重心6bの位置である。同様に、画素201f、201jの信号の信号重心は、それぞれ光電変換部202f、202jの重心6f、6jの位置である。これらの光電変換部202b、202f、202は、列方向に沿って所定のピッチP1で配されている。つまり、加算前の信号の信号重心のピッチはP1である。この実施例では列方向が第1方向である。
信号重心7A〜7Dは、複数の光電変換部からの第1の信号が加算されたことで得られる第2の信号(加算後の信号)の信号重心である。信号重心7Aは、画素201bの第1の信号と、画素201cの第1の信号と、さらに不図示の2つの画素の第1の信号とが加算されたことで得られる第2の信号の信号重心を示している。信号重心7Bは、図3の破線270で囲まれた4つの画素の第1の信号が加算されたことで得られる第2の信号の信号重心である。信号重心7Cは、図3の一点鎖線271で囲まれた4つの画素の第1の信号が加算されたことで得られる第2の信号の信号重心である。信号重心7Dは、画素201iの第1の信号と、画素201jの第1の信号と、さらに不図示の2つの画素の第1の信号とが平均化されたことで得られる第2の信号の信号重心を示している。列方向において、信号重心7A〜7DはピッチP2で配されている。
図5が示す通り、ピッチP1とピッチP2は等しい。言い換えると、加算の前後でサンプリングピッチが変わっていない。つまり、第2列に含まれる画素の信号が移動平均処理されている。そのため、列方向の解像度を落とすことなくモアレを低減した信号を得ることができる。
また、本実施例では、行方向に沿って配された複数の画素の第1の信号についても、移動平均処理が行われている。例えば、光電変換部202e〜202hの重心6a〜6dのピッチが、加算後の信号の信号重心7F、7B、7C、7G、7Hの行方向のピッチと等しい。そのため、行方向の解像度を落とすことなくモアレを低減した信号を得ることができる。
なお、本実施例の移動平均処理によれば、それらの信号重心が行方向および列方向に1画素ずつずれている複数の第2の信号が得られる。そこで、複数の第2の信号に基づく補完処理を行ってもよい。例えば、それぞれが信号重心7A、7B、7C、7Gを有する4つの第2の信号を用いて、図5の点線で示されたドット8の位置に信号重心を有する第3の信号を合成してもよい。このような補完処理によって、モアレなど高周波成分に起因するノイズが低減された、高い解像度の画像を得ることができる。
あるいは、加算後の信号(第2の信号)に対して移動平均処理を行ってもよい。例えば、信号重心7Bを有する第2の信号を、周囲の4つ第2の信号と加算あるいは平均化することで、それぞれが黒いドット6a、6b、6e、6fの位置に信号重心を有する4つの第4の信号を得ることができる。このように、繰り返し移動平均処理を行うことで、モアレなど高周波成分に起因するノイズをさらに低減することができる。
上述の補完処理や、加算後の信号に対する移動平均処理は、信号処理部105に含まれる列回路で行われうる。特に、加算後の信号に対する移動平均処理は、後述の実施例として説明する方法により行われる。
続いて、本実施例の駆動方法について詳細に説明する。図6(a)、(b)は、駆動信号のタイミングチャート図である。駆動信号RESは、リセットトランジスタ267に接続された制御線に供給される。駆動信号TXは、第1転送トランジスタ261の制御ノードおよび第2転送トランジスタ262の制御ノードに接続された制御線に供給される。駆動信号CLAMPは、クランプトランジスタ264の制御ノードに接続された制御線に供給される。駆動信号SELは、選択トランジスタ266の制御ノードに接続された制御線に供給される。
本実施例では、駆動信号RES、駆動信号TX、駆動信号CLAMPは、全ての画素に同期して供給される。駆動信号SEL(n)、駆動信号SEL(n+1)、駆動信号SEL(n+2)は異なる行の選択トランジスタの制御線に供給される。
駆動信号はハイレベルとローレベルの少なくとも2つの値を取りうる。ハイレベルの駆動信号が供給されると、トランジスタあるいはスイッチがオンとなる。ローレベルの駆動信号が供給されると、トランジスタあるいはスイッチがオフとなる。
図6(a)の駆動信号による動作を説明する。図6(a)の時刻T1より前には、全ての駆動信号がローレベルである。時刻T1において、駆動信号RESおよび駆動信号TXがローレベルからハイレベルに遷移する。これにより、光電変換部202がリセットされる。その後、駆動信号RESおよび駆動信号TXがハイレベルからローレベルに遷移する。この時点から、光電変換部2で電荷の蓄積が開始される。つまり露光期間が開始される。本実施例では、第1の時刻は、時刻T1の後に第1転送トランジスタ261および第2転送トランジスタ262がオフする時刻である。
時刻T2において、駆動信号RESおよび駆動信号CLAMPがローレベルからハイレベルに遷移する。これにより、第1増幅トランジスタ263の入力ノード260、および第2増幅トランジスタ265の入力ノードの電圧がリセットされる。時刻T2から所定の時間が経過した後、駆動信号RESおよび駆動信号CLAMPがハイレベルからローレベルに遷移する。これによりリセットノイズを除去することができる。
時刻T3において、駆動信号TXがローレベルからハイレベルへ遷移する。このとき、各画素の光電変換部202に蓄積された電荷が2つの入力ノード260に並行して転送される。別の観点では、各画素の光電変換部202に蓄積された電荷が2つの入力ノード260に分配される。また、このとき入力ノード260には複数の光電変換部202から転送されてくるため、それらの電荷が入力ノード260において加算される。そして、転送された電荷の総量に基づいて、第1増幅トランジスタ263の出力ノードの電圧が変化する。時刻T3から所定の時間が経過した後、駆動信号TXがハイレベルからローレベルに遷移する。なお、本実施例では、第2の時刻は、第1転送トランジスタ261および第2転送トランジスタ262がオンする時刻である。つまり、時刻T3において、それぞれの光電変換部202において、第1の時刻から第2の時刻に生じた電荷が、2つの電荷受領部に並行して転送される。
時刻T4以降は、順次駆動パルスSEL(n)、SEL(n+1)、SEL(n+2)がローレベルからハイレベルに遷移する。これにより、複数の第2の信号が、出力線272、273に順次出力される。出力線272、273に出力された第2の信号は、信号処理部105に伝達され、所定の信号処理がなされる。
選択トランジスタ266aと選択トランジスタ266fは異なる出力線に接続されるため、図6(a)では、駆動信号SEL(n)と駆動信号SEL(n+1)が同期している。このような駆動によって、高速に信号を読み出すことができる。
図6(b)に示すように、駆動信号SEL(n)と駆動信号SEL(n+1)とが順次ハイレベルに遷移してもよい。図6(b)に示す駆動信号による動作によれば、2つの出力線272、273のうち一方にのみ第2の信号が出力される。そのため、2つの列回路に同じ第2の信号を入力することができる。したがって、信号処理部105で移動平均処理を行うことが容易となる。
以上に説明した通り、本実施例では、1つの光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷が、転送部によって、2つの電荷受領部に並行して転送される。2つの電荷受領部の少なくとも一方には、他の光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷が転送される。そしてその電荷受領部で転送されてきた電荷が加算される。このような構成によれば、簡単な構成で信号の加算を行うことができるとともに、同じ期間に生じた電荷を加算するため画質を向上させることができる。
また、本実施例では、移動平均処理も並行して行われる。このような構成によれば、モアレなどの、高周波成分に起因するノイズを低減した信号を得ることができる。特に、本実施例では、移動平均処理に用いられる信号が、同じ期間に得られた電荷に基づく信号である。そのため、露光期間の異なる信号を用いて移動平均処理を行う場合に比べて画質の低下を抑制することができる。
また、本実施例では各画素において、移動平均処理、具体的には電荷の加算を行っている。そのため、撮像装置から出力された画像信号に対する付加的な処理を省略することができる。結果として、撮像動作を高速化することができる。あるいは、撮像システム全体の構成を小型化することができる。
なお、本実施例では、グローバルシャッタによる露光を行っている。そのため、駆動信号TXはすべての画素に同期して供給される。したがって、第1および第2転送トランジスタ261、262がオンすることで、全ての画素の信号に対して一括して移動平均処理が行われる。つまり、複数の加算動作が並行して行われる。このような構成によれば、高速で移動する被写体のひずみを低減することができるため、画質を向上させることができる。
なお、本実施例の変形例では、ローリングシャッタによる露光を行ってもよい。ローリングシャッタの場合では、異なる行の光電変換部で電荷が蓄積される期間の一部が重なっている。そのため、互いに全く重ならない2つの期間に蓄積された電荷が加算される場合に比べて、画質を向上させることができる。
本発明の別の実施例について説明する。本実施例では、画素にカラーフィルタが設けられている点が、実施例1と異なる。そして、本実施例では、同じ色のカラーフィルタが配された複数の画素の電荷を加算している。つまり、同じ色のカラーフィルタが配された複数の画素の第1の信号に対して移動平均処理を行う。本実施例において特に説明のない部分は、実施例1と同様である。
図7(a)は、本実施例の撮像装置が有する複数の画素を模式的に示している。1つの小さい四角形が、図2の撮像領域102における1つの画素が配される領域を模式的に表している。図3の回路図において1つの画素201に含まれる素子として示された一群の素子が、この1つの四角形の中に配される。
なお、図7では、画素を四角形で模式的に示している。しかし、1つの画素の領域は、必ずしも四角形である必要はない。また、図7は、複数の画素が正方格子に配された例を示している。しかし、必ずしも正方格子に限られず、複数の画素が2次元状に周期的に配されていればよい。
図7に示された画素の回路構成は、実施例1と同様である。本実施例に係る撮像装置は、複数のFD領域とそれらを互いに電気的に接続する配線とを含んで構成された入力ノード260を有する。そのため、図1(b)のように、画素201aと画素201bとの間に、当該2つの画素201a、201bとは接続されない別の画素を配置することができる。つまり、間に別の光電変換部を挟んで配置された2つの光電変換部からの電荷を加算することができるのである。そのため、ベイヤー配列のように、隣り合う画素で異なる色のカラーフィルタが配される場合でも、電荷の加算を行うことができる。
本実施例の撮像装置は3色のカラーフィルタを有する。図7(a)は、各画素に配されたカラーフィルタの色を示している。Rは、第1の波長帯、例えば赤色のカラーフィルタが配されていることを示す。GrおよびGbは、第2の波長帯、例えば緑色のカラーフィルタが配されていることを示す。Bは、第3の波長帯、例えば青色のカラーフィルタが配されていることを示す。本実施例の撮像装置は、図が示す通り、いわゆるベイヤー配列のカラーフィルタを備えている。しかし、カラーフィルタの配列はこれに限られない。少なくとも2色以上のカラーフィルタが配されていればよい。
図7(a)において、電荷が加算される画素の組み合わせが、実線301〜312および一点鎖線313〜324で示される。そして、本実施例では、実線あるいは一点鎖線で囲まれた複数の画素のうち、同じ色のカラーフィルタが配された複数の画素の光電変換部の電荷を加算する。
実線301に囲まれた16個の画素を例に説明する。まず、それぞれの画素の光電変換部の電荷は、実施例1と同じように、2つの入力ノード260に並行して転送される。
画素A1、画素A3、画素C1、画素C3が、1つの入力ノード260を共有する。つまり、画素A1、画素A3、画素C1、画素C3の光電変換部のそれぞれにおいて第1の時刻から第2の時刻までの期間に生じた電荷が、1つの入力ノード260で加算される。これにより赤色(カラーフィルタR)に対応した第2の信号が得られる。その他の色に関しても同様である。ここで、Grで示された画素と、Gbで示された画素には、いずれも緑色のカラーフィルタが配されている。しかし、異なる組み合わせとして、第1の信号が加算される。
他の実線302〜312、および一点鎖線313〜324で囲まれた16個の画素についても、同じ色の画素同士で、電荷が加算される。なお、図7において、一点鎖線316、320〜324に囲まれた画素の数は16個より少ない。しかし、実際には、不図示の画素が含まれる。
本実施例では、同じ色のカラーフィルタが配された複数の画素の信号に対して移動平均処理が行われる。具体例として、画素C3の第1の信号の加算について説明する。実線301で囲まれた画素A1、画素A3、画素C1、画素C3の4つの第1の信号が加算される。一方で、一点鎖線313で囲まれた画素C3、画素C5、画素E3、画素E5の4つの第1の信号が加算される。
図7(b)は、加算により得られた第2の信号の信号重心を示している。図7(b)では、加算により得られた第2の信号の信号重心が位置する画素を、R、Gb、Gr、またはBで示している。例えば、図7(a)の画素A1、画素A3、画素C1、画素C3の第1の信号が加算されたことによって得られた第2の信号の信号重心は、画素B2の領域に位置する。
図7(a)と図7(b)とを参照して、加算前の信号の信号重心のピッチと加算後の信号の信号重心のピッチの関係を説明する。図7(a)において、例えば6列目に含まれる画素A6、C6、E6、G6、I6、K6には、緑色のカラーフィルタGrが配されている。これらの画素A6、C6、E6、G6、I6、K6は、2画素分のピッチで配されている。つまり、画素A6、C6、E6、G6、I6、K6の第1の信号の信号重心は、列方向において2画素分のピッチで並んでいる。本実施例では列方向が第1方向である。
画素A6、C6、E6、G6、I6、K6の信号に対する移動平均処理として、実線302、306、310、および一点鎖線313、317、321が示す組み合わせで、同じ緑色のカラーフィルタGrが配された画素の第1の信号の加算が行われる。図7(b)において、上述の組み合わせでの加算で得られた第2の信号の信号重心は、それぞれ、画素B7、D5、F7、H5、J7、L5の位置にある。つまり、緑色のカラーフィルタGrに対応する第2の信号の信号重心は、列方向において2画素分のピッチで並んでいる。このように、本実施例では、同じ色の複数の画素の信号に対して移動平均処理が行われている。
以上に述べた通り、本実施例では、複数の色のカラーフィルタを有する撮像装置において、色ごとに移動平均処理を行っている。このような構成によれば、実施例1の効果に加えて、混色を低減することができる。
本発明の別の実施例について説明する。本実施例では、移動平均処理を行う画素の組み合わせが実施例1および実施例2と異なる。具体的には、1つの画素の第1の信号について、4通りの組み合わせの加算が行われる。そのために、1つの画素において、第1の時刻から第2の時刻までの期間に生じた電荷を4つの電荷受領部へ並行して転送している。本実施例において特に説明のない部分は、実施例1あるいは実施例2と同様である。
図8(a)は、本実施例の撮像装置が有する複数の画素を模式的に示している。画素の位置の標記は図7と同じである。また、本実施例の画素には、カラーフィルタが配されている。
本実施例では、1つの画素について、当該1つの画素を含む4つの異なる組み合わせにおいて、第1の信号の加算を行う。4つの組み合わせは、実線401、破線402、一点鎖線403、二点鎖線404が示す画素の組み合わせである。
具体的に、画素C3を例に説明する。第1の組み合わせとして、画素A1、画素A3、画素C1、画素C3の4つの画素の光電変換部の電荷が加算される。第2の組み合わせとして、画素A3、画素A5、画素C3、画素C5の4つの画素の光電変換部の電荷が加算される。第3の組み合わせとして、画素C1、画素C3、画素E1、画素E3の4つの画素の光電変換部の電荷が加算される。そして、第4の組み合わせとして、画素C3、画素C5、画素E3、画素E5の4つの画素の光電変換部の電荷が加算される。他の色のカラーフィルタが配された画素についても、ある画素に着目した場合に、当該画素を含む4つの異なる組み合わせで、第1の信号の加算が行われる。
上述のような移動平均処理を行うために、本実施例に係る撮像装置は、1つの画素の光電変換部の電荷が4つの電荷受領部に並行して転送される。例えば、1つの光電変換部に4つの転送トランジスタが接続される。
図8(b)は、電荷の加算によって得られた複数の第2の信号の信号重心を示している。図8(b)では、第2の信号の信号重心が位置する画素を、R、Gb、Gr、またはBで示している。例えば、図8(a)の画素A1、画素A3、画素C1、画素C3の第1の信号が加算されたことで得られる第2の信号の信号重心は、画素B2の領域に位置する。
本実施例では、1つの画素の第1の信号について、4つの異なる組み合わせで加算を行っている。そのため、加算で得られる第2の信号をより多く得ることができる。図7(a)と図8(a)とを比較すると、画素の配列は実施例2と実施例3とで同じである。しかし、実施例2では、図7(b)の画素B4、B5、C4、C5など、加算後の信号の信号重心が配されない画素がある。これに対して、本実施例では、図8(b)が示すように、外周の画素を除いて加算後の信号の信号重心が配される。つまり、加算後の信号である第2の信号をより多く得ることができる。結果として、解像度の高い画像を得ることができる。
なお、実施例1あるいは実施例2において、複数の第1の信号の加算によって得られた複数の第2の信号に基づいて補完処理を行うことで解像度の高い画像を得ることができる。これに対して、本実施例によれば、そのような補完処理を省略することができる。
以上に述べた通り、本実施例によれば、実施例1あるいは実施例2の効果に加えて、解像度の高い画像を得ることができる。
本発明の別の実施例について説明する。本実施例は、実施例1〜3において移動平均処理によって得られた複数の第2の信号に対して、信号処理部でローパスフィルタ処理を行うところが特徴である。ローパスフィルタ処理は、移動平均処理であってもよい。あるいは、通常の画素加算でもよい。そこで、以下では信号処理部の構成と、その信号処理について説明する。他の構成は、全て実施例1〜3と同様である。
図2は、本実施例の撮像装置の全体ブロック図である。撮像装置101は半導体基板を用いて1つのチップで構成することができる。撮像装置101は、撮像領域102に配された複数の画素を有している。本実施例では、撮像領域102、制御部103、垂直走査部104、及び出力部106の構成は実施例1〜3と同様であるため、詳細な説明は省略する。
図9は、信号処理部105の一部を示す等価回路である。図9では、信号処理部105に含まれる列回路と水平出力線が示されている。図9では2列分の列回路が示されている。実際には、撮像領域102に配された画素列に対応してさらに多数の列回路が配される。
出力線530a、530bには、撮像領域102における移動平均処理によって得られた第2の信号が出力される。撮像領域102が図3の構成の場合には、出力線530a、530bは、それぞれ図3の出力線272、273である。
列増幅回路600a、600bは、それぞれ出力線530a、530bの信号を増幅した増幅信号を出力する。列増幅回路600a、600bは、オペアンプ660、容量610、容量680、帰還スイッチ670を含んで構成される。
出力線530は、容量610を介してオペアンプ660の反転入力端子に電気的に接続される。オペアンプ660の非反転入力端子には所定の電圧VC0Rが供給される。オペアンプ660の反転入力端子と出力端子との間の電気的経路に、帰還スイッチ670と容量680とが並列に配される。帰還スイッチ670の制御ノードには制御線が接続される。帰還スイッチ670の制御ノードには駆動信号PC0Rが供給される。
列増幅回路600a、600bの出力ノードは、それぞれサンプルホールドスイッチ(以下、SHスイッチ)700a、700bを介してノード620sに電気的に接続される。ノード620sには、第1〜第3のメモリ選択スイッチ630a、630b、630cを介して、容量C1、容量C2、容量C3が電気的に接続される。
ノード620sは、水平転送スイッチ650を介して、水平出力線570sに電気的に接続される。水平転送スイッチ650は、不図示の水平走査回路から供給される駆動信号CSELによって制御される。水平出力線570sは、出力部106に電気的に接続される。
続いて、本実施例の駆動方法について詳細に説明する。図10は、駆動信号のタイミングチャート図である。図10の駆動信号SEL(n)、SEL(n+1)は、図5および図10の駆動信号SEL(n)、SEL(n+1)である。つまり、図10の駆動信号SEL(n)、SEL(n+1)はそれぞれ撮像領域102の選択トランジスタに供給される。図10では、図5および図10において駆動信号SEL(n)、SEL(n+1)がハイレベルとなる期間の前後のタイミングチャートを示している。
図10において、駆動信号PC0Rは、帰還スイッチ670に接続された制御線に供給される。駆動信号SHA、駆動信号SHBはそれぞれSHスイッチ700a、700bの制御ノードに接続された制御線に供給される。駆動信号SW1〜SW3は、それぞれメモリ選択スイッチ630a、630b、630cの制御ノードに接続された制御線に供給される。駆動信号CSEL(m)は水平転送スイッチ650の制御ノードに接続された制御線に供給される。
本実施例では制御部103が、駆動信号PC0R、駆動信号SHA、駆動信号SHB、駆動信号SW1〜SW3を供給する。また、水平走査回路が駆動信号CSEL(m)を供給する。
駆動信号はハイレベルとローレベルの少なくとも2つの値を取りうる。ハイレベルの駆動信号が供給されると、トランジスタあるいはスイッチがオンとなる。ローレベルの駆動信号が供給されると、トランジスタあるいはスイッチがオフとなる。
時刻T1より前に、移動平均処理が行われているものとする。つまり、時刻T1より前に、図6の時刻T1から時刻T4までの動作が行われているものとする。また、容量C1および容量C2には前の読み出し行である(n−1)行の信号が保持されている。
時刻T1において、駆動信号PC0Rがローレベルからハイレベルに遷移する。他の駆動信号はローレベルである。これにより、列増幅回路600a、600bがリセットされる。なお、このときは出力線530a、530bに所定の電圧が供給されている。あるいは、出力線530aに、第2増幅トランジスタ265aの入力ノードの電圧がリセットされた状態に基づく信号が出力されていてもよい。時刻T1から所定の時間が経過した後、駆動信号PC0Rがハイレベルからローレベルに遷移する。
時刻T2において駆動信号SEL(n)がローレベルからハイレベルに遷移する。これにより、出力線530aに撮像領域102での移動平均処理によって得られた第2の信号が出力される。
続いて、時刻T3に駆動信号SHA、駆動信号SW1、駆動信号SW3がローレベルからハイレベルに遷移する。これにより、列増幅回路600aが、出力線530aの第2の信号を増幅し、増幅信号をノード620sに出力する。そして、列増幅回路600aから出力された増幅信号が、容量C1および容量C3に保持される。時刻T3から所定の時間が経過した後、駆動信号SHA、駆動信号SW1、駆動信号SW3がハイレベルからローレベルに遷移する。
時刻T4において、駆動信号SW1、および駆動信号SW2がローレベルからハイレベルに遷移する。これによって、容量C1に保持された信号(第2の信号に基づく増幅信号)と、容量C2に保持された信号(第2の信号に基づく増幅信号)とがノード620sにおいて平均化される。このとき、容量C1には時刻T3で読み出された信号が保持されている。そして、容量C2には前の読み出し行である(n−1)行の信号が保持されている。つまり、時刻T4において、(n−1)行の第2の信号とn行の第2の信号とが平均化される。時刻T4から所定の時間が経過した後、駆動信号SW1、および駆動信号SW2がハイレベルからローレベルに遷移する。
時刻T5から水平転送期間が開始される。具体的には、水平走査回路が駆動信号CSELを順次出力する。これにより、ノード620sの信号が容量分割によって水平出力線570sに出力される。水平出力線570sに出力された信号は、出力部106によって撮像装置の外部に出力される。
次に時刻T6において駆動信号PC0Rがローレベルからハイレベルに遷移する。これにより、帰還スイッチ670がオンし、列増幅回路600a、600bがリセットされる。なお、このときは出力線530a、530bに所定の電圧が供給されている。あるいは、出力線530bに、第2増幅トランジスタ265fの入力ノードの電圧がリセットされた状態に基づく信号が出力されていてもよい。時刻T6から所定の時間が経過した後、駆動信号PC0Rがハイレベルからローレベルに遷移する。
時刻T7において駆動信号SEL(n+1)がローレベルからハイレベルに遷移する。これにより、出力線530bに撮像領域102での移動平均処理によって得られた信号が出力される。
続いて、時刻T8に駆動信号SHB、駆動信号SW1、駆動信号SW2がローレベルからハイレベルに遷移する。これにより、列増幅回路600bが、出力線530bの第2の信号を増幅し、増幅信号をノード620sに出力する。そして、列増幅回路600bから出力された増幅信号が、容量C1および容量C2に保持される。時刻T8から所定の時間が経過した後、駆動信号SHB、駆動信号SW1、駆動信号SW2がハイレベルからローレベルに遷移する。
時刻T9において、駆動信号SW1、および駆動信号SW3がローレベルからハイレベルに遷移する。これによって、容量C1に保持された信号(第2の信号に基づく増幅信号)と、容量C3に保持された信号(第2の信号に基づく増幅信号)とがノード620sにおいて平均化される。このとき、容量C1には時刻T8で読み出された信号が保持されている。そして、容量C2には時刻T3で読み出された、前の読み出し行であるn行の信号が保持されている。つまり、時刻T4において、n行の第2の信号と(n+1)行の第2の信号とが平均化される。時刻T4から所定の時間が経過した後、駆動信号SW1、および駆動信号SW2がハイレベルからローレベルに遷移する。
時刻T10から水平転送期間が開始される。具体的には、水平走査回路が駆動信号CSELを順次出力する。これにより、ノード620sの信号が容量分割によって水平出力線570sに出力される。水平出力線570sに出力された信号は、出力部106によって撮像装置の外部に出力される。
ここで、駆動信号SEL(n−1)、SEL(n)、SEL(n+1)、SEL(n+2)・・・、が順次ハイレベルになることで、撮像領域102から出力される第2の信号をSn−1、Sn、S+1、Sn+2・・・、とする。本実施例では、信号処理部において、信号Sn−1と信号Snとを平均化した第3の信号、信号Snと信号Sn+1とを平均化した第3信号、信号Sn+1と信号Sn+2とを平均化した第3の信号・・・、を順次出力している。すなわち、移動平均処理を行っている。
以上に説明したように、本実施例では、撮像領域102での移動平均処理によって得られた複数の第2の信号が、信号処理部105においてさらに移動平均処理される。このような構成によれば、実施例1〜3のいずれかの効果に加えて、さらにモアレなどの高周波成分を低減することができる。
また、本実施例の変形例では、通常の画素加算が行われる。この場合、信号重心が行方向および列方向に1画素ずつずれている2つの第2の信号を平均化するだけでもよい。例えば、図5において、信号重心7Aを有する第2の信号と、信号重心7Bを有する第2の信号とを平均化する。また、信号重心7Cを有する第2の信号と、信号重心7Dを有する第2の信号とを平均化する。一方で、信号重心7Bを有する第2の信号と、信号重心7Cを有する第2の信号との平均化は行わない。これにより、平均化前の信号のピッチに対して、平均化後の信号のピッチが2倍になる。つまり解像度が落ちるが、その代わりに、画質とフレームレートを向上させることができる。
本発明の別の実施例について説明する。本実施例に係る撮像措置は、第2増幅トランジスタと出力線との間の電気経路に、第2の信号を保持する保持容量を有する。そして、保持容量に保持された第2の信号が順次出力線に読み出される。他の部分は、実施例1〜4のいずれかと同様である。そこで、実施例1〜4と異なる点のみを説明する。
図11は、本実施例の撮像装置の等価回路を示す。図3と同じ機能を有する部分には同じ符号を付し、詳細な説明は省略する。また、同じ機能を有する素子には、同じ数字の符号が付されている。
第2増幅トランジスタ265と出力線272、273との間の電気経路に、SHスイッチ255、保持容量268、第3増幅トランジスタ269が配される。選択トランジスタ266は、第3増幅トランジスタ269と、出力線272、273との間の電気経路に配される。SHスイッチ255、第3増幅トランジスタ269は例えばMOSトランジスタである。第1増幅トランジスタ263、第2増幅トランジスタはそれぞれ不図示の電流源とソースフォロア回路を構成する。
第2増幅トランジスタ265から出力された信号が、SHスイッチ255を介して、保持容量268に伝達される。SHスイッチ255がオフすることで、保持容量268が信号を保持する。第2増幅トランジスタ265からは、電荷が加算されたことで得られる第2の信号が出力されるため、保持容量268には第2の信号が保持される。
第3増幅トランジスタ269は、保持容量268に保持された第2の信号を出力線272、273に出力する。選択トランジスタ266が、信号を出力する1つの第3増幅トランジスタ269を選択する。
本実施例によれば、第2の信号が出力線272、273に読み出されるまで、第2の信号を保持容量268に保持することができる。保持容量268で信号を保持すると、FD領域を含むノード、例えば入力ノード260で信号を保持する場合に比べて、暗電流などの影響を低減することができる。つまり、本実施例によれば、実施例1〜4の効果に加えて、ノイズを低減することができる。
本発明の別の実施例について説明する。本実施例に係る撮像措置は、第1増幅トランジスタの出力ノードと出力線との間の電気経路に選択トランジスタが配される。そして、第2トランジスタおよび第3トランジスタは省略されている。他の部分は、実施例1〜4のいずれかと同様である。そこで、実施例1〜4と異なる点のみを説明する。
図12は、本実施例の撮像装置の等価回路を示す。図3と同じ機能を有する部分には同じ符号を付し、詳細な説明は省略する。また、同じ機能を有する素子には、同じ数字の符号が付されている。
第1増幅トランジスタ263は、入力ノード260で加算された電荷に基づく第2の信号を出力線272、273に出力する。選択トランジスタ266が、信号を出力する1つの第1増幅トランジスタ263を選択する。
本実施例によれば、撮像領域に配されるトランジスタの数を少なくすることができるため、光電変換部の占める割合を大きくできる。その結果、感度や飽和を向上させることができる。つまり、本実施例によれば、実施例1〜4の効果に加えて、感度や飽和を向上させることができる。
本発明のさらに別の実施例について説明する。本実施例では、1つの光電変換部に接続された2つの転送トランジスタが、互いに独立に制御される点が、実施例1と異なる。他の部分は、全て実施例1と同様である。そこで、実施例1と異なる点を中心に説明する。説明が省略された部分は実施例1と同様である。
図13に本実施例の撮像装置の等価回路を示す。図3と同じ部分には、同じ符号を付してある。図3と同じ部分についての詳細な説明は省略する。
図13が示す通り、本実施例では、第1転送トランジスタ261の制御ノードと、第2転送トランジスタ262の制御ノードとに、別々の制御線が電気的に接続される。第1転送トランジスタ261の制御ノードに接続された制御線には、駆動信号TX1が供給される。第2転送トランジスタ262の制御ノードに接続された制御線には、駆動信号TX2が供給される。
図13の撮像装置は2つのモードで駆動される。第1のモードは、実施例1と同様の駆動方法である。つまり、第1モードでの駆動方法は1つの光電変換部から2つの電荷受領部に並行して電荷を転送するステップを含む。
第2のモードでの駆動方法は、1つの光電変換部から1つの電荷受領部にのみ電荷を転送するステップを含む。この第2のモードでの駆動方法によれば、それぞれの光電変換部202に蓄積された電荷に基づく信号を個別に読み出すことができる。したがって、解像度の高い画像を得ることができる。
これらの第1のモードと第2のモードとは、例えば制御部103によって切り替えられる。あるいは、撮像装置の外部からの信号によって、第1のモードと第2のモードとが切り替えられてもよい。
以上に述べたように、本実施例では、第1のモードと第2のモードとを切り替えて撮像装置を駆動することができる。そのため、実施例1の効果に加えて、解像度の高い画像を得ることができる。
本発明のさらに別の実施例について説明する。本実施例では、撮像面での位相差AFを行うことが特徴である。そこで、実施例1と異なる点を中心に説明する。説明が省略された部分は実施例1と同様である。
図2は、本実施例の撮像装置の全体ブロック図である。撮像装置101は半導体基板を用いて1つのチップで構成することができる。撮像装置101は、撮像領域102に配された複数の画素を有している。本実施例では、制御部103、垂直走査部104、及び出力部106の構成は実施例1と同様であるため、詳細な説明は省略する。
図14は、実施例の撮像領域102の等価回路を示している。ここで、図3と同じ機能を有する素子には、同じ数字を付している。これらの素子についての詳細な説明は省略する。ただし、図14では、同じ機能を有する素子が複数配されるため、数字の後にアルファベットを付して区別する。
本実施例では、撮像面での位相差AFを行うために、1つの光電変換部202が2つの部分領域を含む。1つの光電変換部202において、第1の時刻から第2の時刻までの期間に生じた電荷が、その2つの部分領域に分配される。そして、それぞれの分割領域に蓄積された電荷が転送される。このようにして分配された電荷に基づく2つの信号が読み出される。その2つの信号の差分に基づいて、位相差あるいは焦点のずれを検出する。なお、本実施例では、2つの分割領域の電荷に基づく2つの信号を読み出すための回路をアルファベットのRとLを付して区別している。
本実施例では、それぞれの光電変換部202に1つのレンズが配されてもよい。また、光電変換部202の2つの分割領域の間に、信号電荷に対するポテンシャルバリアが形成されてもよい。このポテンシャルバリアの高さは、当該光電変換部202と他の光電変換部202との間のポテンシャルバリアの高さよりも低い。このような構成によって、光電変換部202の2つの分割領域の一方が飽和した場合でも、他の光電変換部へ電荷が漏れ出すことを低減できる。蓄積される電荷が電子の場合は、ポテンシャルバリアは、P型の半導体領域で構成されうる。また、蓄積される電荷がホールの場合は、ポテンシャルバリアは、N型の半導体領域で構成されうる。
本実施例では、光電変換部202aにおいて、第1の時刻から第2の時刻までの期間に生じた電荷のうち、光電変換部202aの2つの分割領域の一方に蓄積された電荷が、第1転送トランジスタ261aによって、入力ノード260aRに転送される。光電変換部202aにおいて、第1の時刻から第2の時刻までの期間に生じた電荷のうち、光電変換部202aの2つの分割領域の他方に蓄積された電荷が、第2転送トランジスタ262aによって、入力ノード260aLに転送される。入力ノード260aRへの電荷の転送と、入力ノード260aLへの電荷の転送は、並行して行われてもよい。
また、光電変換部202bにおいて、第1の時刻から第2の時刻までの期間に生じた電荷のうち、光電変換部202bの2つの分割領域の一方に蓄積された電荷が、第1転送トランジスタ261bによって、入力ノード260aRに転送される。光電変換部202bにおいて、第1の時刻から第2の時刻までの期間に生じた電荷のうち、光電変換部202bの2つの分割領域の他方に蓄積された電荷が、第2転送トランジスタ262bによって、入力ノード260aLに転送される。
そして、入力ノード260aRにおいて、光電変換部202aから転送されてきた電荷と、光電変換部202bから転送されてきた電荷とが加算される。また、入力ノード260aLにおいて、光電変換部202aから転送されてきた電荷と、光電変換部202bから転送されてきた電荷とが加算される。
入力ノード260aRにおいて電荷が加算されたことで得られる信号が出力線272Rに出力される。また、入力ノード260aLにおいて電荷が加算されたことで得られる信号が出力線272Lに出力される。本実施例では、2つの出力線272R、272Lに出力された信号に、所定の処理を行うことで、撮像面での位相差AFを行う。
なお、出力線272R、272Lへの信号の読み出しは、実施例1と同様であるため、詳細な説明は省略する。また、実施例2、3と同様に、複数の光電変換部に複数の色のカラーフィルタが配されてもよい。さらに、実施例5、6と同様の回路構成であってもよい。
以上に説明した通り、本実施例の駆動方法は、光電変換部のそれぞれにおいて第1の時刻から第2の時刻までの期間に生じた電荷を、分配して転送するステップを含む。そして、その電荷受領部において転送されてきた電荷が加算される。このような構成によれば、簡単な構成で信号の加算を行うことができるとともに、同じ期間に蓄積された電荷を加算するため画質を向上させることができる。
また、本実施例の駆動方法では、2つの電荷受領部の両方において、複数の光電変換部から転送されてきた電荷が加算される。そして、電荷が加算されたことで得られる信号を用いた位相差検出のステップを含む。このような構成によれば、複数の光電変換部からの電荷が加算されるため、被写体が暗い場合でも高い感度を得ることができる。つまり、被写体が暗い場合でも制度の高い位相差検出を行うことが可能となる。
撮像システムの駆動方法の実施例について説明する。撮像システムとして、デジタルスチルカメラ、デジタルカムコーダ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などがあげられる。図15に、撮像システムの例としてデジタルスチルカメラのブロック図を示す。
図15において、1001はレンズの保護のためのバリア、1002は被写体の光学像を撮像装置1004に結像させるレンズ、1003はレンズ1002を通った光量を可変するための絞りである。1004は上述の各実施例で説明した撮像装置であって、レンズ1002により結像された光学像を画像データとして変換する。ここで、撮像装置1004の半導体基板にはAD変換部が形成されているものとする。1007は撮像装置1004より出力された撮像データに各種の補正やデータを圧縮する信号処理部である。そして、図15において、1008は撮像装置1004および信号処理部1007に、各種タイミング信号を出力するタイミング発生部、1009はデジタルスチルカメラ全体を制御する全体制御部である。1010は画像データを一時的に記憶する為のフレームメモリ部、1011は記録媒体に記録または読み出しを行うためのインターフェース部、1012は撮像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。そして、1013は外部コンピュータ等と通信する為のインターフェース部である。ここで、タイミング信号などは撮像システムの外部から入力されてもよく、撮像システムは少なくとも撮像装置1004と、撮像装置1004から出力された撮像信号を処理する信号処理部1007とを有すればよい。
本実施例では、撮像装置1004とAD変換部とが同一の半導体基板に形成されている構成を説明した。しかし、撮像装置1004とAD変換部とが別の半導体基板に設けられていてもよい。また、撮像装置1004と信号処理部1007とが同一の基板上に形成されていてもよい。
本実施例において、撮像装置1004は、実施例1乃至実施例8のいずれかの駆動方法によって駆動される。このように、実施例1乃至実施例8のいずれかの駆動方法を撮像システムに適用することが可能である。本実施例の駆動方法を撮像システムに適用することにより、撮像システムの画質を向上しつつ、撮像システムを小型化することが可能となる。
2、11〜19、202、 光電変換部
21〜29 電荷受領部
260 入力ノード

Claims (21)

  1. 複数の光電変換部と、
    複数の電荷受領部と、
    前記複数の光電変換部の1つの光電変換部に接続され、前記1つの光電変換部と、前記複数の電荷受領部のうち対応する少なくとも2つの電荷受領部との間の電気経路にそれぞれ配された複数の転送トランジスタと、を有する撮像装置の駆動方法であって、
    前記光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷を、前記複数の電荷受領部に並行して転送する電荷転送ステップを含み、
    前記電荷転送ステップにおいて、前記複数の転送トランジスタを並行してオンすることにより、前記1つの光電変換部の電荷を、前記対応する少なくとも2つの電荷受領部に転送し、
    前記複数の光電変換部のそれぞれについて前記電荷転送ステップを行うことで、前記複数の電荷受領部の少なくとも1つにおいて前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算することを特徴とする撮像装置の駆動方法。
  2. 前記複数の電荷受領部のそれぞれにおいて、前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算することによって、移動平均処理を行うことを特徴とする請求項1に記載の撮像装置の駆動方法。
  3. 前記複数の電荷受領部のそれぞれにおいて、前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算し、
    前記複数の電荷受領部のそれぞれにおいて加算された電荷に基づく複数の信号を出力するステップを含み、
    前記複数の光電変換部の第1方向に沿ったピッチと、前記複数の信号の信号重心の前記第1方向に沿ったピッチとが等しいことを特徴とする請求項1に記載の撮像装置の駆動方法。
  4. 前記複数の信号の前記信号重心の位置は、前記複数の光電変換部の重心の中点であることを特徴とする請求項3に記載の撮像装置の駆動方法。
  5. 前記複数の電荷受領部のそれぞれにおいて、前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷が加算され、
    前記複数の電荷受領部のそれぞれにおいて加算された電荷に基づく複数の信号を出力するステップを含み、
    前記複数の光電変換部の第1方向に沿ったピッチと、前記複数の信号の前記第1方向に沿ったサンプリングピッチとが等しいことを特徴とする請求項1に記載の撮像装置の駆動方法。
  6. 前記移動平均処理によって得られた複数の信号を用いて補完処理を行うことを特徴とする請求項2に記載の撮像装置の駆動方法。
  7. 前記複数の信号を用いて補完処理を行うことを特徴とする請求項3乃至請求項5のいずれか一項に記載の撮像装置の駆動方法。
  8. 前記複数の電荷受領部は、少なくとも第1の電荷受領部と第2の電荷受領部とを含み、
    前記第1の電荷受領部および前記第2の電荷受領部のそれぞれにおいて、前記電荷を転送するステップで互いに別の光電変換部から転送されてきた電荷が加算され、
    前記第1の電荷受領部において加算された電荷に基づく信号と、前記第2の電荷受領部において加算された電荷に基づく信号とを用いて位相差検出を行うことを特徴とする請求項1に記載の撮像装置の駆動方法。
  9. 前記複数の光電変換部のうちの第1の光電変換部の電荷が、前記第1の電荷受領部および前記第2の電荷受領部へ並行して転送され、前記複数の光電変換部のうちの第2の光電変換部の電荷が、前記第1の電荷受領部および前記第2の電荷受領部へ並行して転送されることを特徴とすることを特徴とする請求項に記載の撮像装置の駆動方法。
  10. 前記第2の時刻が、前記複数の転送トランジスタがオンする時刻であることを特徴とする請求項に記載の撮像装置の駆動方法。
  11. 前記複数の電荷受領部のそれぞれが少なくとも1つのフローティングディフュージョン領域を含んで構成されることを特徴とする請求項1乃至請求項10のいずれか一項に記載の撮像装置の駆動方法。
  12. 前記複数の光電変換部に対して複数の色のカラーフィルタが配され、
    前記複数の電荷受領部のそれぞれが複数の前記フローティングディフュージョン領域を含んで構成され、
    前記複数の光電変換部のうち同じ色のカラーフィルタが配された複数の光電変換部からの電荷を加算することを特徴とする請求項11に記載の撮像装置の駆動方法。
  13. 前記複数の光電変換部のうち少なくとも1つの光電変換部について、前記複数の電荷受領部の前記少なくとも1つとは別の1つが電荷の排出ノードであることを特徴とする請求項1乃至請求項12のいずれか一項に記載の撮像装置の駆動方法。
  14. 前記複数の光電変換部のうち、撮像領域の外周に配された光電変換部の電荷が、前記排出ノードに排出されることを特徴とする請求項13に記載の撮像装置の駆動方法。
  15. 前記電荷転送ステップを含む第1のモードと、
    前記複数の光電変換部のそれぞれから1つの電荷受領部にのみ電荷を転送するステップを含む第2のモードと、を切り替えることを特徴とする請求項1乃至請求項14のいずれか一項に記載の撮像装置の駆動方法。
  16. 露光を行うステップを含み、
    前記第1の時刻が前記複数の光電変換部のそれぞれにおける1回の露光期間の開始の時刻であり、前記第2の時刻が前記複数の光電変換部のそれぞれにおける前記1回の露光期間の終了の時刻であることを特徴とする請求項1乃至請求項15のいずれか一項に記載の撮像装置の駆動方法。
  17. 前記露光はグローバルシャッタによる露光であることを特徴とする請求項16に記載の撮像装置の駆動方法。
  18. 前記露光はローリングシャッタによる露光であることを特徴とする請求項16に記載の撮像装置の駆動方法。
  19. 前記撮像装置は、
    前記複数の電荷受領部のそれぞれにおいて加算された電荷に基づく複数の信号を出力する複数の増幅トランジスタと、
    前記複数の増幅トランジスタからの複数の信号が出力される出力線と、
    前記複数の増幅トランジスタのそれぞれと、前記出力線との間の電気経路に配された複数の保持容量と、
    を有し、
    前記駆動方法が、前記複数の保持容量に保持された複数の信号を前記出力線に順次出力するステップを含むことを特徴とする請求項1乃至請求項18のいずれか一項に記載の撮像装置の駆動方法。
  20. 複数の光電変換部と、
    複数のフローティングディフュージョン領域と、
    前記複数の光電変換部の1つの光電変換部に接続され、前記1つの光電変換部と、前記複数のフローティングディフュージョン領域のうち対応する少なくとも2つのフローティングディフュージョン領域との間の電気経路にそれぞれ配された複数の転送トランジスタと、を有する撮像装置の駆動方法であって、
    前記光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷を、前記複数のフローティングディフュージョン領域に並行して転送する電荷転送ステップを含み、
    前記電荷転送ステップにおいて、前記複数の転送トランジスタを並行してオンすることにより、前記1つの光電変換部の電荷を、前記対応する少なくとも2つのフローティングディフュージョン領域に転送し、
    前記複数の光電変換部のそれぞれについて前記電荷転送ステップを行うことで、前記複数のフローティングディフュージョン領域の少なくとも1つにおいて前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算することを特徴とする撮像装置の駆動方法。
  21. 複数の光電変換部と、
    複数の電荷受領部と、
    前記複数の光電変換部の1つの光電変換部に接続され、前記1つの光電変換部と、前記複数の電荷受領部のうち対応する少なくとも2つの電荷受領部との間の電気経路にそれぞれ配された複数の転送トランジスタと、を備え、
    前記光電変換部において第1の時刻から第2の時刻までの期間に生じた電荷を、前記複数の電荷受領部に並行して転送する電荷転送ステップを行い、
    前記電荷転送ステップにおいて、前記複数の転送トランジスタを並行してオンすることにより、前記1つの光電変換部の電荷を、前記対応する少なくとも2つの電荷受領部に転送し、
    前記複数の光電変換部のそれぞれについて前記電荷転送ステップを行うことで、前記複数の電荷受領部の少なくとも1つにおいて前記電荷転送ステップによって互いに別の光電変換部から転送されてきた電荷を加算することを特徴とする撮像装置。
JP2012157551A 2012-07-13 2012-07-13 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。 Expired - Fee Related JP6080411B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012157551A JP6080411B2 (ja) 2012-07-13 2012-07-13 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。
US13/939,719 US9294692B2 (en) 2012-07-13 2013-07-11 Image pickup apparatus having photoelectric coversion units, method of driving image pickup apparatus, and method of driving image pickup system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012157551A JP6080411B2 (ja) 2012-07-13 2012-07-13 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。

Publications (3)

Publication Number Publication Date
JP2014022822A JP2014022822A (ja) 2014-02-03
JP2014022822A5 JP2014022822A5 (ja) 2015-07-09
JP6080411B2 true JP6080411B2 (ja) 2017-02-15

Family

ID=49913695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012157551A Expired - Fee Related JP6080411B2 (ja) 2012-07-13 2012-07-13 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。

Country Status (2)

Country Link
US (1) US9294692B2 (ja)
JP (1) JP6080411B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420208B2 (en) * 2012-07-13 2016-08-16 Canon Kabushiki Kaisha Driving method for image pickup apparatus and driving method for image pickup system
JP6457822B2 (ja) * 2015-01-21 2019-01-23 キヤノン株式会社 光電変換装置及び撮像システム
JP7353752B2 (ja) * 2018-12-06 2023-10-02 キヤノン株式会社 光電変換装置及び撮像システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1102323B1 (en) * 1999-11-19 2012-08-15 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method for detecting electromagnetic radiation using an optoelectronic sensor
JP4242691B2 (ja) * 2003-04-15 2009-03-25 オリンパス株式会社 固体撮像装置
JP4449627B2 (ja) 2004-07-27 2010-04-14 ソニー株式会社 固体撮像装置
JP4678583B2 (ja) 2005-03-25 2011-04-27 日本ビクター株式会社 固体撮像装置
KR101404074B1 (ko) * 2007-07-31 2014-06-05 삼성전기주식회사 Cmos 영상 센서
JP4582198B2 (ja) 2008-05-30 2010-11-17 ソニー株式会社 固体撮像装置、撮像装置、固体撮像装置の駆動方法
US8130302B2 (en) * 2008-11-07 2012-03-06 Aptina Imaging Corporation Methods and apparatus providing selective binning of pixel circuits
US8338868B2 (en) 2008-12-03 2012-12-25 Electronics And Telecommunications Research Institute Shared photodiode image sensor
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR101077408B1 (ko) * 2010-02-05 2011-10-26 서강대학교산학협력단 Cmos 이미지 센서
US8451354B2 (en) * 2010-05-17 2013-05-28 Commissariat A L'energie Atomique Et Aux Energies Alternatives TDI image sensor in CMOS technology with high video capture rate
FR2961019B1 (fr) * 2010-06-03 2013-04-12 Commissariat Energie Atomique Capteur d'image lineaire en technologie cmos
JP5623254B2 (ja) * 2010-11-29 2014-11-12 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JP2014022822A (ja) 2014-02-03
US9294692B2 (en) 2016-03-22
US20140016009A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
US9420208B2 (en) Driving method for image pickup apparatus and driving method for image pickup system
KR101863505B1 (ko) 고체 촬상 장치 및 전자 기기
JP2022046686A (ja) 撮像素子および撮像装置
JP4416753B2 (ja) 固体撮像装置
US8125553B2 (en) Solid-state imaging device
JP6390429B2 (ja) 固体撮像素子およびその駆動方法、並びに電子機器
JP5423125B2 (ja) 固体撮像素子およびその駆動方法、並びにカメラシステム
JP2010130657A (ja) 固体撮像装置及びそれを用いた撮像システム
JP2010212769A (ja) 撮像装置
JP2011082768A (ja) 固体撮像装置および撮像装置
KR20100009508A (ko) 고체 촬상 소자 및 카메라 시스템
JP5526840B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
JP2015012303A (ja) 固体撮像装置および電子機器
US7760959B2 (en) Imaging apparatus and imaging system
JPH11331713A (ja) 撮像装置及びそれを用いた撮像システム
JP2008278453A (ja) 撮像装置及び撮像システム
JP6080411B2 (ja) 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。
JP6080413B2 (ja) 撮像装置、撮像システム、及びそれらの駆動方法。
CN109804617B (zh) 图像传感器及其控制方法
JP6080412B2 (ja) 撮像装置の駆動方法、および撮像システムの駆動方法。
JP6368125B2 (ja) 撮像装置
JP2021072414A (ja) 光電変換装置、撮像システム及び移動体
JP7156330B2 (ja) 撮像素子及び撮像装置
JP2009296451A (ja) 固体撮像装置
JP2024521588A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170117

R151 Written notification of patent or utility model registration

Ref document number: 6080411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees