JP4618349B2 - 固体撮像素子、撮像方法及び撮像装置 - Google Patents

固体撮像素子、撮像方法及び撮像装置 Download PDF

Info

Publication number
JP4618349B2
JP4618349B2 JP2008207442A JP2008207442A JP4618349B2 JP 4618349 B2 JP4618349 B2 JP 4618349B2 JP 2008207442 A JP2008207442 A JP 2008207442A JP 2008207442 A JP2008207442 A JP 2008207442A JP 4618349 B2 JP4618349 B2 JP 4618349B2
Authority
JP
Japan
Prior art keywords
signal
pixel
ramp signal
pixels
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008207442A
Other languages
English (en)
Other versions
JP2010045544A (ja
Inventor
大岳 北見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008207442A priority Critical patent/JP4618349B2/ja
Priority to US12/458,043 priority patent/US7864094B2/en
Publication of JP2010045544A publication Critical patent/JP2010045544A/ja
Application granted granted Critical
Publication of JP4618349B2 publication Critical patent/JP4618349B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/10Calibration or testing
    • H03M1/1009Calibration
    • H03M1/1014Calibration at one point of the transfer characteristic, i.e. by adjusting a single reference value, e.g. bias or gain error
    • H03M1/1023Offset correction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/1205Multiplexed conversion systems
    • H03M1/123Simultaneous, i.e. using one converter per channel but with common control or reference circuits for multiple converters
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/124Sampling or signal conditioning arrangements specially adapted for A/D converters
    • H03M1/129Means for adapting the input signal to the range the converter can handle, e.g. limiting, pre-scaling ; Out-of-range indication
    • H03M1/1295Clamping, i.e. adjusting the DC level of the input signal to a predetermined value
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/50Analogue/digital converters with intermediate conversion to time interval
    • H03M1/56Input signal compared with linear ramp

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、CMOSイメージセンサなど画素が出力するアナログ画素信号をデジタル化して出力する固体撮像素子、撮像方法及び撮像装置に関する。
従来、固体撮像素子であるCMOS(Complementary Metal-Oxide Semiconductor)センサでは、CDS(Correlated Double Sampling)回路を用いて画像信号の処理が行われる。
例えば、特許文献1、2には、画素内のフォトダイオードからの受光信号を画素の列ごとに配置されたアナログCDS回路に通過させることにより、画像信号に含まれるノイズを除去した後、A/D(Analog/Digital)変換を行うCMOSセンサが開示されている。
しかしながら、このようにCDS回路を使用した場合には、画素の列ごとのCDS回路のばらつきにより、筋状の固定的なパターンのノイズが発生するという問題があった。また、CDS処理後の信号値を保持するための容量素子が必要になるため、回路面積が増大するという問題、アナログ信号をシフトレジスタにより高速で水平走査させるために、スイッチングノイズなどの影響を受け易いという問題もあった。
そこで、例えば、特許文献3では、列並列A/D変換方式(以下、カラムAD方式と称する)により、これらの問題を解決することが提案されている。
カラムAD方式では、画素の列ごとにA/D変換器が設置されており、選択列について各画素のアナログ信号が、各垂直信号線に一括して読み出されて、直接的にA/D変換が行われる。このため、上述したようなCDS回路を使用した場合に生じる問題が解決され、高精度のノイズ除去を実行することができる。
また、カラムAD方式では、画像の水平方向一行ごとの並列処理であるため、水平方向の走査を高速な周波数で駆動する必要がない。したがって、A/D変換は垂直方向の低速な周波数で駆動することができ、高周波帯域で発生するノイズ成分と、信号成分を容易に分離することができるという利点もある。
カラムAD方式を採用したCMOSセンサにおいて、画素からA/D変換器に供給される画素信号には、所定の基準電位に応じたリセット成分と、画素の受光量に応じたデータ成分とが含まれる。
また、A/D変換器には、画素信号をA/D変換する際に参照される信号であるランプ信号(ランプ電圧)が供給される。
ランプ信号は、画素信号のリセット成分に応じた期間で、所定の初期電圧から一定の傾斜で電圧が降下し、画素信号のデータ成分に応じた期間で、所定の初期電圧から一定の傾斜で電圧が降下するような波形の信号である。
特許第3734717号 特許第3710361号 特開2005−328135号公報
ところで、このようなカラムAD方式のCMOSセンサでは、ランプ波形を生成するランプ波形生成回路等に使用されている抵抗に電流が流れることにより、熱雑音や横引きノイズが生じることがある、という不利益があった。
本発明は、ランプ波形成生成時のノイズ発生を抑えることができる固体撮像素子、撮像方法及び撮像装置を提供する。
本発明の固体撮像素子は、複数の画素を有し、アナログ画素信号を出力する画素部と、所定の初期電圧を有し、一定の傾きを有するランプ信号を生成するランプ信号生成部と、前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較し、比較時間を基に、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算し、デジタル画素信号として出力するデジタル加算モードにおいてデジタル変換するアナログ−デジタル変換部と、クロック信号を生成するタイミング制御部と、を有し、前記アナログ−デジタル変換部は、前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較する比較器と、前記比較器による比較開始から比較終了までの時間をカウントするカウンタと、を有し、前記カウンタは、前記デジタル加算モードにおいて、複数の画素間の画素信号を加算し、前記ランプ信号生成部は、前記ランプ信号を生成するための電流を出力する複数の定電流源と、前記タイミング制御部のクロック信号をカウントし、カウント値に応じて、前記複数の定電流源のうちどの定電流源を選択して電流を出力させるかを決定する定電流源選択部と、前記定電流源の一方に接続された電源部と、前記定電流源の他方に接続され、ランプ信号を出力する出力端子と、一方が前記定電流源と前記出力端子との接続部に接続され、他方が接地された基準抵抗と、を有し、前記定電流源選択部は、ランプ信号の生成を開始する前に、前記カウント値を初期化してリセットを行い、前記ランプ信号生成部は、前記リセット後のランプ信号の初期電圧を、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算せずにデジタル画素信号に変換して出力する通常モードにおけるリセット後の初期電圧である所定の固定値とは異なる任意の値に設定する
本発明の固体撮像素子の撮像方法は、複数の画素を有する画素部と、ランプ信号生成部と、前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較し、比較時間をカウントすることにより前記アナログ画素信号をデジタル変換するアナログ−デジタル変換部と、クロック信号を生成するタイミング制御部と、を有する固体撮像素子が、画素部の複数の画素から出力されたアナログ画素信号を複数の画素間で加算してデジタル画素信号として出力するデジタル加算モードにおける撮像処理を行う場合に、前記画素部が、アナログ画素信号を出力する第1の工程と、前記ランプ信号生成部が、所定の初期電圧を有し、一定の傾きを有するランプ信号を生成する第2の工程と、前記アナログ画素信号と前記ランプ信号とを比較し、比較時間をカウントすることにより前記アナログ画素信号をデジタル変換する第3の工程と、を有し、前記第2の工程は、前記ランプ信号の生成を開始する前に、前記タイミング制御部のクロック信号をカウントし、当該カウント値を初期化してリセットを行う第4の工程と、前記タイミング制御部のクロック信号をカウントし、カウント値に応じて、前記ランプ信号を生成するための複数の定電流源のうちどの定電流源を選択して電流を出力させるかを決定し、ランプ信号の生成を開始する前に、前記カウント値を初期化してリセットを行い、前記リセット後のランプ信号の初期電圧を、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算せずにデジタル画素信号に変換して出力する通常モードにおけるリセット後の初期電圧である所定の固定値とは異なる任意の値に設定する第5の工程と、を含む
本発明の撮像装置は、複数の画素を有する固体撮像素子と、被写体からの光を前記固体撮像素子の前記画素上に結像させる光学系と、を有し、前記固体撮像素子は、複数の画素を有し、アナログ画素信号を出力する画素部と、所定の初期電圧を有し、一定の傾きを有するランプ信号を生成するランプ信号生成部と、前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較し、比較時間を基に、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算し、デジタル画素信号として出力するデジタル加算モードにおいてデジタル変換するアナログ−デジタル変換部と、クロック信号を生成するタイミング制御部と、を有し、前記アナログ−デジタル変換部は、前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較する比較器と、前記比較器による比較開始から比較終了までの時間をカウントするカウンタと、を有し、前記カウンタは、前記デジタル加算モードにおいて、複数の画素間の画素信号を加算し、前記ランプ信号生成部は、前記ランプ信号を生成するための電流を出力する複数の定電流源と、前記タイミング制御部のクロック信号をカウントし、カウント値に応じて、前記複数の定電流源のうちどの定電流源を選択して電流を出力させるかを決定する定電流源選択部と、前記定電流源の一方に接続された電源部と、前記定電流源の他方に接続され、ランプ信号を出力する出力端子と、一方が前記定電流源と前記出力端子との接続部に接続され、他方が接地された基準抵抗と、を有し、前記定電流源選択部は、ランプ信号の生成を開始する前に、前記カウント値を初期化してリセットを行い、前記ランプ信号生成部は、前記リセット後のランプ信号の初期電圧を、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算せずにデジタル画素信号に変換して出力する通常モードにおけるリセット後の初期電圧である所定の固定値とは異なる任意の値に設定する。
本発明によれば、ランプ波形成生成時のノイズ発生を抑えることができる。
以下、本発明の実施形態のCMOSイメージセンサ100について説明する。
図1は、本発明の実施形態に係るCMOSイメージセンサ100の構成例を示すブロック図である。
図1に示すCMOSイメージセンサ100は、列並列AD変換器を搭載した(カラムAD方式の)固体撮像素子である。
図1に示すCMOSイメージセンサ100は、撮像部としての画素部110、垂直走査回路120、水平転送走査回路130、タイミング制御回路140を有する。
さらに、CMOSイメージセンサ100は、画素信号読み出し回路としてのADC群150、DAC(デジタル−アナログ変換装置)160、信号処理回路180、およびラインメモリ190を有する。
これらの構成要素のうち、画素部110、垂直走査回路120、水平転送走査回路130、ADC群150、DAC160はアナログ回路により構成される。
そして、タイミング制御回路140、信号処理回路180、およびラインメモリ190はデジタル回路により構成される。
なお、本実施形態のADC群150は、本発明のアナログ−デジタル変換部に対応している。
また、本実施形態のDAC160は、本発明のランプ信号生成部に対応している。
画素部110は、フォトダイオードと画素内アンプとを含む画素が、例えば図1に示すようにマトリクス状(行列状)に配置されて構成される。
画素部110は、ラインシャッタを使用した光子蓄積・排出により、映像や画面イメージを画素行毎に光電変換し、各画素が生成するアナログ出力信号(以下画素信号)VSLを順次出力する。
そして、画素部110が出力する画素信号を順次読み出すために、内部クロックを生成するタイミング制御回路140、行アドレスや行走査を制御する垂直走査回路120、そして列アドレスや列走査を制御する水平転送走査回路130が配置されている。
タイミング制御回路140は、画素部110、垂直走査回路120、水平転送走査回路130、ADC群(カラムADC回路)150、DAC160、信号処理回路180、ラインメモリ190の信号処理に必要なタイミング信号を生成する。
ADC群150は、ADCブロック(各カラム部)でそれぞれ、画素部110が出力した画素信号を後述するDAC160からのランプ信号RAMPを使用したAPGA対応積分型AD(Analog-Digital)変換する機能を有する。ADC群150は、さらにデジタルCDS(Correlated Double Sampling:相関2重サンプリング)機能を有し、数ビットのデジタル信号を出力する。
図2に、本実施形態のCMOSイメージセンサ100におけるADC群150の構成の具体例を示す。
図2は、ADC群150の具体的な構成とその他の構成との関係を示した図である。
図2に示すように、ADC群150は、比較器(コンパレータ)151、カウンタ152、ラッチ153を有する。
比較器151は、DAC160により生成される、参照電圧を階段状に変化させたランプ波形のランプ信号RAMPの電圧Vslopと、行線毎に画素から垂直信号線を経由し画素部110から得られる画素信号の電位VSLとを比較する。
カウンタ152は、比較器151の比較時間をカウントする。
ラッチ153は、カウンタ152のカウント結果を保持する。
比較器151は、垂直信号線に読み出されたアナログ画素信号(電位VSL)は列毎(カラム毎)に配置された比較器151でランプ信号RAMPの電圧Vslop(ある傾きを持った線形に変化するスロープ波形であるランプ信号RAMP)との比較を行う。
カウンタ152は、タイミング制御回路140から与えられる制御信号による制御の下、同じくタイミング制御回路140から供給されるクロックに同期して比較器151における比較動作の開始から比較動作の終了までの比較期間を計測する。
カウンタ152は、タイミング制御回路140からの制御信号に応じて、ダウンカウントとアップカウントのいずれかを行うことができる。
比較器151の動作時には列毎に配置されたカウンタ152が同時に動作しており、ランプ波形のあるランプ信号RAMPの電圧Vslopとカウンタ値が一対一の対応を取りながら変化することにより垂直信号線の電位(アナログ信号)VSLをデジタル信号に変換する。
そしてアナログ画素信号の電圧VSLとランプ信号RAMPの電圧Vslopが交わったとき、比較器151の出力が反転し、カウンタ152の入力クロックを停止し、または、入力を停止していたクロックをカウンタ152に入力して、AD変換を完了させる。
以上の処理におけるCMOSイメージセンサ100の動作期間をAD変換期間と称する。
AD変換期間終了後、CMOSイメージセンサ100では、水平転送走査回路130により、ラッチ153に保持されたデータが、水平転送線LTRFに転送され、信号処理回路180に入力され、所定の信号処理により2次元画像が生成される。
水平転送走査回路130では、転送速度の確保のために数チャンネル同時並列転送が行われる。
タイミング制御回路140においては、画素部110、ADC群150等の各ブロックでの信号処理に必要なタイミングを作成している。
信号処理回路180では、ラインメモリ190内に格納された信号より縦線欠陥や点欠陥の補正、信号のクランプを行ったり、パラレル−シリアル変換、圧縮、符号化、加算、平均、間欠動作などのデジタル信号処理を行ったりする。
ラインメモリ190には、画素行毎に送信されるデジタル信号が格納される。
次に、DAC160について詳細に説明する。
図3は、CMOSイメージセンサ100の比較器151に供給されるランプ信号を生成するDAC160の具体例を示すブロック図である。
図3(a)は、DAC160の構成の一例を示す図である。
図3(a)に示すように、DAC160は、定電流源アレイ201、定電流源選択部202、基準抵抗203、および出力端子204を有する。
なお、本実施形態の定電流源選択部202は、本発明の定電流源に対応している。
定電流源アレイ201は、図示しないゲイン変更定電流源、n個のランプ波形生成定電流源(nは正の整数)から構成される。
ゲイン変更定電流源と、n個のランプ波形生成定電流源とは、カレントミラー(CM)を構成している。
ゲイン変更定電流源には、CMOSセンサにより撮像される画像のゲインを変更するときに、タイミング制御回路140から制御信号が供給され、ゲイン変更定電流源の電流値が、その制御信号に応じて変更されることにより、ランプ信号の傾斜が変更される。
n個のランプ波形生成定電流源は、定電流源選択部202により選択され、ランプ信号の傾斜を生成するための電流を出力する。
定電流源選択部202は、タイミング制御回路140からのクロックをカウントし、カウント値を基に、ランプ波形生成定電流源のうちの、電流を流すべき電流源を順次選択する。
出力端子204は、定電流源アレイ201を介して、基準電圧Vrefに接続されており、基準電圧Vrefから、定電流源アレイ201から出力される電流の変化に応じた電圧のランプ信号が生成され、出力端子204から出力される。
なお、このような構成のDAC160において、定電流源選択部202がクロック信号のカウント値を基に定電流源アレイ201のどの定電流源に電流を流すかを選択し、定電流源を流れる電流が基準抵抗に流れると、基準抵抗に生じる電圧がランプ信号となる。
なお、図3(a)に示したDAC160の構成は、ランプ信号を生成するDACの構成の一例であり、一般にCMOSイメージセンサに使用されるDACとしては、図3(a)に示した構成の他に、例えば図3(b)に示すような構成が使用されることもある。
図3(b)に示すDACは、基準抵抗が基準電圧Vrefに接続されており、以下基準電源タイプのDACと称する。反対に、上述した図3(a)に示すDAC160は、基準抵抗が接地しており、以下グランド基準タイプのDACと称する。
一般に、CMOSセンサに使用される、ランプ信号を供給するDACとしては、ノイズに対する耐性の点から上述した図3(a)に示したグランド基準タイプのランプ信号生成回路が有利である。このため、以下ではグランド基準タイプのDACをDAC160として使用した例について説明する。
ところで、カラムAD方式を採用した本実施形態のCMOSイメージセンサ100は、撮影の目的に応じて撮影のモードを切り替えることができるように構成されている。モードには、例えば通常の撮影モードと、画素情報を間引いて高速に撮影を行うデジタル加算モードがある。
デジタル加算モードとは、撮影時に複数画素分の画素部110の出力するアナログ画素信号をA/D変換してデジタル画素信号を加算するデジタル加算処理を行うモードである。
デジタル加算処理は、各画素において隣接する同色フィルタの複数の画素信号同士をデジタル信号で加算する処理である。
デジタル加算処理により、本実施形態のCMOSイメージセンサ100では、画素あたりの撮影感度を実質的に加算数分だけ上げることができ、短い露出時間又は速いシャッタ速度でも露出が良好な撮影ができるようになる。
以下、本実施形態のCMOSイメージセンサ100の動作例について説明する。
まず、通常モードにおける撮影時の動作例について説明する。
図4は、CMOSイメージセンサ100の通常モード時の動作例を説明するためのタイミングチャートである。
図4(a)は、画素部110の各画素が出力する画素信号を示す。
図4(b)は、DAC160が出力するランプ信号を示す。
図4(c)は、比較器151が出力する比較結果信号を示す。
図4(d)は、タイミング制御回路140からカウンタ152に供給される、カウンタ152のカウントアップとカウントダウンを切り替える信号を示す。
図4(e)は、タイミング制御回路140からカウンタ152に供給されるクロック信号を示す。
図4(f)は、カウンタ152が出力するカウンタ出力信号を示す。
画素部110の各画素は、図4(a)に示すように、垂直走査回路120から供給される制御信号に応じて、リセット動作及び入射した光を光電変換して出力する動作を行う。
各画素は、リセット信号A/D変換期間(プリチャージ相:P相)では、所定の基準電位に応じた画素信号(リセット成分)を出力する。
また、各画素は、D相(データ相:D相)では、各画素が有するフォトディテクタの受光に対応する電荷に応じた画素信号(データ成分)を出力する。
DAC160は、図4(b)に示すように、所定の初期電圧から、一定の傾きで電圧が降下するランプ信号を出力する。ランプ信号では、P相の期間よりも、D相の期間が長くなっている。
なお、DAC160は、ランプ信号の出力開始時にはリセットされ、所定の初期値(例えば0)の電圧のランプ信号が出力開始される。
比較器151は、図4(c)に示すように、画素信号の電圧VSLとランプ信号の電圧Vslopを比較する。
そして、画素信号がランプ信号以上であるときには、ハイレベルの比較結果信号を画素信号がランプ信号未満であるときには、ローレベルの比較結果信号を出力する。
即ち、比較器151は、ランプ信号の電圧が一定の傾きで降下する場合に、ランプ信号と画素信号とが一致したとき、ハイレベルからローレベルに遷移する比較結果信号を出力する。
ADC群150には、図4(d)に示すように、カウンタ152のカウントアップとカウントダウンを切り替える信号が、タイミング制御回路140から供給される。
カウンタ152のカウントアップとカウントダウンを切り替える信号は、P相でランプ信号の電圧が一定の傾きで降下しているときにはローレベル、D相でランプ信号の電圧が一定の傾きで降下しているときにはハイレベルとなる。
タイミング制御回路140は、図4(d)に示すカウンタのカウントアップとダウンとを切り替える制御信号と同時に、図4(e)に示す所定の周波数のクロック信号、例えば、500MHzの高速なカウンタクロック信号を、カウンタ152に対して供給する。
カウンタ152は、図4(f)に示すように、カウンタクロック信号をカウントして、デジタル画素信号を出力する。
すなわちカウンタ152は、カウントアップとカウントダウンを切り着える信号がローレベルである場合、カウントダウンモードとなり、P相におけるランプ信号の電圧の降下が開始した時刻でダウンカウントを開始する。
そして、比較結果信号がハイレベルからローレベルに遷移した時刻までカウントしたカウント値(リセット成分カウント)を保持する。その後、カウントアップとカウントダウンを切り替える信号が、ローレベルからハイレベルに遷移し、カウンタ152はカウントアップモードとなる。
そして、D相におけるランプ信号の電圧の降下が開始した時刻でアップカウントを開始し、比較結果信号がハイレベルからローレベルに遷移した時刻までカウントしたカウント値(データ成分カウント)をとる。
最終的に、データ成分カウントとリセット成分カウントとの差分をとることによりアナログ画素信号のデジタル化を行い、デジタル画素信号として出力する。
次に、デジタル加算モードにおけるCMOSイメージセンサ100の動作例について説明する。
上述したように、デジタル加算モードでは、撮影時に複数画素分の画素部110の出力するアナログ画素信号をA/D変換してデジタル画素信号を加算するデジタル加算処理が行われる。
デジタル加算処理は、各画素において隣接する同色フィルタの複数の画素信号同士をデジタル信号で加算する処理である。
ここでは、デジタル加算モードにおけるCMOSイメージセンサ100の動作例として、例えば画素部110がm列×n行の画素により構成され、特定のi行を構成する複数の画素信号を読み取る場合について説明する(m,nは正の整数、iはn以下の整数)。
図5は、デジタル加算モードにおけるCMOSイメージセンサ100の撮影時の動作例を示すタイミングチャートである。
図5に示すように、デジタル加算モードでは、i行の画素からの画素信号の読み出し(1回目の読み出し)と、i+1行の画素からの画素信号の読み出し(2回目の読み出し)がワンセットで行われる。そして、2回目の読み出し後に1回目と2回目の読み出しにより得られたカウント値を基に算出したデジタル画素信号を加算し、2回分の読み出しによる画素信号を出力する。
これにより、カウンタ152はi行の画素とi+1行の画素の2行分の画素信号を一度に読み出すことができる。
同様の動作を繰り返すことにより、垂直方向(マトリクス状の画素部110における列方向)において画素情報を1/2に間引いた画像を得ることができる。その結果、フレームレートを全ての画素情報を読み出す通常モード時に比べて2倍に高速化できる。
なお、デジタル加算モードにおいては、AD変換期間が限られているので、図4に関連付けて説明した通常モードに比べて、ランプ波形の変動幅が小さくなっている。
図6に、通常モードとデジタル加算モードにおけるランプ波形を示す。
図6は、通常モードとデジタル加算モードにおけるランプ波形を示した図である。
図6(a)に示す通常モードとデジタル加算モードにおけるランプ波形は、リセット後に所定の固定値(例えば0)を初期値とした場合のものである。
図6(a)に示すように、デジタル加算モードにおいては、AD変換期間が限られているので、図4に関連付けて説明した通常モードに比べて、ランプ波形の変動幅が小さい。なお、図6に示したデジタル加算モードのランプ波形は、1回目の読み出し時のものであるが、デジタル加算モードでは複数回の読み出しが繰り返されるため、2回目の読み出し時のランプ波形も、図6と同様に通常モードのランプ波形と比較して変動幅が小さくなる。
図6に示すように、通常モードにおいては、D相スロープの後ランプ信号の電圧は最低値Vlとなる。ところが、デジタル加算モードにおいては、AD変換期間(D相スロープの時間)が通常モードと比較して短いため、ランプ信号が例えばVlよりも高い電圧Vdigにおいて途中で止まることになる。
デジタル加算モードにおいては、1回目の読み出しにおけるD相スロープの終了後、2回目の読み出しが始まるまでランプ信号の電圧はVdigにおいて固定されたままとなる。ランプ信号が出力されている間は、ランプ信号を出力するDAC160内を電流が流れていることになる。したがって、1回目の読み出しにおけるD相スロープの終了後、2回目の読み出しが始まるまで基準抵抗203を電流が流れ続けるために、消費電力や熱雑音が増大してしまう。
そこで、本実施形態のCMOSイメージセンサ100では、図6(b)に示すように、デジタル加算モードにおいては、DAC160において、リセット後のランプ信号の出力開始電圧を任意の値(例えばVth)に設定可能としている。
なお、ランプ信号のリセットは、定電流源選択部202にタイミング制御回路140からリセット信号が入力され、クロックのカウント値が初期化されることにより行われる。
すなわち、リセット後に定電流源アレイ201の電流量を任意の値に設定可能にすることにより、基準抵抗203に生じる電圧値を任意の値Vthとなるようにしている。
図6(b)に示すように、本実施形態のCMOSイメージセンサ100では、デジタル加算モードにおいて、DAC160リセット後のランプ信号の電圧初期値を所定の固定値0よりもあらかじめ低い値Vthに設定しておく。これにより、D相スロープ後のランプ信号の電圧を図6(a)に示す所定の固定値0とした場合と比較して低く抑えることができるようになる。そして、DAC160を流れる電流量が削減され、DAC160における消費電力や熱雑音を防止することができる。
なお、上述した説明では所定の固定値を0としたが、本発明はこれには限定されない。所定の固定値は、例えば通常モードにおいてDAC160のリセット後のランプ信号の初期値であり、任意の値Vthはこれとは異なる値であればよい。
以上のように、本実施形態のCMOSイメージセンサ100は、撮影時に複数画素分の画素部110の出力するアナログ画素信号をA/D変換してデジタル画素信号を加算するデジタル加算処理を行うデジタル加算モードと、通常モードの2つの動作形態を有する。
そして、デジタル加算モードにおいて撮影をする場合には、DAC160がランプ信号を出力開始する際のDAC160のリセット後の出力開始電圧を任意の値Vthに設定可能とした。
本実施形態のCMOSイメージセンサ100では、上述した構成により、図6(b)に示すように、D相スロープ後のランプ信号の電圧を図6(a)に示す所定の固定値0とした場合と比較して低く抑えることができるようになる。
このため、DAC160を流れる電流量が削減され、DAC160における消費電力や熱雑音を防止することができる。特に、デジタル加算モードにおける撮影時の消費電力が、通常モードの撮影時と比較して大幅に削減される。
なお、上述した実施形態のCMOSイメージセンサ100は、固体撮像素子として例えばデジタルカメラ等の撮像装置に適用することが可能である。
以下、その適用例について説明する。
図7は、撮像装置300の構成の一例を示すブロック図である。
図7に示すように、撮像装置300は、レンズを含む光学系61(本発明の光学系に対応)、撮像デバイス62、カメラ信号処理回路63およびシステムコントローラ64等によって構成されている。
光学系61は、レンズなどにより被写体からの像光を撮像デバイス62の撮像面に結像する。撮像デバイス62は、光学系61によって撮像面に結像された像光を画素単位で電気信号に変換して得られる画像信号を出力する。この撮像デバイス62として、先述した実施形態に係る列並列ADC搭載のCMOSイメージセンサ100が用いられる。
カメラ信号処理回路63は、撮像デバイス62から出力される画像信号に対して種々の信号処理を行う。システムコントローラ64は、撮像デバイス62やカメラ信号処理回路63に対する制御を行う。
特に、撮像デバイス62の列並列ADCは、画素全ての情報を読み出すプログレッシブ走査方式での通常フレームレートモードを有する。また、撮像デバイス62の列並列ADCは、通常フレームレートモード時に比べて、画素の露光時間を1/Nに設定してフレームレートをN倍に上げる高速フレームレートモードを有する。この場合、撮像デバイス62の列並列ADCにおいて、各動作モードに対応したAD変換動作が可能であれば、外部からの指令に応じて動作モードの切り替え制御などを行う。
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。
図1は、本発明の実施形態に係るCMOSイメージセンサの構成例を示すブロック図である。 図2は、本実施形態のCMOSイメージセンサにおけるADC群の構成の具体例を示す図である。 図3は、CMOSイメージセンサの比較器に供給されるランプ信号を生成するDACの具体例を示すブロック図である。 図4は、CMOSイメージセンサの通常モード時の動作例を説明するためのタイミングチャートである。 図5は、デジタル加算モードにおけるCMOSイメージセンサ100の撮影時の動作例を示すタイミングチャートである。 図6は、通常モードとデジタル加算モードにおけるランプ波形を示した図である。 図7は、撮像装置の構成の一例を示すブロック図である。
符号の説明
100…CMOSイメージセンサ、110…画素部、120…垂直走査回路、130…水平転送走査回路、140…タイミング制御回路、150…ADC群、151…比較器、152…カウンタ、153…ラッチ、160…DAC、201…定電流源アレイ、202…定電流源選択部、203…基準抵抗、204…出力端子、180…信号処理回路、190…ラインメモリ、300…撮像装置、61…光学系、62…撮像デバイス、63…カメラ信号処理回路、64…システムコントローラ

Claims (4)

  1. 複数の画素を有し、アナログ画素信号を出力する画素部と、
    所定の初期電圧を有し、一定の傾きを有するランプ信号を生成するランプ信号生成部と、
    前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較し、比較時間を基に、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算し、デジタル画素信号として出力するデジタル加算モードにおいてデジタル変換するアナログ−デジタル変換部と、
    クロック信号を生成するタイミング制御部と、
    を有し、
    前記アナログ−デジタル変換部は、
    前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較する比較器と、
    前記比較器による比較開始から比較終了までの時間をカウントするカウンタと、
    を有し、
    前記カウンタは、前記デジタル加算モードにおいて、複数の画素間の画素信号を加算し、
    前記ランプ信号生成部は、
    前記ランプ信号を生成するための電流を出力する複数の定電流源と、
    前記タイミング制御部のクロック信号をカウントし、カウント値に応じて、前記複数の定電流源のうちどの定電流源を選択して電流を出力させるかを決定する定電流源選択部と、
    前記定電流源の一方に接続された電源部と、前記定電流源の他方に接続され、ランプ信号を出力する出力端子と、
    一方が前記定電流源と前記出力端子との接続部に接続され、他方が接地された基準抵抗と、
    を有し、
    前記定電流源選択部は、ランプ信号の生成を開始する前に、前記カウント値を初期化してリセットを行い、
    前記ランプ信号生成部は、
    前記リセット後のランプ信号の初期電圧を、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算せずにデジタル画素信号に変換して出力する通常モードにおけるリセット後の初期電圧である所定の固定値とは異なる任意の値に設定する
    固体撮像素子。
  2. 前記画素部は、マトリクス状に配置された複数の画素を有し、
    前記アナログ−デジタル変換部は、前記マトリクスを構成する複数の画素の行ごとに複数の画素の前記アナログ画素信号をデジタル変換する
    請求項に記載の固体撮像素子。
  3. 複数の画素を有する画素部と、ランプ信号生成部と、前記画素部が出力したアナログ画素信号と、前記ランプ信号生成部が生成したランプ信号とを比較し、比較時間をカウントすることにより前記アナログ画素信号をデジタル変換するアナログ−デジタル変換部と、クロック信号を生成するタイミング制御部と、を有する固体撮像素子が、
    画素部の複数の画素から出力されたアナログ画素信号を複数の画素間で加算してデジタル画素信号として出力するデジタル加算モードにおける撮像処理を行う場合に、
    前記画素部が、アナログ画素信号を出力する第1の工程と、
    前記ランプ信号生成部が、所定の初期電圧を有し、一定の傾きを有するランプ信号を生成する第2の工程と、
    前記アナログ画素信号と前記ランプ信号とを比較し、比較時間をカウントすることにより前記アナログ画素信号をデジタル変換する第3の工程と、
    を有し、
    前記第2の工程は、
    前記ランプ信号の生成を開始する前に、前記タイミング制御部のクロック信号をカウントし、当該カウント値を初期化してリセットを行う第4の工程と、
    前記タイミング制御部のクロック信号をカウントし、カウント値に応じて、前記ランプ信号を生成するための複数の定電流源のうちどの定電流源を選択して電流を出力させるかを決定し、ランプ信号の生成を開始する前に、前記カウント値を初期化してリセットを行い、前記リセット後のランプ信号の初期電圧を、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算せずにデジタル画素信号に変換して出力する通常モードにおけるリセット後の初期電圧である所定の固定値とは異なる任意の値に設定する第5の工程と、
    を含む固体撮像素子の撮像方法。
  4. 複数の画素を有する固体撮像素子と、
    被写体からの光を前記固体撮像素子の前記画素上に結像させる光学系と、
    を有し、
    前記固体撮像素子は、
    複数の画素を有し、アナログ画素信号を出力する画素部と、
    所定の初期電圧を有し、一定の傾きを有するランプ信号を生成するランプ信号生成部と、
    前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較し、比較時間を基に、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算し、デジタル画素信号として出力するデジタル加算モードにおいてデジタル変換するアナログ−デジタル変換部と、
    クロック信号を生成するタイミング制御部と、
    を有し、
    前記アナログ−デジタル変換部は、
    前記画素部が出力した前記アナログ画素信号と、前記ランプ信号生成部が生成した前記ランプ信号とを比較する比較器と、
    前記比較器による比較開始から比較終了までの時間をカウントするカウンタと、
    を有し、
    前記カウンタは、前記デジタル加算モードにおいて、複数の画素間の画素信号を加算し、
    前記ランプ信号生成部は、
    前記ランプ信号を生成するための電流を出力する複数の定電流源と、
    前記タイミング制御部のクロック信号をカウントし、カウント値に応じて、前記複数の定電流源のうちどの定電流源を選択して電流を出力させるかを決定する定電流源選択部と、
    前記定電流源の一方に接続された電源部と、前記定電流源の他方に接続され、ランプ信号を出力する出力端子と、
    一方が前記定電流源と前記出力端子との接続部に接続され、他方が接地された基準抵抗と、
    を有し、
    前記定電流源選択部は、ランプ信号の生成を開始する前に、前記カウント値を初期化してリセットを行い、
    前記ランプ信号生成部は、
    前記リセット後のランプ信号の初期電圧を、前記画素部の前記複数の画素から出力されたアナログ画素信号を複数の画素間で加算せずにデジタル画素信号に変換して出力する通常モードにおけるリセット後の初期電圧である所定の固定値とは異なる任意の値に設定する
    撮像装置。
JP2008207442A 2008-08-11 2008-08-11 固体撮像素子、撮像方法及び撮像装置 Expired - Fee Related JP4618349B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008207442A JP4618349B2 (ja) 2008-08-11 2008-08-11 固体撮像素子、撮像方法及び撮像装置
US12/458,043 US7864094B2 (en) 2008-08-11 2009-06-30 Solid-state image sensing device, imaging method, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008207442A JP4618349B2 (ja) 2008-08-11 2008-08-11 固体撮像素子、撮像方法及び撮像装置

Publications (2)

Publication Number Publication Date
JP2010045544A JP2010045544A (ja) 2010-02-25
JP4618349B2 true JP4618349B2 (ja) 2011-01-26

Family

ID=41652410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008207442A Expired - Fee Related JP4618349B2 (ja) 2008-08-11 2008-08-11 固体撮像素子、撮像方法及び撮像装置

Country Status (2)

Country Link
US (1) US7864094B2 (ja)
JP (1) JP4618349B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159331A (ja) * 2007-12-26 2009-07-16 Panasonic Corp 固体撮像装置、その駆動方法およびカメラ
JP2010154372A (ja) * 2008-12-25 2010-07-08 Panasonic Corp 固体撮像装置、デジタルカメラ及びad変換方法
CN102355847B (zh) 2009-01-24 2016-05-25 杨章民 感测装置
JP5921068B2 (ja) 2010-03-02 2016-05-24 キヤノン株式会社 画像処理装置、制御方法及び光干渉断層撮影システム
KR101758090B1 (ko) * 2010-12-06 2017-07-17 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 카메라 시스템
JP5808162B2 (ja) * 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
JP5449290B2 (ja) * 2011-10-07 2014-03-19 キヤノン株式会社 ランプ信号出力回路、アナログデジタル変換回路、撮像装置、ランプ信号出力回路の駆動方法
JP5956856B2 (ja) * 2012-07-05 2016-07-27 キヤノン株式会社 撮像素子及び撮像システム
JP6272073B2 (ja) * 2014-02-21 2018-01-31 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6239665B2 (ja) 2016-03-16 2017-11-29 株式会社東芝 半導体装置
JP6530736B2 (ja) * 2016-10-18 2019-06-12 キヤノン株式会社 撮像装置及びその制御方法
JP6857061B2 (ja) * 2017-03-22 2021-04-14 キヤノン株式会社 撮像素子および撮像装置
JP2019134230A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 Dac回路、固体撮像素子、および、電子機器
US11539370B2 (en) * 2020-02-23 2022-12-27 Tetramem Inc. Analog to analog quantizer in crossbar array circuits for in-memory computing
KR20210108569A (ko) * 2020-02-26 2021-09-03 삼성전자주식회사 이미지 센싱 장치, 이의 동작 방법
WO2021193168A1 (ja) * 2020-03-24 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2022130998A (ja) * 2021-02-26 2022-09-07 セイコーエプソン株式会社 A/dコンバーター、デジタル出力温度センサー、回路装置及び発振器
US20230136534A1 (en) * 2021-11-01 2023-05-04 Electronics And Telecommunications Research Institute Dynamic high-resolution analog to digital converter and operating method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243339A (ja) * 1998-01-08 1999-09-07 Fujitsu Ltd セルアレイ回路
JP2006352597A (ja) * 2005-06-17 2006-12-28 Sony Corp 固体撮像装置、固体撮像装置におけるad変換方法および撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877715A (en) * 1997-06-12 1999-03-02 International Business Machines Corporation Correlated double sampling with up/down counter
US5920274A (en) * 1997-08-05 1999-07-06 International Business Machines Corporation Image sensor employing non-uniform A/D conversion
JP3710361B2 (ja) 2000-06-20 2005-10-26 キヤノン株式会社 撮像装置
US6965407B2 (en) * 2001-03-26 2005-11-15 Silicon Video, Inc. Image sensor ADC and CDS per column
JP3734717B2 (ja) 2001-04-26 2006-01-11 富士通株式会社 イメージセンサ
JP4449565B2 (ja) 2004-05-12 2010-04-14 ソニー株式会社 物理量分布検知の半導体装置
KR100716736B1 (ko) * 2005-05-18 2007-05-14 삼성전자주식회사 서브 샘플링 모드에서 고 프레임 레이트를 지원하는 칼럼아날로그-디지털 변환 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243339A (ja) * 1998-01-08 1999-09-07 Fujitsu Ltd セルアレイ回路
JP2006352597A (ja) * 2005-06-17 2006-12-28 Sony Corp 固体撮像装置、固体撮像装置におけるad変換方法および撮像装置

Also Published As

Publication number Publication date
US7864094B2 (en) 2011-01-04
JP2010045544A (ja) 2010-02-25
US20100033362A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
JP4618349B2 (ja) 固体撮像素子、撮像方法及び撮像装置
US8035541B2 (en) Digital-analog converter circuit, solid-state imaging device, and imaging apparatus
CN101969535B (zh) 固态成像装置和相机系统
EP2071831B1 (en) Solid state imaging device, solid state imaging device drive method, and imaging device
US8687098B2 (en) Solid-state imaging device, control method therefor, and camera system
JP4449565B2 (ja) 物理量分布検知の半導体装置
JP5868049B2 (ja) 撮像装置
TWI399088B (zh) 資料處理器,固態成像裝置,成像裝置,及電子設備
JP4107269B2 (ja) 固体撮像装置
JP4453761B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP4952301B2 (ja) 撮像装置およびカメラ
JP4379504B2 (ja) 固体撮像素子、およびカメラシステム
KR101459138B1 (ko) 고체 촬상 장치, 촬상 장치, 및 고체 촬상 장치의 구동방법
US8269867B2 (en) Solid-state image pickup device, driving control method, and image pickup apparatus
US20130146751A1 (en) Time detection circuit, ad converter, and solid state image pickup device
JP2014160930A (ja) 固体撮像素子およびその駆動方法、並びに電子機器
KR20070101159A (ko) 고체 촬상 장치, 카메라 시스템, 및 카메라 시스템의 구동방법
US8917337B2 (en) AD conversion circuit and imaging apparatus
TWI401950B (zh) Solid-state imaging elements and camera systems
US8625015B2 (en) AD conversion circuit and solid-state imaging apparatus
JP2010011056A (ja) 固体撮像素子およびカメラシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees