JP4971834B2 - 撮像装置及び撮像システム - Google Patents

撮像装置及び撮像システム Download PDF

Info

Publication number
JP4971834B2
JP4971834B2 JP2007051935A JP2007051935A JP4971834B2 JP 4971834 B2 JP4971834 B2 JP 4971834B2 JP 2007051935 A JP2007051935 A JP 2007051935A JP 2007051935 A JP2007051935 A JP 2007051935A JP 4971834 B2 JP4971834 B2 JP 4971834B2
Authority
JP
Japan
Prior art keywords
offset compensation
light
column
pixel region
conversion means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007051935A
Other languages
English (en)
Other versions
JP2008219293A (ja
JP2008219293A5 (ja
Inventor
峰雄 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007051935A priority Critical patent/JP4971834B2/ja
Priority to US12/038,529 priority patent/US8553114B2/en
Priority to CN2008100061993A priority patent/CN101257560B/zh
Priority to EP08152172.6A priority patent/EP1968307B1/en
Publication of JP2008219293A publication Critical patent/JP2008219293A/ja
Publication of JP2008219293A5 publication Critical patent/JP2008219293A5/ja
Application granted granted Critical
Publication of JP4971834B2 publication Critical patent/JP4971834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H04N3/1568Control of the image-sensor operation, e.g. image processing within the image-sensor for disturbance correction or prevention within the image-sensor, e.g. biasing, blooming, smearing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、デジタルカメラやデジタルビデオカメラなどの撮像装置及び撮像システムに関する。
近年のデジタルカメラやデジタルビデオカメラなどの撮像装置では、画素数の増大や連写速度の向上のため、撮像素子から画像信号を高速に読み出す技術が要求されている。高速に読み出される信号を画素毎にA/D変換(アナログ−ディジタル変換)する場合、画素データあたりの変換時間は非常に短時間となる。そのため、短時間に高精度な変換を行うことができる非常に高性能なA/D変換器が必要となり、実現が困難である。
この課題を解決するため、CMOS集積回路と同様のプロセスで製造できるCMOSイメージセンサを用いて、画素列毎にA/D変換器を配置し、1行分の画素信号のA/D変換を同時に行うカラムADC方式の撮像素子の研究開発がなされている。カラムADC方式の撮像素子では、A/D変換器の変換レートを1画素の読出しレートから1行の読出しレートまで落とすことができるため、撮像素子の1画面の読出しレートを高速化し易いという利点がある。
このようなカラムADC方式の撮像素子としては、三角波を掃印するランプ型を用いるイメージセンサ(特許文献1を参照)、逐次比較(Successive Approximation)型を用いるイメージセンサ(特許文献2を参照)などがある。
一方、特に静止画撮影においては長時間露光を行う場合があるが、このような撮影においては撮像素子の電荷蓄積時間も長時間となり、フォトダイオードに暗電流が蓄積される。この暗電流成分は、画素信号を読み出す際に光信号成分と合わせて読み出されるため、A/D変換を行う際には暗電流の分だけダイナミックレンジが圧迫されることになる。
カラムADC方式ではなく、撮像素子に対し1個〜数個のA/D変換器が外部に接続される構成では、A/D変換機能の他にPGA、OBクランプといった機能を有するAFEを使用するのが一般的である。このOBクランプ機能によって、暗電流を含む撮像素子のオフセットを除去したり、PGA又はA/D変換器のオフセットを除去するように構成されている。OBクランプ機能は、暗電流を含む黒レベルを所望の値になるよう調整する機能であり、これによって暗電流成分が排除された後に、A/D変換が行われることになるため、信号のダイナミックレンジは確保される。
このようなOBクランプ機能を実現する回路構成については、コンデンサを用いた積分回路を使用するもの(特許文献3を参照)、D/A変換器を用いたもの(特許文献4を参照)などが開示されている。
特開平05−048460号 米国特許第5880691号 特開平5−153428号公報 特開2000−224440号公報
カラムADC方式は、撮像素子の信号を高速で読み出すことを目的としたものであるため、通常は短時間露光を前提としており、フレーム毎に発生する暗電流成分は限られている。従って、暗電流成分を除去せずにA/D変換を行っても、ダイナミックレンジはそれほど犠牲にならない。しかしながら、長時間露光も行うことができるデジタルカメラやデジタルビデオカメラに適用することを考えた場合には、暗電流成分の除去はダイナミックレンジ確保のために必須となる。
ところが、カラムADC方式においては、撮像素子と同じ半導体チップ上に画素列分のA/D変換器を形成する必要があるため、各列のA/D変換器に対してそれぞれOBクランプ回路を構成することは、チップサイズの関係上、非常に困難である。
また、各列に対してそれぞれOBクランプ回路を構成したとしても、OBクランプに使用できる画素は各列の遮光画素のみである。チップサイズの関係上、列毎に設けられる遮光画素数には限界があり、OBクランプに使用する情報としてノイズを十分除去するには不十分である。
本発明は、上記の問題点に鑑みてなされたものであり、簡易な構成で暗電流成分を排除するとともに、ダイナミックレンジを確保することを目的とする。
本発明の第1の側面は、撮像装置に係り、光電変換手段を含む画素が複数配列されるとともに、複数配列された画素が、光電変換手段に光が入射する有効画素領域と、光電変換手段が遮光された遮光画素領域と、を有する撮像部と、複数配列された画素の各列にそれぞれ接続された複数のアナログ−ディジタル変換手段と、複数のアナログ−ディジタル変換手段のうち2つ以上から出力された遮光画素領域の出力信号と基準値との誤差量を補償するためのオフセット補償信号を、各列に共通なオフセット補償信号として出力するフィードバック制御部と、複数のアナログ−ディジタル変換手段の各々の入力側に、画素の各列に対応して配置され、対応する列の有効画素領域の出力信号から、フィードバック制御部が出力する各列に共通なオフセット補償信号を減算してオフセットを補償する複数のオフセット補償手段と、を備えたことを特徴とする。
本発明の第2の側面は、撮像装置に係り、光電変換手段を含む画素が複数行に配列されるとともに、複数行に配列された画素が、光電変換手段に光が入射する有効画素領域と、有効画素領域における最初の読み出し行に先立って読み出され、光電変換手段が遮光された第1の遮光画素領域と、有効画素領域と共通の読み出し行に配置され、光電変換手段が遮光された第2の遮光画素領域と、を有する撮像部と、複数行に配列された画素の各列にそれぞれ接続された複数のアナログ−ディジタル変換手段と、複数のアナログ−ディジタル変換手段からの出力信号と基準値との誤差量を補償するための各列に共通なオフセット補償信号を出力するフィードバック制御部と、複数のアナログ−ディジタル変換手段の各々の入力側に、画素の各列に対応して配置され、対応する列の画素から読み出した撮像信号から、フィードバック制御部が出力する各列に共通なオフセット補償信号を減算してオフセットを補償する複数のオフセット補償手段と、を備え、フィードバック制御部は、第1の遮光画素領域の読み出し時には、複数のアナログ−ディジタル変換手段出力信号と基準値との誤差量を補償する第1のオフセット補償信号を、各列に共通なオフセット補償信号として出力し、第2の遮光画素領域及び有効画素領域の読み出し時には、保持した第1の遮光画素領域の読み出し時の第1のオフセット補償信号と、複数のアナログ−ディジタル変換手段の少なくとも1つからの出力信号と基準値との誤差量を補償する第2のオフセット補償信号とを加算したオフセット補償信号を、各列に共通なオフセット補償信号として出力することを特徴とする。
本発明の第3の側面は、光電変換手段を含む画素が複数行に配列されるとともに、複数行に配列された画素が、光電変換手段に光が入射する有効画素領域と、有効画素領域における最初の読み出し行に先立って読み出され、光電変換手段が遮光された第1の遮光画素領域と、有効画素領域と共通の読み出し行に配置され、光電変換手段が遮光された第2の遮光画素領域と、を有する撮像部と、複数行に配列された画素の各列にそれぞれ接続された複数のアナログ−ディジタル変換手段と、複数のアナログ−ディジタル変換手段のうち2つ以上からの出力信号と基準値との誤差量を補償するためのオフセット補償信号を、各列に共通なオフセット補償信号として出力するフィードバック制御部と、複数のアナログ−ディジタル変換手段の各々の入力側に、画素の各列に対応して配置され、対応する列の画素から読み出した撮像信号から、フィードバック制御部が出力する各列に共通のオフセット補償信号を減算してオフセットを補償する複数の第1のオフセット補償手段と、複数のアナログ−ディジタル変換手段の出力側に配され、複数のアナログ−ディジタル変換手段の各々の出力信号から各列に共通なオフセット補償信号を減算してオフセットを補償する第2のオフセット補償手段と、備え、フィードバック制御部は、第1の遮光画素領域の読み出し時には、複数のアナログ−ディジタル変換手段出力信号と基準値との誤差量を補償するための第1のオフセット補償信号を複数の第1のオフセット補償手段の各々の入力に出力し、第2の遮光画素領域及び有効画素領域の読み出し時には、保持した第1のオフセット補償信号を複数の第1のオフセット補償手段の各々の入力に出力するとともに、複数のアナログ−ディジタル変換手段の少なくとも1つからの出力信号と基準値との誤差量を補償するための第2のオフセット補償信号を第2のオフセット補償手段の各々の入力に出力することを特徴とする。
本発明の第4の側面は、撮像システムに係り、上記の撮像装置と、前記撮像部に被写体像を結像するための光学系と、を備えることを特徴とする。
本発明によれば、簡易な構成で暗電流成分を排除するとともに、ダイナミックレンジを確保することができる。
(第1の実施形態)
以下に、本発明の好適な実施の形態に係る撮像装置について、図面を参照して詳細に説明する。
図1は、本発明の好適な実施の形態に係る撮像装置100の概略構成を示すブロック図である。
501は、光(被写体像)を電気信号(信号電荷)に変換する光電変換手段と光電変換手段の信号電荷を増幅する増幅手段とを含む撮像素子である。撮像素子501は、後述するようにA/D変換機能を更に備えるため、出力信号はディジタル信号となる。
502は、DSP(Digital Signal Processor)であり、撮像素子501からのデータ(ディジタル信号)に対して各種の補正処理及び現像処理を施し、記録媒体505へ画像データの書き込み処理を行う。
503は、撮像素子501及びDSP502に対して、クロック信号や制御信号等の駆動信号を供給する駆動信号発生器であり、CPU504により制御される。
504は、DSP502や駆動信号発生器503の制御、測光及び焦点調節処理などを行う不図示の各部(測光制御部及び焦点調節処理制御部)によるカメラ機能の制御を行うCPUである。
505は、撮影された画像の画像データを保存するコンパクトフラッシュ(登録商標)カード等の記録媒体であり、不図示のコネクタを介して撮像装置100内に接続される。
撮像装置100は、被写体像を結像するため光学系(不図示)が取り付けられて撮像システムを構成し、この光学系を通った被写体像を撮像素子501上に結像するように構成されている。
図2は、本発明の好適な第1の実施形態に係る撮像素子501aの概略構成を示すブロック図である。本実施形態に係る撮像素子501aは、図1に示す撮像素子501の一例として具現されたものである。
撮像部101は、2次元に複数配列された画素102により構成されている。撮像部101では、入射した被写体の光を電気信号(撮像信号)に変換する。すなわち、撮像部101は、入射した被写体の光を、電気信号(撮像信号)として撮像を行う。ここで、駆動線V1〜Vmに接続された画素102は、遮光されたOB(オプティカル・ブラック)画素(遮光画素)である。遮光されていない画素(有効画素)に対して垂直方向に配置されているため、ここでは遮光画素を垂直OBと呼ぶ。駆動線Vm+1〜Vn(n>m)に接続された画素102は、遮光されていない画素(有効画素)である。従って、実際には被写体からの光は、駆動線Vm+1〜Vnに接続された有効画素にのみ入射する。図2のように遮光画素が配置された第1の遮光画素領域は、有効画素が配置された有効画素領域の最初の駆動線Vm+1での読み出しに先立って読み出される。各画素102の撮像信号の読み出しにおいては(第1の遮光画素領域の読み出し)、垂直走査回路103の動作により、2次元配列された画素102のうち第1行目の画素102を選択的に駆動させる駆動線V1が選択される。
そして、垂直走査回路103から選択された駆動線V1に駆動信号が供給される。すると、駆動線V1に接続された1行目の各画素102に蓄積されている撮像信号が、垂直出力線H1〜H5を介して、垂直出力線H1〜H5の各々に接続されたオフセット補償手段として機能するゲインアンプ104の反転入力端子(−)へ入力される。ゲインアンプ104のもう一方の入力(非反転入力端子(+))には、垂直出力線H1〜H5に接続されたいずれのゲインアンプ104に対してもフィードバック制御部200内の共通のD/A変換器(DAC)108の出力が接続されている。すなわち、ゲインアンプ104では、垂直出力線H1〜H5の各々からの撮像信号と、共通のD/A変換器108の出力信号との差分が増幅される。
次に、ゲインアンプ104の出力信号は、サンプル・ホールド回路(S/H)105に入力され保持される。サンプル・ホールド回路105に保持された1行分の信号は、画素列毎に配置されたA/D変換器(ADC)106に入力される。これと同時に、垂直走査回路103は、駆動線V1を非選択状態にし、駆動線V2に駆動信号を供給することにより、駆動線V2に接続された2行目の各画素102の撮像信号の転送を開始する。
A/D変換器106によってディジタル信号に変換された撮像信号は、データレジスタ112に保持され、水平走査回路113の動作によって垂直出力線H1〜H5の各列のデータ(各Nbit)が出力端子(OUT)114へ順次出力される。この際、出力伝送方式としてLVDSを用いてシリアライズすると出力線数を削減することができる。
各列のA/D変換器106の出力に接続されたスイッチ107は、クランプ制御パルスCPによって制御され、A/D変換器106から垂直OB(すなわち、駆動線V1〜Vmに接続された画素)のデータが出力されている期間のみONされる。クランプ制御パルスCPがHighレベルとなってスイッチ107がONされることにより、垂直OBに対応する行のデータがフィードバック制御部200内の垂直OBレベル検出部111へ入力される。
フィードバック制御部200は、A/D変換器106の少なくとも1つからの出力信号とクランプ設定値(基準値)との誤差量を補償するオフセット補償信号を、A/D変換器106の各々の入力側に共通して出力することによりフィードバック制御を行う。フィードバック制御部200は、垂直OBレベル検出部111と、減算器110と、垂直OBクランプ補正量演算部109と、D/A変換器(DAC)108とで構成される。
垂直OBレベル検出部111では、所定の演算方法によって垂直OBのレベル、すなわち、黒レベルが算出される。演算方法としては、中央値、重み付け平均など様々なものを採用することができるが、ここでは一例として、入力された1ライン分の画素の平均値を算出することとし、算出された結果をDvobとする。
垂直OBレベル検出部111の演算結果は、減算器110に入力される。減算器110は、上記のDvobからクランプ設定値Dcpを減算し、Dvobとクランプ設定値Dcpとの誤差量(=Dvob−Dcp)を垂直OBクランプ補正量演算部109へ入力する。
垂直OBクランプ補正量演算部109では、ゲインアンプ104、サンプル・ホールド回路105、A/D変換器106の各部の回路ゲインを考慮して、誤差量(Dvob−Dcp)をゲインアンプ104の入力レベルに換算する。そして、垂直OBクランプ補正量演算部109は、D/A変換器108に設定すべき値を算出する。垂直OBクランプ補正量演算部109はまた、ランダムノイズや画素欠陥などの影響がデータレジスタ112でも除去しきれずに本来の黒レベルを検出できない場合に備えて、検出誤差量に所定の係数を掛ける処理を行う。検出誤差量が大きすぎる場合には、垂直OBクランプ補正量演算部109は、クリップするなどの処理を行ってもよい。これにより、複数行にわたってクランプ処理を行う必要が生じるが、ランダムノイズや画素欠陥の影響を軽減することができる。なお、上記の係数には、通常1未満の係数が用いられる。
ここで、上記の回路ゲイン分の換算係数をα、ランダムノイズや画素欠陥の影響排除のための係数をβ、誤差量のクリップ閾値をDmaxとする。すると、i行目のフィードバック終了時における垂直OBクランプ補正量演算部109の出力信号Vda(i)、すなわち、D/A変換器108の設定値Wda(i)は、下記の数式1で表される。

Wda(i)=Vda(i)=α*β*(Dvob−Dcp)+Vda(i−1)((Dvob−Dcp)<Dmaxの場合)
Wda(i)=Vda(i)=α*β*Dmax+Vda(i−1)((Dvob−Dcp)>=Dmaxの場合)
…(数式1)

そして、D/A変換器108の出力信号は、列毎に設けられたゲインアンプ104の非反転入力端子(+)へ共通にフィードバックされる。
上述した一連の動作の繰り返しによって、駆動線V1に接続された1行目から撮像信号が順次読み出されていく。垂直走査回路103による処理が進み、垂直OBの各行の読出し動作が繰り返されるのに伴って、垂直OBレベル検出部111で算出される黒レベルは次第にクランプ設定値に近づく。そして、垂直OBの最終行であるm行目の読み出し時点では、垂直OBレベル検出部111で算出される黒レベルはクランプ設定値とほぼ一致している。即ち、この時点での設定値Wda(m)に対応したD/A変換器108の出力信号はOB画素の信号とほぼ一致している。そして、A/D変換器106からm+1行目のデータが出力されるタイミングまで到達すると、クランプ制御パルスCPがLowレベルに制御される。CPがLowレベルの場合、垂直OBレベル検出部111の出力信号はクランプ設定値に固定される。その結果、減算器110の出力信号(Dvob−Dcp)は0となり、垂直OBクランプ補正量演算部109の出力信号はVda(m)で保持され、D/A変換器108の値はWda(m)で保持される。そして、その状態でm+1行目以降の読出し動作が継続される。
上記構成によって、m+1行目が読み出される時点では、D/A変換器108の出力値として、遮光画素領域の読出しの際に保持された値Wda(m)が用いられる。そのため、ゲインアンプ104の出力側では、画素102から読み出した撮像信号からその画素での黒レベルに相当する量の信号を減算した信号(光信号)が出力される。このように、A/D変換器106の入力側で画素102から読み出した撮像信号からその画素での黒レベルに相当する信号を減算する。これにより、画素102の黒レベルの値が大きくなった場合でも、A/D変換器106のダイナミックレンジを光信号に有効に割り当て、光信号のダイナミックレンジを確保することができる。その結果、高温下での露光や長時間露光など、画素102からの撮像信号に暗電流が多く含まれる撮影条件においても、光信号のダイナミックレンジを確保することができる。
上述の説明では、OBクランプ回路の構成としては、D/A変換器を使用し、ゲインアンプ104の非反転入力端子(+)にフィードバックする形態とした。しかしながら、図3のようにサンプル・ホールド回路105の出力側かつA/D変換器106の入力側に、オフセット補償手段として機能する減算器201を設け、減算器201にD/A変換器108の出力信号をフィードバックする構成としてもよい。また、D/A変換器の替わりに特許文献4のようにコンデンサを用いた積分回路を使用するなど、黒レベルを所望の値に調整できる方法ならば、他の構成で実現してもよい。
A/D変換器106は、前述のランプ型、逐次比較型などの他、如何なる構成のものを採用することができ、垂直出力線H1〜H5に対応して配置されていればよい。
上述の説明では、垂直OBレベル検出部111が水平1行分の全ての画素の平均値を算出するように記載したが、一部の画素の平均値を算出するように、平均を算出するための領域を制限してもよい。また、黒レベルの算出は、平均値によるものには限定されず、中央値や重み付け平均等、垂直OBの画素データに基づくものであれば如何なるものであってもよい。
また、上述の説明では、垂直方向に関して、垂直OBの全ての行においてOBクランプ動作を行うように記載したが、領域を制限して、OBクランプ動作を実施しない行を設けてもよい。
(第2の実施形態)
図4は、本発明の好適な第2の実施形態に係る撮像素子501cの概略構成を示すブロック図である。本実施形態に係る撮像素子501cは、図1に示す撮像素子501の一例として具現されたものである。なお、図4において図2と同様の構成要素には同じ参照符号を付している。
図4は、図2に対して水平OB(有効画素領域の水平方向に設けられた遮光画素)を付加し、m+1行目以降において水平OBのデータを使用してクランプ動作(以下、「水平OBクランプ」という。)を行う構成としたものである。
撮像部101の画素102のうち、有効画素と共通の駆動線Vm+1〜Vnにより読み出される遮光画素領域(第2の遮光画素領域)に配置され、垂直出力線H1、H2に接続された遮光画素102が水平OBである。図2と同様に駆動線V1〜Vmに接続された遮光画素102が垂直OBである。また、フィードバック制御部400は、垂直OBレベル検出部111と、減算器110と、垂直OBクランプ補正量演算部109と、D/A変換器108と、水平OBレベル検出部301と、減算器302と、水平OBクランプ補正量演算部303とを備える。
各行の読出し動作は第1の実施形態と同様である。但し、垂直OBクランプ補正量演算部109の出力信号がそのままD/A変換器108に設定されるのではなく、加算器304で水平OBクランプ補正量演算部303の出力信号と加算された後に、D/A変換器108に設定される点で異なる。以下、水平OBクランプの動作について説明する。
水平OBレベル検出部301は、クランプ制御パルスCPがHighレベルの場合には、クランプ設定値Dcpを出力する。従って、m+1行目の読出し動作に入るまでは、実質的には水平OBクランプ動作が行われず、第1の実施形態で説明した垂直OBのデータを使用したOBクランプ動作のみが行われる。
m+1行目の読出し動作が開始されると、クランプ制御パルスCPがLowレベルとなり、水平OBレベル検出部301は、水平OB(すなわち、ここでは駆動線Vm−1〜Vnと垂直出力線H1又はH2とに接続された画素)のレベルを検出する。水平OBレベル検出部301での演算方法としては、垂直OBレベル検出部111と同様に様々なものを採用することができるが、ここでは一例として、水平遮光画素のライン平均値とし、算出された結果をDhobとする。
水平OBレベル検出部301の演算結果Dhobは、減算器302に入力される。減算器302は、上記のDhobからクランプ設定値Dcpを減算し、クランプ設定値との誤差量(=Dhob−Dcp)を水平OBクランプ補正量演算部303へ入力する。
水平OBクランプ補正量演算部303では、垂直OBクランプ補正量演算部109と同様にして水平OBクランプ補正量が算出される。すなわち、各部の回路ゲインを考慮した係数、ランダムノイズや画素欠陥などの影響を排除するための係数、クリップ処理などを掛ける演算が行われる。
ここで、回路ゲイン分の換算係数αは、垂直OBクランプ補正量演算部109と同じであるが、ランダムノイズや画素欠陥の影響排除のための係数β’及び誤差量のクリップ閾値Dmax’は、垂直OBクランプ補正量演算部109とは異なってもよい。i行目における水平OBクランプ補正量演算部303の出力信号Hda(i)は、下記の数式2で表される。

Hda(i)=α*β’*(Dhob−Dcp)+Hda(i−1)((Dhob−Dcp)<Dmax’の場合)
Hda(i)=α*β’*Dmax’+Hda(i−1)((Dhob−Dcp)>=Dmax’の場合)
…(数式2)
但し、前述したようにクランプ制御CPがHighレベルの場合には、水平OBレベル検出部301はクランプ設定値Dcpを出力するため、m+1行目の読み出し開始まではHda(i)=0である。
水平OBクランプ補正量演算部303の出力信号Hdaは、加算器304において垂直OBクランプ補正量演算部109が保持しているVdaと加算され、D/A変換器108に設定される。すなわち、D/A変換器108の設定値Wda(i)は、以下の数式3で表される。

Wda(i)=Vda(i)+Hda(i)
…(数式3)
以上のように、第2の実施形態によれば、垂直OBでクランプ処理を行ってダイナミックレンジを確保するとともに、水平OBクランプを行うことにより撮像素子の垂直方向のシェーディングも補正して出力することができる。
上述の説明では、水平OBレベル検出部301が1行あたりの全ての水平OBの平均値を算出するように記載したが、一部の画素の平均値を算出するように、平均値を算出するための領域を制限してもよい。また、行毎の水平OBレベルの算出は、平均値によるものには限定されず、中央値や重み付け平均等、水平OBの画素データに基づくものであれば如何なるものであってもよい。
また、上述の説明では、垂直方向に関して、垂直OB或いは水平OBを有する全ての行においてOBクランプ動作を行うように記載したが、領域を制限して、OBクランプ動作を実施しない行を設けてもよい。
また、上述の説明では、水平OBレベル検出部301、減算器302、水平OBクランプ補正量演算部303を全て独立したブロックとして記載した。しかしながら、垂直OBレベル検出部111、減算器110、垂直OBクランプ補正量演算部109と回路を共有するように構成してもよい。
(第3の実施形態)
図5は、本発明の好適な第3の実施形態に係る撮像素子501dの概略構成を示すブロック図である。本実施形態に係る撮像素子501dは、図1に示す撮像素子501の一例として具現されたものである。なお、図5において図2と同様の構成要素には同じ参照符号を付している。
図5は、図2に対して水平OB(有効画素領域の水平方向に設けられた遮光画素)を付加し、m+1行目以降において水平OBクランプ動作を行う構成としたものである。但し、水平OBクランプ動作の減算補正をアナログ信号で行うのではなく、ディジタル信号で行う点で第2の実施形態と異なる。
各行の読出し動作は第1の実施形態と同じである。フィードバック制御部500は、垂直OBレベル検出部111と、減算器110と、垂直OBクランプ補正量演算部109と、D/A変換器108と、水平OBレベル検出部401と、減算器402とで構成される。なお、水平OBレベル検出部401及び減算器402の動作は、それぞれ第2の実施形態の水平OBレベル検出部301及び減算器302の動作と同様である。
水平OBクランプ補正量演算部403では、ランダムノイズや画素欠陥などの影響を排除するための係数β’、Dmax’によるクリップ処理などが掛けられ、水平OBクランプ補正量が算出される。第2の実施形態とは異なり、ここではディジタル演算によって水平OBクランプ処理を行うため、各部の回路ゲインを考慮した係数αは必要ない。
水平OBクランプ補正量演算部403の出力信号(オフセット補償信号)Hda’(i)は、下記の数式4で表される。

Hda’(i)=β’*(Dhob−Dcp)+Had’(i−1)((Dhob−Dcp)<Dmax’の場合)
Hda’(i)=β’*Dmax’+Had’(i−1)((Dhob−Dcp)>=Dmax’の場合)
…(数式4)

減算器404では、データレジスタ112から順次読み出される各列のデータからHda’(i)が減算される。1行分のデータからは全て同じHda’(i)が減算されることになる。これによって水平OBクランプ動作が実現される。減算器404の結果は出力端子(OUT)114から順次出力される。
以上のように、第3の実施形態によれば、第2の実施形態と同様に、垂直OBでクランプ処理を行ってダイナミックレンジを確保するとともに、水平OBクランプを行うことにより撮像素子の垂直方向のシェーディングも補正して出力することができる。
水平OBレベル検出部401での演算は、第2の実施形態と同様に、演算に用いられる水平方向の領域を制限してもよい。また、行毎の水平OBレベルの算出は、平均値に限定されず、中央値、重み付け平均等、水平OBの画素データに基づくものであれば如何なるものであってもよい。
また、上述の説明では、垂直方向に関して、垂直OB或いは水平OBを有するの全ての行においてOBクランプ動作を行うように記載したが、領域を制限して、OBクランプ動作を実施しない行を設けてもよい。
本発明の好適な実施の形態に係る撮像装置の全体構成を示すブロック図である。 本発明の好適な第1の実施形態に係る撮像素子内部の概略構成を示すブロック図である。 本発明の好適な第1の実施形態に係る撮像素子内部の他の構成例を示すブロック図である。 本発明の好適な第2の実施形態に係る撮像素子内部の概略構成を示すブロック図である。 本発明の好適な第3の実施形態に係る撮像素子内部の概略構成を示すブロック図である。
符号の説明
100 撮像装置
101 撮像部
106 アナログ−ディジタル変換手段
200 フィードバック制御部
501 撮像素子
502 DSP
503 駆動信号発生器
504 CPU
505 記録媒体

Claims (6)

  1. 光電変換手段を含む画素が複数配列されるとともに、前記複数配列された画素が、前記光電変換手段に光が入射する有効画素領域と、前記光電変換手段が遮光された遮光画素領域と、を有する撮像部と、
    前記複数配列された画素の各列にそれぞれ接続された複数のアナログ−ディジタル変換手段と、
    前記複数のアナログ−ディジタル変換手段のうち2つ以上から出力された前記遮光画素領域の出力信号と基準値との誤差量を補償するためのオフセット補償信号を、前記各列に共通なオフセット補償信号として出力するフィードバック制御部と、
    前記複数のアナログ−ディジタル変換手段の各々の入力側に、前記画素の各列に対応して配置され、対応する列の前記有効画素領域の出力信号から、前記フィードバック制御部が出力する前記各列に共通なオフセット補償信号を減算してオフセットを補償する複数のオフセット補償手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記フィードバック制御部は、前記複数のアナログ−ディジタル変換手段の一部から出力された前記遮光画素領域の出力信号と前記基準値との誤差量を補償するオフセット補償信号を、前記各列に共通なオフセット補償信号として出力することを特徴とする請求項1に記載の撮像装置。
  3. 前記複数のオフセット補償手段の各々は、前記有効画素領域の対応する列の出力信号と前記オフセット補償信号との差分を増幅することを特徴とする請求項1又は2に記載の撮像装置。
  4. 光電変換手段を含む画素が複数行に配列されるとともに、前記複数行に配列された画素が、前記光電変換手段に光が入射する有効画素領域と、前記有効画素領域における最初の読み出し行に先立って読み出され、前記光電変換手段が遮光された第1の遮光画素領域と、前記有効画素領域と共通の読み出し行に配置され、前記光電変換手段が遮光された第2の遮光画素領域と、を有する撮像部と、
    前記複数行に配列された画素の各列にそれぞれ接続された複数のアナログ−ディジタル変換手段と、
    前記複数のアナログ−ディジタル変換手段からの出力信号と基準値との誤差量を補償するための前記各列に共通なオフセット補償信号を出力するフィードバック制御部と、
    前記複数のアナログ−ディジタル変換手段の各々の入力側に、前記画素の各列に対応して配置され、対応する列の前記画素から読み出した撮像信号から、前記フィードバック制御部が出力する前記各列に共通なオフセット補償信号を減算してオフセットを補償する複数のオフセット補償手段と、を備え、
    前記フィードバック制御部は、前記第1の遮光画素領域の読み出し時には、前記複数のアナログ−ディジタル変換手段出力信号と前記基準値との誤差量を補償する第1のオフセット補償信号を、前記各列に共通なオフセット補償信号として出力し、
    前記第2の遮光画素領域及び前記有効画素領域の読み出し時には、保持した前記第1の遮光画素領域の読み出し時の前記第1のオフセット補償信号と、前記複数のアナログ−ディジタル変換手段の少なくとも1つからの出力信号と前記基準値との誤差量を補償する第2のオフセット補償信号とを加算したオフセット補償信号を、前記各列に共通なオフセット補償信号として出力することを特徴とする撮像装置。
  5. 光電変換手段を含む画素が複数行に配列されるとともに、前記複数行に配列された画素が、前記光電変換手段に光が入射する有効画素領域と、前記有効画素領域における最初の読み出し行に先立って読み出され、前記光電変換手段が遮光された第1の遮光画素領域と、前記有効画素領域と共通の読み出し行に配置され、前記光電変換手段が遮光された第2の遮光画素領域と、を有する撮像部と、
    前記複数行に配列された画素の各列にそれぞれ接続された複数のアナログ−ディジタル変換手段と、
    前記複数のアナログ−ディジタル変換手段のうち2つ以上からの出力信号と基準値との誤差量を補償するためのオフセット補償信号を、前記各列に共通なオフセット補償信号として出力するフィードバック制御部と、
    前記複数のアナログ−ディジタル変換手段の各々の入力側に、前記画素の各列に対応して配置され、対応する列の前記画素から読み出した撮像信号から、前記フィードバック制御部が出力する前記各列に共通の前記オフセット補償信号を減算してオフセットを補償する複数の第1のオフセット補償手段と、
    前記複数のアナログ−ディジタル変換手段の出力側に配され、前記複数のアナログ−ディジタル変換手段の各々の出力信号から前記各列に共通なオフセット補償信号を減算してオフセットを補償する第2のオフセット補償手段と、備え、
    前記フィードバック制御部は、前記第1の遮光画素領域の読み出し時には、前記複数のアナログ−ディジタル変換手段出力信号と前記基準値との誤差量を補償するための第1のオフセット補償信号を前記複数の第1のオフセット補償手段の各々の入力に出力し、
    前記第2の遮光画素領域及び前記有効画素領域の読み出し時には、保持した前記第1のオフセット補償信号を前記複数の第1のオフセット補償手段の各々の入力に出力するとともに、前記複数のアナログ−ディジタル変換手段の少なくとも1つからの出力信号と前記基準値との誤差量を補償するための第2のオフセット補償信号を前記第2のオフセット補償手段の各々の入力に出力することを特徴とする撮像装置。
  6. 請求項1乃至請求項のいずれか1項に記載の撮像装置と、
    前記撮像部に被写体像を結像するための光学系と、
    を備えることを特徴とする撮像システム。
JP2007051935A 2007-03-01 2007-03-01 撮像装置及び撮像システム Active JP4971834B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007051935A JP4971834B2 (ja) 2007-03-01 2007-03-01 撮像装置及び撮像システム
US12/038,529 US8553114B2 (en) 2007-03-01 2008-02-27 Image sensing apparatus and image sensing system
CN2008100061993A CN101257560B (zh) 2007-03-01 2008-02-29 摄像装置及摄像系统
EP08152172.6A EP1968307B1 (en) 2007-03-01 2008-02-29 Image sensing apparatus and image sensing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007051935A JP4971834B2 (ja) 2007-03-01 2007-03-01 撮像装置及び撮像システム

Publications (3)

Publication Number Publication Date
JP2008219293A JP2008219293A (ja) 2008-09-18
JP2008219293A5 JP2008219293A5 (ja) 2010-07-08
JP4971834B2 true JP4971834B2 (ja) 2012-07-11

Family

ID=39430711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007051935A Active JP4971834B2 (ja) 2007-03-01 2007-03-01 撮像装置及び撮像システム

Country Status (4)

Country Link
US (1) US8553114B2 (ja)
EP (1) EP1968307B1 (ja)
JP (1) JP4971834B2 (ja)
CN (1) CN101257560B (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5451052B2 (ja) * 2008-12-15 2014-03-26 キヤノン株式会社 撮像装置
JP5589284B2 (ja) * 2009-02-19 2014-09-17 株式会社ニコン 撮像装置及び補正量算出プログラム
JP5511203B2 (ja) * 2009-03-16 2014-06-04 キヤノン株式会社 撮像素子及び撮像装置
JP2010225618A (ja) * 2009-03-19 2010-10-07 Seiko Epson Corp センシング装置および電子機器
JP5251777B2 (ja) * 2009-07-30 2013-07-31 ソニー株式会社 固体撮像素子およびカメラシステム
JP2011166287A (ja) * 2010-02-05 2011-08-25 Olympus Corp 固体撮像装置および固体撮像装置の駆動方法
JP5493980B2 (ja) * 2010-02-19 2014-05-14 ソニー株式会社 固体撮像素子、およびカメラシステム
JP2012049597A (ja) 2010-08-24 2012-03-08 Nikon Corp 撮像装置
US8405747B2 (en) * 2011-02-17 2013-03-26 Omnivision Technologies, Inc. Analog row black level calibration for CMOS image sensor
JP5746521B2 (ja) * 2011-03-02 2015-07-08 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP5954997B2 (ja) * 2012-01-18 2016-07-20 キヤノン株式会社 固体撮像装置及びその駆動方法
JP6041500B2 (ja) * 2012-03-01 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法
TWI527450B (zh) * 2012-05-01 2016-03-21 Sony Corp Image sensor, and image sensor control method
JP6037878B2 (ja) * 2013-02-13 2016-12-07 オリンパス株式会社 撮像装置
JP6110689B2 (ja) * 2013-02-28 2017-04-05 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6037170B2 (ja) * 2013-04-16 2016-11-30 ソニー株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
CN104469193B (zh) * 2013-09-17 2017-11-07 原相科技股份有限公司 具有暗电流补偿的感测装置及其控制方法
JP6544070B2 (ja) 2015-06-16 2019-07-17 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
JP2017011388A (ja) * 2015-06-18 2017-01-12 浜松ホトニクス株式会社 撮像装置、画像取得装置、画像取得方法、画像処理装置、及び画像処理プログラム
US10694128B2 (en) 2015-07-23 2020-06-23 Sony Corporation Solid-state image pickup apparatus and driving method for solid-state image pickup apparatus
EP3252445B1 (en) * 2016-06-01 2024-01-03 ams International AG Photodetector arrangement having an adjustable output and method for adjusting an output of a photodetector arrangement
JP6815777B2 (ja) * 2016-07-25 2021-01-20 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP7103664B2 (ja) * 2016-11-02 2022-07-20 プレシラブズ エスエー 検出装置、位置決めコード、および位置検出方法
JP2018101966A (ja) * 2016-12-22 2018-06-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、電子機器、および、固体撮像素子の制御方法
EP3586504A1 (en) * 2017-02-22 2020-01-01 Flir Systems, Inc. Low cost and high performance bolometer circuitry and methods
WO2019026632A1 (ja) * 2017-08-02 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置
US10104321B1 (en) * 2017-08-15 2018-10-16 Himax Imaging Limited Image processing system and method for an image sensor
DE112018004410T5 (de) 2017-10-03 2020-05-20 Sony Semiconductor Solutions Corporation Festkörper-bildsensor und elektronisches gerät
JP7052040B2 (ja) * 2017-11-24 2022-04-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アレイ内光学的黒画素のためのクロストーク補償を有する感光撮像システムおよびデバイス
JP2019153946A (ja) 2018-03-05 2019-09-12 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JP2020014110A (ja) 2018-07-18 2020-01-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7316028B2 (ja) * 2018-08-01 2023-07-27 キヤノン株式会社 撮像素子及びその制御方法、及び撮像装置
CN109309799B (zh) * 2018-11-20 2020-11-03 京东方科技集团股份有限公司 像素感应电路及其驱动方法、图像传感器、电子设备
JP7312029B2 (ja) * 2019-06-17 2023-07-20 ルネサスエレクトロニクス株式会社 撮像信号の信号処理方法およびそれを用いた固体撮像装置
KR20210150765A (ko) 2020-06-04 2021-12-13 에스케이하이닉스 주식회사 이미지 센싱 장치 및 이를 포함하는 촬영 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548460A (ja) 1991-06-05 1993-02-26 Matsushita Electric Ind Co Ltd A/d変換器とこれを用いたセンサ及び3次元集積回路
JPH05153428A (ja) 1991-11-27 1993-06-18 Sony Corp クランプ回路
WO1997018633A1 (en) 1995-11-07 1997-05-22 California Institute Of Technology Capacitively coupled successive approximation ultra low power analog-to-digital converter
US6344877B1 (en) * 1997-06-12 2002-02-05 International Business Machines Corporation Image sensor with dummy pixel or dummy pixel array
US6750910B1 (en) * 1998-07-15 2004-06-15 Texas Instruments Incorporated Optical black and offset correction in CCD signal processing
JP2000224440A (ja) * 1999-02-04 2000-08-11 Matsushita Electric Ind Co Ltd ディジタルクランプ回路
US6965407B2 (en) * 2001-03-26 2005-11-15 Silicon Video, Inc. Image sensor ADC and CDS per column
WO2002098112A2 (en) * 2001-05-29 2002-12-05 Transchip, Inc. Patent application cmos imager for cellular applications and methods of using such
US20030202111A1 (en) * 2002-04-30 2003-10-30 Jaejin Park Apparatus and methods for dark level compensation in image sensors using dark pixel sensor metrics
KR100833177B1 (ko) * 2002-05-14 2008-05-28 삼성전자주식회사 자동적으로 오프 셋을 조정할 수 있는 신호변환회로 및 그방법
JP2004015712A (ja) * 2002-06-11 2004-01-15 Sony Corp 固体撮像装置及びその固定パターン雑音除去方法
JP2005101870A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 信号調整回路
JP2005101985A (ja) * 2003-09-25 2005-04-14 Sony Corp 固体撮像装置および画像入力装置
US7750955B2 (en) * 2004-08-31 2010-07-06 Canon Kabushiki Kaisha Image signal processing apparatus, image signal processing method and camera using the image signal processing apparatus
JP2006157242A (ja) * 2004-11-26 2006-06-15 Canon Inc 画像信号のクランプ装置及びクランプ方法
JP4625685B2 (ja) * 2004-11-26 2011-02-02 株式会社東芝 固体撮像装置
JP2006217469A (ja) * 2005-02-07 2006-08-17 Olympus Corp クランプ回路、及びこのクランプ回路を有するデジタルカメラシステム
JP4533176B2 (ja) * 2005-02-14 2010-09-01 キヤノン株式会社 撮像装置、クランプ制御方法、及びプログラム
JP4682750B2 (ja) * 2005-08-22 2011-05-11 ソニー株式会社 Da変換装置
CN101352033B (zh) * 2005-12-27 2011-01-19 富士通半导体股份有限公司 固体摄像元件以及暗电流分量除去方法

Also Published As

Publication number Publication date
EP1968307A2 (en) 2008-09-10
CN101257560A (zh) 2008-09-03
JP2008219293A (ja) 2008-09-18
CN101257560B (zh) 2010-07-21
US20080211946A1 (en) 2008-09-04
EP1968307A3 (en) 2013-11-20
EP1968307B1 (en) 2015-12-09
US8553114B2 (en) 2013-10-08

Similar Documents

Publication Publication Date Title
JP4971834B2 (ja) 撮像装置及び撮像システム
US9549139B2 (en) Imaging apparatus, imaging system, and method for driving imaging apparatus
JP2007158626A (ja) 固体撮像装置
US11184565B2 (en) Image pickup apparatus and its control method
JP4517660B2 (ja) 固体撮像装置、画像入力装置および固体撮像素子の駆動方法
JP2008172493A (ja) フロントエンド信号処理方法およびフロントエンド信号処理装置
US11165978B2 (en) Imaging device, control method thereof, and imaging apparatus
JP2010245891A (ja) 撮像装置および撮像方法
JP2009005329A (ja) 撮像装置及びその処理方法
US10560653B2 (en) Image sensing apparatus and control method for performing analog-to-digital conversion
US8269863B2 (en) Solid-state image pickup device and image pickup apparatus
JP2008109264A5 (ja)
US8067720B2 (en) Image sensing device and imaging system
US8564694B2 (en) Image pickup device and noise reduction method thereof
EP2137959B1 (en) Long exposure digital image sensor system
JP6896788B2 (ja) 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体
JP5129650B2 (ja) 撮像装置
JP2012235297A (ja) 画像信号処理回路
JP2011009834A (ja) 撮像装置及び撮像方法
JP2012235363A (ja) 撮像装置
JP4735006B2 (ja) 黒バランス調整装置
JP2021106375A (ja) 撮像素子およびその制御方法、撮像装置
JP2008205549A (ja) クランプ装置及び撮像装置
JP2019213047A (ja) 撮像素子、撮像装置および撮像素子の制御方法
JP2005347956A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120402

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4971834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3