JP4771535B2 - 撮像装置及び制御方法 - Google Patents

撮像装置及び制御方法 Download PDF

Info

Publication number
JP4771535B2
JP4771535B2 JP2006122532A JP2006122532A JP4771535B2 JP 4771535 B2 JP4771535 B2 JP 4771535B2 JP 2006122532 A JP2006122532 A JP 2006122532A JP 2006122532 A JP2006122532 A JP 2006122532A JP 4771535 B2 JP4771535 B2 JP 4771535B2
Authority
JP
Japan
Prior art keywords
signal
photoelectric conversion
unit
clamp circuit
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006122532A
Other languages
English (en)
Other versions
JP2006352843A5 (ja
JP2006352843A (ja
Inventor
隆史 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006122532A priority Critical patent/JP4771535B2/ja
Priority to US11/436,795 priority patent/US8115837B2/en
Publication of JP2006352843A publication Critical patent/JP2006352843A/ja
Publication of JP2006352843A5 publication Critical patent/JP2006352843A5/ja
Application granted granted Critical
Publication of JP4771535B2 publication Critical patent/JP4771535B2/ja
Priority to US13/359,002 priority patent/US8982252B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Description

本発明は、光電変換により被写体像を撮像する撮像装置及びその制御方法に関する。
従来より、画素毎に又はライン毎に画素に蓄積された不要電荷を除去するリセット走査を実行し、その後、一画素又はライン毎に、それぞれ所定の時間を経過してから信号電荷を読み出す走査を行うことで電子シャッタ動作を実現できることが知られている。
従来のXYアドレス型の走査方法を採る撮像素子を用いた撮像装置において、電子シャッタ動作について説明する。図11及び図12を用いて従来の撮像素子の構造と、電子シャッタ動作の内、ローリング電子シャッタ動作と呼ばれる駆動方法について説明する。
図11は、従来のXYアドレス型の走査方法を採る撮像素子の構成を示す模式図である。
101は単位画素であり、複数の単位画素101が行列状に配置されている。102は、被写体像の光を信号電荷に変換するフォトダイオード(以下、「PD」と記す。)である。104は、信号電荷を一時的に蓄積しておく領域(フローティングディフュージョン部、以下、「FD」と記す。)である。103は、転送パルスφTXによってPD102で発生した信号電荷をFD104に転送する転送スイッチである。105は、ソースフォロアとして機能する増幅MOSアンプである。106は、選択パルスφSELによって単位画素101を選択する選択スイッチであり、107は、リセットパルスφRESによってFD104を所定の電位(VDD)にリセットするリセットスイッチである。FD104、増幅MOSアンプ105、及び後述する定電流源109でフローティングディフュージョンアンプが構成される。選択スイッチ106で選択された単位画素101の信号電荷が電圧に変換され、信号線108を経て読み出し回路111に出力される。109は、増幅MOSアンプ105の負荷となる定電流源である。
水平走査回路110の駆動により、読み出し回路111から各画素101の出力が出力線112に出力される。また、113はスイッチ103,106,107にそれぞれ駆動信号φTX、φSEL、φRESを供給することで、各画素の駆動を制御する垂直走査回路である。φTX、φRES、φSELそれぞれにおいて、垂直走査回路113により走査選択されたn行目の走査ラインに供給する駆動信号をφTXn,φRESn,φSELnとする。
図12は、ローリング電子シャッタ動作における駆動パルスと動作シーケンスを示す模式図である。なお図11では、垂直走査回路113によって第nラインから第n+3ラインを駆動した例を記述している。
ローリング電子シャッタ動作では、第nラインにおいて、まず時刻t31からt32の間、φRESnとφTXnにパルスが印加され転送スイッチ103及びリセットスイッチ107をオンにする。これにより、第nラインのPD102とFD104に蓄積されている不用電荷を除去し、所定電位にリセットするリセット動作を行う。時刻t32で転送スイッチ103がオフになり、PD102に発生した光電荷が蓄積される蓄積動作が始まる。
次に、時刻t34においてφTXnにパルスを印加して転送スイッチ103をオンにし、PD102に蓄積された光電荷をFD104に転送する転送動作を行う。なお、リセットスイッチ107は、転送動作に先んじてオフしておく。ここで、時刻t32から、φTXnがローとなって転送動作が終了する時刻t35までが電荷蓄積時間となる。第nラインの転送動作終了後、φSELnにパルスが印加され選択スイッチ106がオンすることにより、FD104で保持した光電荷が電圧に変換され、読み出し回路111に出力される。読み出し回路111で一時的に保持された信号が水平走査回路110の駆動によって時刻t36より順次出力される。時刻t34の転送開始から時刻t37の読み出し終了までをT3readとし、時刻t31から時刻t33までの時間をT3waitとする。他のラインにおいても同様に、転送開始から読み出し終了までの時間がT3readとなり、あるラインのリセット開始から次のラインのリセット開始までの間の時間がT3waitとなる。
ところで、図12に示すローリング電子シャッタは、画面の上部と下部とで蓄積時刻が画面の走査に要した時間だけずれるという問題がある。これは、あるラインのリセットをしてから次のラインのリセットをするまでの時間T3waitを、転送開始から読み出し終了までにかかる時間T3read以上の時間に設定する必要があるためである。このT3wait時間がT3read時間より短いと、電荷蓄積時間をすべての行で同じにしようとした場合、以下のような問題が生じる。即ち、読み出し回路111に一時保持された第nラインの信号の読み出し動作が完了する前の、第nラインの画素の信号が読み出し回路111に残っている内に次のラインの信号が読み出し回路111転送されてしまう。これにより、第nラインの一部の画素の信号の読み出しができないばかりか、読み残された第nラインの信号が第n+1ラインの信号と加算されて、第n+1ラインの信号として誤った信号が出力されてしまうことになる。また、読み出し回路111から高速に信号出力の読み出し走査ができないと、特に画素数が多い場合、画像の上下における電荷蓄積時刻(つまり、撮影タイミング)のずれが大きくなる。
また、特許文献1に記載されていているような、リセット動作及び転送動作を一括で行うMOS型撮像素子も存在する。このような動作における動作シーケンスを図13に示す。図13において、時刻t41から時刻t42にすべてのラインのリセット動作が同時に行われる。また、時刻t43から時刻t44までの転送動作も同時に行われる。以下、このような電子シャッタを一括電子シャッタと呼ぶ。一括電子シャッタを行うと電荷蓄積時間は全ラインでt42からt44までとなり、電荷蓄積時刻が画面の上下でずれない電子シャッタを実現することができる。
また、リセット動作及び転送動作を高速で行うために、リセット動作と転送動作の高速化を図った図14で示す動作シーケンスを行うMOS型撮像素子も存在する。このシーケンスを図11及び図14を用いて説明する。
まず、時刻t51からt52までφRESnとφTXnにパルスを印加することによって、リセットスイッチ107と転送スイッチ103をオンにし、第nラインのPD102とFD104をリセットするリセット動作を行う。時刻t52より第nラインのPD102に光電荷が発生する電荷蓄積動作が始まり、t53に最終ラインまでのリセット動作が完了する。時刻t54からt55においてφTXnにパルスを印加して転送スイッチ103をオンにし、第nラインのPD102で溜まった光電荷をFD104に転送する転送動作を行う。時刻t52から時刻t55までが第nラインの蓄積時間となる。第n+1ライン以降の転送動作についてはt55以降の時刻に順次行われ、時刻t57ですべてのラインの転送が完了する。
ここで、第nラインの転送動作終了後、時刻t55にφSELnにパルスが印加されスイッチ106がオンとなる。これにより、FD104で保持した電荷が増幅MOSアンプ105と定電流源109で構成されるソースフォロア回路によって電圧に変換され、読み出し回路111に読み出される。読み出し回路111で一時的に保持された信号が水平走査回路110の制御によって時刻t56より順次出力線112に出力される。第n+1ラインの読み出しは、第nラインの信号がすべて読み出し回路111から読み出された後の時刻t58以降に行われる。図14に示すシーケンスによって、あるラインの走査開始から次のラインの走査開始までの時間が読み出し時間に依存せず決定できるため、ローリング電子シャッタによる画像の歪みを低減することができる。このような電子シャッタをローリング転送電子シャッタと呼ぶ。一括電子シャッタ、ローリング電子シャッタ及びローリング転送電子シャッタでは、メカニカルシャッタを用いる必要がないため、動画用途に最適である。
一方、各画素から読み出される光信号から、各画素に特有のノイズを除去する構成が知られている。その一例として、各ライン毎に各画素から読み出した光信号をそれぞれ容量に一時的に保持し、光信号の読み出しの前または後に、各画素のノイズ信号をそれぞれ別の容量に一時的に保持し、各画素毎に光信号からノイズ信号を差分する。このように装置を構成し、制御することで、ノイズ成分を削減することができる。
特開2003−17677号公報
しかしながら、光信号を保持する容量とノイズ出力を保持する容量にそれぞればらつきがあることから、更に精度良くノイズ成分を削減するために、クランプ回路を用いる構成も知られている。クランプ回路を用いた構成では、ローリング電子シャッタの場合、先ず、読み出し行の各画素からノイズ信号を読み出してクランプ回路における基準レベルとすると共に、ノイズ信号を読み出して容量に保持する。その後、光信号を読み出して、クランプ回路によってクランピングしてから容量に保持する。従って、ノイズ信号で光信号をクランピングすることになり(光信号−ノイズ信号)をクランプ回路から得ることができる。
これに対し、一括電子シャッタ及びローリング転送電子シャッタの場合、光電荷をPDからFDに転送する動作が読み出し動作の前に行われる。そのため、読み出し動作時にノイズ信号をクランプした後、ノイズ信号を読み出し、光信号を読み出すといった順序での動作ができない。最初にFDを読み出すときには光電荷が既にFDに転送されているので、先に読み出したFDの電位がクランプ回路における基準レベルとなってしまう。その後、ノイズ信号を読み出した場合、クランプ回路からの出力は、(ノイズ信号−光信号)となってしまい、クランプ回路の後段で用いられるアンプの動作範囲から外れてしまうという問題があった。
本発明は上記問題点を鑑みてなされたものであり、撮像装置においてクランプ回路を用いる場合に、クランピング後の出力レベルの範囲を所定の範囲内に抑えることを目的とする。
上記目的を達成するために、本発明の撮像装置は、それぞれが、受光量に応じて光電変換信号を出力する光電変換部を含む、2次元に配置された複数の画素と、クランプ回路を含む出力部と、前記クランプ回路に基準信号を出力する信号供給回路と、前記画素からの前記光電変換信号を含む信号を前記クランプ回路へ出力するのに先だって、前記基準信号をクランプし、その後、前記光電変換信号を含む信号を前記クランプ回路に出力し、その後、前記画素のノイズ信号を前記クランプ回路へ出力する第1の制御を行う制御部と、前記クランプ回路によって処理された前記光電変換信号を含む信号と前記ノイズ信号との差分処理を行う差分回路とを有する。
また、それぞれが、受光量に応じて光電変換信号を出力する光電変換部を含む、2次元に配置された複数の画素と、クランプ回路を含む出力部と、前記クランプ回路に基準信号を出力する信号供給回路とを有する撮像装置の制御方法であって、前記画素からの前記光電変換信号を含む信号を前記クランプ回路へ出力するのに先だって、前記基準信号をクランプするステップと、前記光電変換信号を含む信号を前記クランプ回路に出力するステップと、前記ノイズ信号を前記クランプ回路へ出力するステップと、前記クランプ回路によって処理された前記光電変換信号を含む信号と前記ノイズ信号との差分処理を行うステップとを有する。
本発明によれば、撮像装置においてクランプ回路を用いる場合に、クランピング後の出力レベルの範囲を所定の範囲内に抑えることが可能となる。
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
図1は、本実施の形態における撮像装置の概略構成を示すブロック図である。
図1において、201は、被写体の光学像を撮像素子205に結像させるレンズ部であり、レンズ駆動装置202によってズーム制御、フォーカス制御、絞り制御などが行われる。203はシャッタであり、シャッタ駆動装置204によって制御される。205は、レンズ部201により結像された被写体光学像を、電気的な画像信号に変換する撮像素子である。206は、撮像素子205より出力される画像信号の増幅や、アナログ−ディジタル変換を行うA/D変換、A/D変換後の画像データに各種の補正を行う機能と、データを圧縮する機能とを有する撮像信号処理回路である。207は、固体撮像素子205及び撮像信号処理回路206に各種タイミング信号を出力するタイミング発生部である。208は、画像データを一時的に記憶するためのメモリ部である。209は、各種演算と撮像装置全体を制御する制御回路である。210は、記録媒体に記録または読み出しを行うためのインターフェースである(以下、「記録媒体制御I/F部」と呼ぶ)。211は、画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。212は、外部コンピュータ等と通信するためのインターフェースである。213は測光装置であり、測光を行って被写体の明るさを判断する。制御回路209は、その結果に応じてレンズ駆動装置202を介してレンズ部201の絞りを制御する。また、214は測距装置であり、測距を行って焦点状態を検出する。制御回路209は、検出された焦点状態に応じてレンズ駆動装置202を介してレンズ部201のフォーカスレンズを制御する。
図2は、本実施の形態における撮像装置に用いられる撮像素子の概略構成を示す模式図である。
図2において、801は単位画素であり、複数の単位画素801が行列状に配置されている。802は、被写体像の光を電荷に変換するフォトダイオード(PD)である。804は、信号電荷を一時的に蓄積しておく領域(フローティングディフュージョン部、以下、「FD」と記す。)である。803は、転送パルスφTXによりPD802で発生した電荷をFD804に転送する転送スイッチである。805は、ソースフォロアとして機能する増幅MOSアンプである。806は、選択パルスφSELにより単位画るダミー画素選択スイッチ905がオンになったときに、信号出力線808に信号素801を選択する選択スイッチである。807は、リセットパルスφRESによりFD804を所定の電位(VDD)にリセットするリセットスイッチである。FD804、増幅MOSアンプ805及び後述する定電流源809によりフローティングディフュージョンアンプが構成される。選択スイッチ806で選択された単位画素801の電荷が、電圧に変換され出力線808を経て読み出し回路811に出力される。809は、増幅MOSアンプ805の負荷となる定電流源である。814はダミー画素であり、後述するダミー画素選択スイッチ905がオンになったときに、信号線808に信号を出力する。
水平走査回路810の駆動により、読み出し回路811から各画素801の出力が出力線812に出力される。また、813は、スイッチ803,806,807にそれぞれ駆動信号φTX、φSEL、φRESを供給することで、各画素の駆動を制御する垂直走査回路である。なお、φTX、φRES、φSELのそれぞれにおいて、垂直走査回路813により走査選択されたn行目の走査ラインに供給する駆動信号をφTXn、φRESn、φSELnとする。
図3(a)は、ダミー画素814の概略構成例を示す模式図である。
図3(a)において、901は、被写体像の光を信号電荷に変換するPDである。903はFDであり、902は、転送パルスφTXによりPD901で発生した信号電荷をFD903に転送する転送スイッチである。904はソースフォロアとして機能する増幅MOSアンプである。905は、選択パルスφSELDによって当該ダミー画素を選択する選択スイッチである。906は、リセットパルスφRESDによってFD903を所定の電位(VDD)にリセットするリセットスイッチである。FD903、増幅MOSアンプ904及び前述の定電流源809によりフローティングディフュージョンアンプが構成される。選択パルスφSELDがハイなると、選択スイッチ905がオンとなってダミー画素が選択され、ダミー画素のFD903の電荷が電圧に変換されて、信号出力線808を経て読み出し回路811に出力される。なお、ダミー画素は、クランプ基準を決定するための画素であるため、ダミー画素から光電荷の出力が無いように転送スイッチ902を常にオフにしておく。もしくは、転送スイッチ902の開閉をしても、光電荷の出力が無いよう遮光しておくことでもダミー信号を得ることができる。
図3(a)のダミー画素の代わりに、図3(b)のダミー画素を用いても良い。このダミー画素では、通常の画素の中で大きな面積を占めるPDを省略する構成を採る。この構成により、ダミー画素の占有面積を低減させることが可能である。
また、図3(a)のダミー画素の代わりに、図3(c)のダミー画素を用いても良い。このダミー画素では、常に一定電圧がFD903に印加される構成を採る。この構成により、転送スイッチやリセットスイッチの面積を低減することが可能である。
図4は、図1における読み出し回路811の概略構成の一例を示す模式図であり、各列毎に備えられている。ただし、図4に示す構成の内、差動アンプ612は各列毎ではなく、読み出し回路811に1つ設けられ、すべての列により共有される。
この図4に示す読み出し回路811は、行列状に配置された単位画素801の列毎にクランプ回路及びアンプを有し、後段の差動アンプ612の動作範囲に適したレベルにクランプする。808は図2と同様に信号出力線、809は図2と同様に定電流源である。603はクランプ容量である。605はクランプスイッチ、604は増幅アンプである。606は、パルスφCSにより、画素801のPD802が変換した電荷に対応する光信号を選択して転送するスイッチである。607は、光信号に比例した電圧を保持しておく容量である。608は、パルスφCNにより各画素のリセットレベル(ノイズ信号)を選択するスイッチである。609は、リセットレベル(ノイズ信号)を保持しておく容量である。610、611は、水平走査回路810より与えられるパルスφCHにより、最終段の差動アンプ612に出力を転送するスイッチである。613は、アンプ604におけるゲインを変更するスイッチである。614、615は配線に寄生する容量を示している。
上記図2乃至図4に示す構成を有する撮像素子は、ローリング電子シャッタ、図13に示すような一括電子シャッタ、図14に示すようなローリング転送電子シャッタのいずれの方式でも駆動することが可能である。
図5は、本実施の形態における撮像装置の第1の読み出しシーケンスを示すタイミングチャートである。この第1の読み出しシーケンスは、ローリング電子シャッタで駆動を行っている場合に行われるもので、制御回路209により実行される。ここでは、1ライン分の読み出し動作を説明する。
まず、時刻t71にφSEL及びφClampをハイにし、クランプスイッチ605、選択スイッチ806をオンにして、FD804の電位を読み出し(ノイズ信号)、クランプ容量603の基準レベルにする。このとき、FD804には、PD802からの光電荷はまだ転送されておらず、リセット電位にリセットされた状態である。その後時刻t72にφClampをローにしてクランプスイッチ605をオフにし、時刻t73でφCNをハイにしてスイッチ608をオンにして、アンプ604で増幅されたノイズ信号を容量609に保持する。
次に、時刻t74でφTXをハイにして転送スイッチ803をオンにし、PD802の光電荷をFD804に転送する。その後、時刻t75でφCSをハイにしてスイッチ606をオンにすることにより、クランプ回路によりノイズ信号でクランピングされた光信号(光信号−ノイズ信号)がアンプ604で増幅されて、容量607に保持される。光信号が容量607に保持されると、時刻t76でφSELをローにする。
その後、時刻t77から読み出し回路811のφCHを各列毎に順次ハイにしてスイッチ610,611を順次オンすることにより、クランピングされた光信号からノイズ信号が差動アンプ612で引き算される。これにより、ノイズの少ない光信号が出力される。
このように、クランプ回路を用いて第1の読み出しシーケンスで信号の読み出しを行うことにより、クランプ回路を用いない場合と比較して、ノイズをより効果的に削減することが可能になる。
図6は、本実施の形態における撮像装置の第2の読み出しシーケンスを示すタイミングチャートである。この第2の読み出しシーケンスは、図13の一括電子シャッタまたは図14のローリング転送電子シャッタで駆動を行っている場合に、φSELにパルスが印可されている間に行われるもので、制御回路209により実行される。ここでは、1ライン分の読み出し動作を説明する。
上述したように、一括電子シャッタ及びローリング転送電子シャッタでは、所定時間電荷蓄積後、すべての画素のPD802の光電荷をFD804に同時または高速に転送してから、転送された光電荷をライン毎に順次読み出す。従って、上述した第1の読み出しシーケンスのように、光信号の読み出しに先だってノイズ信号を読み出すことができない。また、光信号の読み出しとノイズ信号の読み出し順を逆にすると、クランプ回路により光信号でノイズ信号をクランピングすることになってしまい、ノイズ信号−光信号が出力されてしまう。この場合、後段のアンプ604の動作領域が十分に広くない限り、アンプ604の動作領域から外れてしまう。動作領域から外れないようにするためには、ほぼ、(最大光信号)〜(−最大光信号)の、極性が逆になる動作領域をアンプ604に持たせないかければならず、撮像装置の低コスト化、小型化を鑑みると現実的ではない。従って、以下に説明する第2の読み出しシーケンスで読み出しを行うことにより、アンプ604の動作領域を広げることなく、図4に示す読み出し回路を用いて一括電子シャッタ及びローリング転送電子シャッタ駆動時にも画素信号を読み出すことが可能になる。なお、ここでは、ダミー画素814が図3(a)または図3(b)の構成を有するものとして説明する。
読み出し動作が開始されると、まず、蓄積終了後の時刻t1001から時刻t1002の間にφCLAMP、φRESD、φSELDにパルスが印加され、ダミー画素814のリセットレベルがクランプ回路の基準レベルとなる。
次に、時刻t1003で単位画素801のFD804の電位を読み出すラインがφSELにより選択され、時刻t1004から時刻t1005の間にφCSにパルスが印加される。この間に、FD804に転送されていた光電荷が画素801からソースフォロアを介して出力され、クランプ回路により基準電位でクランピングされ、アンプ604で増幅された後、容量607に一時的に保持される。
次に、時刻t1006から時刻t1007の間にφRESとφCNにパルスが印加されることで、選択行の画素801からFD804のリセット電位がノイズ信号として容量609に一時的に保持される。
その後、時刻t1008でφSELをローにし、時刻t1009から列毎にφCHを各列毎に順次ハイにしてスイッチ610,611を順次オンすることによりクランピングされた光信号からノイズ信号が差動アンプ612で引き算される。これにより、ノイズの少ない光信号が出力される。
上述したように、一括電子シャッタ及びローリング転送電子シャッタでは、ダミー画素814のリセット信号を基準レベルとしてクランプすることにより、光電荷を読み出した時にクランプ回路は光信号−基準レベルを出力する。このため、アンプ604の動作領域内にクランプ回路からの信号値を納めることが可能となる。
なお、ダミー画素814が図3(c)に示すような構成を有する場合、t1001からt1002の間にφRESDを供給する必要が無い。それ以外は、図6と同様のタイミングで撮像素子を駆動することができる。
第2の読み出しシーケンスでは、同じ画素801の光信号とリセット信号を容量607及び609にそれぞれ一時的に保持し、引き算して最終的な信号として出力されるので、回路の持つ固定パターンノイズの除去には効果的である。しかしながら、光信号とノイズ信号とを読み出す間にリセット動作を行い、スイッチ807を開閉するために、光信号とノイズ信号ではリセットスイッチ807のリセットノイズが信号に加わってしまう。
そこで、本実施の形態では、動画モード時には一括電子シャッタ又はローリング転送電子シャッタ動作を行い、第2の読み出しシーケンスで読み出す。一方、高画質が要求される静止画モード時には、ローリング電子シャッタ動作を行い、第1の読み出しシーケンスで読み出す。このように、動画モード時と静止画モード時とで読み出しシーケンスを使い分けることによって、動画モード時ではメカニカルシャッタを使用せず、歪みの少ない画像を得ることができる。また、静止画モード時ではリセットスイッチ807のリセットノイズも除去した、SNに優れた画像を得ることができる。なお、静止画モード時にはメカニカルシャッタを併用することにより、露光時間を変えることも可能である。
上記では、撮像素子内にダミー画素を設け、ダミー画素の信号を基準信号として、クランプ回路で、その基準信号をクランプする構成を説明した。しかしながら、本発明では、それに限らず、クランプ回路に基準信号を出力する信号供給回路(ダミー画素に係らず、例えば、撮像素子外部から供給された電圧を、ダミー画素で発生する電圧と同じ電圧にして、出力する電圧変換回路等)を持っていれば良い。
続いて、図1の撮像装置における撮影時の動作について説明する。
メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路206などの撮像系回路の電源がオンされる。
使用者により静止画モードが選択されている場合、図示しないレリーズボタンが押されると、露光量を制御するために、制御回路206は測光装置213で測光を行って明るさを判断する。そして、その結果に応じてレンズ駆動装置202はレンズ部201の絞りを制御する。
次に、測距装置214から出力された信号を基に高周波成分を取り出し、被写体までの距離の演算を制御回路209で行う。その後、レンズ駆動装置202によりレンズ部201を駆動して測距を行い、合焦か否かを判断する。合焦していないと判断した時は、再びレンズ部201を駆動し、測距を行う。
そして、合焦が確認された後に撮影動作が開始する。
次に、静止画撮影時の撮像素子の走査方法についてを図7に基づいて説明する。以下の撮像素子の走査は、制御回路209により統括されている。上述したように、静止画の撮影時には、ローリング電子シャッタによる駆動を行う。
まず、撮像素子205のリセットが開始される。リセットが開始されると、リセット走査が撮像素子205の各ライン毎に順次行われる。その後、一定の蓄積時間T1101後に、第1の読み出しシーケンスによって読み出し動作が行われる。
次に、ローリング電子シャッタによる駆動であって、メカニカルシャッタを利用した場合の走査方法について図8に基づいて説明する。
まず、撮像素子205のリセットが開始される。リセットが開始されると、リセット走査が撮像素子205の各ライン毎に順次行われる。続いて、メカニカルシャッタが操作されて、撮像素子205の露光を開始する。蓄積時間T1201後にメカニカルシャッタにより撮像素子205の露光終了の操作が行われる。その後、読み出し動作が第1の読み出しシーケンスによって行われる。この場合には撮像素子205における電荷蓄積時間はT1202であるが、撮像素子205の露光時間はメカニカルシャッタによってT1201に規定される。このようにメカニカルシャッタを使用することで、画面の上部と下部の撮影タイミングの差を小さくすることが可能となる。
上述した図7または図8に示す走査により撮像素子205から出力された信号は、撮影信号処理回路206で増幅、A/D変換などの処理を施され、制御回路209によりメモリ部208に書き込まれる。
メモリ部208に蓄積されたデータは、制御回路209の制御により記録媒体制御I/F部210を通り半導体メモリ等の着脱可能な記録媒体211に記録される。
また、外部I/F部212を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
一方、使用者により動画モードが選択されている場合、図示しないレリーズボタンが押されると、露光量を制御するために、制御回路209は測光装置213で測光を行って明るさを判断する。そして、その結果に応じてレンズ駆動装置202はレンズ部201の絞りを制御する。
次に、測距装置214から出力された信号を基に高周波成分を取り出し、被写体までの距離の演算を制御回路209で行う。その後、レンズ駆動装置202によりレンズ部201を駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズ部201を駆動し測距を行う。
そして、合焦が確認された後に撮影動作が開始する。なお、露光量の制御と焦点調節は、動画の撮影終了が指示されるまで、所定時間間隔で行われる。
次に、動画撮時の撮像素子の走査方法について図9及び図10に基づいて説明する。
図9はローリング転送電子シャッタによる駆動を説明する図である。
まず、撮像素子205のリセットが開始される。リセットが開始されると、リセット走査が撮像素子205の各ライン毎に順次行われる。リセット走査後、一定の蓄積時間T1301後に信号電荷の転送動作が撮像素子205の各ライン毎に順次行われる。その後、読み出し動作が第2の読み出しシーケンスによって行われる。
図10は、一括電子シャッタによる駆動を説明する図である。
まず、撮像素子205のリセットが開始される。リセットが開始されると、リセット動作が撮像素子205の全画素で同時に行われる。その後、一定の蓄積時間T1401後に全画素の信号電荷の転送動作が一斉に行われる。その後、読み出し動作が第2の読み出しシーケンスによって行われる。
上述した図9または図10に示す走査により撮像素子205から出力された信号は、撮影信号処理回路206で増幅、A/D変換などの処理を施され、制御回路209によりメモリ部208に書き込まれる。
メモリ部208に蓄積されたデータは、制御回路209の制御により記録媒体制御I/F部210を通り半導体メモリ等の着脱可能な記録媒体211に記録される。
また、外部I/F部212を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
以上説明したように本実施の形態によれば、一括電子シャッタ及びローリング転送電子シャッタにより撮像素子を駆動した場合であっても、ローリング電子シャッタで駆動した時と同じ極性の光信号をクランプ回路から出力することが可能となる。即ち、クランプ回路の出力範囲を限定することができるので、クランプ回路からの出力が、後段のアンプの動作範囲から外れてしまうことを防ぐことができる。またクランプ回路を用いることで、ローリング電子シャッタで駆動した場合には、より精度の高いノイズ除去を行うことができる。
なお、上記実施の形態では、PDからFDへ光電荷を順次転送する場合や、FDから光電荷を順次読み出す場合に、各行毎に転送及び読み出しを行う場合について説明した。しかしながら、本発明はこれに限るものではなく、読み出し回路811に相当する読み出し回路を複数有する場合には、複数行ずつ転送及び読み出しを行うことが可能である。
本発明の実施の形態における撮像装置の概略構成を示すブロック図である。 本発明の実施の形態における撮像装置の撮像素子の概略構成を示す模式図である。 本発明の実施の形態におけるダミー画素の概略構成例を示す模式図である。 図1に示す読み出し回路の概略構成の一例を示す模式図である。 本発明の実施の形態における撮像素子の第1の読み出しシーケンスを示すタイミングチャートである。 本発明の実施の形態における撮像素子の第2の読み出しシーケンスを示すタイミングチャートである。 本発明の実施の形態におけるローリング電子シャッタによる走査を示す概念図である。 本発明の実施の形態におけるメカニカルシャッタを利用したローリング電子シャッタによる走査を示す概念図である。 本発明の実施の形態におけるローリング転送電子シャッタによる走査を示す概念図である。 本発明の実施の形態における一括電子シャッタによる走査を示す概念図である。 従来のXYアドレス型の走査方法を採る撮像素子の構成を示す模式図である。 ローリング電子シャッタ動作時の駆動パルスと動作シーケンスを示す模式図である。 一括電子シャッタによる走査を説明する為の模式図である。 ローリング転送電子シャッタによる走査を説明する為の模式図である。
符号の説明
101、801 単位画素
102、802 フォトダイオード
103、803 転送スイッチ
104、804 蓄積領域
105、805 増幅MOSアンプ
106、806 選択スイッチ
107、807 リセットスイッチ
108、808 信号線
109、809 定電流源
110、810 水平走査回路
111、811 読み出し回路
112、812 出力線
113、813 垂直走査回路
201 レンズ部
202 レンズ駆動装置
203 シャッタ
204 シャッタ駆動装置
205 撮像素子
206 撮像信号処理回路
207 タイミング発生部
208 メモリ部
209 制御回路
210 記録媒体制御I/F部
211 記録媒体
212 外部I/F部
213 測光装置
214 測距装置
603 クランプ容量
604 増幅アンプ
605 クランプスイッチ
606 光信号選択スイッチ
607 光信号保持容量
608 リセットレベル選択スイッチ
609 リセットレベル保持容量
610、611 列選択スイッチ
612 差動アンプ
613 ゲイン切り替えスイッチ
614、615 寄生容量
814 ダミー画素
901 ダミー画素フォトダイオード
902 ダミー画素転送スイッチ
903 ダミー画素蓄積領域
904 ダミー画素増幅MOSアンプ
905 ダミー画素選択スイッチ
906 ダミー画素リセットスイッチ

Claims (9)

  1. それぞれが、受光量に応じて光電変換信号を出力する光電変換部を含む、2次元に配置された複数の画素と、
    クランプ回路を含む出力部と、
    前記クランプ回路に基準信号を出力する信号供給回路と、
    前記画素からの前記光電変換信号を含む信号を前記クランプ回路へ出力するのに先だって、前記基準信号をクランプし、その後、前記光電変換信号を含む信号を前記クランプ回路に出力し、その後、前記画素のノイズ信号を前記クランプ回路へ出力する第1の制御を行う制御部と、
    前記クランプ回路によって処理された前記光電変換信号を含む信号と前記ノイズ信号との差分処理を行う差分回路と
    を有することを特徴とする撮像装置。
  2. 前記撮像装置は、第1の走査方法と第2の走査方法とを含む複数の走査方法により駆動可能であって、
    前記制御部は、前記第1の走査方法では、前記画素からのノイズ信号を前記クランプ回路でクランプし、その後前記光電変換信号を前記クランプ回路に出力する第2の制御を行い、前記第2の走査方法では、前記第1の制御を行うことを特徴とする請求項1に記載の撮像装置。
  3. 前記出力部は、前記クランプ回路の出力を増幅して出力するアンプを更に有することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記複数の画素の各々は、さらに、信号を保持する保持部と、前記光電変換部から前記光電変換信号を前記保持部に転送する転送スイッチと、前記保持部に保持された信号を増幅して出力する増幅部と、前記保持部をリセットするためのリセットスイッチとを有し、
    前記ノイズ信号は、前記保持部をリセットした時に、前記増幅部を介して読み出された信号であることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記複数の画素の各々は、さらに、信号を保持する保持部と、前記光電変換部から前記光電変換信号を前記保持部に転送する転送スイッチとを有し、
    前記制御部は、さらに、前記複数の画素の前記光電変換信号を前記保持部に同じタイミングで転送し、その後、予め設定された数のライン毎に前記保持部に保持された信号を前記画素から順次読み出すように駆動するか、若しくは、前記光電変換信号を予め設定された数のライン毎に前記保持部に第1周期で順次転送し、その後、予め設定された数のライン毎に前記保持部に保持された信号を前記画素から第2周期で順次読み出すように制御し
    前記第1周期は、前記第2周期よりも短いことを特徴とする請求項1に記載の撮像装置。
  6. 止画撮影を行う場合には前記第1の走査方法により、動画撮影を行う場合には、前記第2の走査方法により駆動されることを特徴とする請求項に記載の撮像装置。
  7. 前記複数の画素の各々は、さらに、信号を保持する保持部と、前記光電変換部から前記光電変換信号を前記保持部に転送する転送スイッチとを有し、
    前記制御部は、さらに、前記第1の走査方法では、前記光電変換信号を前記保持部に転送し、その後、前記保持部に保持された信号を前記画素から読み出す動作を、予め設定された数のライン毎に順次行い、前記第2の走査方法では、前記複数の画素の前記光電変換信号を前記保持部に同じタイミングで転送し、その後、予め設定された数のライン毎に前記保持部に保持された信号を前記画素から順次読み出すように駆動するか、若しくは、前記光電変換信号を予め設定された数の所定ライン毎に前記保持部に第1周期で順次転送し、その後予め設定された数のライン毎に前記保持部に保持された信号を前記画素から第2周期で順次読み出すように制御し、
    前記第1周期は、前記第2周期よりも短いことを特徴とする請求項に記載の撮像装置。
  8. メカシャッタと、
    静止画撮影の際に前記第1の走査方法を行い、動画撮影の際に前記第2の走査方法を行うように駆動を切り替える切り替え部とを有し、
    前記制御部は、前記第1の走査方法では、前記メカシャッタが閉じられた後に制御を行い、前記第2の走査方法では、前記メカシャッタを開いたまま、制御を行うことを特徴とする請求項7に記載の撮像装置。
  9. それぞれが、受光量に応じて光電変換信号を出力する光電変換部を含む、2次元に配置された複数の画素と、クランプ回路を含む出力部と、前記クランプ回路に基準信号を出力する信号供給回路とを有する撮像装置の制御方法であって、
    前記画素からの前記光電変換信号を含む信号を前記クランプ回路へ出力するのに先だって、前記基準信号をクランプするステップと、
    前記光電変換信号を含む信号を前記クランプ回路に出力するステップと、
    前記ノイズ信号を前記クランプ回路へ出力するステップと、
    前記クランプ回路によって処理された前記光電変換信号を含む信号と前記ノイズ信号との差分処理を行うステップと
    を有することを特徴とする制御方法。
JP2006122532A 2005-05-17 2006-04-26 撮像装置及び制御方法 Expired - Fee Related JP4771535B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006122532A JP4771535B2 (ja) 2005-05-17 2006-04-26 撮像装置及び制御方法
US11/436,795 US8115837B2 (en) 2005-05-17 2006-05-17 Image sensing device using a photoelectric converter and a control method therefor
US13/359,002 US8982252B2 (en) 2005-05-17 2012-01-26 Image sensing device using a photoelectric converter and a control method therefor

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005144539 2005-05-17
JP2005144539 2005-05-17
JP2006122532A JP4771535B2 (ja) 2005-05-17 2006-04-26 撮像装置及び制御方法

Publications (3)

Publication Number Publication Date
JP2006352843A JP2006352843A (ja) 2006-12-28
JP2006352843A5 JP2006352843A5 (ja) 2009-06-18
JP4771535B2 true JP4771535B2 (ja) 2011-09-14

Family

ID=37447951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006122532A Expired - Fee Related JP4771535B2 (ja) 2005-05-17 2006-04-26 撮像装置及び制御方法

Country Status (2)

Country Link
US (2) US8115837B2 (ja)
JP (1) JP4771535B2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4243870B2 (ja) * 2007-02-08 2009-03-25 ソニー株式会社 固体撮像装置及び撮像装置
US8289430B2 (en) * 2007-02-09 2012-10-16 Gentex Corporation High dynamic range imaging device
JP5105907B2 (ja) 2007-03-06 2012-12-26 キヤノン株式会社 撮像システム
JP4958666B2 (ja) * 2007-07-12 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法
JP5142749B2 (ja) * 2008-02-14 2013-02-13 キヤノン株式会社 撮像装置、撮像装置の制御方法及び撮像システム
JP5089514B2 (ja) * 2008-07-11 2012-12-05 キヤノン株式会社 撮像装置、及び撮像システム
JP2010062639A (ja) 2008-09-01 2010-03-18 Canon Inc 撮像装置
JPWO2010023903A1 (ja) * 2008-09-01 2012-01-26 株式会社ニコン 撮像素子および撮像装置
JP2010093498A (ja) * 2008-10-07 2010-04-22 Olympus Corp 固体撮像装置
JP5355026B2 (ja) * 2008-10-09 2013-11-27 キヤノン株式会社 撮像装置
JP5402349B2 (ja) 2009-07-23 2014-01-29 ソニー株式会社 固体撮像装置とその駆動方法、及び電子機器
US8169526B2 (en) * 2009-08-28 2012-05-01 Naoki Ozawa Low noise signal reproducing method for a solid state imaging device
JP5434485B2 (ja) 2009-11-02 2014-03-05 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、およびカメラシステム
JP5403369B2 (ja) 2010-03-31 2014-01-29 ソニー株式会社 固体撮像素子および駆動方法、並びに電子機器
JP2011259407A (ja) * 2010-05-13 2011-12-22 Sony Corp 信号処理回路、固体撮像素子およびカメラシステム
JP5721405B2 (ja) * 2010-11-22 2015-05-20 キヤノン株式会社 撮像システム、その制御方法及びプログラム
KR101241704B1 (ko) * 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
CN103137026B (zh) * 2011-11-29 2015-06-03 联想(北京)有限公司 一种电子设备及其成像方法
JP5963448B2 (ja) * 2012-01-13 2016-08-03 キヤノン株式会社 撮像装置
US8890996B2 (en) * 2012-05-17 2014-11-18 Panasonic Corporation Imaging device, semiconductor integrated circuit and imaging method
JP2014039159A (ja) * 2012-08-16 2014-02-27 Sony Corp 固体撮像装置および駆動方法、並びに電子機器
JP6261162B2 (ja) * 2012-10-02 2018-01-17 キヤノン株式会社 撮像装置、撮像装置の駆動方法
WO2014068837A1 (ja) * 2012-10-30 2014-05-08 パナソニック株式会社 撮像装置及びその駆動方法
JP5726244B2 (ja) * 2013-07-23 2015-05-27 キヤノン株式会社 撮像装置及び撮像方法
JP5886806B2 (ja) 2013-09-17 2016-03-16 キヤノン株式会社 固体撮像装置
JP5652532B2 (ja) * 2013-10-31 2015-01-14 ソニー株式会社 固体撮像素子および駆動方法、並びに電子機器
JP5672363B2 (ja) * 2013-12-12 2015-02-18 ソニー株式会社 固体撮像素子およびカメラシステム
JP2016201649A (ja) * 2015-04-09 2016-12-01 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
JP6439563B2 (ja) * 2015-04-16 2018-12-19 ソニー株式会社 撮像装置、撮像方法、プログラム
WO2017169883A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、および電子機器
JP2018013422A (ja) * 2016-07-21 2018-01-25 ソニーセミコンダクタソリューションズ株式会社 検出装置及び電子機器
WO2018124044A1 (ja) * 2016-12-27 2018-07-05 パナソニックIpマネジメント株式会社 撮像素子、撮像装置、カメラ、及び撮像方法
JP6887856B2 (ja) * 2017-04-11 2021-06-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
US10165210B1 (en) * 2017-12-22 2018-12-25 Omnivision Technologies, Inc. Bitline settling improvement by using dummy pixels for clamp
US10623728B2 (en) * 2018-07-06 2020-04-14 Stmicroelectronics (Grenoble 2) Sas Image sensors for advanced driver assistance systems utilizing safety pixels to detect malfunctions
CN110501691B (zh) * 2019-08-13 2022-03-08 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN110809883B (zh) * 2019-09-25 2021-12-21 深圳市汇顶科技股份有限公司 电子装置、图像传感器及其像素阵列和操作方法
CN115004689A (zh) * 2020-01-31 2022-09-02 索尼半导体解决方案公司 固态成像元件和成像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3612803B2 (ja) * 1995-07-10 2005-01-19 ソニー株式会社 固体撮像装置及び固体撮像素子の出力信号処理方法
JP3774499B2 (ja) * 1996-01-24 2006-05-17 キヤノン株式会社 光電変換装置
US6850278B1 (en) * 1998-11-27 2005-02-01 Canon Kabushiki Kaisha Solid-state image pickup apparatus
JP2001024949A (ja) * 1999-07-08 2001-01-26 Canon Inc 固体撮像装置及びそれを用いた撮像システム
JP4011818B2 (ja) * 2000-02-29 2007-11-21 キヤノン株式会社 半導体固体撮像装置
EP1143706A3 (en) * 2000-03-28 2007-08-01 Fujitsu Limited Image sensor with black level control and low power consumption
JP3667214B2 (ja) * 2000-08-25 2005-07-06 キヤノン株式会社 固体撮像装置およびその駆動方法
US7586526B2 (en) * 2001-03-29 2009-09-08 Canon Kabushiki Kaisha Image sensing apparatus with at least two transfer speeds and its control method
JP2003017677A (ja) 2001-06-28 2003-01-17 Canon Inc 撮像装置
US7365785B2 (en) * 2002-10-11 2008-04-29 Olympus Corporation Electronic camera
JP4154268B2 (ja) * 2003-03-27 2008-09-24 キヤノン株式会社 撮像装置
US20050243193A1 (en) * 2004-04-30 2005-11-03 Bob Gove Suppression of row-wise noise in an imager
US7701493B2 (en) * 2005-02-28 2010-04-20 Micron Technology, Inc. Imager row-wise noise correction
JP2006352758A (ja) * 2005-06-20 2006-12-28 Pentax Corp 画像信号処理装置

Also Published As

Publication number Publication date
US8982252B2 (en) 2015-03-17
JP2006352843A (ja) 2006-12-28
US20060262209A1 (en) 2006-11-23
US8115837B2 (en) 2012-02-14
US20120126097A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
JP4771535B2 (ja) 撮像装置及び制御方法
JP4455215B2 (ja) 撮像装置
US10038868B2 (en) Solid-state image sensing device and electronic device
JP5458582B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP6120091B2 (ja) 固体撮像素子および駆動方法、並びに電子機器
JP4609092B2 (ja) 物理情報取得方法および物理情報取得装置
JP5630991B2 (ja) 撮像装置
JP3814609B2 (ja) 撮像装置、及び撮像装置の駆動方法
JP2012257095A (ja) 固体撮像装置、撮像装置、および信号読み出し方法
JP6872956B2 (ja) 撮像システム及び撮像システムの制御方法
JP2010062638A (ja) 撮像装置
US8629923B2 (en) Solid-state imaging element and camera system that determine in which horizontal read period a dummy pixel section is to be shuttered
JP2007243731A (ja) シフトレジスタ、固体撮像素子及び制御方法
JP2006203775A (ja) 固体撮像素子の駆動方法、その撮像素子を用いた撮像装置およびシステム
JP2008300898A (ja) 固体撮像装置とそれを用いた撮像システム
JP2006033381A (ja) 撮像装置及び制御方法
JP2006108889A (ja) 固体撮像装置
JP6049304B2 (ja) 固体撮像装置および撮像装置
JP2007143067A (ja) 撮像装置及び撮像システム
JP2006093815A (ja) 撮像装置
JP2013197697A (ja) 固体撮像装置及び電子機器
JP6053321B2 (ja) 固体撮像装置
JP2013106231A (ja) 撮像装置
JP5306906B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および電子機器
JP2009124239A (ja) 撮像装置及びそのフリッカ検出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees