JP4745677B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4745677B2
JP4745677B2 JP2005034586A JP2005034586A JP4745677B2 JP 4745677 B2 JP4745677 B2 JP 4745677B2 JP 2005034586 A JP2005034586 A JP 2005034586A JP 2005034586 A JP2005034586 A JP 2005034586A JP 4745677 B2 JP4745677 B2 JP 4745677B2
Authority
JP
Japan
Prior art keywords
output
signal
switch
pulse
reset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005034586A
Other languages
English (en)
Other versions
JP2006222762A (ja
Inventor
誠 平松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005034586A priority Critical patent/JP4745677B2/ja
Priority to US11/347,738 priority patent/US7241984B2/en
Publication of JP2006222762A publication Critical patent/JP2006222762A/ja
Application granted granted Critical
Publication of JP4745677B2 publication Critical patent/JP4745677B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03FAMPLIFIERS
    • H03F3/00Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/04Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements with semiconductor devices only
    • H03F3/08Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements with semiconductor devices only controlled by light

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、被写体像を撮像する撮像装置に関する。
従来、デジタルカメラなどの撮像装置において、撮像素子としてCMOSセンサ或いはCCDが使用されている。特に近年はデジタルカメラの高性能化に伴い、撮像素子の高画素部化が進んでいる。
従来の撮像装置のブロック図を図21に示す。
センサ90はタイミング発生装置(以下TG)91により駆動される。出力はAD変換器92によりデジタル変換され、その結果が映像出力として画像処理部93に入力され画像処理され画像として取り出される。
この撮像装置におけるセンサとしては、現在主にCMOSセンサやCCDが用いられている。
従来のCMOSセンサの構成を図15に示す。
フォトダイオード(以下PD)51が転送スイッチ52を介してフローティングディフュージョン部(以下FD)53に接続されている。FDはまたリセットスイッチ54を介してリセット電圧55に接続されている。また、FDは電界効果トランジスタ(以下FET)56のゲートになっており、ドレインは所定電圧に接続されており、ソースは選択スイッチ57を介して、垂直出力線58に接続されている。ここまでの構成により、画素部部59が構成されており、この画素部が垂直出力線に沿って複数個構成され列60を構成し、この列を複数個構成することによりエリアセンサ90を構成する。
また、それぞれの垂直出力線には少なくとも1つの定電流源61が接続されており、選択された画素部のフローティングディフュージョン部の電荷により垂直出力線の電圧が決まる構成になっている。また、垂直出力線には画素部出力を一時記憶するためのメモリとしてのコンデンサ62がスイッチ63を介して接続されており、また、リセットレベルを一時記憶するためのメモリとしてのコンデンサ64がスイッチ65を介して接続されている。コンデンサ62はスイッチ63を介して水平出力線66に接続されており、また、コンデンサ64はスイッチ65を介して、水平出力線67に接続されている。この水平出力線66、67は差動アンプ68により引き算され、リセットレベルを除去された画像出力として出力される。図16にTG91から出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High“になり、選択スイッチがオンされる。
このとき、リセットパルスを“High”になっており、リセットスイッチをオンにして、FDを所定電圧にリセットされている。このとき、垂直出力線にはFDが所定電圧にあるときの電圧すなわちリセットレベルを出力している。その後、メモリパルス1を“High”にして、スイッチ65を垂直出力線側に倒すことによって、リセットレベルをコンデンサ64に記憶する。その次に、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力されている。この状態で、メモリパルス2を“High”にすることにより、スイッチ63を垂直出力線側に倒すことによって、コンデンサ62に画素部電荷に対応した電圧を一時記憶する。
その後、読み出しパルス1を“High”にすることにより、スイッチ63、65を水平出力線側に倒し、一時記憶したリセットレベルと画素部電荷に対応した電圧を水平出力線66、67に出力し、差動アンプ68を介して画素部出力として出力する。
この場合、コンデンサ64及びスイッチ65、水平出力線67を設け、リセットレベルを除去する構成を用いたが、これらを削除し、画素部出力を得ることも可能である。
さらに、CMOSセンサの信号品位を改善するため、図17に示す構成のCMOSセンサも使用されている。
画素部部の構成は前述の従来例と同一のため、説明を省略する。
また、垂直出力線58、定電流源61の構成も前述の従来例と同一のため説明は省略する。
垂直出力線にはFDのリセットレベルを一時記憶するためのコンデンサ70が接続されている。コンデンサ70の他端には差動アンプ74の+入力が接続されており、さらに、差動アンプを仮想接地するためのスイッチ72と、リセットレベルと信号レベルの差を一時記憶するためのコンデンサ71が接続されている。さらに、差動アンプの出力にはスイッチ63を介して、画素部出力を一時記憶するためのメモリとしてのコンデンサ62が接続されている。また、このコンデンサ62はスイッチ63を介して水平出力線66に接続されており、水平出力線から出力アンプ74を介して読み出される。
図18にTGから出力されるタイミングパルスを示し、動作を説明する。
ある画素部が選択されたとき、選択パルスが“High“になり、選択スイッチがオンされる。
このとき、リセットパルスを“High”になっており、リセットスイッチをオンにして、FDを所定電圧にリセットされている。このとき、垂直出力線にはFDが所定電圧にあるときの電圧すなわちリセットレベルを出力している。また、このとき、差分パルスも“High”になっており、スイッチ72を閉状態にすることにより、リセットレベルをコンデンサ70に記憶する。
その後、差分パルスを“Low”にし、スイッチ72を開状態にするとともに、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力され、コンデンサ71には先のリセットレベルと画素部電荷に対応した電圧の差が記憶され、差動アンプ73からその電圧が出力される。この状態で、メモリパルスを“High”にすることにより、スイッチ63を垂直出力線側に倒すことによって、コンデンサ62に画素部電荷に対応した電圧を一時記憶する。
その後、読み出しパルスを“High”にすることにより、スイッチ63を水平出力線66側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線66に出力し、出力アンプを介して画素部出力として出力する。
次に撮像素子の部分をCCDの場合をかんがえる。
CCDの構成は図19に示す。
PD81は転送ゲート82を介して、垂直転送CCD83に接続されている。また、垂直転送CCDの最終段は水平転送CCD84に接続されており、さらに、水平転送CCDの最終段には出力アンプ85が接続されていて、画像出力を得る。
図20にTGから出力されるタイミングパルスを示し、動作を説明する。
転送パルスを“High”にすることにより、PDから垂直転送CCDに光電子が転送される。
垂直転送CCDに転送された光電子はV転送パルスに従って、順次垂直転送CCDを転送されていく。垂直転送CCDが1段転送されると、最終段の光電子が水平転送CCDに転送される。水平転送CCDに転送されて光電子はH転送パルスに従って、水平転送CCDを順次転送されていく。水平転送CCDが1段転送されると、最終段の光電子は出力アンプに出力され、アンプを介して画像出力として出力される(例えば、特許文献1)。
特開平2002−252794号公報
しかしながら、上記従来例では、撮像素子の高画素部化に伴い画素部サイズが小さくなると撮像素子のダイナミックレンジが抑圧されるという問題があった。
数年前は100万画素部から200万画素部だった撮像素子が、現在は500万画素部から600万画素部、さらには1000万画素部を越える撮像素子がでてきている。
しかし、デジタルカメラは小型化されているため撮像素子全体の大きさは大きくできないため、画素部サイズが数年前に比べて1/2以下になっている。このため、センサのダイナミックレンジを確保するのが困難になってきているという課題があった。
上記課題を解決するために、各々が、光電変換部と前記光電変換部からの信号が転送される半導体領域と、前記光電変換部の信号を前記半導体領域に転送する転送手段と、前記半導体領域の信号を読み出す読み出し手段と、を有する2次元状に配列された画素部と、垂直方向の複数の画素毎に共通に設けられた複数の垂直出力線と、前記複数の垂直出力線からの信号が順次出力される水平出力線と、前記光電変換部において光電荷の蓄積期間中に、前記光電変換部から前記半導体領域に漏れた飽和信号と、前記光電変換部で発生した光電変換信号とを前記読み出し手段を介して順次読み出し、前記飽和信号と前記光電変換信号とを同じ前記垂直出力線と前記水平出力線から読み出すように駆動する駆動手段と、前記飽和信号と前記光電変換信号とを用いて画像を形成する信号処理手段と、を有する撮像装置を提供する。
本発明によれば、比較的高ダイナミックレンジな画像を得ることが可能となる。
(実施例1)
以下、図面を用いて本発明の実施例1を詳細に説明する。
図1は、実施例1の撮像装置に適用される撮像素子としてのCMOSセンサの構成を示す。
フォトダイオード(以下PD)1が転送スイッチ2を介して半導体領域であるフローティングディフュージョン部(以下FD)3に接続されている。FDはまたリセットスイッチ4を介してリセット電圧5に接続されている。また、FDは電界効果トランジスタ(以下FET)6のゲートになっており、ドレインは所定電圧に接続されており、ソースは選択スイッチ7を介して、垂直出力線8に接続されている。ここまでの構成により、画素部9が構成されており、この画素部が垂直出力線に沿って複数個構成され列10を構成し、この列を複数個構成することによりエリアセンサ20を構成する。また、それぞれの垂直出力線には少なくとも1つの定電流源11が接続されており、選択された画素部のフローティングディフュージョン部の電荷により垂直出力線の電圧が決まる構成になっている。また、垂直出力線には画素部出力(転送スイッチ2を開き、PDの電荷をFDに転送することにより得られる出力)を一時記憶するためのメモリとしてのコンデンサ12がスイッチ13を介して接続されており、また、飽和出力を一時記憶するためのメモリとしてのコンデンサ14がスイッチ15を介して接続されている。また、これらのコンデンサはスイッチを介して1つの水平出力線16に接続されており、水平出力線から出力アンプ17を介して読み出される。
図1では、1画素部のみを表しているが実際には、図2に示すように画素部9は2次元状に配列されている。点線で囲った部分の構成は、いずれも同じ回路構成である。
図3にTG(タイミングジェネレータ)から出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High”になり、選択スイッチがオンされる。
このとき、PDが飽和している場合、飽和電荷はFDに流れ込んでおり、FDは飽和光量に対応した電荷を持っている。このため、FETにより電荷電圧変換され、垂直出力線に飽和光量に対応した電圧が出力されている。この状態で、メモリパルス2を“High”にすることにより、スイッチ15を垂直出力線側に倒すことによって、コンデンサ14に飽和光量に対応した電圧を一時記憶する。
その後にリセットパルスを“High”にすることにより、リセットスイッチをオンにして、FDを所定電圧にリセットし、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力されている。この状態で、メモリパルス1を“High”にすることにより、スイッチ13を垂直出力線側に倒すことによって、コンデンサ12に画素部電荷に対応した電圧を一時記憶する。
その後、読み出しパルス1を“High”にすることにより、スイッチ13を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して画素部出力として出力する。さらにその後、読み出しパルス2を“High”にすることにより、スイッチ15を水平出力線側に倒し、一時記憶した飽和光量に対応した電圧を水平出力線に出力し、出力アンプを介して飽和出力として出力する。
次に、図4に上記で説明した撮像素子を用いた撮像装置のブロック図を示す。
1001が、レンズおよび絞りからなる光学系、1002が、メカニカルシャッタ(メカシャッタと図示する)、1003が、撮像素子、1004が、アナログ信号処理を行うCDS回路、1005が、アナログ信号をデジタル信号に変換するA/D変換器、1006が、撮像素子1003、CDS回路1004およびA/D変換器1005を動作させる信号を発生するTG(タイミングジェネレータ:図3及び下記で説明する図7、9、10、11、12、13、16のタイミングのパルスを発生する)、1007が、光学系1001、メカニカルシャッタ1002および撮像素子1003の駆動回路、1017が撮影した画像データに後述するダイナミックレンジ拡大のための加算処理を行う加算回路、1008が、加算処理された画像データに必要な信号処理を行う信号処理回路、1009が、信号処理された画像データを記憶する画像メモリ、1010が、撮像装置から取り外し可能な画像記録媒体、1011が、信号処理された画像データを画像記録媒体1010に記録する記録回路、1012が、信号処理された画像データを表示する画像表示装置、1013が、画像表示装置1011に画像を表示する表示回路、1014が、撮像装置全体を制御するシステム制御部、1015が、システム制御部1014で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶しておく不揮発性メモリ(ROM)、1016が、不揮発性メモリ1015に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部1014が撮像装置を制御する際に使用する揮発性メモリ(RAM)となっている。
次に、上記で説明した加算回路1017の詳細について図5を用いて説明を行う。
センサから出力された画素部出力と飽和出力はAD変換器によりデジタルデータに変換され、加算回路1017に入力される。
41、42はシフトレジスタで、AD変換されたデジタルデータを出力クロックに同期して後段に送る。43は比較器で画素部出力が所定値より大きいかことを判断する。44はセレクタで、比較器からの出力により、飽和出力を加算器45に送るか、“0”を送るかを選択する。45は加算器でシフトレジスタ42から来た画素部出力とセレクタ44から来た飽和出力を加算するためのものである。46は出力バッファで45から来た画素部出力を後段の画像処理部に送る。47はレートコントロール部で出力バッファ46が画素部出力だけを後段に出力するようにレートをコントロールするブロックである。
以上のように、加算回路1017により、画素部出力が所定の値より大きい場合だけ飽和出力と画素部出力が加算され加算結果が出力され、画素部出力が所定の値より大きくない場合には、画素部出力のみが出力される。そして、加算出力と画素部出力とによる1画面分の映像信号として信号処理回路1008に入力され画像処理され画像として取り出される。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。
また、本実施例では飽和光量に対応した出力を得るための信号と、画素部出力を得るための信号とが同一の垂直、水平出力線を通過するようにしているため、外来ノイズなどのノイズ(例えば、アンプ17のオフセット等)を受けにくい構成となっており、良好な画像信号を得ることが可能となっている。
(実施例2)
以下、図面を用いて本発明の実施例2を詳細に説明する。
図6は本実施例に用いる撮像素子としてのCMOSセンサの構成を示す。
画素部の構成は第1実施例と同一のため、説明を省略する。
また、垂直出力線8、定電流源11、メモリとしてのコンデンサ12、14およびスイッチ13、15の構成も第1実施例と同一のため説明は省略する。
垂直出力線には画素部出力時のFDのリセットレベルを一時記憶するためのメモリとしてのコンデンサ16がスイッチ17を介して接続されている。さらに、飽和出力時のFDのリセットレベルを一時記憶するためのメモリとしてのコンデンサ18がスイッチ19を介して接続されている。また、これらのリセットレベルを一時記憶するコンデンサはスイッチを介して、リセットレベルを出力するための水平出力線20に接続されており、水平出力線16と水平出力線20を差動アンプ21によって引き算することにより、リセットレベルを除去したセンサ出力を得る構成になっている。
図6では、1画素部のみを表しているが実際には、図2に示すように画素部9は2次元状に配列され、そして、12〜19の部材が一列毎に一つずつ設けられている。
このCMOSセンサを用いた撮像装置の構成を図4に示す。これも実施例1と同一のため説明を省略する。
図7にTGから出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High“になり、選択スイッチがオンされる。
このとき、PDが飽和している場合、飽和電荷はFDに流れ込んでおり、FDは飽和光量に対応した電荷を持っている。このため、FETにより電荷電圧変換され、垂直出力線に飽和光量に対応した電圧が出力されている。この状態で、メモリパルス2を“High”にすることにより、スイッチ15を垂直出力線側に倒すことによって、コンデンサ14に飽和光量に対応した電圧を一時記憶する。
その後にリセットパルスを“High”にし、リセットスイッチをオンにすることにより、FDを所定電圧にリセットする。その後、メモリパルス3、4を“High”にすることにより、スイッチ17、19を垂直出力線側に倒すことによって、コンデンサ16、18にリセットレベルを一時記憶する。
その次に転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ13を垂直出力線側に倒すことによって、コンデンサ12に画素部電荷に対応した電圧を一時記憶する。
その後、読み出しパルス1を“High”にすることにより、スイッチ13、17を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線16に出力し、リセットレベルを水平出力線20に出力し、差動アンプ21を介してリセットレベルを除去した画素部出力を出力する。さらにその後、読み出しパルス2を“High”にすることにより、スイッチ15、19を水平出力線側に倒し、一時記憶した飽和光量に対応した電圧を水平出力線16に出力し、リセットレベルを水平出力線20に出力し、差動アンプ21を介してリセットレベルを除去した飽和出力を出力する。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。さらに、差動アンプにより、FDリセットのリセットノイズを除去することにより、よりSN比のより良好な出力信号が得ることができる。
また、本実施例では飽和光量に対応した出力を得るための信号と、画素部出力を得るための信号とが同一の垂直、水平出力線を通過するようにしているため、外来ノイズなどのノイズ(例えば、アンプ17のオフセット等)を受けにくい構成となっており、良好な画像信号を得ることが可能となっている。
(実施例3)
以下、図面を用いて本発明の実施例3を詳細に説明する。
図8は本実施例に適用される撮像素子としてのCMOSセンサの構成を示す。
画素部の構成は第1実施例と同一のため、説明を省略する。
また、定電流源11の構成も第1実施例と同一のため説明は省略する。
垂直出力線にはFDのリセットレベルを一時記憶するためのコンデンサ22が接続されている。コンデンサ22の他端には差動アンプ25の+入力が接続されており、さらに、差動アンプを仮想接地するためのスイッチ23と、リセットレベルと信号レベルの差を一時記憶するためのコンデンサ24が接続されている。さらに、差動アンプの出力にはスイッチ13を介して、画素部出力を一時記憶するためのメモリとしてのコンデンサ12が接続されており、また、飽和出力を一時記憶するためのメモリとしてのコンデンサ14がスイッチ15を介して接続されている。また、これらのコンデンサはスイッチを介して1つの水平出力線16に接続されており、水平出力線から出力アンプ17を介して読み出される。
図8では、1画素部のみを表しているが実際には、図2に示すように画素部9は2次元状に配列され、12〜15、22〜25が一列毎に一つずつ設けられている。
このCMOSセンサを用いた撮像装置の構成を図4に示す。これも実施例1と同一のため説明を省略する。
図9にTGから出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High”になり、選択スイッチがオンされる。
このとき、PDが飽和している場合、飽和電荷はFDに流れ込んでおり、FDは飽和光量に対応した電荷を持っている。このため、FETにより電荷電圧変換され、垂直出力線に飽和光量に対応した電圧が出力されている。また、コンデンサ22には、以前の読み出しの時に記憶させておいたリセット電圧が記憶されており、このとき、差分パルスが“Low”であるため、スイッチ24が開状態になっており、コンデンサ23には以前のリセット電圧と飽和出力の差分が蓄積され、差動アンプ25から出力される。この状態で、メモリパルス2を“High”にすることにより、スイッチ15を垂直出力線側に倒すことによって、コンデンサ14に飽和光量に対応した電圧を一時記憶する。
その後にリセットパルスを“High”にし、リセットスイッチをオンにするとともに、差分パルスも“High”にし、スイッチ24を閉状態にすることにより、FDを所定電圧にリセットすると同時に、その電圧をコンデンサ22に記憶する。その後、差分パルスを“Low”にし、スイッチ24を開状態にするとともに、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力され、コンデンサ23には先のリセットレベルと画素部電荷に対応した電圧の差が記憶され、差動アンプからその電圧が出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ13を垂直出力線側に倒すことによって、コンデンサ12に画素部電荷に対応した電圧を一時記憶する。
その後、再び、リセットパルスを“High”にし、リセットスイッチをオンにするとともに、差分パルスも“High”にし、スイッチ24を閉状態にすることにより、FDを所定電圧にリセットすると同時に、その電圧をコンデンサ22に記憶する。これにより、次の読み出しの時にコンデンサ22にリセットレベルを記憶しておくことになる。
その後、読み出しパルス1を“High”にすることにより、スイッチ13を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して画素部出力として出力する。さらにその後、読み出しパルス2を“High”にすることにより、スイッチ15を水平出力線側に倒し、一時記憶した飽和光量に対応した電圧を水平出力線に出力し、出力アンプを介して飽和出力として出力する。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。さらに、差動アンプにより、FDリセットのリセットノイズを除去することにより、よりSN比のより良好な出力信号が得ることができる。
また、本実施例では飽和光量に対応した出力を得るための信号と、画素部出力を得るための信号とが同一の垂直、水平出力線を通過するようにしているため、外来ノイズなどのノイズ(例えば、アンプ17のオフセット等)を受けにくい構成となっており、良好な画像信号を得ることが可能となっている。
(実施例4)
以下、図面を用いて本発明の実施例4を詳細に説明する。
本実施例に用いられる撮像素子としてのCMOSセンサの構成は図17と同一のため説明を省略する。
図17では、1画素部のみを表しているが実際には、図2に示すように画素部9は2次元状に配列され、62、63、70〜73が一列毎に一つずつ設けられている。
このCMOSセンサを用いた撮像装置の構成を図4に示す。これも第1実施例と同一のため説明を省略する。
図10にTGから出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High”になり、選択スイッチがオンされる。
このとき、PDが飽和している場合、飽和電荷はFDに流れ込んでおり、FDは飽和光量に対応した電荷を持っている。このため、FETにより電荷電圧変換され、垂直出力線に飽和光量に対応した電圧が出力されている。また、コンデンサ70には、以前の読み出しの時に記憶させておいたリセット電圧が記憶されており、このとき、差分パルスが“Low”であるため、スイッチ72が開状態になっており、コンデンサ71には以前のリセット電圧と飽和出力の差分が蓄積され、差動アンプ73から出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ63を垂直出力線側に倒すことによって、コンデンサ62に飽和光量に対応した電圧を一時記憶する。
その後、読み出しパルス1を“High”にすることにより、スイッチ63を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して飽和出力として出力する。
その後にリセットパルスを“High”にし、リセットスイッチをオンにするとともに、差分パルスも“High”にし、スイッチ71を閉状態にすることにより、FDを所定電圧にリセットすると同時に、その電圧をコンデンサ70に記憶する。その後、差分パルスを“Low”にし、スイッチ72を開状態にするとともに、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力され、コンデンサ71には先のリセットレベルと画素部電荷に対応した電圧の差が記憶され、差動アンプからその電圧が出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ63を垂直出力線側に倒すことによって、コンデンサ62に画素部電荷に対応した電圧を一時記憶する。
その後、再び、リセットパルスを“High”にし、リセットスイッチをオンにするとともに、差分パルスも“High”にし、スイッチ72を閉状態にすることにより、FDを所定電圧にリセットすると同時に、その電圧をコンデンサ70に記憶する。これにより、次の読み出しの時にコンデンサ70にリセットレベルを記憶しておくことになる。
その後、読み出しパルス1を“High”にすることにより、スイッチ63を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して画素部出力として出力する。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。さらに、差動アンプにより、FDリセットのリセットノイズを除去することによって、よりSN比のよい出力信号が得ることができる。
また、本実施例では飽和光量に対応した出力を得るための信号と、画素部出力を得るための信号とが同一の垂直、水平出力線を通過するようにしているため、外来ノイズなどのノイズ(例えば、アンプ17のオフセット等)を受けにくい構成となっており、良好な画像信号を得ることが可能となっている。
(実施例5)
以下、図面を用いて本発明の実施例5を詳細に説明する。
本実施例の撮像素子としてのCMOSセンサの構成は図17と同一のため説明を省略する。
図17では、1画素部のみを表しているが実際には、図2に示すように画素部9は2次元状に配列され、62、63、70〜73が一列毎に一つずつ設けられている。
このCMOSセンサを用いた撮像装置の構成も図4と同一のため説明を省略する。
図11にTGから出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High“になり、選択スイッチがオンされる。
このとき、PDが飽和している場合、飽和電荷はFDに流れ込んでおり、FDは飽和光量に対応した電荷を持っている。このため、FETにより電荷電圧変換され、垂直出力線に飽和光量に対応した電圧が出力されている。また、コンデンサ70には、以前の読み出しの時に記憶させておいたリセット電圧が記憶されており、このとき、差分パルスが“Low”であるため、スイッチ72が開状態になっており、コンデンサ71には以前のリセット電圧と飽和出力の差分が蓄積され、差動アンプ73から出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ63を垂直出力線側に倒すことによって、コンデンサ62に飽和光量に対応した電圧を一時記憶する。
その後、リセットパルスを“High”にし、リセットスイッチをオンにするとともに、差分パルスも“High”にし、スイッチ72を閉状態にすることにより、FDを所定電圧にリセットすると同時に、その電圧をコンデンサ70に記憶する。これにより、次の読み出しの時にコンデンサ70にリセットレベルを記憶しておくことになる。
その後、選択パルスを“Low”にし、読み出しパルス1を“High”にすることにより、スイッチ63を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して飽和出力として出力する。この動作をすべての画素部に対して行い、一画面分の飽和出力を出力する。
その後、再び、選択パルスを“High”にし、リセットパルスを“High”にし、リセットスイッチをオンにするとともに、差分パルスも“High”にし、スイッチ72を閉状態にすることにより、FDを所定電圧にリセットすると同時に、その電圧をコンデンサ70に記憶する。その後、差分パルスを“Low”にし、スイッチ72を開状態にするとともに、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力され、コンデンサ71には先のリセットレベルと画素部電荷に対応した電圧の差が記憶され、差動アンプからその電圧が出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ63を垂直出力線側に倒すことによって、コンデンサ62に画素部電荷に対応した電圧を一時記憶する。
その後、読み出しパルス1を“High”にすることにより、スイッチ63を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して画素部出力として出力する。この動作をすべての画素部に対して行い、一画面分の画素部出力を出力する。
飽和出力と画素部出力をそれぞれ画像処理部に送り、図示していない画像処理部のメモリに一時的に蓄え、画素部出力が所定値以上の場合だけ、画素部出力と飽和出力を加算することにより、ダイナミックレンジの広い画像出力を得ることができる。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。さらに、差動アンプにより、FDリセットのリセットノイズを除去することによって、よりSN比のよい出力信号が得ることができる。
また、本実施例では飽和光量に対応した出力を得るための信号と、画素部出力を得るための信号とが同一の垂直、水平出力線を通過するようにしているため、外来ノイズなどのノイズ(例えば、アンプ17のオフセット等)を受けにくい構成となっており、良好な画像信号を得ることが可能となっている。
(実施例6)
以下、図面を用いて本発明の実施例6を詳細に説明する。
図7は本発明を実施した撮像素子としてのCMOSセンサの構成を示す。
センサの構成は実施例3と同一のため、説明を省略する。
このCMOSセンサを用いた撮像装置の構成を図4に示す。これも実施例1と同一のため説明を省略する。
図12にTGから出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High“になり、選択スイッチがオンされる。
このとき、PDが飽和している場合、飽和電荷はFDに流れ込んでおり、FDは飽和光量に対応した電荷を持っている。このため、FETにより電荷電圧変換され、垂直出力線に飽和光量に対応した電圧が出力されている。この状態で、差分パルスを“High”にしてスイッチ24を閉状態にし、コンデンサ22に飽和出力電圧を記憶する。次に差分パルスを“Low”にしたのち、リセットパルスを“High”にして、FDを所定電圧に接続し、垂直出力線にリセットレベルを出力する。このとき、差分パルスが“Low”であるため、スイッチ24が開状態になっており、コンデンサ23にはリセット電圧と飽和出力の差分が蓄積され、差動アンプ25から出力される。ただし、この場合、飽和出力の極性は第3実施例の出力と逆極性の出力になっている。この状態で、メモリパルス2を“High”にすることにより、スイッチ15を垂直出力線側に倒すことによって、コンデンサ14に飽和光量に対応した電圧を一時記憶する。
その後に垂直出力線にリセットレベルが出力されている状態で、再び、差分パルスを“High”にし、スイッチ24を閉状態にすることにより、リセットレベルをコンデンサ22に記憶する。その後、差分パルスを“Low”にし、スイッチ24を開状態にするとともに、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力され、コンデンサ23には先のリセットレベルと画素部電荷に対応した電圧の差が記憶され、差動アンプからその電圧が出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ13を垂直出力線側に倒すことによって、コンデンサ12に画素部電荷に対応した電圧を一時記憶する。
その後、読み出しパルス1を“High”にすることにより、スイッチ13を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して画素部出力として出力する。さらにその後、読み出しパルス2を“High”にすることにより、スイッチ15を水平出力線側に倒し、一時記憶した飽和光量に対応した電圧を水平出力線に出力し、出力アンプを介して飽和出力として出力する。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。さらに、差動アンプにより、FDリセットのリセットノイズを除去することにより、よりSN比のより良好な出力信号が得ることができる。また、さらに飽和出力を得るためのリセットレベルを当該画素部のリセットレベルを用いるため、さらにSN比の改善が見込まれる。
また、本実施例では飽和光量に対応した出力を得るための信号と、画素部出力を得るための信号とが同一の垂直、水平出力線を通過するようにしているため、外来ノイズなどのノイズ(例えば、アンプ17のオフセット等)を受けにくい構成となっており、良好な画像信号を得ることが可能となっている。
(実施例7)
以下、図面を用いて本発明の実施例7を詳細に説明する。
図8は本実施に適用される撮像素子としてのCMOSセンサの構成を示す。
センサの構成は実施例3と同一のため、説明を省略する。
このCMOSセンサを用いた撮像装置の構成を図4に示す。これも実施例1と同一のため説明を省略する。
図13にTGから出力されるタイミングパルスを示し、動作を説明する。ある画素部が選択されたとき、選択パルスが“High“になり、選択スイッチがオンされる。
このとき、PDが飽和している場合、飽和電荷はFDに流れ込んでおり、FDは飽和光量に対応した電荷を持っている。このため、FETにより電荷電圧変換され、垂直出力線に飽和光量に対応した電圧が出力されている。この状態で、差分パルスを“High”にしてスイッチ24を閉状態にし、コンデンサ22に飽和出力電圧を記憶する。次に差分パルスを“Low”にしたのち、リセットパルスを“High”にして、FDを所定電圧に接続し、垂直出力線にリセットレベルを出力する。このとき、差分パルスが“Low”であるため、スイッチ24が開状態になっており、コンデンサ23にはリセット電圧と飽和出力の差分が蓄積され、差動アンプ25から出力される。ただし、この場合、飽和出力の極性は第3実施例の出力と逆極性の出力になっている。この状態で、メモリパルス2を“High”にすることにより、スイッチ15を垂直出力線側に倒すことによって、コンデンサ14に飽和光量に対応した電圧を一時記憶する。
その後、転送パルスを“High”にすることにより、転送スイッチをオンして、PDから画素部電荷をFDに読み出す。このとき、FDは画素部電荷が転送されているので、これをFETにより電荷電圧変換することにより、垂直出力線に画素部電荷に対応した電圧が出力され、コンデンサ23には先の飽和出力と画素部電荷に対応した電圧の差が記憶され、差動アンプからその電圧が出力される。この状態で、メモリパルス1を“High”にすることにより、スイッチ13を垂直出力線側に倒すことによって、コンデンサ12に画素部電荷に対応した電圧を一時記憶する。
その後、読み出しパルス1を“High”にすることにより、スイッチ13を水平出力線側に倒し、一時記憶した画素部電荷に対応した電圧を水平出力線出力し、出力アンプを介して画素部出力として出力する。さらにその後、読み出しパルス2を“High”にすることにより、スイッチ15を水平出力線側に倒し、一時記憶した飽和光量に対応した電圧を水平出力線に出力し、出力アンプを介して飽和出力として出力する。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。さらに、差動アンプにより、FDリセットのリセットノイズを除去することにより、よりSN比のより良好な出力信号が得ることができる。また、さらに飽和出力を得るためのリセットレベルを当該画素部のリセットレベルを用いるため、さらにSN比の改善が見込まれる。さらに、第6実施例に比べ、差分パルスを1画素部につき1回閉じているだけなので、読み出し時間の短縮をすることが可能となり、高速読み出しを実現できる。
また、本実施例では飽和光量に対応した出力を得るための信号と、画素部出力を得るための信号とが同一の垂直、水平出力線を通過するようにしているため、外来ノイズなどのノイズ(例えば、アンプ17のオフセット等)を受けにくい構成となっており、良好な画像信号を得ることが可能となっている。
(参考例)
以下、図面を用いて本発明の参考例を詳細に説明する。
本実施例の撮像素子としてのCCDの構成は図19と同一のため説明を省略する。
ただし、本発明のCCDはPDが飽和した場合、飽和電荷はオーバーフロードレインに流れ込むのではなく、転送スイッチを介して、垂直転送CCDに流れ込む構成となっている。
このCCDを用いた撮像装置の構成も従来例と同一のため説明を省略する。
図14にTGから出力されるタイミングパルスを示し、動作を説明する。
PDが飽和している場合、飽和電荷は垂直転送CCDに流れ込んでいるので、転送パルスを出力する前に、V転送パルス、及び、H転送パルスを出力し、1画面分の転送を行い、飽和出力として一時記憶しておく。その後、転送パルスを“High”にし、PDの光電子を垂直転送CCDに転送し、V転送パルス、及び、H転送パルスを出力し、1画面分の転送を行い、画素部出力として一時記憶しておく。
一時記憶した画素部出力が所定値以上の場合のみ、画素部出力と飽和出力を加算し、画像データとする。
以上の構成により、従来の撮像装置より、よりダイナミックレンジの広い画像を得ることが可能となる。
本発明の実施例1の撮像素子の構成を示す図である。 本発明の実施例1の撮像素子の構成を示す図である。 本発明の実施例1のセンサ駆動タイミング図である。 撮像装置の全体ブロック図である。 加算回路を説明するための図である。 本発明の実施例2の撮像素子の構成を示す図である。 本発明の実施例2のセンサ駆動タイミング図である。 本発明の実施例3、実施例6、実施例7の撮像素子の構成を示す図である。 本発明の実施例3のセンサ駆動タイミング図である。 本発明の実施例4のセンサ駆動タイミング図である。 本発明の実施例5のセンサ駆動タイミング図である。 本発明の実施例6のセンサ駆動タイミング図である。 本発明の実施例7のセンサ駆動タイミング図である。 本発明の参考例のセンサ駆動タイミング図である。 従来のCMOSセンサの構成を示す図である。 従来のCMOSセンサのセンサ駆動タイミング図である。 従来のCMOSセンサの構成を示す図である。 従来のCMOSセンサのセンサ駆動タイミング図である。 従来のCCDセンサの構成を示す図である。 従来のCCDセンサのセンサ駆動タイミング図である。 従来の撮像装置を示す図である。
符号の説明
1 フォトダイオード
2 転送スイッチ
3 フローティングディフュージョン部
4 リセットスイッチ
5 リセット電圧
6 FET
7 選択スイッチ
8 垂直出力線
9 画素
11 定電流源

Claims (3)

  1. 各々が、光電変換部と前記光電変換部からの信号が転送される半導体領域と、前記光電変換部の信号を前記半導体領域に転送する転送手段と、前記半導体領域の信号を読み出す読み出し手段と、を有する2次元状に配列された画素部と、
    垂直方向の複数の画素毎に共通に設けられた複数の垂直出力線と、
    前記複数の垂直出力線からの信号が順次出力される水平出力線と、
    前記光電変換部において光電荷の蓄積期間中に、前記光電変換部から前記半導体領域に漏れた飽和信号と、前記光電変換部で発生した光電変換信号とを前記読み出し手段を介して順次読み出し、前記飽和信号と前記光電変換信号とを同じ前記垂直出力線と前記水平出力線から読み出すように駆動する駆動手段と、
    前記飽和信号と前記光電変換信号とを用いて画像を形成する信号処理手段と、
    を有する撮像装置。
  2. 請求項1に記載の撮像装置において、前記駆動手段は、前記半導体領域をリセットした後に得られるリセット信号を前記読み出し手段を介して読み出し、前記撮像装置は、さらに、前記リセット信号と前記飽和信号との差分処理と、前記リセット信号と前記光電変換信号との差分処理とを同一の回路で順次行う差分処理手段を有することを特徴とする撮像装置。
  3. 請求項1又は2に記載に記載の撮像装置において、前記2次元状に配列された画素部に光を結像する光学系と、前記信号処理手段からの信号を前記撮像装置に着脱可能な記録媒体に記録するように制御する制御手段と、を有することを特徴とする撮像装置。
JP2005034586A 2005-02-10 2005-02-10 撮像装置 Expired - Fee Related JP4745677B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005034586A JP4745677B2 (ja) 2005-02-10 2005-02-10 撮像装置
US11/347,738 US7241984B2 (en) 2005-02-10 2006-02-02 Imaging apparatus using saturation signal and photoelectric conversion signal to form image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005034586A JP4745677B2 (ja) 2005-02-10 2005-02-10 撮像装置

Publications (2)

Publication Number Publication Date
JP2006222762A JP2006222762A (ja) 2006-08-24
JP4745677B2 true JP4745677B2 (ja) 2011-08-10

Family

ID=36779033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005034586A Expired - Fee Related JP4745677B2 (ja) 2005-02-10 2005-02-10 撮像装置

Country Status (2)

Country Link
US (1) US7241984B2 (ja)
JP (1) JP4745677B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8203629B2 (en) 2006-10-26 2012-06-19 Canon Kabushiki Kaisha Image sensing apparatus and correction method
US20080164405A1 (en) * 2007-01-05 2008-07-10 Ezra Daniel Hall Wide dynamic range sensor
US20080164403A1 (en) * 2007-01-05 2008-07-10 International Business Machines Corporation Wide Dynamic Range Sensor
SE532553C2 (sv) * 2008-01-24 2010-02-23 Mikael Lindstrand Metod och anordning för erhållande av högdynamisk, spektral-, spatial- och vinkelupplöst radiansinformation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3548410B2 (ja) * 1997-12-25 2004-07-28 キヤノン株式会社 固体撮像装置および固体撮像装置の信号読み出し方法
JP3308904B2 (ja) * 1998-06-24 2002-07-29 キヤノン株式会社 固体撮像装置
JP3592106B2 (ja) * 1998-11-27 2004-11-24 キヤノン株式会社 固体撮像装置およびカメラ
JP2001094918A (ja) * 1999-09-20 2001-04-06 Canon Inc データ記憶システムを有する撮像装置
US6307195B1 (en) * 1999-10-26 2001-10-23 Eastman Kodak Company Variable collection of blooming charge to extend dynamic range
JP2002252794A (ja) 2001-02-26 2002-09-06 Canon Inc クランプ回路、それを用いた撮像装置と撮像システム、及びクランプ方法
JP2003101881A (ja) * 2001-09-20 2003-04-04 Sony Corp 固体撮像装置および固体撮像装置の駆動方法
JP3827145B2 (ja) * 2001-07-03 2006-09-27 ソニー株式会社 固体撮像装置
JP3827146B2 (ja) * 2001-09-12 2006-09-27 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
US7034957B2 (en) * 2002-04-15 2006-04-25 Shang-Yu Yang Method for increasing signal to noise ratio
JP3731584B2 (ja) * 2003-03-31 2006-01-05 コニカミノルタフォトイメージング株式会社 撮像装置、およびプログラム
JP4484449B2 (ja) * 2003-05-08 2010-06-16 富士フイルム株式会社 固体撮像装置
JP4254388B2 (ja) * 2003-06-11 2009-04-15 本田技研工業株式会社 イメージセンサの走査回路
JP5066704B2 (ja) * 2005-02-04 2012-11-07 国立大学法人東北大学 固体撮像装置、および固体撮像装置の動作方法
JP4497366B2 (ja) * 2005-02-04 2010-07-07 国立大学法人東北大学 光センサおよび固体撮像装置

Also Published As

Publication number Publication date
US7241984B2 (en) 2007-07-10
US20060175537A1 (en) 2006-08-10
JP2006222762A (ja) 2006-08-24

Similar Documents

Publication Publication Date Title
JP5247007B2 (ja) 撮像装置及び撮像システム
JP5614993B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP4756960B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
KR101237188B1 (ko) 고체 촬상 디바이스, 고체 촬상 디바이스 구동 방법 및촬상 장치
JP2006197393A (ja) 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP2005347932A (ja) 固体撮像装置および撮像システム
JP4154268B2 (ja) 撮像装置
JP4758318B2 (ja) 固体撮像装置
JP4745677B2 (ja) 撮像装置
JP4678849B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2007243731A (ja) シフトレジスタ、固体撮像素子及び制御方法
JPH11261899A (ja) 固体撮像装置
KR20140107212A (ko) 고체 촬상 소자 및 그 구동 방법, 카메라 시스템
JP2008300898A (ja) 固体撮像装置とそれを用いた撮像システム
JP5627728B2 (ja) 撮像装置及び撮像システム
JP4724400B2 (ja) 撮像装置
JP2007134806A (ja) 固体撮像素子
JP2000295533A (ja) 固体撮像素子およびその駆動方法、並びに固体撮像素子の信号処理方法
JP2007143067A (ja) 撮像装置及び撮像システム
JP2005286470A (ja) 撮像装置
JP4814749B2 (ja) 固体撮像装置
JP6393087B2 (ja) 撮像素子及び撮像装置
JP2009225341A (ja) 固体撮像装置及びその駆動方法
JP5854652B2 (ja) 撮像装置
JP2007214791A (ja) 撮像素子、撮像装置、及び撮像素子の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees