JP3915416B2 - Imaging apparatus and imaging element driving method - Google Patents

Imaging apparatus and imaging element driving method Download PDF

Info

Publication number
JP3915416B2
JP3915416B2 JP2001060333A JP2001060333A JP3915416B2 JP 3915416 B2 JP3915416 B2 JP 3915416B2 JP 2001060333 A JP2001060333 A JP 2001060333A JP 2001060333 A JP2001060333 A JP 2001060333A JP 3915416 B2 JP3915416 B2 JP 3915416B2
Authority
JP
Japan
Prior art keywords
horizontal transfer
circuit
horizontal
duty ratio
transferred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001060333A
Other languages
Japanese (ja)
Other versions
JP2002262181A (en
Inventor
一世 野仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2001060333A priority Critical patent/JP3915416B2/en
Publication of JP2002262181A publication Critical patent/JP2002262181A/en
Application granted granted Critical
Publication of JP3915416B2 publication Critical patent/JP3915416B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばCCD(電荷結合素子)などの固体撮像素子を用いた撮像装置及び撮像素子駆動方法に関する。
【0002】
【従来の技術】
図5に一般的なデジタル(スチル)カメラの回路構成を示す。同図で、10がデジタルカメラであり、このデジタルカメラ10は、記録モードと再生モードとを設定可能である。記録モードの状態において、レンズ11の後方に配置されたCCD12は、タイミング発生器(TG)13、垂直ドライバ14、及び水平ドライバ15によって走査駆動され、一定周期毎に光電変換によるCCD出力を1画面分出力する。
【0003】
このCCD出力は、相関二重回路(CDS)及びゲインコントロール(GC)回路16にてタイミング発生器13からのサンプリングパルスにより画素単位のアナログ値の電圧信号として取込まれ、RGBの各原色成分毎に適宜ゲイン調整された後にA/D変換器17でサンプルホールドされてデジタルデータに変換される。
【0004】
このデジタルデータに対してカラープロセス回路18で画素補間処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Y及び色差信号Cb,Crが生成される。
【0005】
カラープロセス回路18は、生成した輝度信号Y及び色差信号Cb,Crを、同じく生成した同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いてDRAM19にDMA転送を行なう。
【0006】
CPU20は、上記輝度及び色差信号のDRAM19へのDMA転送終了後に、この輝度及び色差信号をDRAM19より読出してVRAM21に書込む。
【0007】
デジタルビデオエンコーダ(以下「ビデオエンコーダ」と略称する)22は、上記輝度及び色差信号をVRAM21より定期的に読出し、クロマ回路23へ出力する。
【0008】
クロマ回路23は、送られてきた信号にクロマ処理を施してビデオ信号を発生し、表示部24に出力する。
【0009】
この表示部24は、例えばバックライト付のカラー液晶表示パネルとその駆動回路とで構成され、カメラ本体の背面側に配設されて、記録モード時にはEVF(Electronic View Finder:電子ビューファインダ)として機能するもので、クロマ回路23からのビデオ信号に基づいた表示を行なうことで、その時点でCCD12から取込んでいる画像情報に基づく画像を表示することとなる。
【0010】
そして、このように表示部24にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、記録保存を行ないたいタイミングでキー入力部25を構成する複数のキー中のシャッタキーを操作すると、トリガ信号を発生する。
【0011】
CPU20は、このトリガ信号に応じてその時点でCCD12から取込んでいる1画面分の輝度及び色差信号のDRAM19へのDMA転送の終了後、直ちにCCD12からのDRAM19への経路を停止し、記録保存の状態に遷移する。
【0012】
この記録保存の状態では、CPU20がDRAM19に書込まれている1フレーム分の輝度及び色差信号をY,Cb,Crの各コンポーネント毎に縦8画素×横8画素の基本ブロックと呼称される単位で読出してJPEG回路26に書込む。
【0013】
JPEG回路26は、書き込まれた信号に対してADCT(AdaptiveDiscrete Cosine Transform:適応離散コサイン変換)、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮し、得た符号データを1画像のデータファイルとして該JPEG回路26から読出し、このデジタルカメラ10の記憶媒体として着脱自在に装着される、不揮発性メモリであるフラッシュメモリ27に書込ませる。
【0014】
そして、1フレーム分の輝度及び色差信号の圧縮処理及びフラッシュメモリ27への全圧縮データの書込み終了に伴なって、CPU20は再度CCD12からDRAM19への経路を起動する。
【0015】
この際、併せてCPU20は、元の画像データの構成画素数を大幅に間引いた画像データを作成し、これをサムネイル画像とも呼称されるプレビュー画像として元の画像データに関連付けてフラッシュメモリ27に記憶させる。
【0016】
なお、上記キー入力部25は、上述したシャッタキーの他に、記録(REC)モードと再生(PLAY)モードとを切換える録/再モード切換えキー、各種撮影モードを選択するためのモードキー、画像選択やホワイトバランスの画面中での重点調整位置の指定等のために上下左右各方向を指示するカーソルキーや選択内容を決定するための「Enter」キー等から構成され、キー操作に伴なう信号は直接CPU20へ送出される。
【0017】
また、再生モードでは、CPU20はCCD12からDRAM19への経路を停止し、キー入力部25の画像選択キー等の操作に応じてCPU20がフラッシュメモリ27から特定の1フレーム分の符号データを読出してJPEG回路26に書込み、JPEG回路26で伸長処理を行なって得られた縦8画素×横8画素の基本ブロック単位に、VRAM21へ1フレーム分の輝度及び色差信号を展開記憶させる。すると、ビデオエンコーダ22は、VRAM21に展開記憶されている1フレーム分の輝度及び色差信号をクロマ回路23へ出力し、このクロマ回路23で元のビデオ信号を発生させて、表示部24で表示させる。
【0018】
しかして、次に上記CCD12における撮像データの詳細な取得方法について説明する。
【0019】
図6はCCD12の概略構成を示すもので、CCD12は主としてマトリクス(行列)状に配列された多数の画素PXからなる露光部Eと、それら画素列間にある垂直転送路VTとからなる。
【0020】
露光部Eで露光により得られた電荷は、1フィールド毎にこれら垂直転送路VTに転送され、さらに各垂直転送路VT上で、図7に示すようにそれぞれ位相のずれた3種類の垂直転送パルスV1 〜V3 によって垂直(図中では下)方向に1ラインずつ転送される。
【0021】
そして、各垂直転送路VTの最下段のラインの電荷は、一本の水平転送路HTに転送される。この水平転送路HTに転送された電荷は、次に再び垂直転送路VTの最下段のラインの電荷が転送されるまでの間に、水平方向に画素単位で順次転送され、フローティングディフュージョンアンプ(以下文中及び図面では「FDアンプ」と略称する)31を介してCCD出力として次段の相関二重回路及びゲインコントロール回路16へ出力される。
【0022】
図8はこのFDアンプ31の構成を例示するものであり、水平転送路HTから転送されてきた電荷が与えられるリセットゲートRGの入力が、一端を接地したコンデンサCの他端と接続されると共に、リセットパルスに応じてオン/オフするスイッチSWを介してリセットドレイン端子と接続される。
【0023】
しかして、FDアンプ31では、内部のコンデンサCを、リセットパルスにてある電圧に固定させた後にフローティング状態とし、次に水平転送路HTから転送されてきた画素の電荷を充電させることにより、フローティング時のコンデンサCの両端電圧と、画素電荷充電時の同コンデンサCの両端電圧との差をとることで、その画素の信号電圧を得るものとしている。
【0024】
図9はこのFDアンプ31での動作タイミングを示すものである。図9(1),(2)は、水平ドライバ15から与えられる、水平転送動作の基準となる水平転送パルス1,2であり、図示するように水平転送パルス1を反転したものが水平転送パルス2となる。
【0025】
これら水平転送パルス1,2の1周期で1画素分の電荷が水平転送路HTからFDアンプ31に送られてきて、FDアンプ31はその電荷量に応じた波形信号を出力することとなる。
【0026】
すなわち、水平転送パルス1の立下がり(水平転送パルス2の立上がり)のタイミングで、コンデンサCへの電荷の蓄積を開始させ、このコンデンサCの両端に発生する電圧をバッファアンプを介して外部に出力することにより電気信号に変換している。
【0027】
蓄積された電荷が電気信号として外部に出力された後、各画素転送毎に水平転送パルス1の立上がり(水平転送パルス2の立下がり)のタイミングでコンデンサCは完全に放電され、ある電圧Vsに固定される。
【0028】
図9(3)はこのFDアンプ31の出力する電圧信号の波形を例示するもので、図9(4)に示すリセットパルスにより電圧Vsに固定されるのがリセット領域a、電圧Vfのフローティング状態とされるのがリファレンス領域b、水平転送パルス1の立下がり(水平転送パルス2の立上がり)のタイミングで画素の輝度に対応した電荷量が蓄積されて電圧Vdとなるのがデータ領域cである。
【0029】
FDアンプ31の次段である上記相関二重回路16では、上述したFDアンプ31の出力波形に対し、図9(5)に示すリファレンス用サンプリングパルスの立下がりのタイミング及び図9(6)に示すデータ用サンプリングパルスの立下がりの各タイミングでリファレンス領域bの電圧Vfとデータ領域cの電圧Vdとを得、それらの差分を電気信号として得ることとなる。
【0030】
しかして、図9でもわかるように、水平転送パルスの1周期に対し、その最初の1/4周期がリセット領域a、次の1/4周期がフローティング状態とされるリファレンス領域b、残る1/2周期が実際の電荷の蓄積を行なうデータ領域cとされている。したがって、データ領域cではリファレンス領域bの2倍の時間をかけて、安定した電圧Vdを得ることができる。
【0031】
【発明が解決しようとする課題】
しかしながら、近時のCCDの高画素数化と、例えば30[枚/秒]のような高いフレームレートでの高画質の動画の撮影機能も要求されているデジタルスチルカメラの状況にあっては、FDアンプ31で行なう1画素分当たりの電荷の転送、読取りに要する時間も大変短いものとなる。これにより、使用するコンデンサの時定数にもよるが、特に上記リファレンス領域bで安定した電圧Vfが得ることが難かしくなる。
【0032】
その結果、上記データ領域cで安定した電圧Vdを得ることができたとしても、必要な電圧信号は2つの電圧値Vf,Vdの差分により得られるものであるから、画素の電荷量に対応した正確な画素値の電圧信号を得ることが困難となるという不具合を生じる。
【0033】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮像素子の1画素当たりの読出し時間が短くなったとしても、常に安定して正確な画素値を読出すことが可能な撮像装置及び撮像素子駆動方法を提供することにある。
【0034】
【課題を解決するための手段】
請求項1記載の発明は、マトリクス状に配列された露光部で蓄積した電荷を複数の垂直転送路に転送し、これら複数の垂直転送路に転送した電荷を順次一本の水平転送路に転送して出力する固体撮像素子と、この固体撮像素子の水平転送路での1画素転送期間中のリセット領域とデータ領域に挟まれたリファレンス領域の終了タイミングを制御する水平転送パルスのデューティ比を遅延素子により可変する制御手段とを具備し、上記制御手段は、逆位相関係にある2つの上記水平転送パルスの少なくとも一方のデューティ比を可変し、クロスポイントを一致させることを特徴とする撮像装置である。
【0035】
請求項2記載の発明は、マトリクス状に配列された露光部で蓄積した電荷を複数の垂直転送路に転送し、これら複数の垂直転送路に転送した電荷を順次一本の水平転送路に転送して出力する固体撮像素子の水平転送路での1画素転送期間中のリセット領域とデータ領域に挟まれたリファレンス領域の終了タイミングを制御する水平転送パルスのデューティ比を遅延素子により可変する制御ステップを備え、上記制御ステップは、逆位相関係にある2つの上記水平転送パルスの少なくとも一方のデューティ比を可変し、クロスポイントを一致させることを特徴とする撮像素子駆動方法である。
【0044】
【発明の実施の形態】
以下本発明をデジタルカメラに適用した場合の実施の一形態について図面を参照して説明する。
【0045】
なお、デジタルカメラ全体の回路構成、及びCCDの構成についてはほぼ上記図5、図6と同様であるものとし、同一部分には同一符号を用いてその図示及び説明を省略する。
【0046】
まず図1により主としてFDアンプ31での基本的な動作内容について説明する。
【0047】
図1(1),(2)は水平ドライバ15からCCD12に与えられる水平転送パルス1,2を示すもので、上記図9(1),(2)で示したものに比して、周期自体は変わるものではなく、対象とするCCD12の1画素当たりの水平転送期間に対応するものであるが、1周期中のデューティ比を図中に矢印Aで示す範囲で任意に可変できるものとする。
【0048】
これにより、図1(3)に示すようにFDアンプ31の出力波形におけるリセット領域aとデータ領域cに挟まれたリファレンス領域bの時間幅を拡大することができる。
【0049】
したがって、図1(4)に示すリセットパルスでFDアンプ31をリセットした後、拡大されたリファレンス領域b中のフローティング状態でリファレンス電圧Vfが充分安定したと思われるタイミングRで、図1(5)に示すようにリファレンス用サンプリングパルスの立下がりに同期してこれをサンプリングするものとする。
【0050】
その後、データ領域cにおいても転送されてきた電荷の量に対応してデータ電圧Vdが低下し、充分安定したと思われるタイミングで、図1(6)に示すようにデータ用サンプリングパルスの立下がりに同期してこれをサンプリングする。
【0051】
こうして、共に安定した状態でサンプリングしたリファレンス電圧Vfとデータ電圧Vdとの差分Vを得ることにより、正確な画素値を得ることができるようになるものである。
【0052】
図2は、水平ドライバ15′内に設けられ、上記のようにデューティ比を可変できる水平転送パルス1,2を発生するための回路の一構成例を示すものである。
【0053】
同図では、タイミング発生器13から1画素分の水平転送周期の1/2の周期を有するデューティ比1/2の基準クロックCLKが、1/2分周回路41に直接、1/2分周回路42にインバータ43を介して反転されクロックCLKBとしてそれぞれ入力される。
【0054】
1/2分周回路41は、基準クロックCLKを1/2に分周してクロックCLK1として遅延素子44へ送出する。この遅延素子44は、遅延時間を任意に設定できるものとし、その遅延出力がEX−オア回路45及びEX−ノア回路46にそれぞれ出力される。
【0055】
同様に、1/2分周回路42は、インバータ43で反転された基準クロックCLKBを1/2に分周してクロックCLK2として遅延素子47へ送出する。この遅延素子47も、遅延時間を任意に設定できるものとし、その遅延出力がEX−オア回路45及びEX−ノア回路46にそれぞれ出力される。
【0056】
しかして、EX−オア回路45の論理出力が水平転送パルス1として、EX−ノア回路46の論理出力が水平転送パルス2としてそれぞれ上記FDアンプ31に供される。
【0057】
なお、上記遅延素子44,47はいずれも遅延時間を任意に設定できるものとして説明したが、駆動対象であるCCD12の構成画素数や使用するコンデンサの時定数、その他の物性に基づいて固定値の遅延時間を予め設定するものとしてもよい。
【0058】
このような水平ドライバ15′の構成にあって、図3に各処理信号の波形を示す。図3(1)に示すような基準クロックCLKから、1/2分周回路41とインバータ43及び1/2分周回路42とによって、図3(2),(3)に示すクロックCLK1,2が生成される。
【0059】
しかして、ここでは例えば遅延素子47側でのみクロックCLK2に時間幅Dの遅延を与え、遅延素子44ではクロックCLK1に遅延を与えない場合を示しており、こうして適宜必要なだけ遅延されたクロックCLK1,2により、EX−オア回路45、EX−ノア回路46を用いることで図3(4),(5)に示すようなデューティ比を可変した水平転送パルス1,2を得ることができるようになる。
【0060】
このように、簡単な回路構成により任意の時間幅でデューティ比を可変した水平転送パルスを得ることができるため、上記図1で示したようなデータ領域cに悪影響を及ぼすほど短縮してしまうことのない範囲内でリファレンス領域bを充分に拡大することができ、常に安定して正確な画素値の読出しを実現できるようになる。
【0061】
なお、上記実施の形態では、水平転送パルス1,2のデューティ比を可変することでリファレンス領域bの時間幅を可変し、最適な出力電圧を得るものとして説明したが、該デューティ比を可変する手段は、他に互いに逆位相関係にある2つの水平転送パルスのクロスポイントを最適化する上でも有効となる。
【0062】
図4はそのような水平転送パルス1,2の波形を例示するもので、ここでは水平転送パルス1,2の特に立上がり及び立下がり期間の時間軸(横軸)を拡大することで、立上がり及び立下がり期間での電圧値の変化の度合いを強調して示している。
【0063】
一般にこれら逆位相関係にある水平転送パルス1,2は、CCD12内の水平転送路HTで各画素単位で電荷を順次水平方向に転送するために生成される駆動パルスであり、その1周期で1画素分の電荷が転送され、上述したFDアンプ31で順次外部に出力する。
【0064】
このとき、2つのパルスのうちの一方の立上がりと他方の立下がりで同一電圧となるタイミングポイント(以下「クロスポイント」と称する)が図4に示すように同一のタイミングであるほどに、水平転送路HTでの電荷を残すことなくすべて次位置へ転送することができ、転送効率を向上させることができる。
【0065】
一般にこの2つの水平転送パルス1,2は、使用するCCD12の特性により駆動電流が異なり、特に高画素数のものとなるほどその値が大きくなる。そのため、特に高画素数のCCD12ではその前段に高電圧の水平転送パルスを発生するための駆動回路を挿入して使用する場合が多くなるが、この駆動回路の個体差によって、実際にCCD12に入力される2つの水平転送パルス1,2のクロスポイントが微妙にずれることが多い。
【0066】
したがって、そのような水平転送パルス1,2のクロスポイントのずれを補償するべく上記図2で示した遅延素子44,47での遅延量を可変設定することで、より最適なクロスポイントを得、水平転送路HTでの転送効率を確実に向上し、再現性の高い画像を得ることができるようになる。
【0067】
なお、本実施の形態は固体撮像素子としてCCDを用いたデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限るものではなく、CCDやCMOSエリアセンサその他の固体撮像素子を駆動して画像を得るような装置あるいはその駆動方法として任意の対象に適用可能であることはいうまでもない。
【0068】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【0069】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0070】
請求項1記載の発明によれば、リファレンス領域の時間幅を拡大することにより、撮像素子の1画素当たりの読出し時間が短くなったとしても、フローティング状態の電圧値を充分安定したものとできるため、常に安定して正確な画素値を読出すことが可能となる。
また、基準となる水平転送パルスのデューティ比を可変することで、リファレンス領域の終了タイミングを制御するようにしたので、複雑な制御を行なわずともリファレンス領域を容易に制御することができる。
また、簡単な回路を付加するのみで撮像素子の高画素数化等に対処できる。
また、水平転送路での転送効率を向上させて、より再現性の高い画像を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の一形態に係る主としてFDアンプでの基本的な動作内容を示す図。
【図2】同実施の形態に係る水平転送パルスを発生するための回路の一構成例を示すブロック図。
【図3】同実施の形態に係る水平ドライバでの各処理信号の波形を示すタイミングチャート。
【図4】同実施の形態に係る水平転送パルスの他の波形を例示するタイミングチャート。
【図5】一般的なデジタルスチルカメラの回路構成を示すブロック図。
【図6】図5のCCDの詳細な構成を示す図。
【図7】図6のCCDに印加される垂直転送パルスの波形を示す図。
【図8】図6のFDアンプの回路構成を示す図。
【図9】図8のFDアンプにおける水平転送パルスと1画素読出し期間中の駆動波形とを示す図。
【符号の説明】
10…デジタルカメラ
11…レンズ
12…CCD
13…タイミング発生器(TG)
14…垂直ドライバ
15,15′…水平ドライバ
16…相関二重回路及びゲインコントロール回路(CDS&GC)
17…A/D変換器
18…カラープロセス回路
19…DRAM
20…CPU
21…VRAM
22…デジタルビデオエンコーダ
23…クロマ回路
24…表示部
25…キー入力部
26…JPEG回路
27…フラッシュメモリ
31…FDアンプ
41…1/2分周回路
42…1/2分周回路
43…インバータ
44…遅延素子
45…EX−オア回路
46…EX−ノア回路
47…遅延素子
E…露光部
HT…水平転送路
PX…画素
RG…リセットゲート
VT…垂直転送路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and an imaging element driving method using a solid-state imaging element such as a CCD (charge coupled device).
[0002]
[Prior art]
FIG. 5 shows a circuit configuration of a general digital (still) camera. In the figure, reference numeral 10 denotes a digital camera, and the digital camera 10 can set a recording mode and a reproduction mode. In the recording mode state, the CCD 12 arranged behind the lens 11 is scan-driven by a timing generator (TG) 13, a vertical driver 14, and a horizontal driver 15, and outputs a CCD output by photoelectric conversion for every fixed period on one screen. Output minutes.
[0003]
This CCD output is taken in as a voltage signal of an analog value in units of pixels by a sampling pulse from the timing generator 13 in the correlated double circuit (CDS) and the gain control (GC) circuit 16, and for each primary color component of RGB. After the gain is appropriately adjusted, it is sampled and held by the A / D converter 17 and converted into digital data.
[0004]
Color processing including pixel interpolation processing is performed on the digital data by the color processing circuit 18 to generate a digital luminance signal Y and color difference signals Cb and Cr.
[0005]
The color process circuit 18 performs DMA transfer of the generated luminance signal Y and color difference signals Cb and Cr to the DRAM 19 using the generated synchronization signal, memory write enable signal, and clock signal.
[0006]
After completing the DMA transfer of the luminance and color difference signals to the DRAM 19, the CPU 20 reads the luminance and color difference signals from the DRAM 19 and writes them into the VRAM 21.
[0007]
A digital video encoder (hereinafter abbreviated as “video encoder”) 22 periodically reads out the luminance and color difference signals from the VRAM 21 and outputs them to the chroma circuit 23.
[0008]
The chroma circuit 23 performs chroma processing on the transmitted signal to generate a video signal and outputs it to the display unit 24.
[0009]
The display unit 24 is composed of, for example, a backlit color liquid crystal display panel and its drive circuit, and is disposed on the back side of the camera body, and functions as an EVF (Electronic View Finder) in the recording mode. Thus, by performing display based on the video signal from the chroma circuit 23, an image based on the image information fetched from the CCD 12 at that time is displayed.
[0010]
Then, with the image at that time being displayed in real time as a monitor image on the display unit 24 as described above, the shutter keys in the plurality of keys constituting the key input unit 25 are operated at a timing when recording and storage are desired. Then, a trigger signal is generated.
[0011]
In response to the trigger signal, the CPU 20 immediately stops the path from the CCD 12 to the DRAM 19 after the DMA transfer to the DRAM 19 of the luminance and color difference signals for one screen captured from the CCD 12 at that time, and records and saves them. Transition to the state.
[0012]
In this record storage state, the CPU 20 writes the luminance and color difference signals for one frame written in the DRAM 19 to a unit called a basic block of 8 vertical pixels × 8 horizontal pixels for each of Y, Cb, and Cr components. Is read out and written into the JPEG circuit 26.
[0013]
The JPEG circuit 26 compresses the written signal by a process such as ADCT (Adaptive Discrete Cosine Transform), Huffman coding which is an entropy coding method, and the obtained code data is data of one image. The file is read out from the JPEG circuit 26 as a file, and is written into a flash memory 27 which is a non-volatile memory that is detachably mounted as a storage medium of the digital camera 10.
[0014]
Then, the CPU 20 activates the path from the CCD 12 to the DRAM 19 again upon completion of the compression processing of the luminance and color difference signals for one frame and the writing of all the compressed data to the flash memory 27.
[0015]
At this time, the CPU 20 also creates image data in which the number of constituent pixels of the original image data is substantially thinned out, and stores this in the flash memory 27 in association with the original image data as a preview image, also called a thumbnail image. Let
[0016]
In addition to the shutter key described above, the key input unit 25 includes a recording / re-mode switching key for switching between a recording (REC) mode and a reproduction (PLAY) mode, a mode key for selecting various shooting modes, and an image. Consists of cursor keys that specify each of the up / down / left / right directions and the “Enter” key for determining the selection contents for selection and designation of the focus adjustment position on the white balance screen. The signal is sent directly to the CPU 20.
[0017]
In the playback mode, the CPU 20 stops the path from the CCD 12 to the DRAM 19, and the CPU 20 reads the code data for one specific frame from the flash memory 27 in accordance with the operation of the image selection key or the like of the key input unit 25 and performs JPEG The luminance and color difference signals for one frame are developed and stored in the VRAM 21 in units of basic blocks of 8 vertical pixels × 8 horizontal pixels obtained by writing to the circuit 26 and performing the decompression process by the JPEG circuit 26. Then, the video encoder 22 outputs the luminance and color difference signals for one frame developed and stored in the VRAM 21 to the chroma circuit 23, and the original video signal is generated by the chroma circuit 23 and displayed on the display unit 24. .
[0018]
Thus, a detailed method for acquiring image data in the CCD 12 will be described next.
[0019]
FIG. 6 shows a schematic configuration of the CCD 12, and the CCD 12 is mainly composed of an exposure section E composed of a large number of pixels PX arranged in a matrix, and a vertical transfer path VT between these pixel columns.
[0020]
The electric charge obtained by exposure at the exposure unit E is transferred to the vertical transfer paths VT for each field, and further, three types of vertical transfers with different phases are performed on each vertical transfer path VT as shown in FIG. One line is transferred in the vertical (downward in the figure) direction by pulses V1 to V3.
[0021]
Then, the charge on the lowermost line of each vertical transfer path VT is transferred to one horizontal transfer path HT. The charges transferred to the horizontal transfer path HT are sequentially transferred in units of pixels in the horizontal direction until the next charge on the lowermost line of the vertical transfer path VT is transferred again. In the text and in the drawing, it is abbreviated as “FD amplifier” 31) and is output as CCD output to the correlated double circuit and gain control circuit 16 in the next stage.
[0022]
FIG. 8 shows an example of the configuration of the FD amplifier 31. The input of the reset gate RG to which the charge transferred from the horizontal transfer path HT is applied is connected to the other end of the capacitor C whose one end is grounded. The reset drain terminal is connected via a switch SW that is turned on / off in response to a reset pulse.
[0023]
Thus, in the FD amplifier 31, the internal capacitor C is fixed to a certain voltage by the reset pulse and then brought into a floating state, and then the pixel charges transferred from the horizontal transfer path HT are charged, thereby floating. The signal voltage of the pixel is obtained by taking the difference between the voltage across the capacitor C at the time and the voltage across the capacitor C when charging the pixel charge.
[0024]
FIG. 9 shows the operation timing in the FD amplifier 31. 9 (1) and 9 (2) are horizontal transfer pulses 1 and 2 which are supplied from the horizontal driver 15 and serve as a reference for the horizontal transfer operation, and the horizontal transfer pulse 1 obtained by inverting the horizontal transfer pulse 1 as shown in FIG. 2.
[0025]
Charges for one pixel are sent from the horizontal transfer path HT to the FD amplifier 31 in one cycle of the horizontal transfer pulses 1 and 2, and the FD amplifier 31 outputs a waveform signal corresponding to the charge amount.
[0026]
That is, at the timing of the falling edge of the horizontal transfer pulse 1 (the rising edge of the horizontal transfer pulse 2), charge accumulation in the capacitor C is started, and the voltage generated at both ends of the capacitor C is output to the outside through the buffer amplifier. By doing so, it is converted into an electric signal.
[0027]
After the accumulated charge is output to the outside as an electrical signal, the capacitor C is completely discharged at the rising edge of the horizontal transfer pulse 1 (falling edge of the horizontal transfer pulse 2) for each pixel transfer, to a certain voltage Vs. Fixed.
[0028]
FIG. 9 (3) exemplifies the waveform of the voltage signal output from the FD amplifier 31. The reset pulse shown in FIG. 9 (4) is fixed to the voltage Vs by the reset region a and the floating state of the voltage Vf. The reference region b is the data region c in which the charge amount corresponding to the luminance of the pixel is accumulated and becomes the voltage Vd at the timing of the fall of the horizontal transfer pulse 1 (rise of the horizontal transfer pulse 2). .
[0029]
In the correlated double circuit 16 that is the next stage of the FD amplifier 31, the falling timing of the reference sampling pulse shown in FIG. 9 (5) and the timing shown in FIG. 9 (6) with respect to the output waveform of the FD amplifier 31 described above. The voltage Vf of the reference area b and the voltage Vd of the data area c are obtained at each timing of the fall of the data sampling pulse shown, and the difference between them is obtained as an electric signal.
[0030]
Thus, as can be seen in FIG. 9, for one period of the horizontal transfer pulse, the first 1/4 period is the reset area a, the next 1/4 period is the floating reference area b, and the remaining 1 / period is the remaining 1 / period. Two periods are used as a data area c where actual charge is stored. Therefore, a stable voltage Vd can be obtained in the data area c by taking twice as much time as the reference area b.
[0031]
[Problems to be solved by the invention]
However, in the situation of digital still cameras, where the recent increase in the number of pixels of a CCD and a high-quality moving image shooting function at a high frame rate such as 30 [frames / second] are also required, The time required for the transfer and reading of charges per pixel performed by the FD amplifier 31 is also very short. This makes it difficult to obtain a stable voltage Vf particularly in the reference region b, depending on the time constant of the capacitor used.
[0032]
As a result, even if the stable voltage Vd can be obtained in the data area c, the necessary voltage signal is obtained by the difference between the two voltage values Vf and Vd, and therefore corresponds to the charge amount of the pixel. There arises a problem that it is difficult to obtain a voltage signal having an accurate pixel value.
[0033]
The present invention has been made in view of the above circumstances, and the object of the present invention is to always stably and accurately read out pixel values even if the readout time per pixel of the image sensor is shortened. It is an object of the present invention to provide an image pickup apparatus and an image pickup element driving method that can be used.
[0034]
[Means for Solving the Problems]
The invention of claim 1, wherein transfers charges accumulated in the exposed portion which is arranged in a matrix of a plurality of vertical transfer paths, transfer to the horizontal transfer path sequential single charge transfer to the plurality of vertical transfer paths Output the solid-state imaging device, and delay the duty ratio of the horizontal transfer pulse that controls the end timing of the reference region sandwiched between the reset region and the data region during the one-pixel transfer period in the horizontal transfer path of the solid-state imaging device and control means for varying the element, said control means varies the at least one of the duty ratio of the two said horizontal transfer pulses in the opposite phase relation, the imaging apparatus, characterized in that to match the cross-point is there.
[0035]
According to the second aspect of the present invention, the charges accumulated in the exposure units arranged in a matrix are transferred to a plurality of vertical transfer paths, and the charges transferred to the plurality of vertical transfer paths are sequentially transferred to a single horizontal transfer path. Control step of varying the duty ratio of the horizontal transfer pulse by the delay element for controlling the end timing of the reference area sandwiched between the reset area and the data area during one pixel transfer period in the horizontal transfer path of the solid-state image pickup device And the control step is to change the duty ratio of at least one of the two horizontal transfer pulses having an anti-phase relationship so that the cross points coincide with each other.
[0044]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment when the present invention is applied to a digital camera will be described with reference to the drawings.
[0045]
The circuit configuration of the entire digital camera and the configuration of the CCD are substantially the same as those in FIGS. 5 and 6 described above, and the same reference numerals are used for the same portions and their illustration and description are omitted.
[0046]
First, the basic operation contents in the FD amplifier 31 will be mainly described with reference to FIG.
[0047]
1 (1) and 1 (2) show horizontal transfer pulses 1 and 2 given from the horizontal driver 15 to the CCD 12, and the period itself is higher than that shown in FIGS. 9 (1) and 9 (2). This does not change and corresponds to the horizontal transfer period per pixel of the target CCD 12, but the duty ratio in one cycle can be arbitrarily varied within the range indicated by the arrow A in the figure.
[0048]
Thereby, as shown in FIG. 1 (3), the time width of the reference region b sandwiched between the reset region a and the data region c in the output waveform of the FD amplifier 31 can be expanded.
[0049]
Therefore, after resetting the FD amplifier 31 with the reset pulse shown in FIG. 1 (4), the timing R at which the reference voltage Vf is considered to be sufficiently stable in the floating state in the enlarged reference region b is shown in FIG. 1 (5). As shown in FIG. 4, the sampling is performed in synchronization with the fall of the reference sampling pulse.
[0050]
Thereafter, the data voltage Vd decreases corresponding to the amount of charge transferred also in the data region c, and the data sampling pulse falls as shown in FIG. This is sampled in synchronization with.
[0051]
Thus, an accurate pixel value can be obtained by obtaining the difference V between the reference voltage Vf and the data voltage Vd sampled in a stable state.
[0052]
FIG. 2 shows a configuration example of a circuit provided in the horizontal driver 15 'for generating the horizontal transfer pulses 1 and 2 that can vary the duty ratio as described above.
[0053]
In the figure, a reference clock CLK having a duty ratio of 1/2 having a period of 1/2 of the horizontal transfer period for one pixel from the timing generator 13 is directly applied to the 1/2 divider circuit 41 by 1/2. The signals are inverted through the inverter 43 and input to the circuit 42 as the clock CLKB.
[0054]
The 1/2 divider circuit 41 divides the reference clock CLK by 1/2 and sends it to the delay element 44 as the clock CLK1. The delay element 44 can arbitrarily set the delay time, and the delay output is output to the EX-OR circuit 45 and the EX-NOR circuit 46, respectively.
[0055]
Similarly, the ½ divider circuit 42 divides the reference clock CLKB inverted by the inverter 43 by ½ and sends it to the delay element 47 as the clock CLK2. The delay element 47 can also arbitrarily set the delay time, and the delay output is output to the EX-OR circuit 45 and the EX-NOR circuit 46, respectively.
[0056]
Accordingly, the logical output of the EX-OR circuit 45 is supplied to the FD amplifier 31 as the horizontal transfer pulse 1 and the logical output of the EX-NOR circuit 46 is supplied as the horizontal transfer pulse 2, respectively.
[0057]
The delay elements 44 and 47 are described as being capable of arbitrarily setting the delay time. However, the delay elements 44 and 47 have fixed values based on the number of constituent pixels of the CCD 12 to be driven, the time constant of the capacitor to be used, and other physical properties. The delay time may be set in advance.
[0058]
FIG. 3 shows the waveform of each processing signal in such a configuration of the horizontal driver 15 '. From the reference clock CLK as shown in FIG. 3 (1), the clocks CLK1 and CLK2 shown in FIGS. 3 (2) and 3 (3) are generated by the 1/2 frequency divider 41, the inverter 43 and the 1/2 frequency divider 42. Is generated.
[0059]
Therefore, for example, only the delay element 47 side gives a delay of time width D to the clock CLK2, and the delay element 44 does not give a delay to the clock CLK1, and thus the clock CLK1 delayed as necessary is provided. , 2, by using the EX-OR circuit 45 and the EX-NOR circuit 46, horizontal transfer pulses 1 and 2 with variable duty ratios as shown in FIGS. 3 (4) and (5) can be obtained. Become.
[0060]
As described above, since a horizontal transfer pulse with a variable duty ratio can be obtained with an arbitrary time width with a simple circuit configuration, the data area c as shown in FIG. It is possible to sufficiently expand the reference region b within a range where there is no error, and it is possible to always stably and accurately read out pixel values.
[0061]
In the above embodiment, it has been described that the time width of the reference region b is changed by changing the duty ratio of the horizontal transfer pulses 1 and 2 to obtain an optimum output voltage. However, the duty ratio is changed. The means is also effective in optimizing the cross point of two horizontal transfer pulses that are in opposite phase relation to each other.
[0062]
FIG. 4 exemplifies waveforms of such horizontal transfer pulses 1 and 2, and here, the rise and fall of the horizontal transfer pulses 1 and 2, in particular, by expanding the time axis (horizontal axis) of the rising and falling periods. The degree of change in voltage value during the fall period is highlighted.
[0063]
In general, the horizontal transfer pulses 1 and 2 having an opposite phase relationship are drive pulses generated to sequentially transfer charges in the horizontal direction in units of pixels on the horizontal transfer path HT in the CCD 12. Charges for pixels are transferred and sequentially output to the outside by the FD amplifier 31 described above.
[0064]
At this time, the horizontal transfer is performed so that the timing point (hereinafter referred to as “cross point”) at which the same voltage is applied at one rising edge and the other falling edge of the two pulses is the same timing as shown in FIG. All the charges on the path HT can be transferred to the next position without leaving any charge, and the transfer efficiency can be improved.
[0065]
In general, these two horizontal transfer pulses 1 and 2 have different drive currents depending on the characteristics of the CCD 12 to be used, and the values thereof become larger as the number of pixels increases. For this reason, the CCD 12 having a large number of pixels is often used by inserting a drive circuit for generating a high-voltage horizontal transfer pulse in the preceding stage. However, due to individual differences in the drive circuit, the CCD 12 is actually input to the CCD 12. In many cases, the cross points of the two horizontal transfer pulses 1 and 2 are slightly shifted.
[0066]
Therefore, by variably setting the delay amount in the delay elements 44 and 47 shown in FIG. 2 in order to compensate for the deviation of the cross points of the horizontal transfer pulses 1 and 2, a more optimal cross point can be obtained, The transfer efficiency on the horizontal transfer path HT can be improved reliably, and an image with high reproducibility can be obtained.
[0067]
Although the present embodiment has been described with respect to a case where the present invention is applied to a digital camera using a CCD as a solid-state imaging device, the present invention is not limited to this, and a CCD, a CMOS area sensor, or other solid-state imaging device is used. Needless to say, the present invention can be applied to an arbitrary object as a device for driving to obtain an image or a driving method thereof.
[0068]
In addition, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention.
[0069]
Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, at least one of the problems described in the column of the problem to be solved by the invention can be solved, and described in the column of the effect of the invention. In a case where at least one of the obtained effects can be obtained, a configuration in which this configuration requirement is deleted can be extracted as an invention.
[0070]
According to the first aspect of the present invention, the voltage value in the floating state can be sufficiently stabilized even when the readout time per pixel of the image sensor is shortened by expanding the time width of the reference region. Therefore, it is possible to always read stable and accurate pixel values.
Further, since the end timing of the reference area is controlled by changing the duty ratio of the reference horizontal transfer pulse, the reference area can be easily controlled without performing complicated control.
In addition, it is possible to cope with an increase in the number of pixels of the image sensor only by adding a simple circuit.
In addition, it is possible to improve transfer efficiency in the horizontal transfer path and obtain an image with higher reproducibility.
[Brief description of the drawings]
FIG. 1 is a diagram showing basic operation contents mainly in an FD amplifier according to an embodiment of the present invention;
FIG. 2 is a block diagram showing a configuration example of a circuit for generating a horizontal transfer pulse according to the embodiment;
FIG. 3 is a timing chart showing waveforms of processing signals in the horizontal driver according to the embodiment;
FIG. 4 is a timing chart illustrating another waveform of the horizontal transfer pulse according to the embodiment;
FIG. 5 is a block diagram showing a circuit configuration of a general digital still camera.
6 is a diagram showing a detailed configuration of the CCD shown in FIG. 5;
7 is a view showing a waveform of a vertical transfer pulse applied to the CCD shown in FIG. 6;
8 is a diagram showing a circuit configuration of the FD amplifier in FIG. 6;
9 is a diagram showing a horizontal transfer pulse and a drive waveform during one pixel readout period in the FD amplifier of FIG. 8. FIG.
[Explanation of symbols]
10 ... Digital camera 11 ... Lens 12 ... CCD
13 ... Timing generator (TG)
14 ... Vertical driver 15, 15 '... Horizontal driver 16 ... Correlated double circuit and gain control circuit (CDS & GC)
17 ... A / D converter 18 ... color process circuit 19 ... DRAM
20 ... CPU
21 ... VRAM
22 ... Digital video encoder 23 ... Chroma circuit 24 ... Display unit 25 ... Key input unit 26 ... JPEG circuit 27 ... Flash memory 31 ... FD amplifier 41 ... 1/2 divider circuit 42 ... 1/2 divider circuit 43 ... Inverter 44 ... delay element 45 ... EX-OR circuit 46 ... EX-NOR circuit 47 ... delay element E ... exposure section HT ... horizontal transfer path PX ... pixel RG ... reset gate VT ... vertical transfer path

Claims (2)

マトリクス状に配列された露光部で蓄積した電荷を複数の垂直転送路に転送し、これら複数の垂直転送路に転送した電荷を順次一本の水平転送路に転送して出力する固体撮像素子と、
この固体撮像素子の水平転送路での1画素転送期間中のリセット領域とデータ領域に挟まれたリファレンス領域の終了タイミングを制御する水平転送パルスのデューティ比を遅延素子により可変する制御手段と
を具備し
上記制御手段は、逆位相関係にある2つの上記水平転送パルスの少なくとも一方のデューティ比を可変し、クロスポイントを一致させる
ことを特徴とする撮像装置。
A solid-state imaging device that transfers charges accumulated in the exposure units arranged in a matrix to a plurality of vertical transfer paths, and sequentially transfers the charges transferred to the plurality of vertical transfer paths to a single horizontal transfer path for output. ,
Control means for varying the duty ratio of a horizontal transfer pulse by a delay element for controlling the end timing of a reference area sandwiched between a reset area and a data area during a one-pixel transfer period in the horizontal transfer path of the solid-state imaging device. and,
The control means varies the duty ratio of at least one of the two horizontal transfer pulses having an antiphase relationship to match the cross point.
An imaging apparatus characterized by that.
マトリクス状に配列された露光部で蓄積した電荷を複数の垂直転送路に転送し、これら複数の垂直転送路に転送した電荷を順次一本の水平転送路に転送して出力する固体撮像素子の水平転送路での1画素転送期間中のリセット領域とデータ領域に挟まれたリファレンス領域の終了タイミングを制御する水平転送パルスのデューティ比を遅延素子により可変する制御ステップを備え、
上記制御ステップは、逆位相関係にある2つの上記水平転送パルスの少なくとも一方のデューティ比を可変し、クロスポイントを一致させる
ことを特徴とする撮像素子駆動方法。
The charges accumulated in the exposed sections arranged in a matrix is transferred to a plurality of vertical transfer paths, of the solid-state imaging device and outputting the sequentially transferred to one horizontal transfer path of the charges transferred to the plurality of vertical transfer paths A control step of varying a duty ratio of a horizontal transfer pulse by a delay element for controlling an end timing of a reference area sandwiched between a reset area and a data area during a one-pixel transfer period in a horizontal transfer path;
The image pickup element driving method, wherein the control step varies a duty ratio of at least one of the two horizontal transfer pulses having an antiphase relationship so as to match a cross point .
JP2001060333A 2001-03-05 2001-03-05 Imaging apparatus and imaging element driving method Expired - Fee Related JP3915416B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001060333A JP3915416B2 (en) 2001-03-05 2001-03-05 Imaging apparatus and imaging element driving method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001060333A JP3915416B2 (en) 2001-03-05 2001-03-05 Imaging apparatus and imaging element driving method

Publications (2)

Publication Number Publication Date
JP2002262181A JP2002262181A (en) 2002-09-13
JP3915416B2 true JP3915416B2 (en) 2007-05-16

Family

ID=18919772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001060333A Expired - Fee Related JP3915416B2 (en) 2001-03-05 2001-03-05 Imaging apparatus and imaging element driving method

Country Status (1)

Country Link
JP (1) JP3915416B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228037A (en) * 2007-03-14 2008-09-25 Matsushita Electric Ind Co Ltd Phase adjustment apparatus, phase adjustment method and digital camera

Also Published As

Publication number Publication date
JP2002262181A (en) 2002-09-13

Similar Documents

Publication Publication Date Title
US7626629B2 (en) Device and method for generating timing signals of different kinds
US6903770B1 (en) Digital camera which produces a single image based on two exposures
JP5256725B2 (en) Imaging device
JP2003158653A (en) Digital movie camera and its operation control method
JP2008016976A (en) Imaging apparatus, its controlling method, and imaging system
US7030920B1 (en) Image pickup apparatus using a selector circuit
JPH10191172A (en) Image pickup device and image pickup recording and reproducing device
US20100321516A1 (en) Digital camera apparatus and recording medium for recording computer program for such apparatus
US20070035654A1 (en) Video camera apparatus
US8314875B2 (en) Image capturing apparatus in which pixel charge signals are divided and output in a different order than an arrangement of pixels on an image capturing element, stored in units of a horizontal line, and read in a same order that corresponding pixels are arranged on the image capturing element, and method thereof
JP2004040317A (en) Timing signal generating apparatus, system, and imaging apparatus
JP2002010121A (en) Image pickup device
JP3915416B2 (en) Imaging apparatus and imaging element driving method
JP4458864B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP3917379B2 (en) Timing signal generation apparatus and generation method thereof
JP2007104408A (en) Imaging apparatus and imaging method
JP2010136253A (en) Imaging apparatus and control method thereof
JP4094123B2 (en) Imaging device
US8576316B2 (en) Image sensing apparatus including charge transfer operation and control method therefor
US9392202B2 (en) Scanning circuit, photoelectric conversion apparatus, and image pickup system for specifying a register where scanning is skipped among a plurality of registers
JP2004248003A (en) Imaging apparatus
JP2003153093A (en) Solid-state imaging device, electronic still camera, method for driving solid-state image pickup element and control program for driving the solid-state image pickup element
JP3182303B2 (en) Solid-state imaging device and imaging device using the same
JPH1070687A (en) Signal processor for solid-state image pickup element and method therefor
JP3286349B2 (en) Image signal output control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees