JP3639734B2 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
JP3639734B2
JP3639734B2 JP37402898A JP37402898A JP3639734B2 JP 3639734 B2 JP3639734 B2 JP 3639734B2 JP 37402898 A JP37402898 A JP 37402898A JP 37402898 A JP37402898 A JP 37402898A JP 3639734 B2 JP3639734 B2 JP 3639734B2
Authority
JP
Japan
Prior art keywords
photoelectric conversion
line
lines
solid
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP37402898A
Other languages
English (en)
Other versions
JP2000196951A (ja
Inventor
勝久 小川
勇武 上野
克仁 櫻井
徹 小泉
哲伸 光地
拓己 樋山
成利 須川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP37402898A priority Critical patent/JP3639734B2/ja
Publication of JP2000196951A publication Critical patent/JP2000196951A/ja
Application granted granted Critical
Publication of JP3639734B2 publication Critical patent/JP3639734B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、光電変換素子を有する固体撮像装置に関し、特にCMOSセンサーを用いたプリストロボ測光に特徴を有する固体撮像装置に関する。
【0002】
【従来の技術】
近年、光電変換素子を高密度・高集積化させた固体撮像装置はビデオカメラやデジタルカメラ等に用いて、記録媒体のCFカード等に複数枚の画像データを記録して、プリントアウトやディスプレイ表示等を可能としている。このビデオカメラやデジタルカメラ等には、通常フラッシュや電子ストロボを備えており、夜間や室内の暗い領域では光量が少ないため、対象物に瞬間的なストロボ等を炊いて撮影している。この際、オートフォーカス(AF)やオート露光(AE)のために、ストロボの発光の瞬時にAFやAEを調節することは、現実的に困難であるので、プリストロボ測光して、その際の光量を測定してストロボの発行前に調節を終えておき、正規の撮影を行っていた。
【0003】
通常、固体撮像装置の蓄積時間外でプリ発光した場合、正確にストロボ光量を測定できず、通常、ストロボ発光タイミングに同期して蓄積動作を行っていた。AE(Automatic Exposure:自動露光)やAF(Automatic Focus:自動焦点)は、昼光時には、AEとして撮像面の光量を測定して適切な露光量を測定して最適な露光条件で露光し、AFとして対象画像を読み取ってレンズ位置を変更しつつ対象物の焦点が合うレンズの位置を測定して最適なレンズの位置を設定して、シャッター釦の押された時にその各条件の下で撮影する。
【0004】
近年、撮像装置やビデオカメラ等において、高解像化のため、微細化プロセスを用いた光電変換素子のセルサイズ縮小が精力的に行われている。一方、光電変換信号出力が低下することなどから、光電変換信号を増幅して出力することが可能な増幅型の光電変換装置が注目されている。このような増幅型光電変換装置には、BASIS、MOS型、SIT、AMI、CMD等のXYアドレス型センサの2次元固体撮像装置がある。一方、2次元固体撮像装置として、高密度化と高S/NによりCCD(Charge Coupled Device)型センサーが、優れて用いられている。
【0005】
また、2次元固体撮像装置を有するデジタルカメラ等において、画像撮像時に該撮像の露光条件を適切に調整して、固体撮像素子の感度に応じた露光時間を設定する。この露光時間の設定の際、2次元エリアセンサの1部に当たっている光の量を測定して、その値がある目標値になるまで、絞り等のパラメータを振って、最適値を見つけている。この動作をAE(Automatic Exposure)と称する。
【0006】
デジタルカメラのAEの場合、CCD型2次元エリアセンサでは、全画素データを全部読み出して、記憶媒体に格納し、その中からブロックを抽出し、1度蓄積後、適切な所定露光レベルと比較し、シャッター速度や絞り等のパラメータを変更して、再度ブロック抽出して所定露光レベルと比較し、数回の繰り返しで、露光レベルが所定露光レベルとなったときの条件を露光条件と決定する。
【0007】
図5にCCDを用いた固体撮像装置によるAE方式の概略ブロック図を示している。CCD61は、インターライン転送方式にしろフレーム転送方式にしろ、時系列に読み出される画像信号をA/D変換器62でデジタル画像信号に変換され、フレームメモリ63に1フレーム分書き込まれる。AEの為には、特に中心部のブロックだけを読み出し、該ブロック領域の画像信号レベルを積分器64で積分し、該ブロック領域の全積分値を求める。この全積分値と予め定められた所定露光レベルとを判定回路65で比較し、その比較結果に差異があれば、露光条件設定回路66に出力する。この露光条件は、CCDへの露光時間・シャッター時間や絞り度合い、CCDの蓄積時間等をいい、シャッター時間等を変更する。露光条件設定回路66での設定に応じて、再度CCDを動作し、所定ブロック領域の露光積分値を検出し、判定回路65で比較・判定し、露光の最適値を求める。
【0008】
このAE方式では、図5(b)のタイミングチャートに示すように、ローレベルで示す露光時間の蓄積時(1)と、その蓄積後のフレームメモリ63から所定ブロック領域の読み出し積分した時をハイレベルで示すAE評価時(2)と、各AE評価時のAE値(3)とで表され、(3)の点線で示しているのが所定AE値である。これをグラフで示せば、図5(c)となり、3回目の露光検出値ではAE値が高すぎて、4回目の露光AE値のときの露光条件をAE用の条件とすることで、最適なAEを実行できる。
【0009】
また、AFとしては被写体の対象画像を読み取って、カメラレンズ位置を変更しつつ、対象物の焦点が合うレンズの位置を測定して、最適なレンズの位置を設定して、シャッター釦の押された時にその各条件の下で撮影している。
【0010】
図6を用いて、AFの一方式について説明する。被写体を中心を同一とする3重円としてレンズで集束し、センサでその結果を信号強度により測定する。図6(a)は焦点が合致した場合を示し、空間位置に関して信号強度は被写体の形状に対して矩形階段状態を示し、この信号強度を一次微分すると、微分絶対値として示して、空間位置に対してその変化位置において鋭いインパルス的波形が得られる。また、図6(b),(c)に示すように、ピントずれした場合は、空間位置に対する信号強度レベルは、その被写体の変化する部分で傾斜特性を有した波形となり、これを微分した場合には、その変化する部分で三角波形状の特性となり、この三角波の傾斜角度が鋭いほどピントずれが小さいことを示していることがわかる。従って、ジャストピントの状態にレンズの位置を調節するために、信号強度を微分して、その微分値が最小となるレンズの位置がフォーカスが合致したと判断できる。
【0011】
【発明が解決しようとする課題】
しかしながら、CCD型固体撮像装置では、AEのために必要なブロック読み出しが不可能であり、1フレーム分の画像信号を1度フレームメモリに格納してから特定のブロックを読み出さざるを得ない。そうすると、A/D変換時間とフレーム格納時間とブロック読み出し時間が必要であり、AEのための露光条件の設定に時間がかかり、さらに、フレームメモリの配置面積が大きくて小型化ができない。
【0012】
また、CCD型固体撮像装置において、AFの場合も同様で、AFのために必要なブロック読み出しが不可能であり、1フレーム分の画像信号を取得して後にAFのための調節を行うとした場合には、相当の設備と時間を要していた。
【0013】
また、ブロック読み出し可能なCMOSセンサにおいても、光量測定の際に光電荷を蓄積する場合、ライン毎に光量測定時間、即ち光電荷を蓄積する時間がずれてしまう。この場合、特にCMOSセンサによる部分読み出しによりAEのための光量蓄積のライン毎のタイミングずれが生じ、AE評価領域からプリ発光の光がずれる問題は、未だ充分な解決策はなかった。
【0014】
【課題を解決するための手段】
本発明は、上記目的を達成するため、第1の複数ラインの光電変換素子からなる光電変換エリアと、前記第1の複数ラインよりも少ない第2の複数ラインに含まれる最初のラインの光電変換素子から最終ラインの光電変換素子までのみ、順次一ライン毎に光電荷の蓄積開始時間をずらすように走査し、その後、前記第2の複数ラインに含まれる最初のラインの光電変換素子から最終ラインの光電変換素子までのみ、順次一ライン毎に光電荷の蓄積終了をずらすように走査を行い、前記第2の複数ラインに含まれるブロック領域内の光電変換素子からのみ信号を読み出す蓄積制御手段と、前記第2の複数ラインに含まれる最初のラインの光電変換素子から順次一ライン毎に光電荷の蓄積開始時間をずらすように走査し、前記第2の複数ラインの最終ラインの光電変換素子の光電荷の蓄積の開始した後に発光し、前記第2の複数ラインの最初のラインの光電変換素子の光電荷の蓄積が終了する前に発光が終了されるように制御する発光開始手段と、を有することを特徴とする固体撮像装置。
【0015】
また、本発明は、光電変換エリアを有する固体撮像装置であって、前記光電変換エリアに含まれる複数の光電変換素子は蓄積を行える状態となるタイミングが異なるように制御する蓄積開始手段と、前記光電変換エリアの全エリアよりも小さいブロック領域に含まれる全光電変換素子が光電荷を蓄積できる状態になった後に発光を開始する発光開始手段と、前記発光が終了した後に前記ブロック領域に含まれる光電変換素子から信号を読み出す読み出し手段とを有することを特徴とする。
【0016】
また、上記固体撮像装置において、前記ストロボ測光エリアのストロボ測光領域に対応したブロック領域を読み出すことを特徴とする。さらに、前記ブロック領域の読み出された信号に基づいて露光量制御又は焦点調整を行うことを特徴とする。
【0017】
【発明の実施の形態】
本発明の実施形態について、図面を参照しつつ詳細に説明する。
【0018】
[実施形態1]
まず、このタイミングずれについて、図1のCMOSセンサの読み出し方式とEF(ストロボ測光)の説明図を参照しつつ説明する。
【0019】
図1(a)によれば、例えば、CMOSセンサによる局部ブロックのプリストロボ発光による光電荷の蓄積タイミング状態を示している。CMOSセンサに受けた光電荷を蓄積しようとする場合、各ラインn,n+1,n+2の蓄積開始がそれぞれずれる。
【0020】
また、EF(ストロボ測光)動作について、図1(b)に示すように、ある時間にストロボをプリ発光する場合の光強度は、時間を横軸として図のように変化し、この光量変化をCMOSセンサが受けて、全エリア内から抽出された一部のブロックを評価する。この場合、ブロックはラインn〜n+mに相当し、この読み取り領域でストロボの発光量を確認でき、本チャンネル時の露光条件を決定できる。
【0021】
つぎに、この図1(a)に示すタイミングずれと、図1(b)に示す全エリア中一部のブロックによるプリ発光量の検出とから、図1(c)に示す結果を見いだすことができる。すなわち、ストロボのプリ発光がタイミング的に読み出しブロックの蓄積時間内に光るようにする。CMOSセンサの全エリアの第1ラインが所望のn〜n+mラインの重なり蓄積時間にプリ発光させる。このn〜n+mラインの重なり蓄積時間は、EF評価ブロックによる、プリストロボ発光時に該当する。
【0022】
図2(a)は、具体的なストロボのプリ発時のブロック読み出しの概念図とタイミングを示している。プリ発時、ブロック読み出しラインn〜n+mの蓄積時間はブロック全ラインが同一光量を読みとれるので、読み出しタイミングがずれていても、正確な光量を検出できる。
【0023】
図2(b)は、ブロック読み出しの構成図である。全エリア1中のブロック2のブロック読み出しされた各画素の光電荷はラインn〜n+mについて読み出され、全読み出し画素の光電荷を積分器3により積分蓄積し、この積分信号をEF評価部4により現実のストロボ発時による露光量を予測する。この露光量の予測により、絞りの度合い、シャッタースピードを設定することができる。
【0024】
また、読み出された信号に基づいて、焦点を調整することにより、従来よりも正確な焦点調整が行われる。
【0025】
図2(c)には、カラー画像のためのブロック図である。カラー画像を検出するCMOSセンサの場合、カラー単位画素は、図に示すR,2G,Bからなり、プリ発時に、プリ発光のタイミングはブロックの全ライン重複しており、ブロック2から各色毎に読み出され、読み出された光電荷は、それぞれRブロック21と、Gブロック22と、Bブロック23とから出力され、それぞれ積分器31〜33によって積分され、各積分信号はホワイトバランス調整回路に入力され、ホワイトバランス調節に供される。このホワイトバランス調整回路により、各色の出力レベルを調節されて、高画質の画像信号を出力することができる。具体的には、現実のストロボ発時による各色の光電荷の出力の増幅度に所定係数を乗算して色度の高いホワイト及び黒色を表現できる。この所定係数をストロボのプリ発光により導出するものである。
【0026】
なお、この場合にも、各色の積分器31〜33の出力からEF評価部4に入力して、露光量を予測し、絞りの度合い、シャッタースピードを設定することができる。
【0027】
図3は、本プリ発光時のタイミングを設定する一つの手段を示す説明図である。プリ発光時の光量変化に応じて、その光量開始時間と、ブロック読み出しの各ラインn〜n+mの蓄積時間とを一致させるように、工場出荷時に調節しておく。
【0028】
図4は、CMOSセンサの具体的な回路図である。図において、B11〜B33はフォトダイオード等の光電変換素子と該素子の蓄積電荷を読み出して増幅する増幅型MOSトランジスタと該増幅型MOSトランジスタを活性する選択MOSトランジスタ等を有する画素であり、本実施形態では3×3の画素で示しているが、マトリクス状に複数の画素を有している。また、上述のプリ発光時に読み出すブロックとして、B22,B23,B32,B33を対象として説明する。また、垂直シフトレジスタ20から水平ライン毎に読み出すVSEL1−3を出力し、VSEL1−3の制御パルスによって選択された各画素の光出力は、各垂直出力線Vsig1〜3に読み出され、蓄積キャパシタを有する蓄積部21−1〜3に蓄積され、蓄積部21−1〜3に蓄積された画像信号は、水平シフトレジスタによりスイッチ22−1〜3をオンして出力線VHに読み出される。
【0029】
ここで、ストロボのプリストロボ発光時、プリ発光のタイミング前から画素走査を開始しており、制御パルスVSEL2をハイとして、画素B21−B23ラインを選択し、プリ発光のタイミングに合わせて、水平シフトレジスタ24の制御によりスイッチ22〜2をオンし、次にスイッチ22−3をオンして、画素B22,B23の画素信号を読み出す。次に、制御パルスVSEL3をハイとして、画素B31−B33ラインを選択し、水平シフトレジスタ24の制御によりスイッチ22〜2をオンし、次にスイッチ22−3をオンして、画素B32,B33の画素信号を読み出す。これにより、プリ発光の所定光量発光中にブロック読み出しを実行する。
【0030】
ここで、出力された画素B22,B23,B32,B33の画素信号は積分器41に入力されて積分される。積分された画素信号は、プリ発光時に被写体の反射光量であると判断し、正規のストロボ発光時の露光時間を演算して設定することができる。
【0031】
【発明の効果】
以上説明した様に、本発明によれば、ブロック読み出し機能を用いることで、ストロボ発光前のプリ発光時に正確な光量を検出できるので、正規のストロボ発光による最適な露光やホワイトバランス、レンズのフォーカス位置を設定できる。
【図面の簡単な説明】
【図1】本発明におけるプリ発光による光量検出の説明図である。
【図2】本発明におけるブロック読み出し手段の説明図である。
【図3】本発明におけるブロック読み出しとプリ発光の関係図である。
【図4】本発明における画像読み出し用光電変換装置のブロック図である。
【図5】ブロック読み出しの概略構成図である。
【図6】従来例のオートフォーカス用読み出し回路図である。
【符号の説明】
1 CMOSセンサーエリア
2 CMOSセンサのブロック
3 積分器
4 EF評価部
21−23 各色ブロック
31−33 各色用積分器
5 ホワイトバランス調整回路

Claims (5)

  1. 第1の複数ラインの光電変換素子からなる光電変換エリアと、
    前記第1の複数ラインよりも少ない第2の複数ラインに含まれる最初のラインの光電変換素子から最終ラインの光電変換素子までのみ、順次一ライン毎に光電荷の蓄積開始時間をずらすように走査し、その後、前記第2の複数ラインに含まれる最初のラインの光電変換素子から最終ラインの光電変換素子までのみ、順次一ライン毎に光電荷の蓄積終了をずらすように走査を行い、前記第2の複数ラインに含まれるブロック領域内の光電変換素子からのみ信号を読み出す蓄積制御手段と、
    前記第2の複数ラインに含まれる最初のラインの光電変換素子から順次一ライン毎に光電荷の蓄積開始時間をずらすように走査し、前記第2の複数ラインの最終ラインの光電変換素子の光電荷の蓄積の開始した後に発光し、前記第2の複数ラインの最初のラインの光電変換素子の光電荷の蓄積が終了する前に発光が終了されるように制御する発光開始手段と、
    を有することを特徴とする固体撮像装置。
  2. 請求項1に記載の固体撮像装置において、前記ブロック領域の読み出された信号に基づいて露光量制御又は焦点調整を行うことを特徴とする固体撮像装置。
  3. 請求項1に記載の固体撮像装置において、前記ブロック領域の読み出しは、カラーフィルタ基本単位ブロック毎に行うことを特徴とする固体撮像装置。
  4. 請求項1に記載の固体撮像装置において、前記ブロック領域の読み出された信号に基づいてホワイトバランス調整を行うことを特徴とする固体撮像装置。
  5. 請求項1乃至4のいずれか1項に記載の固体撮像装置において、前記発光のタイミングと前記光電変換素子からの信号の読み出しタイミングとの制御は、予め記憶手段に格納されていることを特徴とする固体撮像装置。
JP37402898A 1998-12-28 1998-12-28 固体撮像装置 Expired - Fee Related JP3639734B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP37402898A JP3639734B2 (ja) 1998-12-28 1998-12-28 固体撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP37402898A JP3639734B2 (ja) 1998-12-28 1998-12-28 固体撮像装置

Publications (2)

Publication Number Publication Date
JP2000196951A JP2000196951A (ja) 2000-07-14
JP3639734B2 true JP3639734B2 (ja) 2005-04-20

Family

ID=18503150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37402898A Expired - Fee Related JP3639734B2 (ja) 1998-12-28 1998-12-28 固体撮像装置

Country Status (1)

Country Link
JP (1) JP3639734B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010106218A1 (en) * 2009-03-19 2010-09-23 Nokia Corporation A method, an apparatus and a computer readable storage medium for controlling an assist light during image capturing process
US8228423B2 (en) 2008-09-30 2012-07-24 Fujifilm Corporation Imaging apparatus and method for controlling flash emission

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0999698B1 (en) 1998-11-02 2013-06-19 Canon Kabushiki Kaisha Solid-state image pickup device and method of resetting the same
JP2002359774A (ja) 2001-03-30 2002-12-13 Fuji Photo Film Co Ltd 電子カメラ
FI111417B (fi) 2001-06-01 2003-07-15 Nokia Corp Digitaalikameran salamavalon ohjaus
US20050206777A1 (en) * 2002-06-04 2005-09-22 Florent Selves Digital camera adapted for taking images with a flashlight and corresponding method
JP4154268B2 (ja) 2003-03-27 2008-09-24 キヤノン株式会社 撮像装置
JP2005326706A (ja) * 2004-05-17 2005-11-24 Sony Corp 撮像装置および方法、プログラム並びに記録媒体
JP3748267B2 (ja) * 2004-06-16 2006-02-22 ソニー株式会社 撮像装置
JP2006050337A (ja) 2004-08-05 2006-02-16 Sony Corp 撮像装置、撮像方法および撮像制御プログラム
US7944501B2 (en) 2004-12-28 2011-05-17 Canon Kabushiki Kaisha Image sensing apparatus and image sensing apparatus control method
CN100420281C (zh) * 2004-12-28 2008-09-17 佳能株式会社 图像摄取装置、图像摄取装置的控制方法
JP4810162B2 (ja) * 2004-12-28 2011-11-09 キヤノン株式会社 撮像装置、固体撮像装置の制御方法、及びコンピュータプログラム
JP4695541B2 (ja) 2006-04-28 2011-06-08 三星電子株式会社 撮像装置
JP5144451B2 (ja) 2008-09-30 2013-02-13 富士フイルム株式会社 撮像装置およびフラッシュの制御方法
JP5948062B2 (ja) * 2012-01-19 2016-07-06 オリンパス株式会社 撮像装置および顕微鏡システム
CN112351184B (zh) * 2019-08-07 2021-11-12 杭州海康威视数字技术股份有限公司 一种摄像机补光方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228423B2 (en) 2008-09-30 2012-07-24 Fujifilm Corporation Imaging apparatus and method for controlling flash emission
WO2010106218A1 (en) * 2009-03-19 2010-09-23 Nokia Corporation A method, an apparatus and a computer readable storage medium for controlling an assist light during image capturing process

Also Published As

Publication number Publication date
JP2000196951A (ja) 2000-07-14

Similar Documents

Publication Publication Date Title
JP3639734B2 (ja) 固体撮像装置
JP3748267B2 (ja) 撮像装置
JP4972724B2 (ja) インタリーブ画像を捕捉する方法及び装置
US8493485B2 (en) Image pickup device, image pickup apparatus, control method, and program
JP5183565B2 (ja) 撮像装置
JP2011015222A (ja) 撮像装置及び撮像制御方法
JP4834425B2 (ja) 撮像装置及び撮像装置の制御方法
JP2003163937A (ja) 固体撮像素子および撮像装置
JP2002300589A (ja) 撮影装置
JP3682906B2 (ja) デジタルカメラ
JP2005347928A (ja) 撮像制御装置、固体撮像装置および撮像方法
JP2002314875A (ja) 撮影装置及び撮像素子
JP2011087050A (ja) デジタルカメラ
JP4281199B2 (ja) 電子カメラ
US7242426B2 (en) Digital still camera for recording images in high and low sensitivity modes
JP3384818B2 (ja) カメラおよびその予備測光方法ならびに予備測光装置および方法
JP2006332936A (ja) 撮像装置
JP2003209752A (ja) 電子カメラ
JP2003198953A (ja) 撮像装置及び撮像方法
WO2023162469A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2003101871A (ja) 撮影装置
JP3086753B2 (ja) ビデオ・カメラおよびその合焦方法
JP3453153B2 (ja) ビデオ・カメラおよびその合焦方法
JP3058994B2 (ja) ビデオ・カメラおよびその測光方法
JP3467049B2 (ja) ビデオ・カメラおよびその測光方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110121

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120121

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130121

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees