JP3809205B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP3809205B2
JP3809205B2 JP23113495A JP23113495A JP3809205B2 JP 3809205 B2 JP3809205 B2 JP 3809205B2 JP 23113495 A JP23113495 A JP 23113495A JP 23113495 A JP23113495 A JP 23113495A JP 3809205 B2 JP3809205 B2 JP 3809205B2
Authority
JP
Japan
Prior art keywords
image
signal
data
frame
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23113495A
Other languages
English (en)
Other versions
JPH0983874A (ja
Inventor
泉 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP23113495A priority Critical patent/JP3809205B2/ja
Priority to EP96114332A priority patent/EP0762747B1/en
Priority to US08/709,381 priority patent/US6011583A/en
Priority to DE69634463T priority patent/DE69634463T2/de
Publication of JPH0983874A publication Critical patent/JPH0983874A/ja
Priority to US09/449,429 priority patent/US6538696B2/en
Application granted granted Critical
Publication of JP3809205B2 publication Critical patent/JP3809205B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は撮像素子を用いて撮像されたビデオ信号を記録するビデオカメラ等の撮像装置に関する。
【0002】
【従来の技術】
従来の撮像装置においては、カメラ信号処理回路の出力するビデオデータは、インタレースされたフィールド単位データである。図6に従来の撮像装置のブロック図を示す。
図6において、1はレンズ、2は被写体像を光電変換する撮像素子としてのCCD、3はアナログ信号をディジタル信号に変換するA/Dコンバータ、4はディジタル化されたCCD2の出力をフィールド単位のビデオ信号に変換するカメラ信号処理回路、5はビデオ信号をデータ圧縮すると共に磁気記録に適する記録データに変換するビデオ信号処理回路、6は記録データを磁気テープ等に磁気記録する記録装置、7はCCD2の撮像タイミングを制御するCCD駆動ドライバ、8は画像データを蓄積する画像メモリ、9は画像メモリ8の書き込みアドレス/読み出しアドレスを制御するメモリアドレス制御回路である。
【0003】
次に動作について説明する。
レンズ1を通過した被写体像は、撮像素子であるCCD2によって光電変換され、偶数ラインもしくは奇数ライン情報であるフィールド単位の電気信号となる。CCD2の出力はA/Dコンバータ3によりディジタル信号に変換され、カメラ信号処理回路4に入力される。カメラ信号処理回路4では、アパーチャ処理、高輝度色抑圧処理、ホワイトバランス処理、ガンマ処理、マトリクス演算処理、同期信号付加処理、AF検波、AE検波等の処理が行われ、インターレースされたフィールド単位の輝度信号と2種の色差信号を時分割多重した色差時分割多重信号とが出力される。これらの輝度信号、色差時分割多重信号はビデオ信号処理回路5に入力される。
【0004】
ビデオ信号処理回路5においては、メモリアドレス制御回路9により制御される画像メモリ8を用いて、連続する2枚のフィールド単位の画像データによりフレーム単位の画像データを作成し、これをブロック化する。そしてブロック単位の画像データの読み出し順を1フレーム領域から均等に読み出す順序とするシャフリング処理、ブロック単位の画像データをDCT変換等の直交変換により直交変換係数に変換する直交変換処理、ブロック内のDCT係数等の直交変換係数の低域もしくは高域への偏り具合に応じてブロック単位の直交変換係数を量子化し、データ量を削減する量子化処理、ハフマン符号等によりデータ量を削減する符号化処理が行われる。
【0005】
また、メモリアドレス制御回路9に制御される画像メモリ8を用い、シャフリングされているブロック単位量子化データをデシャッフルするデシャフリング処理が行われる。こうして輝度信号、色差信号は、データ量をデータ圧縮された符号化データに変換される。
【0006】
さらにビデオ信号処理回路5は作成した符号化データを磁気記録に適した記録データに変調し、この記録データは、記録回路6に入力されて磁気メディアに記録される。
【0007】
【発明が解決しようとする課題】
上述した従来の撮像装置を用いて、静止画を記録する方法として、異るタイミングで撮像された2枚のフィールドデータを用いてフレームデータを作成する方法や、1フィールドデータから両フィールドデータを作成しフレームデータとする方法等があるが、データの時間差のためにエッジの乱れや垂直解像度が低下する問題があった。この問題を解決するために、フィールド単位期間にフレーム画像を撮像可能な撮像素子(全画素読み出し方式撮像素子)を用いると、カメラ信号処理回路4から2系統のフィールドデータを出力することが可能となる。つまり、あるフィールド単位期間では、奇数ライン情報であるODDフィールドデータを出力し、次のフィールド単位時間では、偶数ライン情報であるEVENフィールドデータを出力する系と、反対のフィールドデータ(上記ODDフィールドデータが出力されている期間のEVENフィールドデータ、上記EVENフィールドデータが出力されている期間のODDフィールドデータ)を出力する系とを存在させることが可能となる。
【0008】
このように全画素読み出し方式の撮像素子を使用した場合は、カメラ信号処理回路4より撮像タイミングの等しい2フィールドデータを出力させることが可能となり、静止画記録に用いることができる。しかし動画記録時には、スムースな動画を表示あるいは記録するために、撮像タイミングの異る2フィールドデータにより1フレームデータを作成する信号出力が必要となり、従って1系統のフィールドデータのみで充分である。このため、カメラ信号処理回路4から出力されるビデオ信号2系統の内1系統を用いて、映像処理を行う場合は、他の1系統のビデオ信号は破棄することになる。従って、ビデオ信号処理回路5で信号処理する必要はなくなり、さらに破棄される信号に対して信号処理を行うことは電力消費量を増大させ、バッテリ駆動方式を用いている装置においては、駆動時間の低減の原因となる。
【0009】
本発明は、撮像手段からノンインタレース形式で出力する場合に、適切な動画処理を行う撮像装置を得ることを目的とする。
【0010】
【課題を解決するための手段】
本発明においては、撮像手段と、ノンインタレース形式で、撮像手段から第1、第2のフレーム画像を順次読み出すように駆動する駆動手段と、動画モードの際に、前記撮像手段から読み出された前記第1のフレーム画像から生成された奇数フィールドの画像を圧縮処理制御し、前記撮像手段から読み出された前記第2のフレーム画像から生成された偶数フィールドの画像を圧縮処理制御する制御手段とを有し、前記制御手段は、撮像手段から読み出される1つのフレーム画像に対して、奇数フィールド、偶数フィールドのうちの一方のフィールド画像を圧縮処理制御することを特徴とする。
【0011】
【作用】
本発明によれば、動画モードの際に、第1のフレーム画像から奇数フィールドを生成し、第2のフレーム画像から偶数フィールドを生成し、1つのフレーム画像に対して、奇数フィールド、偶数フィールドのうちの一方のフィールド画像を圧縮処理制御することにより、電力消費量を増大させることなく、適切な動画処理をすることができる。
【0012】
【発明の実施の形態】
図1は本発明の実施の形態を示すブロック図である。図1において1〜9は図7の同一符号部分と実質的に対応しているので説明を省略する。
【0013】
図1において、10はモード選択スイッチ11が指示するモードに応じてビデオ信号処理回路4を制御するメモリ入力バッファ制御回路、11は動画記録モード又は静止画記録モードを選択するモード選択スイッチである。
【0014】
また、CCD2としては、CCD駆動ドライバ7により駆動される1フィールド期間に1フレーム画像を撮像可能なプログレッシブスキャンあるいは全画素読み出しと呼ばれる方式の撮像素子を用いている。
【0015】
次に動作について説明する。
レンズ1を通過した被写体像は、CCD2によって光電変換され1フレーム単位の画像情報を持つ電気信号となる。
【0016】
全画素読み出し方式CCD2は、偶数ライン出力と奇数ライン出力との2系統の出力を持つ。CCD2の出力はA/Dコンバータ3によりディジタル信号に変換された後、カメラ信号処理回路4に入力される。カメラ信号処理回路4においては、前述した各種処理が行われると共に、さらに1フレーム単位の画像信号から2種のフィールド単位のビデオ信号への分離が行われ、それぞれインターレースされたフィールド単位の輝度信号および色差時分割多重信号が2系統出力される。この2系統のビデオ信号はビデオ信号処理回路4に入力される。ビデオ信号処理回路4はモード選択スイッチ11の指示する記録モードに応じて後述するバッファメモリへ書き込むデータを制御するメモリ入力バッファ制御回路10により制御されている。
【0017】
ビデオ信号処理回路5においては、モード選択スイッチ11の指示する記録モードに応じて、シャフリング処理、直交変換処理、量子化処理、符号化処理及び変調処理等が行われる。変調された記録データは、記録回路6に入力され、磁気メディアに記録される。
【0018】
図2はカメラ信号処理回路4の構成例を示すブロック図である。図2において、401、402は1Hディレイライン、403はCCD出力を輝度信号とRGB信号とに分離し、2系統のデータを時分割多重を行う色分離・時分割多重回路、404はアパーチャ補正回路、405はガンマ補正回路、406は同期付加回路、407はホワイトバランス回路、408はガンマ補正回路、409はマトリクス回路、410は高輝度色抑圧回路、411は時分割多重回路、412、413はセレクタである。
【0019】
次に動作について説明する。
A/Dコンバータ3出力は、2ラインデータを同時に出力する2系列の出力端子を持つ。1Hディレイライン401、402、色分離・時分割多重回路403により輝度信号YとRGB信号とに分離され、2系列のデータ(2ラインデータ)は時分割多重処理が施される。輝度信号Yはアパーチャ補正回路404により高域を補正され、ガンマ補正回路408によりガンマ補正され、同期付加回路406により同期信号が付加されてセレクタ412に入力される。
【0020】
一方、RGB信号は、ホワイトバランス回路407によりホワイトバランス調整され、ガンマ補正回路408によりガンマ補正された後、マトリクス回路409により色差信号(R−Y,B−Y)となる。この色差信号はホワイトバランス回路407に入力されてホワイトバランスの調整に用いられる。また、上記色差信号は上記輝度信号Yに応じて高輝度色抑圧回路410により高輝度時には色信号抑圧が行われた後、色差信号時分割多重回路411により時分割多重されてセレクタ413に入力される。
【0021】
輝度信号Y及び色差時分割多重信号は、セレクタ412、413により時分割され、また、各出力はフィールドデータ出力単位で偶数/奇数ラインが交互になるように選択される。従って、2系統の出力(Y1,C1)、(Y2,C2)としては、共に撮像タイミングの異なるフィールドデータを連続して出力されることになる。
【0022】
図3はカメラ信号処理回路4の出力信号のタイミングを示す図である。
図3においては連続した撮像タイミングで撮像されたフレーム画像F1、F2、F3が示されている。このフレーム撮像タイミングは、従来からのフィールド撮像タイミング(NTSC:約60Hz)である。このとき、カメラ信号処理回路4の出力(Y1,C1)には、フレーム画像F1の奇数ラインデータo1(輝度信号Y,色差時分割多重信号)、フレーム画像F2の偶数ラインデータe2(輝度信号Y,色差時分割多重信号)、フレーム画像F3の奇数ラインデータo3(輝度信号Y,色差時分割多重信号)、が出力される。また、出力(Y2,C2)には、フレーム画像F1の偶数ラインデータe1(輝度信号Y,色差時分割多重信号)、フレーム画像F2の奇数ラインデータo2(輝度信号Y,色差時分割多重信号)、フレーム画像F3の偶数ラインデータe3(輝度信号Y,色差時分割多重信号)が出力される。
【0023】
図5はビデオ信号処理回路の構成例を示すブロック図である。
図5において5、8、9、10、11は図1と同じブロックである。
501、502、503、504、509は画像メモリ8にデータを書き込むための入力バッファ、505、510は画像メモリ8からデータを読み出すための出力バッファ、506はDCT変換等を行う直交変換回路、507は量子化回路、508は符号化回路、511は変調回路である。
【0024】
次に動作について説明する。
モード選択スイッチ11によって静止画記録モードが選択されているとき、カメラ信号処理回路4の出力するフィールド単位の2系統のビデオ信号(輝度信号Y,色差時分割多重信号)はビデオ信号処理回路5に入力される。モード選択スイッチ11の出力する静止画記録モード信号はメモリ入力バッファ制御回路10に入力される。メモリ入力バッファ制御回路10は、同じ撮像タイミングデータ、つまり同じタイミングでY1、C1、Y2、C2として入力される2フィールドデータを画像メモリ8に書き込むように、入力バッファ501〜504を制御する。
【0025】
また、上記静止画記録モード信号はメモリアドレス制御回路9にも入力され、同じタイミングでY1、C1、Y2、C2として入力される2フィールドデータから1枚のフレームデータが合成されるように書き込みアドレスを制御する。読み出しアドレスは、フレームデータ内の上記信号Y、色差信号をブロック化し、1フレーム内から均等に読み出すように定められた順序でブロックデータを読み出す(シャフリングする)ように与えられる。
【0026】
画像メモリ8から読み出されたブロックデータは、直交変換回路506においてブロック単位でDCT変換等の直交変換が行われ、直交変換係数データが出力される。この直交変換係数データは、量子化回路507において直交変換係数データの偏りに応じて、逆変換時に復号データに視覚上大きな変化がないように定められた量子化係数によって量子化される。この量子化データは符号化回路508に入力され、ブロック内でジグザクスキャン、ハフマン符号化のデータ量を削減するための符号化が行われる。
【0027】
符号化されたデータは、再び画像メモリ8に書き込まれ、シャフリングされたデータを従来のフレームデータの配置に戻すデシャフリングが行われるように画像メモリ8から読み出される。デシャフリングされた符号化データは、記録回路6による記録特性が高められ、精度の高い記録・再生等化が行えるように変調される。
【0028】
次に、モード選択スイッチ11によって動画記録モードが選択されているときにも、カメラ信号処理回路4の出力するフィールド単位の2系統のビデオ信号(上記信号Y,色差時分割多重信号)はビデオ信号処理回路5に入力される。モード選択スイッチ11の出力する動画記録モード信号はメモリ入力バッファ制御回路10に入力される。メモリ入力バッファ制御回路10は、撮像タイミングの異なる2枚のフィールドデータ、つまり(Y1,C1)又は(Y2,C2)の何れかの連続する2フィールドデータを画像メモリ8に書き込むように、入力バッファ501〜504を制御する。
【0029】
(Y1,C1)側のフィールドデータが用いられる場合は、入力バッファ503、504は、▲1▼入力バッファの電源をオフにするための信号をメモリ入力バッファ制御回路10から受け取る。▲2▼入力バッファに入力されるクロック信号がメモリ入力バッファ制御回路10の出力信号とのゲート出力となっており、メモリ入力バッファ制御回路10により入力バッファに入力されるクロックはオフになる。
以上のような方法▲1▼、▲2▼の少なくとも1つの方法により、入力バッファ501〜504の駆動は、メモリ入力バッファ制御回路10により制御されている。
【0030】
さらに、上記動画記録モード信号はメモリアドレス制御回路9に入力され、1系統のビデオ信号(上記の例においてはY1、C1)から入力される連続した2フィールドデータから1枚のフレームデータが合成されるように書き込みアドレスを制御する。
また、読み出しアドレスは、フレームデータ内の信号Y、色差信号をブロック化し、1フレーム内から均等に読み出すように定められた順序(シャフリング)でブロックデータを読み出すように与えられる。シャフリング処理以降の直交変換処理、量子化処理、符号化処理、変調処理は動画記録モードにおいても静止画記録モードと同様である。
【0031】
図5に入力バッファ501〜504を制御する制御回路のブロック図を記す。図5(A)は上記(1)(上記丸付きの1)の方法を実行するためのブロック図であり、図5(B)は上記(2)(上記丸付きの2)の方法を実行するためのブロック図である。図5(A)の512、513は電源制御回路、図5(B)の514、515はクロックゲートである。上述のように、(Y1,C1)側のフィールドデータが使用されるときは、入力バッファ501、502が電源又はゲート通過クロックが供給される。このとき、入力バッファ503、504は電源もしくはゲート通過クロックが供給されないように、電源供給回路512、513又はクロックゲート514、515が動作する。
【0032】
【発明の効果】
本発明によれば、電力消費量を増大させることなく、適切な動画処理をすることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示すブロック図である。
【図2】カメラ信号処理回路の構成例を示すブロック図である。
【図3】カメラ信号処理回路の出力を示すタイミングチャートである。
【図4】ビデオ信号処理回路の構成例を示すブロック図である。
【図5】入力バッファを制御する制御回路の構成例を示すブロック図である。
【図6】従来の撮像装置を示すブロック図である。
【符号の説明】
2 CCD
4 カメラ信号処理回路
5 ビデオ信号処理回路
7 メモリアドレス制御回路
8 画像メモリ
9 メモリアドレス制御回路
10 メモリ入力バッファ制御回路
11 モード選択スイッチ

Claims (4)

  1. 撮像手段と、
    ノンインタレース形式で、撮像手段から第1、第2のフレーム画像を順次読み出すように駆動する駆動手段と、
    動画モードの際に、前記撮像手段から読み出された前記第1のフレーム画像から生成された奇数フィールドの画像を圧縮処理制御し、前記撮像手段から読み出された前記第2のフレーム画像から生成された偶数フィールドの画像を圧縮処理制御する制御手段と
    を有し、
    前記制御手段は、撮像手段から読み出される1つのフレーム画像に対して、奇数フィールド、偶数フィールドのうちの一方のフィールド画像を圧縮処理制御することを特徴とする撮像装置。
  2. 撮像手段と、
    ノンインタレース形式で、撮像手段から第1、第2のフレーム画像を順次読み出すように駆動する駆動手段と、
    前記撮像手段から読み出された前記第1、第2のフレーム画像をデジタル信号に変換するA/Dコンバータと、
    1つのフレーム画像に含まれる複数の奇数ラインの信号及び複数の偶数ラインの信号の処理用に共通に設けられ、前記A/Dコンバータから出力された前記第1、第2のフレーム画像が入力されると、前記撮像手段から出力された前記第1のフレーム画像から奇数フィールドの画像を生成し、前記撮像手段から出力された前記第2のフレーム画像から偶数フィールドの画像を生成する信号処理手段と、
    動画モードの際に、前記信号処理手段から出力された前記奇数フィールドの画像を圧縮処理制御し、前記信号処理手段から出力された前記偶数フィールドの画像を圧縮処理制御する制御手段と
    を有し、
    前記制御手段は、撮像手段から読み出される1つのフレーム画像に対して、奇数フィールド、偶数フィールドのうちの一方のフィールド画像を圧縮処理制御することを特徴とする撮像装置。
  3. 請求項2に記載の撮像装置において、前記信号処理手段は、色差信号と、輝度信号とを生成する処理を行うことを特徴とする撮像装置。
  4. 請求項2又は3に記載の撮像装置において、前記信号処理手段は、ホワイトバランス処理、ガンマ補正、色信号抑圧処理の少なくとも1つを行うことを特徴とする撮像装置。
JP23113495A 1995-09-08 1995-09-08 撮像装置 Expired - Fee Related JP3809205B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP23113495A JP3809205B2 (ja) 1995-09-08 1995-09-08 撮像装置
EP96114332A EP0762747B1 (en) 1995-09-08 1996-09-06 Image sensing apparatus using a non-interlace or progressive scanning type image sensing device
US08/709,381 US6011583A (en) 1995-09-08 1996-09-06 Image sensing apparatus using a non-interlace or progressive scanning type sensing device
DE69634463T DE69634463T2 (de) 1995-09-08 1996-09-06 Bildaufnahmegerät mit progressiver oder zeilensprungfreier Abtastungsbildaufnahmevorrichtung
US09/449,429 US6538696B2 (en) 1995-09-08 1999-11-24 Image sensing apparatus using a non-interlace or progressive scanning type image sensing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23113495A JP3809205B2 (ja) 1995-09-08 1995-09-08 撮像装置

Publications (2)

Publication Number Publication Date
JPH0983874A JPH0983874A (ja) 1997-03-28
JP3809205B2 true JP3809205B2 (ja) 2006-08-16

Family

ID=16918820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23113495A Expired - Fee Related JP3809205B2 (ja) 1995-09-08 1995-09-08 撮像装置

Country Status (1)

Country Link
JP (1) JP3809205B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4110193B1 (ja) * 2007-05-02 2008-07-02 キヤノン株式会社 固体撮像装置および撮像システム
JP4551935B2 (ja) * 2008-02-07 2010-09-29 キヤノン株式会社 固体撮像装置および撮像システム
JP4551936B2 (ja) * 2008-02-07 2010-09-29 キヤノン株式会社 固体撮像装置および撮像システム

Also Published As

Publication number Publication date
JPH0983874A (ja) 1997-03-28

Similar Documents

Publication Publication Date Title
US6538696B2 (en) Image sensing apparatus using a non-interlace or progressive scanning type image sensing device
JP3438205B2 (ja) デジタル電子カメラ装置
US7990434B2 (en) Digital camera for recording a still image while shooting a moving image
JPH04373374A (ja) 撮像装置及びその方法
JPH06350951A (ja) 画像信号処理装置
KR100377697B1 (ko) 영상 신호의 기록 재생 장치
JP3809205B2 (ja) 撮像装置
JP4256028B2 (ja) 圧縮符号化装置および方法
JP3581457B2 (ja) 撮像装置
JP2000023007A (ja) 画像入力装置及び画像入力方法並びにメモリ媒体
JP3609870B2 (ja) ビデオ・カメラおよびその記録制御方法
JP3886068B2 (ja) ディジタル撮像記録装置
JP3445869B2 (ja) ディジタル・ビデオ・テープ・レコーダおよびディジタル画像データの記録方法
JP3343861B2 (ja) ディジタル電子スチル・カメラおよびその動作方法
JP3666959B2 (ja) ディジタル画像データ記録装置および方法ならびにディジタル画像データ再生装置および方法
JP3647102B2 (ja) 撮像装置
JP4072222B2 (ja) 記録再生装置
JPH09130728A (ja) 撮像装置
JPH10191252A (ja) 画像再生装置及び画像再生方法
JPH11150682A (ja) 画像処理装置、画像処理方法および記憶媒体
JPH10276452A (ja) 映像信号の記録再生装置
JPH04345292A (ja) ディジタルスチルビデオカメラ
JPH09130668A (ja) 映像信号処理装置
JPH09191427A (ja) 撮像記録再生装置
JPH10262170A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120526

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120526

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130526

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140526

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees