JP3720398B2 - 静止画記録装置 - Google Patents

静止画記録装置 Download PDF

Info

Publication number
JP3720398B2
JP3720398B2 JP30471294A JP30471294A JP3720398B2 JP 3720398 B2 JP3720398 B2 JP 3720398B2 JP 30471294 A JP30471294 A JP 30471294A JP 30471294 A JP30471294 A JP 30471294A JP 3720398 B2 JP3720398 B2 JP 3720398B2
Authority
JP
Japan
Prior art keywords
signal
circuit
data
still image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP30471294A
Other languages
English (en)
Other versions
JPH08163584A (ja
Inventor
貴行 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP30471294A priority Critical patent/JP3720398B2/ja
Publication of JPH08163584A publication Critical patent/JPH08163584A/ja
Application granted granted Critical
Publication of JP3720398B2 publication Critical patent/JP3720398B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【0001】
【産業上の利用分野】
本発明は静止画記録装置に関し、特にFIFOタイプのメモリ及びストロボ発光装置を用いる場合の信号処理回路に関する。
【0002】
【従来の技術】
従来より、例えば電子スチルカメラ等の静止画記録再生装置では、固体撮像素子によって取り込んだ画像データを用いて静止画の記録を行う。その際、記録データは輝度信号と線順次色差信号の形式で記録される。
【0003】
また、記録した静止画データがフィールドデータである場合、再生回路ではフレームデータとしてモニタ上に表示するために、輝度信号に対してライン補間の処理を行って擬似フレーム化している。一方、色差信号は線順次信号であるため、モニタ表示する際は同時化の処理を行ってからエンコード処理する必要がある。
【0004】
擬似フレーム化処理は、例えば図6に示すような方法で処理を行う。図6において、記録媒体から出力されたフィールドデータと、それを1水平期間(以下1Hと記す)遅延させたデータを用いて補間データを作成する。例えば記録媒体からの出力データを奇数フィールドとした場合、偶数フィールドは前記2つのデータを平均化して補間データを作成したものを用いる。モニタへの出力は、この奇数フィールドデータと偶数フィールドデータをフィールドごとに切換えることで擬似フレーム化した静止画フィールドデータとなる。
【0005】
一方、色差信号の同時化処理は、例えば図7に示すような方法で処理を行う。図7において、記録媒体から出力された線順次色差データと、それを1H遅延させたデータを用いて同時化データを作成する。線順次色差データは図に示すように、R−YとB−Yが1Hごとの繰り返しで構成されており、従って、前記2つのデータを1Hごとにラインインデックス信号に基づいて切換え選択することで同時化されたR−Y及びB−Yが得られる。同時化されたR−Y及びB−Yは図7のように連続する2Hが、同じ1Hのデータの繰り返しで構成される。
【0006】
図5に従来のこの種の映像信号処理を行う電子スチルカメラの回路構成が示されている。図5において、固体撮像素子(CCD)101で取り込んだ静止画画像信号は、CDS回路102で相関二重サンプリングによるノイズ除去を行った後、色分離回路103によって画素演算されてY(輝度)プロセス回路104及び色差プロセス回路106に送られる。Yプロセス回路104及び色差プロセス回路106ではγ補正、フィルタリング等の処理が行われ、変調回路105では輝度のY信号が、変調回路107では線順次の色差信号が各々変調され、MIX回路108で周波数多重されて磁気記録媒体109にアナログ信号で記録される。
【0007】
磁気記録媒体109に記録された静止画データを再生する場合は、分離回路110によって周波数分離されたY(輝度)と色差の変調信号を、復調回路111および114で復調して再生プロセス回路に送る。Y信号は、静止画データがフィールドデータである場合は、擬似フレーム化回路113でライン補間の処理を行って擬似フレーム化する。擬似フレーム化回路113では、復調されたY信号と、1Hディレイ回路112で1水平期間遅延されたY信号を平均化して擬似フレームを作成する。色差信号は線順次の色差信号なので、エンコード回路117で変調クロマ信号を作成するために、同時化回路116にて同時化処理する。同時化回路116は、復調された色差信号と、1Hディレイ回路115で1水平期間遅延された色差信号を用いて同時化する。このようにして得られたY信号とクロマ信号をモニタに与える事で再生表示が行われる。
【0008】
前記の従来例ではアナログによる処理回路の例を述べたが、デジタルによる処理回路を考えた場合、1Hディレイ回路にはFIFOタイプのラインメモリが用いられることが多い。図8はデジタルデータを1H期間遅延させるためのFIFOタイプのラインメモリの遅延タイミングを示したものである。FIFOタイプのラインメモリは電源投入時にリセット信号を与えることによって遅延量が固定される。
【0009】
図8において、電源電圧は電源投入時を表しており、電源が立ち上がった後にラインメモリにはリード・ライトリセット信号が与えられる。FIFOタイプのラインメモリは内部にライトアドレス及びリードアドレスのカウンターを持っており、前記リセット信号によって0アドレスにリセットされ、その後は14.3MHzで駆動した場合のNTSCの1Hのデータ数に相当する909アドレスで自動的に0アドレスにリセットされる。これによって、リードデータはライトデータの910クロック遅れたデータを常時得る事ができ、1Hのディレイラインとしてラインメモリは動作する。例えば、図8に示すようにA0というデータが0アドレスに書き込まれると、910クロック後に再び設定される0アドレスでA0データが読み出される。その際、A0データが読み出されたら、その直後に0アドレスにはB0データが書き込まれる。
【0010】
【発明が解決しようとする課題】
上述のように、従来のアナログ方式の電子スチルカメラでは、記録したフィールド静止画データを再生する場合、再生回路で2つの1Hディレイ回路が必要であった。
【0011】
またFIFOタイプのラインメモリを使用したデジタル回路に、ストロボ発光装置を適用した場合、図8に示すようにストロボの発光したタイミングでリード・ライトリセット信号に不要なノイズが発生したり、電源電圧が変動してしまうことがある。その際に、デジタルデータを1H期間遅延させるFIFOメモリの内部アドレスや出力データに、不定状態が発生してしまうという不具合があった。
【0012】
本発明の静止画記録装置はこのような課題に着目してなされたものであり、その目的とするところは、デジタル方式の電子スチルカメラに最適な静止画記録回路を提供し、ストロボ発光装置を適用する場合に、安定した静止画データを得ることができる静止画記録装置を提供することにある。
【0015】
【課題を解決するための手段及び作用】
上記の目的を達成するために、本発明は、ストロボ発光装置を使用して静止画の記録を行う静止画記録装置であって、固体撮像素子から読み出された画像信号に対して所定の信号処理を施す信号処理手段と、この信号処理手段による信号処理時に前記画像信号に対して所定の時間遅延を与える遅延メモリと、この遅延メモリに垂直同期信号の発生タイミングで制御信号を供給して、撮像プロセス回路の処理に必要なデータに遅延を与える遅延量を制御する遅延量制御手段と、前記垂直同期信号の発生タイミングに一致させつつ前記ストロボ発光装置の発光に応じて、前記固体撮像素子からの前記画像信号の読み出しを制御する読み出し制御手段と、前記信号処理手段によって信号処理された画像信号を記録する記録手段と、を具備する。
【0018】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。図1はデジタルで静止画記録を行う場合の、静止画記録装置の実施例を示す図である。同図において、固体撮像素子としてのCCD101、CDS回路102、色分離回路103、Yプロセス回路104、色差プロセス回路106は図5に示した従来例の回路と同じものである。その後、Y信号はA/D変換器121によってデジタルデータに変換されてフレームメモリ125に記憶される。一方、色差信号は、CCD101がインターライン型のイメージャーである場合、色分離回路103から得られる色差信号は線順次の色差信号である。しかし、画像データをデジタル記録する場合はR−Y,B−Yを同時化した色差信号で扱うのが一般的である。このため従来のアナログ方式の電子スチルカメラとは異なって、本実施例のようにデジタル記録を行なう場合は記録する以前に同時化処理を行う必要がある。
【0019】
そこで本実施例では、線順次色差の状態でA/D変換器122によってデジタルデータに変換し、その後、1Hディレイ回路を使用して同時化処理を行なう。これによってノイズを放出しやすいアナログ方式の1Hディレイ回路を用いる必要がなくなる。また、従来のようにアナログ回路で同時化を行った後にデジタルデータに変換した場合はR−Y,B−Yの各々にA/D変換器が必要となるが、本実施例はまずA/D変換を行い、その後に同時化処理処理を行なうのでA/D変換器が色差信号に対し1個で済むという利点がある。
【0020】
デジタルに変換された線順次色差信号はその後、1Hラインメモリ123によって遅延されたデータと、遅延していないデータを同時化回路124で選択することによって同時化され、フレームメモリ125に一旦蓄積される。
【0021】
フレームメモリ125に蓄積されたY,R−Y,B−Yの静止画データは圧縮回路126によって圧縮され、圧縮データとしてメモリカード等の記録媒体127に記録される。
【0022】
図2は図1に示したデジタル静止画記録装置に、再生機能を付加した実施例である。図2において、CCD101、CDS回路102、色分離回路103、Yプロセス回路104、色差プロセス回路106、A/D変換器121及び122、1Hラインメモリ123、同時化回路124、フレームメモリ125、記録媒体127は図1に示した実施例と同じものである。
【0023】
静止画記録データの基本的な処理手順は、図1で説明した実施例と変わりなく圧縮・伸長回路128は、図1の圧縮回路126と同様の働きをする。ただし、本実施例では、記録処理と再生処理との切替えを行えるように構成しているため、スイッチSW1〜SW4を設けている。スイッチSW1〜SW4は、CPU133によって記録時にはR側に、再生時にはP側に切り替えられ、各処理に対応したデータの流れを形成する。
【0024】
同時化回路124への1H遅延データは、A/D変換器122の出力をSW4を介して1Hラインメモリ123に与えることで作成される。フレームメモリ125に蓄積されるY,R−Y,B−Yの静止画データは、SW1〜SW3を介してA/D変換器121及び同時化回路124から供給される。
【0025】
再生データの処理はメモリカード等の記録媒体127から読み出された圧縮データが、圧縮・伸長回路128によって伸長され、Y,R−Y,B−Yの静止画データとしてフレームメモリ125に一旦蓄積される。フレームメモリ125に蓄積された静止画データがフィールドデータである場合、再生回路ではフレームデータとしてモニタ上に表示するために、輝度信号はライン補間の処理を行って擬似フレーム化する必要がある。擬似フレーム化回路129ではフレームメモリ125のデータとそれを1H遅延させたデータを用いて補間データを作成する。
【0026】
ここで、1Hの遅延には色差信号と同様に1Hラインメモリ123を使用する。色差信号の同時化処理はCCD101からの画像データを取り扱う場合にのみ行う処理で、再生時には動作しない。一方、擬似フレーム化処理は、静止画データをモニタ表示する場合にのみ行う処理で記録時には動作しない。従って、色差信号の同時化と輝度信号の擬似フレーム化で必要な1Hの遅延動作は、両者が同時に行うことはない。その点に着目して、本実施例では2つの処理で用いる1Hラインメモリを共通化している。
【0027】
また、SW4を記録再生のモードに対応して切り替えることで、再生処理時にはフレームメモリ125からの輝度信号がSW1及び、SW4を介して1Hラインメモリ123に入力される。擬似フレーム化回路129では、SW1を介したフレームメモリ125からのデータと、1Hラインメモリ123からのデータで、輝度信号を擬似フレーム化する。フレームメモリ125に蓄積された静止画データがフレームデータである場合は、擬似フレーム化回路129では特に処理は行わない。
【0028】
擬似フレーム化回路129の出力はD/A変換器131によってアナログ信号に変換され、輝度(Y)出力としてモニタに供給される。フレームメモリ125に蓄積された色差信号は、B−YはSW2を、R−YはSW3を介してエンコード回路130に入力されてクロマ信号に変調されて、D/A変換器132によってアナログ信号に変換されてモニタに供給される。
【0029】
以上のように構成すれば、1Hラインメモリを1個しか用いることなく記録、再生の両回路を実現することができるので、メモリの容量を削減することができる。また、デジタル回路部を集積回路化する場合には、図2に点線で囲んだ部分を1チップとする。1Hラインメモリ123は、図2では集積回路に含めていないが内蔵してもいっこうにかまわない。内蔵した場合、本実施例の構成では、メモリ容量の削減が可能なので集積回路規模の縮小が行なえる。
【0030】
さらに、コストの削減、集積回路規模の縮小を目的とした場合には、図2に示したように、1Hラインメモリ123を集積回路に含めないようにする。1Hラインメモリは、記録、再生の両回路で共通に使用するように構成しているので、外部インターフェースで構成しても、I/O数を従来よりも削減することが出来る。例えば、処理するデータが8ビットであるとすると、1Hラインメモリを2個使用で32ビットのI/Oが必要であるのに対し、本実施例では16ビットのI/Oで実現できる。
【0031】
また、記録、再生の両回路を共通に使用するために複数のスイッチを設けたが、集積回路化を行なえば、回路規模にはほとんど影響の無いレベルで回路化が実現できる。
【0032】
図3はFIFOタイプのラインメモリを使用したデジタル静止画記録装置にストロボ発光装置を適用した場合の制御回路の実施例を示す。また図4は図3の回路の動作を説明するためのタイミングチャートである。
【0033】
図3において、CCD101、CDS回路102は図1に示したものと同じである。画像データはCDS回路102でノイズ除去されたのち、撮像プロセス回路145で輝度及び色差信号の処理が行われる。1Hラインメモリ149は撮像プロセス回路145の処理中で必要なデータに1H遅延を与えるもので、FIFOメモリタイプのメモリで構成されており、ラインメモリリセット制御回路150からのリセット信号によって遅延量が制御される。
【0034】
タイミングジェネレータ(TG)146は、CCD101の電荷蓄積及び転送の制御を行っており、同期信号発生器147(SSG)からの同期信号と、記録トリガ制御回路144からの電荷蓄積制御に基づいて駆動している。ストロボ発光制御回路143は、測光回路142からの測光データに基づいてストロボ141の発光量を制御するとともに、記録トリガ制御回路144からのトリガ発生情報に基づいてストロボ141の発光タイミングを制御する。
【0035】
CPU148はトリガボタンからのトリガ情報を得て、記録トリガ制御回路144に記録指示を与える役割と、同期信号発生器147とラインメモリリセット制御回路150に、電源の投入のタイミングを知らせる役割を持つ。
【0036】
従来例の図8で説明したように、FIFOタイプのラインメモリを使用したデジタル回路にストロボ発光装置を適用した場合、ストロボの発光したタイミングでリード・ライトリセット信号に不要なノイズが発生したり、電源電圧の変動が起こり、正しい遅延データが得られないという問題があった。本実施例ではその点について改善するような制御を実現している。
【0037】
すなわち、ラインメモリリセット制御回路150は、電源投入時と共に、同期信号発生器147からの垂直同期信号(以下VDと記す)に同期したタイミングで、1Hラインメモリ149にリセット信号を与え、遅延量を1フィールド毎に固定する。VDの発生するタイミングは、垂直のブランキング期間に含まれているため、1Hラインメモリ149からの遅延データがリセットする際に一時的に得られなくても、画像データには影響がない。
【0038】
図4に示すように、VDに対してリード・ライトリセット信号が与えられる。ただし、ストロボの発光が行なわれた場合は、図に示すように、リード・ライトリセット信号にノイズが飛び込むことが考えられる。従って、ストロボが発光した1フィールド期間内では、正しい遅延データが得られない状態になる可能性がある。しかし、次のVDのタイミングで1Hラインメモリ149は再びリセットされるため、たとえ動画出力状態で撮像データがモニタに表示されていたとしても、人間の視覚上不自然に感じない程度の画像データを得ることができる。
【0039】
一方、ストロボの発光を行うタイミングは、通常は静止画データを記録するタイミングであるので、前記のような不定データのフィールドが記録画像データとして取り扱われないようにする必要がある。本実施例では、CCD101の露光及び読み出しのタイミングをストロボの発光タイミングと合わせて、記録トリガ制御回路144によって制御することでこの問題を解決している。
【0040】
すなわち、図3において、ストロボを発光させて静止画データを記録する場合、記録トリガ制御回路144はCPU148からのトリガ指示を受けたら、測光回路142からの測光情報を元に仮の電荷蓄積時間を決定し、タイミングジェネレータ(TG)146を制御して電荷の蓄積をCCD101に実行させる。この場合、電荷の蓄積は同期信号発生器(SSG)147からの同期信号とは非同期で行うことが出来る。電荷の蓄積を開始したら、記録トリガ制御回路144はストロボ発光制御回路143にストロボ141の発光の許可を与える。
【0041】
ストロボ発光制御回路143は、ストロボ141の発光開始を制御したら、測光回路142からの測光情報を元に適正露光への到達を監視し、ストロボ141の発光終了を制御する。また、記録トリガ制御回路144も測光回路142からの測光情報を元に電荷の蓄積時間を決定し、タイミングジェネレータ146を制御して、CCD101の電荷蓄積を終了させる。CCD101の電荷蓄積の終了動作は、フォトダイオード上の信号電荷を垂直転送ラインに移動させることで実現できる。
【0042】
記録トリガ制御回路144は電荷蓄積を終了させたら、同期信号発生器147からのVDを待って、タイミングジェネレータ146にCCD101からの電荷の読み出しを許可する。
【0043】
このように、VDの発生タイミングに同期してCCD101からの電荷の読み出しを行うようにしたので、動画データと全く同じタイミング制御で静止画データの読み出しを行うことが出来る。また、ストロボの発光が終了した後のVDで必ず1Hラインメモリ149はリセットされるので、記録される静止画データのプロセス処理で、不定なデータを取り扱うことはない。
【0044】
図4に示した撮像素子出力は、記録する画像のフレーミングを通常は動画出力によって確認し、システムのトリガボタンが押された場合は、静止画データの出力をするように制御している場合の例である。トリガ後の電荷蓄積期間は、撮像素子からは出力を行なわず、次のVD後に記録画像データとして出力する。ちなみに、トリガボタンの受け付けは非同期であるので、図4とは異なったタイミング、たとえば、2フィールドにまたがって電荷蓄積が行われるような場合も起こりうる。
【0048】
【発明の効果】
発明によれば、静止画の記録を、ストロボの発光が終了した直後の垂直同期信号の発生タイミングで制御信号を供給して、撮像プロセス回路の処理に必要なデータに遅延を与える遅延量を制御するようにしたので、記録される静止画データのプロセス処理で、不定なデータを取り扱うことはない。
【図面の簡単な説明】
【図1】本発明の静止画記録装置の構成を示す図である。
【図2】図1の構成に再生機能を追加した本発明の静止画記録再生装置の構成を示す図である。
【図3】本発明にストロボ発光装置を適用した場合の制御回路の構成を示す図である。
【図4】図3に示す回路の動作を説明するためのタイミングチャートである。
【図5】従来の静止画記録再生装置の構成を示す図である。
【図6】輝度信号の疑似フレーム化処理の手順を説明するための図である。
【図7】色差信号の同時化処理の手順を説明するための図である。
【図8】FIFOタイプのラインメモリの遅延タイミングを示すタイミングチャートである。
【符号の説明】
101…CDD、102…CDS回路、103…色分離回路、104…Yプロセス回路、106…色差プロセス回路、121、122…A/D、123…1Hラインメモリ、124…同時化回路、125…フレームメモリ、126…圧縮回路、127…記録媒体。

Claims (1)

  1. ストロボ発光装置を使用して静止画の記録を行う静止画記録装置であって、
    固体撮像素子から読み出された画像信号に対して所定の信号処理を施す信号処理手段と、
    この信号処理手段による信号処理時に前記画像信号に対して所定の時間遅延を与える遅延メモリと、
    この遅延メモリに垂直同期信号の発生タイミングで制御信号を供給して、撮像プロセス回路の処理に必要なデータに遅延を与える遅延量を制御する遅延量制御手段と、
    前記垂直同期信号の発生タイミングに一致させつつ前記ストロボ発光装置の発光に応じて、前記固体撮像素子からの前記画像信号の読み出しを制御する読み出し制御手段と、
    前記信号処理手段によって信号処理された画像信号を記録する記録手段と、
    を具備したことを特徴とする静止画記録装置。
JP30471294A 1994-12-08 1994-12-08 静止画記録装置 Expired - Fee Related JP3720398B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30471294A JP3720398B2 (ja) 1994-12-08 1994-12-08 静止画記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30471294A JP3720398B2 (ja) 1994-12-08 1994-12-08 静止画記録装置

Publications (2)

Publication Number Publication Date
JPH08163584A JPH08163584A (ja) 1996-06-21
JP3720398B2 true JP3720398B2 (ja) 2005-11-24

Family

ID=17936309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30471294A Expired - Fee Related JP3720398B2 (ja) 1994-12-08 1994-12-08 静止画記録装置

Country Status (1)

Country Link
JP (1) JP3720398B2 (ja)

Also Published As

Publication number Publication date
JPH08163584A (ja) 1996-06-21

Similar Documents

Publication Publication Date Title
EP0719036B1 (en) Electronic still picture camera
JP2003158653A5 (ja)
US7671896B2 (en) Image sensing apparatus
JP2000261793A (ja) 撮像装置
JP2000224604A (ja) 画像処理装置
JP3812264B2 (ja) 撮像装置
US7433099B2 (en) Image sensing apparatus, image sensing method, program, and storage medium
JP4200551B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP4467232B2 (ja) 画像記録装置及び方法
JP3720398B2 (ja) 静止画記録装置
JP2002158901A (ja) 電子カメラ
JP4026104B2 (ja) 電子カメラ及び画像記録方法
JP2001136420A (ja) 撮像装置
JP3015044B2 (ja) 画像記録再生装置および画像再生装置および画像記録装置
JP2000023007A (ja) 画像入力装置及び画像入力方法並びにメモリ媒体
JP2602949B2 (ja) ビデオカメラ
JP2005117276A (ja) 撮像装置
JP4306182B2 (ja) 撮像制御装置および撮像制御方法、並びにプログラムおよび記録媒体
JPH10322630A (ja) スチルカメラ
JPH07322114A (ja) 撮像装置
JP2000115693A (ja) 画像データ記録方法、画像データ記録装置、画像データ再生方法、画像データ再生装置、情報記録媒体及びコンピュータ読み取り可能な記録媒体
JP3713907B2 (ja) 画像表示装置、画像転送方法及び記憶媒体
JP2004032713A (ja) 撮像装置及び撮像方法及びプログラム及び記憶媒体
JPH10178612A (ja) 撮像装置及び該装置におけるメモリ制御方法
JP2000013726A (ja) 電子カメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050328

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050908

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130916

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees