JP3679592B2 - 信号処理装置及び撮像装置 - Google Patents

信号処理装置及び撮像装置 Download PDF

Info

Publication number
JP3679592B2
JP3679592B2 JP868298A JP868298A JP3679592B2 JP 3679592 B2 JP3679592 B2 JP 3679592B2 JP 868298 A JP868298 A JP 868298A JP 868298 A JP868298 A JP 868298A JP 3679592 B2 JP3679592 B2 JP 3679592B2
Authority
JP
Japan
Prior art keywords
image signal
signal
memory
timing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP868298A
Other languages
English (en)
Other versions
JPH11205732A (ja
Inventor
裕二 栄木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP868298A priority Critical patent/JP3679592B2/ja
Priority to US09/229,439 priority patent/US6434281B1/en
Publication of JPH11205732A publication Critical patent/JPH11205732A/ja
Application granted granted Critical
Publication of JP3679592B2 publication Critical patent/JP3679592B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/217Interfaces allowing access to a single user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、信号処理装置及び撮像装置に関し、特には、入力時と非同期なタイミングで信号を出力する処理に関する。
【0002】
【従来の技術】
近年、パソコンの普及に伴い、パソコンに対する画像入力手段として、画像をデジタル信号としてメモリに記録するいわゆるデジタルカメラが注目されている。
【0003】
この種のデジタルカメラでは、一般に、撮像素子としてのCCDから得られた画像信号をデジタル信号に変換し、その情報量を圧縮してメモリに記録している。そして、このとき、記録された画像信号を再生して外部のTVモニタに出力する機能や、現在撮像されている画像を内蔵モニタで確認できる機能を持つものもある。
【0004】
また、近年では、高画質化も急速に進んでおり、そのために、非常に画素数の多いCCDが用いられるようになってきた。
【0005】
【発明が解決しようとする課題】
さて、前述のように、高画質化のためにCCDの画素数を増やすと、CCDから画像信号を読み出すのに非常に時間がかかってしまう。これを避けるためには、CCDの駆動クロックを高速にすればよいが、クロックを高速にするほどCCDやA/D変換器等の回路素子が高価になってしまう。
【0006】
また、CCDからの読み出しに時間がかかると、これを外部のモニタやEVFに表示する場合、表示される画像のフレームレートが低くなってしまう。
【0007】
そのため、従来では、外部モニタやEVFに画像を表示する際、CCDからの画像信号の画素を間引いて表示画像のフレームレートを上げると共に、回路規模の縮小化及び設計の簡略化のため、CCDからの画像信号のフレームレートと表示用の画像信号のフレームレートとの間に簡単な整数比をもたせ、撮像系と表示用画像信号の出力系とを同一のタイミング信号を用いて同期して駆動している。
【0008】
図4はこのように撮像系と表示用画像信号の出力系とを同期して駆動する際の一例を示すタイミングチャートである。図4の例では、CCDからの画像信号のフレームレートと表示用の画像信号のフレームレートとの比が1対2となっている。
【0009】
しかしながら、回路をこのように設計した場合、使用するCCDの画素数が変わる度に撮像系で扱う画像信号の同期タイミングと外部出力系で扱う画像信号の同期タイミングとが変化するため、CCDの画素数が変化するたびに回路の設計をやり直さなければならない。
【0010】
これを回避するため、撮像系と外部出力系とを非同期に駆動する構成も考えられるが、この場合には、撮像系と外部出力系との間のタイミングが変化した場合を考慮した、非常に大容量のバッファが必要になってしまう。
【0011】
本発明は前述の如き問題を解決することを目的とする。
【0012】
本発明の他の目的は、簡単な構成で、且つ、回路規模を大型化することなく、入力時とは非同期なタイミングで信号を出力可能とする処にある。
【0013】
【課題を解決するための手段】
前述の如き問題を解決し、前記目的を達成するため、本発明は、第1のタイミング信号を発生する第1の発生手段と、前記第1のタイミング信号を用いて入力画像信号の画素数を削減する処理手段と、前記処理手段からの画像信号を記憶するバッファメモリと、前記第1のタイミング信号とは非同期な第2のタイミング信号を発生する第2の発生手段と、画像信号を記憶するメモリ手段と、前記メモリ手段より読み出された画像信号を前記第2のタイミング信号に応じて表示手段に出力する出力手段と、前記第2のタイミング信号に応じて前記メモリ手段に記憶された画像信号をバースト状に読み出し、データバスを介して前記出力手段に転送すると共に、前記第1のタイミング信号に応じて前記バッファメモリに記憶された画像信号を読み出し、前記データバスを介して前記メモリ手段に対してバースト転送して書き込むメモリ制御手段とを備えて構成されている。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0015】
図1は本発明が適用されるデジタルカメラの構成を示すブロック図である。
【0016】
図1の装置では、撮像された画像信号を圧縮してメモリカードに記録すると共に、撮像されている画像を内蔵モニタあるいは外部モニタにて確認可能となっている。また、メモリカードに記録された画像信号を読み出してその情報量を伸長し、やはり内蔵モニタあるいは外部モニタにて確認可能となっている。
【0017】
まず、記録時の処理について説明する。
【0018】
図1において、撮像回路101は周知のCCD、CDS回路、アンプ、A/D変換器等を有し、被写体像を1サンプル複数ビットのデジタル信号に変換して圧縮回路103及びスイッチ111に出力する。ここで、内部同期信号発生回路115は後述の如く内部水平同期信号及び内部垂直同期信号を発生し、タイミング信号発生回路109及び縮小回路117に出力する。タイミング信号発生回路109は内部同期信号発生回路115からの各同期信号を用いて撮像回路101を駆動するためのタイミング信号を発生し、撮像回路101に出力する。従って、撮像回路101の各要素は内部同期信号発生回路115からの信号に同期して駆動することになる。
【0019】
圧縮回路103では、周知のDCT、可変長符号化等を用いてその情報量を圧縮すると共に符号化し、記録再生処理回路105に出力する。記録再生処理回路105は、圧縮・符号化された画像信号に対してID信号等を付加すると共に記録に適した形態に変換し、メモリカード107に書き込む。
【0020】
次に、再生時の動作について説明する。
【0021】
記録再生処理回路105はメモリカード107に前述の如く記録された1画面分の画像信号を読み出し、伸長回路113に出力する。伸長回路113はメモリカード107から読み出された画像信号に対して記録時とは逆の処理を施して復号すると共にその情報量を伸長し、スイッチ111に出力する。
【0022】
スイッチ111は、再生時においては伸長回路113からの出力を選択し、縮小回路117に出力する。縮小回路117は内部同期信号発生回路115からの同期信号に従って以下の通り伸長回路113からの画像信号の画素を間引くことにより、EVF127もしくは外部の一般的なTVモニタのサイズである、水平方向640×垂直方向480画素にそのサイズを縮小する。
【0023】
いま、撮像回路101により得られた画像信号、即ち、メモリカード107より読み出された画像信号のサイズが、1画面あたり水平方向1280×垂直方向960画素であった場合、縮小回路117により1画面のうちの75%の画像信号が間引かれることになる。
【0024】
ここで、縮小回路117の動作を図2を用いて説明する。
【0025】
図2は縮小回路117の動作を説明するためのタイミングチャートであり、(a)はスイッチ111から入力される画像信号列を示している。そして、縮小回路117は、(c)に示した内部同期信号発生回路115からの水平同期信号に基づいて(b)に示したサンプルタイミングを示すクロックを発生し、このクロックに従って入力画像信号をサンプリングする。即ち、(a)において斜線で示した部分が縮小回路117にてサンプリングされ、バッファメモリ119に出力される画像信号である。
【0026】
前述の通り、本形態では入力画像信号の水平方向の1280画素を640画素にするため、ここでは、水平方向に1/2に間引いている。また、垂直方向の960画素(ライン)を480画素にするため、ここでは垂直方向に1/2に間引いている。従って、縮小回路117は、1水平期間おきに画像信号をサンプリングしてバッファメモリ119に出力する。
【0027】
バッファメモリ119に記憶された画像信号はバスアービタ121により読み出されてメモリ113に書き込まれる。バスアービタ121は内部にデータバスを有し、内部同期信号発生回路115からの同期信号に従って、縮小回路117により縮小され、バッファメモリ119に記憶された画像信号をバースト状に集中させ、メモリ133に転送する。
【0028】
また、バスアービタ121は、内部同期信号発生回路115からの同期信号とは非同期なタイミングで発生される外部同期信号発生回路131からの同期信号に従ってメモリ133に記憶された画像信号をバースト状に集中してバッファメモリ123に転送する。
【0029】
バッファメモリ123に集中して書き込まれた画像信号は時間軸伸長されてD/A変換器125に出力され、ここで、内部同期信号発生回路131からの同期信号に従ってアナログ信号に変換され、EVF127及び出力回路129に出力される。EVF127はD/A変換器125からの画像信号に従い、前述の如き640×480画素のサイズの画像を表示する。また、出力回路129は、D/A変換器125からの画像信号に対して同期信号を付加すると共にそのレベルを増幅し、外部モニタ200における処理に適した形態に変換してモニタ200に出力する。
【0030】
ここで、バスアービタ121によるバッファメモリ119からメモリ133に対する画像信号の転送処理、及び、メモリ133からバッファメモリ123に対する画像信号の転送処理について説明する。
【0031】
図3はバスアービタ121の転送動作を説明するためのタイミングチャートである。
【0032】
図3において、(a)はバスアービタ121内のデータバスを流れるデータを示し、(c)は外部同期信号発生回路131からの水平同期信号を示している。
【0033】
前述の通り、本形態では、縮小回路117により画像信号のサイズを75%程縮小しているので、その分データバスを使用しない時間のゆとりが生まれる。
【0034】
そこで、本形態では、バスアービタ121により、外部同期信号発生回路131からの同期信号に同期してバッファメモリ123に画像信号を転送する一方、外部同期信号発生回路131からの同期信号とは非同期に発生される内部同期信号発生回路115からの同期信号に同期して信号を出力するバッファメモリ119からの画像信号をバースト状に集中させ、メモリ133からバッファメモリ123へ転送する時間のあまり時間にメモリ133に転送するように制御する。
【0035】
即ち、図3において、外部同期信号発生回路131からの水平同期信号に応じて、T1〜T2,T4〜T5,T7〜T8,及びT10〜T11の期間でメモリ133からバッファメモリ123に対して4ライン分のデータDoutを転送する。
【0036】
そして、これ以外の期間でバッファ119から出力された画像信号をメモリ133に転送する。
【0037】
即ち、図3においては、T2〜T3の期間でバッファメモリ119からの画像信号を転送した後、転送しきれなかった分を更に、次の水平同期期間におけるT5〜T6の期間で転送する。このT2〜T3及び、T5〜T6の期間でバッファメモリ119に記憶されていた1水平ライン分の画像信号がメモリ133に転送される。従って、バッファメモリ119は間引いた後の1水平ライン分の画像信号を記憶可能な容量を備えていればよい。また、同様にバッファメモリ123も1水平ライン分の容量を備えていればよい。
【0038】
また、本形態では、前述の如くバッファメモリ119からメモリ133に対する画像信号の転送時と、メモリ133からバッファメモリ123に対する画像信号の転送時とでデータバスを時分割に用いることができるので、メモリ133は安価なシングルポートメモリでよい。
【0039】
また、撮像回路101により得られた画像信号に応じた画像をEVF127または外部モニタ200に表示する場合は、スイッチ111により撮像回路101からの画像信号を縮小回路117に転送する以外は、メモリカード107の再生時の動作と同じである。
【0040】
なお、記録時においては、撮像回路101からの画像信号に係る画像が動画像としてEVF127に表示され、ユーザはEVF127に表示された画像をモニタしつつ、不図示の操作部にて記録の指示を行う。そして、記録紙時に応じたタイミングで1画面分の画像信号が前述の如くメモリカード107に記録される。
【0041】
以上説明したように、本形態では、撮像された画像信号あるいは、メモリカードより再生された画素数の多い(詳細な)画像を撮像系あるいは記録再生系とは非同期なタイミングでモニタする際、その画素数を縮小し、バースト状に集中してメモリに転送することにより、撮像系で扱う画像信号の画素数が変化した場合であっても大幅な設計変更を行うことなく画像のモニタが可能になる。
【0042】
なお、前述の実施形態では、撮像系あるいは記録再生系で扱う画像信号の画素数を水平・垂直方向にそれぞれ1/2に間引く場合について説明したが、もちろんこれ以外の画素数にすることも可能であり、同様の効果を有する。
【0043】
また、本形態では、デジタルカメラに対して本発明を適用した場合について説明したが、入力信号と非同期に外部に信号を出力する装置であればどのようなもにも本発明を適用可能である。
【0044】
【発明の効果】
以上説明したように、本発明によれば、入力画像信号と非同期なタイミングで外部に画像信号を出力し、これをモニタする場合、入力及び出力画像信号の画素数が変化しても回路の設計を大幅に変更する必要がない。
【0045】
また、バッファメモリの容量も少なくてすむ。
【図面の簡単な説明】
【図1】本発明が適用されるデジタルカメラの構成例を示す図である。
【図2】図1装置の動作を説明するためのタイミングチャートである。
【図3】図1の装置の動作を説明するためのタイミングチャートである。
【図4】撮像系で扱う画像信号と表示用の画像信号のフレームレートを示す図である。

Claims (10)

  1. 第1のタイミング信号を発生する第1の発生手段と、
    前記第1のタイミング信号を用いて入力画像信号の画素数を削減する処理手段と
    前記処理手段からの画像信号を記憶するバッファメモリと、
    前記第1のタイミング信号とは非同期な第2のタイミング信号を発生する第2の発生手段と、
    画像信号を記憶するメモリ手段と、
    前記メモリ手段より読み出された画像信号を前記第2のタイミング信号に応じて表示手段に出力する出力手段と、
    前記第2のタイミング信号に応じて前記メモリ手段に記憶された画像信号をバースト状に読み出し、データバスを介して前記出力手段に転送すると共に、前記第1のタイミング信号に応じて前記バッファメモリに記憶された画像信号を読み出し、前記データバスを介して前記メモリ手段に対してバースト転送して書き込むメモリ制御手段とを備える信号処理装置。
  2. 前記メモリ制御手段は前記データバスを時分割に用いて前記バッファメモリから前記メモリ手段に対する前記画像信号の転送処理と、前記メモリ手段から前記出力手段に対する前記画像信号の転送処理とを実行することを特徴とする請求項1記載の信号処理装置。
  3. 前記第1のタイミング信号は前記表示手段の駆動タイミングと同期していることを特徴とする請求項1記載の信号処理装置。
  4. 前記処理手段は前記表示手段における表示画素数に従って前記入力画像信号の画素数を縮小することを特徴とする請求項1記載の信号処理装置。
  5. 第1のタイミング信号を用いて画像信号を発生する撮像手段と、
    前記撮像手段により得られた画像信号を記録媒体に記録する記録手段と、
    前記第1のタイミング信号を用いて前記撮像手段により得られた画像信号の画素数を削減する処理手段と、
    前記処理手段からの画像信号を記憶するバッファメモリと、
    画像信号を記憶するメモリ手段と、
    前記メモリ手段より読み出された画像信号を表示手段に出力する出力手段と、
    前記第1のタイミング信号とは非同期の第2のタイミング信号に応じて前記メモリ手段に記憶された画像信号をバースト状に読み出し、データバスを介して前記出力手段に転送すると共に、前記第1のタイミング信号に応じて前記バッファメモリに記憶された画像信号を読み出し、前記データバスを介して前記メモリ手段に対してバースト転送して書き込むメモリ制御手段とを備える撮像装置。
  6. 前記メモリ制御手段は前記データバスを時分割に用いて前記バッファメモリから前記メモリ手段に対する前記画像信号の転送処理と、前記メモリ手段から前記出力手段に対する前記画像信号の転送処理とを実行することを特徴とする請求項5記載の信号処理装置。
  7. 前記第2のタイミング信号は前記表示手段の駆動タイミングと同期していることを特徴とする請求項5記載の撮像装置。
  8. 前記処理手段は前記表示手段における表示画素数に従って前記入力画像信号の画素数を削減することを特徴とする請求項5記載の撮像装置。
  9. 前記撮像手段により得られた画像信号の情報量を圧縮すると共に符号化する圧縮手段を備え、前記記録手段は前記圧縮手段により圧縮された画像信号を前記記録媒体に記録することを特徴とする請求項5記載の撮像装置。
  10. 前記記録媒体より画像信号を再生する再生手段を備え、前記処理手段は前記第1のタイミング信号に従って前記再生手段により再生された画像信号の画素数を削減することを特徴とする請求項5記載の撮像装置。
JP868298A 1998-01-20 1998-01-20 信号処理装置及び撮像装置 Expired - Fee Related JP3679592B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP868298A JP3679592B2 (ja) 1998-01-20 1998-01-20 信号処理装置及び撮像装置
US09/229,439 US6434281B1 (en) 1998-01-20 1999-01-13 Signal processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP868298A JP3679592B2 (ja) 1998-01-20 1998-01-20 信号処理装置及び撮像装置

Publications (2)

Publication Number Publication Date
JPH11205732A JPH11205732A (ja) 1999-07-30
JP3679592B2 true JP3679592B2 (ja) 2005-08-03

Family

ID=11699704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP868298A Expired - Fee Related JP3679592B2 (ja) 1998-01-20 1998-01-20 信号処理装置及び撮像装置

Country Status (2)

Country Link
US (1) US6434281B1 (ja)
JP (1) JP3679592B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3172491B2 (ja) * 1998-05-29 2001-06-04 三洋電機株式会社 ディジタルカメラ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4590597A (en) 1984-05-21 1986-05-20 The United States Of America As Represented By The Secretary Of Commerce Modulation transfer spectroscopy for stabilizing lasers
US4748511A (en) * 1984-06-07 1988-05-31 Raytel Systems Corporation Teleradiology system
JPH07105872B2 (ja) * 1987-04-30 1995-11-13 株式会社日立製作所 電子フアイリング装置
US5420637A (en) * 1989-01-16 1995-05-30 I Sight, Inc. Dynamic image representation system
US5184241A (en) 1989-06-21 1993-02-02 The United States Of America As Represented By The Administrator Of The National Aeronautics & Space Admininstration Doppler shift compensation system for laser transmitters and receivers
US5251229A (en) 1991-10-18 1993-10-05 Yale University Laser with reduced intensity fluctuations
US5321520A (en) * 1992-07-20 1994-06-14 Automated Medical Access Corporation Automated high definition/resolution image storage, retrieval and transmission system
JP2772605B2 (ja) 1992-10-15 1998-07-02 国際電信電話株式会社 光周波数多重キャリヤ制御装置
JP3243894B2 (ja) * 1993-06-04 2002-01-07 オムロン株式会社 濃淡画像処理装置
US6091426A (en) * 1995-04-07 2000-07-18 Intel Corporation Integrating data scaling and buffering functions to minimize memory requirement

Also Published As

Publication number Publication date
US6434281B1 (en) 2002-08-13
JPH11205732A (ja) 1999-07-30

Similar Documents

Publication Publication Date Title
US5444483A (en) Digital electronic camera apparatus for recording still video images and motion video images
US5274457A (en) Digital electronic still camera having removable record means
US6937277B1 (en) Image input apparatus employing read region size determination
KR0178766B1 (ko) 압축되지 않은 디지탈데이타의 전송기능을 갖는 디지탈 인터페이스 장치
EP1176830A1 (en) Improved processing apparatus, image recording apparatus and image reproduction apparatus
JP3348917B2 (ja) 画像信号処理装置
JPH07135592A (ja) 撮像装置
JP2004080327A (ja) 画像処理装置および画像処理方法、記録媒体、並びにプログラム
JP2004304387A (ja) 画像処理装置
JP4454837B2 (ja) 画像処理装置
KR100477654B1 (ko) 재생 영상 선택 장치 및 그 방법
JP3679592B2 (ja) 信号処理装置及び撮像装置
JP2004221955A (ja) 高速撮像信号記録装置
JP3917379B2 (ja) タイミング信号発生装置およびその発生方法
JP4518582B2 (ja) 画像撮像装置及び方法
JP2007104584A (ja) カメラ装置
JPH07322195A (ja) 画像記録再生装置及び画像・音声記録再生装置
JP3312456B2 (ja) 映像信号処理装置
JP4704525B2 (ja) 画像信号処理装置
JPH0888833A (ja) 変換装置および逆変換装置ならびにこれらを具備したスローモーション表示装置
JP3204708B2 (ja) 映像記録再生装置
JP3647102B2 (ja) 撮像装置
JP2003284007A (ja) 映像撮像装置、映像変換装置及び映像編集装置
JP3745605B2 (ja) 電子スチルカメラ
JP3768987B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050513

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees