JP3202435B2 - 画像表示方法とその装置 - Google Patents

画像表示方法とその装置

Info

Publication number
JP3202435B2
JP3202435B2 JP23604593A JP23604593A JP3202435B2 JP 3202435 B2 JP3202435 B2 JP 3202435B2 JP 23604593 A JP23604593 A JP 23604593A JP 23604593 A JP23604593 A JP 23604593A JP 3202435 B2 JP3202435 B2 JP 3202435B2
Authority
JP
Japan
Prior art keywords
display
image
time
displaying
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23604593A
Other languages
English (en)
Other versions
JPH0792958A (ja
Inventor
慎一郎 古賀
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP23604593A priority Critical patent/JP3202435B2/ja
Publication of JPH0792958A publication Critical patent/JPH0792958A/ja
Application granted granted Critical
Publication of JP3202435B2 publication Critical patent/JP3202435B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画を編集/表示する
画像処理装置に関する。
【0002】
【従来技術】従来、時系列画像を表示する方法として、
連続した各画像フレームを静的に順番に並べて表示する
方法(以下、一覧表示と呼ぶ)と、疑似的な動画として
見るために、連続した各画像フレームを画面の同一位置
に連続的に表示する方法(以下、疑似動画表示と呼ぶ)
があった。
【0003】
【発明が解決しようとする課題】しかし、医療分野や製
品検査などで行う画像解析においては、取得した画像を
解析しやすいように加工、例えば、必要な画像フレーム
だけを選択して、それらを並べ変えて疑似連続画像とし
て表示したり、また、その疑似連続画像を生成するため
に、各フレームの表示時間を任意に制御することは容易
にできなかった。
【0004】本発明は上記従来例に鑑みてなされたもの
で、時系列画像の編集、表示制御が容易になり、画像解
析の効率を上げることができる画像処理方法とその装置
を提供することを目的とする。
【0005】
【課題を解決する為の手段】上記目的を達成するため、
本発明の画像処理方法とその装置は以下の構成を備え
る。即ち、複数のフレーム画像を画像記憶メモリに記憶
する画像記憶工程と、複数のフレーム画像のそれぞれの
表示時間を、相対時間または絶対時間で設定する表示時
間設定工程と、フレーム画像を表示する場合、フレーム
画像に設定されている表示時間が相対時間であるとき
は、当該相対時間と定められる基準時間とに基づいて決
まる時間の間、当該フレーム画像を表示し、フレーム画
像に設定されている表示時間が絶対時間であるときは、
前記表示時間設定工程で設定された時間の間、当該フレ
ーム画像を表示手段に表示することによりフレーム画像
を連続的に表示する表示工程とを備える。また、別の発
明は、複数のフレーム画像を画像記憶メモリに記憶する
画像記憶手段と、複数のフレーム画像のそれぞれの表示
時間を、相対時間または絶対時間で設定する表示時間設
定手段と、フレーム画像を表示する場合、フレーム画像
に設定されている表示時間が相対時間であるときは、当
該相対時間と定められる基準時間とに基づいて決まる時
間の間、当該フレーム画像を表示し、フレーム画像に設
定されている表示時間が絶対時間であるときは、前記表
示時間設定工程で設定された時間の間、当該フレーム画
像を表示手段に表示することによりフレーム画像を連続
的に表示する表示制御手段とを備える。
【0006】
【実施例】第1図は、本実施例の画像処理装置の概要構
成を示す図である。この図で、スライドスキャナー1
は、画像を入力して量子化データに変換する。この量子
化データは、プロセッサ2の制御によって、メモリ3に
格納することができる。メモリ3は、また、本実施例の
処理プログラムやデータ等を外部記憶装置6から読みだ
して格納する。プロセッサ2は、メモリ3に格納された
プログラムを実行する。外部記憶装置6は、本実施例の
処理プログラムやデータ等を格納する大容量の記憶装置
である。また、プロセッサ2の実行結果は、モニタ4に
表示できる。また、キーボード&ポインティング入力デ
バイス5は、ユーザのコマンドやデータを入力する。
【0007】ここで、画像入力手段としてスライドスキ
ャナー1の代わりに、図2に示すようなCCDカメラ7
とADコンバータ8を接続してもよい。
【0008】また、スライドスキャナー1の代わりに、
第3図に示すような動画再生装置9、例えば、ビデオデ
ッキやレーザディスクを接続してもよい。
【0009】図4は、本実施例の画像処理装置で実行す
る、連続画像の処理プログラムの処理フローチャートで
ある。
【0010】尚、図5は、連続画像の処理プログラム実
行時の、モニタ4の表示画面を示し、この図も参照しな
がら各ステップの説明を行う。
【0011】そのため、まず始めに図5について簡単に
説明してから、プログラムの各ステップごとの処理を説
明する。図5で示すモニタ4の画面は、操作部51、表
示方法指定部52、疑似動画表示部53、一覧表示部5
4と、機能の違いによって分割されている。そして、ポ
インテイング入力デバイス5で、画面上の特定の位置を
指定することによって、対応する機能を実行する。
【0012】第4図を参照して、各ステップの処理を以
下説明する。
【0013】ステップ41では、処理する画像を入力
し、モニタ4に表示する。ここで、連続画像を入力する
方法としては、次の4つの方法がある。第1の方法で
は、図1の装置構成において、あらかじめ撮影・現像し
たフィルムをスライドスキャナー1を介して入力してデ
ジタルデータ化して、メモリ3に格納する。第2の方法
では、図2の装置構成において、CCDカメラ7で対象
画像を撮影し、得られた画像をADコンバータ8を介し
てデジタルデータ化し、メモリ3に格納する。第3の方
法では、図3の装置構成において、動画生成装置からの
画像データ出力端子から出力される1フレームの画像
を、メモリ3に格納する。第4の方法では、予め、外部
記憶装置6に蓄えておいた画像データをメモリ3にロー
ドする。以下、図1の構成の画像処理装置で実行する処
理を説明するが、この処理は、図2、図3の構成の画像
処理装置でも、同様に実行することができる。上記の方
法で入力した画像を、一覧表示部54に順次表示する。
【0014】ステップ42では、一覧表示部54に表示
した画像を見ながら、画像にインデックス(以下、画像
インデックスと呼ぶ)を付ける。画像インデックスは疑
似動画表示を行う際の表示順序を示すものである。一覧
表示部54には画像を表示する複数の画像表示枠55
(以下、フレームと呼ぶ)があり、これらのフレーム5
5は、左上から右上へ、そして左下から右下のフレーム
の順に、画像インデックスをもち、画像インデックスの
番号56が表示してある。画像を表示しているフレーム
の画像インデックスをその画像のインデックスとする。
ユーザは、フレーム間で画像表示を移動することにより
画像インデックスの設定を行う。画像移動の指定は、例
えばポインテイング入力デバイスを用いた場合、移動し
たい画像が表示してあるフレーム(以下、移動元フレー
ムと呼ぶ)上にカーソルをおいてポインテイング入力デ
バイス5のボタンを押し、ボタンを押したままで移動先
のフレーム(以下、移動先フレームと呼ぶ)上にカーソ
ルを動かしてからボタンを離すことにより指定する。こ
の時、画像処理装置は次の2つのいずれかの動作をす
る。即ち、移動先フレームに画像がない場合は、移動元
フレームに表示していた画像の表示を移動先にフレーム
に変更する。また、移動先に画像がある場合は、移動元
の画像と移動先の画像の表示を入れ換える。
【0015】ステップ43では、個々の画像の表示時間
を指定する。疑似動画表示を行う時に、次の画像に表示
を切換えるまでの時間をここでは表示時間と呼ぶ。ここ
で、表示時間の指定には2通りある。即ち、ある画像を
他の画像に対して相対的に長く、または短く表示したい
時に相対表示時間を指定するか、他の画像の表示時間と
は無関係に、ある画像の絶対的な表示時間である絶対表
示時間を指定する。また、相対表示時間の基準単位時間
を基準表示時間と呼ぶことにする。相対表示時間の指定
の例として、次のケースで用いると都合がよい。即ち、
時系列画像を疑似動画表示する時、ある画像間の撮影間
隔が他の画像間の撮影間隔の2倍の時間だった場合に、
相対画像表示時間を2倍に設定することにより、より自
然な表示が可能となる。また、相対表示時間の指定の例
として、次のケースで用いると都合がよい。即ち、ある
画像が画像系列の解析で特に重要であり、その画像だけ
は長く表示したい場合、絶対画像表示時間を用いて指定
すると便利である。
【0016】図6に上記表示時間の指定例を示す。即
ち、各画像64に対して、相対表示時間60か絶対表示
時間61を指定する。この例では、画像1の表示時間
は、相対表示時間で「1」とし、画像2の表示時間は、
絶対表示時間で「5」とし、画像3の表示時間は、相対
表示時間で「2」とし、画像4の表示時間は、相対表示
時間で「1」とし、画像5の表示時間は、絶対表示時間
で「5」として、表示を行う。ここで、相対表示時間の
基準単位時間は、例えば、基準表示時間とする。図6と
図7に示す例では、基準表示時間を「2」としている。
【0017】尚、相対表示時間の基準単位時間は、任意
にユーザが指定することができる。
【0018】図7は、図6で示した表示時間の指定で、
実際に表示させたときの各画像の表示時間の様子を示し
ている。図7で、画像1の実際の表示時間71は、相対
表示時間で「1」と指定されており、基準単位時間であ
る基準表示時間が「2」であるので、「1*2」を計算
して「2」となる。画像2の実際の表示時間72は、絶
対表示時間で「5」と指定されているので、そのまま
「5」となる。以下、画像n(n=3,4...)について、
同様の方法で、実際の表示時間が決定される。
【0019】尚、相対表示速度と絶対表示時間の指定方
法は、一覧表示部54で表示時間を指定する画像を選択
した後、表示時間をキーボード&ポインテイング入力デ
バイス5を用いて入力することで行う。指定が行われな
かった画像は、デフォルトの表示時間とする。
【0020】ステップ44では、操作部51で、疑似動
画表示を行う時の画像の拡大率を指定する。拡大率の指
定が行われなかった場合は、デフォルトの拡大率を用い
る。
【0021】ステップ45では、疑似動画表示を行う時
の表示領域を指定する。これは、画像の一部だけを解析
したい場合に、その領域だけを疑似動画するものであ
る。また、疑似動画表示は通常の画像表示に比べて、処
理速度や使用するメモリ容量の点で、オーバヘッドが大
きいため、疑似動画表示を行う領域を限定することは、
より速い、または、より多くの画像の疑似動画表示を可
能とするものである。表示領域の指定は、一覧表示部5
4または疑似動画表示部53の画像上で矩形領域を指定
することで行う。表示領域の指定が行われなかった場合
は、デフォルトの領域を用いる。
【0022】ステップ46では、疑似動画表示中に、画
像に上書き表示する線や点などのグラフィックデータの
指定を行う。これは、画像中の特定対象物の動きを解析
したい場合、画像系列の各画像に対して対象物の位置に
グラフィックデータ書き込みを指定することにより、グ
ラフィックデータが対象物と同様に動くように表示で
き、対象物の動きを見やすくすることができる。書き込
み操作は、操作部51で書き込みグラフィックデータの
種類を指定した後、疑似動画表示部53の画像上にグラ
フィックデータ書き込むことにより行う。
【0023】ステップ47では、表示方法指定部52に
おいて表示方法の指定を行う。表示方法の指定が行われ
ると、装置は表示を始める。表示方法としては、以下の
ものがある。即ち、 「PLAY表示」: 画像インデックス順に画像系列の
疑似動画表示を1回行う。
【0024】「REVERSE表示」: 画像インデッ
クスの逆の順序で画像系列の疑似動画表示を1回行う。
【0025】「REPEAT表示」: PLAY表示を
繰り返し行う。
【0026】「AUTO REVERSE表示」: P
LAY表示とREVERSE表示を交互に繰り返し行う 「FF表示」: 最後の画像インデックスの画像を表示
する。
【0027】「REW表示」: 最初の画像インデック
スの画像を表示する。
【0028】「STEP表示」: 現在表示している画
像の次の画像インデックスの画像を表示する。
【0029】「REVERSE STEP表示」: 現
在表示している画像の前の画像インデックスの画像を表
示する。
【0030】「STOP操作」: 疑似動画表示操作を
終了する。
【0031】各表示方法の指定は、表示方法指定部52
に表示されている各表示方法に対応する方形領域に、カ
ーソル100を移動させて、ポインテイング入力デバイ
ス5の不図示のボタンをクリックすることで選択する。
例えば、「PLAY表示」に対応する方形領域57にカ
ーソル100を移動させて、ポインテイング入力デバイ
ス5の不図示のボタンをクリックすることで、「PLA
Y表示」が選択される。
【0032】尚、カーソル100は、ポインテイング入
力デバイス5を移動させることで、対応する移動距離と
方向へ移動させることができる。プロセッサ2は、ポイ
ンテイング入力デバイス5の移動距離と方向データを入
力して、座標を獲得し、対応する特定の方形領域、即
ち、特定の表示方法の選択を行う。
【0033】尚、以上説明したカーソル100を用い
て、ポインテイング入力デバイス5によっておこなう表
示画像上での特定の画像座標の選択は、操作部51や一
覧表示部54等での機能選択時でも同様に行う。
【0034】ステップ48では、表示方法指定部52の
全体表示時間指定部58において、基準表示時間の指定
を行う。基準表示時間の指定は、疑似動画表示中におい
ても行うことができる。
【0035】ステップ49では、操作部51において、
モニタ4に表示する輝度、色の設定を行うルックアップ
テーブル10の指定を行う。ルックアップテーブル10
を使って、例えば、入力した画像系列が照明の不足など
で全体的に暗い場合、画像全体を明るく表示するよう輝
度、色の設定を行って、画像の解析をより容易にするこ
とものである。ここで、疑似動画表示中であっても、ル
ックアップテーブルの再設定ができ、画像の輝度、色の
変更を行うことができる。
【0036】尚、本発明は、複数の機器から構成される
システムに適用しても1つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。
【0037】尚、図4の連続画像の表示/処理プログラ
ムの処理フローチャートの各ステップの実行順序は、標
準的な一例を示したものであり、各ステップ実行の有/
無はユーザの意図で選択でき、また、実行順序を変える
こともできる。
【0038】以上説明したように、本実施例によれば以
下のような効果が得られる。即ち、疑似動画表示を行う
時に、次の画像に表示を切換えるまでの時間を、絶対表
示時間と相対表示時間で指定できるため、疑似動画の表
示制御が容易になり、画像解析の効率を上げることがで
きる。
【0039】
【発明の効果】以上、本発明によれば、フレーム画像ご
との表示時間を、相対時間又は絶対時間の何れかで指定
する構成としたことにより、疑似動画の表示制御が容易
になり、画像解析の効率を上げることができる。
【0040】
【図面の簡単な説明】
【図1】本実施例の画像処理装置を説明するブロック図
である。
【図2】入力装置にCCDカメラを備える本実施例の画
像処理装置を説明するブロック図である。
【図3】入力装置に動画再生装置を備える本実施例の画
像処理装置を説明するブロック図である。
【図4】本実施例の画像処理を説明するフローチャート
である。
【図5】本実施例の画像処理で表示あるいはコマンド入
力を行う際の表示画面の構成を説明する図である。
【図6】画像フレームの表示時間を指定するテーブルを
説明する図である。
【図7】図6の示した表示時間指定で、実際に画像フレ
ームを表示する時の全体の表示時間を示す図である。
【符号の説明】
1 スライドスキャナー 2 プロセッサ 3 メモリ 4 モニタ 5 ポインティング入力デバイス 6 外部記憶装置 7 CCDカメラ 8 ADコンバータ 9 動画再生装置 10 ルックアップテーブル
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−115496(JP,A) 特開 平4−38782(JP,A) 特開 平2−236781(JP,A) 特開 平3−127281(JP,A) (58)調査した分野(Int.Cl.7,DB名) G09G 5/00 - 5/42 G06T 13/00

Claims (14)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数のフレーム画像を画像記憶メモリに
    記憶する画像記憶工程と、 複数のフレーム画像のそれぞれの表示時間を、相対時間
    または絶対時間で設定する表示時間設定工程と、 フレーム画像を表示する場合、フレーム画像に設定され
    ている表示時間が相対時間であるときは、当該相対時間
    と定められる基準時間とに基づいて決まる時間の間、当
    該フレーム画像を表示し、フレーム画像に設定されてい
    る表示時間が絶対時間であるときは、前記表示時間設定
    工程で設定された時間の間、当該フレーム画像を表示手
    段に表示することによりフレーム画像を連続的に表示す
    る表示工程と、 を備えることを特徴とする画像表示方法。
  2. 【請求項2】 前記複数のフレーム画像の表示順序を設
    定する表示順序設定工程を、さらに備えることを特徴と
    する請求項1に記載の画像表示方法。
  3. 【請求項3】 前記表示工程は、 前記表示順序に、前記複数のフレーム画像を表示する順
    表示工程と、 前記表示順序と逆順に、前記複数のフレーム画像を表示
    する逆順表示工程と、 をさらに備えることを特徴とする請求項2に記載の画像
    表示方法。
  4. 【請求項4】 前記表示工程は、前記順表示工程を連続して繰返す繰返し順表示工程と、 前記順表示工程と前記逆順表示工程とを交互に繰返す交
    互表示工程と、 をさらに備えることを特徴とする請求項3に記載の画像
    表示方法。
  5. 【請求項5】 前記表示工程は、 前記フレーム画像の所定の位置に所定のグラフィックス
    データを重畳して表示する重畳表示工程をさらに備える
    ことを特徴とする請求項1に記載の画像処理方法。
  6. 【請求項6】 前記表示工程は、 前記フレーム画像の所定の領域を所定の拡大率で表示す
    る拡大表示工程をさらに備えることを特徴とする請求項
    1に記載の画像表示方法。
  7. 【請求項7】 前記表示工程は、 前記フレーム画像を所定のルックアップテーブルで表示
    するルックアップテーブル表示工程をさらに備えること
    を特徴とする請求項1に記載の画像表示方法。
  8. 【請求項8】 複数のフレーム画像を画像記憶メモリに
    記憶する画像記憶手段と、 複数のフレーム画像のそれぞれの表示時間を、相対時間
    または絶対時間で設定する表示時間設定手段と、 フレーム画像を表示する場合、フレーム画像に設定され
    ている表示時間が相対時間であるときは、当該相対時間
    と定められる基準時間とに基づいて決まる時間の間、当
    該フレーム画像を表示し、フレーム画像に設定されてい
    る表示時間が絶対時間であるときは、前記表示時間設定
    工程で設定された時間の間、当該フレーム画像を表示手
    段に表示することによりフレーム画像を連続的に表示す
    る表示制御手段と、 を備えることを特徴とする画像表示装置。
  9. 【請求項9】 前記複数のフレーム画像の表示順序を設
    定する表示順序設定手段をさらに備えることを特徴とす
    る請求項8に記載の画像表示装置。
  10. 【請求項10】 前記表示手段は、 前記表示順序に、前記複数のフレーム画像を表示する順
    表示手段と、 前記表示順序と逆順に、前記複数のフレーム画像を表示
    する逆順表示手段と、 をさらに備えることを特徴とする請求項9に記載の画像
    表示装置。
  11. 【請求項11】 前記表示手段は、前記順表示手段を連続して繰返す繰返し順表示手段と、 前記順表示手段と前記逆順表示手段とを交互に繰返す交
    互表示手段と、 をさらに備えることを特徴とする請求項10に記載の画
    像表示装置。
  12. 【請求項12】 前記表示手段は、 前記フレーム画像の所定の位置に所定のグラフィックス
    データを重畳して表示する重畳表示手段をさらに備える
    ことを特徴とする請求項8に記載の画像処理装置。
  13. 【請求項13】 前記表示手段は、 前記フレーム画像の所定の領域を所定の拡大率で表示す
    る拡大表示手段をさらに備えることを特徴とする請求項
    8に記載の画像表示装置。
  14. 【請求項14】 前記表示手段は、前記フレーム画像
    所定のルックアップテーブルで表示するルックアップテ
    ーブル表示手段をさらに備えることを特徴とする請求項
    8に記載の画像表示装置。
JP23604593A 1993-09-22 1993-09-22 画像表示方法とその装置 Expired - Fee Related JP3202435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23604593A JP3202435B2 (ja) 1993-09-22 1993-09-22 画像表示方法とその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23604593A JP3202435B2 (ja) 1993-09-22 1993-09-22 画像表示方法とその装置

Publications (2)

Publication Number Publication Date
JPH0792958A JPH0792958A (ja) 1995-04-07
JP3202435B2 true JP3202435B2 (ja) 2001-08-27

Family

ID=16994947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23604593A Expired - Fee Related JP3202435B2 (ja) 1993-09-22 1993-09-22 画像表示方法とその装置

Country Status (1)

Country Link
JP (1) JP3202435B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184042A (ja) * 1999-12-22 2001-07-06 Nec Information Service Ltd イメージ表示装置

Also Published As

Publication number Publication date
JPH0792958A (ja) 1995-04-07

Similar Documents

Publication Publication Date Title
US8830272B2 (en) User interface for a digital production system including multiple window viewing of flowgraph nodes
EP0682324A2 (en) Image processing apparatus and method
US5463729A (en) Image generation device
JPH06121269A (ja) 電子ビデオ記憶装置および電子ビデオ処理システム
EP0737978A2 (en) An electronic video processing system
JP2008060731A (ja) カメラ、出力画像選択方法、プログラム
US5982364A (en) Video processing system including frame position indicators
JPH11213174A (ja) 動画像編集方法
JP2004343200A (ja) 画像処理装置
JP2005286550A (ja) 表示装置
JP3202435B2 (ja) 画像表示方法とその装置
JPH10200814A (ja) 画像編集方法及び画像編集装置並びにコンピュータに画像編集処理動作を実行させるためのプログラムを記録した媒体
GB2397456A (en) Calculation of the location of a region in frames between two selected frames in which region location is defined
JP2006262496A (ja) 画像記録再生装置、カメラ装置、画像記録再生方法及びプログラム
JPH02260075A (ja) 表示装置
JP2002281382A (ja) 画像処理装置およびその処理方法
JPH0456890A (ja) プレゼンテーションシステム及びそのシナリオ編集方法
JPH0736437A (ja) 画像データ処理装置
JP2005115011A (ja) 画像表示装置、画像表示方法、画像表示プログラムおよびこのプログラムを記録した記録媒体
KR100460081B1 (ko) 동영상 가상현실 이미지 제작 시스템 및 방법
JP2925716B2 (ja) 画像検索装置
JP3835010B2 (ja) マルチ画面表示方法および画像表示装置
JP2975054B2 (ja) 静止画像の部分移動装置
JP3764972B2 (ja) 画像変形装置および画像変形方法
JPH03296096A (ja) 無限スクロール装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010518

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080622

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees