JP3683462B2 - 動画表示装置 - Google Patents

動画表示装置 Download PDF

Info

Publication number
JP3683462B2
JP3683462B2 JP2000043211A JP2000043211A JP3683462B2 JP 3683462 B2 JP3683462 B2 JP 3683462B2 JP 2000043211 A JP2000043211 A JP 2000043211A JP 2000043211 A JP2000043211 A JP 2000043211A JP 3683462 B2 JP3683462 B2 JP 3683462B2
Authority
JP
Japan
Prior art keywords
moving image
index
recording
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000043211A
Other languages
English (en)
Other versions
JP2001238154A (ja
Inventor
隆太郎 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2000043211A priority Critical patent/JP3683462B2/ja
Publication of JP2001238154A publication Critical patent/JP2001238154A/ja
Application granted granted Critical
Publication of JP3683462B2 publication Critical patent/JP3683462B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、動画表示装置に係わり、特に、動画カメラ等の動画表示装置においてインデックス表示機能を改善した動画表示装置に関する。
【0002】
【従来技術】
従来、動画カメラ等においてインデックス表示する場合は、図5に示すように、静止画のインデックス表示と同様に、動画の先頭画像や動画の途中画像を複数枚静止画として並べるものであった。従って、利用者は動画を再生する際には、このようなインデックス表示された静止画を見て所望の動画を予測し選択し再生していた。
【0003】
図6は、従来の動画カメラにおける動画データの記録フォーマットの一例を示す図である。
【0004】
同図に示すように、この記録フォーマットでは、へッダー領域301、画像タイムスタンプ領域302、およびフレームデータ領域303から構成され、さらに音声が入る場合には、音声タイムスタンプ領域304および音声データ領域305を有している。
【0005】
【発明が解決しようとする課題】
ところで、従来の静止画によるインデックス表示では、動画が時々刻々と変化するものであるため先頭の静止画や途中の静止画を見ただけではその先に何が写っているかを予測することは難しく、実際再生して見ると自分の予測していた動画とは違っていたということが多々起こっていた。
【0006】
そこで、動画によってインデックス表示することが考えられるが、例えば、1分間の動画をインデックス表示する際に1分かけて表示したのでは、記録されている動画の概要を知ることを目的としたインデックス表示の役目を果たすことはできない。そこで、動画カメラ等のインデックス表示において、記録されている動画を駒落とし形式で再生したり、または駒落とし形式で記録されたものを再生することにより、短時間で記録されている動画の概要を理解することが可能となる。ここで、前者の方法では従来撮影されたデータフォーマットにおいても実現可能なものであり、例えば、動画においてMPEG圧縮を用いている場合には、それぞれのフレームはIピクチャ、Pピクチャ、Bピクチャ等から構成されているので、このうちIピクチャによって画像単体を再生することにより、この画像のみを再生することによりインデックス表示において動画を駒落としして再生することが可能である。しかし、このIピクチャは、圧縮率により間隔が異なってくるため、圧縮率の異なる画像毎にインデックス表示上での再生時間が異なってきてしまい、前者の方法では問題がある。
【0007】
本発明の目的は、上記の種々の問題点に鑑みて、動画撮影の際に、通常撮影と同時に駒落とし形式でのインデックス用動画を記録し、このインデックス用動画を動画データのへッダー領域に埋め込み、動画表示装置においてインデックス表示する際に、インデックス用動画を再生することにより短時間で所望の動画の概要を理解することを可能にした動画表示装置を提供することにある。
【0008】
【課題を解決するための手段】
本発明は、上記の課題を解決するために、動画を記録し、前記記録された動画を再生する機能を備えると共に、前記動画に関連する画像をインデックス表示する機能を備える動画表示装置において、
前記動画を駒落ちしたインデックス用動画を記録するインデックス用動画記録手段と、前記記録されたインデックス用動画をインデックス表示するインデックス用動画再生手段を備え、
前記動画表示装置に係る画像データの記録フォーマットは、少なくとも、前記動画のヘッダ情報を記録する領域と、前記動画の記録と同時に前記動画を駒落ちしたインデックス用動画およびそのヘッダ情報を記録する領域と、からなるヘッダ領域を有し、
前記インデックス用動画およびそのヘッダ情報を記録する領域に書かれている、タイムスタンプと何倍で再生するかを表す倍数が記録された倍数情報とに基づいて、インデックス用動画の再生途中から、この再生途中のインデックス用動画と一番近い画像データからの動画再生をスタートさせる、
ように構成される。
【0016】
【発明の実施の形態】
以下に、本発明の一実施形態を図1乃至図4を用いて説明する。
【0017】
図1は、本実施形態に係る動画表示装置の一例としての動画カメラの構成を示すブロック図である。
【0018】
同図において、201はCCD,AGC等を含む画像入力部、202はY(輝度)信号、U(赤の色差)信号、V(青の色差)信号からなるYUV信号を生成する信号処理部、203はシステム全体を制御するシステム制御部、204はDMA(dirct memory access)コントローラ、205はメモリ、206はキー入力等を扱うユーザーインターフェイス、207は画像圧縮伸張部、208は圧縮データをメディアに記録、読み出しする記録読み出し部、209は記録媒体、210は表示部インターフェイス(IF)、211はディスプレイである。
【0019】
図2は、上記のシステム制御部203の詳細な構成を示すブロック図である。
【0020】
同図において、101は動画データのへッダーを作成するヘッダー生成部、102は信号処理部202を制御する信号処理部制御部、103は表示部IF206を制御する表示IF制御部、104はDMAコントローラ204を制御するDMAコントローラ制御部、105はシステム制御部203全体の制御を行うCPU、106は記録読出し部208を制御する記録読出し部制御部、107は画像圧縮伸張部207を制御する画像圧縮伸張部制御部、108はユーザーインターフェイス206を制御するユーザーインターフェイス制御部、109はプログラムメモリ、110は音声コーデック制御部、111は画像圧縮伸張部制御部107に設けられるインデックス圧縮伸張制御部である。
【0021】
図3は、上記の記録媒体209に記録される動画データおよびインデックス用動画データの記録フォーマットを示す図である。
【0022】
同図に示すように、この記録フォーマットは、へッダー領域301、画像タイムスタンプ領域302、およびフレームデータ領域303から構成されると共に、音声を入れる場合には、音声タイムスタンプ領域304および音声データ領域305で構成され、ここまでの構成は従来のものと相違しないが、本実施形態では、さらにへッダー領域301にインデックス用の動画領域を設ける。
【0023】
このインデックス用の動画領域は、インデックス用のへッダー領域306、画像タイムスタンプ領域307、フレームデータ領域308、およびインデックス用のへッダー領域306に設けられる倍数情報領域309とから構成される。なお、音声についてはインデックス用のデータは持たない。
【0024】
このように、本実施形態の記録フォーマットでは、ヘッダー情報には、動画とインデックス用に記録されたインターバル動画のヘッダー情報が含まれており、インデックス用のデータには音声データは含まれない以外は通常のデータフォーマットと同じである。インデックス用ヘッダー領域306の情報によりインデックス用動画の再生が行われる。タイムスタンプ領域307の後にフレームデータ領域308を有し、また、インデックス用のへッダー領域306の倍数情報領域309には、何倍で再生するかを表す倍数が記録される。この倍数情報はインデックス再生途中から通常再生に入るときに用いられる。
【0025】
図4は、上記のディスプレイ211に表示されるインデックス表示画面401を示す図である。
【0026】
同図において、インデックス表示画面401には複数の動画1〜9の表示が可能となっている。
【0027】
次に、本実施形態に係る動画表示装置における記録および再生動作について図1乃至図4を用いて説明する。
【0028】
通常の動画の記録は、図示せぬユーザによって、撮影開始の命令がユーザーインターフェイス206に入力され、システム制御部203に備えたユーザーインターフェイス制御部108を経由して、CPU105に入力され、入力されたデータに基づいて撮影が行われる。
【0029】
撮影された被写体(図示せず)の光信号は画像入力部201に入力され、光電変換されてアナログ映像信号となり、AGC等の処理を施され信号処理部202へ出力にされる。信号処理部202に入力にされた映像信号は、A/D変換されデジタル信号に変換されるとともに、ガンマ補正,フィルタリング,輪郭強調処理等の処理が施され、YUV信号が生成される。システム制御部203は、内部に備えたCPU105がプログラムメモリ109のプログラムに基づいて、信号処理部制御部102,DMAコントローラ制御部104を制御し、生成されたYUV信号をDMAコントローラ104を介してメモリ205に記憶する。
【0030】
メモリ205に記憶されたデジタル映像信号は、DMAコントローラ204を介して画像圧縮伸張部207へ読み出され圧縮処理される。これは、CPU105がDMAコントローラ制御部104に命令することによって、DMAコントローラ204が制御され、またCPU105が画像圧縮伸張部制御部107を介して画像圧縮伸張部207へ圧縮命令がなされることで行われる。図3に示すタイムスタンプ302はこの画像圧縮伸張部207で付加される。システム制御部203と画像圧縮伸張部207は圧縮・伸張開始等の制御信号、および圧縮・伸張終了等の応答信号でやり取りを行う。圧縮処理されたデータは、一旦メモリ205に記憶される。
【0031】
また、音声データはマイク213より入力され音声コーデック212により圧縮され、タイムスタンプ304が付けられた後に一旦メモリ205に格納される。
【0032】
その後、音声および画像の各データは、システム制御部203のヘッダー生成部101によりフォーマットに従って作成されるヘッダー情報と共に、記録読出し部208に送られ記録媒体209に記録される。この際、音声データ、画像データの順番はタイムスタンプ302,304の時系列順となるため、音声、画像のデータ順は不規則となる。
【0033】
この際の制御もシステム制御部203により行われ、CPU105の画像圧縮伸張部制御部107,DMAコントローラ制御部104,へッダー生成部101,記録読出し部制御部106の制御にて行われる。記録読出し部208は、記録読出し部制御部106へ終了等の制御信号を通知する。長い動画記録の場合は、数回に分けて圧縮が行われ、記録媒体209に記録する時に、1つのフアィルとして記録される。従って、この場合、へッダーはヘッダー情報がそろったときに1回だけ付けられる。
【0034】
また、同時にシステム制御部203のCPU105が表示IF制御部103を制御することにより、表示インターフェイス(IF)210が制御され、信号処理部202より取り込まれたメモリ205上の画像は、表示インターフェイス(IF)210を介して、ディスプレイ211に表示される。表示インターフェイス210は、OSDC(0n Screen Display Control)機能を備えており、メモリ205上のOSD表示データ領域に表示したいデータを書き込むことで、OSD表示ができる。
【0035】
次に、インデックス用動画の記録は、通常の画像の記録と同時に、通常の動画の駒落とししたインデックス用動画として圧縮し記録される。インデックス画像圧縮伸張制御部111は駒落しを行いながら画像の圧縮を行い、図3に示す記録フォーマットのへッダー領域301に記録する。この処理は上記の通常の画像の撮影とほぼ同時に行われ、CPU105が画像圧縮伸張部制御部107に対して命令を出して行ったと同様に、CPU105がインデックス画像圧縮伸張制御部111に対して命令を出し、圧縮伸張を行う。通常の画像撮影と異なる点は、駒落としを行うために、命令数が少なくなることであり、例えば、倍数情報領域309に10倍速でインデックス再生を行うように設定されている場合は、通常撮影の1/10の命令がインデックス画像圧縮伸張制御部111に送られることになる。このインデックス用データの圧縮タイミングは、通常画像圧縮時とほぼ同時刻となるが、通常画像の圧縮数フレームに対して1フレーム圧縮が行われるので、通常画像の圧縮に支障をきたすことはない。インデックス用データの圧縮伸張処理は処理系統が2つあれば並列に行うこともできるが、1系統の場合には通常画像圧縮処理との処理時間を時分割して行う。つまり通常画像圧縮処理の合間を縫って行われることになる。
【0036】
インデックス用動画の記録は、上記したように駒落としを行った画像であるが、これを通常の再生スピードで再生すると、早再生を行える。例えば、インデックス表示における動画の再生時間を10倍とし、再生時のフレームレートを10フレーム/秒とした場合には、1秒間隔で撮影し、再生時間間隔が1/10秒となるようなタイムスタンプをもつデータをインデックス用データとしてメモリ205に記録しておき、これを再生すると10倍速のインデックス用動画を10フレーム/秒で再生することができる。なお、インデックス用画像を記録する際には、インデックス用のヘッダー領域306の倍数情報領域309に倍数情報(10倍)も記録しておく。この倍数情報は、タイムスタンプに乗算することで実際の時間を知ることができるため、通常画像においてどの画像に相当するかを知ることができる。
【0037】
また、ヘッダー領域301に記録されるインデックス用動画はインデックス表示における再生のみを目的としているので、このときの圧縮レートをできるだけ押さえ、通常圧縮に比べてDCT変換した後の量子を高周波成分が落ちるように行う。これは、図4に示すようにインデックス用の動画1〜9のサイズが、通常動画サイズの1/9(ただし、表示枚数によって異なる)になり、高周波成分が必要なくなるためである。
【0038】
次に、インデックス用動画の再生動作について説明する。
【0039】
インデックス表示は、初期状態では図4に示すように複数枚の動画1〜9を1枚のインデックス表示画面401上に並べられたものが表示される。それぞれの動画1〜9は通常撮影された動画の先頭または途中のものが表示されている。ここで、ユーザがインデックス表示された画像1〜9のいずれかを選択すると、例えば、選択された動画2についてインデックス用動画の再生が行われる。この再生に使用される画像データはへッダー領域301に組み込まれたものを用いるので、10倍での撮影が記録されていれば10倍の速度で再生される。再生時のデータの流れについては、以下に示す通常再生の場合とほぼ同等であり、異なる点は音声再生がないこととへッダー領域301内の画像データが再生されるという点である。また、通常再生と同様の動作を行わせることができるので、高速再生や高速逆再生もでき、さらに動画の概要を把握し易やすくなる。
【0040】
通常動画の再生動作は、図4に示すインデックス表示画面401上で動画1〜9の中から選択された画像について、通常動画を再生するためにキー操作等の所定の操作を行うことによって開始される。通常動画の再生のスタート地点は、インデックス表示された動画の先頭からスタートしたり、またインデックス表示された動画再生の途中からスタートすることもできるが、このような場合は、インデックス用データ上に書かれているタイムスタンプ307とインデックス用へッダー領域306に記録されている倍数情報(10倍)309を利用して、この倍数にタイムスタンプを乗じることにより、インデックス表示の再生時点が通常動画のどの地点に位置するかを知ることができる。そのため、通常動画データのタイムスタンプを検索していき、一番近い画像データ(計算した再生時点より前のものを選ぶ)でIピクチャである画像データから再生を開始することができる。
【0041】
なお、インデックス表示画面401には複数のインデックス用の動画を同時に再生表示すると共に、その中から選択したインデックス用動画に係わる通常動画の再生を行なうようにすることもできる。
【0042】
さらに、インデックス表示によって選択された通常動画のデータは、記録媒体209から記録読出し部208によって読み出され、DMAコントローラ204を介して、メモリ205に書き込まれる。この際の制御もシステム制御部203により行われ、CPU105のDMAコントローラ制御部104,記録読出し部制御部107の制御によって行われる。メモリ205に書き込まれた画像データは、メモリ205からDMAコントローラ204を介して、画像圧縮伸張部207に送られ伸張処理され、再びメモリ205へ書き込まれる。この際の制御もシステム制御部203により行われ、CPU105のDMAコントローラ制御部104,画像圧縮伸張部制御部107への制御によって行われる。
【0043】
その後、メモリ205上の画像データの伸張処理の結果は、DMAコントローラ204を介し、表示インターフェース210に送られ、ディスプレイ211に通常動画が再生表示される。この制御もシステム制御部203により行われ、CPU105のDMAコントローラ制御部104,表示IF制御部103への制御によって行われる。
【0044】
一方、音声データは音声コーデック212に送られ、伸張処理された後、スピーカーに送られる。
【0045】
以上説明したように、本発明の動画表示装置によれば、インデックス表示上でインデックス用動画の再生を行い、それを見ることによって再生すべき通常動画の概要を知ることができるので、ユーザは再生したい動画を容易に選択することができる。
【0046】
【発明の効果】
本発明によれば、通常撮影された動画と共に、インデックス用動画を、記録して再生させることができるので、インデックス表示において、インデックス用動画を再生し表示することにより、再生しようとしている動画の概略を容易に知ることができ、ユーザーにとって再生すべき動画を容易に選択することができる。また、従来の画像データの記録フォーマットを大幅に変更することなく、ヘッダ情報を記録する領域に、通常撮影された動画のヘッダ情報と、インデックス用動画およびそのヘッダ情報とを同時に記録することができる。また、インデックス用動画およびそのヘッダ情報を記録する領域に書かれている、タイムスタンプと何倍で再生するかを表す倍数が記録された倍数情報とに基づいて、倍数にタイムスタンプを乗じることにより、インデックス表示の再生時点が通常動画のどの時点に位置するかを知ることができるので、インデックス用動画の再生途中から、この再生途中のインデックス用動画と一番近い画像データからの、通常動画の再生をスタートさせることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る動画表示装置の構成を示すブロック図である。
【図2】図1に示すシステム制御部203の詳細な構成を示すブロック図である。
【図3】図1に示す記録媒体209に記録される動画データおよびインデックス用動画データの記録フォーマットを示す図である。
【図4】図1に示すディスプレイ211に表示されるインデックス表示画面401を示す図である。
【図5】従来技術に係るインデックス表示画面を示す図である。
【図6】従来技術に係る動画カメラにおける動画データの記録フォーマットを示す図である。
【符号の説明】
101 ヘッダー生成部
102 信号処理部制御部
103 表示IF制御部
104 DMAコントローラ制御部
105 CPU
106 記録読出し部制御部
107 画像圧縮伸張部制御部
108 ユーザーインターフェイス制御部
109 プログラムメモリ
110 音声コーデック制御部
111 インデックス画像圧縮伸張制御部
201 画像入力部
202 信号処理部
203 システム制御部
204 DMAコントローラ
205 メモリ
206 ユーザーインターフェイス
207 画像圧縮伸張部
208 記録読み出し部
209 記録媒体
210 表示インターフェイス
211 ディスプレイ
212 音声コーデック
213 マイク
214 スピーカー
301 へッダー領域
302 タイムスタンプ領域
303 フレームデータ領域
304 タイムスタンプ領域(音声データ用)
305 音声データ領域
306 インデックス用へッダー領域
307 インデックス用タイムスタンプ領域
308 インデックス用フレームデータ領域
309 倍数情報領域
401 インデックス表示画面

Claims (1)

  1. 動画を記録し、前記記録された動画を再生する機能を備えると共に、前記動画に関連する画像をインデックス表示する機能を備える動画表示装置において、
    前記動画を駒落ちしたインデックス用動画を記録するインデックス用動画記録手段と、前記記録されたインデックス用動画をインデックス表示するインデックス用動画再生手段を備え、
    前記動画表示装置に係る画像データの記録フォーマットは、少なくとも、前記動画のヘッダ情報を記録する領域と、前記動画の記録と同時に前記動画を駒落ちしたインデックス用動画およびそのヘッダ情報を記録する領域と、からなるヘッダ領域を有し、
    前記インデックス用動画およびそのヘッダ情報を記録する領域に書かれている、タイムスタンプと何倍で再生するかを表す倍数が記録された倍数情報とに基づいて、インデックス用動画の再生途中から、この再生途中のインデックス用動画と一番近い画像データからの動画再生をスタートさせることを特徴とする動画表示装置。
JP2000043211A 2000-02-21 2000-02-21 動画表示装置 Expired - Fee Related JP3683462B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000043211A JP3683462B2 (ja) 2000-02-21 2000-02-21 動画表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000043211A JP3683462B2 (ja) 2000-02-21 2000-02-21 動画表示装置

Publications (2)

Publication Number Publication Date
JP2001238154A JP2001238154A (ja) 2001-08-31
JP3683462B2 true JP3683462B2 (ja) 2005-08-17

Family

ID=18566164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000043211A Expired - Fee Related JP3683462B2 (ja) 2000-02-21 2000-02-21 動画表示装置

Country Status (1)

Country Link
JP (1) JP3683462B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032535A (ja) 2002-06-27 2004-01-29 Canon Inc 画像再生装置及び画像記録再生装置及びそれらの制御方法及びプログラム及び記憶媒体
JP4525230B2 (ja) * 2004-07-01 2010-08-18 カシオ計算機株式会社 画像表示装置、及び、プログラム
JP4730050B2 (ja) * 2005-10-11 2011-07-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
KR100775176B1 (ko) * 2006-03-10 2007-11-12 엘지전자 주식회사 동영상 정보를 썸네일로 재생하는 방법 및 이를 이용한단말기
JP2011223326A (ja) 2010-04-09 2011-11-04 Sony Corp コンテンツ処理装置および方法、並びにプログラム
JP5471749B2 (ja) 2010-04-09 2014-04-16 ソニー株式会社 コンテンツ検索装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2001238154A (ja) 2001-08-31

Similar Documents

Publication Publication Date Title
US7692690B2 (en) Image sensing apparatus for recording a moving image and a still image and its control method
JPH11284948A (ja) サムネイル作成方法及びサムネイル表示方法
JP3814565B2 (ja) 記録装置
US8538247B2 (en) Image processing apparatus and image processing method
JP3683462B2 (ja) 動画表示装置
JP5284074B2 (ja) 画像処理装置及び画像処理方法
US20040109673A1 (en) Recording and reproducing apparatus and method
JP2007181164A (ja) 画像再生装置
JP2001333376A (ja) 画像記録装置及び方法
JP5076457B2 (ja) 映像信号処理装置、映像信号処理方法
JP2003189228A (ja) 画像記録装置
JP2007324663A (ja) ビデオカメラ
JP3520001B2 (ja) 画像表示装置
JP4446669B2 (ja) 動画データの記録方法及びその再生方法並びに動画データの記録装置及びその再生装置
JP4075319B2 (ja) デジタルカメラ、動画再生方法及び動画記録方法
JP3789346B2 (ja) 動画像記録再生装置
JP3524833B2 (ja) 画像再生装置
JP3586580B2 (ja) 画像表示装置
JP3588239B2 (ja) デジタルカメラ
JP3630608B2 (ja) 動画像記録装置
JP2001045430A (ja) 映像記録再生装置
JP2006211041A (ja) 動画再生装置及び撮像装置
JP3341429B2 (ja) 映像信号処理装置
JP2003125385A (ja) 画像処理装置
JP4312125B2 (ja) 動画再生方法及び動画再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050525

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110603

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130603

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees