JPH0898146A - スキップサーチ方法 - Google Patents

スキップサーチ方法

Info

Publication number
JPH0898146A
JPH0898146A JP6229129A JP22912994A JPH0898146A JP H0898146 A JPH0898146 A JP H0898146A JP 6229129 A JP6229129 A JP 6229129A JP 22912994 A JP22912994 A JP 22912994A JP H0898146 A JPH0898146 A JP H0898146A
Authority
JP
Japan
Prior art keywords
video
gop
audio
unit
search method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6229129A
Other languages
English (en)
Other versions
JP3102541B2 (ja
Inventor
Tatsuo Mori
達男 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP06229129A priority Critical patent/JP3102541B2/ja
Publication of JPH0898146A publication Critical patent/JPH0898146A/ja
Application granted granted Critical
Publication of JP3102541B2 publication Critical patent/JP3102541B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【目的】 高速感がある映像と意味が分かる音声とを有
する再生が可能な早送りのためのスキップサーチ方法の
提供。 【構成】 映像と音声を含む連続画像のフレームh個か
らなるGOPを一定数m個を連続して群とし、複数の群
を映像・音声ファイルとしてフレーム単位に同期して格
納しておき、倍速度に応じて群毎に映像用のGOPを一
定の位置にスキップして選択して読み出し、さらに、音
声用のGOPは意味が分かる再生が可能なように映像用
のGOPの一部を無音声化し、または、ノイズ化し、選
択された映像用のGOPの映像ブロックと音声ブロック
が残されたGOPの音声ブロック、あるいは、音声のみ
のブロックとを結合して再生する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、リクエスト型映像・音
声情報提供システムセンタ等において、蓄積装置にMP
EG符号化方式等でデイジタル圧縮した映像・音声を蓄
積し、その読み取りを行う映像・音声情報の蓄積読み取
り方法に関し、特に音声出力を可能とした早送り再生方
法に関する。
【0002】
【従来の技術】従来、リクエスト型映像・音声情報提供
システムでは、センタと多数の端末とを接続し、端末か
ら要求された映像・音声情報をセンタの蓄積装置から読
み取って当該端末に送信していた。また、従来、ビデオ
の符号化はフレームを基本として行われていたが、圧縮
率向上のためのフレーム間予測符号化では早送りや逆転
再送等の機能を実現できないため、フレーム内符号化画
面を挟み込んだ、複数のフレームを集めてグループオブ
ピクチャ(以下GOPと称す)を構成している。早送り
を実現するためには、(1)映像GOPを一定間隔でス
キップして再生するスキップサーチ方法、(2)フレー
ム内符号化圧縮されたフレームのみを選んで再生する早
送り方法等がある。
【0003】
【発明が解決しようとする課題】上述した従来のスキッ
プサーチ方法は、(1)の一定間隔でGOPをスキップ
して再生する方法では通常再生となる映像再生部分が長
くなるので高速感がなくなり、逆に連続したGOPが少
ないと、実質的な通常再生となる部分が短くなり、音声
の意味が不明瞭となる。また、(2)のフレーム内符号
化画面のみを選んで早送り再生する方法では、フレーム
を飛び飛びに再生するため、再生フレーム対応の短い音
声が飛び飛びに出力され、音声の意味が不明瞭になると
いう欠陥があった。
【0004】本発明の目的は、高速感がある映像と意味
がある音声を併せて再生することを可能とする音声付映
像スキップサーチ方法を提供することである。
【0005】
【課題を解決するための手段】本発明のスキップサーチ
方法は、連続映像から同期をとって所定の単位毎に分割
された映像および音声のファイルを平均n倍速で再生す
る際、前記単位長のm倍を一群とした群毎にk=m/n
個の単位長の映像を選択し、前記群毎にk個以下の単位
長の音声を選択し結合して再生するスキップサーチ方法
において、音声フアイルについて群内で選択される単位
長の数がkより少ない数値であるp個であり、k−p個
の無音またはノイズの単位長と音声ファイルのp個の単
位長を結合して音声を再生する処理を行う。
【0006】また、各群内における映像ファイルを、選
択される単位長相互間の間隔が一定間隔にならないよう
に選択する処理、および、各群内で映像ファイルについ
て選択される単位長相互間の間隔が漸増した後に漸減す
るように選択する処理、さらに、前記無音またはノイズ
とした映像の単位長と音声ファイルの単位長の区間を交
互に結合する処理も本発明に含まれる。
【0007】また、群毎にm個の単位長の中から連続し
た、k個より小さいp個の音声の単位長を選出し、k個
の映像の単位長と該p個の音声の単位長とk−p個の無
音声の単位長を結合して再生する処理も本発明の望まし
い実施態様である。
【0008】前記所定の単位長はグループオブピクチャ
単位であってもよい。
【0009】
【作用】デイジタルの映像・音声ファイルを複数のGO
Pに分割し、かつ、GOPをさらにh個(h≧2を満足
する整数)の複数のフレームで構成し、映像と音声をフ
レーム単位に同期させて蓄積しておき、m個のGOPを
1群とし、群毎にk個の映像再生用GOPを選出し、選
出したk個のGOPの識別子が奇数となるGPOの音声
ブロックを無音声データ、または、ノイズで置換し、あ
るいは、m個のGOPの中から連続したp個のGOPを
音声再生用に選択してその音声ブロックを映像ブロック
と結合して再生するので、意味が分かる音声出力を含む
映像再生が可能となる。
【0010】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0011】図1は本発明の連続映像のGOPとフレー
ムとの構成関係を示す図、図2(a)は5倍速再生のG
OP読み取り選択順位を示す図、図2(b)は図2
(a)によって選択したGOPの映像と音声の結合を示
す図、図3は本発明のスキップサーチ方法の第1の実施
例のフローチャートである。
【0012】本実施例における連続映像のデイジタル動
画情報(映像および音声情報)ファイルは、図1に示す
15の映像フレーム構成のGOPm個(本実施例ではm
=20)を一群として任意の数の群を蓄積装置の物理的
に連続する領域に蓄積する。図中GOPはG001のよ
うにGOPの識別子GとGOPに付与した通し番号のG
OP番号(3桁)とで表示し、フレームは同様にf00
1、f002のようにフレームの識別子fと3桁の通し
番号で表示する。さらに本実施例では一群のGOPの再
生表示のための選択数kをk=4とし、群構成は連続し
たGOP番号のGOPをm=20個づつ区切ったものと
する。また、選出順番が奇数番目のGOPの音声部分を
無音声データまたはノイズで置き換えて、音声と無音声
データが交互に、あるいは、音声とノイズが交互に並ぶ
ようにする。以下、音声を付加させた平均5倍速(n=
m/k=5)の変速型映像スキップサーチ方法を説明す
る。
【0013】第1の実施例はスキップ幅が漸増するモー
ドである。
【0014】また、本実施例の動画情報ファイルは、動
画情報が6ビット/秒のビットレートで符号化されたビ
ット列とし、30フレーム/秒の動画情報を有するもと
する。GOP1個には15フレームを格納し、GOP4
個単位に読み取るものとすると、1フレームの表示時間
は1/30秒であるから、4GOP分すなわち60フレ
ームでは60/30秒=2秒となる。したがって、4G
OPの読み取り時間(Tr)は表示時間(2秒)より小
さくなければならない。蓄積装置として、アクセス時間
50m秒、読み取り速度20Mビット/秒の磁気デイス
ク装置を例とすれば、GOP4個分(2秒相当)を読み
取り処理する所要時間は、 Tr=50m秒+(6Mビット/20Mビット/秒)×
2=0.65秒 となり、2秒以下という条件を十分満たしている。本実
施例の6Mビット/秒の動画情報(音声情報も含む)で
は3多重(2÷0.65≒3)までの読み取り・再生表
示が可能となる。
【0015】本実施例の具体例を以下に示す。
【0016】一つの群内のスキップモードとしてスキッ
プ幅ajが漸増するモードの実施例である。スキップG
OP数の増加分(dj+1)を一定とし、cとすると、 aj+1 =aj+dj+1=aj+c (11)
【0017】
【数1】 j≧1 (13) 式11、12より
【0018】
【数2】 ∴ m=(1+a1+c×(k−1)÷2)×k (14) ここで、m=20、k=4とした平均5倍速では、式
(14)は、 20=4+4a1+6c ∴ 2a1+3c=8 (15) となる。図2(a)は、a1=1,c=2,m=20,
k=4の場合の平均5倍速モードの場合のGOPの読み
取り図である。また、図2(b)は、平均5倍速モード
における映像・音声結合図である。図2(a)におい
て、i番目に読み取る映像データ格納GOPの番号V
(i)の値は、[ ]をガウス記号とすると、 V(i)=(m−k)[(i−1)÷k]+i+(i−
1−[(i−1)÷k]×k)2=16[(i−1)÷
4]+i+(i−1−[(i−1)÷4]×4)2 また、スキップサーチ時に再生出力される音声と映像と
の結合ブロックをS(i)とすると、S(i)は、iが
偶数のときは音声ブロックA(i)を使用し、iが奇数
のときには無音データ(蓄積装置の専用エリアBに予め
格納しておく)を使用する。したがって、 S(i)=V(i)+B (iは奇数) S(i)=V(i)+A(i) (iは偶数) となる。
【0019】図3は本発明の第1の実施例のGOP読み
取り・再生のフローチャートである。 図中Snはステ
ップ番号示す。
【0020】1) まず、ファイル内のGOPポインタ
iおよび早送りGOP数カウンタjを1に初期設定(i
=j=1)する(ステップ1)。
【0021】2) 再生種別の指示が早送り再生か通常
再生かを判定する(ステップ2)。 3) 通常再生のときは、ポインタiのGOPを読み取
る(ステップ3)。
【0022】4) 読み取ったGOPポインタのGOP
を再生する(ステップ4)。
【0023】5) 次に、GOPポインタをインクリメ
ントする(i=i+1)(ステップ5)。
【0024】6) 予め指定されているGOPポインタ
まで再生処理が達したかどうかを確かめて未達の場合は
ステップ3へ処理を回し、終了を確認すると処理を停止
する(ステップ6)。
【0025】7) 一方、早送り再生(高速再生)をス
テップ2で判定すると早送り再生開始のGOPポインタ
iの値(i=j=I0)を抽出する(ステップ7)。
【0026】8) 早送り再生の読み取りGOPのアド
レスを算出する(ステップ8)。具体的には V(j)
=V(j)+I0 となる。
【0027】9) V(j)のGOPを読み取る(ステ
ップ9)。 10) jが奇数か偶数かを判定する(ステップ1
0)。 11) jが奇数の場合は、バッファー上でV(j)の
GOPの映像ブロックとA(j)のGOPの音声ブロッ
クを結合する(ステップ11)。すなわち S(j)=V(j)+A(j)=V(j)+B ここで、Bは無音データの格納ブロックである。 12) ステップ10でjが偶数の場合は、バッファ上
で、映像ブロックと音声ブロックとを結合する(ステッ
プ12)。すなわち S(j)=V(j)+A(j)=V(j) 13) 早送り再生用データとして、S(j)を再生表
示する(ステップ13)。 14) 早送り再生の出力ポインタjをインクリメント
する(j=j+1)(ステップ14)。 15) 早送り再生が予め設定されている群に達したか
どうかにより再生処理を継続するかどうかを判定し、継
続の場合はステップ9へ処理を回し(ステップ15)、 16)終了の場合はステップ3に処理を移して通常再生
に戻す(ステップ16)。
【0028】図4はG100のGOPまで通常再生を行
い、G101から図3に示す早送り再生を行った場合の
平均5倍速の映像・音声出力図、図5は平均5倍速の倍
速変化図である。
【0029】次に、第2の実施例について説明する。
【0030】第2の実施例は、スキップ幅が漸増した後
に漸減する場合である。ここで、スキップGOP数の増
加分(dj+1)は、増加する場合はd(一定)とし、ピ
ークに達して漸減する場合にはーd(一定)とすると、 aj+1=aj+dj+1 (21)
【0031】
【数3】 j≧1 (23) 上記の式21、22より
【0032】
【数4】 ∴ m=(1+a1+d×(k−1)÷2)×k (24) ここで、m=20、k=4とした平均5倍速の場合の例
では、24式は、 20=4+4a1+6d ∴2a1+3d=8 (25) となる。図6(a)はa1=1,d=2,m=20,k
=4の場合の平均5倍速モードにおけるGOP読み取り
図、図6(b)は平均5倍速モードの映像・音声結合図
である。図6(a)において、i番目に読み取る映像ブ
ロックがあるGOPの番号をV(i)とし、||を絶対
値記号、[]をガウス記号とすると、 V(i)=e2+(|5−2e|−3)/2 但,e=i−4×[(i−1)÷4] となる。
【0033】早送り再生時の音声と映像との結合ブロッ
クをS(i)とし、S(i)には、iが偶数のときは音
声データA(i)を使用し、iが奇数のときは蓄積装置
の専用エリアBに格納した無音データを使用する。これ
により、Uを理論和の記号とすると、 S(i)=V(i)∪ A(i) (iは偶数) S(i)=V(i)∪ B (iは奇数) となる。図7はG100のGOPまでの通常再生を行
い、G101よりスキップ幅が漸増した後漸減するモー
ドで早送り再生を行ったばあいの平均5倍速の映像と音
声の出力図、図8は平均5倍速の倍速変化図である。
【0034】次に、第3の実施例について説明する。
【0035】本実施例は連続するGOPをm=20個づ
つの群構成とし、群毎の再生表示GOP数をk=4、群
毎の連続音声のGOP数をp=3とすると、i番目に読
み取るべき映像ブロックがあるGOPの番号V(i)は
以下のとうりとなる。ここに#を〜番目示す記号とする
と、 V(i)=#(m−k)[(i−1)÷k]+i+
[(i−1)÷k]×k)2 図9(a)は、a1=1,m=20,k=4,p=3の
場合における平均5倍速モードのGOP読み取り図で、
この数値を代入すると、V(i)=#16[(i−1)
÷4]+1(i−1)÷4]×4)2 となる。また、
i番目に読み取るべき音声ブロックがあるGOP番号を
A(i)とすると、iが4の倍数のときは、 A(i)
=#B (但 i=4n) の位置に格納されている
無音データを読み取る。iが4の倍数でないときは、 A(i)=#m×[(i−1)÷k]+i=20×
[(i−1)÷4]+i (但 i≠4n)の位置に格納されている。V(1)、
およびA(i)は、 V(1)=#01, A(1)=#01 V(2)=#03, A(2)=#02 V(3)=#07, A(3)=#03 V(4)=#13, A(4)=#B となる。
【0036】ここで、V(1)=A(1)=#01,V
(2)=A(3)=#03 が重複するので、V
(1)、A(2)、V(3),V(4),A(4)の数
値に相当するGOP番号のGOPを読み取る。
【0037】スキップサーチ用の映像と音声の結合ブロ
ックをS(i)とし、∪を論理和の記号とすると、 p≧j≧1 S(i)=V(i)∪ A(i) k≧j≧p+1 S(i)=V(i)∪ B となる。第1周期を例にとると、 S(1)=V(1)∪ A(1)=#01 ∪ #01=#01 S(2)=V(2)∪ A(2)=#03 ∪ #02 S(3)=V(3)∪ A(3)=#07 ∪ #03 S(4)=V(4)∪ A(4)=#13 ∪ #B で表現される。図9(b)は、平均5倍速における映像
・音声結合図で図中の@記号は無音となる音声データB
を配置していることを示す。
【0038】
【発明の効果】以上説明したように本発明は、群毎にk
個の映像早送り再生用のGOPを選出し、かつ、選出G
OPの識別子が奇数となるGOPの音声ブロックを無音
またはノイズとし、あるいは、選出したGOPの中の何
れかを連続したp個のGOPの音声ブロックを映像ブロ
ックと結合して再生するので、以下の効果がある。
【0039】1.連続音声を付加した映像のスキップサ
ーチなので、映像シーンの意味が分かり易くなる。
【0040】2.GOP単位のサーチに対してGOPの
スキップ幅、あるいは倍速度をダイナミックに変化させ
ているので、早送りの速度感を出すことができる。
【0041】3.GOP単位の音声と音声のつなぎ部分
に無音データ、または、ノイズを挟み込んでいるので、
音声が滑らかに聞こえる。
【0042】以上の効果により、MPEG方式等のフレ
ーム間符合化方式によるGOP構成の映像番組のピクチ
ャサーチに効果的である。
【図面の簡単な説明】
【図1】本発明に使用されているGOPの構成を示す図
である。
【図2】(a)は本発明のスキップサーチ方法の第1の
実施例のGOP読み取りを示す図、(b)は読み取った
GOPの映像・音声結合図である。
【図3】本発明のスキップサーチ方法の第1の実施例の
フローチャートである。
【図4】第1の実施例の平均5倍速とする映像・音声出
力図である。
【図5】第1の実施例における映像の平均5倍速の倍速
変化によるGOP読み取り状態を示す図である。
【図6】(a)は第3の実施例の平均5倍速によるGO
P読み取り図、(b)はその映像・音声結合図である。
【図7】第3の実施例の平均5倍速による映像・音声出
力図である。
【図8】第3の実施例の平均5倍速のためのGOP読み
出し状態を示す図である。
【図9】(a)は第3の実施例の平均5倍速のためのG
OP読み取り図、(b)はその映像・音声結合図であ
る。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 連続映像から同期をとって所定の単位長
    毎に分割された映像および音声のファイルを平均n倍速
    で再生する際、前記単位長のm倍を一群とした群毎にk
    =m/n個の単位長の映像を選択し、群毎にk個以下の
    単位長の音声を選択し結合して再生するスキップサーチ
    方法において、 音声フアイルについて群内で選択される単位長の数がk
    より少ない数値であるp個であり、k−p個の無音また
    はノイズの単位長と音声ファイルのp個の単位長を結合
    して音声を再生することを特徴とするスキップサーチ方
    法。
  2. 【請求項2】 各群内における映像ファイルを、選択さ
    れる単位長相互間の間隔が一定間隔にならないように選
    択する請求項1記載のスキップサーチ方法。
  3. 【請求項3】 各群内で映像ファイルについて選択され
    る単位長相互間の間隔が漸増した後に漸減するように選
    択する請求項1記載のスキップサーチ方法。
  4. 【請求項4】 前記無音またはノイズとした映像の単位
    長と音声ファイルの単位長の区間を交互に結合する請求
    項1記載のスキップサーチ方法。
  5. 【請求項5】 前記群毎にm個の単位長の中から連続し
    た、k個より小さいp個の音声の単位長を選出し、k個
    の映像の単位長と該p個の音声の単位長とk−p個の無
    音声またはノイズの単位長を結合して再生する請求項1
    記載のスキップサーチ方法。
  6. 【請求項6】 前記所定の単位長がグループオブピクチ
    ャ単位である請求項1乃至5のいずれか1項に記載のス
    キップサーチ方法。
JP06229129A 1994-09-26 1994-09-26 スキップサーチ方法 Expired - Fee Related JP3102541B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06229129A JP3102541B2 (ja) 1994-09-26 1994-09-26 スキップサーチ方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06229129A JP3102541B2 (ja) 1994-09-26 1994-09-26 スキップサーチ方法

Publications (2)

Publication Number Publication Date
JPH0898146A true JPH0898146A (ja) 1996-04-12
JP3102541B2 JP3102541B2 (ja) 2000-10-23

Family

ID=16887212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06229129A Expired - Fee Related JP3102541B2 (ja) 1994-09-26 1994-09-26 スキップサーチ方法

Country Status (1)

Country Link
JP (1) JP3102541B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1497984A1 (en) * 2002-03-01 2005-01-19 Thomson Licensing S.A. Audio data deletion and silencing during trick mode replay
CN100341311C (zh) * 2004-04-30 2007-10-03 奥林巴斯株式会社 图像显示装置
US7356245B2 (en) 2001-06-29 2008-04-08 International Business Machines Corporation Methods to facilitate efficient transmission and playback of digital information
US8515250B2 (en) 2008-07-17 2013-08-20 Panasonic Corporation Video recording device, video reproduction device, and method thereof
WO2016125362A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356245B2 (en) 2001-06-29 2008-04-08 International Business Machines Corporation Methods to facilitate efficient transmission and playback of digital information
US7720352B2 (en) 2001-06-29 2010-05-18 International Business Machines Corporation Systems and computer program products to facilitate efficient transmission and playback of digital information
EP1497984A1 (en) * 2002-03-01 2005-01-19 Thomson Licensing S.A. Audio data deletion and silencing during trick mode replay
EP1497984A4 (en) * 2002-03-01 2005-10-12 Thomson Licensing ERASING AND SILENCING AUDIO DATA DURING TRACKING MODE READING
CN100341311C (zh) * 2004-04-30 2007-10-03 奥林巴斯株式会社 图像显示装置
US8515250B2 (en) 2008-07-17 2013-08-20 Panasonic Corporation Video recording device, video reproduction device, and method thereof
WO2016125362A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10504554B2 (en) 2015-02-03 2019-12-10 Sony Corporation Information processing device, information processing system, and information processing method

Also Published As

Publication number Publication date
JP3102541B2 (ja) 2000-10-23

Similar Documents

Publication Publication Date Title
AU623302B2 (en) Video signal recording/reproducing apparatus
US6016382A (en) Method for jump-reproducing video data of moving picture coded with high efficiency
JP3097014B2 (ja) 電子スチルカメラ
JP3254924B2 (ja) データ再生方法およびデータ再生装置
JP4726267B2 (ja) 符号化ビデオ信号フォーマット
JP3102541B2 (ja) スキップサーチ方法
KR100537393B1 (ko) 기록 방법, 기록 매체 및 기록 장치
JP3510784B2 (ja) 動画像記録方法、再生方法
JPH08331509A (ja) 画像記録媒体及びその製造方法並びに再生方法
WO2006051657A1 (ja) 動画像再生装置
JP3523493B2 (ja) 高能率符号化データの多重化方法及び多重化装置
JP4027337B2 (ja) 映像情報記録装置および映像情報記録方法ならびに映像情報再生装置および映像情報再生方法
JPH05344495A (ja) 動画像符号化方式
JP4272753B2 (ja) 再生装置及びその制御方法、並びにコンピュータ読み取り可能な記憶媒体
JPH08181947A (ja) 画像圧縮記録媒体及び画像圧縮記録媒体再生装置
JPH05130557A (ja) マルチメデイアデータの編集方法
JP2001054106A (ja) 映像データ記録再生方法および装置
JP3214616B2 (ja) デジタル圧縮映像の倍速再生方法
JPH0898134A (ja) データ記録再生装置
JPH06339113A (ja) 動画像記録再生装置
EP0969471A2 (en) Information recording medium, and editing apparatus and method therefor
JP2931121B2 (ja) マルチメディアデータの編集方法
JP2001076433A (ja) データ再生方法及びデータ再生装置
JP2004140679A (ja) 記録媒体とその再生装置及び記録装置
JP2001078145A (ja) データ再生装置及びデータ再生方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070825

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080825

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080825

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090825

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090825

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100825

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100825

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110825

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120825

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130825

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees