JP3020590B2 - 動画像処理方法 - Google Patents

動画像処理方法

Info

Publication number
JP3020590B2
JP3020590B2 JP2288525A JP28852590A JP3020590B2 JP 3020590 B2 JP3020590 B2 JP 3020590B2 JP 2288525 A JP2288525 A JP 2288525A JP 28852590 A JP28852590 A JP 28852590A JP 3020590 B2 JP3020590 B2 JP 3020590B2
Authority
JP
Japan
Prior art keywords
moving image
link
time
input
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2288525A
Other languages
English (en)
Other versions
JPH04163589A (ja
Inventor
元章 里山
惠 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2288525A priority Critical patent/JP3020590B2/ja
Publication of JPH04163589A publication Critical patent/JPH04163589A/ja
Application granted granted Critical
Publication of JP3020590B2 publication Critical patent/JP3020590B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、動画像を対象とする画像処理装置及び方法
に係り、特に、情報の論理的単位(ノード)をリンクに
よって関連付け、これらのノードの連鎖を手繰り寄せる
ことで互いに関連し合った情報を検索するハイパーテキ
スト処理装置、または、動画像の表示内容から、リンク
を手繰って情報検索を行う場合に利用できるハイパーテ
キスト処理装置に関する。
〔従来の技術〕
従来のハイパーテキストシステムにおいては、特開平
1−134561において述べられているように、文書を論理
的単位(ノード)によって区分し、各単位の間はシステ
ムの提供するリンクで関連づけられた状態で記憶装置に
記憶されて、木構造,網構造、あるいはその両者を組合
せた複雑な非線形の構造を持った文書、すなわち、ハイ
パーテキストが組立てられる。利用者は、この互いに関
連づけられて記憶されている上記単位のうち、必要とす
る単位を上記リンクに基づいて自由に読み出すことがで
きる。
例えば、このようなハイパーテキストを使ったシステ
ムとしてApple社のHayperCard(西林端夫著,共立出版,
Macintosh pp.171−207)がある。ハイパーカードで
は、カードと呼ばれる情報の単位をリンクにより関連づ
けており、カードに描かれている絵や文字をマウスでク
リックすることで、その絵や文字に関するカードが表示
される。
〔発明が解決しようとする課題〕
しかしながら、従来方式では、上記ハイパーカードの
カードにあたるようなリンクを設定する情報の論理的な
単位(ノード)は、テキストや静止画像に限られ、動画
像として表現される情報を扱うことができなかった。
本発明の第1の目的は、動画像内の一部分によって表
現される情報に、上記の論理的単位(ノード)として扱
い、リンクを設定できるようにした画像処理装置を提供
することである。
本発明の第2の目的は、動画像を出力しながら、時間
を計測し、動画像の表示部分を、マウスの如き位置指示
装置で指示することで上記リンクを設定すべき表示部分
と時間とを記憶するリンク設定方法を提供することであ
る。
〔課題を解決するための手段〕
上記第1の目的を達成するために、本発明の画像処理
装置は、動画像を記録するための手段と、該動画像再生
表示時の任意の動画像表示領域と、任意の時間帯と、任
意の説明情報とをそれぞれリンクさせて記憶するための
手段と、上記動画像表示中に、上記動画像表示領域上で
ユーザからの入力された所定コマンドに応じて、上記コ
マンドの入力タイミングが属する時間帯にリンクされた
上記説明情報を動画像と並列表示するための手段とを備
える。
更に具体的な表現を用いれば、本発明の画像処理装置
は、マウス等の位置入力装置と、ビットマップディスプ
レイ等の表示装置と、プログラムやデータを記憶する主
記憶装置と、主記憶装置からプログラムを読み出し実行
する中央処理装置と、時間を計測するタイマと、管理フ
ァイル等を記憶する外部記憶装置と、動画像信号を出力
する動画像再生装置と、プログラムの実行制御と入出力
管理を行う制御手段と、少なくとも一つ以上のウィンド
ウを上記表示装置に表示することができるウィンドウ表
示手段と、情報の論理的単位(ノード)をリンクによっ
て関連付け、これらのノードの連鎖を手繰り寄せること
で互いに関連し合った情報を検索する手段とを備えた情
報処理装置において、動画像上の対象に別のノードをリ
ンクによって関連付けるのに、時間と表示範囲との両方
を使用する。
本発明の第2の目的を達成するために、本発明では上
記動画像上の対象を識別するのに使用する時間と表示範
囲とを設定する方法において、マウスの如き位置指示装
置で、表示上の範囲を指示し続けることで動画像上の表
示範囲を設定し、表示範囲を設定している時の時刻とし
て、動画像の出力が開始された時刻からの経過時間を記
憶することを特徴とする。
〔作用〕
本発明によれば、動画像の出力が開始された時刻を起
点とした時間と、その時間における表示範囲とを使っ
て、動画像上の対象と別のノードとをリンクで関連づけ
ておくことによって、利用者が動画像のある表示部分を
マウスで指示するなどの操作によって、動画像内のある
表示部分に関するリンクを手繰るとき、上記マウスで指
示された範囲もしくは座標と動画像の出力開始時刻から
の経過時間とによって関連付けられたノードを出力する
ことができ、動画像を扱ったハイパーテキスト処理が可
能になる。
〔実施例〕
本発明の実施例を図面を用いて詳細に説明する。
第3図は本発明を実施するためのワークステーション
の全体構成図である。201はビットマップディスプレイ
の如き表示装置、202はマウスの如き入力装置、203は動
画像を再生し、表示装置201に表示する動画像再生装
置、204は時間を管理するタイマ、205はプログラムやデ
ータを記憶する主記憶装置、206は主記憶装置からプロ
グラムやデータを読み込み実行する中央処理装置、207
はファイルを格納する外部記憶装置である。
第4図は本発明を実施するためのソフトウェア構成で
ある。各プログラムは外部記憶装置207から主記憶装置2
05に適宜読み出され、中央処理装置206に実行される。
301はプログラムの実行を制御する基本制御プログラ
ム、302は動画再生装置から出力される動画像を表示装
置に出力するなどの動画像再生装置の制御を行う動画像
再生装置制御プログラム、303は表示装置の表示制御を
行う表示装置制御プログラム、304はマウスやキーボー
ドなどの入力装置の制御を行う入力装置制御プログラ
ム、305はタイマの管理を行うタイマ管理プログラム、3
06は外部記憶装置の制御を行う外部記憶装置制御プログ
ラム304を呼出して、ウィンドウによる入出力管理を行
うウィンドウ制御プログラム、308はハイパーテキスト
処理を行うハイパーテキスト処理プログラムである。
308はハイパーテキスト処理プログラムであり、この
プログラムは第5図の如き表示画面のレイアウトを管理
する画面レイアウト管理プログラム309と、動画像再生
装置制御プログラムによって出力される動画像を動画像
ウィンドウ401に表示する動画像ウィンドウ表示プログ
ラム310と、動画像ウィンドウ401に関するリンクを管理
するリンク管理プログラム311と、上記リンク管理プロ
グラム311にリンクによって関連付けられた情報(説明
データ)を外部記憶装置から読み出す説明データ管理プ
ログラム312と、利用者が位置指示装置で指示する動画
像内の表示部分(座標,高さ,幅)及びタイマから得ら
れる時間を記憶し、リンクする情報を利用者に入力させ
後述する。第8図の如きリンク設定ウィンドウを表示す
るリンク指示プログラム313とから構成される。
第5図は、ハイパーテキスト処理プログラムが表示す
る画面例を示す図である。401は動画像を表示する動画
像表示ウィンドウ、402は動画像に関連付けられた説明
データを表示する説明データ表示ウィンドウ、403は動
画像の表示を一時停止するのに使用するポーズボタン、
404は説明データウィンドウをスクロールさせるのに使
用するスクロールバーである。
第8図は、リンク設定プログラム313が表示する画面
例を示す図である。701は動画像を表示する動画像表示
ウィンドウ、702は動画像に関連付けられた説明データ
を入力する説明データ入力ウィンドウ、703は動画像へ
のリンク設定を開始を指示するリンク設定ボタン、704
は説明データ入力ウィンドウをスクロールさせるのに使
用するスクロールバーである。
第9図は、リンク設定時の動画像ウィンドウ上で変化
する動画像と、リンク管理表に格納されるデータとの関
係を示すイメージ図である。
第1図は、上述したハイパーテキスト処理プログラム
により実行される全体のフローチャートを示す図であ
る。
ハイパーテキスト処理プログラムの処理は、動画像と
リンクさせる説明文あるいは図形データを設定するため
のリンク設定プログラム313の処理(120,第2図)と、
ユーザの指示に応じて、ステップ120で設定された説明
文等を動画像とリンクさせて表示する処理(101〜116)
とに大別される。ハイパーテキスト処理プログラムが起
動されると、メニュー画面上で表示モードとリンク設定
モードのいずれかが選択される(図示略)。
まず、リンク設定モードが選択された場合のリンク設
定プログラムの処理(120)について第2図を用いて説
明し、次に、設定された説明文等を動画像とリンクさせ
て表示する処理(第1図101〜116)について順に説明す
る。
リンク設定プログラムが起動(120)されると、タイ
マが初期化され、予め外部記憶装置207に記憶しておい
た動画像データが、動画像ウィンドウ(701)上に表示
される(121)。また、主記憶装置内部にはモードを設
定するためのモード格納エリア(図示略)が設けられて
おり、一部の処理の分岐判断時にその内容が参照される
ことになる。リンク設定プログラムが起動時には、通常
モードが設定される。
したがって、ステップ122で取り込んだイベント(入
力装置からコマンド割込み)が、リンク設定ボタン(第
8図703)を指定したマウスイベントでないかぎりステ
ップ123〜127を素通りして、ステップ122にリターンす
ることになる。
128:リンク設定ボタン(703)を指定したマウスイベン
トがあった場合には、タイマと動画像の表示を一時停止
し、モードを始点入力モードに設定し、ステップ122に
リターンする。
123:モードが始点入力モードである場合には、ステップ
131へ分岐し、動画像画面上でマウスイベントがあるま
で、ステップ123,131,122をループする。
132:ステップ131で動画像画面上でのマウスからのイベ
ントが確認された場合に、マウスで入力された始点のx,
y座標(例えば、(10,10))を、主記憶装置内部に構築
されるリンク管理表(第6図)の(x1,y1)のコラムに
記録し、モードを終点入力モードに設定する。
124:ステップ132において終点入力モードが設定された
場合に、ステップ133〜137(第2図(b))に分岐す
る。
133:マウスからイベントが継続して入力されている場合
はステップ134に分岐し、マウスからのイベントがない
場合にはステップ135にすすむ。
134:ステップ132でリンク管理表に記録した始点と、現
在のマウスからの入力座標点とを対角点とする矩形のラ
バーバンドを描写する。
135:ステップ133,134において、継続して入力されてい
たマウスからのイベントが途絶えた場合に、ステップ13
6に進む。
136:マウスからの入力座標点(例えば、(150,100))
を終点データとして、リンク管理表(第6図)の(x2,y
2)のコラムに記録する。
137:タイマの値(例えば、60)をリンク開始設定時刻と
して、リンク管理表(第6図の「t1」のコラムに記録す
る。また、マウスカーソルをラバーバンドの中心点に移
動し、ラバーバンドを表示したまま、タイマと、動画像
の出力を再開する。また、モードをリンク範囲設定モー
ドに設定する。
125:リンク設定モードの場合にはステップ126へ進み、
他のモードの場合はステップ138に分岐する。
138:マウスからの入力座標に変化があったときにはステ
ップ142に進み、マウス以外のイベント(例えば、完了
キーからのイベント)が入力された場合には、ステップ
139に分岐する。
139:完了キーからのイベントが入力された場合はステッ
プ140へ進み、他のイベントの場合はリンク設定のやり
直しをおこなうためのステップ144(第2図(c))へ
分岐する。
140:タイマと動画像の出力を一時停止する。
141:モードを説明する入力モードに設定し、ステップ12
2へリターンする。
144:キャンセルキーからのイベント入力されていた場合
はステップ145へ進み、その他のイベントである場合に
はステップ122へリターンする。
145:ステップ132,136,137でリンク管理表に記録された
内容を削除し、モードを通常モードに設定し、ステップ
122へリターンする。
126:モードが説明文入力モードの場合はステップ151
(第2図(d))へ分岐し、ステップ151では説明文の
入力完了キーの入力の判断を行う。
155:ユーザに説明文あるいは説明図形の入力を促し、入
力された説明データを編集バッファに格納する。
152:ステップ151で完了キーが入力されていた場合に、
ステップ155で入力されたデータと、ユニークに割り当
てられるノードID(例えば、3)とデータの種別(例え
ば、テキスト)を対応つけて、説明文管理表(第7図)
に記録する。
153:ステップ152で割り付けられたノードIDをリンク管
理表「ノードID」のコラムに記録する。
154:モードを通常モードに設定し、タイマと動画出力を
再開し、ステップ122にリターンする。
以上の処理により、主記憶装置205内には第6図及び
第7図に示すテーブルが作成され、動画像の一部領域
と、それに対応する説明データとがリンクされることに
なる。
尚、リンク設定モードでマウスを移動した場合は、既
に、ステップ132,136,317で設定された動画像と、移動
後の範囲でリンクされる動画像とが同じ説明文でリンク
されることになる。
したがって、ステップ142では、マウスからの入力座
標を中心点として、ラバーバンドを移動し、タイマ値
(例えば、92)をリンク設定終了時刻として、リンク管
理表(第6図)の「t2」のコラムに記録し、ステップ14
3では、リンク管理表の次の行にポインタを進め、その
時のタイマ値をリンク開始設定時刻として、リンク管理
表(第6図)の「t1」のコラムに記憶する。また、移動
後のラバーバンドから矩形の2つの対角点を求め、リン
ク管理表(第6図)の(x1,y1)及び(x2,y2)のコラム
に座標を入力し、説明文入力モードにおける処理を繰り
返す。この場合、リンク管理表の複数のリンク設定範囲
には、同じノードIDが付されることになる。
また、ステップ127での分岐先ステップ129(第2図
(e))では、キャンセルキーからのイベントである場
合には、ハイパーテキスト処理プログラム起動時にリタ
ーンし、他のイベントである場合にはイベントを無視し
てステップ122にリターンする。
次に、上述してきたリンク設定プログラムにより説明
文がリンクされた動画像をユーザからの指示に応じて表
示する場合のフローを、第1図のフローチャートを用い
て説明する。
100:リンク設定モードであるか調べ、リンク設定モード
ならリング設定プログラム120を呼ぶ。
101:タイマを初期化する。
102:動画像再生装置からの出力を動画像ウィンドウ401
に表示する。
103:マウスイベントを待ち、マウスイベントを入力した
ら104へ、マウスイベント以外であれば、116へジャンプ
する。
104:動画像ウィンドウが指示されたかどうか、調べ、動
画像ウィンドウ内なら現在時刻と、指示された座標をも
って105へ、外なら110へジャンプする。
105:第6図の如きリンク管理表において、現時刻が時間
帯503に含まれ、かつ、座標が始点501と始点502に囲ま
れる矩形内に含まれるかを調べ、該当する項のノードID
を得る。該当する項がない場合、106へ進み、該当する
項がある場合、107へ進む。
106:0をもつて108へジャンプする。
107:ノードIDをもって108へジャンプする。
108:あらかじめ外部記憶装置から読み込んでおいた第7
図の如き説明文管理表からノードIDに対応する説明情報
を得る。第7図において、601はノードID、602は説明デ
ータの種別、603は説明データへのポインタ、604は文字
列や画像を表現される説明データである。
109:得られた説明データを説明データ表示ウィンドウ40
2に表示し、103へ戻る。
110:ポーズボタンウィンドウ403が指示されたかを調
べ、指示された場合、111へ進み、そうでなければ103へ
戻る。
111:現在、動画像が表示されているか調べ、動画像が表
示中なら112へ進み、そうでなければ114へ進む。
112:タイマを一時停止する。
113:動画像の表示を一時停止し、103へ戻る。
114:タイマを再スタートする。
115:動画像の表示を再スタートし、103へ戻る。
116:終了キーが押されたのか調べ、YESならプログラム
を終了し、NOなら103へ戻る。
〔発明の効果〕
以上の説明すら明らかな如く、本発明によれば、情報
の論理的な単位であるノードをリンクによって動画像に
関連づけておくことができ、動画像を利用したハイパー
テキストが利用でき、動画像を使ったプレゼンテーショ
ン,教育用ソフトウェア,電子カタログなどに応用で
き、便利である。
【図面の簡単な説明】
第1図は本発明の一実施例の動作原理を示した流れ図、
第2図はリンク設定プログラムのフローチャートを示す
図、第3図は本発明を実施するためのワークステーショ
ンの構成図、第4図は本発明を実施するためのソフトウ
ェア構成図、第5図は本発明を実施するための表示画面
の例を示す図、第6図は本発明を実施するためのリンク
管理表の構造図、第7図は本発明を実施するための説明
データ管理表の構造図、第8図はリンク設定プログラム
を実施するための入力画面の例を示す図、第9図は本実
施例においてマウスでリンクを設定する様子を示した図
である。 201……動画像を再生する動画像再生装置、309……表示
画面のレイアウトを管理する画面レイアウト管理プログ
ラム、311……リンクとして関連付けられているノード
を検索するリンク管理プログラム、312……リンクされ
ているノード(説明データ)を外部記憶装置から読み込
み管理する説明データ管理プログラム、401……動画像
を表示するウィンドウ、402……動画像に関連付けられ
た説明画像を表示するウィンドウ。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G09G 5/36

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】処理装置を用いた動画像処理方法におい
    て、 前記動画像を表示し、 前記表示された動画像に含まれる対象物の表示領域の座
    標値を入力し、 前記動画像に関連するハイパーテキストの前記対象物に
    対応するノードの識別子と、前記動画像の再生開始から
    計時を始めた後の第1の時間の経過を示す時刻1と、前
    記動画像の再生開始から計時を始めた後であって前記第
    1の時間よりも後の第2の時間の経過を示す時刻2と、
    前記表示領域の座標値とからなるリンク管理情報を生成
    し、 前記動画像を再生する際に、前記リンク管理情報に基づ
    いて、動画像中の指示された対象物に対応するノードに
    対応する情報を前記時刻1から前記時刻2に至る時間の
    間表示することを特徴とする動画像処理方法。
JP2288525A 1990-10-29 1990-10-29 動画像処理方法 Expired - Lifetime JP3020590B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2288525A JP3020590B2 (ja) 1990-10-29 1990-10-29 動画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2288525A JP3020590B2 (ja) 1990-10-29 1990-10-29 動画像処理方法

Publications (2)

Publication Number Publication Date
JPH04163589A JPH04163589A (ja) 1992-06-09
JP3020590B2 true JP3020590B2 (ja) 2000-03-15

Family

ID=17731368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2288525A Expired - Lifetime JP3020590B2 (ja) 1990-10-29 1990-10-29 動画像処理方法

Country Status (1)

Country Link
JP (1) JP3020590B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372554B2 (ja) * 1991-02-01 2003-02-04 キヤノン株式会社 画像処理装置及びその方法
JPH0764847A (ja) * 1993-08-27 1995-03-10 Oki Electric Ind Co Ltd ハイパーメディアシステム
JP3676413B2 (ja) * 1994-05-16 2005-07-27 三菱電機株式会社 ビデオデータ管理方式
JP3214258B2 (ja) * 1994-10-24 2001-10-02 三菱電機株式会社 動画処理装置、動画アンカー表示方法、動画アンカー判断方法
US5696905A (en) * 1995-03-20 1997-12-09 International Business Machines Corporation System and method for providing merchant information and establishing links to merchants while presenting a movie
JP3335816B2 (ja) * 1995-10-19 2002-10-21 富士通株式会社 ビデオプレゼンテーションシステム
US5970504A (en) * 1996-01-31 1999-10-19 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated
US6144972A (en) * 1996-01-31 2000-11-07 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique
JP3520952B2 (ja) * 1997-02-04 2004-04-19 シャープ株式会社 文書表示装置
JPH1115992A (ja) * 1997-06-19 1999-01-22 Nagano Nippon Denki Software Kk ホットスポット軌跡入力装置
US6580870B1 (en) 1997-11-28 2003-06-17 Kabushiki Kaisha Toshiba Systems and methods for reproducing audiovisual information with external information
JPH11161664A (ja) * 1997-11-28 1999-06-18 Toshiba Corp Av情報の再生システム及び同システムに適用する再生方法
KR100406860B1 (ko) * 2001-06-02 2003-11-21 삼성에스디에스 주식회사 동영상의 객체이미지를 저장하는 방법 및 그 장치
CN111951354A (zh) * 2020-06-16 2020-11-17 江西中科九峰智慧医疗科技有限公司 一种基于Cornerstone Tools的标注方法及系统

Also Published As

Publication number Publication date
JPH04163589A (ja) 1992-06-09

Similar Documents

Publication Publication Date Title
JP3123025B2 (ja) データ処理システムにおける切貼りフィルタ
JP3020590B2 (ja) 動画像処理方法
US5274758A (en) Computer-based, audio/visual creation and presentation system and method
US6415303B1 (en) Method and system for describing functionality of an interactive multimedia application for use on an interactive network
US9176607B2 (en) Input/output apparatus for displaying superposed images including a handwritten image
EP0403118B1 (en) Audio/visual compilation in a data processing system
JPH06149532A (ja) カーソル形状設定方法
CN113741753A (zh) 撤销方法、电子设备、存储介质及计算机程序产品
JPS6290758A (ja) 情報処理装置
JP2600530B2 (ja) シナリオ提示方法および編集方法
JP2001103415A (ja) スライドショー装置
JPH0789267B2 (ja) データ編集/提示方法とその装置
JPH07282079A (ja) リンク表示方法
JP2797400B2 (ja) データ表示制御装置
JP2509982B2 (ja) ガイダンス画面制御方式
JP3175239B2 (ja) マルチメディア情報編集装置
JPH06231030A (ja) マルチメディアオーサリングシステム
JP3542293B2 (ja) マルチメディアタイトル編集装置、マルチメディアタイトル編集方法、及びマルチメディアタイトル編集プログラムを記録した記録媒体
JP3011307B2 (ja) マルチメディア情報編集再生装置
JP2001086433A (ja) 監視記憶装置における画像データ検索表示方法
JPH05204576A (ja) 動的シナリオ提示方法
JP3371374B2 (ja) データ処理装置およびデータ処理方法
JPH08147264A (ja) マルチメディアプレゼンテーション編集実行装置
JPH10171836A (ja) ハイパーメディア自動ナビゲーション装置
JP2851071B2 (ja) データベース装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100114

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110114

Year of fee payment: 11

EXPY Cancellation because of completion of term