JPH10126721A - 動画像検索用情報生成装置 - Google Patents

動画像検索用情報生成装置

Info

Publication number
JPH10126721A
JPH10126721A JP8276551A JP27655196A JPH10126721A JP H10126721 A JPH10126721 A JP H10126721A JP 8276551 A JP8276551 A JP 8276551A JP 27655196 A JP27655196 A JP 27655196A JP H10126721 A JPH10126721 A JP H10126721A
Authority
JP
Japan
Prior art keywords
histogram
image
search information
moving image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8276551A
Other languages
English (en)
Other versions
JP3731952B2 (ja
Inventor
Jiro Kiyama
次郎 木山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO
Sharp Corp
Original Assignee
GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO, Sharp Corp filed Critical GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO
Priority to JP27655196A priority Critical patent/JP3731952B2/ja
Publication of JPH10126721A publication Critical patent/JPH10126721A/ja
Application granted granted Critical
Publication of JP3731952B2 publication Critical patent/JP3731952B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 動画像を検索する場合、動画像の変化が画面
のどこで起きているかを含むデータを提示可能にし、意
図する画像により正確にアクセスし得るようにする動画
像の検索用情報の生成装置を提供する。 【解決手段】 エッジ処理部21でエッジ画像とした動
画像をその連なりにそって順次各フレーム毎に且つフレ
ームの少なくとも1以上の方向についての明度値ヒスト
グラムをヒストグラム作成部22で求め、求めたヒスト
グラムのフレーム間差分を演算部23で処理し、得た結
果を動画像の連なりにそって複数フレーム検索用情報と
してディスプレイ3で表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像検索用の情
報を生成する装置に関し、より詳細には、動画像情報を
処理してその変化を求めることにより、検索を支援する
ために表現されたデータを生成する装置に関する。
【0002】
【従来の技術】ユーザが動画像中のある画像にアクセス
しようとする場合に、意図する画像が動画像中のどの時
点にあるかを一目でわかるようにする従来の方法とし
て、特開平4−235589号公報に記載されている技
術がある。これは、動画像のフレーム毎の画像情報を時
間変化として表示するという方法をとっている。この方
法では、輝度を複数段階に分類し、各フレームにおける
それぞれの輝度を持つ画素数のヒストグラムを作成し、
前記ヒストグラムを高さ情報などとして時系列にその変
化が分かるように表示することで、ユーザの意図するシ
ーンをある程度判別可能にしている。
【0003】
【発明が解決しようとする課題】しかしながら、上述の
方法では、ヒストグラムを作成する際、所定フレームの
画面のトータルとして1つのヒストグラムを得るという
処理を行い画面内の位置情報が欠落するために、画像内
にとらえられた対象物体の動きを知りたい場合、画面中
のどの場所であったのかを知ることは困難である。ま
た、この方法では、背景の情報もヒストグラムに含まれ
てしまうため、注目したい対象物体の動きが埋もれてし
まうおそれがある。本発明は、こうした従来技術におけ
る問題点に鑑みてなされたもので、動画像の検索に用い
る情報を生成する場合に、動画像の変化を画面中のどの
場所(位置)で起きているかを含めて検索用のデータを
提示することを可能にして、動画像のより細い変化にも
とづいて動画像の意図する画像へのアクセスをより正確
になし得るようにする動画像の検索に用いる情報を生成
する装置を提供することをその解決すべき課題とする。
【0004】
【課題を解決するための手段】請求項1の発明は、検索
されるべき動画像信号について、動画像の連なりにそっ
て順次画像の所定範囲における明度値ヒストグラムを求
めるヒストグラム作成手段と、該ヒストグラム作成手段
によって作成されたヒストグラムにもとづく検索用情報
を動画像の連なりにそい表現するための処理を行う検索
用情報処理手段を有し、該検索用情報処理手段により得
た検索用情報によって動画像の連なりから特定画像部分
を検索し得るようにした動画像検索用情報生成装置にお
いて、前記ヒストグラム作成手段は、動画像の各フレー
ム毎に且つフレームの少なくとも1以上の方向について
のヒストグラムを求めるようにしたことを特徴とするも
のである。
【0005】請求項2の発明は、請求項1の発明におい
て、前記ヒストグラム作成手段に入力する画像をエッジ
画像とするエッジ画像処理手段を備えるようにしたこと
を特徴とするものである。
【0006】請求項3の発明は、請求項1又は2の発明
において、前記検索用情報処理手段は、求めた前記ヒス
トグラムについてフレーム間同士で対応するヒストグラ
ムのフレーム間差分値をさらに検索用情報として処理す
るようにしたことを特徴とするものである。
【0007】請求項4の発明は、請求項1ないし3の発
明において、前記検索用情報処理手段によって出力され
る検索用情報をグラフィックに表示する表示手段をさら
に備えるようにしたことを特徴とするものである。
【0008】請求項5の発明は、請求項4の発明におい
て、前記表示手段は、動画像の複数フレームにわたる前
記動画像検索用情報を1画面で表示するようにしたこと
を特徴とするものである。
【0009】
【発明の実施の形態】以下、添付図面を用いることによ
り、本発明の一実施形態を詳細に説明する。図1は、本
発明の動画像検索用情報生成装置の実施形態の概要を示
すブロック図である。図1において、1は動画像メモ
リ、2は動画像処理部、3はディスプレイであり、動画
像処理部2には、エッジ処理部21、ヒストグラム作成
部22及びフレーム間差分演算部23を備える。
【0010】次に、図1に示される構成の本実施形態に
ついてその動作に関する説明をする。動画像メモリ1に
蓄積された動画像は、動画像処理部2でフレーム内処
理,フレーム間処理の順に処理を施される。まず、フレ
ーム内処理について説明する。フレーム内処理は、各フ
レーム毎に行なわれる。処理の対象がカラー画像であれ
ば、まず明度画像に変換する必要がある(図示せず)。
こうして変換された明度画像を次にエッジ抽出部21
おいてRobertsフィルタを用いてエッジ画像に変換す
る。図2は、動画像処理部において行われるエッジ画像
抽出の一例を示す概念図である。図2に示すように、明
度情報に変換されたフレーム内の画像(A)は、エッジ
抽出処理によってエッジ部分だけで表現される画像
(B)に変換される。明度情報への変換やエッジ画像へ
の変換処理の方法は、(森俊二・板倉栂子:“画像認識
の基礎”、オーム社、1990)等、多くの文献に既に記載
されているので、それらを参照することとして、ここで
は省略する。
【0011】次に、ヒストグラム作成部22において、
上述のようにして得られたエッジ画像からx方向,y方
向のヒストグラムを求める。このとき、フレーム番号i
の画像の座標(x,y)の明度値がI(x,y)(1≦
x≦X,1≦y≦Y)であったとする(図2(B)参
照)。なお、ここでX,Yはそれぞれ1フレームの縦,
横の長さを表すものとして画像の横方向,縦方向のピク
セル数でそれを表す。そして、y方向のヒストグラムH
y(x),x方向のヒストグラムHx(y)は、
【0012】
【数1】
【0013】図3は、エッジ画像からx方向及びy方向
のヒストグラムを求めた結果をエッジ画像とともに示す
図である。図3において、ヒストグラムは座標ごとの明
度値のヒストグラムがバーで表示するように処理されて
いる例を示す。次に、フレーム間差分演算部23で行な
うフレーム間処理の説明に移る。ここでは、フレーム内
処理で得られたフレーム番号iのX方向、Y方向のヒス
トグラムをそれぞれHy(i,x)、Hx(i,y)と
する。フレーム間差分Dy(i,x)、Dx(i,y)
は、 Dy(i,x)=abs(Hy(i,x)−Hy(i−
1,x)), Dx(i,y)=abs(Hx(i,y)−Hx(i−
1,y)) と定義され、この定義に従ってそれぞれ求めることにな
る。なお、上記した式におけるabsは絶体値を取るた
めの関数である。
【0014】図4は、フレーム間処理を行って求めた結
果(B)を各フレームのエッジ画像のヒストグラム(A
1,A2)とともに示す図である。図4において、フレ
ームt−1からtにかけて動画像中の人間が正面を向い
ているシーン(A1)から頭を下げているシーン(A
2)へと変化する場合のDx(i,y)(1≦y≦Y)
を算出した例を示す。この例では、画像(A1及びA
2)中の頭の高さに対応するyにおいてDx(i,y)
が大きな値を示しており、頭の高さの付近で動きがある
ことがわかる。このようにフレーム間で差分を取ること
で、カメラの位置が不変の場合、背景は差分をとること
により0出力となって背景の影響を打ち消すことがで
き、対象となる物体の動きだけを捉えることが可能とな
る。また、y方向のDy(i,x)も同様に動きを検出
することが可能である。
【0015】上述のようにして得たヒストグラムのフレ
ーム間差分Dy(i,x)、Dx(i,y),1≦i≦
Iをディスプレイ3に表示する。ここでIは、表示の対
象とする動画像のフレーム数で動画像の連なりから検索
する画像の箇所を表す。表示は、Dy(i,x)につい
ては、画面上の座標(i,x)のピクセルの輝度値をD
y(i,x)にすることで行なう。Dx(i,y)も同
様に、座標(i,y)のピクセルの輝度値をDx(i,
y)にすることで行なう。図5は、フレーム間処理を行
って求めたx方向(A)及びy方向(B)の結果を時間
軸(フレーム数)を横軸にして表示した例を示すもので
ある。図5において、動画面中央で人間が「おじぎ」を
行なったものを処理した結果であるが、画面中央で何か
が上下していることが一目でわかる。もし、人間の対話
を収録した動画像であれば、頭の上下に対応すると考え
られ、実際に動画像を再生せずとも「おじぎ」を行なっ
ていると推測できる。したがって、図5のように、動画
像の所定時間に含まれるフレームの画像の変化をし画像
で表示する形式をとると、その画面表示から、検索しよ
うとするシーンを容易に見付けることができる。
【0016】
【発明の効果】本発明によれば、画像における明度のヒ
ストグラムの時間的変化を単に求めるだけの従来技術で
はとらえられなかった動画像中の対象を特定の時点の画
面において特定の方向でのヒストグラムからとらえるこ
とができ、それによってシーンを推測できるので、より
正確にシーンの検索が可能となる。さらに、上記したヒ
ストグラムのフレーム間差分をとり、その結果を一画面
に時間(フレーム数)軸にそって表示するようにしてい
るので、より容易にシーンの検索が可能となる。
【図面の簡単な説明】
【図1】本発明の動画像検索用情報生成装置の実施形態
の概要を示すブロック図である。
【図2】動画像処理部において行われるエッジ画像抽出
の一例を示す概念図である。
【図3】エッジ画像からx方向及びy方向のヒストグラ
ムを求めた結果をエッジ画像とともに示す図である。
【図4】図4は、フレーム間処理を行って求めた結果
(B)を各フレームのエッジ画像のヒストグラム(A
1,A2)とともに示す図である。
【図5】フレーム間処理を行って求めたx方向(A)及
びy方向(B)の結果を時間軸(フレーム数)を横軸に
して表示した例を示すものである。
【符号の説明】
1…動画像メモリ、2…動画像処理部、21…エッジ処
理部、22…ヒストグラム作成部、23…フレーム間差分
演算部、3…ディスプレイ。

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 検索されるべき動画像信号について、動
    画像の連なりにそって順次画像の所定範囲における明度
    値ヒストグラムを求めるヒストグラム作成手段と、該ヒ
    ストグラム作成手段によって作成されたヒストグラムに
    もとづく検索用情報を動画像の連なりにそい表現するた
    めの処理を行う検索用情報処理手段を有し、該検索用情
    報処理手段により得た検索用情報によって動画像の連な
    りから特定画像部分を検索し得るようにした動画像検索
    用情報生成装置において、前記ヒストグラム作成手段
    は、動画像の各フレーム毎に且つフレームの少なくとも
    1以上の方向についてのヒストグラムを求めるようにし
    たことを特徴とする動画像検索用情報生成装置。
  2. 【請求項2】 前記ヒストグラム作成手段に入力する画
    像をエッジ画像とするエッジ画像処理手段を備えるよう
    にしたことを特徴とする請求項1記載の動画像検索用情
    報生成装置。
  3. 【請求項3】 前記検索用情報処理手段は、求めた前記
    ヒストグラムについてフレーム間同士で対応するヒスト
    グラムのフレーム間差分値をさらに検索用情報として処
    理するようにしたことを特徴とする請求項1又は2記載
    の動画像検索用情報生成装置。
  4. 【請求項4】 前記検索用情報処理手段によって出力さ
    れる検索用情報をグラフィックに表示する表示手段をさ
    らに備えるようにしたことを特徴とする請求項1ないし
    3のいずれかに記載の動画像検索用情報生成装置。
  5. 【請求項5】 前記表示手段は、動画像の複数フレーム
    にわたる前記動画像検索用情報を1画面で表示するよう
    にしたことを特徴とする請求項4記載の動画像検索用情
    報生成装置。
JP27655196A 1996-10-18 1996-10-18 動画像検索用情報生成装置 Expired - Fee Related JP3731952B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27655196A JP3731952B2 (ja) 1996-10-18 1996-10-18 動画像検索用情報生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27655196A JP3731952B2 (ja) 1996-10-18 1996-10-18 動画像検索用情報生成装置

Publications (2)

Publication Number Publication Date
JPH10126721A true JPH10126721A (ja) 1998-05-15
JP3731952B2 JP3731952B2 (ja) 2006-01-05

Family

ID=17571072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27655196A Expired - Fee Related JP3731952B2 (ja) 1996-10-18 1996-10-18 動画像検索用情報生成装置

Country Status (1)

Country Link
JP (1) JP3731952B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084441A (ja) * 2000-09-06 2002-03-22 Olympus Optical Co Ltd デジタルカメラ、画像処理方法及び記録媒体
JP2002084440A (ja) * 2000-09-06 2002-03-22 Olympus Optical Co Ltd デジタルカメラ、画像処理方法及び記録媒体
US6937764B2 (en) 1998-08-24 2005-08-30 Hitachi, Ltd. Method and apparatus for detecting local features of video, and recording medium storing the method
US8055080B2 (en) 2005-03-15 2011-11-08 Fujifilm Corporation Album generating apparatus, album generating method and computer readable medium
US8086612B2 (en) 2005-03-15 2011-12-27 Fujifilm Corporation Album generating apparatus, album generating method and program
US8098896B2 (en) 2005-03-15 2012-01-17 Fujifilm Corporation Album generating apparatus, album generating method and computer readable medium
JP2013114695A (ja) * 2011-11-30 2013-06-10 Thomson Licensing デジタルコンテンツのメタデータを生成するための方法および装置
US8631322B2 (en) 2005-03-15 2014-01-14 Fujifilm Corporation Album creating apparatus facilitating appropriate image allocation, album generating method and program
WO2016009637A1 (ja) * 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937764B2 (en) 1998-08-24 2005-08-30 Hitachi, Ltd. Method and apparatus for detecting local features of video, and recording medium storing the method
US7184593B2 (en) 1998-08-24 2007-02-27 Hitachi, Ltd. Method and apparatus for detecting local features of video, and recording medium storing the method
JP2002084441A (ja) * 2000-09-06 2002-03-22 Olympus Optical Co Ltd デジタルカメラ、画像処理方法及び記録媒体
JP2002084440A (ja) * 2000-09-06 2002-03-22 Olympus Optical Co Ltd デジタルカメラ、画像処理方法及び記録媒体
US8856149B2 (en) 2005-03-15 2014-10-07 Fujifilm Corporation Album generating apparatus, album generating method and program
US8086612B2 (en) 2005-03-15 2011-12-27 Fujifilm Corporation Album generating apparatus, album generating method and program
US8098896B2 (en) 2005-03-15 2012-01-17 Fujifilm Corporation Album generating apparatus, album generating method and computer readable medium
US8260827B2 (en) 2005-03-15 2012-09-04 Fujifilm Corporation Album generating apparatus, album generating method and program
US8631322B2 (en) 2005-03-15 2014-01-14 Fujifilm Corporation Album creating apparatus facilitating appropriate image allocation, album generating method and program
US8055080B2 (en) 2005-03-15 2011-11-08 Fujifilm Corporation Album generating apparatus, album generating method and computer readable medium
JP2013114695A (ja) * 2011-11-30 2013-06-10 Thomson Licensing デジタルコンテンツのメタデータを生成するための方法および装置
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US9906844B2 (en) 2014-03-26 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
JPWO2016009637A1 (ja) * 2014-07-17 2017-04-27 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
WO2016009637A1 (ja) * 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
US10616613B2 (en) 2014-07-17 2020-04-07 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method

Also Published As

Publication number Publication date
JP3731952B2 (ja) 2006-01-05

Similar Documents

Publication Publication Date Title
JPH10126721A (ja) 動画像検索用情報生成装置
JP3679512B2 (ja) 画像抽出装置および方法
US6466205B2 (en) System and method for creating 3D models from 2D sequential image data
JP2856229B2 (ja) 画像切り出し箇所検出方法
US7035430B2 (en) Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
JP2003256836A (ja) 知的特徴選択およびパンズーム制御
CN105744115A (zh) 用于处理视频内容的方法和系统
CN109934873B (zh) 标注图像获取方法、装置及设备
WO2014030405A1 (ja) 表示装置、表示方法、テレビジョン受信機及び表示制御装置
JPH11150676A (ja) 画像処理装置及び追尾装置
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JP3227179B2 (ja) 動物体検出および追跡処理方式
CN111190665A (zh) 一种全屏显示图像的方法、智能终端及存储介质
JP3197633B2 (ja) 移動体の自動追尾装置
JPH10336506A (ja) 画像処理システム、追尾システム,追尾方法,記憶媒体
JPH09181953A (ja) 自動追尾装置
JP2667885B2 (ja) 移動物体の自動追尾装置
JPH09265538A (ja) 自動追尾装置
JP2005517257A (ja) セグメント化装置及び方法
JP3325823B2 (ja) 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体
JPH09327037A (ja) 輪郭抽出方法及び画像抽出方法及び装置
JP2016129281A (ja) 画像処理装置
JPH09179880A (ja) 動画像の重要画像抽出装置および重要画像抽出方法
JPH06333048A (ja) 動画像処理装置
JP3379475B2 (ja) 背景除去システム、背景除去方法および背景除去用プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051011

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees