JP3155033B2 - 類似尺度構成処理方法 - Google Patents

類似尺度構成処理方法

Info

Publication number
JP3155033B2
JP3155033B2 JP23447991A JP23447991A JP3155033B2 JP 3155033 B2 JP3155033 B2 JP 3155033B2 JP 23447991 A JP23447991 A JP 23447991A JP 23447991 A JP23447991 A JP 23447991A JP 3155033 B2 JP3155033 B2 JP 3155033B2
Authority
JP
Japan
Prior art keywords
image
mapping
similarity
images
multidimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP23447991A
Other languages
English (en)
Other versions
JPH0573625A (ja
Inventor
勝義 田邊
淳 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP23447991A priority Critical patent/JP3155033B2/ja
Publication of JPH0573625A publication Critical patent/JPH0573625A/ja
Application granted granted Critical
Publication of JP3155033B2 publication Critical patent/JP3155033B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像が蓄積されたデー
タベースから例示画像を与えて所望のあるいは類似の画
像を検索するための類似尺度構成処理方法に関するもの
である。
【0002】
【従来の技術】従来、画像が蓄積されたデータベースに
対して、例示画像を与えて当該データベースから所望の
あるいは類似の画像を検索するには、例示画像から取得
した物理的な特徴量と蓄積された画像から予め取得して
ある物理的な特徴量とから構成した類似尺度を用いて比
較し、選択した画像をユーザーに提示するものであっ
た。また、最近では、人間の感覚を利用することが考慮
されつつある。
【0003】
【発明が解決しようとする課題】しかし、画像から取得
した物理的な特徴量のみからでは、必ずしも人が満足す
る類似尺度を構成できないため、検索結果が、人間の感
覚と対応したものではないという問題点があった。また
上記の如く、人間の感覚を利用することも考慮されつつ
あるが、当該人間の感覚を利用する過程において、何ら
かの意味付けが行われるものであって、ある意味付けが
重要視されるとそれ以外の意味付けが考慮されないこと
となり、人間の感覚をいわばそのまま反映するものとは
なり難かった。
【0004】本発明は上記従来の問題点を解決し、例示
画像を用いた検索により、人の視覚、感覚等に合致した
検索を行い得るようにすることを目的とする。
【0005】
【課題を解決するための手段】図1は本発明の原理構成
図を示す。図中の符号101は心理的非類似または類似
性表現部,102は特徴抽出部,103は写像生成部,
104は適合度評価部を表している。
【0006】心理的非類似または類似性表現部101
は,画像間の心理的な非類似または類似を表すデータを
用いて、画像を、非類似または類似性を表す多次元の尺
度で表現する。
【0007】特徴抽出部102は,画像から複数の特徴
の要素を抽出する。写像生成部103は,画像から抽出
した複数の特徴の要素から前述の非類似または類似性を
表す多次元の尺度への写像を求める。
【0008】適合度評価部104は,前述の画像間の心
理的な非類似または類似を表すデータと前述の写像との
データの適合度を自乗誤差で評価し、画像を表現する多
次元の尺度の最適な次元数を決定する。
【0009】
【作用】画像を心理的な判断にて多次元の尺度で表現し
ておき,一方で各画像から特徴の要素を抽出する。そし
て両者を対応づけた上で,自乗誤差手段にて最適な次元
数を決定するよう構成する。
【0010】
【実施例】図2は本発明の一実施例を示す構成図で、1
は主観評価データ入力部、2は主観評価データ解析部、
3は画像データ入力部、4は特徴抽出部、5は類似尺度
構成部、6は画像蓄積部、7はインデックスファイル、
8は類似尺度蓄積部、9は類似度計算部、10は検索
部、11は表示部である。
【0011】図3は、実施例における類似尺度処理の流
れ図である。図4は、実施例における検索処理の流れ図
である。図5、図6は一緒になって1つの図を構成する
ものであって、検索系を構成する蓄積画像(蝶の画像2
5枚の例)間の(非)類似度を表す主観評価データ例で
ある。
【0012】図7は、検索系を構成する蓄積画像(蝶の
画像25枚の例)を2次元のユークリッド空間上で表し
た場合の座標値の例である。図8は、物理空間から心理
空間への写像fを示す概念図である。
【0013】図9は、蝶についてのストレスおよび自乗
誤差と次元数との関係を示す図の例である。先ず、画像
データベース中の蓄積画像から選択した、検索系を構成
する蓄積画像(n枚)について、画像間の心理的な類似
関係を調べるために、複数の人による主観評価を実施
し、各蓄積画像間の類似度を得る。この時用いられる検
索系を構成する蓄積画像は、全蓄積画像と同じか、その
部分集合の画像となる。この検索系を構成する蓄積画像
は、この画像データベースの母集団の内容を反映した集
合であることが望ましい。一例としては、全蓄積画像を
似ている画像を同じグループにするというグループ分け
を実施した後、各グループの平均的な画像を選択すると
いう手法がある。これらの手続きは、図3の「検索系を
構成する蓄積画像について主観評価を実施21」に該当
する。主観評価の手法にも各種あるが、例えば、多重比
率判断法や順位法などの手法をとることができる。
【0014】多重比率判断法は、検索系を構成する蓄積
画像中の1つの画像を基準として、基準画像との非類似
性を物理的な距離で計る方法で、非類似性に相当する物
理的な距離の位置に他の画像を置く。同様な手続きを全
ての画像が基準画像となるまで繰り返す。
【0015】順位法は、検索系を構成する蓄積画像中の
1つの画像を基準として、基準画像に最も似ている画像
を1つ選び、つぎにその画像を取り除いた後、基準画像
に最も似ている画像を1つ選ぶという反復手続きで、全
体の順位づけを行う。同様な手続きを全ての画像が基準
画像となるまで繰り返す。
【0016】得られた各蓄積画像間の(非)類似度を表
す主観評価データ例を、図5、図6に示す。このとき自
分自身との非類似度は零と考える。この得られた各蓄積
画像間の(非)類似度を表す主観評価データを、図2に
示す主観評価データ入力部1より入力する。人の(非)
類似性判断について、入力された主観評価データを主観
評価データ解析部2で解析する。人が画像の(非)類似
性をp次元の尺度で見ていたとすると、主観評価データ
をp次元の視点で記述できると良い。そこで、主観評価
データの順序関係を崩さず構成できる次元を低い次元か
ら順に調べていき、各蓄積間の(非)類似度ができるだ
け歪まない最適な次元を採用する。このとき、n枚の蓄
積画像をp次元のユークリッド空間のn個の点として表
すとすると(座標値をn×pの行列Xで表す)、ヤング
・ハウスホルダー変換Pを満足するように定められる必
要がある。n枚の蓄積画像間のユークリッド距離の二乗
をその要素とする
【0017】
【数1】
【0018】は次のように表される。
【0019】
【数2】
【0020】なお当該行列は、各蓄積画像間の主観評価
データの値を距離におきかえた場合に、P次元ユークリ
ッド空間におけるn枚の蓄積画像間のユークリッド距離
の2乗をその要素とする行列である。ここで、
【0021】
【数3】
【0022】はその要素がすべて1のn次元ベクトル、
【0023】
【数4】
【0024】は
【0025】
【数5】
【0026】の対角要素を対角要素とする対角行列であ
る。この
【0027】
【数6】
【0028】を用いてヤング・ハウスホルダー変換
【0029】
【数7】
【0030】は
【0031】
【数8】
【0032】で表される。すなわち式(2)は、ユーク
リッド距離の2乗の行列(段落(0019)の行列)が
ヤング・ハウスホルダー変換によって、主観評価データ
の重心を原点とするn×pの座標行列(上記式(2)に
おける「X * 」の行列)とその転置行列の積に変換され
ることを示している。ここで、
【0033】
【数9】
【0034】は
【0035】
【数10】
【0036】と定義する。この
【0037】
【数11】
【0038】は次の性質を持つ。
【0039】
【数12】 なお、上記においてダッシュ「’」を付したもの
は「’」をつけていない行列の転置行列を表している。
【0040】このとき、
【0041】
【数13】
【0042】に最小二乗近似の意味で最も一致するよう
【0043】
【数14】
【0044】を求める方法をとる。この手続きは、多次
元尺度法のアプローチとなり、図3の「主観評価データ
を解析し心理要因を表す多次元の尺度に分解22」の処
理に該当する。また、ここで、求めた主観評価データの
関係を多次元に分解した各尺度における値は、各尺度を
多次元空間での軸とすると、多次元空間上での各軸の座
標値に相当する。図7は検索系を構成する蓄積画像(蝶
の画像25枚)を2次元のユークリッド空間上で表した
場合の座標値の例である。この座標値の当てはまり具合
を表す尺度としてストレスという尺度がある。これは次
の式で定義される。
【0045】
【数15】
【0046】ここで、sはストレス、
【0047】
【数16】
【0048】は主観評価実験等で得られた画像iと画像
jの間の非類似度と同じ順序をもつという条件下でsを
最小化するように決められた値で、dijは、p次元で表
現した時の画像iと画像j間の非類似度である。ストレ
スは小さい方が良いが、いくつ以下なら十分であるとす
るかは恣意的な問題である。一般には10%以下でまあ
まあで、5%以下なら良いとされている。
【0049】一方、全蓄積画像は、画像データ入力部3
からカメラやスキャナ等の入力装置を用いて、システム
に入力され、特徴抽出部4で各画像毎に各種の物理的な
特徴量を取得する。この手続きは図3の「検索系を構成
する蓄積画像から特徴抽出23」に該当する。なお、物
理的な特徴量とは、画像から取得した特徴量(例えば、
メッシュ特徴やフーリエ特徴など)であり、種類・数に
制限はない。この際、統計的な線形手法あるいはニュー
ラルネット等の非線形手法等により写像を求めるため、
物理的な特徴の総和qと蓄積画像数nとは少なくともq
≦nの関係が必要であり、nがqに比べてできるだけ多
い方が望ましい。
【0050】さらに、蓄積画像から取得した特徴量で表
される物理空間から、主観評価データを解析して得られ
た多次元の心理空間への、写像fを類似尺度構成部5に
おいて統計的な線形手法あるいはニューラルネット等の
非線形手法等を用いて求める。この写像fは1つあるい
は複数で定義する。この写像fにより、人間の感覚と対
応した類似尺度を構成することが可能となる。図8に物
理空間から心理空間へのこの写像fを表す概念図を示
す。たとえば、写像fは、多次元尺度法で求めた各軸の
座標値を目的変数とし、画像から取得した特徴量を説明
変数として重回帰分析を行うことにより求めることがで
きる。この時、写像fの当てはまり具合は表現する次元
毎に自乗誤差で評価し、ストレスの値があるしきい値t
h以下で、収束していると見なせる(ある一定に漸近し
ている)ならば、その時の次元数以上で、かつ自乗誤差
の最も小さい次元を最適な次元と決定する。
【0051】
【数17】
【0052】ここで、
【0053】
【数18】
【0054】は物理特徴量から計算されるp次元心理空
間中の画像iと画像jとの間の推定距離である。図9に
蝶についてのストレスおよび自乗誤差と次元数との関係
を示す図の例を示す。この例では、7次元が最適次元で
ある。この7次元の多次元心理空間は人間の主観を反映
した空間と言える。
【0055】その後、最適な次元について、蓄積画像は
画像蓄積部6へ、多次元心理空間の各軸における座標値
は、各蓄積画像と対応してインデックスファイル7に、
写像fにより作成された写像を表す関数および各種パラ
メータの値は、類似尺度蓄積部8に、それぞれ、格納さ
れる。また、検索系を構成する蓄積画像以外の蓄積画像
および追加の画像は、画像データ入力部3より、カメラ
やスキャナ等の入力装置を用いて、システムに入力さ
れ、特徴抽出部4で各画像毎に類似尺度構成時と同じ各
種の物理的な特徴量を取得する。次に、類似度計算部9
において、取得した物理的な特徴量より、類似尺度蓄積
部8から取りだした類似尺度を用いて、多次元心理空間
上における各軸の写像値を計算する。画像は画像蓄積部
6へ、多次元心理空間の各軸における座標値は、各蓄積
画像と対応してインデックスファイル7に、それぞれ格
納される。
【0056】これらの手続きは、図3の「画像の特徴の
要素から多次元心理空間への写像を計算し、類似尺度を
構成する24」に該当する。検索時には、利用者から例
示画像が画像データ入力部3より、カメラやスキャナ等
の入力装置を用いてシステムに入力され、特徴抽出部4
で類似尺度構成時と同じ各種の物理的な特徴を取得す
る。この手続きは図4の「例示画像の提示31」と「例
示画像からの特徴抽出32」に該当する。
【0057】次に、類似度計算部9において、取得した
物理的な特徴量より、類似尺度蓄積部8から取りだした
類似尺度を用いて、例示画像の多次元心理空間上におけ
る各軸の写像値を計算する。この手続きは、図4の「類
似度の計算33」に該当する。さらに最小距離識別法に
より、検索部10において、例示画像の多次元空間上で
の各軸の座標値から、インデックスファイル7から求め
た蓄積画像の多次元空間上における位置との距離を計算
し、例示画像との距離が近い順に画像蓄積部6より、複
数の候補画像を検索し、表示部11に表示する。この様
に多次元心理空間上での距離が近い画像は心理的に類似
していることを表している。この手続きは、図4の「蓄
積画像と比較し、類似している画像から順序をつけ、ユ
ーザーに提示34」に該当する。
【0058】利用者はこのように所望あるいは類似の画
像を得ることができる。また、画面に表示していない画
像でも、表示画面を指定することで例示画像と類似して
いる順に見ることができる。
【0059】
【発明の効果】以上、説明したように、本発明によれ
ば、画像データベースに蓄積する画像について、主観評
価を実施し、画像間の心理的な類似関係を取得している
ため、従来の物理的な特徴量のみによる類似尺度では得
られない、心理的な類似関係に基づいた類似尺度を構成
でき、人間の感覚と対応した類似検索を実現できる利点
がある。
【図面の簡単な説明】
【図1】本発明の原理構成図である。
【図2】本発明の一実施例を示す構成図である。
【図3】実施例における類似尺度処理の流れ図である。
【図4】実施例における検索処理の流れ図である。
【図5】検索系を構成する蓄積画像(蝶の画像25枚の
例)間の(非)類似度を表す主観評価データ例の一部で
ある。
【図6】検索系を構成する蓄積画像(蝶の画像25枚の
例)間の(非)類似度を表す主観評価データ例の一部で
ある。
【図7】検索系を構成する蓄積画像(蝶の画像25枚の
例)を2次元のユークリッド空間上で表した場合の座標
値の例である。
【図8】物理空間から心理空間への写像fを示す概念図
である。
【図9】蝶についてのストレスおよび自乗誤差と次元数
との関係を示す図の例である。
【符号の説明】
101 心理的非類似または類似性表現部 102 特徴抽出部 103 写像生成部 104 適合度評価部 1 主観評価データ入力部 2 主観評価データ解析部 3 画像データ入力部 4 特徴抽出部 5 類似尺度構成部 6 画像蓄積部 7 インデックスファイル 8 類似尺度蓄積部 9 類似度計算部 10 検索部 11 表示部
フロントページの続き (56)参考文献 栗田多喜夫,下垣弘行,加藤俊一, 「多変量解析による類似図形検索法 − −判別分析と主座標分析を用いて− −」,情報処理学会研究報告Vol. 88,No.86(88−CV−57),pp. 1−8(昭和63年11月24日) 栗田多喜夫,下垣弘行,加藤俊一, 「主観的類似度に適応した画像検索」, 情報処理学会論文誌 Vol.31,N o.2,pp.227−237(平成2年2月 15日) 柳井晴夫ほか,「多変量解析ハンドブ ック」,pp.88−93,現代数学社(昭 和61年4月20日) 野呂影勇編,「図説エルゴノミク ス」,pp.575−578,日本規格協会 (平成2年2月14日) 田邊勝義,大谷淳,「人間の類似感覚 と対比する類似検索の有効性」,1990年 電子情報通信学会秋季全国大会講演論文 集[分冊6],p396(平成2年10月1 日) 田邊勝義,大谷淳,石井健一郎,「多 次元心理空間を用いる類似画像検索 法」,電子情報通信学会論文誌Vol. J75−D−▲II▼,No.11,pp. 1856−1864(平成4寝11月25日) (58)調査した分野(Int.Cl.7,DB名) G06F 17/30 170 G06F 17/30 350 G06F 17/30 360 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 n枚の蓄積画像間の主観評価データの順
    序関係を崩さず構成できる次元を低い次元から順に調べ
    て行き、各蓄積画像間の非類似度または類似度の歪みが
    最小となる次元Pを求め、n枚の蓄積画像をP次元のユ
    ークリッド空間のn個の点として表現する多次元尺度法
    を実行する処理ステップと、 画像から複数の特徴の要素を抽出する処理ステップと、 画像から抽出した複数の特徴の要素から前記非類似また
    は類似性を表す多次元の尺度への写像を求める処理ステ
    ップと、 前記画像間の心理的な非類似または類似を表すデータと
    前記写像とのデータの適合度を自乗誤差で評価し、画像
    を表現する多次元の尺度の最適な次元数を決定する
    理ステップと、 前記最適な次元数における前記写像のパラメータおよび
    画像の写像値を元の画像と対応づけて格納する処理ステ
    ップと、 を具備することを特徴とする類似尺度構成処理方法。
  2. 【請求項2】 前項で作成した類似尺度を用いて、検索
    のために入力された画像から前記記載の複数の特徴の要
    素を抽出する処理ステップと、 前項記載の写像のパラメータを用いて多次元の写像値を
    求める処理ステップと、 前記写像値と前項で蓄積された画像の写像値とを、多次
    元の尺度空間において、最小距離識別法を用いて、距離
    の近いものから順に提示する処理ステップと、 を具備することを特徴とする請求項1記載の類似尺度構
    成処理方法。
JP23447991A 1991-09-13 1991-09-13 類似尺度構成処理方法 Expired - Lifetime JP3155033B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23447991A JP3155033B2 (ja) 1991-09-13 1991-09-13 類似尺度構成処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23447991A JP3155033B2 (ja) 1991-09-13 1991-09-13 類似尺度構成処理方法

Publications (2)

Publication Number Publication Date
JPH0573625A JPH0573625A (ja) 1993-03-26
JP3155033B2 true JP3155033B2 (ja) 2001-04-09

Family

ID=16971665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23447991A Expired - Lifetime JP3155033B2 (ja) 1991-09-13 1991-09-13 類似尺度構成処理方法

Country Status (1)

Country Link
JP (1) JP3155033B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3026712B2 (ja) * 1993-12-09 2000-03-27 キヤノン株式会社 画像検索方法及びその装置
JPH08129559A (ja) * 1994-11-02 1996-05-21 Nippon Telegr & Teleph Corp <Ntt> 曖昧検索用インデックス情報作成装置及び曖昧検索用インデックス情報作成方法
JP3493562B2 (ja) * 1995-03-01 2004-02-03 富士通株式会社 画像データのブラウジングシステム
JP3373086B2 (ja) * 1995-07-24 2003-02-04 シャープ株式会社 情報検索装置
JP3573688B2 (ja) * 2000-06-28 2004-10-06 松下電器産業株式会社 類似文書検索装置及び関連キーワード抽出装置
JP6888484B2 (ja) * 2017-08-29 2021-06-16 富士通株式会社 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
柳井晴夫ほか,「多変量解析ハンドブック」,pp.88−93,現代数学社(昭和61年4月20日)
栗田多喜夫,下垣弘行,加藤俊一,「主観的類似度に適応した画像検索」,情報処理学会論文誌 Vol.31,No.2,pp.227−237(平成2年2月15日)
栗田多喜夫,下垣弘行,加藤俊一,「多変量解析による類似図形検索法 −−判別分析と主座標分析を用いて−−」,情報処理学会研究報告Vol.88,No.86(88−CV−57),pp.1−8(昭和63年11月24日)
田邊勝義,大谷淳,「人間の類似感覚と対比する類似検索の有効性」,1990年電子情報通信学会秋季全国大会講演論文集[分冊6],p396(平成2年10月1日)
田邊勝義,大谷淳,石井健一郎,「多次元心理空間を用いる類似画像検索法」,電子情報通信学会論文誌Vol.J75−D−▲II▼,No.11,pp.1856−1864(平成4寝11月25日)
野呂影勇編,「図説エルゴノミクス」,pp.575−578,日本規格協会(平成2年2月14日)

Also Published As

Publication number Publication date
JPH0573625A (ja) 1993-03-26

Similar Documents

Publication Publication Date Title
US7433883B2 (en) Wide-spectrum information search engine
US6735589B2 (en) Method of reducing dimensionality of a set of attributes used to characterize a sparse data set
US7194471B1 (en) Document classification system and method for classifying a document according to contents of the document
JP3116851B2 (ja) 情報フィルタリング方法及びその装置
US5021992A (en) Method of translating data from knowledge base to data base
US6665670B2 (en) Method and system for graphical representation of multitemporal, multidimensional data relationships
JP3143532B2 (ja) 画像検索装置及び方法
CN110299209B (zh) 相似病历查找方法、装置、设备及可读存储介质
US20060265362A1 (en) Federated queries and combined text and relational data
WO1995000896A2 (en) Method and apparatus for indexing searching and displaying data
US20060155662A1 (en) Sentence classification device and method
CN113204709A (zh) 基于多维数据深度比对分析的短视频搜索匹配推荐方法、系统及计算机存储介质
JP4997892B2 (ja) 検索システム、検索方法及び検索プログラム
KR20060095565A (ko) 조사 대상 문서의 문서 특징 분석 장치
US7743061B2 (en) Document search method with interactively employed distance graphics display
JP2006048633A (ja) 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法
JP3155033B2 (ja) 類似尺度構成処理方法
JP4143234B2 (ja) 文書分類装置、文書分類方法及び記憶媒体
JP3373086B2 (ja) 情報検索装置
Li A Bayesian approach for estimating and replacing missing categorical data
JP2004240887A (ja) 検索情報表示システム及び検索キーワード情報表示方法及び検索キーワード情報表示プログラム
Loui et al. Multidimensional image value assessment and rating for automated albuming and retrieval
JP4059970B2 (ja) 情報源推薦装置
JP3646011B2 (ja) 検索システム、及び、当該検索システムのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3677006B2 (ja) 情報処理装置およびその方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090202

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090202

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100202

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120202

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120202

Year of fee payment: 11