JP3116851B2 - 情報フィルタリング方法及びその装置 - Google Patents

情報フィルタリング方法及びその装置

Info

Publication number
JP3116851B2
JP3116851B2 JP09038696A JP3869697A JP3116851B2 JP 3116851 B2 JP3116851 B2 JP 3116851B2 JP 09038696 A JP09038696 A JP 09038696A JP 3869697 A JP3869697 A JP 3869697A JP 3116851 B2 JP3116851 B2 JP 3116851B2
Authority
JP
Japan
Prior art keywords
information
requester
evaluation
user
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09038696A
Other languages
English (en)
Other versions
JPH10240749A (ja
Inventor
勇介 有吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP09038696A priority Critical patent/JP3116851B2/ja
Priority to US09/028,572 priority patent/US6408288B1/en
Priority to EP98103190A priority patent/EP0860785A1/en
Publication of JPH10240749A publication Critical patent/JPH10240749A/ja
Application granted granted Critical
Publication of JP3116851B2 publication Critical patent/JP3116851B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はデータベースやWW
W(World Wide Web)などの情報システ
ムから、利用者の興味や嗜好に合った情報の推薦やフィ
ルタリングを行う情報フィルタリング方法及び情報フィ
ルタリング装置並びに情報フィルタリングプログラムを
記録した記録媒体に関する。
【0002】
【従来の技術】従来、この種の情報フィルタリング方法
や装置や情報フィルタリングプログラム(以下、まとめ
て情報フィルタリング方式と記載する。)はデータベー
スやパソコン通信やWWWなどの情報システムが提供す
る大量の情報や多数のサービス(以下、本明細書におい
て、単に「情報」と記載した場合は、このことを指
す。)の中から利用者の興味や嗜好に適合するものを推
薦したりフィルタリングを行うために用いられている。
【0003】従来の情報フィルタリング方式には、CB
F(Constant Based Filtering)方式と、SIF(Social
Information Filtering)方式の2種類の方式が知られて
いる。
【0004】このCBF方式は、情報の中に含まれてい
るキーワードや単語頻度などデータ(本明細書では、こ
のデータのことを属性と記載する。)から、各情報の内
容の特徴を表現し、利用者の過去の興味などをキーワー
ドの重みなどで表現したものとのマッチングに基づいて
情報のフィルタリングを行う方式である。
【0005】また、SIF方式は、利用者が個々の情報
に対して評価を行ったデータ(以下、本明細書では、評
価と記載する。)を記憶しておき、自分(情報フィルタ
リングの要求者)が過去に行った評価と、要求者以外の
利用者が過去に行った評価を比較して、要求者の嗜好に
似た利用者を見つけだし、その嗜好の似た利用者が良い
評価を付けた、要求者がまだ見ていない情報を選び出し
て要求者に情報のフィルタリングを行う方式である。
【0006】このCBF方式の情報フィルタリング方式
の従来の技術の公知例としては、特開平3−94375
号公報「文書検索装置」が知られており、一方、SIF
方式の例としてはプロシーディングス・オブ・ザ・シー
エスシーダブリュ1994(proceedings
of the cscw 1994)1994年エイシ
ーエムプレス(acm press)175頁から18
6頁米国でGroupLensというシステムについ
て、プロシーディングス・オブ・ザ・シーエイチアイ9
5(proceedings of the chi9
5)1995年エイシーエムプレス(acm pres
s)210頁から217頁に記載の米国のRingoと
いうシステムが知られている。
【0007】次に、CBF方式、SIF方式の従来の技
術を図面を参照して説明する。
【0008】まず、CBF方式について説明する。CB
F方式の従来技術を、図面の図5、図6を参照して説明
する。図5を参照すると、CBF方式の従来の技術にお
いては、入出力装置1とデータ処理装置2と、記憶装置
3とを含んで構成されている。
【0009】入出力装置1は要求入力部11と、情報提
示部12と、評価入力部13とを備える。
【0010】記憶装置3は情報記憶部31と、属性記憶
部32と評価記憶部33を備えている。情報記憶部31
は、登録情報30をあらかじめ記憶している。評価記憶
部33には、情報に対する利用者の評価値があらかじめ
記憶されている。
【0011】データ処理装置2は、属性抽出手段21
と、利用者プロファイル学習手段22と、適合度推定手
段23と情報選択手段24とを備える。
【0012】属性抽出手段21は情報記憶部31に記憶
された情報から、特徴となる属性を抽出し属性記憶部3
2に格納する。また、ここでいう属性とは、先に説明し
た通り、情報の内容をキーワードや単語頻度などから特
徴づけたものである。例えば、「ある情報の中には、
「野球」と「サッカー」いうキーワードが含まれる。」
というもので、情報の特徴を抽出したものである。
【0013】利用者プロファイル学習手段22は、要求
入力部11より要求者からの推薦要求を受けとると、評
価記憶部33に記憶された、要求者が過去に行った情報
に対する評価と、属性記憶部32に記憶された情報の属
性のうち、要求者が評価済みの情報の属性から、要求者
の評価と属性の間の関係を表すプロファイルを学習す
る。このプロファイルの学習は、例えば、要求者は、過
去に「野球」というキーワードを含む情報に対して高い
評価を行っていたが、逆に「サッカー」というキーワー
ドを含む情報に対しては、低い評価を行っていたという
ように、要求者の評価と属性との間の関係が分かるもの
であり、言い換えれば、利用者興味を情報に含まれる単
語(キーワード)の重みで表現したものである。
【0014】適合度推定手段23は利用者プロファイル
学習手段22が学習した要求者のプロファイルと、属性
記憶部32が記憶している情報の属性から、各情報の要
求者に対する適合度を推定する。次に、情報選択手段2
4は、適合度推定手段23が推定した適合度を利用し
て、要求者に適合する情報を情報記憶部に記憶している
情報の中から選択し情報提示部12に出力する。この例
では、適合度推定手段23が、要求者が「野球」の属性
を持った情報に対して興味があるというプロファイルを
学習し、逆に「サッカー」の属性を持った情報に対して
は興味がないというプロファイルを学習した結果を受け
取り、要求者には、「野球」というキーワードを持った
情報が適合すると推定する。情報選択手段24は、適合
度推定手段の推定結果を受け取り、「野球」という属性
を持った情報のマッチング行い情報記憶部の中から過去
に要求者が評価を行っていない情報を選択して情報提示
部12に出力する。
【0015】要求者は情報提示部12で提示された情報
が自分の要求に合うか評価する。評価入力部13から入
力された評価は評価記憶部33に記憶される。よって、
このことにより、適合フィードバックが行われ、利用者
の興味にあった情報に含まれる単語(キーワード)の重
要度を上げ、興味に合わなかった情報に含まれる単語の
重要度は下げることができ、より利用者の興味に合った
情報フィルタリングを行うことが可能である。
【0016】次に、従来のCBF方式の動作について図
6を参照して説明する。
【0017】要求入力部11から推薦要求が入力される
と、利用者プロファイル学習手段22は、評価記憶部3
3に記憶された要求者の評価履歴と、属性記憶部31に
記憶された情報の属性のうち、要求者が評価済みの情報
の属性から、要求者の評価と属性の間の関係を表すプロ
ファイルを学習する(C1)。続いて適合度推定手段2
3は利用者プロファイル学習手段22が学習した要求者
のプロファイルと、属性記憶部32が記憶している情報
の属性から、各情報の要求者に対する適合度を推定する
(C2)。情報選択手段24は、適合度推定手段23が
推定した適合度を利用して、要求者の要求に合う情報を
選択し(C3)結果を情報提示部12に出力する(C
4)。
【0018】情報提示部12に提示された情報に対し
て、要求者は自分の要求に合うか評価し、評価結果を評
価入力部13から入力する。入力された評価情報は評価
記憶部33に記憶される。
【0019】よって、上述したCBF方式の情報フィル
タリングでは、情報の中に含まれているキーワードや単
語頻度などの属性から、各情報の内容の特徴を表現し、
利用者の過去の興味をキーワードなどで表現したものと
のマッチングに基づいて情報のフィルタリングを行うこ
とが可能である。
【0020】また、この説明に使用した例は、簡単に説
明するための例であり、実際のプロファイル学習の方法
としては、例えば次のことが考えられる。情報の特徴ベ
クトルとして情報の属性の値を並べたものを考え、情報
の評価値は1から−1の間に正規化してあるものとす
る。ただし正規化された評価値は1が利用者の要求に合
っている、−1が要求に合っていないものとする。この
ときプロファイルは式1で計算することができる。
【0021】
【数1】
【0022】また、情報の種類によっては特徴ベクトル
の各要素値として情報の属性値そのままではなく、属性
値の平均からの偏差を標準偏差で割った値を用いる方が
精度が良い場合もある。
【0023】さらに、情報の特徴ベクトルをそれぞれの
ベクトルの絶対値で割ることによりベクトルの長さを1
に正規化した方が精度が良い場合もある。
【0024】適合度の推定方法としていは情報の特徴ベ
クトルとプロファイルとのピアソンの積率相関係数を使
うことが考えられる。
【0025】次に、SIF方式について説明する。ここ
では、SIF方式の従来の技術を、図面の図7、図8を
参照して簡単に説明する。また、前述したCBF方式の
従来の技術と同様な機能をもつ構成については、説明を
省略する。
【0026】図7を参照すると、この従来のSIF方式
は、入出力装置1とデータ処理装置4と、記憶装置5と
を含む。 入出力装置1は要求入力部11と、情報提示
部12と、評価入力部13とを備える。
【0027】記憶装置5は情報記憶部31と、評価記憶
部33とを備えている。情報記憶部31は、登録情報3
0をあらかじめ記憶している。評価記憶部33は、利用
者による情報に対する評価値をあらかじめ記憶してい
る。この評価値は、情報フィルタリングの要求者が過去
に評価を行ったものと、要求者以外の利用者がある情報
に対して評価を行ったものについて保持している。
【0028】データ処理装置4は、利用者間類似度算出
手段25と、適合度推定手段26と、情報選択手段24
とを備える。
【0029】利用者間類似度算出手段25は、要求入力
部11で要求者からの推薦要求を受けとると、評価記憶
部33に記憶された要求者の情報に対する評価履歴と要
求者以外の利用者の評価履歴から利用者間の類似度を算
出する。つまり、自分(要求者)と似た嗜好を持つ別の
利用者を見つけだす。ただし、自分の嗜好に似た別の利
用者は1人でなくても、複数でもよい。
【0030】適合度推定手段26は、評価記憶部33が
記憶している評価と、利用者間類似度算出手段25が算
出した利用者間類似度から、各情報の要求者に対する適
合度を推定し、情報選択手段24は、適合度推定手段2
6が推定した適合度を利用して、要求者の要求に合う情
報を選択し情報提示部12に出力する。つまり、利用者
間類似度算出手段25が算出した利用者間類似度から、
自分の嗜好に似た利用者が良い評価を付けた要求者がま
だ見ていない情報を適合度推定手段26で適合度を推定
することによって、情報選択手段24を用いて選択して
情報提示部12に提示する。
【0031】要求者は情報提示部12で提示された情報
が自分の要求に合うか評価する。評価入力部13から入
力された評価は評価記憶部33に記憶される。
【0032】このSIF方式を例を挙げて説明する。
「野球」について興味があるが、「サッカー」について
は、興味のない要求者に情報フィルタリングすることを
前提に考える。このSIF方式では、要求者と同じよう
に「野球」に興味があるが、「サッカー」に興味のない
利用者を探しだし、その探し出された利用者が高い評価
をした情報について要求者に提供する。よって、探し出
された利用者が、「野球」の他に「釣り」に興味があれ
ば、要求者に対して「釣り」の情報が提供されることに
なる。もちろん、提供される情報は、要求者がまだ見て
いない情報であることが望ましい。
【0033】次に、図8を参照して、従来のSIF方式
の動作について説明する。
【0034】要求入力部11から推薦要求があると、利
用者間類似度算出手段25は評価記憶部33に記憶され
ている評価を利用して利用者間類似度を算出する(D
1)。
【0035】例えば前述したGroupLensとRi
ngoでは利用者間類似度としてピアソンの積率相関係
数を使っている。続いて適合度推定手段26は、評価記
憶部33が記憶している評価と、利用者間類似度算出手
段25が算出した利用者間類似度から、各情報の要求者
に対する適合度を推定する(D2)。例えば前述したG
roupLensでは適合度を次にあげる式2により推
定している。情報選択手段24は、適合度推定手段26
が推定した適合度を利用して、要求者の要求に合う情報
を選択し(D3)、結果を情報提示部12に出力する
(D4)。
【0036】
【数2】
【0037】情報提示部12に提示された情報に対し
て、要求者は自分の要求に合うか評価し、評価結果を評
価入力部13から入力する。入力された評価情報は評価
記憶部33に記憶される。
【0038】よって、SIF方式では、要求者が過去に
行った評価と、要求者以外の利用者が過去に行った評価
を比較して、要求者の嗜好に似た利用者を見つけだし、
その嗜好の似た利用者が良い評価を付けた、要求者がま
だ見ていない情報を選び出して要求者に対して情報のフ
ィルタリングを行うことができる。
【0039】
【発明が解決しようとする課題】次に、この従来の技術
の問題点を図面の図9を用いて説明する。
【0040】上述したCBF方式では、自分が評価した
情報(A+C)に対して単語頻度等の情報の属性と、自
分の評価との関係を学習し、自分が未評価の情報(B+
D)をフィルタリングする。一方、SIF方式では、自
分が評価した情報と、さらに他の利用者も評価した情報
(C)について、自分と他の利用者の評価から自分と他
の利用者の関係を学習し、自分は評価していないが、他
の利用者が評価した情報(B)をフィルタリングする。
【0041】つまり、従来のCBF方式の第1の問題点
は、利用者が興味を持っている話題(つまり、キーワー
ドなどの属性)についての情報を得ることが出来るが、
情報に価値があるかは結局利用者が読んで判断しないと
いけないことである。その理由は、CBF方式はキーワ
ードなどの属性や単語出現頻度に基づいた方式で、SI
F方式のように人の評価に基づいていないからである。
【0042】従来のCBF方式の第2の問題点は、未知
の単語や未知の属性値を持つ情報に対するフィルタリン
グの精度が低いことである。その理由はCBF方式は、
要求者の評価履歴と要求者が評価済みの情報の属性か
ら、要求者の評価と属性の間の関係をプロファイルとし
て学習し、そのプロファイルに基づいて適合度を推定す
るからである。そのため、未知の単語、属性値を持って
いた場合、それを適合度にどのように反映すれば良いか
CBF方式では分からないという問題がある。
【0043】次に従来のSIF方式の第1の問題点は、
利用者のうちの誰かが推薦・評価した情報しか得られな
いことである。その理由は、SIF方式が利用者の推薦
と評価に基づいた方法で評価・推薦された情報しかフィ
ルタリングの対象にならないためである。
【0044】従来のSIF方式の第2の問題点は、ある
程度の量の評価が集まらなければフィルタリングの精度
が低いことである。この理由はSIF方式が利用者の推
薦と評価に基づいた方式だからである。
【0045】よって、本発明の目的は、これらの従来の
CBF方式、SIF方式の問題を軽減または解消し、こ
れらの従来の技術よりフィルタリング精度が高く、より
利用者の興味や嗜好に合った情報の推薦やフィルタリン
グを行う情報フィルタリング方式を提供することにあ
る。
【0046】
【課題を解決するための手段】従来のCBF方式では要
求者の過去の情報に対する評価から、情報の属性と要求
者の評価値の関係を学習し適合度を推定しており、要求
者以外の評価を利用していなかった。また、従来のSI
F方式は要求者と要求者以外の利用者の評価を利用して
適合度を推定しており、情報の属性を利用していなかっ
た。
【0047】それらのことに対し、本発明の請求項1か
に記載された第1の発明は、要求者の評価と要求者
以外の利用者の評価と情報の属性を利用し、適合度を推
定することを特徴としている。よって、第1の発明は、
利用者の評価を利用していることにより、前述したCB
F方式の第1の問題点を軽減する。また、第1の発明は
要求者の評価した情報に無い属性値や未知語に対して
も、他の利用者が評価した情報に含まれていれば、適合
度の推定に利用できるので、CBF方式の第2の問題点
が軽減する。
【0048】また、第1の発明は、情報の属性も利用し
て適合度を推定しているので、誰も推薦・評価していな
い情報であっても従来のCBF方式の精度で適合度を推
定できる。そのため前述したSIF方式の第1の問題と
第2の問題を解消している。
【0049】つまり、本発明の第1の発明の特徴を図9
を利用して説明すると、図9の(B)で示される領域で
は、SIF方式の方が上述した特徴をもつため、SIF
方式を利用する。また、領域(D)については、情報フ
ィルタリングの対象としているのは、CBF方式だけで
あるので、(D)では、CBF方式を用いる。ただし、
CBF方式は前述したように(D)においても、未知語
に弱いという問題点があるので、これをSIF方式のフ
ィルタリング結果をCBF方式のプロファイルにフィー
ドバックすることで軽減している。よって、本発明で
は、誰も評価していない情報(D)についても、情報フ
ィルタリングを行うことが可能であり、さらに自分以外
の利用者の評価を利用することにより従来のCBF方式
より未知語に強いことが特徴である。
【0050】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳しく説明する。また、この発明の実
施の形態においては、上述した従来の技術と同様な構成
については、図面に同一番号を付けている。特に説明が
無い限り、従来の技術と同様な構成であるため説明を省
略する。
【0051】まず、本発明の第1の発明の実施の形態に
ついて図面を参照して説明する。
【0052】図1を参照すると、第1の発明の実施の形
態は入出力装置1とデータ処理装置6と、記憶装置7と
を含む。
【0053】入出力装置1は要求入力部11と、情報提
示部12と、評価入力部13とを備えている。
【0054】記憶装置7は情報記憶部31と、属性記憶
部32と評価記憶部33を備えている。情報記憶部31
は、登録情報30をあらかじめ記憶している。評価記憶
部33は、情報に対する利用者の評価値を、要求者およ
び要求者以外の利用者による評価値も含めてあらかじめ
記憶している。
【0055】データ処理装置6は、属性抽出手段21
と、適合度推定手段27と、情報選択手段24を備えて
いる。
【0056】属性抽出手段21は情報記憶部31に記憶
された情報から特徴となる属性(例えば、キーワード)
を抽出し属性記憶部32に格納する。
【0057】適合度推定手段27は、要求入力部11で
要求者からの推薦要求を受けとると、評価記憶部33に
記憶された要求者の評価と要求者以外の利用者の評価
(つまり図9の(C))を利用して利用者間の類似度を
算出して、まず図9の(B)における情報の適合度を算
出して情報フィルタリングを行う。
【0058】次に、図9の(D)に対する情報フィルタ
リングを行うが、従来のCBF方式においては、誰も評
価をしていない情報である(D)の領域に対して、自分
が過去に評価した情報(つまり図9の(A+C))の属
性と評価の関係を図5の利用者プロファイル学習手段2
2で学習し、情報フィルタリングを行っていた。しか
し、本発明においては、先に行われた(B)に対する情
報フィルタリングの結果も利用し、フィルタリングされ
た(B)の情報の属性と、要求者に対する適合度(本明
細書では、適合度と評価は同じ意味を持つ。ただし、利
用者が入力したものを評価と記載し、計算により要求者
の適合の度合いを推定したものを適合度と、場合分けし
て記載する。)の関係も学習する。この学習結果によ
り、誰も評価していない情報(D)については、(A+
B+C)に含まれる情報の属性と評価(もしくは適合
度)の関係を学習して、情報フィルタリングを行う。
【0059】情報選択手段24は、適合度推定手段27
の情報フィルタリング結果を情報提示部12に出力す
る。要求者は情報提示部12で提示された情報が自分の
要求に合うか評価する。
【0060】評価入力部13から入力された情報に対す
る評価は評価記憶手段33に格納される。
【0061】次に、図2を参照して、第1の発明の動作
の実施の形態について説明する。
【0062】要求入力部11から要求者が推薦要求を入
力すると、適合度推定手段27は、評価記憶部33に記
憶された要求者の評価と要求者以外の利用者の評価と、
属性記憶部32に記憶された情報の属性を利用して、利
用者の評価値と情報の属性の間の関係を分析し、情報の
要求者に対する適合度を推定する(A1)。情報選択手
段24は、適合度推定手段27が推定した適合度を利用
して、要求者の要求に合う情報を選択し(A2)、結果
を情報提示部12に出力する(A3)。
【0063】次に、第1の発明の適合度推定手段27の
より具体的な実施の形態について、図面を参照して詳細
に説明する。
【0064】適合度推定手段27は、利用者間類似度算
出手段271と第1の適合度推定部272と利用者プロ
ファイル学習手段273と第2の適合度推定部274と
適合度統合手段275を備える。
【0065】利用者間類似度算出手段271は、要求入
力部11で要求者からの推薦要求を受けとると、評価記
憶部33に記憶された情報に対する要求者の評価と要求
者以外の利用者の評価を利用して利用者間の類似度を算
出する。
【0066】第1の適合度推定部272は、評価記憶部
33が記憶している要求者以外の利用者の評価と、利用
者間類似度算出手段271が算出した利用者間類似度か
ら、図9の(B)で示される要求者以外の利用者が評価
した情報の要求者に対する適合度を推定する。
【0067】利用者プロファイル学習手段273は、属
性記憶部32に記憶された情報の属性と評価記憶部33
に記憶された要求者の評価と第1の適合度推定部272
で推定された適合度から、情報の属性と要求者の評価と
の関係をあらわすプロファイルを学習するとともに、情
報の属性と要求者に対する適合度との関係をあらわすプ
ロファイルについても学習する。また、ここで言うプロ
ファイルとは、利用者興味をキーワードなどの重みなど
で表現したものである。
【0068】また、情報の属性と要求者の評価との関係
をあらわすプロファイルとは、ある属性が付いた情報に
対して、過去に要求者(利用者)がどのような評価を付
けたかという関係を表現したものである。例えば、「要
求者は、過去に「野球」というキーワードが含む情報に
ついて高い評価をしている。」という属性と要求者との
関係を表現したものである。
【0069】次に、情報の属性と要求者に対する適合度
との関係をあらわすプロファイルとは、第1の適合度推
定部272で推定された各情報に対する要求者の適合度
から、属性記憶部32を参照することによって属性と要
求者に対する適合度との関係を表現したものである。
【0070】例えば、要求者は「野球」というキーワー
ドが含まれる情報に対して過去に高い評価をしていたこ
とを考える。この場合、要求者と同様に「野球」という
キーワードを含む情報について高い評価をしている要求
者以外の利用者が、要求者以外の利用者は評価している
が、要求者がまだ評価していない情報(つまり、図9の
(B)で示される情報)について評価した情報を取り出
し、この情報に含まれる属性を抽出する。例えば、要求
者と似た嗜好を持つ別の利用者が、「野球」の他に「釣
り」というキーワードを持つ情報に対して高い評価をし
ている場合は、「要求者には、「野球」の他に「釣り」
というキーワードを持つ情報について適合度が高そう
だ。」という、属性と要求者に対する適合度の関係をあ
らわすプロファイルを学習する。
【0071】次に、第2の適合度推定部274は属性記
憶部32が記憶している情報の属性と、利用者プロファ
イル学習手段273が学習した要求者のプロファイルか
ら、利用者の誰も評価していない情報(つまり、図9の
(D)で示される情報)の要求者に対する適合度を算出
し、適合度統合手段275に伝える。つまり、この例の
場合、図9の(D)で示される情報中に、「野球」とい
うキーワードを含む情報については算出される適合度は
高くなるが、同様に「釣り」というキーワードを持つ情
報について算出される適合度は高くなる。
【0072】また、適合度推定手段274は、誰も評価
していない情報に加えて評価した利用者数が少ない情報
の適合度も推定することも考えられる。
【0073】適合度統合手段275は第1の適合度推定
部272と第2の適合度推定部274から算出される適
合度を統合して、情報選択手段24に伝える。
【0074】次に図3の実施の形態の動作を図4を参照
して説明する。
【0075】要求入力部11から要求者からの推薦要求
を受けとると、利用者間類似度算出手段271は、評価
記憶部33に記憶された要求者と要求者以外の利用者の
評価を利用して利用者間の類似度を算出する(A1
1)。第1の適合度推定部272は、評価記憶部33が
記憶している要求者以外の利用者の評価と、利用者間類
似度算出手段271が算出した利用者間類似度から、各
情報の要求者に対する適合度を推定する(A12)。
【0076】利用者プロファイル学習手段273は、属
性記憶部32に記憶された情報の属性と評価記憶部33
に記憶された要求者の評価と第1の適合度推定部272
で推定された適合度から、情報の属性と要求者の評価の
関係をあらわすプロファイルと、情報の属性と要求者に
対する適合度との関係をあらわすプロファイルを学習す
る(A13)。
【0077】第2の適合度推定部274は属性記憶部3
2が記憶している情報の属性と、利用者プロファイル学
習手段273が学習した要求者のプロファイルから、誰
も評価していない各情報の要求者に対する適合度を推定
し、適合度統合手段275に伝える(A14)。このと
き、誰も評価していない情報に加えて評価した利用者数
が少ない情報の要求者に対する適合度を推定しても良
い。
【0078】適合度統合手段275は第1の適合度推定
部272と第2の適合度推定部274から適合度を統合
して、情報選択手段24に伝える。適合度統合手段27
5では2つの適合度推定手段272と274が同じ情報
について異なる適合度を推定したときに、適合度の一本
化を行なう(A15)。
【0079】情報選択手段24は、適合度統合手段27
5が一本化した適合度を利用して、要求者の要求に合う
情報を選択し(A2)、結果を情報提示部12に出力す
る(A3)。
【0080】利用者間類似度は従来のSIF方式と同じ
ものが使える。例えば、利用者の各情報に対する評価値
を要素としたベクトルを評価ベクトルとして、利用者間
の類似度を利用者の評価ベクトル間のピアソンの積率相
関係数を使うことが考えられる。
【0081】プロファイル学習方法としては、従来のC
BF方式と同じものが使える。ただし、従来は情報の属
性と評価値の間の関係を学習していたが、本発明では情
報の属性と評価値と情報の属性と第1の適合度推定部が
推定した適合度との関係を学習すればよい。例えばプロ
ファイルの学習結果は式3で計算できる。式3中の、評
価値もしくは推定適合度、とは評価があれば評価値を、
評価が無ければ推定適合度を用いることを示している。
【0082】
【数3】
【0083】第2の適合度推定部で用いる適合度の推定
方法は従来のCBF方式と同じものが使える。例えば情
報の特徴ベクトルとプロファイルとのピアソンの積率相
関係数を使うことが考えられる。
【0084】第2の適合度推定部では、第1の適合度推
定部で適合度が推定できない情報や、推定できても精度
が低い情報について、適合度を推定すれば良い。例え
ば、利用者が誰も評価していない情報や、評価した利用
者人数が少ない情報について適合度を推定すれば良い。
【0085】情報統合手段275で2つの適合度推定手
段272と274が同じ情報について異なる適合度を推
定したときに、適合度の一本化を行なう方法としては、
適合度の高い方を選ぶ、適合度の低い方を選ぶ、2つの
適合度の平均を取る、適合度の信頼性の高い方を選ぶ等
が考えられる。これらの方法から情報の属する分野に合
わせて、一本化した後の適合度の信頼性が高くなるよう
に、方法を選べば良い。
【0086】また、本実施の形態の説明に利用した例は
あくまで例であり、本発明はこの例だけに限定されるも
のではない。さらに、本発明の情報フィルタリング方式
をコンピュータが実行可能なプログラムとしてCD-ROMや
フロッピーディスクに代表される記録媒体に記録してお
いてもよい。
【0087】
【発明の効果】本発明の第1の効果は、従来のCBF方
法の情報に価値があるかは結局人が読んで判断しないと
いけないという問題を軽減していることである。その理
由は、適合度推定に人による情報の価値評価が導入され
るからである。
【0088】本発明の第2の効果は、従来のCBF方法
の未知の属性値や単語を持つ情報に対してフィルタリン
グ精度が低いという欠点を軽減していることである。そ
の理由は、利用者が評価した情報に無い属性値や未知語
であっても、他の利用者が評価した情報に含まれていれ
ば、適合度の推定に利用できるからである。
【0089】本発明の第3の効果は従来のSIF方法の
問題である誰かが評価・推薦した情報しか得られないこ
とと、ある程度の量の評価が集まらなければフィルタリ
ングの精度が低いことを解決していることである。その
理由は、情報の属性も利用して適合度を推定しているた
めである。
【図面の簡単な説明】
【図1】第1の発明の構成の一実施の形態を示すブロッ
ク図である。
【図2】第1の発明の動作の一実施の形態を示すフロー
チャートである。
【図3】第1の発明の適合度推定手段の一構成例を示す
ブロック図である。
【図4】第1の発明の適合度推定手段の動作の一例を示
すフローチャートである。
【図5】従来のCBF方式の構成を示すブロック図であ
る。
【図6】従来のCBF方式の動作を示すフローチャート
である。
【図7】従来のSIF方式の構成を示すブロック図であ
る。
【図8】従来のSIF方式の動作を示すフローチャート
である。
【図9】従来の技術および本発明が対象とする情報を説
明するための図である。
【符号の説明】
1 入出力装置 2 データ処理装置 3 記憶装置 4 データ処理装置 5 記憶装置 6 データ処理装置 7 記憶装置 8 データ処理装置 9 記憶装置 11 要求入力部 12 情報提示部 13 評価入力部 21 属性抽出手段 22 利用者プロファイル学習手段 23 適合度推定手段 24 情報選択手段 25 利用者間類似度算出手段 26 適合度推定手段 27 適合度推定手段 271 利用者間類似度算出手段 272 適合度推定手段 273 利用者プロファイル学習手段 274 適合度推定手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平7−234881(JP,A) 野美山浩、紺谷精一、渡辺日出男、串 間和彦、堤泰治郎,「個人適応型情報検 索システム −個人の興味を学習する階 層記憶モデルとその協調的フィルタリン グへの適用−」,情報処理学会研究報 告,Vol.96,No.70(96−FI− 42),1996年7月25日,p.49−56 柴多直樹,「ネットトレンドウォッチ ャー」,NEC技報,Vol.49,N o.7,1996年7月30日,p.24−27 宮原一弘、岡本敏雄,「協調フィルタ リングにおける個人の興味領域の表現と その獲得法」,電子情報通信学会技術研 究報告,Vol.96,No.453(AI 96−30〜42),1997年1月22日,p.15 −22 (58)調査した分野(Int.Cl.7,DB名) G06F 17/30 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】要求者に適合する情報の推薦やフィルタリ
    ングを行う情報フィルタリング方法であって、 前記情報に含まれる属性を抽出して属性記憶部に記憶す
    るとともに、前記情報に対する利用者の評価値を受け付
    けて評価記憶部に記憶しておき、 前記評価記憶部を参照して、前記要求者が評価した前記
    情報に対する評価値と、前記要求者以外の利用者が評価
    した前記情報に対する評価値から、前記要求者と前記要
    求者以外の利用者間の類似度を算出し、 算出された利用者間の類似度から、前記要求者以外の利
    用者が評価した情報のうち、前記要求者が評価していな
    い情報について、前記要求者に対する第1の適合度を推
    定し、 前記属性記憶部と前記評価記憶部を参照して、前記要求
    者が評価を行った情報に含まれる属性と評価の関係を学
    習し、さらに、推定した前記第1の適合度から、前記要
    求者以外の利用者が評価した情報のうち、前記要求者が
    評価していない情報に含まれる属性と適合度の関係を学
    習し、 学習した前記属性と評価の関係及び前記属性と適合度の
    関係から、前記要求者と前記要求者以外の利用者が評価
    していない情報についての前記要求者の第2の適合度を
    推定し、 推定した前記第1の適合度と前記第2の適合度を統合す
    ることによって、前記要求者に対して適合する情報の推
    薦やフィルタリングを行うことを特徴とする情報フィル
    タリング方法。
  2. 【請求項2】要求者に適合する情報の推薦やフィルタリ
    ングを行う情報フィルタリング装置であって、 前記情報に含まれる属性を抽出する属性抽出手段と、 抽出された前記属性を記憶する属性記憶部と、 複数の利用者から前記情報に対する評価値の入力を受け
    付ける評価入力部と、 前記評価入力部で受け付けた情報の評価値を記憶する評
    価記憶部と、 前記評価記憶部を参照して、前記要求者が前記情報に対
    して入力した評価値と、前記要求者以外の利用者が前記
    情報に対して入力した評価値から、前記要求者と前記要
    求者以外の利用者間の類似度を算出する利用者間類似度
    算出手段と、 前記利用者間類似度算出手段で算出された類似度から、
    前記要求者以外の利用者が評価した情報のうち、前記要
    求者が評価していない情報について、前記要求者に対す
    る第1の適合度を推定する第1の適合度推定部と、 前記属性記憶部と前記評価記憶部を参照して、前記要求
    者が評価を行った情報に含まれる属性と評価の関係を学
    習するとともに、前記第1の適合度推定部で推定された
    第1の適合度を用いて、前記要求者以外の利用者が評価
    した情報のうち、前記要求者が評価していない情報に含
    まれる属性と適合度の関係を学習する利用者プロファイ
    ル学習手段と、 前記利用者プロファイル学習手段が学習した属性と評価
    の関係及び属性と適合度の関係から、前記要求者と前記
    要求者以外の利用者が評価していない情報について、前
    記要求者に対する第2の適合度を推定する第2の適合度
    推定部と、 前記第1の適合度と前記第2の適合度を統合することに
    よって、前記要求者に対して適合する情報の推薦やフィ
    ルタリングを行う適合度統合手段と、 を備えることを特徴とする情報フィルタリング装置。
JP09038696A 1997-02-24 1997-02-24 情報フィルタリング方法及びその装置 Expired - Fee Related JP3116851B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP09038696A JP3116851B2 (ja) 1997-02-24 1997-02-24 情報フィルタリング方法及びその装置
US09/028,572 US6408288B1 (en) 1997-02-24 1998-02-24 Information filtering method and device, and storage medium storing information filtering program
EP98103190A EP0860785A1 (en) 1997-02-24 1998-02-24 Information filtering method and device, and storage medium storing information filtering program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09038696A JP3116851B2 (ja) 1997-02-24 1997-02-24 情報フィルタリング方法及びその装置

Publications (2)

Publication Number Publication Date
JPH10240749A JPH10240749A (ja) 1998-09-11
JP3116851B2 true JP3116851B2 (ja) 2000-12-11

Family

ID=12532480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09038696A Expired - Fee Related JP3116851B2 (ja) 1997-02-24 1997-02-24 情報フィルタリング方法及びその装置

Country Status (3)

Country Link
US (1) US6408288B1 (ja)
EP (1) EP0860785A1 (ja)
JP (1) JP3116851B2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999063458A1 (fr) * 1998-05-29 1999-12-09 Sony Corporation Systeme generant des informations de preference constatees
US6321221B1 (en) 1998-07-17 2001-11-20 Net Perceptions, Inc. System, method and article of manufacture for increasing the user value of recommendations
US6334127B1 (en) * 1998-07-17 2001-12-25 Net Perceptions, Inc. System, method and article of manufacture for making serendipity-weighted recommendations to a user
JP3617331B2 (ja) * 1998-10-02 2005-02-02 日本ビクター株式会社 情報提供サーバ及び情報提供方法
JP3646011B2 (ja) * 1998-10-22 2005-05-11 三菱電機株式会社 検索システム、及び、当該検索システムのプログラムを記録したコンピュータ読み取り可能な記録媒体
US6317881B1 (en) * 1998-11-04 2001-11-13 Intel Corporation Method and apparatus for collecting and providing viewer feedback to a broadcast
US7949565B1 (en) * 1998-12-03 2011-05-24 Prime Research Alliance E., Inc. Privacy-protected advertising system
US6412012B1 (en) 1998-12-23 2002-06-25 Net Perceptions, Inc. System, method, and article of manufacture for making a compatibility-aware recommendations to a user
JP4076194B2 (ja) * 1998-12-24 2008-04-16 株式会社東芝 情報共有装置
JP2000227918A (ja) * 1999-02-05 2000-08-15 Nec Corp 情報フィルタリング方法及びその装置並びに情報フィルタリングプログラムを記録した記録媒体
JP3532116B2 (ja) * 1999-04-30 2004-05-31 株式会社エヌ・ティ・ティ・データ 情報選別方法及びシステム、記録媒体
JP2000331013A (ja) * 1999-05-19 2000-11-30 Matsushita Electric Ind Co Ltd 情報問いあわせ支援装置及び情報問いあわせ支援方法
JP4743740B2 (ja) * 1999-07-16 2011-08-10 マイクロソフト インターナショナル ホールディングス ビー.ブイ. 自動化された代替コンテンツ推奨を作成する方法及びシステム
US6295559B1 (en) 1999-08-26 2001-09-25 International Business Machines Corporation Rating hypermedia for objectionable content
US7461058B1 (en) 1999-09-24 2008-12-02 Thalveg Data Flow Llc Optimized rule based constraints for collaborative filtering systems
EP1236354A4 (en) 1999-11-10 2009-04-22 Yahoo Inc INTERNET RADIO AND BROADCASTING METHOD
WO2001053973A2 (en) * 2000-01-21 2001-07-26 Net Perceptions, Inc. Recommendation method and system based on rating space partitioned data
US6389467B1 (en) 2000-01-24 2002-05-14 Friskit, Inc. Streaming media search and continuous playback system of media resources located by multiple network addresses
US7617127B2 (en) * 2000-04-28 2009-11-10 Netflix, Inc. Approach for estimating user ratings of items
US8352331B2 (en) 2000-05-03 2013-01-08 Yahoo! Inc. Relationship discovery engine
NL1015151C2 (nl) * 2000-05-10 2001-12-10 Collexis B V Inrichting en werkwijze voor het catalogiseren van tekstuele informatie.
US7788123B1 (en) 2000-06-23 2010-08-31 Ekhaus Michael A Method and system for high performance model-based personalization
AU2001271980B2 (en) * 2000-07-11 2004-07-29 Excalibur Ip, Llc Online playback system with community bias
JP2002163546A (ja) * 2000-11-27 2002-06-07 Matsushita Electric Ind Co Ltd 情報配信システム及び情報配信方法
JP3912975B2 (ja) * 2000-11-27 2007-05-09 富士通株式会社 商品情報提供方法
JP2002215665A (ja) * 2001-01-16 2002-08-02 Dainippon Printing Co Ltd 情報推薦サーバー装置
US20030051240A1 (en) * 2001-09-10 2003-03-13 Koninklijke Philips Electronics N.V. Four-way recommendation method and system including collaborative filtering
US7162522B2 (en) * 2001-11-02 2007-01-09 Xerox Corporation User profile classification by web usage analysis
JP2004272662A (ja) * 2003-03-10 2004-09-30 Ricoh Co Ltd コンテンツ管理装置、コンテンツ管理システム、コンテンツ管理方法、コンテンツ管理方法をコンピュータに実行させるプログラム、記録媒体、およびコンテンツデータ
JP4591217B2 (ja) * 2005-06-07 2010-12-01 富士ゼロックス株式会社 推薦情報提供システム
JP2007011674A (ja) * 2005-06-30 2007-01-18 National Institute Of Information & Communication Technology 対話ロボットを用いた理由説明サービス処理方法およびその装置,およびそのプログラム
JP2005353083A (ja) * 2005-07-04 2005-12-22 Toshiba Corp 情報共有装置および方法
US8380726B2 (en) 2006-03-06 2013-02-19 Veveo, Inc. Methods and systems for selecting and presenting content based on a comparison of preference signatures from multiple users
JP4970180B2 (ja) * 2007-07-23 2012-07-04 株式会社エヌ・ティ・ティ・ドコモ コンテンツ配信サーバ及びコンテンツ配信方法
KR101415022B1 (ko) * 2007-07-24 2014-07-09 삼성전자주식회사 복합 알고리즘 이용한 정보 추천 방법 및 장치
KR101213235B1 (ko) * 2007-07-24 2012-12-17 삼성전자주식회사 콘텐트 사용자 또는 콘텐트 제작자가 콘텐트에 삽입되는광고를 선택할 수 있는 콘텐트의 재생/제작 방법 및 장치
JP2009053757A (ja) * 2007-08-23 2009-03-12 Toshiba Corp 情報処理装置、入力方法およびプログラム
JP5140449B2 (ja) * 2008-01-31 2013-02-06 共同印刷株式会社 情報提供システム
US8732104B2 (en) * 2008-10-03 2014-05-20 Sift, Llc Method, system, and apparatus for determining a predicted rating
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US8484226B2 (en) * 2011-07-09 2013-07-09 Yahoo! Inc. Media recommendations for a social-software website
US11151617B2 (en) 2012-03-09 2021-10-19 Nara Logics, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
US10789526B2 (en) 2012-03-09 2020-09-29 Nara Logics, Inc. Method, system, and non-transitory computer-readable medium for constructing and applying synaptic networks
US10467677B2 (en) 2011-09-28 2019-11-05 Nara Logics, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
US8732101B1 (en) 2013-03-15 2014-05-20 Nara Logics, Inc. Apparatus and method for providing harmonized recommendations based on an integrated user profile
US11727249B2 (en) 2011-09-28 2023-08-15 Nara Logics, Inc. Methods for constructing and applying synaptic networks
US8170971B1 (en) 2011-09-28 2012-05-01 Ava, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
JP2013175038A (ja) * 2012-02-24 2013-09-05 Nec Personal Computers Ltd コンテンツ推奨装置、コンテンツ推奨システム、制御方法及びプログラム
US20150170067A1 (en) * 2013-12-17 2015-06-18 International Business Machines Corporation Determining analysis recommendations based on data analysis context
US11477302B2 (en) 2016-07-06 2022-10-18 Palo Alto Research Center Incorporated Computer-implemented system and method for distributed activity detection
US11593346B2 (en) * 2017-11-10 2023-02-28 Pravado Llc Crowdsourced validation of electronic content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2829745B2 (ja) 1989-05-29 1998-12-02 株式会社リコー 文書検索装置
US5724567A (en) * 1994-04-25 1998-03-03 Apple Computer, Inc. System for directing relevance-ranked data objects to computer users
IL118580A0 (en) * 1995-06-30 1996-10-16 Massachusetts Inst Technology Method and apparatus for item recommendation using automated collaborative filtering
US5867799A (en) * 1996-04-04 1999-02-02 Lang; Andrew K. Information system and method for filtering a massive flow of information entities to meet user information classification needs

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宮原一弘、岡本敏雄,「協調フィルタリングにおける個人の興味領域の表現とその獲得法」,電子情報通信学会技術研究報告,Vol.96,No.453(AI96−30〜42),1997年1月22日,p.15−22
柴多直樹,「ネットトレンドウォッチャー」,NEC技報,Vol.49,No.7,1996年7月30日,p.24−27
野美山浩、紺谷精一、渡辺日出男、串間和彦、堤泰治郎,「個人適応型情報検索システム −個人の興味を学習する階層記憶モデルとその協調的フィルタリングへの適用−」,情報処理学会研究報告,Vol.96,No.70(96−FI−42),1996年7月25日,p.49−56

Also Published As

Publication number Publication date
US6408288B1 (en) 2002-06-18
EP0860785A1 (en) 1998-08-26
JPH10240749A (ja) 1998-09-11

Similar Documents

Publication Publication Date Title
JP3116851B2 (ja) 情報フィルタリング方法及びその装置
US11036814B2 (en) Search engine that applies feedback from users to improve search results
US7457768B2 (en) Methods and apparatus for predicting and selectively collecting preferences based on personality diagnosis
US9268455B2 (en) System and method for user-controlled, multi-dimensional navigation and/or subject-based aggregation and/or monitoring of multimedia data
US9098813B1 (en) Methods and systems for conducting a personalized web browser search by probability estimation that is unseen document is of interest to the user
US6006218A (en) Methods and apparatus for retrieving and/or processing retrieved information as a function of a user's estimated knowledge
JPH09265478A (ja) 情報フィルタリング方式
EP2113849A2 (en) Information processing apparatus and presenting method of related items
Kuflik et al. Generation of user profiles for information filtering—research agenda
KR20030058660A (ko) 개인화 시스템에서 사용자의 컨텐트 선호도를 이용한협업필터링 학습방법
Jrad et al. A contextual user model for web personalization
KR101902460B1 (ko) 문서 분류 장치
JPWO2003017137A1 (ja) ユーザプロファイル管理装置および推薦装置
JP3646011B2 (ja) 検索システム、及び、当該検索システムのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3692416B2 (ja) 情報フィルタリング方法および装置
Banouar et al. Enriching SPARQL queries by user preferences for results adaptation
Liao et al. A personal ontology model for library recommendation system
JP2000227918A (ja) 情報フィルタリング方法及びその装置並びに情報フィルタリングプログラムを記録した記録媒体
JP3788254B2 (ja) 情報フィルタリングシステムとそのフィルタリング方法、及び情報フィルタリングプログラム
Toledo et al. Personalized Recommendation in Interactive Visual Analysis of Stacked Graphs.
Mianowska et al. A method for collaborative recommendation in document retrieval systems
Lee et al. Personalized course navigation based on grey relational analysis
JP2000099548A (ja) 情報フィルタリング方法及びその装置並びに情報フィルタリングプログラムを記録した記録媒体
Hong et al. Personalized Information Retrieval Framework.
JP2003022279A (ja) 情報フィルタリングシステム

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071006

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081006

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091006

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees