JP3497712B2 - 情報フィルタリング方法、装置及びシステム - Google Patents

情報フィルタリング方法、装置及びシステム

Info

Publication number
JP3497712B2
JP3497712B2 JP32993397A JP32993397A JP3497712B2 JP 3497712 B2 JP3497712 B2 JP 3497712B2 JP 32993397 A JP32993397 A JP 32993397A JP 32993397 A JP32993397 A JP 32993397A JP 3497712 B2 JP3497712 B2 JP 3497712B2
Authority
JP
Japan
Prior art keywords
profile
user
information
vector
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32993397A
Other languages
English (en)
Other versions
JPH11161670A (ja
Inventor
務 松永
博巳 木田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP32993397A priority Critical patent/JP3497712B2/ja
Publication of JPH11161670A publication Critical patent/JPH11161670A/ja
Application granted granted Critical
Publication of JP3497712B2 publication Critical patent/JP3497712B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、大量の電子化情報
からユーザにとって関心の高いテーマを持つ電子化情報
をフィルタリング(フィルタリング)する手法に関す
る。
【0002】
【従来の技術】近年、インタネットに代表される大規模
かつ高速なネットワークの普及等により、エンドユーザ
が容易に多種の電子化情報を多様な形態で取得できる環
境が提供されている。しかし、情報の電子化の推進は情
報化社会の一翼を担う一方、その膨大化した情報は、人
間が管理可能な量を遥かに越えてしまう弊害をもたらし
ており、この問題を解決する手法ないしシステムの開発
が望まれている。また、電子化情報の流通化に伴って、
大量の電子化情報から必要な情報のみを取捨選択する必
要性が生じている。この場合の取捨選択作業は、人手で
行うには負担がかかりすぎるため、コンピュータ装置に
よる自動化、例えば、ユーザが関心を持つテーマに沿っ
て、流入する大量の電子化情報を自動的に選別する情報
フィルタリング方法に関する検討がなされている。
【0003】一般に、情報フィルタリング方法では、ユ
ーザの関心度合いを定量化してコンピュータ処理するた
めに、ユーザがどのような情報に関心を有しているかを
表現する基準ベクトル(ユーザプロファイルベクトル、
ユーザプロファイル、あるいは単にプロファイルとも呼
ばれている)が用いられる。ユーザプロファイルは、例
えば、予めユーザが関心のある電子化情報に含まれる複
数のテキストデータの集合に含まれる単語の出現頻度を
単語毎に求め、求めた単語の種類に応じた次元、例え
ば、単語の種類が10種類あれば10次元のベクトルに
変換するとともに、これを正規化したものである。
【0004】また、ベクトルによるパターン認識手法の
一形態として部分空間法(部分空間類別法とも呼ばれ
る)が知られている。この手法は、類別すべきカテゴリ
を特徴ベクトル成分の分布から形成される部分空間への
射影を通して判定する統計的手法である。この場合の変
換するベクトル成分の固有ベクトル計算には、例えば、
量子化アルゴリズムであるカルーネン・レーベ(Karhun
en-Loeve)変換によるKL解析が採用されている。この
部分空間法における代表的な手法には、CLAFIC(C
LAss-Featuring Information Compression)法や、平均
学習部分空間法(Averaged Learning Sub-space Metho
d,ALSM)がある。CLAFIC法及びALSMは、
同様の類別基準を持ち、またALSMは、対抗するカテ
ゴリも考慮した適応的な学習法である。なお、この部分
空間法については、例えば、「パターン認識と部分空間
法」(エルッキ・オヤ著、産業図書)等で詳しく記述さ
れている。
【0005】実際に情報フィルタリングを行う場合は、
ユーザが関心有りと判定されるような閾値を予め設定し
ておき、当該閾値に基づいてユーザプロファイルを参照
することにより、対象となる電子化情報群に対して、類
似の度合が大きい順にランク付けされる。電子化情報
は、例えば、当該ランクの上位から所定数が選択され、
ユーザに対して提示される。
【0006】
【発明が解決しようとする課題】ところで、一般にフィ
ルタリングの誤りには、必要な情報を落とす「漏れ」
と、不必要な情報を取り込む「ノイズ」とがあり、これ
らの間にはトレードオフの関係があることは良く知られ
たことである。しかし、従来のフィルタリングでは、ユ
ーザの関心度合い、すなわち「必要な情報」のみに着目
した一面的なフィルタリングであり、情報の「漏れ」に
対する減少のみが考慮されたものである。そのため、
「ノイズ」の除去を直接的に考慮しておらず、フィルタ
リング精度を高める上で限界があった。
【0007】また、従来のフィルタリングでは、ユーザ
の関心事項が複数ある場合や、関心の時間的な変化に柔
軟に対応することができないという制約があった。具体
的には、業務や趣味等はユーザの長期的な関心事項であ
り、事件等は一時的な関心事項であるが、従来のフィル
タリングでは、一様なキーワード入力等によって関心度
合いを決定しなければならないために、ユーザの関心の
変化に対応した自動的なフィルタリングは不可能であっ
た。
【0008】そこで本発明の課題は、ユーザの関心情報
であるユーザプロファイルを、ユーザ自身が設定、評価
する必要なく、変化するユーザの関心に追随する学習機
能により、プロファイルの自動作成を可能とし、フィル
タリングに係る精度を一定値以上に維持することができ
る、情報フィルタリング方法を提供することにある。本
発明の他の課題は、上記情報フィルタリング方法の実施
に適した情報フィルタリング装置を提供することにあ
る。
【0009】
【課題を解決するための手段】上記課題を解決するた
め、本発明は、ユーザの関心の有無を識別するための識
別情報が付与された電子化情報から冗長な次元を削減し
た学習ベクトルを抽出し、この学習ベクトルに所定の部
分空間類別基準を適用して「関心有」または「関心無」
のいずれかのカテゴリに対応するユーザプロファイルを
作成する過程と、選別対象となる新規電子化情報が入力
されたときに、その新規電子化情報の特徴を表す対象ベ
クトルを抽出し、この対象ベクトルと前記作成されたユ
ーザプロファイルとの特徴差を当該ユーザプロファイル
に対応する部分空間への射影により求め、この特徴差に
基づいて前記新規電子化情報を「関心有」または「関心
無」のいずれかのカテゴリに選別する過程と、選別後の
電子化情報から前記ユーザプロファイルと同一形式の更
新プロファイルを作成し、この更新プロファイルを用い
て前記ユーザプロファイルを更新する過程とを含む、情
報フィルタリング方法を提供する。
【0010】上記情報フィルタリング方法において、よ
り好ましくは、相互に関連する複数のユーザプロファイ
ルを統合して各ユーザプロファイルと共用関係をなす共
用プロファイルを作成する過程をさらに含むようにす
る。この場合、前記選別する過程は、前記共用プロファ
イルまたは前記ユーザプロファイルとの特徴差に基づい
て前記新規電子化情報を「関心有」または「関心無」の
いずれかのカテゴリに選別する。
【0011】また、上記他の課題を解決する本発明の情
報フィルタリング装置は、電子化情報の特徴から冗長な
次元が削除されたベクトルを抽出するベクトル処理手段
と、ユーザの関心の有無を識別するための識別情報が付
与された電子化情報から前記ベクトル処理手段で抽出さ
れた学習ベクトルに、所定の部分空間類別基準を適用し
て「関心有」または「関心無」のいずれかのカテゴリに
対応するユーザプロファイルを作成するプロファイル作
成手段と、選別対象となる新規電子化情報から前記ベク
トル処理手段で抽出された対象ベクトルと前記ユーザプ
ロファイルとの特徴差を、当該ユーザプロファイルに対
応する部分空間への射影により求め、この特徴差に基づ
いて前記新規電子化情報を「関心有」または「関心無」
のいずれかのカテゴリに選別する選別手段とを有し、こ
の選別手段による選別結果から新たな学習ベクトルを抽
出して前記プロファイル作成手段に導くように構成され
ていることを特徴とする。
【0012】より好ましくは、前記ユーザプロファイル
をユーザ毎に管理するユーザ管理手段をさらに備え、こ
のユーザ管理手段が新規ユーザによる最初の選別である
ことを認識したときに、当該新規ユーザについての初期
プロファイル設定用データを対話式で取り込んで前記プ
ロファイル作成手段に当該新規ユーザについての前記ユ
ーザプロファイルを作成させるように構成する。
【0013】なお、前記プロファイル作成手段は、例え
ば、前記抽出された学習ベクトルから部分空間類別基準
に基づいて、あるいは所定の平均的学習部分空間法の適
応的な学習条件に基づいて相関行列を作成するように構
成する。前者は、ユーザプロファイルを新規に作成する
場合、後者はユーザプロファイルを更新する場合に有効
となる。また、前記ベクトル処理手段は、正規直交変換
によるKL解析を施して前記冗長な次元を削減するよう
に構成する。
【0014】本発明の他の情報フィルタリング装置は、
相互に関わり合う複数の前記ユーザプロファイルを統合
して統合前のユーザプロファイルと共用関係をなす共用
プロファイルを作成して保存するとともに、この共用プ
ロファイルに関わるユーザプロファイルの少なくとも一
つが更新された場合に、当該更新を前記共用プロファイ
ルに反映させる共用プロファイル処理手段を更に備え、
前記選別手段が、前記ユーザプロファイルまたは共用プ
ロファイルを選択的に用いて前記選別を行うようにした
ものである。なお、前記共用プロファイル処理手段は、
例えば統合候補となる複数のユーザプロファイルの各々
について関心の有無の差分に着目した距離値を算出し、
この距離値の総和から統合するかどうかを判定するよう
にする。
【0015】上記他の課題を解決する本発明の情報フィ
ルタリングシステムは、上記情報フィルタリング装置を
通信回線に接続し、前記通信回線を通じて流通する電子
化情報が、前記情報フィルタリング装置に取り込まれる
ようにしたものである。この場合、前記情報フィルタリ
ング装置は、エージェント手段を通じて取り込まれた前
記電子化情報のフィルタリングを行うように構成するこ
とが望ましい。
【0016】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。 (第1実施形態)図1は、本発明を適用した情報フィル
タリング装置の機能ブロック図である。図中、実線は処
理の流れ、破線はデータ類の流れを表す。この情報フィ
ルタリング装置1は、例えばスタンドアロン型のコンピ
ュータ装置の内部または外部に構築される文書データベ
ース(図示省略)及びプロファイルデータベース(以
下、プロファイルDB)20、上記コンピュータ装置が
所定のプログラムを読み込んで実行することにより形成
される、データ入力部11、ユーザ管理部12、特徴ベ
クトル抽出部13、次元処理部14、処理選択部15、
相関行列作成部16、プロファイル管理部17、フィル
タリング処理部18、結果出力部19を備えて構成され
る。また、図示しないが、後述する初期プロファイル用
設定データやグループ化基準の設定データ等を対話式に
取り込むための設定用インタフェースを搭載した表示装
置、文書を取り込むための入力装置、フィルタリング結
果を出力するための出力装置をも備えている。
【0017】上記プログラムは、通常、コンピュータ装
置の内部記憶装置あるいは外部記憶装置に格納され、随
時読み取られて実行されるようになっているが、コンピ
ュータ装置とは分離可能な記録媒体、例えばCD−RO
MやFD等に格納された可搬性記録媒体、あるいは構内
ネットワークに接続されたプログラムサーバ等に記録さ
れ、使用時に読み込まれて上記内部記憶装置または外部
記憶装置にインストールされて随時実行に供されるもの
であってもよい。
【0018】プロファイルDB20は、電子化情報(以
下、特にことわらない限り、単数、複数を問わず文書と
称する)に対するユーザの関心情報、すなわち「関心
有」または「関心無」のカテゴリを表すユーザプロファ
イル、及び複数のユーザプロファイルと共用関係をなす
共用プロファイルをユーザ毎に保存したものである。こ
のユーザプロファイル等は、前述の部分空間法に基づい
て作成されるもので、ユーザがアクセスして選別(フィ
ルタリング)を行う度に更新されるようになっている。
【0019】データ入力部11は、ユーザによるアクセ
スがあったとき、すなわちユーザがスキャナ等の入力装
置を通じて文書を本装置に読み込ませたときに、これを
取り込んでユーザ管理部12に入力するものである。ユ
ーザ管理部12は、ユーザプロファイル等をユーザ毎に
管理しており、上記ユーザからのアクセスを契機に当該
ユーザが予め登録されたユーザか否かを判定し、判定結
果に応じて以後の処理を選択的に行う。
【0020】新規ユーザによるアクセスの場合は、デー
タ入力部11から入力された文書に初期プロファイル用
設定データを割り当てた後、これを特徴ベクトル抽出部
13に入力する。また、新規ユーザからのアクセスであ
る旨を処理選択部15に通知する。初期プロファイル用
設定データは、上記設定用インタフェースを介して対話
式で取り込んだ当該新規ユーザの「関心有り」または
「関心無し」の識別情報である。一方、既登録ユーザに
よるアクセスの場合は、入力された文書を特徴ベクトル
抽出部13に入力するとともに、当該ユーザの識別情報
を処理選択部15に通知する。ユーザ管理部12は、ま
た、プロファイル管理部17において使用される、後述
の共用プロファイル作成のためのグループ化基準の設定
をも行う。このグループ化基準は、プロファイルが相互
に関連するかどうか、例えばどのユーザとどのユーザの
関心が共通するかを表す基準であり、予めシステムパラ
メータを通じて設定する。上記設定用インタフェースを
通じて個々のユーザが明示的に設定するようにすること
もできる。
【0021】特徴ベクトル抽出部13は、入力された文
書の特徴を表すベクトル(特徴ベクトルの集合、または
その集合を代表する一つのベクトル)を抽出する。具体
的には、当該文書中に出現するキーワード(以下、単
語)の種類を次元数とし、各単語の出現頻度に重みをか
けた一または複数のベクトルを演算処理により求める。
この場合の単語の重み付けは、公知の「TF・IDF
法」により行うことができる。抽出されたベクトルは、
次元処理部14に入力される。
【0022】次元処理部14は、特徴ベクトル抽出部1
3で抽出されたベクトルに対し、前述のKL解析、すな
わち正規直交変換による主成分分析を施し、重みが相対
的に低い冗長な次元のベクトルの削減(または次元圧縮
とも言う)を行うものである。次元削減されたベクトル
は、処理選択部15に入力される。
【0023】処理選択部15は、次元処理部14で次元
削減されたベクトルに対する以後の処理を選択するもの
である。具体的には、新規ユーザのアクセスの場合には
プロファイル作成、データ入力部11に残りの入力文書
がある場合にはフィルタリング(選別)、フィルタリン
グ完了後の場合はプロファイル更新の処理がそれぞれ選
択されるようにする。
【0024】相関行列作成部16は、処理選択部15で
選択された処理がプロファイル作成またはプロファイル
更新の場合に、次元削減されたベクトルに各々対応した
相関行列を作成するものである。
【0025】プロファイル管理部17は、主として、プ
ロファイルや共用プロファイルのプロファイルDB20
への保存、読み出し、更新を行うものである。すなわ
ち、相関行列作成部16で作成された相関行列を当該ユ
ーザの関心を表すユーザプロファイルとして、これをプ
ロファイルDB22にユーザ毎に保存させ、フィルタリ
ングの際に、このプロファイルをプロファイルDB20
から適宜読み出す。また、プロファイルDB20中にお
いて、ユーザ管理部12で設定したグループ化基準に対
応した複数のユーザプロファイルを統合(該当する複数
の相関行列の総和)して当該グループ識別情報の共用プ
ロファイルを作成し、さらに、新規または更新されたユ
ーザプロファイルが、共用プロファイルに関連する場合
は、そのユーザプロファイルの情報で対応する共用プロ
ファイルを更新する。共用プロファイルを設けることに
より、ユーザの持つ情報を提供し合い、これらのユーザ
間で相互に関心情報を共有することが可能となる。つま
り、特定のユーザプロファイルに含まれない関心情報が
あっても、共用プロファイルに当該関心情報が存在すれ
ば、それを補完的に参照できるようになる。
【0026】フィルタリング処理部18は、処理選択部
15でフィルタリング処理が選択された場合に、プロフ
ァイルDB22に格納された当該ユーザのユーザプロフ
ァイルまたは当該ユーザが属する共有プロファイルによ
って文書(実際には次元削減されたベクトル)のフィル
タリングを行う。フィルタリング結果は、結果出力部1
9を通じて出力装置または文書データベースに出力され
る。結果出力部19は、また、フィルタリング結果を既
存のユーザプロファイルに反映させるためにデータ入力
部11にフィードバックする機能をも有する。
【0027】次に、本発明によるプロファイル及びフィ
ルタリングの概念を説明する。図2は、プロファイル作
成の処理手順図である。この場合のプロファイルは、新
規ユーザより入力された文書に基づいて作成されるもの
で、この文書には、上述のようにして「関心有」または
「関心無」の識別情報が付与されている。なお、新規ユ
ーザという場合、ユーザ管理部12で既に管理されてい
るユーザであるが、そのユーザからのアクセスが全くな
く、フィルタリングを初めて行う場合を含む。
【0028】情報フィルタリング装置1は、新規ユーザ
からの文書が入力されると(ステップS101)、この
文書中に出現する単語の種類を次元数とし、各単語の出
現頻度に重み付けをしたベクトル(特徴ベクトル集合)
を抽出する(ステップS102)。この抽出されたベク
トルに対して上述の次元削減を行い(ステップS10
3)、これにより得られたベクトルから相関行列を作成
する(ステップS104)。この相関行列は、所定の部
分空間類別基準、すなわち、ベクトル空間モデルのパタ
ーン認識を行う場合に用いられる部分空間法に基づく基
準に基づいて作成される。この部分空間類別基準につい
ては、例えば、「パターン認識と部分空間法」(エルッ
キ・オヤ著、産業図書)等の記載を参考にすることがで
きる。この相関行列は、ユーザプロファイルとして保存
される(ステップS105)。このように、相関行列を
ユーザプロファイルとすることにより、ユーザの関心を
表す関心情報は、文書中に出現する単語間の共起関係に
着目した表現となる。
【0029】図3は、フィルタリングの処理手順図であ
る。情報フィルタリング装置1は、文書が入力されると
(ステップS201)、その文書に対して上記ステップ
S102〜103と同様の処理を施し、次元削減された
ベクトルを抽出する(ステップS202〜S203)。
そして、抽出したベクトルと、ユーザの識別情報を検索
キーとしてプロファイルDB20から読み出したユーザ
プロファイルまたは共用プロファイルに対し、それぞれ
前述のKL解析を施して固有値及び固有ベクトルを算出
し、部分空間(プロファイル)に対するベクトルの射影
を算出抽出することにより、文書の選別を行う(ステッ
プS204)。
【0030】図4は、プロファイル更新の処理手順図で
ある。この場合に入力される文書は、上記図3の処理手
順により得られたフィルタリング結果である。このフィ
ルタリング結果にも、「関心有」または「関心無」の識
別情報が付与されている。フィルタリング結果である文
書が入力されると(ステップS301)、情報フィルタ
リング装置1は、その文書に対して上記ステップS10
2〜103と同様の処理を施し、次元削減を施したベク
トルを抽出する(ステップS302〜S303)。その
後、抽出したベクトルからALSMの適応的な学習条件
に基づいて相関行列を再作成する(ステップS30
4)。さらに、既に保存されている該当ユーザプロファ
イルに対応する相関行列と該当部分空間をこの再作成し
た相関行列で更新する(ステップS305)。このよう
にしてフィードバックの度にユーザプロファイルが自動
的に更新される。
【0031】次に、共用プロファイルについてより詳し
く説明する。共用プロファイルの作成、フィルタリン
グ、更新も、基本的には上記図2〜4の処理手順に従っ
て行うことができる。ここでは、文書に付与された「関
心有」と「関心無」の両面を考慮した共用プロファイル
の作成を中心に説明する。なお、識別情報「関心有」に
対応するカテゴリを「正の関心」、また「関心無」に対
応するカテゴリを「負の関心」とする。関連する複数の
ユーザプロファイルの統合を行う際には、各ユーザプロ
ファイル間における類似の度合い、すなわち距離値の大
きさを考慮することが、共用プロファイルを効果的に作
成する上で重要となる。
【0032】例えば、文書集合Dにおけるユーザプロフ
ァイルAの、ユーザプロファイルBに対する距離値を抽
出する場合に、「正の関心」及び「負の関心」に着目す
ることにより、共用ファイルを高精度に作成することが
できる。この点を説明する。文書集合Dに文書Kが含ま
れている場合、まず、プロファイルBにおける文書Kに
関して、「正の関心」の射影値から「負の関心」の射影
値の差分を算出する(第1射影差分値)。次に、プロフ
ァイルAにおける文書Kに関して、「正の関心」の射影
値から「負の関心」の射影値の差分を算出する(第2射
影差分値)。さらに、プロファイルBの第1射影差分値
からプロファイルAの第2射影差分値の差を算出する。
この算出値を2乗した値を差分距離とする。この差分距
離は、ユークリッド距離として表現される、文書Kに対
するユーザプロファイルA及びBにおける関心の有無の
差となるものである。
【0033】次に、同様にして、差分距離を文書集合D
に含まれるすべての文書に対して算出し、これらの各差
分距離の総和を算出する。この総和による算出値が、文
書集合DにおけるユーザプロファイルAのユーザプロフ
ァイルBに対する距離値であり、関心の程度が似通った
文書の順に足しあげる際の、すなわち統合する場合のユ
ーザプロファイル間における差異の尺度となるものであ
る。この距離値が大きい場合には対象となるユーザプロ
ファイル間では類似度合いが小さく、一方、距離値が小
さい場合にはユーザプロファイル間における類似度合い
は大きくなる。共用ファイルを作成する際には、この類
似度合いが所定範囲内のもの(例えば予め定めた閾値以
下のもの)を統合するように構成する。
【0034】次に、情報フィルタリング装置1を用いた
情報フィルタリング方法を、図5及び図6を参照して説
明する。まず、初期プロファイルを作成する場合の例を
説明する。文書がデータ入力部11を通じて入力され、
新規ユーザであることを確認すると(ステップS40
1、S402)、ユーザ管理部12は、その文書に初期
プロファイル設定用データを付与して特徴ベクトル抽出
部13へ送る。特徴ベクトル抽出部13は、この文書か
らベクトル抽出を行う(ステップS403)。さらに、
抽出したベクトルから次元処理部14で冗長な次元を削
減する(ステップS404)。相関行列作成部16は、
この次元削減されたベクトルから相関行列を作成し(ス
テップS406)、プロファイル管理部17に送る。プ
ロファイル管理部17は、この相関行列をユーザプロフ
ァイル(初期プロファイル)として、プロファイルDB
22に保存する(ステップS407)。
【0035】図6に移り、初期プロファイルの作成が終
了した場合は、そのユーザが属すべき共用プロファイル
を設定されているかどうかを調べる。共用プロファイル
が設定されている場合は(ステップS408:Yes)、
当該共用プロファイルが既に存在するか否かを調べ、存
在しない場合には(ステップS409:No)、共用プロ
ファイル処理部21で、対応する共用プロファイルを新
規作成する(ステップS410)。当該共用プロファイ
ルが既に存在する場合は(ステップS409:Yes)、
その既存の共用プロファイルを、初期プロファイルの情
報で更新する(ステップS411)。次の文書がある場
合はステップS401に戻り(ステップS412:Ye
s)、上記処理を繰り返す。初期プロファイルの作成だ
けを行う場合は処理を終了する(ステップS412:N
o)。
【0036】図5に戻り、この初期プロファイル、更新
されて保存されているユーザプロファイル、あるいは共
用プロファイル(便宜上、単にプロファイルとする)を
用いてフィルタリングを行う場合は、選別対象となる文
書に対してステップS402〜S403の処理を施し、
これにより得られたベクトルをフィルタリング処理部1
8に送る。フィルタリング処理部18は、このベクトル
と該当するプロファイルとの射影を算出し(ステップS
413)、算出結果に基づいて文書選別を行う(ステッ
プS414)。選別結果は結果出力部19を通じてユー
ザに提示される。また、プロファイル更新のためにステ
ップS401に戻る(ステップS415)。
【0037】プロファイル更新は、選別結果である文書
に対してステップS402〜S403の処理を施し、こ
れにより得られたベクトルを相関行列作成部16に送
る。相関行列作成部16は、このベクトルに基づいて相
関行列を再作成する(ステップS416)。プロファイ
ル管理部17は、対応するプロファイルを再作成した相
関行列で更新する(ステップS417)。共用プロファ
イルに関する処理(図6参照)は、初期プロファイルの
作成の場合と同様となる。
【0038】なお、本実施形態では、相関行列をユーザ
プロファイルとしているが、これは入力文書における単
語の共起関係に着目し、共用プロファイルとして各ユー
ザプロファイルの合成の際の処理負荷を軽減することを
目的とするものである。しかしながらこの手法以外に
も、例えば、相関行列に対してKL解析を施し、その結
果得られるベクトル空間をユーザプロファイとして作成
することも可能である。この場合の情報量は、ユーザプ
ロファイルに相関行列を用いる場合とほぼ同じになる
が、共用プロファイルとして各ユーザプロファイルを合
成する際に、次元数を統一するための処理が必要となる
ものである。
【0039】(第2実施形態)本発明は、通信回線とし
てインタネット等の公衆網を介して流通する大量の電子
化情報に対して自動的なフィルタリングを行うシステ
ム、例えば、上記情報フィルタリング装置として機能す
る情報フィルタリングサーバ、公衆網から情報を取得す
る機能を有するクライアントを配備した情報フィルタリ
ングシステムの形態で実施することも可能である。
【0040】この場合の情報フィルタリングサーバは、
例えば、インタネット環境上における複数の大規模なデ
ータベースを具備した各種情報提供サーバからの電子化
情報からクライアントに最適な情報を選択して提供する
情報提供支援サーバ、所謂、情報ナビゲーションサーバ
として位置付けることができる。
【0041】この場合の構成例としては、コンピュータ
装置の内部あるいは外部記憶装置に、上記プロファイル
DB20と同一のデータベースを構築し、公衆網を介し
てクライアント及び上記各種情報提供サーバとの通信を
行う通信制御部を具備する。さらに上記情報フィルタリ
ング装置1と同様の機能ブロック、すなわち、データ入
力部11、ユーザ管理部12、特徴ベクトル抽出部1
3、次元処理部14、処理選択部15、相関行列作成部
16、プロファイル管理部17、フィルタリング処理部
18、結果出力部19、を具備して構成する。
【0042】この情報フィルタリングサーバが上記情報
フィルタリング装置1と相違する点は、通信制御を行う
公知の通信制御部を具備する点である。この通信制御部
を介して流通する電子化情報群をデータ入力部11に入
力し、クライアントからの情報取得要求を受け付けるよ
うに構成することで、ネットワークを用いた情報フィル
タリングが可能になる。この場合の情報取得要求の入力
は、例えばWWW環境のブラウザ等をインタフェースと
して使用することができる。また、上記各種情報提供サ
ーバからの電子化情報群は、必ず情報フィルタリングサ
ーバを経由するようにし、この電子化情報群に対する選
別結果を通信制御部を介してクライアントに提供するよ
うに構成する。また、情報フィルタリングサーバは、例
えば、インタネット環境におけるサーバのエージェント
技術と融合することにより、流通する大量の電子化情報
群に対して自動的なフィルタリングを行うシステムの構
築が可能になる。
【0043】次に、実際に、本実施形態の情報フィルタ
リング装置1における評価実験を行った結果について説
明する。この実験では、評価用文書として1995年1
1月から1996年10月までの1年間分の日本語によ
る新聞記事を使用し、前半年分を初期プロファイル用設
定データの文書集合(以下、訓練集合)、また後半年分
を評価実験用の文書集合(以下、評価集合)とした。
【0044】これらの記事は、図7に示す5つのジャン
ルのいずれかに属するとともに、図中の記事数が各ジャ
ンル毎のデータ数を表している。また各記事は、タイト
ルと本文から構成され、当該記事が属するジャンル名が
付与されているものとする。本実験では、単語を特定
し、訓練集合においてその単語を含むものを「関心
有」、その他を「関心無」の記事と便宜的に分けてユー
ザプロファイルを生成した。ここでは、これらの単語を
関心事項として「トピック」とし、対応するトピックに
よるプロファイルで評価集合をフィルタリングした実験
結果を示すものである。
【0045】図8は、単語「輸入」をトピックにフィル
タリングして得られた1225記事のうち、25記事の
タイトルを示している。この結果によれば、トピック
「輸入」と意味の類似する単語「貿易」に関する記事の
ほか、必ずしも語彙上関連深くない単語「病気」に関す
る記事が比較的目立つことがわかる。これは、「輸入」
の語を含む記事中に同時に「感染」の語を含む記事が多
いために「感染」も併せて関心事項とみなされたことに
よるものと解釈される。このことから、本実施形態の情
報フィルタリング装置1によれば、ユーザが関心事項の
内容や数を明確に意識しなくても、学習した記事集合に
おける語のつながりを通して自動的に目的となる記事が
抽出されることがわかる。
【0046】図9及び図10は、単語「阪神」をトピッ
クにフィルタリングされた記事中において、「プロ野
球」及び「地震」の単語を含む記事の分布を、「正の関
心」の部分空間における第3成分までの値で表したもの
である。この場合、「プロ野球」及び「地震」の単語を
含む記事数は、「阪神」をトピックにフィルタリングさ
れた46記事中で、各々、“1064”及び“123”
である。また、図中における各点は、1記事毎に対応し
ており、各成分へのマッピング結果を表している。
【0047】図9の分布結果では、第1成分と第2成分
に広がりをもち、特に第3成分に偏った散らばりがみら
れる。一方、図10の分布結果では、第3成分はすべて
ゼロに近い値をとり、第1及び第2成分の平面で大きく
広がる対照的な分布となっている。従って、記事中にお
ける単語のつながりと部分空間の軸に対応がとられ、こ
のことが、上述のような複数の関心事項のフィルタリン
グを可能にしていることがわかる。
【0048】このように、本実施形態の情報フィルタリ
ング装置1では、文書中における単語の共起関係が導入
され、関心有り及び無しの両面を考慮した類別基準によ
るフィルタリングを行うことにより、従来型のような一
面的な情報フィルタリングと比較して、より精度の高い
選別結果を得ることが可能となる。
【0049】また、作成される相関行列をユーザプロフ
ァイルとして用いることから、ユーザの関心事項の数や
内容に限定されることなく、それらの関連に応じたフィ
ルタリングが単一のユーザプロファイルにより得られる
ようになり、また、ユーザの関心事項の広がりを部分空
間における次元数から知ることができるようになる。
【0050】また、相関行列に対する適応的な学習によ
り、ユーザプロファイルの表現を変えることなくユーザ
の関心事項の変化に対して柔軟に追随できるので、関心
の時間的な変化に対応した自動的なフィルタリングが可
能となる。
【0051】また、共用プロファイルを各ユーザプロフ
ァイルにおける相関行列の和から生成し、ユーザ間にお
ける関心事項の共有化を図ることが可能なので、ユーザ
個人に特定して絞り込んだ関心情報に基づいたために取
りこぼした情報や、ユーザに近い関心情報でありなが
ら、当該ユーザの関心情報からは抽出不可能であった情
報に対する補完的なフィルタリングが可能となる。
【0052】また、個々の各ユーザプロファイルの情報
から、サービス提供者等のシステム運用管理者は、ユー
ザ全体における関心の動向が把握可能となり、対象とな
るユーザに応じた、例えば、公告やダイレクトメール等
のダイレクトマーケッティングや、新商品開発のマーケ
ッティングリサーチ用の調査材料となり得る効果があ
る。
【0053】さらに、既存の複数の情報提供サービスシ
ステム等と独立して動作するシステムの構築や、既存シ
ステムへの組み込みも容易になる。
【0054】
【発明の効果】以上の説明から明らかなように、本発明
によれば、ユーザの関心情報であるユーザプロファイル
が自動的に作成される効果がある。また、情報フィルタ
リングに際して、ユーザの関心を「関心有」と「関心
無」の両面が考慮されるので、フィルタリングの精度を
一定値以上に維持することが可能となる。
【0055】本発明をネットワーク環境下で適用させた
場合には、この情報フィルタリングにより、継続的に流
入する大量の電子化情報群からユーザの関心に基づいて
確実且つタイムリーに必要となる情報の取得が出来るこ
とから、情報の有効活用が促進される。このことから、
アクセス効率及び実用性が格段に向上するシステムの提
供が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る情報フィルタリング
装置の機能ブロック図。
【図2】プロファイル作成の処理手順図。
【図3】フィルタリングの処理手順図。
【図4】プロファイル更新時の処理手順図。
【図5】本発明の情報フィルタリング装置によるフィル
タリング方法の手順説明図。
【図6】本発明の情報フィルタリング装置によるフィル
タリング方法の手順説明図。
【図7】本発明の情報フィルタリング装置の評価実験デ
ータを示した図表。
【図8】「輸入」のトピックでフィルタリングされた評
価集合のタイトル群。
【図9】「阪神」のトピックでフィルタリングされた
「プロ野球」の語を含む記事の分布結果。
【図10】「阪神」のトピックでフィルタリングされた
「地震」の語を含む記事の分布結果。
【符号の説明】
1 情報フィルタリング装置 11 データ入力部 12 ユーザ管理部 13 特徴ベクトル抽出部 14 次元処理部 15 処理選択部 16 相関行列作成部 17 プロファイル管理部 18 フィルタリング処理部 19 結果出力部 20 プロファイルDB(データベース)
フロントページの続き (56)参考文献 特開 平9−288683(JP,A) 特開 平9−153063(JP,A) 渡部勇,緩い協調:協調情報フィルタ リングシステム,情報処理学会研究報告 91−HI−35,1991年 3月 8日,第 91巻,第18号,p.179−186 渡辺正裕、外2名,オブジェクトの相 対位置関係に基づく検索要求の視覚的記 述とその処理方法,電子情報通信学会技 術研究報告DE97−11,1997年 7月14 日,第97巻,第160号,p.33−38 本城啓史、外3名,WWW上の電子新 聞における記事ナビゲーションシステム の実現,1997年度人工知能学会全国大会 (第11回)論文集,1997年 6月24日, p.480−481 杉山善明、外2名,DCT特徴に基づ くTVスポーツ映像の自動判別,電子情 報通信学会技術研究報告MVE97−44, 1997年 7月24日,第97巻,第206号, p.33−38 市村直幸、外2名,パターン認識にお ける特徴抽出法の比較実験,電子情報通 信学会技術研究報告PRU92−51,1992 年11月19日,第92巻,第328号,p.45 −52 (58)調査した分野(Int.Cl.7,DB名) G06F 17/30

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 ベクトル処理手段と、プロファイル作成
    手段と、選別手段とを備えた情報フィルタリング装置に
    よって情報フィルタリングを行う方法であって、 前記ベクトル処理手段で、ユーザの関心の有無を識別す
    るための識別情報が付与された電子化情報から冗長な次
    元を削減した学習ベクトルを抽出し、 前記プロファイル作成手段で、この学習ベクトルに所定
    の基準に基づいて「関心有」または「関心無」のいずれ
    かのカテゴリに対応するユーザプロファイルを作成し、 前記選別手段で、選別対象となる文書としての新規電子
    化情報が入力されたときに、その新規電子化情報の特徴
    を表すとともに当該新規電子化情報に出現するキーワー
    ドを要素とするベクトルを対象ベクトルとして抽出し、
    前記作成されたユーザプロファイルとの特徴差を当該ユ
    ーザプロファイルの「関心有」のカテゴリに対応する相
    関行列にて規定される部分空間への射影値及び「関心
    無」のカテゴリに対応する相関行列にて規定される部分
    空間への射影値の差分により求め、この特徴差に基づい
    前記新規電子化情報を「関心有」または「関心無」の
    いずれかのカテゴリに選別する過程を有し、 前記情報フィルタリング装置で、選別後の電子化情報か
    ら前記ユーザプロファイルと同一形式の更新プロファイ
    ルが作成されて、この更新プロファイルを用いて前記ユ
    ーザプロファイルが更新され、更に、 前記情報フィルタリング装置は、共用プロファイル作成
    手段を有するとともに、当該共用プロファイル作成手段
    で、相互に関連する複数のユーザプロファイルを統合し
    て各ユーザプロファイルと共用関係をなす共用プロファ
    イルを作成するとともに、この共用プロファイルに関わ
    るユーザプロファイルの少なくとも一つが更新された場
    合に、当該更新を前記共用プロファイルに反映させ、 前記選別する過程では、前記選別手段で、前記共用プロ
    ファイルまたは前記ユーザプロファイルとの特徴差に基
    づいて前記新規電子化情報が「関心有」または「関心
    無」のいずれかのカテゴリに選別されることを特徴とす
    る情報フィルタリング方法。
  2. 【請求項2】 ベクトル処理手段と、プロファイル作成
    手段と、選別手段とを備えた情報フィルタリング装置で
    あって、 前記ベクトル処理手段は、電子化情報の特徴から冗長な
    次元が削除されたベクトルを抽出するものであり、 前記プロファイル作成手段は、ユーザの関心の有無を識
    別するための識別情報が付与された電子化情報から前記
    ベクトル処理手段で抽出された学習ベクトルに、所定の
    基準に基づいて「関心有」または「関心無」のいずれか
    のカテゴリに対応するユーザプロファイルを作成するも
    のであり、 前記選別手段は、選別対象となる文書としての新規電子
    化情報が入力されたときに、その新規電子化情報の特徴
    を表すとともに当該新規電子化情報に出現するキーワー
    ドを要素とするベクトルを対象ベクトルとして抽出し、
    当該対象ベクトルと前記ユーザプロファイルとの特徴差
    を、当該ユーザプロファイルの「関心有」のカテゴリに
    対応する相関行列にて規定される部分空間への射影値及
    び「関心無」のカテゴリに対応する相関行列にて規定さ
    れる部分空間への射影値の差分により求め、この特徴差
    に基づいて前記新規電子化情報を「関心有」または「関
    心無」のいずれかのカテゴリに選別するものであり、更
    に、 前記情報フィルタリング装置は、共用プロファイル作成
    手段を有し、当該共用プロファイル作成手段は、相互に
    関わり合う複数の前記ユーザプロファイルを統合して統
    合前のユーザプロファイルと共用関係をなす共用プロフ
    ァイルを作成して保存するとともに、この共用プロファ
    イルに関わるユーザプロファイルの少なくとも一つが更
    新された場合に、当該更新を前記共用プロファイルに反
    映させ、 前記選別手段は、前記ユーザプロファイルまたは共用プ
    ロファイルを選択的に用いて前記いずれかのカテゴリに
    選別することを特徴とする情報フィルタリング装置。
  3. 【請求項3】 前記共用プロファイル作成手段は、統合
    候補となる複数のユーザプロファイルの各々について関
    心の有無の差分に着目した距離値を算出し、この距離値
    の総和から統合するかどうかが判定されるように構成さ
    れることを特徴とする請求項2記載の情報フィルタリン
    グ装置。
  4. 【請求項4】 前記ユーザプロファイルをユーザ毎に管
    理するユーザ管理手段をさらに備え、このユーザ管理手
    段が新規ユーザによる最初の選別であることを認識した
    ときに、当該新規ユーザについての初期プロファイル設
    定用データを対話式で取り込んで前記プロファイル作成
    手段に当該新規ユーザについての前記ユーザプロファイ
    ルを作成させるように構成されていることを特徴とする
    請求項2記載の情報フィルタリング装置。
  5. 【請求項5】 前記選別手段による選別結果から前記情
    報フィルタリング装置で新たな学習ベクトルの抽出が行
    われて当該新たな学習ベクトルが前記プロファイル作成
    手段に導かれ、当該プロファイル作成手段内で、前記新
    たな学習ベクトルから前記所定の基準に基づいてユーザ
    プロファイルが更新されるように構成されていることを
    特徴とする請求項2記載の情報フィルタリング装置。
  6. 【請求項6】 前記選別手段による選別結果から前記情
    報フィルタリング装置で新たな学習ベクトルの抽出が行
    われて当該新たな学習ベクトルが前記プロファイル作成
    手段に導かれ、当該プロファイル作成手段内で、前記新
    たな学習ベクトルから所定の平均的学習部分空間法の適
    応的な学習条件に基づいてユーザプロファイルが更新さ
    れるように構成されていることを特徴とする請求項2記
    載の情報フィルタリング装置。
  7. 【請求項7】 前記ベクトル処理手段は、正規直交変換
    によるKL解析によって前記冗長な次元が削減されるよ
    うに構成されていることを特徴とする請求項2乃至6の
    いずれかの項記載の情報フィルタリング装置。
  8. 【請求項8】 情報フィルタリングシステムであって、
    当該情報フィルタリングシステムは、請求項2乃至7の
    いずれかの項に記載された情報フィルタリング装置を通
    信回線に接続し、前記通信回線を通じて流通する電子化
    情報が、前記情報フィルタリング装置に取り込まれるよ
    うに構成されたことを特徴とするシステム。
JP32993397A 1997-12-01 1997-12-01 情報フィルタリング方法、装置及びシステム Expired - Fee Related JP3497712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32993397A JP3497712B2 (ja) 1997-12-01 1997-12-01 情報フィルタリング方法、装置及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32993397A JP3497712B2 (ja) 1997-12-01 1997-12-01 情報フィルタリング方法、装置及びシステム

Publications (2)

Publication Number Publication Date
JPH11161670A JPH11161670A (ja) 1999-06-18
JP3497712B2 true JP3497712B2 (ja) 2004-02-16

Family

ID=18226906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32993397A Expired - Fee Related JP3497712B2 (ja) 1997-12-01 1997-12-01 情報フィルタリング方法、装置及びシステム

Country Status (1)

Country Link
JP (1) JP3497712B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6321221B1 (en) 1998-07-17 2001-11-20 Net Perceptions, Inc. System, method and article of manufacture for increasing the user value of recommendations
US6334127B1 (en) * 1998-07-17 2001-12-25 Net Perceptions, Inc. System, method and article of manufacture for making serendipity-weighted recommendations to a user
US6412012B1 (en) 1998-12-23 2002-06-25 Net Perceptions, Inc. System, method, and article of manufacture for making a compatibility-aware recommendations to a user
US6976070B1 (en) 1999-02-16 2005-12-13 Kdd Corporation Method and apparatus for automatic information filtering using URL hierarchical structure and automatic word weight learning
JP2000331013A (ja) 1999-05-19 2000-11-30 Matsushita Electric Ind Co Ltd 情報問いあわせ支援装置及び情報問いあわせ支援方法
JP3688157B2 (ja) * 1999-07-19 2005-08-24 日本電信電話株式会社 文献情報提供処理方法及び文献情報提供装置
JP2001092824A (ja) * 1999-09-21 2001-04-06 Matsushita Electric Ind Co Ltd 情報提示装置、情報提示方法および記録媒体
US7461058B1 (en) 1999-09-24 2008-12-02 Thalveg Data Flow Llc Optimized rule based constraints for collaborative filtering systems
JP3861529B2 (ja) * 1999-10-20 2006-12-20 株式会社日立製作所 文書検索方法
US7933968B1 (en) * 2000-06-20 2011-04-26 Koninklijke Philips Electronics N.V. Token-based personalization of smart appliances
US7788123B1 (en) 2000-06-23 2010-08-31 Ekhaus Michael A Method and system for high performance model-based personalization
JP3573688B2 (ja) * 2000-06-28 2004-10-06 松下電器産業株式会社 類似文書検索装置及び関連キーワード抽出装置
US6957198B2 (en) * 2000-12-07 2005-10-18 International Business Machines Corporation Use of persona object in electronic transactions
JP3536921B2 (ja) 2001-04-18 2004-06-14 日本電気株式会社 相関行列学習方法、装置及びプログラム
US7143054B2 (en) * 2001-07-02 2006-11-28 The Procter & Gamble Company Assessment of communication strengths of individuals from electronic messages
US7035863B2 (en) * 2001-11-13 2006-04-25 Koninklijke Philips Electronics N.V. Method, system and program product for populating a user profile based on existing user profiles
JP2013235507A (ja) * 2012-05-10 2013-11-21 Mynd Inc 情報処理方法、装置、コンピュータプログラムならびに記録媒体
GB201520398D0 (en) 2015-11-19 2016-01-06 Realeyes Oü Method and apparatus for immediate prediction of performance of media content

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3244005B2 (ja) * 1995-09-04 2002-01-07 松下電器産業株式会社 情報フィルタ装置及び情報フィルタリング方法
JP3588510B2 (ja) * 1995-11-30 2004-11-10 株式会社東芝 情報フィルタリング装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
市村直幸、外2名,パターン認識における特徴抽出法の比較実験,電子情報通信学会技術研究報告PRU92−51,1992年11月19日,第92巻,第328号,p.45−52
本城啓史、外3名,WWW上の電子新聞における記事ナビゲーションシステムの実現,1997年度人工知能学会全国大会(第11回)論文集,1997年 6月24日,p.480−481
杉山善明、外2名,DCT特徴に基づくTVスポーツ映像の自動判別,電子情報通信学会技術研究報告MVE97−44,1997年 7月24日,第97巻,第206号,p.33−38
渡辺正裕、外2名,オブジェクトの相対位置関係に基づく検索要求の視覚的記述とその処理方法,電子情報通信学会技術研究報告DE97−11,1997年 7月14日,第97巻,第160号,p.33−38
渡部勇,緩い協調:協調情報フィルタリングシステム,情報処理学会研究報告91−HI−35,1991年 3月 8日,第91巻,第18号,p.179−186

Also Published As

Publication number Publication date
JPH11161670A (ja) 1999-06-18

Similar Documents

Publication Publication Date Title
JP3497712B2 (ja) 情報フィルタリング方法、装置及びシステム
CN102208992B (zh) 面向互联网的不良信息过滤系统及其方法
US7428533B2 (en) Automatic generation of taxonomies for categorizing queries and search query processing using taxonomies
JP2021108183A (ja) 意図推薦方法、装置、機器及び記憶媒体
US5854923A (en) Facility for the intelligent selection of information objects (persona)
US9268455B2 (en) System and method for user-controlled, multi-dimensional navigation and/or subject-based aggregation and/or monitoring of multimedia data
Doulamis et al. Evaluation of relevance feedback schemes in content-based in retrieval systems
WO2019134274A1 (zh) 兴趣探索方法、存储介质、电子设备及系统
US6330563B1 (en) Architecture for automated data analysis
CN112052387A (zh) 一种内容推荐方法、装置和计算机可读存储介质
CN111177559A (zh) 文旅服务推荐方法、装置、电子设备及存储介质
WO2000065420A2 (en) Determining whether a variable is numeric or non-numeric
US20090157670A1 (en) Contents-retrieving apparatus and method
US6405200B1 (en) Generating a model for raw variables from a model for cooked variables
JP4031264B2 (ja) フィルタリング管理方法、フィルタリング管理プログラム、フィルタリング装置のフィルタリング管理方法、およびフィルタリング装置用フィルタリング管理プログラム
US6529895B2 (en) Determining a distribution of a numeric variable
CN116862434A (zh) 一种基于大数据的材料数据管理系统及方法
CN111666263A (zh) 一种数据湖环境下异构数据管理的实现方法
Akbulut et al. Agent based pornography filtering system
JP3692416B2 (ja) 情報フィルタリング方法および装置
CN106919653B (zh) 基于用户行为的日志过滤方法
Castellano et al. Learning fuzzy user profiles for resource recommendation
JP3547339B2 (ja) 嗜好情報収集システム
KR100450054B1 (ko) 대외정보 시스템 및 대외정보 처리방법
Wang et al. An improved recommendation algorithm for polarized population

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101128

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees