JP3523027B2 - 情報フィルタリング装置および情報フィルタリング方法 - Google Patents
情報フィルタリング装置および情報フィルタリング方法Info
- Publication number
- JP3523027B2 JP3523027B2 JP24859997A JP24859997A JP3523027B2 JP 3523027 B2 JP3523027 B2 JP 3523027B2 JP 24859997 A JP24859997 A JP 24859997A JP 24859997 A JP24859997 A JP 24859997A JP 3523027 B2 JP3523027 B2 JP 3523027B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- information
- documents
- detected
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、膨大な数のテキ
スト記事や文献などの文書からユーザの要求・興味にあ
ったものを選出して定期的にユーザに提供する情報フィ
ルタリング装置および情報フィルタリング方法に関す
る。
スト記事や文献などの文書からユーザの要求・興味にあ
ったものを選出して定期的にユーザに提供する情報フィ
ルタリング装置および情報フィルタリング方法に関す
る。
【０００２】
【従来の技術】近年、ワードプロセッサや電子計算機の
普及、およびインターネットなどの計算機ネットワーク
を介した電子メールや電子ニュースの普及に伴ない、文
書の電子化は加速的に進みつつある。
普及、およびインターネットなどの計算機ネットワーク
を介した電子メールや電子ニュースの普及に伴ない、文
書の電子化は加速的に進みつつある。
【０００３】電子出版という言葉が示すように、今後は
新聞、雑誌や本の情報も電子的に提供されることが一般
的になると考えられる。これにより、個人にとってリア
ルタイムで入手可能となるテキスト情報の量は膨大にな
っていくと予測される。
新聞、雑誌や本の情報も電子的に提供されることが一般
的になると考えられる。これにより、個人にとってリア
ルタイムで入手可能となるテキスト情報の量は膨大にな
っていくと予測される。
【０００４】これに伴ない、これらの新聞や雑誌などの
膨大なテキスト情報からユーザの要求・興味にあったも
のを選出してユーザに提供する情報フィルタリングシス
テムあるいは情報フィルタリングサービスの需要が高ま
りつつある。
膨大なテキスト情報からユーザの要求・興味にあったも
のを選出してユーザに提供する情報フィルタリングシス
テムあるいは情報フィルタリングサービスの需要が高ま
りつつある。
【０００５】このような問題意識から、最近では、たと
えばユーザごとに予め設定された検索条件に合致する情
報のみをユーザに提供するといった情報フィルタリング
装置が考慮され始められている。しかしながら、これら
の情報フィルタリング装置にあっては、新聞記事や雑誌
記事などといった定期的に発生する文書を処理対象とし
ているため、発生した文書の修正といった状況を考慮す
る必要がなかった。たとえば、新聞記事は毎日発行され
るため、その日に発生した記事を対象にしてフィルタリ
ング処理を行なえばよかった。また、ある程度の件数を
まとめてＣＤ−ＲＯＭなどの媒体で定期的または不定期
的に発行されるものについては、この発行されたＣＤ−
ＲＯＭ内の情報のみを処理対象とすればよかった。
えばユーザごとに予め設定された検索条件に合致する情
報のみをユーザに提供するといった情報フィルタリング
装置が考慮され始められている。しかしながら、これら
の情報フィルタリング装置にあっては、新聞記事や雑誌
記事などといった定期的に発生する文書を処理対象とし
ているため、発生した文書の修正といった状況を考慮す
る必要がなかった。たとえば、新聞記事は毎日発行され
るため、その日に発生した記事を対象にしてフィルタリ
ング処理を行なえばよかった。また、ある程度の件数を
まとめてＣＤ−ＲＯＭなどの媒体で定期的または不定期
的に発行されるものについては、この発行されたＣＤ−
ＲＯＭ内の情報のみを処理対象とすればよかった。
【０００６】このような状況は、作成された日付情報を
その文書内に明示的に記述されている文書を対象とする
場合も同様である。すなわち、作成された日付情報を参
照して、その日付が所定の期間内にある文書だけを情報
フィルタリングの処理対象とすればよく、容易に実現す
ることができる。あるいは作成日や修正日などが、文書
の補助情報として格納されるファイルシステムの場合で
も、同様の処理が可能である。
その文書内に明示的に記述されている文書を対象とする
場合も同様である。すなわち、作成された日付情報を参
照して、その日付が所定の期間内にある文書だけを情報
フィルタリングの処理対象とすればよく、容易に実現す
ることができる。あるいは作成日や修正日などが、文書
の補助情報として格納されるファイルシステムの場合で
も、同様の処理が可能である。
【０００７】ところが、文書の中には、作成日や修正日
などの日付情報が文書内に記述されておらず、また、文
書ファイルの補助情報としても存在しておらず、さら
に、その文書の作成の取り決めがされていないといった
種類のものも存在する。たとえば、ＷＷＷ（Ｗｏｒｌｄ
Ｗｉｄｅ Ｗｅｂ）で公開されている文書（Ｗｅｂペ
ージと呼ばれる）は、個人が何らコントロールされるこ
となく作成することができる。そして、これらは個人の
気の向いたときに作成され、しかも作成日や修正日など
は文書内に記述するといった取り決めはない。このため
に、すべての文書について、その文書がいつ作成された
か、あるいはいつ修正されたかといったことを示す信頼
性の高い日付情報をコンスタントに取り出すことは困難
である。
などの日付情報が文書内に記述されておらず、また、文
書ファイルの補助情報としても存在しておらず、さら
に、その文書の作成の取り決めがされていないといった
種類のものも存在する。たとえば、ＷＷＷ（Ｗｏｒｌｄ
Ｗｉｄｅ Ｗｅｂ）で公開されている文書（Ｗｅｂペ
ージと呼ばれる）は、個人が何らコントロールされるこ
となく作成することができる。そして、これらは個人の
気の向いたときに作成され、しかも作成日や修正日など
は文書内に記述するといった取り決めはない。このため
に、すべての文書について、その文書がいつ作成された
か、あるいはいつ修正されたかといったことを示す信頼
性の高い日付情報をコンスタントに取り出すことは困難
である。
【０００８】すなわち、従来の情報フィルタリング装置
にあっては、新たに作成された（または修正が施され
た）情報の中から個人の興味にあった情報を選出して提
供するという情報フィルタリング装置の目的に対して、
これらの文書を特定することができないといった重大な
問題があった。
にあっては、新たに作成された（または修正が施され
た）情報の中から個人の興味にあった情報を選出して提
供するという情報フィルタリング装置の目的に対して、
これらの文書を特定することができないといった重大な
問題があった。
【０００９】
【発明が解決しようとする課題】このように、従来の情
報フィルタリング装置にあっては、その文書がいつ作成
されたのか、またはいつ修正されたのかといった日付情
報をすべての文書についてコンスタントに取得すること
が困難であるために、新たに作成された文書と修正が施
された文書とを特定することができないといった問題が
あった。
報フィルタリング装置にあっては、その文書がいつ作成
されたのか、またはいつ修正されたのかといった日付情
報をすべての文書についてコンスタントに取得すること
が困難であるために、新たに作成された文書と修正が施
された文書とを特定することができないといった問題が
あった。
【００１０】この発明は、このような実情に鑑みてなさ
れたものであり、非定期的に作成および修正される文書
であって、これらが生成または修正された時期を示す日
付情報を持たない複数の文書の中から、新たに生成また
は修正された文書のみを検出してユーザに提示すること
を可能とする情報フィルタリング装置および情報フィル
タリング方法を提供することを目的とする。
れたものであり、非定期的に作成および修正される文書
であって、これらが生成または修正された時期を示す日
付情報を持たない複数の文書の中から、新たに生成また
は修正された文書のみを検出してユーザに提示すること
を可能とする情報フィルタリング装置および情報フィル
タリング方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】この発明は、文書データ
ベースに格納された非定期的に作成および修正される複
数の文書の中から所定の文書を選出してユーザに提示す
る情報フィルタリング装置において、前記複数の文書の
複製情報を記憶する文書複製情報記憶手段と、前記文書
データベースに格納された文書と前記文書複製情報記憶
手段に格納された文書とを比較して、前期文書複製情報
記憶手段に複製情報が存在するか否かを判定し、前記複
製情報が存在しない場合、その存在しない複製情報に係
る文書を新たな文書として前記複数の文書の中から検出
すると共に、複製情報が存在した場合、その複製情報に
係る文書と前記複数の文書との間の差分を求め、差分が
存在した文書を修正された文書として前記複数の文書の
中から検出する文書修正検出手段と、前記文書修正検出
手段によって検出された文書と予めユーザが指定した検
索条件との間の類似度を算出する類似度算出手段と、前
記類似度算出手段により算出された類似度にしたがって
前記検出された文書すべてを並べ換え、この並べ換えた
順番でこれらの文書をユーザに送信または提示する手段
とを具備してなることを特徴とする。
ベースに格納された非定期的に作成および修正される複
数の文書の中から所定の文書を選出してユーザに提示す
る情報フィルタリング装置において、前記複数の文書の
複製情報を記憶する文書複製情報記憶手段と、前記文書
データベースに格納された文書と前記文書複製情報記憶
手段に格納された文書とを比較して、前期文書複製情報
記憶手段に複製情報が存在するか否かを判定し、前記複
製情報が存在しない場合、その存在しない複製情報に係
る文書を新たな文書として前記複数の文書の中から検出
すると共に、複製情報が存在した場合、その複製情報に
係る文書と前記複数の文書との間の差分を求め、差分が
存在した文書を修正された文書として前記複数の文書の
中から検出する文書修正検出手段と、前記文書修正検出
手段によって検出された文書と予めユーザが指定した検
索条件との間の類似度を算出する類似度算出手段と、前
記類似度算出手段により算出された類似度にしたがって
前記検出された文書すべてを並べ換え、この並べ換えた
順番でこれらの文書をユーザに送信または提示する手段
とを具備してなることを特徴とする。
【００１２】また、この発明は、前記文書複製情報記憶
手段が、前記文書自体または前記文書を情報圧縮したデ
ータを前記複製情報として各文書の文書ＩＤと対応させ
て格納することを特徴とする。
手段が、前記文書自体または前記文書を情報圧縮したデ
ータを前記複製情報として各文書の文書ＩＤと対応させ
て格納することを特徴とする。
【００１３】この発明においては、非定期的に作成およ
び修正されるといった種類の文書であっても、これらの
文書を定期的に取得し、かつその文書またはその文書を
圧縮したデータを複製情報として記憶しておいて、取得
した文書の情報と複製情報とを比較することによって、
複数の文書の中から新たに作成または修正された文書の
みを検出する。そして、この新たに作成された文書およ
び修正された文書を情報フィルタリングの対象にするこ
とにより、ユーザに対して新しい情報のみを提供するこ
とを可能とする。
び修正されるといった種類の文書であっても、これらの
文書を定期的に取得し、かつその文書またはその文書を
圧縮したデータを複製情報として記憶しておいて、取得
した文書の情報と複製情報とを比較することによって、
複数の文書の中から新たに作成または修正された文書の
みを検出する。そして、この新たに作成された文書およ
び修正された文書を情報フィルタリングの対象にするこ
とにより、ユーザに対して新しい情報のみを提供するこ
とを可能とする。
【００１４】
【発明の実施の形態】以下、図面を参照してこの発明の
実施の形態について説明する。まず、図１を参照してこ
の発明に係る情報フィルタリングシステムの全体の構成
について説明する。
実施の形態について説明する。まず、図１を参照してこ
の発明に係る情報フィルタリングシステムの全体の構成
について説明する。
【００１５】図１に示すように、この発明の情報フィル
タリングシステム１０は、文書データを格納する文書デ
ータベース１１、文書の複製情報を記憶する文書複製情
報記憶部１５、文書データベース１１に格納された文書
と文書複製情報記憶部１５に格納された文書との差分を
求めることによって、文書データベース１１中に格納さ
れたすべての文書の中から修正された文書のみを検出す
る文書修正検出部１２、ユーザの興味がある文書を検索
するための検索条件を記述したプロファイルを格納した
プロファイル記憶部１６、ユーザのプロファイルと文書
との間の類似度を算出する類似度算出部１３、類似度算
出部１３で算出した類似度にしたがって文書群をユーザ
に提示出力する文書提示部１４、および情報フィルタリ
ングシステム１０全体の制御を行なう制御部１７からな
る。
タリングシステム１０は、文書データを格納する文書デ
ータベース１１、文書の複製情報を記憶する文書複製情
報記憶部１５、文書データベース１１に格納された文書
と文書複製情報記憶部１５に格納された文書との差分を
求めることによって、文書データベース１１中に格納さ
れたすべての文書の中から修正された文書のみを検出す
る文書修正検出部１２、ユーザの興味がある文書を検索
するための検索条件を記述したプロファイルを格納した
プロファイル記憶部１６、ユーザのプロファイルと文書
との間の類似度を算出する類似度算出部１３、類似度算
出部１３で算出した類似度にしたがって文書群をユーザ
に提示出力する文書提示部１４、および情報フィルタリ
ングシステム１０全体の制御を行なう制御部１７からな
る。
【００１６】ここで、この文書修正検出部１２、類似度
算出部１３、文書提示部１４および制御部１７の処理の
流れをフローチャートに基づいて説明する。図２には、
文書修正検出部１２の処理の流れが示されている。文書
修正検出部１２は、制御部１０から定期的に起動される
ものである。
算出部１３、文書提示部１４および制御部１７の処理の
流れをフローチャートに基づいて説明する。図２には、
文書修正検出部１２の処理の流れが示されている。文書
修正検出部１２は、制御部１０から定期的に起動される
ものである。
【００１７】文書修正検出部１２では、文書データベー
ス１１中のすべての文書を一つずつ取得しながら（ステ
ップＡ１〜ステップＡ３）、新しく作られた文書である
か否か（ステップＡ４）、すでに存在していた文書の場
合には、その文書に修正が施されたか否か（ステップＡ
６）を判定し、それらのいずれかの条件が成立したとき
に（ステップＡ４のＮ，ステップＡ６のＹ）、その文書
を類似度算出部１３における類似度計算を行なう対象と
する（ステップＡ５）。なお、ここで取得された文書す
べては改めて文書複製記憶部１５に格納される（ステッ
プＡ７）。そして、文書データベース１１中のすべての
文書について繰り返し処理を行なうことにより、新規に
作られた文書と修正された文書とを検出し、この文書を
フィルタリング対象とする。
ス１１中のすべての文書を一つずつ取得しながら（ステ
ップＡ１〜ステップＡ３）、新しく作られた文書である
か否か（ステップＡ４）、すでに存在していた文書の場
合には、その文書に修正が施されたか否か（ステップＡ
６）を判定し、それらのいずれかの条件が成立したとき
に（ステップＡ４のＮ，ステップＡ６のＹ）、その文書
を類似度算出部１３における類似度計算を行なう対象と
する（ステップＡ５）。なお、ここで取得された文書す
べては改めて文書複製記憶部１５に格納される（ステッ
プＡ７）。そして、文書データベース１１中のすべての
文書について繰り返し処理を行なうことにより、新規に
作られた文書と修正された文書とを検出し、この文書を
フィルタリング対象とする。
【００１８】図３には、類似度算出部１３の処理の流れ
が示されている。この類似度算出部１３は、文書修正検
出部１２で検出されたすべての文書に対してプロファイ
ル中の検索条件との間で類似度を算出する。検索条件と
文書との間の類似度を算出するに当たっては様々な算出
方法が開示されている。そして、類似度の算出方法に関
しては、本発明では特に限定するものではなく、種々の
方法を採用することが可能である。ここでは、検索条件
と文書とをそれぞれ単語頻度のベクトルとして表現し、
これらベクトル間の内積を取ることにより類似度を求め
る方法に基づいて説明する。
が示されている。この類似度算出部１３は、文書修正検
出部１２で検出されたすべての文書に対してプロファイ
ル中の検索条件との間で類似度を算出する。検索条件と
文書との間の類似度を算出するに当たっては様々な算出
方法が開示されている。そして、類似度の算出方法に関
しては、本発明では特に限定するものではなく、種々の
方法を採用することが可能である。ここでは、検索条件
と文書とをそれぞれ単語頻度のベクトルとして表現し、
これらベクトル間の内積を取ることにより類似度を求め
る方法に基づいて説明する。
【００１９】すなわち、類似度算出部１３は、文書修正
検出部１２によって検出された文書の文書ベクトルを算
出し（ステップＢ２）、この算出した文書ベクトルと、
プロファイル記憶部１６に格納されたプロファイルのベ
クトルとの内積を取って類似度を算出する（ステップＢ
３）。
検出部１２によって検出された文書の文書ベクトルを算
出し（ステップＢ２）、この算出した文書ベクトルと、
プロファイル記憶部１６に格納されたプロファイルのベ
クトルとの内積を取って類似度を算出する（ステップＢ
３）。
【００２０】図４には、プロファイル記憶部１６に格納
される個人プロファイルの形式と一例とが示されてい
る。図４中、（ａ）は形式を、（ｂ）は一例をそれぞれ
示している。プロファイルは、単語と重みとのペアのリ
ストからなる。（ｂ）の例では、「計算機」、「開
発」、「新製品」といった単語の重みが２、１、１とい
ったようにそれぞれ設定されている。
される個人プロファイルの形式と一例とが示されてい
る。図４中、（ａ）は形式を、（ｂ）は一例をそれぞれ
示している。プロファイルは、単語と重みとのペアのリ
ストからなる。（ｂ）の例では、「計算機」、「開
発」、「新製品」といった単語の重みが２、１、１とい
ったようにそれぞれ設定されている。
【００２１】図５には、文書側の内部表現例が示されて
いる。この文書側の内部表現もプロファイルと同様に、
単語と重みとのペアのリストからなっている。これは、
文書の形態系解析を行なうことにより単語を抽出し、各
単語の文書中の使用頻度を重みとして採用する。ただ
し、文書長の影響をなくすため、使用頻度をその文書中
で最も多く用いられている単語の頻度、またはその文書
中の全単語数などで割ることで正規化する。
いる。この文書側の内部表現もプロファイルと同様に、
単語と重みとのペアのリストからなっている。これは、
文書の形態系解析を行なうことにより単語を抽出し、各
単語の文書中の使用頻度を重みとして採用する。ただ
し、文書長の影響をなくすため、使用頻度をその文書中
で最も多く用いられている単語の頻度、またはその文書
中の全単語数などで割ることで正規化する。
【００２２】プロファイルか文書のいずれか一方に含ま
れる単語の重みを要素とするベクトルを考えた場合、図
４の例の場合には、プロファイル側のベクトルｑは、次
式で表現することができる。
れる単語の重みを要素とするベクトルを考えた場合、図
４の例の場合には、プロファイル側のベクトルｑは、次
式で表現することができる。
【００２３】
計算機 開発 新製品 ＣＰＵ メモリ 発売 今年
［２ １ １ ０ ０ ０ ０ ］ …（１）式
一方、図５の例の場合には、文書側のベクトルｄｉは、
次式で表現することができる。
次式で表現することができる。
【００２４】
計算機 開発 新製品 ＣＰＵ メモリ 発売 今年
［０．２ ０．１ ０ ０．１ ０．１ ０．２ ０．１］ …（２）式
類似度計算として文書とプロファイルとの内積を取るも
のとすると、文書ｉのプロファイルに対する類似度Ｓｉ
は、次式で与えられることができる。
のとすると、文書ｉのプロファイルに対する類似度Ｓｉ
は、次式で与えられることができる。
【００２５】Ｓｉ＝ｑ・ｄｉ …（３）式
ただし、「・」は内積を意味している。そして、図４と
図５の例の場合、Ｓｉは０．５となる。
図５の例の場合、Ｓｉは０．５となる。
【００２６】文書提示部１４では、各文書ごとに算出さ
れた類似度の大きい順に文書をソーティングしてユーザ
に提示する。一つの計算機に閉じた形態で本発明を実施
した場合には、得られた文書群をソーティングされた順
で直接ディスプレイなどに表示することになる。一方、
ネットワークなどを介してユーザに送付する形態を取る
場合には、ユーザには類似度順にソーティングされた文
書群をファイル転送などの形で送ることになる。また、
類似度が予め定められたしきい値を越えた文書のみをユ
ーザに提供する文書としてソーティング対象としても構
わない。
れた類似度の大きい順に文書をソーティングしてユーザ
に提示する。一つの計算機に閉じた形態で本発明を実施
した場合には、得られた文書群をソーティングされた順
で直接ディスプレイなどに表示することになる。一方、
ネットワークなどを介してユーザに送付する形態を取る
場合には、ユーザには類似度順にソーティングされた文
書群をファイル転送などの形で送ることになる。また、
類似度が予め定められたしきい値を越えた文書のみをユ
ーザに提供する文書としてソーティング対象としても構
わない。
【００２７】制御部１７は、予め定め間隔で文書修正検
出部１２を起動する。そして、この文書修正検出部１２
によって新たに作成された文書または修正された文書が
検出された場合に、類似度算出部１３を起動する。類似
度算出部１３では、プロファイルとの類似度を算出す
る。さらに、１つ以上の文書の類似度が類似度算出部１
３よって算出された場合に、文書提示部１４を起動す
る。文書提示部１４は、この算出された類似度にしたが
って文書をソーティングしてユーザに提供する。
出部１２を起動する。そして、この文書修正検出部１２
によって新たに作成された文書または修正された文書が
検出された場合に、類似度算出部１３を起動する。類似
度算出部１３では、プロファイルとの類似度を算出す
る。さらに、１つ以上の文書の類似度が類似度算出部１
３よって算出された場合に、文書提示部１４を起動す
る。文書提示部１４は、この算出された類似度にしたが
って文書をソーティングしてユーザに提供する。
【００２８】すなわち、この情報フィルタリングシステ
ムによれば、文書修正検出部１２によって、不定期的に
作成および修正される文書を検出することができ、この
検出された文書のみを対象にプロファイルとの間の類似
度を算出してユーザに提供することが可能になる。
ムによれば、文書修正検出部１２によって、不定期的に
作成および修正される文書を検出することができ、この
検出された文書のみを対象にプロファイルとの間の類似
度を算出してユーザに提供することが可能になる。
【００２９】（第１実施形態）ここで、この発明の第１
の実施形態について説明する。文書修正検出部１２で格
納する文書複製情報は、原文書そのままであっても構わ
ないが、その場合には、原文書と同じ容量の記憶領域を
必要とすることになってしまい、資源管理の面で好まし
くない。したがって、文書複製情報として原文情報を圧
縮して格納することにより、記憶容量の削減を図ること
ができる。
の実施形態について説明する。文書修正検出部１２で格
納する文書複製情報は、原文書そのままであっても構わ
ないが、その場合には、原文書と同じ容量の記憶領域を
必要とすることになってしまい、資源管理の面で好まし
くない。したがって、文書複製情報として原文情報を圧
縮して格納することにより、記憶容量の削減を図ること
ができる。
【００３０】図６には、本実施形態における文書修正検
出部１２の処理の流れが示されている。前述の図２で示
した文書修正検出部１２の処理との相違は、取得した文
書データに対してデータ圧縮を施す点にある（ステップ
Ｃ５，ステップＣ８）。データ圧縮の手法としては、す
でに開示されている様々な手法をとることが可能であ
る。たとえば、ＵＮＩＸコマンドとして存在するｃｏｍ
ｐｒｅｓｓコマンドでは、適応型レンペル・ジブ・コー
ディング法が採用されている。このデータ圧縮の手法に
ついては本発明の主旨ではなく、あらゆる手法が採用可
能である。
出部１２の処理の流れが示されている。前述の図２で示
した文書修正検出部１２の処理との相違は、取得した文
書データに対してデータ圧縮を施す点にある（ステップ
Ｃ５，ステップＣ８）。データ圧縮の手法としては、す
でに開示されている様々な手法をとることが可能であ
る。たとえば、ＵＮＩＸコマンドとして存在するｃｏｍ
ｐｒｅｓｓコマンドでは、適応型レンペル・ジブ・コー
ディング法が採用されている。このデータ圧縮の手法に
ついては本発明の主旨ではなく、あらゆる手法が採用可
能である。
【００３１】また、本発明を実施する場合、通常のデー
タ圧縮で保証されるデータの復元（圧縮する以前の元の
データに戻すこと）は、必ずしも必要ではない。これ
は、前回の文書情報取得時に同一の文書について算出し
たデータと比較して、相違があるか否かを判定するだけ
でよいためである。
タ圧縮で保証されるデータの復元（圧縮する以前の元の
データに戻すこと）は、必ずしも必要ではない。これ
は、前回の文書情報取得時に同一の文書について算出し
たデータと比較して、相違があるか否かを判定するだけ
でよいためである。
【００３２】たとえば、以下のような手法でデータ圧縮
することも可能である。 ｆｏｒ（ｉ＝０，ａ＝０；ｂｕｆ［ｉ］！＝ＮＵＬＬ；
ｉ＋＋） ａ＾＝ｂｕｆ［ｉ］； この例は、Ｃ言語での実現例であるが、配列ｂｕｆ中に
文書ｉが格納された場合に、ｂｕｆ中のすべての文字に
ついて排他的論理和を算出している。この手法によれ
ば、いくら長い文書であっても１バイトに圧縮されるこ
とになる。
することも可能である。 ｆｏｒ（ｉ＝０，ａ＝０；ｂｕｆ［ｉ］！＝ＮＵＬＬ；
ｉ＋＋） ａ＾＝ｂｕｆ［ｉ］； この例は、Ｃ言語での実現例であるが、配列ｂｕｆ中に
文書ｉが格納された場合に、ｂｕｆ中のすべての文字に
ついて排他的論理和を算出している。この手法によれ
ば、いくら長い文書であっても１バイトに圧縮されるこ
とになる。
【００３３】（第２実施形態）次に、この発明の第２の
実施形態について説明する。図７に、ネットワークを介
して文書にアクセスする場合の情報フィルタリングシス
テムの構成を示す。前述の図１との相違は、文書データ
ベース１１がシステム内にはなく、ネットワーク２０を
介して文書にアクセスする点にある。本実施形態では、
ＷｅｂページをＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａ
ｎｓｆｅｒＰｒｏｔｏｃｏｌ）によりアクセスする。Ｗ
ｅｂページは、そのページの持ち主により不定期的に作
成および修正される。そして、全体の処理フローは前述
と同様であり、ネットワーク２０と接続されて文書にア
クセスするか、ローカルに文書データベース１１と接続
されているかの違いしかない。
実施形態について説明する。図７に、ネットワークを介
して文書にアクセスする場合の情報フィルタリングシス
テムの構成を示す。前述の図１との相違は、文書データ
ベース１１がシステム内にはなく、ネットワーク２０を
介して文書にアクセスする点にある。本実施形態では、
ＷｅｂページをＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａ
ｎｓｆｅｒＰｒｏｔｏｃｏｌ）によりアクセスする。Ｗ
ｅｂページは、そのページの持ち主により不定期的に作
成および修正される。そして、全体の処理フローは前述
と同様であり、ネットワーク２０と接続されて文書にア
クセスするか、ローカルに文書データベース１１と接続
されているかの違いしかない。
【００３４】なお、前述では、文書それぞれの日付情報
を持たない文書データベースを適用した場合の例を示し
たが、作成日や修正日などを示す信頼性の高い日付情報
がその文書と対応して記憶され、かつその日付情報が取
り出せる文書データベースに対しては、文書複製情報を
文書複製情報記憶部１５などに記憶しなくとも、この作
成日や修正日が前回のフィルタリング処理時点以降であ
ったときに、文書が作成または修正されたものとすれば
よく、したがって、文書修正検出部１２は、単に日付の
比較を行なうだけで、新規作成および修正が判定できる
ことになる。
を持たない文書データベースを適用した場合の例を示し
たが、作成日や修正日などを示す信頼性の高い日付情報
がその文書と対応して記憶され、かつその日付情報が取
り出せる文書データベースに対しては、文書複製情報を
文書複製情報記憶部１５などに記憶しなくとも、この作
成日や修正日が前回のフィルタリング処理時点以降であ
ったときに、文書が作成または修正されたものとすれば
よく、したがって、文書修正検出部１２は、単に日付の
比較を行なうだけで、新規作成および修正が判定できる
ことになる。
【００３５】また、この発明の手法は、ソフトウェアと
して実現可能であるため、ＣＤ−ＲＯＭやフロッピィデ
ィスクなどといった記録媒体によって頒布することが可
能である。また、磁気ディスクなどに格納しておき、ネ
ットワークで取り寄せる（ダウンロード）ような形式で
頒布することも可能である。
して実現可能であるため、ＣＤ−ＲＯＭやフロッピィデ
ィスクなどといった記録媒体によって頒布することが可
能である。また、磁気ディスクなどに格納しておき、ネ
ットワークで取り寄せる（ダウンロード）ような形式で
頒布することも可能である。
【００３６】
【発明の効果】以上詳述したように、この発明によれ
ば、不定期的に作成および修正される文書であって、か
つこれらが生成または修正された時期を示す日付情報を
持たない（またはその日付情報の信頼性が低い）種類の
文書であっても、これらの文書を定期的に取得して、そ
の文書またはその文書を圧縮したデータを複製情報とし
て記憶しておき、取得した文書の情報と複製情報とを比
較することによって、複数の文書の中から新たに作成ま
たは修正された文書の検出するため、新規に作成または
修正された文書のみをユーザに送信することが可能とな
る。
ば、不定期的に作成および修正される文書であって、か
つこれらが生成または修正された時期を示す日付情報を
持たない（またはその日付情報の信頼性が低い）種類の
文書であっても、これらの文書を定期的に取得して、そ
の文書またはその文書を圧縮したデータを複製情報とし
て記憶しておき、取得した文書の情報と複製情報とを比
較することによって、複数の文書の中から新たに作成ま
たは修正された文書の検出するため、新規に作成または
修正された文書のみをユーザに送信することが可能とな
る。
【図１】この発明に係る情報フィルタリングシステムの
全体構成図。
全体構成図。
【図２】この発明の文書修正検出部の処理の流れを示す
フローチャート。
フローチャート。
【図３】この発明の類似度算出部の処理の流れを示すフ
ローチャート。
ローチャート。
【図４】この発明のプロファイル記憶部に格納される個
人プロファイルの形式と一例とを示す図。
人プロファイルの形式と一例とを示す図。
【図５】この発明に係る文書側の内部表現例を示す図。
【図６】この発明の第１実施形態に係る文書修正検出部
の処理の流れを示すフローチャート。
の処理の流れを示すフローチャート。
【図７】この発明の第２実施形態に係るネットワークを
介して文書にアクセスする場合の情報フィルタリングシ
ステムの構成を示す図。
介して文書にアクセスする場合の情報フィルタリングシ
ステムの構成を示す図。
１０…情報フィルタリングシステム、１１…文書データ
ベース、１２…文書修正検出部、１３…類似度算出部、
１４…文書呈示部、１５…文書複製情報記憶部、１６…
プロファイル記憶部、１７…制御部、１８…ネットワー
ク接続部、２０…ネットワーク。
ベース、１２…文書修正検出部、１３…類似度算出部、
１４…文書呈示部、１５…文書複製情報記憶部、１６…
プロファイル記憶部、１７…制御部、１８…ネットワー
ク接続部、２０…ネットワーク。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 梶浦 正浩
神奈川県川崎市幸区小向東芝町１番地
株式会社東芝研究開発センター内
(56)参考文献 特開 平６−318202（ＪＰ，Ａ)
菅井 猛 他，インターネット上の情
報フィルタリング（２）−情報の整理方
法，情報処理学会第51回全国大会講演論
文集，日本，社団法人 情報処理学会,
1995年 ９月20日，Ｖｏｌ．４， Ｎ
ｏ．３Ｄ−２，ｐｐ．４−87〜４−88.
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06F 17/30 240
G06F 17/30 110
G06F 17/30 350
H04L 12/54
H04L 12/58
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (6)
- 【請求項１】 文書データベースに格納された非定期的
に作成および修正される複数の文書の中から所定の文書
を選出してユーザに提示する情報フィルタリング装置に
おいて、 前記複数の文書の複製情報を記憶する文書複製情報記憶
手段と、前記文書データベースに格納された文書と前記文書複製
情報記憶手段に格納された文書とを比較して、前期文書
複製情報記憶手段に複製情報が存在するか否かを判定
し、前記複製情報が存在しない場合、その存在しない複
製情報に係る文書を新たな文書として前記複数の文書の
中から検出すると共に、複製情報が存在した場合、その
複製情報に係る文書と前記複数の文書との間の差分を求
め、差分が存在した文書を修正された文書として前記複
数の文書の中から検出する 文書修正検出手段と、 前記文書修正検出手段によって検出された文書と予めユ
ーザが指定した検索条件との間の類似度を算出する類似
度算出手段と、 前記類似度算出手段により算出された類似度にしたがっ
て前記検出された文書すべてを並べ換え、この並べ換え
た順番でこれらの文書をユーザに送信または提示する手
段とを具備してなることを特徴とする情報フィルタリン
グ装置。 - 【請求項２】 前記文書複製情報記憶手段は、前記文書
自体または前記文書を情報圧縮したデータを前記複製情
報として各文書の文書ＩＤと対応させて格納することを
特徴とする請求項１記載の情報フィルタリング装置。 - 【請求項３】 非定期的に作成および修正される複数の
文書の中から所定の文書を選出してユーザに提示する情
報フィルタリング方法において、 前記複数の文書の複製情報を記憶し、前記複製情報が存在するか否かを判定し、前記複製情報
が存在しない場合、その存在しない複製情報に係る文書
を新たな文書として前記複数の文書の中から検出すると
共に、前記複製情報が存在した場合、その複製情報に係
る文書と前記複数の文書との間の差分を求め、差分が存
在した文書を修正された文書として前記複数の文書の中
から検出し、 前記検出した文書と予めユーザが指定した検索条件との
間の類似度を算出し、 前記算出した類似度にしたがって前記検出された文書す
べてを並べ換え、この並べ換えた順番でこれらの文書を
ユーザに送信または提示することを特徴とする情報フィ
ルタリング方法。 - 【請求項４】 前記複製情報は、前記文書自体または前
記文書を情報圧縮したデータであって、各文書の文書Ｉ
Ｄと対応させて格納されるものであることを特徴とする
請求項３記載の情報フィルタリング方法。 - 【請求項５】 非定期的に作成および修正される複数の
文書の中から所定の文書を選出してユーザに提示するた
めのプログラムであって、 前記複数の文書の複製情報を記憶し、前記複製情報が存在するか否かを判定し、前記複製情報
が存在しない場合、その存在しない複製情報に係る文書
を新たな文書として前記複数の文書の中から検出すると
共に、前記複製情報が存在した場合、その複製情報に係
る文書と前記複数の文書との間の差分を求め、差分が存
在した文書を修正された文書として前記複数の文書の中
から検出し、 前記検出した文書と予めユーザが指定した検索条件との
間の類似度を算出し、 前記算出した類似度にしたがって前記検出された文書す
べてを並べ換え、この並べ換えた順番でこれらの文書を
ユーザに送信または提示するようにコンピュータを動作
させるプログラムを記録したコンピュータ読み取り可能
な記録媒体。 - 【請求項６】 前記複製情報は、前記文書自体または前
記文書を情報圧縮したデータであって、各文書の文書Ｉ
Ｄと対応させて格納されるものであることを特徴とする
請求項５記載のコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24859997A JP3523027B2 (ja) | 1996-09-13 | 1997-09-12 | 情報フィルタリング装置および情報フィルタリング方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24329596 | 1996-09-13 | ||
| JP8-243295 | 1996-09-13 | ||
| JP24859997A JP3523027B2 (ja) | 1996-09-13 | 1997-09-12 | 情報フィルタリング装置および情報フィルタリング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10143540A JPH10143540A (ja) | 1998-05-29 |
| JP3523027B2 true JP3523027B2 (ja) | 2004-04-26 |
Family
ID=26536190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24859997A Expired - Fee Related JP3523027B2 (ja) | 1996-09-13 | 1997-09-12 | 情報フィルタリング装置および情報フィルタリング方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3523027B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6334127B1 (en) * | 1998-07-17 | 2001-12-25 | Net Perceptions, Inc. | System, method and article of manufacture for making serendipity-weighted recommendations to a user |
| US6321221B1 (en) | 1998-07-17 | 2001-11-20 | Net Perceptions, Inc. | System, method and article of manufacture for increasing the user value of recommendations |
| JP2000067067A (ja) * | 1998-08-20 | 2000-03-03 | Sky Com:Kk | 配信サーバ及び配信システム |
| US6412012B1 (en) | 1998-12-23 | 2002-06-25 | Net Perceptions, Inc. | System, method, and article of manufacture for making a compatibility-aware recommendations to a user |
| US7003494B2 (en) * | 1999-02-03 | 2006-02-21 | International Business Machines Corporation | Preprocessor system and method for rejection of duplicate invoices |
| US7461058B1 (en) | 1999-09-24 | 2008-12-02 | Thalveg Data Flow Llc | Optimized rule based constraints for collaborative filtering systems |
| US7788123B1 (en) | 2000-06-23 | 2010-08-31 | Ekhaus Michael A | Method and system for high performance model-based personalization |
| JP3573688B2 (ja) * | 2000-06-28 | 2004-10-06 | 松下電器産業株式会社 | 類似文書検索装置及び関連キーワード抽出装置 |
| JP2002132818A (ja) | 2000-10-26 | 2002-05-10 | Seiko Epson Corp | サービス提供システム、サービス提供端末、クライアント端末及び記憶媒体 |
| JP2005348055A (ja) * | 2004-06-02 | 2005-12-15 | Toshiba Corp | ユーザプロファイル編集装置及びユーザプロファイル編集方法並びにプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3139658B2 (ja) * | 1993-05-06 | 2001-03-05 | シャープ株式会社 | 文書表示方式 |
-
1997
- 1997-09-12 JP JP24859997A patent/JP3523027B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 菅井 猛 他，インターネット上の情報フィルタリング（２）−情報の整理方法，情報処理学会第５１回全国大会講演論文集，日本，社団法人 情報処理学会，１９９５年 ９月２０日，Ｖｏｌ．４， Ｎｏ．３Ｄ−２，ｐｐ．４−８７〜４−８８． |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10143540A (ja) | 1998-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5983213A (en) | Database processing method and apparatus using handle | |
| US6976053B1 (en) | Method for using agents to create a computer index corresponding to the contents of networked computers | |
| US7035867B2 (en) | Determining redundancies in content object directories | |
| US7949660B2 (en) | Method and apparatus for searching and resource discovery in a distributed enterprise system | |
| JP5395239B2 (ja) | ユーザの問合せに基づいてユーザにデータを供給するための方法及びシステム | |
| US7797323B1 (en) | Producing representative hashes for segments of a file | |
| JP3851493B2 (ja) | データベース検索方法及びデータベース検索システム並びにデータベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US7490116B2 (en) | Identifying history of modification within large collections of unstructured data | |
| US20110258176A1 (en) | Minimizing Visibility of Stale Content in Web Searching Including Revising Web Crawl Intervals of Documents | |
| WO2001027793A2 (en) | Indexing a network with agents | |
| JP2001519952A (ja) | データ要約装置 | |
| JP3523027B2 (ja) | 情報フィルタリング装置および情報フィルタリング方法 | |
| US20090150832A1 (en) | System and method for user-controlled, multi-dimensional navigation and/or subject-based aggregation and/or monitoring of multimedia data | |
| US20110035372A1 (en) | Search Engine Cache Control | |
| US20110208744A1 (en) | Methods for detecting and removing duplicates in video search results | |
| EP1955195A1 (en) | Content matching | |
| JP2002501254A (ja) | ネットワークを介したコンテンツをアドレス可能なデータに対するアクセス | |
| US20070147656A1 (en) | Method and system to provide support for digital watermarks in a database | |
| JP2006516775A (ja) | 構造化されていないデータの大集合における類似性および修正履歴の特定 | |
| US6418443B1 (en) | Hot spot analysis of IMS databases | |
| US20060020572A1 (en) | Computer, storage system, file management method done by the computer, and program | |
| JPH10143541A (ja) | 情報フィルタリング装置および情報フィルタリング方法 | |
| KR20020032906A (ko) | 인터넷상에서의 저작권 보호 및 침해방지 시스템 및 방법 | |
| US20230133530A1 (en) | Sequential file restore performance using dynamic prefetch based on file locality | |
| WO2024015313A1 (en) | Systems and methods for processing aggregated records with deduplication markers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031208 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040107 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040205 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |