JP4163524B2 - 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 - Google Patents
共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 Download PDFInfo
- Publication number
- JP4163524B2 JP4163524B2 JP2003026273A JP2003026273A JP4163524B2 JP 4163524 B2 JP4163524 B2 JP 4163524B2 JP 2003026273 A JP2003026273 A JP 2003026273A JP 2003026273 A JP2003026273 A JP 2003026273A JP 4163524 B2 JP4163524 B2 JP 4163524B2
- Authority
- JP
- Japan
- Prior art keywords
- occurrence
- similarity
- thesaurus
- word
- thesauruses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は、複数の利用者の間の関心分野の類似度を測定する類似度測定技術に関する。
【0002】
【従来の技術】
WWW(World Wide Web)サーバから情報発信されているWebコンテンツを用いて複数の利用者の間の興味分野や得意分野の類似度を測定する従来の方法としては、WWWブラウザソフトにおけるブックマークに関する情報の類似度を尺度として用いる方法がある(例えば、非特許文献1参照)。
【0003】
この方式における類似度の計算手順は次の通りである。
【0004】
・ブックマークされたあるページpとあるページqの、両方に一定回数以上出現するキーワードについて、その出現回数をページpとページq間のページ関連度と定義する。
【0005】
・また、ブックマークされたあるフォルダfに含まれるすべてのページと、ブックマークされた別のフォルダqに含まれるすべてのページの間で、ページ関連度を求め、その値が一定以上のページ対の数をフォルダfとフォルダqの間のフォルダ関連度と定義する。
【0006】
・同様にして、ある利用者のブックマークaに含まれるすべてのページと、別の利用者のブックマークbに含まれるすべてのページの間で、ページ関連度を求め、その値が一定以上のページ対の数をブックマークaとブックマークbの間の推薦ページ数と定義する。
【0007】
・さらに、ある利用者のブックマークaに含まれるすべてのフォルダと、別の利用者のブックマークbに含まれるすべてのフォルダの間で、フォルダ関連度を求め、その値が一定以上のフォルダ対の数をブックマークaとブックマークbの間の推薦フォルダ数と定義する。
【0008】
このとき、ブックマークaとブックマークbの間の類似度尺度は、以下の5通りが存在する。
【0009】
・推薦ページ数Npab
・平均ページ関連度Rpab
・推薦フォルダ数Nfab
・平均フォルダ関連度Rfab
・カテゴライズ近似度 Nfab×Rfab/Npab
【0010】
【非特許文献1】
濱崎雅弘,武田英明,松塚建,谷口雄一郎,河野恭之,木戸出正継,Bookmarkからの共通話題ネットワークの発見手法の提案とその評価、人工知能学会論文誌,Vol.17, No.3, pp.276-284, 2002.
【0011】
【発明が解決しようとする課題】
しかしながら、上記のような類似度を測定する方法には、次のような問題がある。
【0012】
・利用者のブックマークが公開されていないと類似度を測定できない。ブックマークは個人的なデータであり、これを他者に公開するのは望ましくない。
【0013】
・利用者があるウェブサイトをブックマークに登録する場合には、そのウェブサイトの代表的なページひとつを登録する。しかし、利用者が関心を持っているのはその登録された代表ページだけではなく、代表ページからリンクをたどった先にあるページ群も含まれる。にもかかわらず、上記の類似度測定方法では登録されたページからしかキーワードを抽出しないので、抽出されたキーワードは十分に利用者の興味分野や得意分野を反映していない可能性がある。
【0014】
・単語間の概念構造の類似性が類似度尺度に反映されていない。例えば情報処理機器について、携帯性という観点から見ると「ノートパソコン」と「PDA(Personal Digital Assistance)」はどちらも持ち運べるので概念的に近いが、「デスクトップパソコン」は持ち運べないので「ノートパソコン」とは概念的に遠い。一方、機能という観点から見ると「ノートパソコン」も「デスクトップパソコン」もどちらもパソコンであることには変わらないので概念的に近いが、「PDA」はスケジュール帳などの限定的な機能しか持たないので「ノートパソコン」とは概念的に遠い。このように、携帯性に興味を持つ利用者は携帯性の観点から情報処理機器を捉え、機能に興味を持つ利用者は機能の観点から情報処理機器を捉えるというように、概念構造は利用者の興味分野や得意分野に応じて変化するものであるが、上記の類似度測定方法では概念構造の類似性が類似度尺度に反映されていないので、結果として精度の高い類似度測定は行えない。
【0015】
本発明は、上記の課題を解決するためになされたものであり、利用者個人のプライバシーに関わる個人情報を用いなくても、複数の利用者間の関心分野の類似度を精度高く測定することができる共起シソーラス間類似度測定方法、共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体を提供することを目的とする。
【0016】
【課題を解決するための手段】
上記目的を達成するため、請求項1記載の本発明は、公開されている複数の利用者に関する情報から作成されたそれぞれの前記利用者の共起シソーラスに基づいて、前記複数の利用者間における関心ある分野の類似度を測定する共起シソーラス間類似度測定装置であって、前記利用者各々の共起シソーラスを記憶している共起シソーラス記憶手段と、前記共起シソーラス記憶手段から2人の利用者各々の第1の共起シソーラスおよび第2の共起シソーラスを取得して、取得した各共起シソーラスに対して、当該共起シソーラスに含まれる単語の中から2つを取り出してできる単語の対の各々について、各単語に付与されているベクトルに基づいて前記単語の対の類似度をそれぞれ算出する類似度算出手段と、前記単語の対の各々に対して、当該単語の対の第1の共起シソーラスにおける類似度と当該単語の対の第2の共起シソーラスにおける類似度との差を算出する類似度差算出手段と、前記単語の対の類似度の差の統計値を算出して、第1の共起シソーラスと第2の共起シソーラスとの間の類似度尺度とする類似度尺度算出手段と、を有することを要旨とする。
【0017】
請求項1記載の発明にあっては、複数の共起シソーラス間の類似度尺度から、複数の利用者間において関心のある分野の類似度を精度高く測定することができる。
【0018】
請求項2記載の本発明は、請求項1記載の発明において、前記類似度差算出手段は、前記単語の対が、第1の共起シソーラスまたは第2の共起シソーラスのいずれか一方に存在する単語の対の場合には、当該単語の対が存在する共起シソーラスにおける当該単語の対の類似度を、当該単語の対の類似度の差とすることを要旨とする。
【0020】
請求項3記載の本発明は、請求項1または請求項2記載の発明において、 前記統計値は、類似度の差の二乗平均平方根であることを要旨とする。
【0021】
請求項4記載の本発明は、請求項1から請求項3のいずれか1項に記載の共起シソーラス間類似度測定装置を構成する各手段としてコンピュータを機能させる共起シソーラス間類似度測定プログラムであることを要旨とする。
【0024】
請求項5記載の本発明は、請求項4記載の共起シソーラス間類似度測定プログラムが、コンピュータ読み取り可能な記録媒体に記録されていることを要旨とする。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて説明する。
【0026】
図1は本発明の実施の形態を示すシステム概要図である。共起シソーラス間類似度測定装置1は、インターネット上で公開されている利用者のホームページ3a〜3nからインターネット網2を介して利用者に関するウェブページをダウンロードし、該ウェブページ情報から利用者間の関心分野の類似度を測定するものである。ここで、共起シソーラス間類似度測定装置1は、個人的コーパス構築部11、共起シソーラス構築部12、類似度尺度計算部13、個人的コーパス記憶部14、及び共起シソーラス記憶部15を備えている。
【0027】
個人的コーパス構築部11は、利用者のホームページ3a〜3nから、ホームページ自身およびリンクを一定回数たどった先までのすべてのウェブページをダウンロードし、該ダウンロードデータを利用者に関する大量の単語データを収集した個人的コーパスとして個人的コーパス記憶部14に格納するものである。
【0028】
共起シソーラス構築部12は、個人的コーパス記憶部14に記憶された利用者の個人的コーパスから共起シソーラス(coocurrence-based thesaurus,もしくは概念ベースconcept base)を作成し、共起シソーラス記憶部15に格納するものである。ここで、共起シソーラスとは、概念をその他の概念集合で表した知識ベースをいい、利用者の個人的コーパスに含まれている単語データについて単語間の概念構造が反映されているものであり、具体的には、個人的コーパスについて共起頻度行列を作りそれを特異値分解で次元圧縮して得られる行列のことを意味する。この行列の各行は、それぞれ一つの単語に与えられたベクトル(概念ベクトル)を示しており、それらのベクトルの間の余弦が単語間の類似度を表すようになっている。図3に、例として、単語数3、次元数2の共起シソーラスを示す。これによれば、「机」と「椅子」の間の類似度は、ベクトル間の余弦から
【数1】
となる。ここでは、簡単のため単語数3、次元数2としたが、実際の共起シソーラスは単語数が数百〜数十万、次元数が数十〜数百となっている。
【0029】
類似度尺度計算部13は、共起シソーラス記憶部15に記憶された、複数の利用者の共起シソーラスから、それぞれの利用者の共起シソーラス間の類似度を求めるもので、本発明における類似度尺度dを計算するものである。これは、以下の通りの方法によるものである。
【0030】
ある利用者の共起シソーラスS及び別のある利用者の共起シソーラスTに含まれる単語の数は同じであるとし、共起シソーラスSにおける単語υと単語ωの類似度の値をsimS υωとすると、共起シソーラスSにおける単語υと単語ωの類似度の値と、共起シソーラスTにおける単語υと単語ωの類似度の値の差は、
dυω=|simS υω−simT υω| (1)
と表される。
【0031】
mを共起シソーラスS及びTに含まれる単語の数とすると、それら単語の集合上の単語のペアは全部でm2個あるので、それらのすべてについて式(1)を計算する。そして、式(2)のように、それらm2個の値の二乗平均平方根(root mean square)をとって、類似度尺度dとする。
【0032】
【数2】
ここで、類似度の差dυωは、単語υと単語ωの両方が、共起シソーラスSにも共起シソーラスTにも含まれている場合にしか計算できないので、このことを考慮し、dυωの定義を次のように拡張する。
【0033】
・単語υと単語ωがともに共起シソーラスS及びTに含まれている場合
【数3】
・単語υと単語ωがともに共起シソーラスSには含まれているが、単語υと単語ωの少なくとも一方が共起シソーラスTには含まれていない場合
【数4】
・単語υと単語ωがともに共起シソーラスTには含まれているが、単語υと単語ωの少なくとも一方が共起シソーラスSには含まれていない場合
【数5】
・単語υと単語ωがともに共起シソーラスS及びTに含まれていない場合
【数6】
そして、この定義を上記の式(2)にあてはめて得られるものが、本発明における類似度尺度dとなる。
【0034】
次に、本発明の実施の形態に係る共起シソーラス間類似度測定装置1の動作を図2を用いて説明するが、これは、具体的には、3名の利用者のホームページからそれぞれ共起シソーラスを作成し、該共起シソーラス間の類似度を測定した例に基づくものである。
【0035】
まず、個人的コーパス構築部11は、3人の利用者x、y及びzの個人的コーパスを作成する(ステップS1)。これは、例えば、フリーソフトウェアであるwgetを用いて、それぞれのホームページ及びそのリンク先のホームページからwebページのデータを一括に取得して、個人的コーパス記憶部14に格納するものである。これにより、得られた個人的コーパスの概要は図4に示すようになっている。ここで、ホップ数が3とは、リンクをホームページから三つ先までたどったすべてのwebページをあつめるという意味である。
【0036】
次に、共起シソーラス構築部12は、3つの個人的コーパスそれぞれに対して、個人的コーパス中の全文書の中に出現する全単語のうち、出現頻度が高い上位500個の単語を選択し、それら500単語と、出現頻度が高い上位300個の間で、同じ文中に共起する頻度を記録した共起頻度行列を作成する(ステップS2)。ここで、共起については、ある文書中において、ある単語ωの前後20単語以内にある単語は、ωと共起している、と定める。
【0037】
そして、このようにして作成した500行300列の共起頻度行列を特異値分解により500行100列に次元圧縮して、3人の共起シソーラスを作成し、共起シソーラス記憶部15に格納する(ステップS3)。
【0038】
次に、類似度尺度計算部13は、このようにして得られたそれぞれの共起シソーラスにおいて単語間の類似度を計算する(ステップS4)。この結果、例えば、利用者xの共起シソーラス及び利用者yの共起シソーラスに関しては、Web、applications、及びSearchという単語間には、図5に示すような類似度が得られる。
【0039】
同図によれば、利用者xにとっては、Webという単語とapplicationsという単語は比較的近い概念であるが、利用者yにとっては遠い概念であることが読み取れる。また、利用者xにとってWebという単語とSearchという単語はそれほど近い概念ではないのに対し、利用者yにとっては近い概念であることが読み取れる。
【0040】
次に、類似度尺度計算部13は、上記類似度から、異なる共起シソーラス間の類似度の差dυωを求め、さらに、類似度の差dυωの二乗平均平方根を計算して、本発明における類似度尺度dとする(ステップS5,S6)。類似度尺度dの具体例は、図6に示しているが、これによれば、この3人利用者の間で興味分野や得意分野が最も似ているのはxとzであり、次いでxとy、そして最も似ていないのがyとzということになる。
【0041】
従って、本実施の形態によれば、利用者のホームページという公開された情報を用いて、共起シソーラスを作成し、該共起シソーラスから類似度尺度を算出するので、利用者個人のプライバシーに関わる個人情報を用いなくても、概念構造の類似性を反映した類似度を得ることができ、以て、複数の利用者間の関心分野の類似度を精度高く測定することができる。
【0042】
また、個人的コーパスとしては、利用者のホームページ及び該ホームページのリンク先のページ群を収集するので、より利用者の関心ある分野に関する情報を反映した共起シソーラスを構築することができる。
【0043】
以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。例えば、図1で示した共起シソーラス間類似度測定装置1における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実行できることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、MO(magneto-optic)、ROM(Read Only Memory)、メモリーカード、CD(Compact Disc)、DVD(Digital Versatile Disk)、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通じてそのプログラムを配布したりすることが可能である。
【0044】
【発明の効果】
以上説明したように、本発明によれば、利用者個人のプライバシーに関わる個人情報を用いなくても、公開された利用者情報から作成した共起シソーラスに基づいて共起シソーラス間の類似度を算出できるので、複数の利用者間の関心分野の類似度を精度高く測定することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る共起シソーラス間類似度測定装置の概略構成図である。
【図2】本発明の実施の形態に係る共起シソーラス間類似度測定装置の動作を説明するフローチャートである。
【図3】本発明の実施の形態における共起シソーラスの例を説明する図である。
【図4】本発明の実施の形態における個人的コーパスの例を説明する図である。
【図5】本発明の実施の形態における類似度の例を説明する図である。
【図6】本発明の実施の形態における類似度尺度の例を説明する図である。
【符号の説明】
1 共起シソーラス間類似度測定装置
2 インターネット網
3a〜3n ホームページ
11 個人的コーパス構築部
12 共起シソーラス構築部
13 類似度尺度計算部
14 個人的コーパス記憶部
15 共起シソーラス記憶部
Claims (5)
- 公開されている複数の利用者に関する情報から作成されたそれぞれの前記利用者の共起シソーラスに基づいて、前記複数の利用者間における関心ある分野の類似度を測定する共起シソーラス間類似度測定装置であって、
前記利用者各々の共起シソーラスを記憶している共起シソーラス記憶手段と、
前記共起シソーラス記憶手段から2人の利用者各々の第1の共起シソーラスおよび第2の共起シソーラスを取得して、取得した各共起シソーラスに対して、当該共起シソーラスに含まれる単語の中から2つを取り出してできる単語の対の各々について、各単語に付与されているベクトルに基づいて前記単語の対の類似度をそれぞれ算出する類似度算出手段と、
前記単語の対の各々に対して、当該単語の対の第1の共起シソーラスにおける類似度と当該単語の対の第2の共起シソーラスにおける類似度との差を算出する類似度差算出手段と、
前記単語の対の類似度の差の統計値を算出して、第1の共起シソーラスと第2の共起シソーラスとの間の類似度尺度とする類似度尺度算出手段と、
を有することを特徴とする共起シソーラス間類似度測定装置。 - 前記類似度差算出手段は、前記単語の対が、第1の共起シソーラスまたは第2の共起シソーラスのいずれか一方に存在する単語の対の場合には、当該単語の対が存在する共起シソーラスにおける当該単語の対の類似度を、当該単語の対の類似度の差とすること
を特徴とする請求項1記載の共起シソーラス間類似度測定装置。 - 前記統計値は、類似度の差の二乗平均平方根であること
を特徴とする請求項1または請求項2記載の共起シソーラス間類似度測定装置。 - 請求項1から請求項3のいずれか1項に記載の共起シソーラス間類似度測定装置を構成する各手段としてコンピュータを機能させる共起シソーラス間類似度測定プログラム。
- 請求項4記載の共起シソーラス間類似度測定プログラムが、コンピュータ読み取り可能な記録媒体に記録されていることを特徴とする共起シソーラス間類似度測定プログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003026273A JP4163524B2 (ja) | 2003-02-03 | 2003-02-03 | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003026273A JP4163524B2 (ja) | 2003-02-03 | 2003-02-03 | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004240505A JP2004240505A (ja) | 2004-08-26 |
JP4163524B2 true JP4163524B2 (ja) | 2008-10-08 |
Family
ID=32954330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003026273A Expired - Fee Related JP4163524B2 (ja) | 2003-02-03 | 2003-02-03 | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4163524B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5158302B2 (ja) * | 2006-03-02 | 2013-03-06 | 富岳通運株式会社 | 情報提供システム |
NZ578672A (en) * | 2006-12-29 | 2012-08-31 | Thomson Reuters Glo Resources | Information-retrieval systems, methods, and software with concept-based searching and ranking |
WO2013021875A1 (ja) * | 2011-08-08 | 2013-02-14 | 日本電気株式会社 | データ間の関連性判定システム、データ間の関連性判定方法、および記録媒体 |
JP6680656B2 (ja) * | 2016-09-16 | 2020-04-15 | ヤフー株式会社 | 判定装置および判定方法 |
-
2003
- 2003-02-03 JP JP2003026273A patent/JP4163524B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004240505A (ja) | 2004-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5340751B2 (ja) | 文書処理装置および文書処理方法 | |
AU2010343183B2 (en) | Search suggestion clustering and presentation | |
US8745039B2 (en) | Method and system for user guided search navigation | |
Markov et al. | Data mining the Web: uncovering patterns in Web content, structure, and usage | |
Agrawal et al. | A detailed study on text mining techniques | |
Brügger | Digital Humanities in the 21st Century: Digital Material as a Driving Force. | |
Beall | Metadata and data quality problems in the digital library | |
WO2008106667A1 (en) | Searching heterogeneous interrelated entities | |
US20090265330A1 (en) | Context-based document unit recommendation for sensemaking tasks | |
KR20070101217A (ko) | 개인 웹에서의 문서의 검색, 항행, 및 순위 부여를 위한방법, 시스템, 컴퓨터 프로그램 제품 | |
KR100509276B1 (ko) | 웹페이지별 방문인기도에 기반한 웹페이지 검색방법 및 그장치 | |
JP3849318B2 (ja) | 情報検索装置、情報検索方法及び情報検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Tuarob et al. | A generalized topic modeling approach for automatic document annotation | |
JP4163524B2 (ja) | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 | |
JP2007334590A (ja) | 情報ランキング方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
Kadry et al. | On the improvement of weighted page content rank | |
Sukovic | E-texts in research projects in the humanities | |
JP2005092442A (ja) | 多次元空間モデル表現装置および多次元空間モデル表現方法 | |
JP7122773B2 (ja) | 辞書構築装置、辞書の生産方法、およびプログラム | |
Furuta et al. | Physical objects in the digital library | |
Price et al. | Using semantic components to search for domain-specific documents: An evaluation from the system perspective and the user perspective | |
Strzelecki et al. | Device-dependent click-through rate estimation in Google organic search results based on clicks and impressions data | |
JP2011159100A (ja) | 逐次類似文書検索装置、逐次類似文書検索方法およびプログラム | |
Deb | TERI integrated digital library initiative | |
Binkowski | The effect of social proof on tag selection in social bookmarking applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080724 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |