JP4163524B2 - 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 - Google Patents
共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 Download PDFInfo
- Publication number
- JP4163524B2 JP4163524B2 JP2003026273A JP2003026273A JP4163524B2 JP 4163524 B2 JP4163524 B2 JP 4163524B2 JP 2003026273 A JP2003026273 A JP 2003026273A JP 2003026273 A JP2003026273 A JP 2003026273A JP 4163524 B2 JP4163524 B2 JP 4163524B2
- Authority
- JP
- Japan
- Prior art keywords
- occurrence
- similarity
- thesaurus
- word
- thesauruses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の利用者の間の関心分野の類似度を測定する類似度測定技術に関する。
【０００２】
【従来の技術】
ＷＷＷ（World Wide Web）サーバから情報発信されているＷｅｂコンテンツを用いて複数の利用者の間の興味分野や得意分野の類似度を測定する従来の方法としては、ＷＷＷブラウザソフトにおけるブックマークに関する情報の類似度を尺度として用いる方法がある（例えば、非特許文献１参照）。
【０００３】
この方式における類似度の計算手順は次の通りである。
【０００４】
・ブックマークされたあるページｐとあるページｑの、両方に一定回数以上出現するキーワードについて、その出現回数をページｐとページｑ間のページ関連度と定義する。
【０００５】
・また、ブックマークされたあるフォルダｆに含まれるすべてのページと、ブックマークされた別のフォルダｑに含まれるすべてのページの間で、ページ関連度を求め、その値が一定以上のページ対の数をフォルダｆとフォルダｑの間のフォルダ関連度と定義する。
【０００６】
・同様にして、ある利用者のブックマークａに含まれるすべてのページと、別の利用者のブックマークｂに含まれるすべてのページの間で、ページ関連度を求め、その値が一定以上のページ対の数をブックマークａとブックマークｂの間の推薦ページ数と定義する。
【０００７】
・さらに、ある利用者のブックマークａに含まれるすべてのフォルダと、別の利用者のブックマークｂに含まれるすべてのフォルダの間で、フォルダ関連度を求め、その値が一定以上のフォルダ対の数をブックマークａとブックマークｂの間の推薦フォルダ数と定義する。
【０００８】
このとき、ブックマークａとブックマークｂの間の類似度尺度は、以下の５通りが存在する。
【０００９】
・推薦ページ数Ｎpab
・平均ページ関連度Ｒpab
・推薦フォルダ数Ｎfab
・平均フォルダ関連度Ｒfab
・カテゴライズ近似度 Ｎfab×Ｒfab／Ｎpab
【００１０】
【非特許文献１】
濱崎雅弘，武田英明，松塚建，谷口雄一郎，河野恭之，木戸出正継，Bookmarkからの共通話題ネットワークの発見手法の提案とその評価、人工知能学会論文誌，Vol.17, No.3, pp.276-284, 2002.
【００１１】
【発明が解決しようとする課題】
しかしながら、上記のような類似度を測定する方法には、次のような問題がある。
【００１２】
・利用者のブックマークが公開されていないと類似度を測定できない。ブックマークは個人的なデータであり、これを他者に公開するのは望ましくない。
【００１３】
・利用者があるウェブサイトをブックマークに登録する場合には、そのウェブサイトの代表的なページひとつを登録する。しかし、利用者が関心を持っているのはその登録された代表ページだけではなく、代表ページからリンクをたどった先にあるページ群も含まれる。にもかかわらず、上記の類似度測定方法では登録されたページからしかキーワードを抽出しないので、抽出されたキーワードは十分に利用者の興味分野や得意分野を反映していない可能性がある。
【００１４】
・単語間の概念構造の類似性が類似度尺度に反映されていない。例えば情報処理機器について、携帯性という観点から見ると「ノートパソコン」と「ＰＤＡ（Personal Digital Assistance）」はどちらも持ち運べるので概念的に近いが、「デスクトップパソコン」は持ち運べないので「ノートパソコン」とは概念的に遠い。一方、機能という観点から見ると「ノートパソコン」も「デスクトップパソコン」もどちらもパソコンであることには変わらないので概念的に近いが、「ＰＤＡ」はスケジュール帳などの限定的な機能しか持たないので「ノートパソコン」とは概念的に遠い。このように、携帯性に興味を持つ利用者は携帯性の観点から情報処理機器を捉え、機能に興味を持つ利用者は機能の観点から情報処理機器を捉えるというように、概念構造は利用者の興味分野や得意分野に応じて変化するものであるが、上記の類似度測定方法では概念構造の類似性が類似度尺度に反映されていないので、結果として精度の高い類似度測定は行えない。
【００１５】
本発明は、上記の課題を解決するためになされたものであり、利用者個人のプライバシーに関わる個人情報を用いなくても、複数の利用者間の関心分野の類似度を精度高く測定することができる共起シソーラス間類似度測定方法、共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、公開されている複数の利用者に関する情報から作成されたそれぞれの前記利用者の共起シソーラスに基づいて、前記複数の利用者間における関心ある分野の類似度を測定する共起シソーラス間類似度測定装置であって、前記利用者各々の共起シソーラスを記憶している共起シソーラス記憶手段と、前記共起シソーラス記憶手段から２人の利用者各々の第１の共起シソーラスおよび第２の共起シソーラスを取得して、取得した各共起シソーラスに対して、当該共起シソーラスに含まれる単語の中から２つを取り出してできる単語の対の各々について、各単語に付与されているベクトルに基づいて前記単語の対の類似度をそれぞれ算出する類似度算出手段と、前記単語の対の各々に対して、当該単語の対の第１の共起シソーラスにおける類似度と当該単語の対の第２の共起シソーラスにおける類似度との差を算出する類似度差算出手段と、前記単語の対の類似度の差の統計値を算出して、第１の共起シソーラスと第２の共起シソーラスとの間の類似度尺度とする類似度尺度算出手段と、を有することを要旨とする。
【００１７】
請求項１記載の発明にあっては、複数の共起シソーラス間の類似度尺度から、複数の利用者間において関心のある分野の類似度を精度高く測定することができる。
【００１８】
請求項２記載の本発明は、請求項１記載の発明において、前記類似度差算出手段は、前記単語の対が、第１の共起シソーラスまたは第２の共起シソーラスのいずれか一方に存在する単語の対の場合には、当該単語の対が存在する共起シソーラスにおける当該単語の対の類似度を、当該単語の対の類似度の差とすることを要旨とする。
【００２０】
請求項３記載の本発明は、請求項１または請求項２記載の発明において、 前記統計値は、類似度の差の二乗平均平方根であることを要旨とする。
【００２１】
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の共起シソーラス間類似度測定装置を構成する各手段としてコンピュータを機能させる共起シソーラス間類似度測定プログラムであることを要旨とする。
【００２４】
請求項５記載の本発明は、請求項４記載の共起シソーラス間類似度測定プログラムが、コンピュータ読み取り可能な記録媒体に記録されていることを要旨とする。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて説明する。
【００２６】
図１は本発明の実施の形態を示すシステム概要図である。共起シソーラス間類似度測定装置１は、インターネット上で公開されている利用者のホームページ３ａ〜３ｎからインターネット網２を介して利用者に関するウェブページをダウンロードし、該ウェブページ情報から利用者間の関心分野の類似度を測定するものである。ここで、共起シソーラス間類似度測定装置１は、個人的コーパス構築部１１、共起シソーラス構築部１２、類似度尺度計算部１３、個人的コーパス記憶部１４、及び共起シソーラス記憶部１５を備えている。
【００２７】
個人的コーパス構築部１１は、利用者のホームページ３ａ〜３ｎから、ホームページ自身およびリンクを一定回数たどった先までのすべてのウェブページをダウンロードし、該ダウンロードデータを利用者に関する大量の単語データを収集した個人的コーパスとして個人的コーパス記憶部１４に格納するものである。
【００２８】
共起シソーラス構築部１２は、個人的コーパス記憶部１４に記憶された利用者の個人的コーパスから共起シソーラス（coocurrence-based thesaurus，もしくは概念ベースconcept base）を作成し、共起シソーラス記憶部１５に格納するものである。ここで、共起シソーラスとは、概念をその他の概念集合で表した知識ベースをいい、利用者の個人的コーパスに含まれている単語データについて単語間の概念構造が反映されているものであり、具体的には、個人的コーパスについて共起頻度行列を作りそれを特異値分解で次元圧縮して得られる行列のことを意味する。この行列の各行は、それぞれ一つの単語に与えられたベクトル（概念ベクトル）を示しており、それらのベクトルの間の余弦が単語間の類似度を表すようになっている。図３に、例として、単語数３、次元数２の共起シソーラスを示す。これによれば、「机」と「椅子」の間の類似度は、ベクトル間の余弦から
【数１】
となる。ここでは、簡単のため単語数３、次元数２としたが、実際の共起シソーラスは単語数が数百〜数十万、次元数が数十〜数百となっている。
【００２９】
類似度尺度計算部１３は、共起シソーラス記憶部１５に記憶された、複数の利用者の共起シソーラスから、それぞれの利用者の共起シソーラス間の類似度を求めるもので、本発明における類似度尺度ｄを計算するものである。これは、以下の通りの方法によるものである。
【００３０】
ある利用者の共起シソーラスＳ及び別のある利用者の共起シソーラスＴに含まれる単語の数は同じであるとし、共起シソーラスＳにおける単語υと単語ωの類似度の値をｓｉｍS υωとすると、共起シソーラスＳにおける単語υと単語ωの類似度の値と、共起シソーラスＴにおける単語υと単語ωの類似度の値の差は、
ｄυω＝｜ｓｉｍS υω−ｓｉｍT υω｜ （１）
と表される。
【００３１】
ｍを共起シソーラスＳ及びＴに含まれる単語の数とすると、それら単語の集合上の単語のペアは全部でｍ2個あるので、それらのすべてについて式（１）を計算する。そして、式（２）のように、それらｍ2個の値の二乗平均平方根（root mean square）をとって、類似度尺度ｄとする。
【００３２】
【数２】
ここで、類似度の差ｄυωは、単語υと単語ωの両方が、共起シソーラスＳにも共起シソーラスＴにも含まれている場合にしか計算できないので、このことを考慮し、ｄυωの定義を次のように拡張する。
【００３３】
・単語υと単語ωがともに共起シソーラスＳ及びＴに含まれている場合
【数３】
・単語υと単語ωがともに共起シソーラスＳには含まれているが、単語υと単語ωの少なくとも一方が共起シソーラスＴには含まれていない場合
【数４】
・単語υと単語ωがともに共起シソーラスＴには含まれているが、単語υと単語ωの少なくとも一方が共起シソーラスＳには含まれていない場合
【数５】
・単語υと単語ωがともに共起シソーラスＳ及びＴに含まれていない場合
【数６】
そして、この定義を上記の式（２）にあてはめて得られるものが、本発明における類似度尺度ｄとなる。
【００３４】
次に、本発明の実施の形態に係る共起シソーラス間類似度測定装置１の動作を図２を用いて説明するが、これは、具体的には、３名の利用者のホームページからそれぞれ共起シソーラスを作成し、該共起シソーラス間の類似度を測定した例に基づくものである。
【００３５】
まず、個人的コーパス構築部１１は、３人の利用者ｘ、ｙ及びｚの個人的コーパスを作成する（ステップＳ１）。これは、例えば、フリーソフトウェアであるwgetを用いて、それぞれのホームページ及びそのリンク先のホームページからｗｅｂページのデータを一括に取得して、個人的コーパス記憶部１４に格納するものである。これにより、得られた個人的コーパスの概要は図４に示すようになっている。ここで、ホップ数が３とは、リンクをホームページから三つ先までたどったすべてのｗｅｂページをあつめるという意味である。
【００３６】
次に、共起シソーラス構築部１２は、３つの個人的コーパスそれぞれに対して、個人的コーパス中の全文書の中に出現する全単語のうち、出現頻度が高い上位５００個の単語を選択し、それら５００単語と、出現頻度が高い上位３００個の間で、同じ文中に共起する頻度を記録した共起頻度行列を作成する（ステップＳ２）。ここで、共起については、ある文書中において、ある単語ωの前後２０単語以内にある単語は、ωと共起している、と定める。
【００３７】
そして、このようにして作成した５００行３００列の共起頻度行列を特異値分解により５００行１００列に次元圧縮して、３人の共起シソーラスを作成し、共起シソーラス記憶部１５に格納する（ステップＳ３）。
【００３８】
次に、類似度尺度計算部１３は、このようにして得られたそれぞれの共起シソーラスにおいて単語間の類似度を計算する（ステップＳ４）。この結果、例えば、利用者ｘの共起シソーラス及び利用者ｙの共起シソーラスに関しては、Web、applications、及びSearchという単語間には、図５に示すような類似度が得られる。
【００３９】
同図によれば、利用者ｘにとっては、Webという単語とapplicationsという単語は比較的近い概念であるが、利用者ｙにとっては遠い概念であることが読み取れる。また、利用者ｘにとってWebという単語とSearchという単語はそれほど近い概念ではないのに対し、利用者ｙにとっては近い概念であることが読み取れる。
【００４０】
次に、類似度尺度計算部１３は、上記類似度から、異なる共起シソーラス間の類似度の差ｄυωを求め、さらに、類似度の差ｄυωの二乗平均平方根を計算して、本発明における類似度尺度ｄとする（ステップＳ５，Ｓ６）。類似度尺度ｄの具体例は、図６に示しているが、これによれば、この３人利用者の間で興味分野や得意分野が最も似ているのはｘとｚであり、次いでｘとｙ、そして最も似ていないのがｙとｚということになる。
【００４１】
従って、本実施の形態によれば、利用者のホームページという公開された情報を用いて、共起シソーラスを作成し、該共起シソーラスから類似度尺度を算出するので、利用者個人のプライバシーに関わる個人情報を用いなくても、概念構造の類似性を反映した類似度を得ることができ、以て、複数の利用者間の関心分野の類似度を精度高く測定することができる。
【００４２】
また、個人的コーパスとしては、利用者のホームページ及び該ホームページのリンク先のページ群を収集するので、より利用者の関心ある分野に関する情報を反映した共起シソーラスを構築することができる。
【００４３】
以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。例えば、図１で示した共起シソーラス間類似度測定装置１における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実行できることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ（magneto-optic）、ＲＯＭ（Read Only Memory）、メモリーカード、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通じてそのプログラムを配布したりすることが可能である。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、利用者個人のプライバシーに関わる個人情報を用いなくても、公開された利用者情報から作成した共起シソーラスに基づいて共起シソーラス間の類似度を算出できるので、複数の利用者間の関心分野の類似度を精度高く測定することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る共起シソーラス間類似度測定装置の概略構成図である。
【図２】本発明の実施の形態に係る共起シソーラス間類似度測定装置の動作を説明するフローチャートである。
【図３】本発明の実施の形態における共起シソーラスの例を説明する図である。
【図４】本発明の実施の形態における個人的コーパスの例を説明する図である。
【図５】本発明の実施の形態における類似度の例を説明する図である。
【図６】本発明の実施の形態における類似度尺度の例を説明する図である。
【符号の説明】
１ 共起シソーラス間類似度測定装置
２ インターネット網
３ａ〜３ｎ ホームページ
１１ 個人的コーパス構築部
１２ 共起シソーラス構築部
１３ 類似度尺度計算部
１４ 個人的コーパス記憶部
１５ 共起シソーラス記憶部
【発明の属する技術分野】
本発明は、複数の利用者の間の関心分野の類似度を測定する類似度測定技術に関する。
【０００２】
【従来の技術】
ＷＷＷ（World Wide Web）サーバから情報発信されているＷｅｂコンテンツを用いて複数の利用者の間の興味分野や得意分野の類似度を測定する従来の方法としては、ＷＷＷブラウザソフトにおけるブックマークに関する情報の類似度を尺度として用いる方法がある（例えば、非特許文献１参照）。
【０００３】
この方式における類似度の計算手順は次の通りである。
【０００４】
・ブックマークされたあるページｐとあるページｑの、両方に一定回数以上出現するキーワードについて、その出現回数をページｐとページｑ間のページ関連度と定義する。
【０００５】
・また、ブックマークされたあるフォルダｆに含まれるすべてのページと、ブックマークされた別のフォルダｑに含まれるすべてのページの間で、ページ関連度を求め、その値が一定以上のページ対の数をフォルダｆとフォルダｑの間のフォルダ関連度と定義する。
【０００６】
・同様にして、ある利用者のブックマークａに含まれるすべてのページと、別の利用者のブックマークｂに含まれるすべてのページの間で、ページ関連度を求め、その値が一定以上のページ対の数をブックマークａとブックマークｂの間の推薦ページ数と定義する。
【０００７】
・さらに、ある利用者のブックマークａに含まれるすべてのフォルダと、別の利用者のブックマークｂに含まれるすべてのフォルダの間で、フォルダ関連度を求め、その値が一定以上のフォルダ対の数をブックマークａとブックマークｂの間の推薦フォルダ数と定義する。
【０００８】
このとき、ブックマークａとブックマークｂの間の類似度尺度は、以下の５通りが存在する。
【０００９】
・推薦ページ数Ｎpab
・平均ページ関連度Ｒpab
・推薦フォルダ数Ｎfab
・平均フォルダ関連度Ｒfab
・カテゴライズ近似度 Ｎfab×Ｒfab／Ｎpab
【００１０】
【非特許文献１】
濱崎雅弘，武田英明，松塚建，谷口雄一郎，河野恭之，木戸出正継，Bookmarkからの共通話題ネットワークの発見手法の提案とその評価、人工知能学会論文誌，Vol.17, No.3, pp.276-284, 2002.
【００１１】
【発明が解決しようとする課題】
しかしながら、上記のような類似度を測定する方法には、次のような問題がある。
【００１２】
・利用者のブックマークが公開されていないと類似度を測定できない。ブックマークは個人的なデータであり、これを他者に公開するのは望ましくない。
【００１３】
・利用者があるウェブサイトをブックマークに登録する場合には、そのウェブサイトの代表的なページひとつを登録する。しかし、利用者が関心を持っているのはその登録された代表ページだけではなく、代表ページからリンクをたどった先にあるページ群も含まれる。にもかかわらず、上記の類似度測定方法では登録されたページからしかキーワードを抽出しないので、抽出されたキーワードは十分に利用者の興味分野や得意分野を反映していない可能性がある。
【００１４】
・単語間の概念構造の類似性が類似度尺度に反映されていない。例えば情報処理機器について、携帯性という観点から見ると「ノートパソコン」と「ＰＤＡ（Personal Digital Assistance）」はどちらも持ち運べるので概念的に近いが、「デスクトップパソコン」は持ち運べないので「ノートパソコン」とは概念的に遠い。一方、機能という観点から見ると「ノートパソコン」も「デスクトップパソコン」もどちらもパソコンであることには変わらないので概念的に近いが、「ＰＤＡ」はスケジュール帳などの限定的な機能しか持たないので「ノートパソコン」とは概念的に遠い。このように、携帯性に興味を持つ利用者は携帯性の観点から情報処理機器を捉え、機能に興味を持つ利用者は機能の観点から情報処理機器を捉えるというように、概念構造は利用者の興味分野や得意分野に応じて変化するものであるが、上記の類似度測定方法では概念構造の類似性が類似度尺度に反映されていないので、結果として精度の高い類似度測定は行えない。
【００１５】
本発明は、上記の課題を解決するためになされたものであり、利用者個人のプライバシーに関わる個人情報を用いなくても、複数の利用者間の関心分野の類似度を精度高く測定することができる共起シソーラス間類似度測定方法、共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、公開されている複数の利用者に関する情報から作成されたそれぞれの前記利用者の共起シソーラスに基づいて、前記複数の利用者間における関心ある分野の類似度を測定する共起シソーラス間類似度測定装置であって、前記利用者各々の共起シソーラスを記憶している共起シソーラス記憶手段と、前記共起シソーラス記憶手段から２人の利用者各々の第１の共起シソーラスおよび第２の共起シソーラスを取得して、取得した各共起シソーラスに対して、当該共起シソーラスに含まれる単語の中から２つを取り出してできる単語の対の各々について、各単語に付与されているベクトルに基づいて前記単語の対の類似度をそれぞれ算出する類似度算出手段と、前記単語の対の各々に対して、当該単語の対の第１の共起シソーラスにおける類似度と当該単語の対の第２の共起シソーラスにおける類似度との差を算出する類似度差算出手段と、前記単語の対の類似度の差の統計値を算出して、第１の共起シソーラスと第２の共起シソーラスとの間の類似度尺度とする類似度尺度算出手段と、を有することを要旨とする。
【００１７】
請求項１記載の発明にあっては、複数の共起シソーラス間の類似度尺度から、複数の利用者間において関心のある分野の類似度を精度高く測定することができる。
【００１８】
請求項２記載の本発明は、請求項１記載の発明において、前記類似度差算出手段は、前記単語の対が、第１の共起シソーラスまたは第２の共起シソーラスのいずれか一方に存在する単語の対の場合には、当該単語の対が存在する共起シソーラスにおける当該単語の対の類似度を、当該単語の対の類似度の差とすることを要旨とする。
【００２０】
請求項３記載の本発明は、請求項１または請求項２記載の発明において、 前記統計値は、類似度の差の二乗平均平方根であることを要旨とする。
【００２１】
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の共起シソーラス間類似度測定装置を構成する各手段としてコンピュータを機能させる共起シソーラス間類似度測定プログラムであることを要旨とする。
【００２４】
請求項５記載の本発明は、請求項４記載の共起シソーラス間類似度測定プログラムが、コンピュータ読み取り可能な記録媒体に記録されていることを要旨とする。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて説明する。
【００２６】
図１は本発明の実施の形態を示すシステム概要図である。共起シソーラス間類似度測定装置１は、インターネット上で公開されている利用者のホームページ３ａ〜３ｎからインターネット網２を介して利用者に関するウェブページをダウンロードし、該ウェブページ情報から利用者間の関心分野の類似度を測定するものである。ここで、共起シソーラス間類似度測定装置１は、個人的コーパス構築部１１、共起シソーラス構築部１２、類似度尺度計算部１３、個人的コーパス記憶部１４、及び共起シソーラス記憶部１５を備えている。
【００２７】
個人的コーパス構築部１１は、利用者のホームページ３ａ〜３ｎから、ホームページ自身およびリンクを一定回数たどった先までのすべてのウェブページをダウンロードし、該ダウンロードデータを利用者に関する大量の単語データを収集した個人的コーパスとして個人的コーパス記憶部１４に格納するものである。
【００２８】
共起シソーラス構築部１２は、個人的コーパス記憶部１４に記憶された利用者の個人的コーパスから共起シソーラス（coocurrence-based thesaurus，もしくは概念ベースconcept base）を作成し、共起シソーラス記憶部１５に格納するものである。ここで、共起シソーラスとは、概念をその他の概念集合で表した知識ベースをいい、利用者の個人的コーパスに含まれている単語データについて単語間の概念構造が反映されているものであり、具体的には、個人的コーパスについて共起頻度行列を作りそれを特異値分解で次元圧縮して得られる行列のことを意味する。この行列の各行は、それぞれ一つの単語に与えられたベクトル（概念ベクトル）を示しており、それらのベクトルの間の余弦が単語間の類似度を表すようになっている。図３に、例として、単語数３、次元数２の共起シソーラスを示す。これによれば、「机」と「椅子」の間の類似度は、ベクトル間の余弦から
【数１】
【００２９】
類似度尺度計算部１３は、共起シソーラス記憶部１５に記憶された、複数の利用者の共起シソーラスから、それぞれの利用者の共起シソーラス間の類似度を求めるもので、本発明における類似度尺度ｄを計算するものである。これは、以下の通りの方法によるものである。
【００３０】
ある利用者の共起シソーラスＳ及び別のある利用者の共起シソーラスＴに含まれる単語の数は同じであるとし、共起シソーラスＳにおける単語υと単語ωの類似度の値をｓｉｍS υωとすると、共起シソーラスＳにおける単語υと単語ωの類似度の値と、共起シソーラスＴにおける単語υと単語ωの類似度の値の差は、
ｄυω＝｜ｓｉｍS υω−ｓｉｍT υω｜ （１）
と表される。
【００３１】
ｍを共起シソーラスＳ及びＴに含まれる単語の数とすると、それら単語の集合上の単語のペアは全部でｍ2個あるので、それらのすべてについて式（１）を計算する。そして、式（２）のように、それらｍ2個の値の二乗平均平方根（root mean square）をとって、類似度尺度ｄとする。
【００３２】
【数２】
【００３３】
・単語υと単語ωがともに共起シソーラスＳ及びＴに含まれている場合
【数３】
【数４】
【数５】
【数６】
【００３４】
次に、本発明の実施の形態に係る共起シソーラス間類似度測定装置１の動作を図２を用いて説明するが、これは、具体的には、３名の利用者のホームページからそれぞれ共起シソーラスを作成し、該共起シソーラス間の類似度を測定した例に基づくものである。
【００３５】
まず、個人的コーパス構築部１１は、３人の利用者ｘ、ｙ及びｚの個人的コーパスを作成する（ステップＳ１）。これは、例えば、フリーソフトウェアであるwgetを用いて、それぞれのホームページ及びそのリンク先のホームページからｗｅｂページのデータを一括に取得して、個人的コーパス記憶部１４に格納するものである。これにより、得られた個人的コーパスの概要は図４に示すようになっている。ここで、ホップ数が３とは、リンクをホームページから三つ先までたどったすべてのｗｅｂページをあつめるという意味である。
【００３６】
次に、共起シソーラス構築部１２は、３つの個人的コーパスそれぞれに対して、個人的コーパス中の全文書の中に出現する全単語のうち、出現頻度が高い上位５００個の単語を選択し、それら５００単語と、出現頻度が高い上位３００個の間で、同じ文中に共起する頻度を記録した共起頻度行列を作成する（ステップＳ２）。ここで、共起については、ある文書中において、ある単語ωの前後２０単語以内にある単語は、ωと共起している、と定める。
【００３７】
そして、このようにして作成した５００行３００列の共起頻度行列を特異値分解により５００行１００列に次元圧縮して、３人の共起シソーラスを作成し、共起シソーラス記憶部１５に格納する（ステップＳ３）。
【００３８】
次に、類似度尺度計算部１３は、このようにして得られたそれぞれの共起シソーラスにおいて単語間の類似度を計算する（ステップＳ４）。この結果、例えば、利用者ｘの共起シソーラス及び利用者ｙの共起シソーラスに関しては、Web、applications、及びSearchという単語間には、図５に示すような類似度が得られる。
【００３９】
同図によれば、利用者ｘにとっては、Webという単語とapplicationsという単語は比較的近い概念であるが、利用者ｙにとっては遠い概念であることが読み取れる。また、利用者ｘにとってWebという単語とSearchという単語はそれほど近い概念ではないのに対し、利用者ｙにとっては近い概念であることが読み取れる。
【００４０】
次に、類似度尺度計算部１３は、上記類似度から、異なる共起シソーラス間の類似度の差ｄυωを求め、さらに、類似度の差ｄυωの二乗平均平方根を計算して、本発明における類似度尺度ｄとする（ステップＳ５，Ｓ６）。類似度尺度ｄの具体例は、図６に示しているが、これによれば、この３人利用者の間で興味分野や得意分野が最も似ているのはｘとｚであり、次いでｘとｙ、そして最も似ていないのがｙとｚということになる。
【００４１】
従って、本実施の形態によれば、利用者のホームページという公開された情報を用いて、共起シソーラスを作成し、該共起シソーラスから類似度尺度を算出するので、利用者個人のプライバシーに関わる個人情報を用いなくても、概念構造の類似性を反映した類似度を得ることができ、以て、複数の利用者間の関心分野の類似度を精度高く測定することができる。
【００４２】
また、個人的コーパスとしては、利用者のホームページ及び該ホームページのリンク先のページ群を収集するので、より利用者の関心ある分野に関する情報を反映した共起シソーラスを構築することができる。
【００４３】
以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。例えば、図１で示した共起シソーラス間類似度測定装置１における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実行できることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ（magneto-optic）、ＲＯＭ（Read Only Memory）、メモリーカード、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通じてそのプログラムを配布したりすることが可能である。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、利用者個人のプライバシーに関わる個人情報を用いなくても、公開された利用者情報から作成した共起シソーラスに基づいて共起シソーラス間の類似度を算出できるので、複数の利用者間の関心分野の類似度を精度高く測定することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る共起シソーラス間類似度測定装置の概略構成図である。
【図２】本発明の実施の形態に係る共起シソーラス間類似度測定装置の動作を説明するフローチャートである。
【図３】本発明の実施の形態における共起シソーラスの例を説明する図である。
【図４】本発明の実施の形態における個人的コーパスの例を説明する図である。
【図５】本発明の実施の形態における類似度の例を説明する図である。
【図６】本発明の実施の形態における類似度尺度の例を説明する図である。
【符号の説明】
１ 共起シソーラス間類似度測定装置
２ インターネット網
３ａ〜３ｎ ホームページ
１１ 個人的コーパス構築部
１２ 共起シソーラス構築部
１３ 類似度尺度計算部
１４ 個人的コーパス記憶部
１５ 共起シソーラス記憶部
Claims (5)
- 公開されている複数の利用者に関する情報から作成されたそれぞれの前記利用者の共起シソーラスに基づいて、前記複数の利用者間における関心ある分野の類似度を測定する共起シソーラス間類似度測定装置であって、
前記利用者各々の共起シソーラスを記憶している共起シソーラス記憶手段と、
前記共起シソーラス記憶手段から２人の利用者各々の第１の共起シソーラスおよび第２の共起シソーラスを取得して、取得した各共起シソーラスに対して、当該共起シソーラスに含まれる単語の中から２つを取り出してできる単語の対の各々について、各単語に付与されているベクトルに基づいて前記単語の対の類似度をそれぞれ算出する類似度算出手段と、
前記単語の対の各々に対して、当該単語の対の第１の共起シソーラスにおける類似度と当該単語の対の第２の共起シソーラスにおける類似度との差を算出する類似度差算出手段と、
前記単語の対の類似度の差の統計値を算出して、第１の共起シソーラスと第２の共起シソーラスとの間の類似度尺度とする類似度尺度算出手段と、
を有することを特徴とする共起シソーラス間類似度測定装置。 - 前記類似度差算出手段は、前記単語の対が、第１の共起シソーラスまたは第２の共起シソーラスのいずれか一方に存在する単語の対の場合には、当該単語の対が存在する共起シソーラスにおける当該単語の対の類似度を、当該単語の対の類似度の差とすること
を特徴とする請求項１記載の共起シソーラス間類似度測定装置。 - 前記統計値は、類似度の差の二乗平均平方根であること
を特徴とする請求項１または請求項２記載の共起シソーラス間類似度測定装置。 - 請求項１から請求項３のいずれか１項に記載の共起シソーラス間類似度測定装置を構成する各手段としてコンピュータを機能させる共起シソーラス間類似度測定プログラム。
- 請求項４記載の共起シソーラス間類似度測定プログラムが、コンピュータ読み取り可能な記録媒体に記録されていることを特徴とする共起シソーラス間類似度測定プログラム記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026273A JP4163524B2 (ja) | 2003-02-03 | 2003-02-03 | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026273A JP4163524B2 (ja) | 2003-02-03 | 2003-02-03 | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004240505A JP2004240505A (ja) | 2004-08-26 |
| JP4163524B2 true JP4163524B2 (ja) | 2008-10-08 |
Family
ID=32954330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003026273A Expired - Fee Related JP4163524B2 (ja) | 2003-02-03 | 2003-02-03 | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4163524B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5158302B2 (ja) * | 2006-03-02 | 2013-03-06 | 富岳通運株式会社 | 情報提供システム |
| NZ578672A (en) * | 2006-12-29 | 2012-08-31 | Thomson Reuters Glo Resources | Information-retrieval systems, methods, and software with concept-based searching and ranking |
| WO2013021875A1 (ja) * | 2011-08-08 | 2013-02-14 | 日本電気株式会社 | データ間の関連性判定システム、データ間の関連性判定方法、および記録媒体 |
| JP6680656B2 (ja) * | 2016-09-16 | 2020-04-15 | ヤフー株式会社 | 判定装置および判定方法 |
-
2003
- 2003-02-03 JP JP2003026273A patent/JP4163524B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004240505A (ja) | 2004-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5340751B2 (ja) | 文書処理装置および文書処理方法 | |
| AU2010343183B2 (en) | Search suggestion clustering and presentation | |
| US8745039B2 (en) | Method and system for user guided search navigation | |
| Markov et al. | Data mining the Web: uncovering patterns in Web content, structure, and usage | |
| Agrawal et al. | A detailed study on text mining techniques | |
| Brügger | Digital Humanities in the 21st Century: Digital Material as a Driving Force. | |
| Beall | Metadata and data quality problems in the digital library | |
| WO2008106667A1 (en) | Searching heterogeneous interrelated entities | |
| US20090265330A1 (en) | Context-based document unit recommendation for sensemaking tasks | |
| KR20070101217A (ko) | 개인 웹에서의 문서의 검색, 항행, 및 순위 부여를 위한방법, 시스템, 컴퓨터 프로그램 제품 | |
| KR100509276B1 (ko) | 웹페이지별 방문인기도에 기반한 웹페이지 검색방법 및 그장치 | |
| JP3849318B2 (ja) | 情報検索装置、情報検索方法及び情報検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Tuarob et al. | A generalized topic modeling approach for automatic document annotation | |
| JP4163524B2 (ja) | 共起シソーラス間類似度測定装置、共起シソーラス間類似度測定プログラム及び共起シソーラス間類似度測定プログラム記録媒体 | |
| JP2007334590A (ja) | 情報ランキング方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
| Kadry et al. | On the improvement of weighted page content rank | |
| Sukovic | E-texts in research projects in the humanities | |
| JP2005092442A (ja) | 多次元空間モデル表現装置および多次元空間モデル表現方法 | |
| JP7122773B2 (ja) | 辞書構築装置、辞書の生産方法、およびプログラム | |
| Furuta et al. | Physical objects in the digital library | |
| Price et al. | Using semantic components to search for domain-specific documents: An evaluation from the system perspective and the user perspective | |
| Strzelecki et al. | Device-dependent click-through rate estimation in Google organic search results based on clicks and impressions data | |
| JP2011159100A (ja) | 逐次類似文書検索装置、逐次類似文書検索方法およびプログラム | |
| Deb | TERI integrated digital library initiative | |
| Binkowski | The effect of social proof on tag selection in social bookmarking applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080724 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |