JP5013821B2 - コンテンツを分類する装置、方法、プログラム - Google Patents
コンテンツを分類する装置、方法、プログラム Download PDFInfo
- Publication number
- JP5013821B2 JP5013821B2 JP2006303397A JP2006303397A JP5013821B2 JP 5013821 B2 JP5013821 B2 JP 5013821B2 JP 2006303397 A JP2006303397 A JP 2006303397A JP 2006303397 A JP2006303397 A JP 2006303397A JP 5013821 B2 JP5013821 B2 JP 5013821B2
- Authority
- JP
- Japan
- Prior art keywords
- morpheme
- category
- residence
- mutual information
- information amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 230000000877 morphologic effect Effects 0.000 claims description 23
- 238000013500 data storage Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、コンテンツを分類する装置、方法、プログラムに関する。
例えば、ブログと呼ばれる、日々更新する日記的なＷｅｂページが知られている。このブログは、他者のブログに対するコメントを、自サイトの日記のネタとして利用する際に、先方に記事の引用を知らせるとともに、自分の記載したコメントを先方に自動送信する「トラックバック機能」等を備えることで、幅広い意見交換が期待できるＷｅｂページとして知られている。
近年、このブログを提供するＷｅｂページが増加し、趣向の異なるたくさんのブログが存在している。このため、ブログのサービスを提供する事業者等にとっては、ブログを所定の基準で分類できることが望ましい。例えば、ブログは、分類するカテゴリとして地域別に分けることが可能である。
一方、Ｗｅｂページを特徴別に分類する方法が知られている（例えば、特許文献１）。特許文献１によれば、Ｗｅｂページに対して行われる作成者及び閲覧者の行動の統計値に基づいて、そのＷｅｂページのネットワーク上における役割や性格の特徴を推定し、分類することが可能となる。
特開２００６−１６３９９７号公報
しかしながら、特許文献１を用いても、統計情報として用いられる情報が、アクセス数やコメント数等のＷｅｂページの閲覧における基本的な統計情報に限られるため、例えば、Ｗｅｂページのコンテンツに適した分類ができるとは限らない。すなわち、上述のように、ブログをそのコンテンツの内容から地域別に分類することは困難である。
本発明は、ブログのようなＷｅｂページを、そのＷｅｂページのコンテンツの内容から、地域別に分類し、コンテンツの作成者の居住エリアを類推する方法、装置、プログラムを提供することを目的とする。
（１）コンテンツの作成者の居住エリアを類推する装置であって、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。
（１）の装置は、コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析し、形態素解析の結果から所定の形態素を抽出し、抽出した形態素と居住カテゴリとの間の平均相互情報量を算出し、居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶し、記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する。
よって、入力された所定のコンテンツを、トレーニングデータにより関係づけられて記憶された平均相互情報量に基づいて、居住カテゴリごとに分類することが可能である。したがって、例えば、ブログのようなＷｅｂページを、そのブログのコンテンツの内容から、地域別に分類することで、コンテンツの作成者の居住エリアを類推することが可能である。
（２） （１）に記載のコンテンツを分類する装置であって、
前記平均相互情報量を算出する手段は、Ｐを確率として、
MI(w,c)：形態素となる単語wとカテゴリｃの間の平均相互情報量
により、平均相互情報量を算出することを特徴とする装置。
前記平均相互情報量を算出する手段は、Ｐを確率として、
により、平均相互情報量を算出することを特徴とする装置。
（３） （１）又は（２）に記載のコンテンツを分類する装置であって、
前記平均相互情報量を算出する手段は、
MI(w,c)：形態素となる単語wとカテゴリｃの間の平均相互情報量
ｅ：カテゴリｃの語を有し、かつ、形態素の単語を有するものの集合の数
ｆ：カテゴリｃの語を有し、かつ、形態素の単語を有しないものの集合の数
ｇ：カテゴリｃの語を有さず、かつ、形態素の単語を有するものの集合の数
ｈ：カテゴリｃの語を有さず、かつ、形態素の単語を有しないものの集合の数
Ｎ＝ｅ＋ｆ＋ｇ＋ｈ
により、平均相互情報量を算出することを特徴とする装置。
前記平均相互情報量を算出する手段は、
ｅ：カテゴリｃの語を有し、かつ、形態素の単語を有するものの集合の数
ｆ：カテゴリｃの語を有し、かつ、形態素の単語を有しないものの集合の数
ｇ：カテゴリｃの語を有さず、かつ、形態素の単語を有するものの集合の数
ｈ：カテゴリｃの語を有さず、かつ、形態素の単語を有しないものの集合の数
Ｎ＝ｅ＋ｆ＋ｇ＋ｈ
により、平均相互情報量を算出することを特徴とする装置。
（４） 装置が、コンテンツを分類する方法であって、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析するステップと、
前記形態素解析の結果から所定の形態素を抽出するステップと、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出するステップと、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶するステップと、
前記記憶するステップにて記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類するステップと、
を備えることを特徴とする方法。
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析するステップと、
前記形態素解析の結果から所定の形態素を抽出するステップと、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出するステップと、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶するステップと、
前記記憶するステップにて記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類するステップと、
を備えることを特徴とする方法。
（４）の方法は、コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析し、形態素解析の結果から所定の形態素を抽出し、抽出した形態素と居住カテゴリとの間の平均相互情報量を算出し、居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶し、記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する。
よって、入力された所定のコンテンツを、トレーニングデータにより関係づけられて記憶された平均相互情報量に基づいて、居住カテゴリごとに分類することが可能である。したがって、例えば、ブログのようなＷｅｂページを、そのブログのコンテンツの内容から、地域別に分類することが可能である。
（５） （４）に記載のコンテンツを分類する方法であって、
前記平均相互情報量を算出するステップでは、Ｐを確率として、
MI(w,c)：形態素となる単語wとカテゴリｃの間の平均相互情報量
により、平均相互情報量を算出することを特徴とする方法。
前記平均相互情報量を算出するステップでは、Ｐを確率として、
により、平均相互情報量を算出することを特徴とする方法。
（６） （４）又は（５）に記載のコンテンツを分類する方法であって、
前記平均相互情報量を算出するステップでは、
MI(w,c)：形態素となる単語wとカテゴリｃの間の平均相互情報量
ｅ：カテゴリｃの語を有し、かつ、形態素の単語を有するものの集合の数
ｆ：カテゴリｃの語を有し、かつ、形態素の単語を有しないものの集合の数
ｇ：カテゴリｃの語を有さず、かつ、形態素の単語を有するものの集合の数
ｈ：カテゴリｃの語を有さず、かつ、形態素の単語を有しないものの集合の数
Ｎ＝ｅ＋ｆ＋ｇ＋ｈ
により、平均相互情報量を算出することを特徴とする方法。
前記平均相互情報量を算出するステップでは、
ｅ：カテゴリｃの語を有し、かつ、形態素の単語を有するものの集合の数
ｆ：カテゴリｃの語を有し、かつ、形態素の単語を有しないものの集合の数
ｇ：カテゴリｃの語を有さず、かつ、形態素の単語を有するものの集合の数
ｈ：カテゴリｃの語を有さず、かつ、形態素の単語を有しないものの集合の数
Ｎ＝ｅ＋ｆ＋ｇ＋ｈ
により、平均相互情報量を算出することを特徴とする方法。
（７） コンテンツを分類する装置に対して、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析するステップと、
前記形態素解析の結果から所定の形態素を抽出するステップと、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出するステップと、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶するステップと、
前記記憶するステップにて記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類するステップと、
を実行させるためのプログラム。
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析するステップと、
前記形態素解析の結果から所定の形態素を抽出するステップと、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出するステップと、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶するステップと、
前記記憶するステップにて記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類するステップと、
を実行させるためのプログラム。
（７）のプログラムは、コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析し、形態素解析の結果から所定の形態素を抽出し、抽出した形態素と居住カテゴリとの間の平均相互情報量を算出し、居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶し、記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する。
よって、入力された所定のコンテンツを、トレーニングデータにより関係づけられて記憶された平均相互情報量に基づいて、居住カテゴリごとに分類することが可能である。したがって、例えば、ブログのようなＷｅｂページを、そのブログのコンテンツの内容から、地域別に分類することでコンテンツの作成者の居住エリアを類推することが可能である。
（８） ブログに関するＷｅｂページを分類する装置であって、
前記Ｗｅｂページのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のＷｅｂページを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。
前記Ｗｅｂページのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のＷｅｂページを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。
（８）の装置は、Ｗｅｂページのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析し、形態素解析の結果から所定の形態素を抽出し、抽出した形態素と居住カテゴリとの間の平均相互情報量を算出し、居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶し、記憶する手段に記憶されたデータに基づいて、入力された所定のＷｅｂページを当該居住カテゴリに分類する。
よって、入力された所定のＷｅｂページを、トレーニングデータにより関係づけられて記憶された平均相互情報量に基づいて、居住カテゴリごとに分類することが可能である。したがって、例えば、ブログのようなＷｅｂページを、そのブログのコンテンツの内容から、地域別に分類することで、コンテンツの作成者の居住エリアを類推することが可能である。
本発明によれば、入力された所定のコンテンツを、トレーニングデータにより関係づけられて記憶された平均相互情報量に基づいて、居住カテゴリごとに分類することが可能である。したがって、例えば、ブログのようなＷｅｂページを、そのブログのコンテンツの内容から、地域別に分類することが可能である。
以下、本発明の実施形態について図面に基づいて説明する。
図１は、本発明の好適な実施形態に係る装置１０の機能ブロック及び処理のフローを示す図である。装置１０は、データを制御する制御部１０１と、データが記憶されるデータ記憶部１０７とを少なくとも備える。装置１０は、後述する通信部や入力部を備え、Ｗｅｂページ４０やトレーニングデータ３０等のコンテンツに関するデータが入力される。
制御部１０１は、学習部１０５として、入力されたトレーニングデータ３０の形態素解析を行う形態素解析部１１０と、形態素解析の結果から形態素を抽出する形態素抽出部１２０と、抽出した形態素と居住カテゴリとの間の平均相互情報量を算出する平均相互情報量算出部１３０と、を備え、さらに、記憶されたデータに基づいて、入力されたＷｅｂページ４０を居住カテゴリに分類する分類部１４０とを備える。
トレーニングデータ３０やＷｅｂページ４０は、ブログに関するコンテンツ、データであってよく、地域等の居住エリアに関する情報が少なくとも一つは含まれているページやデータである。特に、トレーニングデータは、Ｗｅｂページのうち、居住エリアを分類するためのデータを装置１０に記憶させるためのトレーニングデータであってよい。
次に、これらの構成により実行される処理について説明する。入力されたトレーニングデータ３０には、上述のように地域等の居住エリアに関する文字データを含んだ文章が含まれる。この文章に対して、形態素解析部１１０は、形態素解析を行い、文章（複数の単語から構成される文字データ）を単語ごとに分けて、分けた単語を品詞ごとに分類する（ステップＳ０１）。
なお、形態素解析部１１０が、形態素解析を行う前処理として、ストップワード処理（観光、旅、滞在等の単語を含むＷｅｂページを除去する処理）を行い、厳選されたＷｅｂページのみをトレーニングデータとして処理してもよい。
次に、形態素抽出部１２０は、形態素解析部１１０が解析した単語を、品詞によりフィルタリングする（ステップＳ０２）。具体的には、形態素抽出部１２０は、名詞のみを抽出する。
次に、平均相互情報量算出部１３０は、形態素抽出部１２０が抽出した形態素と居住カテゴリとの間の、平均相互情報量を算出する（ステップＳ０３）。
居住カテゴリとは、居住エリアを示すために典型的に使用される単語であって、例えば、都道府県等の名前（例えば、富山、神奈川等）であってよい。
平均情報量の算出は、例えば、以下の式が使用される。
MI(w,c)：形態素となる単語wと居住カテゴリｃの間の平均相互情報量
Ｐを確率として、Ｐ（Ｘ，Ｙ）は、「Ｘ」と「Ｙ」とが共起する確率であり、Ｐ（Ｘ）、Ｐ（Ｙ）は、それぞれ個別に生起する確率である。
Ｐを確率として、Ｐ（Ｘ，Ｙ）は、「Ｘ」と「Ｙ」とが共起する確率であり、Ｐ（Ｘ）、Ｐ（Ｙ）は、それぞれ個別に生起する確率である。
平均相互情報量ＭＩの特徴として、特定の居住カテゴリ（ｃ）に偏って高頻度で、Ｗｅｂページに出現する単語（ｗ）ほど、値が大きくなる。
この式は、例えば、
MI(w,c)：形態素となる単語wと居住カテゴリｃの間の平均相互情報量
ｅ：居住カテゴリｃの語を有し、かつ、形態素の単語を有するＷｅｂページの数
ｆ：居住カテゴリｃの語を有し、かつ、形態素の単語を有しないＷｅｂページの数
ｇ：居住カテゴリｃの語を有さず、かつ、形態素の単語を有するＷｅｂページの数
ｈ：居住カテゴリｃの語を有さず、かつ、形態素の単語を有しないＷｅｂページの数
これらの関係を表にしたものが、表１である。
Ｎ＝ｅ＋ｆ＋ｇ＋ｈと表すことが可能である。
ｅ：居住カテゴリｃの語を有し、かつ、形態素の単語を有するＷｅｂページの数
ｆ：居住カテゴリｃの語を有し、かつ、形態素の単語を有しないＷｅｂページの数
ｇ：居住カテゴリｃの語を有さず、かつ、形態素の単語を有するＷｅｂページの数
ｈ：居住カテゴリｃの語を有さず、かつ、形態素の単語を有しないＷｅｂページの数
これらの関係を表にしたものが、表１である。
表２を用いて、例えば、居住カテゴリを「富山」として、「八尾」という単語が、Ｗｅｂページに１００回出現する場合に、ＭＩを算出する。ここで、ｅは、「富山」の居住カテゴリのＷｅｂページで、「八尾」が出現するＷｅｂページの数であり、ｆは、「富山」の居住カテゴリのＷｅｂページで、「八尾」が出現しないＷｅｂページの数であり、ｇは、「富山」の居住カテゴリでないＷｅｂページで、「八尾」が出現するＷｅｂページの数であり、ｈは、「富山」の居住カテゴリでないＷｅｂページで「八尾」が出現しないＷｅｂページの数である。
これらの値を式２に代入すると、
と、算出される。
他の例として、表３を用いて、居住カテゴリを「富山」として、「婦中町」という単語が、Ｗｅｂページに２０回出現する場合に、ＭＩを算出する。
これらの値を式２に代入すると、
と、算出される。
このように、「富山」の居住カテゴリが、所定の単語と関係があるかは、ＭＩの値を比較することで判断することが可能である。
制御部１０１は、平均相互情報量算出部１３０が算出する平均相互情報量を、一つの居住カテゴリに対して、複数の単語で算出することで、式５に示すように、居住カテゴリ（富山）に対して、各々の単語（八尾、婦中町、富山市等）の平均相互情報量をテーブル等で関係づけて、データ記憶部１０７に記憶する。
次に、所定のＷｅｂページ４０が、いずれかの居住カテゴリに分類する分類部１４０について説明する。分類部１４０は、ブログ等のＷｅｂページ４０の入力を受付け（ステップＳ０４）、データ記憶部１０７を参照して（ステップＳ０５、Ｓ０６）、Ｗｅｂページ４０の居住カテゴリを出力する。
例えば、分類部１４０は、Ｗｅｂページ４０に記載された文字データについて、形態素解析を行い、文章（複数の単語から構成される文字データ）を単語ごとに分けて、分けた単語を品詞ごとに分類して、名詞のみ（例えば、おわら）を抽出する。そして、分類部１４０は、データ記憶部１０７に記憶された単語の中に抽出した名詞（おわら）と一致するものがあるかを判断し、一致するものがある場合には、一致した単語に関係づけられた居住カテゴリ（富山）との平均相互情報量（０．０４）により、平均相互情報量が所定値以上（例えば、０．０３５以上）である場合には、当該居住カテゴリを、このＷｅｂページ４０の居住カテゴリ（富山）とする。
また、他の態様として、分類部１４０は、一つのＷｅｂページから複数の名詞（婦中町、おわら）を抽出し、データ記憶部１０７に記憶された単語と一以上一致するものがあるかを判断し、一以上一致するものがある場合には、一致した単語に関係づけられた居住カテゴリ（富山）と当該単語との平均相互情報量とを、それぞれの単語ごとに比較する。そして、分類部１４０は、全ての一致した単語の平均相互情報量を総合的に比較して、Ｗｅｂページ４０の居住カテゴリを決定してよい。図４に基づいて、後述する。
［装置１０のハードウェア構成］
図２は、図１で説明した本発明の好適な実施形態に係る装置１０のハードウェア構成の一例を示す図である。装置１０は、制御部１０１を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、ＵＳＢポート１０９０、Ｉ／Ｏコントローラ１０７０、並びにキーボード及びマウス１１００等の入力手段や表示装置１０２２を備えるコンピュータであってよい。
図２は、図１で説明した本発明の好適な実施形態に係る装置１０のハードウェア構成の一例を示す図である。装置１０は、制御部１０１を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、ＵＳＢポート１０９０、Ｉ／Ｏコントローラ１０７０、並びにキーボード及びマウス１１００等の入力手段や表示装置１０２２を備えるコンピュータであってよい。
Ｉ／Ｏコントローラ１０７０には、テープドライブ１０７２、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８、等の記憶手段を接続することができる。
ＢＩＯＳ１０６０は、装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、装置１０のハードウェアに依存するプログラム等を格納する。
記憶部１０７を構成するハードディスク１０７４は、装置１０がサーバとして機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じて各種データベースを構成可能である。
光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。また、同様にテープドライブ１０７２に対応したテープメディア１０７１を主としてバックアップのために使用することもできる。
装置１０に提供されるプログラムは、ハードディスク１０７４、光ディスク１０７７、又はメモリーカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、装置１０にインストールされ実行されてもよい。
前述のプログラムは、内部又は外部の記憶媒体に格納されてもよい。ここで、データ記憶部１０７を構成する記憶媒体としては、ハードディスク１０７４、光ディスク１０７７、又はメモリーカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク１０７４又は光ディスクライブラリー等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを装置１０に提供してもよい。
ここで、表示装置１０２２は、ユーザにデータの入力を受付ける画面を表示したり、装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
ここで、入力手段は、ユーザによる入力の受付を行うものであり、キーボード及びマウス１１００等により構成してよい。
また、通信Ｉ／Ｆ１０４０は、装置１０を専用ネットワーク又は公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
以上の例は、装置１０について主に説明したが、装置に、プログラムをインストールして、その装置をサーバ装置として動作させることにより上記で説明した機能を実現することもできる。したがって、本発明において一実施形態として説明したサーバにより実現される機能は、上述の方法を当該装置により実行することにより、或いは、上述のプログラムを当該装置に導入して実行することによっても実現可能である。
図３は、装置１０が、トレーニングデータ３０の入力を受けて、データ記憶部１０７に、居住カテゴリと、抽出した形態素と、平均相互情報量とが関係づけられたデータを記憶する好適な他の実施態様を示す概念図である。
最初に、定期的にＷｅｂサーバを巡回するクローラ２２０に対して、所定の居住カテゴリ（例えば、「富山」）に関連したＷｅｂページのＵＲＬ（Uniform Resource Locator）リスト２１０が、所定の装置から入力される（ステップＳ１０）。ここで、居住カテゴリとそれに関連したＷｅｂページを抽出する処理は、ユーザが行ってもよい。
この居住カテゴリ（「富山」）に関連したＷｅｂページのＵＲＬリストに基づいて、クローラ２２０は、インターネット上のＷｅｂサーバ２３０に対して、ＵＲＬへのリクエストを行い（ステップＳ１１）、Ｗｅｂサーバ２３０のコンテンツ２４０ａを取得する（ステップＳ１２）。コンテンツ２４０ａを取得したクローラ２２０は、コンテンツ２４０ａを、居住カテゴリ付き事例データベース２５０に記憶する（ステップＳ１３）。この際に、コンテンツ２４０ａをコンテンツ２４０ｂに加工（データ変換）してもよい。すなわち、当該コンテンツ２４０ａであるＷｅｂページから、頻繁に使用される所定の単語のみを抽出して、コンテンツ２４０ｂとしてもよい。
例えば、居住カテゴリ「富山」にて、収集した一つのＷｅｂページに、「婦中町」という単語が５つ、「富山市」という単語が３つ、「八尾」という単語が３つあった場合に、これらを図３に示すように、居住カテゴリと関係づけたデータとして、居住カテゴリ付き事例データベース２５０に記憶させる。
このようなデータを、多数記憶することで、逆に、居住カテゴリ付きデータベース２５０には、「富山」の居住カテゴリで、「婦中町」を含まないＷｅｂページの数や、「富山」のカテゴリに属さずに、「婦中町」を含むＷｅｂページの数がともに記憶される。このため、例えば、居住カテゴリ「富山」において、単語「婦中町」等、の平均相互情報量を算出するためのデータを全て準備することが可能となる。
居住カテゴリ付き事例データベース２５０から、居住カテゴリ付きのデータが装置１０に入力された場合（ステップＳ１４）には、装置１０の学習部１０５が、処理を行い、データ記憶部１０７に、居住カテゴリと、抽出した形態素と、平均相互情報量とが関係づけられたデータを記憶する（ステップＳ１５）。
ここで、装置１０は、居住カテゴリ付き事例データベース２５０のように、既にＷｅｂページから所定の単語が抽出され、平均相互情報量が算出可能なデータが記憶されている場合には、形態素解析部１１０や形態素抽出部１２０の処理を行わなくてよい。
最終的に、データ記憶部１０７には、図３に示すように、単語が平均相互情報量とともに、関係づけられて記憶される。
次に、図４に基づいて、装置１０の分類部１４０の処理を説明する。Ｗｅｂページのうち、居住カテゴリが決定していない事例が装置１０に入力されるとする（ステップＳ２０）。例えば、「映画」が３回、「シネマ」が１回、「川崎」が２回、記載されたＷｅｂページの場合に、このＷｅｂページを、どの居住カテゴリに分類するかを決定したい。この場合には、装置１０の分類部１４０が、データ記憶部１０７に記憶されたデータに基づいて（ステップＳ２１、Ｓ２２）、それぞれの単語の平均相互情報量を算出して、比較して、居住カテゴリを決定する。
例えば、分類部１４０は、当該Ｗｅｂページから複数の名詞（映画、川崎）を抽出し、データ記憶部１０７に記憶された単語と一以上一致するものがあるかを判断し、一以上一致するものがある場合には、一致した単語に関係づけられた居住カテゴリ（神奈川、横浜等）と当該単語との平均相互情報量とを、それぞれの単語ごとに比較する。例えば、居住カテゴリ「神奈川」と単語「映画」の平均相互情報量は、０．０１、居住カテゴリ「神奈川」と単語「川崎」との平均相互情報量は、０．０５であるとして、居住カテゴリ「横浜」と単語「映画」との平均相互情報量は、０．００１、居住カテゴリ「横浜」と単語「川崎」との平均相互情報量は、０．０１である場合には、結果的に、分類部１４０は、平均相互情報量の和が大きい、居住カテゴリ「神奈川」と決定してもよい。
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定しない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載された効果に限定されない。
１０ 装置
３０ トレーニングデータ
４０ Ｗｅｂページ
１０１ 制御部
１０５ 学習部
１０７ データ記憶部
１１０ 形態素解析部
１２０ 形態素抽出部
１３０ 平均相互情報量算出部
１４０ 分類部
２１０ ＵＲＬリスト
２２０ クローラ
２４０ａ、ｂ コンテンツ
２５０ 居住カテゴリ付き事例データベース
１００５ バスライン
１０１０、１０１２ ＣＰＵ
１０２２ 表示装置
１０５０ メインメモリ
１０７０ コントローラ
１０７１ テープメディア
１０７２ テープドライブ
１０７４ ハードディスク
１０７６ 光ディスクドライブ
１０７７ 光ディスク
１０７８ 半導体メモリ
１０９０ ＵＳＢポート
１１００ キーボード及びマウス
３０ トレーニングデータ
４０ Ｗｅｂページ
１０１ 制御部
１０５ 学習部
１０７ データ記憶部
１１０ 形態素解析部
１２０ 形態素抽出部
１３０ 平均相互情報量算出部
１４０ 分類部
２１０ ＵＲＬリスト
２２０ クローラ
２４０ａ、ｂ コンテンツ
２５０ 居住カテゴリ付き事例データベース
１００５ バスライン
１０１０、１０１２ ＣＰＵ
１０２２ 表示装置
１０５０ メインメモリ
１０７０ コントローラ
１０７１ テープメディア
１０７２ テープドライブ
１０７４ ハードディスク
１０７６ 光ディスクドライブ
１０７７ 光ディスク
１０７８ 半導体メモリ
１０９０ ＵＳＢポート
１１００ キーボード及びマウス
Claims (8)
- コンテンツの作成者の居住エリアを類推する装置であって、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の関係を数値化したものであって、特定の居住カテゴリに偏って当該形態素が高頻度で出現するほど高い値を示す平均相互情報量を算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。 - 請求項１に記載のコンテンツを分類する装置であって、
前記平均相互情報量を算出する手段は、Ｐを確率として、
により、平均相互情報量を算出することを特徴とする装置。 - 請求項１又は請求項２に記載のコンテンツを分類する装置であって、
前記平均相互情報量を算出する手段は、
ｅ：カテゴリｃの語を有し、かつ、形態素の単語を有するものの集合の数
ｆ：カテゴリｃの語を有し、かつ、形態素の単語を有しないものの集合の数
ｇ：カテゴリｃの語を有さず、かつ、形態素の単語を有するものの集合の数
ｈ：カテゴリｃの語を有さず、かつ、形態素の単語を有しないものの集合の数
Ｎ＝ｅ＋ｆ＋ｇ＋ｈ
により、平均相互情報量を算出することを特徴とする装置。 - コンテンツの作成者の居住エリアを類推する装置であって、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を、Ｐを確率として、
により、算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。 - コンテンツの作成者の居住エリアを類推する装置であって、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の平均相互情報量を、
ｅ：カテゴリｃの語を有し、かつ、形態素の単語を有するものの集合の数
ｆ：カテゴリｃの語を有し、かつ、形態素の単語を有しないものの集合の数
ｇ：カテゴリｃの語を有さず、かつ、形態素の単語を有するものの集合の数
ｈ：カテゴリｃの語を有さず、かつ、形態素の単語を有しないものの集合の数
Ｎ＝ｅ＋ｆ＋ｇ＋ｈ
により、算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。 - 装置が、コンテンツを分類する方法であって、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析するステップと、
前記形態素解析の結果から所定の形態素を抽出するステップと、
前記抽出した形態素と居住カテゴリとの間の関係を数値化したものであって、特定の居住カテゴリに偏って当該形態素が高頻度で出現するほど高い値を示す平均相互情報量を算出するステップと、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶するステップと、
前記記憶するステップにて記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類するステップと、
を含むことを特徴とする方法。 - コンテンツを分類する装置に対して、
前記コンテンツのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析するステップと、
前記形態素解析の結果から所定の形態素を抽出するステップと、
前記抽出した形態素と居住カテゴリとの間の関係を数値化したものであって、特定の居住カテゴリに偏って当該形態素が高頻度で出現するほど高い値を示す平均相互情報量を算出するステップと、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶するステップと、
前記記憶するステップにて記憶されたデータに基づいて、入力された所定のコンテンツを当該居住カテゴリに分類するステップと、
を実行させるためのプログラム。 - ブログに関するＷｅｂページを分類する装置であって、
前記Ｗｅｂページのうち、居住エリアに関係する記載を含むトレーニングデータを形態素解析する手段と、
前記形態素解析の結果から所定の形態素を抽出する手段と、
前記抽出した形態素と居住カテゴリとの間の関係を数値化したものであって、特定の居住カテゴリに偏って当該形態素が高頻度で出現するほど高い値を示す平均相互情報量を算出する手段と、
前記居住カテゴリと、抽出した形態素と、当該居住カテゴリと形態素との平均相互情報量とが関係づけられたデータを記憶する手段と、
前記記憶する手段に記憶されたデータに基づいて、入力された所定のＷｅｂページを当該居住カテゴリに分類する手段と、
を備えることを特徴とする装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006303397A JP5013821B2 (ja) | 2006-11-08 | 2006-11-08 | コンテンツを分類する装置、方法、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006303397A JP5013821B2 (ja) | 2006-11-08 | 2006-11-08 | コンテンツを分類する装置、方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008123062A JP2008123062A (ja) | 2008-05-29 |
| JP5013821B2 true JP5013821B2 (ja) | 2012-08-29 |
Family
ID=39507783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006303397A Active JP5013821B2 (ja) | 2006-11-08 | 2006-11-08 | コンテンツを分類する装置、方法、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5013821B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102439621A (zh) * | 2009-08-03 | 2012-05-02 | 优诺莫比公司 | 用于将广告添加到基于位置的广告系统的系统和方法 |
| EP2369504A1 (en) | 2010-03-26 | 2011-09-28 | British Telecommunications public limited company | System |
| JP5901502B2 (ja) * | 2012-11-27 | 2016-04-13 | 日本電信電話株式会社 | 居住地推定用データ生成装置、居住地推定用データ生成方法、及びプログラム |
| JP7249222B2 (ja) * | 2019-07-09 | 2023-03-30 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004084096A1 (ja) * | 2003-03-19 | 2004-09-30 | Fujitsu Limited | 事例分類装置および方法 |
| JP2006279145A (ja) * | 2005-03-28 | 2006-10-12 | Nomura Research Institute Ltd | 番組登録装置、及びコンピュータプログラム |
-
2006
- 2006-11-08 JP JP2006303397A patent/JP5013821B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008123062A (ja) | 2008-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5382651B2 (ja) | 単語対取得装置、単語対取得方法、およびプログラム | |
| US8458198B1 (en) | Document analysis and multi-word term detector | |
| US9864741B2 (en) | Automated collective term and phrase index | |
| US8224641B2 (en) | Language identification for documents containing multiple languages | |
| US20140379743A1 (en) | Finding and disambiguating references to entities on web pages | |
| US7299228B2 (en) | Learning and using generalized string patterns for information extraction | |
| JP2005128873A (ja) | 質問応答型文書検索システム及び質問応答型文書検索プログラム | |
| US20090313536A1 (en) | Dynamically Providing Relevant Browser Content | |
| US9336186B1 (en) | Methods and apparatus related to sentence compression | |
| JP5452563B2 (ja) | 評価情報抽出のための方法および装置 | |
| JP4859779B2 (ja) | 有害コンテンツの評価付与装置、プログラム及び方法 | |
| WO2022134779A1 (zh) | 人物动作相关数据的提取方法、装置、设备及存储介质 | |
| JP5522389B2 (ja) | 類似度算出装置、類似度算出方法、及びプログラム | |
| JP5013821B2 (ja) | コンテンツを分類する装置、方法、プログラム | |
| US20220222442A1 (en) | Parameter learning apparatus, parameter learning method, and computer readable recording medium | |
| US11803796B2 (en) | System, method, electronic device, and storage medium for identifying risk event based on social information | |
| JP4979637B2 (ja) | 複合語の区切り位置を推定する複合語区切り推定装置、方法、およびプログラム | |
| JP5228451B2 (ja) | 文書検索装置 | |
| JP2020140468A (ja) | 情報処理装置及びプログラム | |
| JP2010257406A (ja) | 適正単語取得装置、機械学習装置及び方法 | |
| CN111967235B (zh) | 表单处理方法、装置、计算机设备及存储介质 | |
| JP5180894B2 (ja) | 属性表現獲得方法及び装置及びプログラム | |
| Robertson et al. | Sustaining adults with dementia or mild cognitive impairment in employment: a systematic review protocol of qualitative evidence | |
| JP2009104296A (ja) | 関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 | |
| JP2008233963A (ja) | 単語間相関度計算装置および方法、プログラム並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111005 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120605 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5013821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |