JP5905652B1 - データ評価システム、データ評価方法、およびデータ評価プログラム - Google Patents

Abstract

ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得する取得部と、前記訓練データに含まれるデータ要素が前記ユーザの感情を反映する度合を、感情評価情報として、前記分類情報に基づいて決定する感情評価部と、前記データ要素と当該データ要素に対して決定された感情評価情報とを対応付けて記憶部に格納する格納部と、新たなデータが未知データとして取得された場合、前記記憶部に格納された感情評価情報に基づいて、当該未知データを作成したユーザの感情を評価する未知データ評価部とを備える。

Description

本発明は、データを分析するデータ評価システム、データ評価方法、およびデータ評価プログラムに関する。

近年、数多の情報が溢れ、各種の情報に触れる機会が多い。特に、ウェブブラウジングにより、各種の情報に触れる場合が多い。そのため、膨大な情報の中から、ユーザにとって有益な情報を探索するのが困難になりつつある。そこで、数多くある情報について、ユーザが一般的にどのような印象を抱くのかを推測できれば、その情報にふれるか否かの指標とすることができる。

このような推測技術としては、特許文献１がある。特許文献１には、テキストデータ中において、「うれしい」、「悲しい」、「怒る」、「喜ぶ」という４つの感情表現と共起する対象語を選定し、選定した対象語の重み値を算出することが開示され、当該対象語の重み値を用いてテキストデータを評価することが開示されている。

特開２００７−１８２３４号公報

しかしながら、上記特許文献１に記載の手法では、ユーザが一般的に抱く可能性がある印象とは異なる印象を推論した結果を出力することがあるという問題がある。
そこで、本発明においては、上記問題に鑑みて、ユーザがどのような感想を抱いたのかを推測できるデータ評価システム等を提供することを目的とする。

上記課題を解決するために、本発明の一実施態様は、ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得する取得部と、感情評価情報を設定する設定部と、当該感情評価情報は、前記訓練データに含まれるデータ要素の前記ユーザの感情を反映する度合が前記分類情報に基づいて決定された情報を含み、前記データ要素と当該データ要素に対応する前記感情評価情報とを対応付けて記憶部に格納する格納部と、前記訓練データとは異なる対象データについて、前記記憶部に格納された前記感情評価情報に基づいて、当該対象データを作成したユーザの感情を評価する評価部と、を備えるデータ評価システムである。

上記課題を解決するために、本発明の他の実施態様は、コンピュータがデータを評価する方法であって、前記コンピュータが備えるプロセッサは、ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得するステップと、感情評価情報を設定するステップと、当該感情評価情報は、前記訓練データに含まれるデータ要素の前記ユーザの感情を反映する度合が前記分類情報に基づいて決定された情報を含み、前記データ要素と当該データ要素に対応する前記感情評価情報とを対応付けて前記コンピュータのメモリに格納するステップと、前記訓練データとは異なる対象データについて、前記メモリに格納された前記感情評価情報に基づいて、当該対象データを作成したユーザの感情を評価する評価ステップと、を実行する。

上記課題を解決するために、本発明のさらに他の実施態様は、プロセッサを有するコンピュータに、データを評価させるプログラムであって、前記プロセッサに、ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得する機能と、感情評価情報を設定する機能と、当該感情評価情報は、前記訓練データに含まれるデータ要素の前記ユーザの感情を反映する度合が前記分類情報に基づいて決定された情報を含み、前記データ要素と当該データ要素に対応する前記感情評価情報とを対応付けて前記コンピュータのメモリに格納する機能と、前記訓練データとは異なる対象データについて、前記メモリに格納された前記感情評価情報に基づいて、当該対象データを作成したユーザの感情を評価する評価機能と、を実現させる。

本発明の一態様に係るデータ評価システム、データ評価方法、およびデータ評価プログラムは、データを作成したユーザが抱いた感情を推測することができる。

実施の形態に係るデータ評価システムの機能構成を示すブロック図である。 実施の形態に係るデータ評価の際に参照するウェブページの構成の一例を示す図である。 データ分析のための訓練データの作成処理を示すフローチャートである。 未分類データを作成したユーザの感情を評価する処理を示すフローチャートである。

＜実施の形態＞
本発明に係るデータ評価システムの一実施態様について、図面を参照しながら説明する。
＜概要＞

本実施の形態に係るデータ評価システムは、ユーザが商品や、映画、番組などに対して与えた批評（訓練データ）に基づいて、未知データ（文書データ（例えば、電子メール、プレゼンテーション資料、表計算資料、打ち合わせ資料、契約書、組織図、事業計画書など、少なくとも一部にテキストを含むデータ）を主に指すが、画像データ、音声データ、映像データなど、任意のデータを広く含む）を作成した、ユーザがどのような感情を抱いたのか（例えば、好印象を抱いたのか、あるいは、悪印象を抱いたのか）を推測する。

一般に、オンライン商品サイトや、レストランガイドなどにおいては、ユーザのコメントとともに、そのユーザの商品に対する評価値が記載されているサイトが多い。

そこで、発明者らは、これらのコメントと評価とに基づいて訓練データ（training data）を作成し、当該訓練データに基づいて、未知データを評価することによって、例えば、ある商品に対して、ユーザが好印象を抱いたのか、あるいは、悪印象を抱いたのかを推測することを思索した。すなわち、高評価のコメントに含まれるデータ要素と、低評価のコメントに含まれるデータ要素とを特定し、それぞれのデータ要素の評価値を定めることで、新たなデータ（未知データ）を評価する際の指標とすることに想到した。

これは、例えば、テキストデータの場合であれば、評価の高い複数のコメントでは共通の単語（例えば、「良かった」、「楽しかった」）が用いられることが多く、評価の低い複数のコメントにおいても異なる共通の単語（例えば、「悪かった」、「つまらなった」）が用いられることが多いという点に気づいた発明者らの思索に基づく。

そして、これらの単語（データ要素）として、感情表現を示す単語（例えば、形容詞、形容動詞、副詞など）を用いることで、ユーザがどのような感情にしたがって新たなデータ（未知データ）を作成したのかを推測しやすいことにも想到した。

以下、本発明に係るデータ評価システムにおいて、評価に用いる語の選出ならびにその評価値の決定手法、および、その評価値を用いて新たなデータを評価する手法を詳細に説明する。

＜構成＞
図１は、データ評価システム１００の機能構成を示すブロック図である。
図１に示すように、データ評価システム１００は、通信部１１０と、入力部１２０と、制御部１３０と、記憶部１４０と、表示部１５０とを含む。

通信部１１０は、ネットワークを介して外部の装置と通信を実行する機能を有する。通信部１１０は、評価と対応するコメント（ウェブサイトに含まれるデータ）が記載されたウェブページにアクセスして当該ウェブページの情報を収集し、記憶部１４０に格納する機能を有する。また、通信部１１０は、ユーザ端末との通信が確立できる場合に、制御部１３０から伝達された結果情報（評価対象のデータが好印象を抱くものかあるいは悪印象を抱くものかを示す情報）を、当該ユーザ端末に送信する機能も有する。

入力部１２０は、ユーザからの入力を受け付けて、ウェブページに対する評価およびコメントの入力を受け付ける機能を有する。入力部１２０は、受け付けた入力内容を制御部１３０に伝達する。

制御部１３０は、記憶部１４０に記憶されている各種データを参照しながら、データ評価システム１００の各部を制御する機能を有するプロセッサである。制御部１３０は、データ評価システム１００が有する各種機能を統括的に制御する。

制御部１３０は、データ抽出部１３１と、評価情報受付部１３２と、データ分類部１３３と、要素抽出部１３４と、感情抽出部１３５と、感情評価部１３６と、評価格納部１３７と、未分類データ評価部１３８と、提示部１３９とを含む。

データ抽出部１３１は、記憶部１４０に記憶されているウェブページに係る情報群から必要に応じたデータを抽出する機能を有する。データ抽出部１３１は、記憶部１４０に記憶されている評価と当該評価に対応するコメントとを含む分類データをデータ分類部１３３に伝達する。また、データ抽出部１３１は、評価されていないデータを記憶部１４０から取得し、未分類データ評価部１３８に伝達する。

評価情報受付部１３２は、ユーザのある対象についての評価およびコメントを入力部１２０から受け付けてデータ分類部１３３に伝達する機能を有する。ここで、対象は、批評の対象になるものであれば、どのようなものであってもよく、例えば、何らかの商品や食事、番組などであってよい。

データ分類部１３３は、データ抽出部１３１から受け付けた分類データを分類する機能を有する。ここでは、データ分類部１３３は、分類データに含まれる評価に基づいて分類する。具体的には、分類データは、☆の数で５段階に評価されているものとし、☆の数が多いほど高評価、すなわち、ユーザが当該分類データの対象に対して好印象を抱いたものとする。そして、データ分類部１３３は、☆の数が４または５の分類データを「高評価（好印象）」と分類し、☆の数が１または２の分類データを「低評価（悪印象）」と分類する。データ分類部１３３は、例えば、分類データに分類を示す分類情報（フラグ情報）をデータに対応付けることで、当該データを分類する。

要素抽出部１３４は、データ分類部１３３により分類情報が対応付けられた分類データから、データ要素を抽出する機能を有する。ここで、要素抽出部１３４は、例えば、（１）データが文書データの場合、当該文書データに含まれるキーワード（いわゆる、形態素）、センテンス、段落などをデータ要素として抽出し、（２）データが音声データの場合、当該音声データに含まれる部分音声をデータ要素として抽出し、（３）データが画像データの場合、当該画像データに含まれる部分画像をデータ要素として抽出し、（４）データが映像データの場合、当該映像データに含まれるフレーム画像（または、複数のフレーム画像の組み合わせ）をデータ要素として抽出することができる。

なお、要素抽出部１３４は、所定の選定基準に従って抽出するデータ要素を決定する。要素抽出部１３４は、データが文書データの場合、いわゆる形態素解析を用いてデータ要素を抽出してよい。また、要素抽出部１３４は、入力部１２０を介してユーザに指定されたデータ要素を抽出することもできる。要素抽出部１３４は、抽出したデータ要素を感情抽出部１３５に伝達する。

感情抽出部１３５は、伝達されたデータ要素のうち、感情表現を示すデータ要素を抽出する機能を有する。ここでは、感情表現を示すデータ要素としては、形容詞、形容動詞、副詞を用いることとする。なお、これらの品詞以外の品詞を用いてもよい。感情抽出部１３５は、抽出した感情表現を示すデータ要素を感情評価部１３６に伝達する。

感情評価部１３６は、データ要素（例えば、形容詞、形容動詞に該当する形態素）についての感情マーカー（感情評価情報）を生成する。当該感情マーカーは、ユーザが好印象を抱くか、あるいは、悪印象を抱くかの指標となる値である。すなわち、感情マーカーは、データ要素がユーザの感情を反映する度合を示すものと言える。
感情評価部１３６は、以下のようにして感情マーカーを生成する。

感情評価部１３６は、まず、データ分類部１３３により好印象を抱いていると分類された１以上の分類データ（すなわち、☆の数が４または５である分類データ）において、ある感情表現に係るデータ要素（以下データ要素Ａとする）が出現する回数Ａ_Ｆをカウントする。そして、感情評価部１３６は、好印象を抱いていると判定された分類データ全てにおいて上記データ要素Ａが出現する頻度ＲＦ_Ｐを算出する。
当該頻度ＲＦ_Ｐは、以下の数式（１）により算出することができる。

上記式（１）において、Ｎ_Ｐは、判定に用いる好印象の１以上の分類データに含まれる全データ要素数である。

次に、感情評価部１３６は、悪印象を抱いていると判定された１以上の分類データ（すなわち、☆の数が１または２である分類データ）において、上記データ要素Ａが出現する回数Ａ_Ｎをカウントする。そして、感情評価部１３６は、悪印象を抱いていると判定された分類データ全てにおいて上記データ要素Ａが出現する頻度ＲＦ_Ｎを算出する。
当該頻度は、以下の数式（２）により算出することができる。

上記式（２）において、Ｎ_Ｎは、判定に用いる悪印象の１以上の分類データに含まれる全データ要素数である。

感情評価部１３６は、式（１）と式（２）とを用いて算出された頻度を用いてデータ要素Ａの感情マーカーを生成する。具体的には、感情評価部１３６は、感情判定指標値Ｐ（Ａ）を以下の数式（３）を用いて算出する。

そして、感情評価部１３６は、感情判定指標値Ｐ（Ａ）が１よりも大きい場合に、データ要素Ａを好印象を抱くデータに用いられることが多いデータ要素として、その感情マーカーとして「＋１」を指定し、感情判定指標値Ｐ（Ａ）が１よりも小さい場合に、データ要素Ａを、悪印象を抱くデータに用いられることが多いデータ要素として、その感情マーカーとして「−１」を指定し、評価格納部１３７に伝達する。

これにより、記憶部１４０には、好印象の文書に用いられることが多い語には感情マーカーとして「＋１」が、悪印象の文書に用いられることが多い語には感情マーカーとして「−１」が、格納される。例えば、「良い」、「きれい」、「おいしい」というような語には「＋１」がつきやすく、「悪い」、「汚い」、「まずい」というような語には「−１」がつきやすい。
感情評価部１３６は、算出した各データ要素の評価値と閾値とを評価格納部１３７に伝達する。
評価格納部１３７は、感情評価部１３６により評価された各データ要素とその評価を対応付けて記憶部１４０に格納する機能を有する。

未分類データ評価部１３８は、入力された好印象なのか悪印象なのか不明なデータ（以下、未分類データという）について、好印象であるか悪印象であるかを推定する機能を有する。

未分類データ評価部１３８は、未分類データから、データ要素を抽出する。そして、抽出したデータ要素のうち、感情表現に係るデータ要素を抽出する。すなわち、未分類データ評価部１３８は、記憶部１４０において、感情マーカーが設定されているデータ要素を抽出する。
そして、未分類データ評価部１３８は、抽出したデータ要素それぞれの感情マーカー値を、記憶部１４０から取得する。

未分類データ評価部１３８は、当該データ要素の感情マーカーを取得し、未分類データに出現する回数だけ、その感情マーカー値を加算する。例えば、「良い」というデータ要素に対して設定されている感情マーカーが「＋１」で、未分類データに５回出現する場合に、未分類データの「良い」というデータ要素に基づく感情スコアを「５」とする。また、例えば、「悪い」というデータ要素に対して設定されている感情マーカーが「−１」で、未分類データに３回出現する場合に、未分類データの「悪い」というデータ要素に基づく感情スコアを「−３」とする。

このとき、未分類データ評価部１３８は、否定表現または誇張表現がデータ要素に係っているか否かを判定し、係っている場合には以下の処理を適用した上で感情スコアを算出する。

否定表現とは、データ要素を否定する表現であり、例えば、「良くない」、「おいしくない」というような表現である。このような表現がある場合には、これらは逆の表現として扱い、例えば、「良くない」であれば「悪い」とし、「おいしくない」であれば「まずい」として扱う。なお、ここでは、逆の表現として扱うこととしたが、これは、例えば、「良い」という表現に対して、「＋１」の感情マーカーが設定されている場合に、これを負の値にすることとしてもよい。あるいは、感情マーカーとして設定されている値を所定量（例えば、１．５）だけ減少させることとしてもよい。また、更には、否定を否定する、すなわち、二重否定表現があるか否かを検出し、二重否定表現がある場合には、データ要素を肯定的に判定することとしてもよい。

また、誇張表現とは、データ要素をより誇張（強調）する表現であり、例えば、「とても」、「すごく」、「大変」というような表現のことを指す。このような誇張表現がデータ要素にかかっている場合には、その感情マーカー値を所定倍（例えば、２倍）にして感情スコアを算出する。例えば、「とてもおいしい」という表現がある場合であって、「おいしい」の感情マーカー値が「＋１」であるときには、この表現に対する感情スコアを「＋２」とする（増大させる）。なお、所定倍にするデータ要素は、誇張表現がかかっているデータ要素のみである。

こうして、未分類データ評価部１３８は、下記数式（４）に示すように、全てのデータ要素に基づく感情スコアを算出し、合算して未分類データのデータスコアＳを算出する。

ｓ_ｉは、ｉ番目のデータ要素の感情マーカーである。

そして、未分類データ評価部１３８は、そのデータスコアが、０よりも大きい場合に、未分類データを好印象を抱きやすいデータであると推測し、データスコアが０未満である場合に、未分類データを悪印象を抱きやすいデータであると推測する。未分類データ評価部１３８は、データスコアが０の場合は、どちらでもないと判定する。
未分類データ評価部１３８は、推測して得られた評価（好印象を抱きやすいのか、悪印象を抱きやすいのかの推測）を提示部１３９に伝達する。

提示部１３９は、未分類データ評価部１３８により未分類データについて好印象を抱きやすいデータであるのか、悪印象を抱きやすいデータであるのかを示す結果情報を提示する機能を有する。提示部１３９は、結果情報を通信部１１０を介してユーザ端末に送信するか、または、表示部１５０に伝達する。

記憶部１４０は、データ評価システム１００が、データ分析のために用いるために必要とするプログラムおよび各種データを記憶する機能を有する記録媒体である。記憶部１４０は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、半導体メモリ、フラッシュメモリなどにより実現される。なお、図１では、データ評価システム１００が記憶部１４０を備える構成を示しているが、記憶部１４０は、データ評価システム１００外部のものであって、データ評価システム１００と通信可能に接続された記憶装置であってもよい。

表示部１５０は、制御部１３０から出力された表示データに基づく画像を表示する機能を有するモニターである。表示部１５０は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）ディスプレイなどにより実現されてよい。本実施の形態においては、表示部１５０は、提示部１３９から伝達された結果情報を表示する。

＜ウェブページ＞
ここで、ウェブページについて簡単に説明する。
図２は、ウェブページの構成の一例を示す図であって、複数のユーザが評価およびコメントを付記したページを示している。図２のウェブページ２００は、オンラインショッピングサイトのページ例である。
図２に示すウェブページ２００は、商品写真Ａ２１０、商品写真群２２０、商品情報欄２３０、コメント２４１〜２４４を含む。
商品写真Ａ２１０は、商品を撮影した外観写真である。

商品写真群２２０は、商品を別の角度から撮影した外観写真のサムネイルである。当該サムネイルをクリックすると、外観写真Ａ２１０が表示されている領域に選択した写真が表示される。
商品情報欄２３０は、商品の値段や寸法などの説明が記載される。
コメント２４１〜２４４は、商品を見た、あるいは、商品を使用したユーザが抱いた感想が書き込まれた情報である。

図２に示すように、各コメント２４１〜２４４は、書き込んだユーザの名前、そのユーザが商品に対して下した評価、および、感想を含む。ここでは、評価は、☆で表現され、５段階評価されている。☆の数が多いほど高評価（好印象）が対象（商品）に与えられたことを意味する。
これらのコメント一つ一つを、本実施の形態においては分類データとして扱う。
なお、図２に示したウェブページの構成は一例であり、ウェブページには様々な形態の構成のものがあることは言うまでもない。

＜動作＞
図３は、データ評価システム１００が、評価とコメントを含むウェブページの分類データを分析し、感情表現を示すデータ要素の評価を算出する際の動作を示すフローチャートである。

図３に示すように、データ評価システム１００のデータ抽出部１３１は、評価とコメントを含むウェブページを分類データとして記憶部１４０から収集する（ステップＳ３０１）。

次に、データ評価システム１００のデータ分類部１３３は、分類データに含まれる評価に基づいて、当該分類データが好印象なデータであるか否かを分類する（ステップＳ３０２）。
要素抽出部１３４は、分類データからデータ要素を抽出する（ステップＳ３０３）。
感情抽出部１３５は、要素抽出部１３４が抽出したデータ要素のうち、感情表現を示すデータ要素を抽出する（ステップＳ３０４）。
感情評価部１３６は、感情抽出部１３５が抽出した感情表現を示すデータ要素各々を評価し、その評価値を評価格納部１３７に伝達する（ステップＳ３０５）。
評価格納部１３７は、伝達されたデータ要素と、その評価値を対応付けて記憶部１４０に格納する（ステップＳ３０６）。

以上が、データ要素の各評価を決定するまでのデータ評価システム１００の動作である。図３に示す処理は、未分類のデータを、好印象を抱きやすいデータであるか、あるいは、悪印象を抱きやすいデータであるかを分類するために、いろいろなユーザがある対象に対して下した評価（分類情報）とコメントとを訓練データとして取得し、当該訓練データに含まれるデータ要素を評価する処理である。図３に示す処理により、ユーザがアクセスしたことがないウェブページの中からユーザにとって興味があると推測されるウェブページを特定するための前処理が完了する。

図４は、好印象のデータであるのか、悪印象のデータであるのかの分類が未分類の未分類データを分類する際のデータ評価システム１００の動作を示すフローチャートである。

データ評価システム１００の入力部１２０または通信部１１０は、好印象か悪印象か未分類のデータを分類対象の新たなデータとして受け付ける（ステップＳ４０１）。当該データは、記憶部１４０に記憶される。

未分類データ評価部１３８は、記憶部１４０に記憶された未分類データをデータ抽出部１３１から受け付けると、当該未分類データからデータ要素を抽出する（ステップＳ４０２）。

未分類データ評価部１３８は、抽出したデータ要素のうち、感情表現を示すデータ要素（ここでは、形容詞、形容動詞、副詞）を抽出する（ステップＳ４０３）。

未分類データ評価部１３８は、抽出した感情表現を示すデータ要素の感情マーカーを記憶部１４０から取得する。そして、未分類データ評価部１３８は、取得した感情マーカーに基づいて、各データ要素の登場回数および否定表現、誇張表現を加味した上で、未分類データのスコアを算出する。そして、未分類データ評価部１３８は、算出したスコアが正の値を示す場合に、当該未分類データは好印象を抱きやすいデータであるとの結果情報を生成し、算出したスコアが負の値を示す場合に、当該未分類データは悪印象を抱きやすいデータであるとの結果情報を生成する（ステップＳ４０４）。
生成された結果情報は、提示部１３９により、通信部１１０または表示部１５０に出力されてユーザに提示される。

図４に示す処理を実行することにより、データ評価システム１００は、未分類データについて、好印象の（肯定的な）データであるのか、悪印象の（否定的な）データであるのかの推定を行うことができる。

＜まとめ＞
上述の処理により、データ評価システム１００は、入力されたデータが好印象（肯定的）なものであるのか、悪印象（否定的）なものであるのかを評価することができる。したがって、データの内容の詳細を知らずとも、ユーザは、そのデータの内容を想像し得る。また、未分類データを分類するために用いるデータ、すなわち、訓練データとして、すでにウェブページ上においてなされている評価とそのコメントを使用するので、客観的な意見を訓練データとして扱うことができる。したがって、データ評価システム１００のオペレータがデータについて肯定的か否定的かの判断を行い、その入力をする煩雑さがなく、また、多くの一般ユーザの意見を用いていることから、普遍的で汎用性の高いモデル（感情マーカー）を作成することができる。
＜変形例＞

上記実施形態１に本発明に係る発明の一実施態様を説明したが、本発明に係る思想がこれに限られないことは言うまでもない。以下、本発明に係る思想として含まれる各種変形例について説明する。

（１）上記実施の形態においては、感情マーカーは、肯定的なものである場合に「＋１」、否定的なものである場合に「−１」とすることとしたが、これはその限りではない。
即ち、データ要素について、感情マーカーの値に軽重をつけることとしてもよい。

例えば、データ要素が分類データに出現する頻度に応じて、軽重をつけてもよい。よく出現するデータ要素については、感情マーカーの値を大きくし（例えば、１．８）、あまり登場しないデータ要素については、感情マーカーの値を小さくする（例えば、０．５）こととしてもよい。

（２）上記実施の形態においては、未分類データ評価部１３８は、感情表現を示すデータ要素の感情マーカーの値の合算値を算出することにより、未分類データを評価したが、これはその限りではない。

例えば、データ要素についての感情マーカーの値を要素とするベクトルを生成し、未分類データからは感情表現に係るデータ要素について抽出数を示すベクトルを生成し、それらのベクトルの内積を求めて、未分類データのスコアを算出することとしてもよい。
また、あるいは、未分類データ評価部１３８は、以下の式（５）を用いて、データ要素の出現頻度を重視して、未分類データのスコアＳを算出してもよい。

ここで、ｍ_jは、ｊ番目のキーワードの出現頻度を表し、ｗ_iは、ｉ番目の感情表現に係るデータ要素の感情マーカー値を表す。

（３）上記実施の形態においては、詳細に説明していないが、未分類データ評価部１３８は、データ要素間の共起に基づくスコアを算出することとしてもよい。その手法の詳細をここに説明する。

例えば、評価対象のウェブページにおいて、感情表現に係るデータ要素として、第１キーワードと第２キーワードとが出現するとする。このとき、未分類データ評価部１３８は、第１キーワードがウェブページにおいて出現する際に、当該ウェブページにおいて、第２キーワードが出現する頻度（第１キーワードと第２キーワードとの間の相関。共起ともいう）を考慮したスコアリングを実行してもよい。

この場合、未分類データ評価部１３８は、第１キーワードと第２キーワードとの相関（共起）を表す相関行列（共起行列）Ｃを用いて、上記式（２）に換えて、以下の式（６）にしたがってスコアを算出することとしてもよい。

なお、上記相関行列Ｃは、所定のテキストを所定数だけ含む学習用データを用いて、予め最適化されているものとする。また、行列ｗは、感情マーカーの値を示す行列である。例えば、あるテキストにおいて「楽しい」というキーワードが出現する場合、当該キーワードに対する他のキーワードの出現数を０〜１の間に正規化した値（最尤推定値ともいう）が、上記相関行列Ｃの要素に格納される。

式（６）を用いることにより、キーワード間の相関関係を考慮したスコアを算出できるため、より高い精度でユーザが興味を示す可能性が高いウェブページを推測することができる。

（４）上記実施の形態においては、感情評価の対象となるデータとして、ウェブページ情報を用いたが、これはその限りではない。分類対象となるデータ群としては、例えば、メールデータ群や、医療カルテデータ群、訴訟関連データ群などであってもよい。
（５）上記実施の形態においては、文書情報（テキスト）を分析する例を説明したが、上述したように、音声や画像、映像に対する分析を行ってもよい。
例えば、音声の場合であれば、音声そのものを分析の対象としてもよいし、音声認識により音声を文書に変換したうえでの分析を実行してもよい。

音声そのものを分析する場合には、音声を所定の長さの部分音声に分割して、部分音声を分析の対象とする。例えば、「この映画が面白い」という音声が得られた場合、データ評価システム１００は、「面白い」という部分音声を当該音声から抽出し、当該部分音声を評価した結果に基づいて、その感情マーカーを生成することができる。このような場合、データ評価システム１００は、時系列データの分類アルゴリズム（例えば、マルコフモデル、カルマンフィルタなど）を利用して音声を分類できる。

音声をテキストに変換する場合には、上記実施の形態に示した場合と同様に分類すればよい。音声のテキストへの変換には、任意の音声認識アルゴリズム（例えば、隠れマルコフモデルを用いた認識方法など）を用いればよい。
（６）上記実施の形態に示したデータ評価システム１００が評価する対象としては、以下にも適用することができる。

例えば、医療応用システム（電子カルテ、看護記録、患者の日記などをデータとして、傷病者の感情推測を行うシステム）に適用できる。この場合、医療応用システムは、分類データ（例えば、電子カルテ、看護記録、患者の日記など）に含まれる感情表現を示すデータ要素を抽出し、当該データが肯定的なものであるか、あるいは、否定的なものであるかに基づいて評価する。このとき、分類データについて、肯定的なデータであるかあるいは否定的なデータであるかの判断をユーザが行って、入力部１２０から入力する。

そして、未分類データ評価部１３８は、未分類データ（例えば、電子カルテ、看護記録、患者の日記など）に含まれる感情表現）に基づいて患者の心理状況（例えば、現在の傷病の状態に不安を感じている、あるいは、快方に向かうのか不安に感じているなどの心理）の推測を行うことができる。

また、データ評価システム１００は、メール監査システムに適用することもできる。この場合、メール監査システムは、分類データ（例えば、ネットワーク上を日々流通する電子メール）について、ユーザがその内容から、例えば、不満を感じているか否か（あるいは、不正を行う可能性があるか否か）の評価を行う。そして、その評価に基づいて感情表現に係るデータ要素を当該分類データから抽出して、不満を感じているか否かに基づく感情マーカーを生成する。

そして、未分類データ評価部１３８は、未分類データ（例えば、新たな電子メール）を、当該感情マーカーに基づいて評価する。これによって、例えば、会社内において、メールを作成した社員が、会社に対して不平、不満を感じているか否か（あるいは不正を働きそうか）を推測して、社員による不正行為（例えば、情報漏洩）のリスクを未然に防止することができる。また、その際には、未分類データの作成者が不平、不満を感じていると評価された未分類データが、何に対して不平、不満（例えば、報酬に対する不満、労務環境に対する不満など）を感じているのかについて、クラスタリングすることにより、例えば、「不平・不満を表現していない：９２％、報酬に対する不満を表現している：３％、労務環境に対する不満を表現している：２％、その他：３％」というように、不平・不満を表現するメールが占める割合を可視化することができる。

また、更には、電子メールについては、当該電子メールに含まれる感情表現に基づいて、人物相関図の作成にも利用することができる。例えば、ある組織内部において、立場が下位の者から上位の者に対して電子メールを送信する際には、ネガティブな内容を含むメールを送信しにくい一方で、立場が上位の者から下位の者に対して電子メールを送信する際には、比較的送信しやすいことから、感情分析の結果と電子メールの送信者と宛先とから、組織内のメンバーの上下関係を推測することができる。上記データ評価システム１００は、そのために当該相関関係を推定する推定部を含んで良い。例えば、推定部は、Ａという人物からＢという人物に対して送信された所定数の電子メールから、データ要素を抽出して、電子メールを作成したユーザＡの感情を肯定的なものが多いか、否定的なものが多いかを検出する。そして、推定部は、肯定的なものが多いと検出された場合にはＡという人物はＢという人物よりも立場的に下位の人物であると推定し、肯定的なものが多いと検出された場合にはＡという人物はＢという人物よりも立場的に上位の人物であると推定する。

さらに、データ評価システム１００は、実績評価システムにも適用することができる。この場合、当該実績評価システムは、分類データ（例えば、営業部員が会社に提出する日報、コンサルタントが顧客に提出する分析資料、何等かの企画についてのユーザアンケート）について肯定的か否定的かを評価し、分類データに含まれる感情表現を示すデータ要素を評価する。そして、未分類データとして、例えば、店舗におけるユーザアンケートから感情分析を行って、店舗の運営状況（例えば、客が店員の接客態度に対する不満を抱いているか否か、商品の陳列状況に満足しているか否かなど）の判断材料にすることができる。
さらに、データ評価システム１００は、知的財産評価システム、マーケティング支援システム、ドライビング支援システムなどにも適用することができる。

さらに、データ評価システム１００は、ディスカバリー支援システムにも適用することができる。ディスカバリー支援システムは、例えば、カルテル防止のために、対象（例えば、企業）において、やり取りされる複数のメールに対して感情分析を行って、金銭に対する感情（例えば、安い、高い）をもって作成されたと推測されるメールを特定することが考えられる。

さらに、データ評価システム１００は、フォレンジックシステムにも適用することができる。フォレンジックシステムは、例えば、容疑者がやり取りしたメールの感情分析を行って、悪意をもって作成されたと推定されるメールを特定し、不正に及んだ動機、あるいは、不正を行おうとしているかの特定に役立てることができる。

上記データ評価システムは、少なくとも次の３つの構成で実施され得る。すなわち、上記データ評価システムは、（ａ）クライアント装置（例えば、パーソナルコンピュータ、スマートフォンなどのユーザ端末）において当該データ評価システムを実現させるデータ分析プログラムの一部または全部が実行される構成で実施されてもよいし、（ｂ）サーバ装置（例えば、メインフレーム、クラスタコンピュータ、上記システムによるサービスを外部の機器に提供可能な任意のコンピュータなど）において上記データ分析プログラムの一部または全部が実行され、当該実行された結果が上記クライアント装置に返される構成で実施されてもよいし、（ｃ）上記データ分析プログラムに含まれる処理を、上記クライアント装置およびサーバ装置において任意に分担する構成で実施されてもよい。言い換えれば、少なくとも１つのコンピュータから構成されるシステムとして上記データ評価システムが実現されてさえいればよく、当該データ評価システムに含まれる各機能は、当該システムを構成するコンピュータによって任意に分担して実現され得る。

このように、本発明のデータ評価システムは、種々のシステムにおいて利用される各種のデータに含まれる感情分析を行うことで、目的を達成する任意のシステムに適用することができる。

（７）上記実施の形態に示したデータ評価システムは、分類データとして、ＳＮＳやニュースサイトの情報から感情分析を行うことにより、例えば、世間を騒がす事件（例えば、テロなど）に対するユーザの感情（例えば、不安や焦燥など）を抽出して評価し、未分類データとして組織内の電子メールなどを評価する際に、それらの事件による影響を抽出した感情の評価をオフセットすることで、組織内の電子メールの分析精度を向上させることができる。一般的に、世間の社会情勢の影響を受けて記載された電子メールは、通常の心理状態により作成されたものとは異なる可能性が高いため、電子メールの分析の精度を低下させる一因となるが、当該オフセットを適用することにより、分析精度の低下を抑制することができる。

（８）上記実施の形態においては、ユーザの感情を評価するにあたっては、ウェブページにおける評価（☆の数が４、５の場合に「良い」という感情、☆の数が１、２の場合に「悪い」という感情）を用いて、２値の値でデータ要素を評価することとしていたが、これはその限りではない。

例えば、☆が５つの場合に「とても良い」、４つの場合に「良い」、３つの場合に「普通」、「悪い」「とても悪い」というように５つの分類で評価してもよい。

また、分類データとして、「良い」「悪い」ではなく、他の感情、例えば、「面白い」、「つまらない」という感情、あるいは、「嬉しい」、「悲しい」という感情のように、その他の感情で分類してもよい。

また、未分類データ評価部１３８は、「良い」「悪い」で評価したデータ要素の感情マーカーと、「面白い」「つまらない」で評価したデータ要素の感情マーカーとを組み合わせて、未分類データを作成したユーザの感情を評価することとしてもよい。

（９）上記データ評価システム１００の分類データおよび未分類データとしては一例としてウェブページのコメントを利用する例を示したが、これは、その限りではない。分類データや未分類データの対象となるデータとしては、メッセージングサービスにおけるメッセージの内容、ウェブページのブログ、レシピ情報、チャットシステムにおけるチャットの内容、ＳＮＳでやり取りされるデータや記事などであってもよい。

例えば、ユーザ間でメッセージをやり取りするサービスにおける当該メッセージや、チャットシステムでやり取りされたユーザの発言などに基づいて、ユーザの感情を評価する感情マーカー作成を行ってもよい。また、作成された感情マーカーを用いて、このようなメッセージや発言に基づいて、未分類データ評価部１３８は、ユーザの感情を特定し、過激な思想を持っているか否かを特定し、提示部１３９がそのユーザが危険であるという情報を提示する（インターネットモニタリングシステム）こととしてもよい。

また、あるいは、ブログ記事を解析して、当該ブログ記事を作成したユーザが悪意をもって作成したと未分類データ評価部１３８が評価した場合に、提示部１３９は、そのブログの保持者が危険思想の人物であるとの情報を提示することとしてもよい。

また、あるいは、ウェブ記事の内容が肯定的な感情（楽しい、うれしいなど）が多いと未分類データ評価部１３８が評価した場合に、提示部１３９は、そのウェブ記事をユーザに対するおすすめ情報として提示することとしてもよい。当該おすすめ情報は、好感情の多いウェブページにおいて紹介されている商品などであってもよい。
データ評価システム１００はこのように活用することもできる。

（１０）データ評価システム１００（情報処理装置）の各機能部は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよい。データ評価システム１００の各機能部は、１又は複数の集積回路により実現されても良いし、複数の機能部が１の集積回路により実現されてもよい。

あるいは、データ評価システム１００の各機能部により実現される機能は、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。この場合、データ評価システム１００は、各機能を実現するソフトウェアであるデータ評価プログラムの命令を実行するＣＰＵ、上記ゲームプログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記データ評価プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記データ評価プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記データ評価プログラムは、当該ゲームプログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記データ評価プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記データ評価プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。また、上記データ評価プログラムによって実現される各機能を実現する各部を備えた情報処理装置と、上記各機能とは異なる残りの機能を実現する各部を備えたサーバとを含む分散型のデータ評価システムも、本発明の範疇に入る。

（１１）本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップ等に含まれる機能等は再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
（１２）上記実施の形態および各種変形例に示す構成を適宜組み合わせることとしてもよい。

＜補足＞
ここに本発明に係るデータ評価システムの一実施態様とその効果について述べる。

（ａ）本発明に係るデータ評価システムは、ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データ（分類データ）として取得する取得部（１１０または１２０）と、前記訓練データに含まれるデータ要素が前記ユーザの感情を反映する度合を、感情評価情報（感情マーカー）として、前記分類情報に基づいて決定する感情評価部（１３６）と、前記データ要素と当該データ要素に対して決定された感情評価情報とを対応付けて記憶部（１４０）に格納する格納部（１３７）と、新たなデータが未知データ（未分類データ）として取得された場合、前記記憶部に格納された感情評価情報に基づいて、当該未知データを作成したユーザの感情を評価する未知データ評価部（１３８）とを備える。

また、本発明に係るデータ評価方法は、ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得する取得ステップと、前記訓練データに含まれるデータ要素が前記ユーザの感情を反映する度合を、感情評価情報として、前記分類情報に基づいて決定する感情評価ステップと、前記データ要素と当該データ要素に対して決定された感情評価情報とを対応付けて記憶部に格納する格納ステップと、新たなデータが未知データとして取得された場合、前記記憶部に格納された感情評価情報に基づいて、当該未知データを作成したユーザの感情を評価する未知データ評価ステップとを含む、コンピュータが実行するデータ評価方法である。

また、本発明に係るデータ評価プログラムは、コンピュータに、ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得する取得機能と、前記訓練データに含まれるデータ要素が前記ユーザの感情を反映する度合を、感情評価情報として、前記分類情報に基づいて決定する感情評価機能と、前記データ要素と当該データ要素に対して決定された感情評価情報とを対応付けて記憶部に格納する格納機能と、新たなデータが未知データとして取得された場合、前記記憶部に格納された感情評価情報に基づいて、当該未知データを作成したユーザの感情を評価する未知データ評価機能とを実現させる。

これにより、データ評価システムは、感情表現を示すデータ要素を用いて、未知データを作成したユーザの感情を評価することができる。したがって、例えば、未知データとして組織内でやり取りされる電子メールを作成したユーザの感情を評価すれば、組織に対する不満を抱いているか否かを検知することができる。

（ｂ）上記（ａ）に係るデータ評価システムにおいて、前記感情評価部は、前記データ要素が、所定の感情に分類される訓練データに出現する頻度と、前記所定の感情に分類されない訓練データに出現する頻度とに基づいて、前記度合を、当該データ要素に対する前記感情評価情報として決定することとしてもよい。

これにより、データ評価システムは、データ要素が出現する頻度を基準に、ユーザの感情を反映する度合を決定することができる。頻出するデータ要素は、ユーザの感情に密接に関連し、稀に出現するデータ要素は、ユーザの感情とはあまり関わらないと推定することができる。

（ｃ）上記（ａ）または（ｂ）に係るデータ評価システムにおいて、前記未知データ評価部は、前記未知データからデータ要素を抽出し、当該データ要素に対応付けられている感情評価情報を前記記憶部から取得し、当該取得した感情評価情報に基づいて前記未知データを作成したユーザの感情を評価することとしてもよい。

これにより、データ評価システムは、未知データを作成したユーザの感情を、当該未知データに含まれるデータ要素に対して予め対応付けられている感情評価情報に基づいて評価することができる。

（ｄ）上記（ｃ）に係るデータ評価システムにおいて、前記未知データ評価部は、さらに、前記未知データに前記データ要素が出現する頻度と、当該データ要素に対応付けられた感情評価情報とに基づいて、当該未知データを作成したユーザの感情を評価することとしてもよい。

感情評価情報が対応付けられたデータ要素が出現すれば出現しただけ、ユーザの感情との関連度合が深いと考えることができる。したがって、未知データにデータ要素が出現する頻度を考慮に入れることで、未知データを作成したユーザの感情をより正確に評価することができる。

（ｅ）上記（ｃ）または（ｄ）に係るデータ評価システムにおいて、前記未知データ評価部は、前記未知データから抽出したデータ要素に誇張表現による修飾がなされている場合に、当該データ要素に対応付けられている感情評価情報として示される度合を増大させて、前記未知データを作成したユーザの感情を評価することとしてもよい。

未知データに誇張表現がデータ要素を修飾していた場合、当該データ要素のユーザの感情との関連度合がより深いと考えることができる。したがって、未知データを作成したユーザの感情を評価する際に、誇張表現による修飾があるか否かを加味することで、未知データを作成したユーザの感情をより正確に評価することができる。

（ｆ）上記（ｃ）〜（ｅ）のいずれかに係るデータ評価システムにおいて、前記未知データ評価部は、前記未知データから抽出したデータ要素に否定表現による修飾がなされている場合に、当該データ要素に対応付けられている感情評価情報として示される度合を減少させて、前記未知データを作成したユーザの感情を評価することとしてもよい。

データ要素に対して否定表現による修飾がされている場合には、そのデータ要素に対する感情とは逆の感情を抱いてユーザが未知データを作成したと考えることができる。したがって、未知データを作成したユーザの感情を評価する際に、否定表現による修飾があるか否かを加味することで、未知データを作成したユーザの感情をより正確に評価することができる。

（ｇ）上記（ａ）〜（ｆ）のいずれかに係るデータ評価システムにおいて、前記データ評価システムは、さらに、前記未知データ評価部が評価したユーザの感情に関する評価情報を提示する提示部を備えることとしてもよい。
これにより、ユーザは、未知データを作成したユーザの感情を認識することができる。

（ｈ）上記（ａ）〜（ｇ）のいずれかに係るデータ評価システムにおいて、前記未知データは、電子メールであり、前記未知データ評価部は、前記電子メールが前記未知データとして取得された場合、前記記憶部に格納された感情評価情報に基づいて、当該電子メールを作成したユーザの感情を評価することとしてもよい。

これにより、例えば、組織内でやり取りされる電子メールを未知データとして取得し、各電子メールを作成したユーザの感情を認識することで、組織への不満を検出し、不正が行われる可能性を抑制することができる。

（ｉ）上記（ａ）〜（ｇ）のいずれかに係るデータ評価システムにおいて、前記未知データは、電子メールであり、前記データ評価システムは、さらに、前記未知データ評価部により評価されたユーザの感情に基づいて、前記電子メールを作成したユーザと当該電子メールの宛先として指定された他のユーザとの間の人間関係を推定する推定部を備えることとしてもよい。

これにより、データ評価システムは、未知データ、すなわち、電子メールに含まれるユーザの感情に基づいてユーザと、その電子メールの宛先となっている人物との間の人物相関関係を推定することができる。したがって、データ評価システムは、例えば、人物相関図を作成する際の支援を行うことができる。

本発明は、パーソナルコンピュータ、サーバ装置、ワークステーション、メインフレームなど、任意のコンピュータに広く適用することができる。

１００ データ評価システム
１１０ 通信部
１２０ 入力部
１３０ 制御部
１３１ データ抽出部
１３２ 評価情報受付部
１３３ データ分類部
１３４ 要素抽出部
１３５ 感情抽出部
１３６ 感情評価部
１３７ 評価格納部
１３８ 未分類データ評価部（未知データ評価部）
１３９ 提示部
１４０ 記憶部
１５０ 表示部

Claims (12)

1. ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得する取得部と、
   感情評価情報を設定する設定部と、当該感情評価情報は、前記訓練データに含まれるデータ要素の前記ユーザの感情を反映する度合が前記分類情報に基づいて決定された情報を含み、
   前記データ要素と当該データ要素に対応する前記感情評価情報とを対応付けて記憶部に格納する格納部と、
   前記訓練データとは異なる対象データについて、前記記憶部に格納された前記感情評価情報に基づいて、当該対象データを作成したユーザの感情を評価する評価部と、
   を備えるデータ評価システム。
2. 前記設定部は、前記データ要素が、所定の感情に分類される前記訓練データに出現する頻度と、前記所定の感情に分類されない前記訓練データに出現する頻度とに基づいて、前記度合を、当該データ要素に対する前記感情評価情報として決定する、請求項１に記載のデータ評価システム。
3. 前記評価部は、前記対象データからデータ要素を抽出し、当該データ要素に対応付けられている前記感情評価情報を前記記憶部から取得し、当該取得した感情評価情報に基づいて前記対象データを作成したユーザの感情を評価する、請求項１または２に記載のデータ評価システム。
4. 前記対象データ評価部は、さらに、前記対象データに前記データ要素が出現する頻度と、当該データ要素に対応付けられた前記感情評価情報とに基づいて、当該対象データを作成したユーザの感情を評価する、請求項３に記載のデータ評価システム。
5. 前記評価部は、前記対象データから抽出したデータ要素に誇張表現による修飾がなされている場合に、当該データ要素に対応付けられる前記度合を増大させて、前記対象データを作成したユーザの感情を評価する、請求項３または４に記載のデータ評価システム。
6. 前記対象データ評価部は、前記対象データから抽出したデータ要素に否定表現による修飾がなされている場合に、当該データ要素に対応付けられている感情評価情報として示される度合を減少させて、前記対象データを作成したユーザの感情を評価する、請求項３〜５のいずれか一項に記載のデータ評価システム。
7. 前記データ評価システムは、さらに、前記評価部が評価したユーザの感情に関する評価情報を提示する提示部を備える、請求項１〜６のいずれか一項に記載のデータ評価システム。
8. 前記対象データは、電子メールを含み、
   前記評価部は、前記記憶部に格納された感情評価情報に基づいて、当該電子メールを作成したユーザの感情を評価する、請求項１〜７のいずれか一項に記載のデータ評価システム。
9. 前記対象データは、電子メールを含み、
   前記評価部により評価されたユーザの感情に基づいて、前記電子メールを作成したユーザと当該電子メールの宛先として指定された他のユーザとの間の人間関係を推定する推定部を備える、請求項１〜７のいずれか一項に記載のデータ評価システム。
10. 前記対象データは、ウェブサイトに含まれるデータを有し、
    前記評価部は、前記ウェブサイトに含まれるデータを、前記記憶部に格納された感情評価情報に基づいて、当該データを作成したユーザの感情を評価する、請求項１〜７のいずれか一項に記載のデータ評価システム。
11. コンピュータがデータを評価する方法であって、
    前記コンピュータが備えるプロセッサは、
    ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得するステップと、
    感情評価情報を設定するステップと、当該感情評価情報は、前記訓練データに含まれるデータ要素の前記ユーザの感情を反映する度合が前記分類情報に基づいて決定された情報を含み、
    前記データ要素と当該データ要素に対応する前記感情評価情報とを対応付けて前記コンピュータのメモリに格納するステップと、
    前記訓練データとは異なる対象データについて、前記メモリに格納された前記感情評価情報に基づいて、当該対象データを作成したユーザの感情を評価する評価ステップと、
    を実行する方法。
12. プロセッサを有するコンピュータに、データを評価させるプログラムであって、
    前記プロセッサに、
    ユーザの感情を表した情報と当該感情を分類する分類情報とを含むデータを、訓練データとして取得する機能と、
    感情評価情報を設定する機能と、当該感情評価情報は、前記訓練データに含まれるデータ要素の前記ユーザの感情を反映する度合が前記分類情報に基づいて決定された情報を含み、
    前記データ要素と当該データ要素に対応する前記感情評価情報とを対応付けて前記コンピュータのメモリに格納する機能と、
    前記訓練データとは異なる対象データについて、前記メモリに格納された前記感情評価情報に基づいて、当該対象データを作成したユーザの感情を評価する評価機能と、
    を実現させるためのプログラム。