JP4403859B2 - 感情マッチング装置 - Google Patents

感情マッチング装置 Download PDF

Info

Publication number
JP4403859B2
JP4403859B2 JP2004099228A JP2004099228A JP4403859B2 JP 4403859 B2 JP4403859 B2 JP 4403859B2 JP 2004099228 A JP2004099228 A JP 2004099228A JP 2004099228 A JP2004099228 A JP 2004099228A JP 4403859 B2 JP4403859 B2 JP 4403859B2
Authority
JP
Japan
Prior art keywords
emotion
learning
word
user
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004099228A
Other languages
English (en)
Other versions
JP2005284822A5 (ja
JP2005284822A (ja
Inventor
庸雄 河西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004099228A priority Critical patent/JP4403859B2/ja
Publication of JP2005284822A publication Critical patent/JP2005284822A/ja
Publication of JP2005284822A5 publication Critical patent/JP2005284822A5/ja
Application granted granted Critical
Publication of JP4403859B2 publication Critical patent/JP4403859B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、個々のユーザが相性診断等のために個人情報を入力する必要がなく、また、ユーザの関心対象の変化に追随してより適切な友人などを紹介することができる、感情マッチング装置、感情マッチング方法、及びプログラムに関するものである。
インターネット上のサイトでは、ユーザ間のチャットや、掲示板など、コミュニケーションを主体とした様々なサービスが提供されている。これらのサービスでは、ネットワー
ク内に仮想の世界を構築し、そこでの活動や、交流を楽しむオンラインゲームなどもある。また、最近、友人や恋人、結婚相手などを探すサービスや、人を介してビジネスの相手を紹介するサービス(SocialNetWorking)などが話題となっている。
インターネットを利用したコミュニケーションでは、多数の新しい相手と出会うことは
容易であるが、適切な相手と出会うことは困難であった。そのため、最近出てきた、Social Networkingと総称されるサービス群では、知り合いの知り合いを紹介するという仕組みで、安心できる出会いの場を提供しようとしている。
また、インターネットを利用したコミュニケーションに関連する先行技術としての発明が開示されている。例えば、インターネット上のウェブページに掲載された質問に対して前記ウェブページの閲覧者が単独で答えるときの意思決定パターンと、インターネット上のウェブページに掲載された前記質問に対して前記ウェブページを同時に閲覧している二人の閲覧者協動で答えるときの意思決定パターンとを比較することにより、前記ウェブページの閲覧者同士の相性を比較する方法が開示されている(例えば、特許文献1参照)。
また、例えば、複数のユーザ端末とメール相手紹介装置とを通信ネットワークを介して相互に接続したメール相手紹介システムを構成し、各ユーザがメール相手紹介装置からの質問に回答することにより相性の良いメール相手を紹介するメール相手紹介装置等を提供する方法が開示されている(例えば、特許文献2参照)。
上記発明では、ユーザがウェブページに掲載された質問や、メールによる質問に回答することにより相性の比較を行うものであり、個人情報を入力することにより相性診断を行う方法を提供しようとしている。
しかし、「知り合いの知り合い」を紹介する方法では、必ずしも相性の良い相手と知り合えるとは限らないし、知り合いの間の関係性も不明である。また、チャットや掲示板などのコミュニケーションを楽しむことを目的として参加するコミュニティサイトなどで、相性診断のために個人情報を入力することはユーザにとって煩雑である。また、インターネット上で個人情報を入力することに対する不安感が、このようなサービスを利用するための障壁となっている。
特開2001−338051号公報 特開2002−49778号公報
本発明はこのような問題を解決するためになされたもので、その目的は、個々のユーザは相性診断等のために個人情報を入力する必要がなく、また、ユーザの関心対象の変化に追随してより適切な友人などを紹介することができる、感情マッチング装置、感情マッチング方法、及びプログラムを提供することにある。
本発明は、上記課題を解決するためになされたもので、本発明の感情マッチング装置は、登録されたユーザの間の感情の類似度を求める感情マッチング装置であって、ユーザごとに、単語とその感情ベクトルを関連付けて感情辞書に登録する手段と、感情の類似度を求める対象となる2人のユーザの前記感情辞書中の共通の単語を抽出する共通単語抽出手段と、前記共通単語として抽出された単語ごとに前記2人のユーザの前記感情辞書に登録された感情ベクトルを比較して、前記2人のユーザの感情類似度を算出する類似度算出手段とを備えることを特徴とする。
このような構成であれば、ユーザごとに、単語とその感情ベクトルを関連付けて感情辞書に登録しておき、対象となる2人のユーザの感情辞書中の共通の単語を抽出し、抽出された単語ごとに2人の感情辞書に登録された感情ベクトルを比較して、2人のユーザの感情類似度(相性診断など)を算出する。
これにより、相性診断等のために個人情報を入力する必要がなく、適切な友人などを紹介することができる、
また、本発明の感情マッチング装置は、複数のユーザの端末に通信接続され、ユーザの端末間における文章及び該文章のイメージを示す表情画像を使用したコミュニケーションの場を提供すると共に、2人のユーザの間の感情の類似度を求める感情マッチング装置であって、単語とその感情ベクトルを関連付けて基本感情辞書に登録する手段と、ユーザごとに、学習対象となる単語とその感情ベクトルを関連付けて学習用感情辞書に登録する手段と、表情画像とその感情ベクトルを関連付けて表情画像DBに登録する手段と、入力文章から単語を抽出し、前記抽出した単語に対応する感情ベクトルを前記基本感情辞書から読み取り、前記入力文章の感情ベクトルを算出する感情ベクトル生成手段と、前記感情ベクトル生成手段により求めた入力文章の感情ベクトルに基づいて前記表情画像DBから表情画像を抽出して出力する表情変換手段と、前記感情ベクトル生成手段により求めた感情ベクトルとユーザ指定の表情画像の感情ベクトルの差分を算出する差分算出手段と、前記感情ベクトルを求める対象となる文章から学習対象となる文節を特定する学習対象文節特定手段と、前記学習対象文節特定手段により特定した文節に含まれる単語であって、前記学習用感情辞書に記録されている単語について、前記差分算出手段で算出した差分値を加算して学習用感情辞書を更新登録する学習用感情辞書登録手段と、前記学習対象となる文節に含まれる単語が前記学習用感情辞書にない場合には、当該単語の感情ベクトルを、当該単語を含む文章の感情ベクトルとユーザが指定する表情画像の感情ベクトルとの差分により求め、当該単語とその感情ベクトルを前記学習用感情辞書に登録する学習用感情辞書登録手段と、感情の類似度を求める対象となる2人のユーザの前記学習用感情辞書中の共通の単語を抽出する共通単語抽出手段と、前記共通単語として抽出された単語ごとに前記2人のユーザの前記学習用感情辞書に登録された感情ベクトルを比較して、前記2人のユーザの感情類似度を算出する類似度算出手段とを備えることを特徴とする。
このような構成であれば、単語とその感情ベクトルを関連付けて基本感情辞書に登録し、また、学習対象となる単語とその感情ベクトルを関連付けて学習用感情辞書に登録し、表情画像とその感情ベクトルを関連付けて表情画像DBに登録しておく。そして、入力文章全体の感情ベクトル値を算出し、入力文章の感情ベクトル値に基づいて表情画像DBから表情画像を取得して出力する。また、文章の感情認識により求めた感情ベクトルとユーザ指定の表情画像の感情ベクトルとの差分を求め、学習対象となる文節に含まれる単語であって、学習用感情辞書に記録されている単語については、この差分値を加算する。学習対象となる文節に含まれる単語が学習用感情辞書にない場合には、当該単語の感情ベクトルを、当該単語を含む文章の感情ベクトルとユーザが指定する感情ベクトルとの差分により求め、当該単語とその感情ベクトルを学習用感情辞書に登録する。また、感情の類似度を求める対象となる2人のユーザの学習用感情辞書中の共通の単語を抽出し、共通単語として抽出された単語ごとに2人の感情辞書に登録された感情ベクトルを比較して、2人のユーザの感情類似度を算出する。
これにより、個々のユーザは相性診断等のために個人情報を入力する必要がなく、また、ユーザの関心対象の変化に追随してより適切な友人などを紹介することができる。
また、本発明の感情マッチング装置は、前記共通単語として抽出された単語ごとに前記2人のユーザの前記感情辞書または前記学習用感情辞書に登録された感情ベクトルの内積または角距離を求め、求めた内積または角距離の総和を基に、感情類似度を求める類似度算出手段を備えることを特徴とする。
このような構成であれば、共通単語として抽出された単語ごとに2人の感情辞書に登録された感情ベクトルの内積または角距離を求め、求めた内積または角距離の総和を基に、感情類似度を求める。
これにより、同じ単語が学習用感情辞書に含まれていれば同じ対象に対して関心を持っていることが分かる。また、同じ単語に対する感情ベクトルの類似度を求めることによって、ある対象に対する感じ方が似ているかどうかを求めることができる。
また、本発明の感情マッチング装置は、前記共通単語として抽出された単語ごとに前記2人のユーザの前記感情辞書または前記学習用感情辞書に登録された感情ベクトルの内積または角距離を求め、求めた内積または角距離が所定の閾値以上の単語の総数を基に、感情類似度を求める類似度算出手段を備えることを特徴とする。
このような構成であれば、共通単語として抽出された単語ごとに2人の感情辞書に登録された感情ベクトルの内積または角距離を求め、求めた内積または角距離が所定の閾値以上の単語の総数を基に、感情類似度を求める。
これにより、同じ単語が学習用感情辞書に含まれていれば同じ対象に対して関心を持っていることが分かる。また、同じ単語に対する感情ベクトルの類似度を求めることによって、ある対象に対する感じ方が似ているかどうかを求めることができる。
また、本発明の感情マッチング装置は、ユーザAのユーザBに対する感情類似度を、前記共通単語により求めた内積または角距離の総和を、ユーザAの感情辞書に登録された単語数で除することにより求める類似度算出手段と、ユーザBのユーザAに対する感情類似度を、前記共通単語により求めた内積または角距離の総和を、ユーザBの感情辞書に登録された単語数で除することにより求める類似度算出手段とを備えることを特徴とする。
このような構成であれば、ユーザAのユーザBに対する感情類似度を、共通単語により求めた内積または角距離の総和をユーザAの感情辞書に登録された単語数で除することにより求める。また、ユーザBのユーザAに対する感情類似度を、共通単語により求めた内積または角距離の総和をユーザBの感情辞書に登録された単語数で除することにより求める。
これにより、ユーザAの学習用感情辞書の単語数に占める共通部分の割合は高いが、ユーザBの学習用感情辞書の単語数に占める共通部分の割合は低い場合に、これを反映させることができる。
また、本発明の感情マッチング装置は、ユーザAとユーザBの感情類似度を求める際に、ユーザAの感情辞書の登録単語数Taとし、ユーザBの感情辞書の登録Tbとし、ユーザAとユーザBの共通単語数をTabとした場合に、共通単語により求めた内積または角距離の総和を、数値(Ta+Tb−Tab)で除することにより類似度を求める類似度算出手段を備えることを特徴とする。
このような構成であれば、ユーザAとユーザBの感情類似度を求める際に、ユーザAの感情辞書の登録単語数Taとし、ユーザBの感情辞書の登録Tbとし、ユーザAとユーザBの登録単語数をTabとした場合に、共通単語により求めた内積または角距離の総和を、数値(Ta+Tb−Tab)で除することにより類似度をもとめる。
これにより、例えば、図11に示すように、ユーザAとユーザBの学習用感情辞書の共通部分と、ユーザAとユーザCの学習用感情辞書の共通部分が同じ程度の大きさであるとする。このとき、ユーザCにとってのユーザAとの共通部分の割合は、ユーザBにとってのユーザAとの共通部分の割合よりも小さい。このような状態のとき、ユーザA、Bの類似度をユーザA、Cの類似度より大きな値として算出することができる。
また、本発明の感情マッチング装置は、共通単語として抽出された単語ごとに前記2人のユーザの前記感情辞書または前記学習用感情辞書に登録された感情ベクトルの角距離の絶対値を求め、求めた角距離の絶対値が所定の閾値以上の単語の総数を基に、感情類似度を求める類似度算出手段を備えることを特徴とする。
このような構成であれば、共通単語として抽出された各単語ごとに2人の感情辞書に登録された感情ベクトルの角距離の絶対値を求め、求めた角距離の絶対値が所定の閾値以上の単語の総数を基に、感情類似度を求める。
これにより、同じ単語の感情ベクトルの類似度が大きな正の値または負の値になる場合、すなわち、同じ単語に対して、強い同傾向の感情または強い反対の感情を持っている場合に、ユーザは同じ対象に対して強い関心を持っているものとして類似度を算出することができる。
また、本発明の感情マッチング方法は、登録されたユーザの間の感情の類似度を求める感情マッチング方法であって、ユーザごとに、単語とその感情ベクトルを関連付けて感情辞書に登録する手順と、感情の類似度を求める対象となる2人のユーザの前記感情辞書中の共通の単語を抽出する共通単語抽出手順と、前記共通単語として抽出された単語ごとに前記2人のユーザの前記感情辞書に登録された感情ベクトルを比較して、2人のユーザの感情類似度を算出する類似度算出手順とを含むことを特徴とする。
このような手順であれば、ユーザごとに、単語とその感情ベクトルを関連付けて感情辞書に登録しておき、対象となる2人のユーザの感情辞書中の共通の単語を抽出し、抽出された単語ごとに2人の感情辞書に登録された感情ベクトルを比較して、2人のユーザの感情類似度(相性診断など)を算出する。
これにより、相性診断等のために個人情報を入力する必要がなく、適切な友人などを紹介することができる、
また、本発明のコンピュータプログラムは、登録されたユーザの間の感情の類似度を求める感情マッチング装置内のコンピュータに、ユーザごとに、単語とその感情ベクトルを関連付けて感情辞書に登録する手順と、感情の類似度を求める対象となる2人のユーザの前記感情辞書中の共通の単語を抽出する共通単語抽出手順と、前記共通単語として抽出された単語ごとに前記2人のユーザの前記感情辞書に登録された感情ベクトルを比較して、前記2人のユーザの感情類似度を算出する類似度算出手順とを実行させるためのプログラムである。
次に本発明を実施するための最良の形態について図面を参照して説明する。
図1は、本発明の感情マッチング装置を用いたWWWサーバの構成例を示す図であり、表情推定機能付のチャットを提供するコミュニティサイトのシステム図を示している。
図1において、WWWサーバ100には、入力部101、表示部102、表情推定部110、及び感情マッチング部130を有している。ユーザはユーザPC(パーソナルコンピュータなど)2、3から、インターネット1を介して、それぞれWWWサーバ100に接続し、そこでチャット機能を利用する。
ここでのチャット機能では、表情推定部110により、ユーザが入力した文章に応じて、イメージ画像(例えば、顔文字やペット画像など)の表情(顔の表情だけでなく体形や動作形態などの表現も含む)が変わるように構成されており、この表情推定部110は、図2に示すような構成となる。また、表情推定部110で使用される感情認識部120には、入力されたチャット文を解析して文が示す感情を認識する機能を有し、また、感情認識を個別に学習することができる。この感情認識部120は、図3に示すような構成となる。なお、表情推定部110における文章からの表情推定方法、感情認識部120における文章の感情認識とその学習方法の詳細については、捕捉説明として後述する。
感情マッチング部130は、感情の類似度(相性診断など)を求める感情マッチング機能を実現する機能部であり、感情認識部120によって蓄積された学習データ(学習用感情辞書のデータ)を基に、感情マッチングを利用した各種サービスを提供する。なお、この感情認識部120で扱う感情ベクトルは、図4に示すような、喜怒軸、哀楽軸、好悪(好嫌)軸をそれぞれの軸とする3次元空間上で表現される。
また、感情マッチング部130には、共通単語抽出部(共通単語抽出手段)131と類似度算出部(類似度算出手段)132が含まれ、共通単語抽出部131はユーザの学習用感情辞書から共通単語を抽出する処理を行行い、類似度計算部132は抽出された共通単語の感情ベクトルから類似度を算出する処理を行う。
図5は、感情認識部120における文の感情認識で使用される感情辞書(基本感情辞書)の例を示す図であり、ユーザに共通の辞書である。この基本感情辞書は、図5に示すような形式をしている。単語(主に形容詞)に対して、それが想起させる感情ベクトル値が割り当てられている。
図6は、感情認識部120内のユーザA用の学習用感情辞書を示し、図7は、ユーザB用の学習用感情辞書を示し、図8は、ユーザC用の学習用感情辞書を示している。このように学習用感情辞書はそれぞれのユーザごとにあり、この例では、主に名詞とそれに対する感情ベクトルが登録されているが、もちろんこれに限定されない。
図6、図7および図8に示したように、ユーザの学習用感情辞書には、それぞれ感情に関連づけられて学習した単語が登録されている。即ち、同じ単語が学習用感情辞書に含まれていれば同じ対象に対して関心を持っていると言える。また、同じ単語に対する感情ベクトルの類似度を求めることによって、ある対象に対する感じ方が似ているかどうかを求めることができる。
これには、以下のようにベクトルの内積を求めることによって、同じ方向の感情ベクトルを持つ場合には、正の値、逆方向の感情ベクトルを持つ場合には負の値として求めることができる。
Figure 0004403859
また、内積の代わりに角距離θに着目してcosθを利用しても良い。この場合、得られる値は、−1.0〜1.0の範囲となる。
Figure 0004403859
ユーザ間の感じ方の近さを総合的に求めるには、上記で単語ごとに求めた値を合計すれば良い。
Figure 0004403859
図9は、上述したユーザ間の感情ベクトルの類似度計算の手順を示すフローチャートである。以下、図9を参照して、その処理手順について説明する。
まず、合計の類似度に数値“0”を代入する(ステップS101)。指定ユーザ(感情の類似度の算出を要求する一方のユーザ)の学習用感情辞書から未取得の単語があれば、単語と感情ベクトル値を1組取り出す(ステップS103)。未取得の単語がなければ終了する(ステップS102)。
次に、比較対象ユーザの学習用感情辞書に同じ単語があるか調べる(ステップS104)。なければステップS102に戻る。
比較対象ユーザの学習用感情辞書に同じ単語がある場合は、比較対象ユーザの学習用感情辞書から同じ単語の感情ベクトル値を取得する(ステップS105)。
また、該当する単語について、指定ユーザの感情ベクトルと比較対象ユーザの感情ベクトルの内積を計算し、類似度に加算し(ステップS106)、ステップS102に戻る。
この計算方法に従って、ユーザAに対する、ユーザB、ユーザCの関心の類似度を計算すると、以下のようになる。
ユーザAとユーザBの学習用感情辞書における共通単語は、「ビール」と「課長」であるので、以下のようになる。
RelAB=RelAB(ビール)+RelAB(課長)
=(00+0.10.1+0.40.4)+(00+00+(-0.1)(-0.1))
=0.17+0.01=0.18
ユーザAとユーザCの学習用感情辞書における共通単語は、「課長」と「酒」と「電車」であるので、以下のようになる。
RelAC=RelAC(課長)+RelAC(酒)+RelAC(電車)
=(0(-0.5)+00+(-0.1)(-0.1))
+(0.50+(-0.1)0+0.8(-0.9))+ (0.2(-0.2)+0.10+(0.5)(-0.8))
=0.01-0.72-0.44=-1.15
この結果、ユーザAとBは同じ方向の感性を、ユーザAとCは逆方向の感性を持っていると評価することができる。
また、前記類似度の算出方法では、RelAB(t)の合計値を使用しているが、ユーザの学習単語数全体を考慮に入れて、類似度を算出しても良い。
例えば、ユーザAと、ユーザBの学習用感情辞書の単語が、図10に示すようになっていたとする。このとき、RelAB(t)は、両者が共通に持つ単語によって算出しているので、ユーザAからユーザBを計算した場合と、ユーザBからユーザAを計算した場合では同じ値が算出される。
ところが、図10で示すように、ユーザAの学習用感情辞書の単語数に占める共通部分の割合は高いが、ユーザBの学習用感情辞書の単語数に占める共通部分の割合は低い。これを反映させるためには、以下の算出方法を用いると良い。
Figure 0004403859
Ta:ユーザAの学習単語数、Tb:ユーザBの学習単語数
また、図11に示すように、ユーザAとユーザBの学習用感情辞書の共通部分と、ユーザAとユーザCの学習用感情辞書の共通部分が同じ程度の大きさであるとする。このとき、共通部分の感情ベクトルも同じような傾向であれば、算出される類似度RelABと、RelACは同程度の値となる。しかし、ユーザCにとっての共通部分の割合は、ユーザBにとっての共通部分の割合よりも小さい。
このような状態のとき、RelABとRelACを比較したときにはRelABをより大きな値として算出するほうが望ましい場合がある。この場合には、以下の算出方法を用いると良い。
Figure 0004403859
Ta:ユーザAの学習単語数、Tb:ユーザBの学習単語数、Tc:ユーザCの学習単語数、
Tab:ユーザAとユーザBの共通単語の数、Tac:ユーザAとユーザCの共通単語の数
以上で述べた手法では、同方向のベクトルと逆方向のベクトルを総合的に評価しているが、同じ単語の感情ベクトルの類似度が大きな負の値になる場合、すなわち、同じ単語に対して、強い反対の感情を持っている場合は、ユーザは同じ対象に対して強い関心を持っていると言える。
図12は、この考え方に基づく評価方法のフローチャートである。以下、図12を参照して、その処理手順について説明する。
まず、合計の関心語数に数値“0”を代入する(ステップS201)。指定ユーザの学習用感情辞書から未取得の単語があれば、単語と感情ベクトル値を1組取り出す(ステップS202、S203)。未取得の単語がなければ終了する(ステップS202)。
次に、比較対象ユーザの学習用感情辞書に同じ単語があるか調べる(ステップS204)。なければステップS202に戻る。比較対象ユーザの学習用感情辞書に同じ単語がある場合は、比較対象ユーザの学習用感情辞書から同じ単語の感情ベクトル値を取得する(ステップS205)。
次に、角距離θに対するcosθの絶対値を計算する(ステップS206)。そして、cosθの絶対値が閥値以上であれば(ステップS207)、関心語数を1つ増やす(ステップS208)。それから、ステップS202に戻る。
このようにして、同じ単語に対して、強い反対の感情を持っている場合についても、同じ対象に対して強い関心を持っているとして、その類似度を判定することができる。
(表情推定部における表情推定処理の補足説明)
次に、図1に示すWWWサーバ100内の表情推定部110における表情推定処理について説明する。
図2は、表情推定部110の構成を示すブロック図である。この表情推定部110は、本発明の感情マッチング装置で使用する他、電子メール機能やチャット機能を保持するコンピュータや携帯電話等に備えられるものであり、ユーザがコンピュータや携帯電話を用いて作成した文章のイメージに対応する表情画像を推定する。ここで、表情画像とは、メールやチャットでの文章を利用したコミュニケーションをより円滑にする為に、ユーザの作成した文章に付加される画像であり、例えば、顔文字(カッコやカンマなどの記号文字を利用して顔の表情を表現した文字)や顔画像や各種マーク(例えばハートマーク)などの画像であり、また、ペットなどの顔画像や姿勢や体形の画像や、動作形態の画像が使用されることもある。
また、図13は、表情推定部110内の表情変換部(表情変換手段)112の処理フローを示す図である。
まず表情変換部112は、予め2つの感情ベクトル値間の最小距離を∞として記憶し、また表情変換部112は、表情画像DB113に記録されている表情画像が選択されてないものとしてその情報(null)を記憶している。そして表情変換部112は、表情画像DB113が記憶している表情画像の感情ベクトル値を1つ読み取り(ステップS301)、当該読み取った感情ベクトル値と表情推定制御部111から受け付けた入力文章の感情ベクトル値との距離を算出する(ステップS302)。
そして表情変換部112は、算出した距離と記憶している最小距離とを比較し(ステップS303)、算出した距離が予め記憶している最小距離よりも小さければ、予め記憶している最小距離と表情画像の情報を更新して、算出した距離と、その距離の計算に用いた感情ベクトル値のうち表情画像DB113に記録されている感情ベクトル値に対応する表情画像の画像番号を一時記憶する(ステップS304)。
また、表情変換部112は、表情画像DB113に記録されている全ての表情画像について処理を行なったか否かを確認し(ステップS305)、全ての表情画像の感情ベクトル値と表情推定制御部111から受け付けた感情ベクトル値との距離を順次算出して、最小距離と、その最小距離の計算に用いた感情ベクトル値のうち表情画像DB113に記録されている感情ベクトル値に対応する表情画像の画像番号を表情推定制御部111に出力する(ステップS306)。
そして、表情推定制御部111は表情変換部112から出力された表情画像情報(画像番号または画像データ)を出力する。例えば、図14に示すように、表情画像DB113には、表情番号と対応する画像ファイルおよび感情ベクトル値が記録されており、この中から画像を選択する。
(感情認識部における感情認識処理と学習処理の補足説明)
次に、感情認識部120における感情認識処理と学習処理について説明する。
図3は、感情認識部の構成例を示すブロック図であり、感情認識部120は、図2に示すように、文章の感情ベクトル値から表情画像を特定して表示する表情推定部110に組み込まれている。
また、感情認識部120は、感情認識制御部121、形態素解析部122、感情ベクトル生成部123、学習制御部124を持つ。また、形態素解析部122は形態素解析用の辞書125を持ち、感情ベクトル生成部123は、基本感情辞書126および学習用感情辞書127を持つ。なお、学習用感情辞書127はユーザごとに設けられている。
感情ベクトル生成部(感情ベクトル生成手段)123は、入力された文章について、形態素解析部122から形態素情報(文節、単語、品詞などの情報)を取得し、基本感情辞書126および学習用感情辞書127を参照して文章全体の感情ベクトル値を計算する機能を有している。
また、学習制御部124は、感情ベクトル生成部123により求めた文章の感情ベクトルとユーザ指定の感情ベクトルとの差分を算出する機能(差分算出手段)と、感情ベクトルを求める対象となる文章から学習対象となる文節を特定する機能(学習対象文節特定手段)と、学習用感情辞書に記録されている単語について、前記差分算出手段で算出した差分値を加算して学習用感情辞書を更新登録する学習用感情辞書登録機能(学習用感情辞書登録手段)とを有している。
図5は、基本感情辞書の例を示す図であり、この基本感情辞書126は、主に形容詞(一般的に形容詞には感情を表現するものが多い)などの用言について、単語とその感情ベクトル値とを対応させて記録したものである。
また、学習用感情辞書127は、前述した図6、図7および図8に示すようなユーザごとの辞書であり、主に名詞(一般的に名詞は感情を表すものが少ない)などの体言について、単語とその感情ベクトル値を対応させて記録したものである。
また、図15は、感情認識部120における感情認識処理の流れを示すフローチャートであり、入力された文章の感情ベクトル値を求める処理の手順を示したものである。以下、図15を参照して、その処理の流れについて説明する。
まず、入力された文章に対して形態素解析を行い、文章中の文節、単語、品詞などの情報を取り出す(ステップS401)。
次に、単語を1つ取り出し(ステップS402)、取り出した単語について、基本感情辞書126から対応する感情ベクトルを取得する(ステップS403)。感情ベクトルが取得できた場合には、感情ベクトル値を加算する(ステップS404、S405)。
また、学習用感情辞書127から対応する感情ベクトルを取得する(ステップS406)。感情ベクトル値が取得できた場合には、感情ベクトル値を加算する(ステップS407、S408)。
以上の処理を形態素解析により取り出した全ての単語について行う(ステップS409)。これにより、文章全体の感情ベクトル値が求まる。
また、図6、図7および図8に示す学習用感情辞書は、以下に説明する処理により、その内容が学習処理される。この学習処理は、ある文章に対して感情認識が行われ、算出された感情ベクトル値を基に、表情推定部により顔画像などが表示された場合に、ユーザが別の画像を指定すると、ユーザが指定(修正)した画像の感情ベクトルを基に、学習用感情辞書の学習処理が行われる。または、文章に対する感情認識が行われ、感情ベクトル値が算出された際に、この感情ベクトル値をユーザが修正した場合にも、学習処理が行われる。
図16は、学習処理の手順を示すフローチャートであり、以下、図16を参照して、その処理の流れについて説明する。
まず、対象となる文章について、感情認識処理により求めた感情ベクトル値と、ユーザにより指定(修正)された画像の感情ベクトル値の差分を計算する(ステップS501)。
次に、入力文章から学習対象文節を1つ取得する(ステップS502)。この、学習対象文節の取得方法については、図17で詳細に説明する。
学習対象の文節がある場合には、対象文節から単語を取り出す(ステップS503、S504)。また、取り出した単語について既に学習済みの単語であるかどうか、すなわち、学習用感情辞書127に既に登録されている単語かどうかを判断する(ステップS505)。
既に学習済みの単語である場合は、差分(感情認識処理により求めた感情ベクトル値と、ユーザが指定した感情ベクトル値との差分)を学習用感情辞書127に加算して記録する(ステップS506)。また、学習済みの単語でない場合は、差分を学習用感情辞書127に新規に登録する(ステップS507)
また、図17は、学習対象文節の取得処理の手順を示すフローチャートであり、学習対象となる文節を1つだけ決定するための処理手順を示したものである。以下、図17を参照して、その処理の流れについて説明する。
学習対象文節の取得処理が開始されると(ステップS601)、対象となる最終文節から順に、基本感情辞書126を参照して、感情ベクトル値が割り当てられた用言(形容詞など)の文節を探す(ステップS602)。
対象となる文章に用言(形容詞など)を含む文節が見つかった場合には、この文節の1つ前の文節を着目文節(学習対象文節取得処理の対象となる文節)とする(ステップS603、S605)。用言が見つからなかった場合は、最終文節を着目文節とする(ステップS603、S604)。
最初の着目文節を決定した後に、この着目文節から先頭の文節に向かって、学習対象となる文節の取得処理に入る(ステップS606)。この場合、着目文節が、最も優先順位の高い対象格の文節であるかどうかを最初に判断する(ステップS607)。着目文節が対象格である場合は、この文節を学習対象となる文節として処理を終了する(ステップS608)。
着目文節が対象格でない場合には、次に優先順位の高い目的格であるかどうかを判断する(ステップS609)。目的格である場合は、「目的格を発見済み」であることを記録しておく(ステップS610、S611)。
次に、着目文節について、主格であるかどうかを判断する(ステップS612)。主格である場合には、「主格を発見済み」であることを記録しておく(ステップS613、S614)。
着目文節について、対象格、目的格、主格の判定が行われると、次に、1つ前の文節を着目文節として、上述したステップS606からの処理を再度行う。そして、先頭の文節まで調べ終えた場合は(ステップS606)、ステップS616に移行し、「目的格発見済み」の場合は、目的格の文節を学習対象文節とする(ステップS617)。目的格が発見されず、「主格発見済み」の場合は、主格の文節を学習対象文節とする(ステップS618、S619)。目的格も主格も発見できなかった場合は、学習対象文節なしとして処理を終了する(ステップS620)。
以上説明したように、本発明においては、コミュニティサービス内のチャット、掲示板などを利用した感情認識の学習結果を利用することができるので、個々のユーザは相性診断等のために個人情報を入力する必要がない。また、日々蓄積される学習結果を利用しているので、関心対象の変化に追随してより適切な友人を紹介することができる。したがって、本発明は、チャット、掲示板、オンラインゲーム、Social Networkingなどに利用できる。
また、本発明の感情マッチング装置を備えたWWWサーバ100は内部にコンピュータシステムを有している。そして、上述した表情推定部110、感情認識部120および感情マッチング部130に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
すなわち、表情推定部110、感情認識部120および感情マッチング部130における各処理は、CPU等の中央演算処理装置がROMやRAM等の主記憶装置に上記プログラムを読み出して、情報の加工、演算処理を実行することにより、実現されるものである。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
本発明においては、個々のユーザは相性診断等のために個人情報を入力する必要がなく、また、ユーザの関心対象の変化に追随してより適切な友人などを紹介することができる効果を奏するので、本発明は感情マッチング装置、感情マッチング方法、及びプログラムなどに適用できる。
本発明の感情マッチング装置を用いたWWWサーバの構成例を示す図。 表情推定部の構成例を示すブロック図。 感情認識部の構成例を示すブロック図。 感情ベクトル空間の例を示す図。 基本感情辞書の例を示す図。 ユーザAの学習用感情辞書の例を示す図。 ユーザBの学習用感情辞書の例を示す図。 ユーザCの学習用感情辞書の例を示す図。 ユーザ間の感情ベクトルの類似度計算の手順を示すフローチャート。 ユーザA、Bの学習単語の例を示す図。 ユーザA、B、Cの学習単語の例を示す図。 関心のある対象の集計の例を示すフローチャート。 表情推定処理の手順を示すフローチャート。 表情画像DBの例を示す図。 感情認識部における感情認識処理の手順を示すフローチャート。 学習処理の手順を示すフローチャート。 学習対象文節の取得処理の手順を示すフローチャート。
符号の説明
1 インターネット、 2、3 ユーザPC、 100 WWWサーバ、
101 入力部、 102 表示部、 110 表情推定部、
111 表情推定制御部、 112 表情変換部、 113 表情画像DB
120 感情認識部、 121 感情認識制御部、 122 形態素解析部
123 感情ベクトル生成部、 124 学習制御部、 125 形態素解析用辞書
126 基本感情辞書、 127 学習用感情辞書、 130 感情マッチング部
131 共通単語抽出手段、 132 類似度算出手段

Claims (1)

  1. 複数のユーザの端末に通信接続され、ユーザの端末間における文章及び該文章のイメージを示す表情画像を使用したコミュニケーションの場を提供すると共に、2人のユーザの間の感情の類似度を求める感情マッチング装置であって、
    単語とその感情ベクトルを関連付けて感情辞書に登録する手段と、
    ユーザごとに、学習対象となる単語とその感情ベクトルを関連付けて学習用感情辞書に登録する手段と、
    表情画像とその感情ベクトルを関連付けて表情画像DBに登録する手段と、
    入力文章から単語を抽出し、前記抽出した単語に対応する感情ベクトルを前記感情辞書から読み取り、前記入力文章の感情ベクトルを算出する感情ベクトル生成手段と、
    前記感情ベクトル生成手段により求めた入力文章の感情ベクトルに基づいて前記表情画像DBから表情画像を抽出して出力する表情変換手段と、
    前記感情ベクトル生成手段により求めた感情ベクトルとユーザ指定の表情画像の感情ベクトルの差分を算出する差分算出手段と、
    前記感情ベクトルを求める対象となる文章から学習対象となる文節を特定する学習対象文節特定手段と、
    前記学習対象文節特定手段により特定した文節に含まれる単語であって、前記学習用感情辞書に記録されている単語について、前記差分算出手段で算出した差分値を加算して学習用感情辞書を更新登録する学習用感情辞書登録手段と、
    前記学習対象となる文節に含まれる単語が前記学習用感情辞書にない場合には、当該単語の感情ベクトルを、当該単語を含む文章の感情ベクトルとユーザが指定する表情画像の感情ベクトルとの差分により求め、当該単語とその感情ベクトルを前記学習用感情辞書に登録する学習用感情辞書登録手段と、
    感情の類似度を求める対象となる2人のユーザの前記学習用感情辞書中の共通の単語を抽出する共通単語抽出手段と、
    前記共通単語として抽出された単語ごとに前記2人のユーザの前記学習用感情辞書に登録された感情ベクトルを比較して、前記2人のユーザの感情類似度を算出する類似度算出手段と
    を備えることを特徴とする感情マッチング装置。
JP2004099228A 2004-03-30 2004-03-30 感情マッチング装置 Expired - Fee Related JP4403859B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004099228A JP4403859B2 (ja) 2004-03-30 2004-03-30 感情マッチング装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004099228A JP4403859B2 (ja) 2004-03-30 2004-03-30 感情マッチング装置

Publications (3)

Publication Number Publication Date
JP2005284822A JP2005284822A (ja) 2005-10-13
JP2005284822A5 JP2005284822A5 (ja) 2006-11-02
JP4403859B2 true JP4403859B2 (ja) 2010-01-27

Family

ID=35183119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004099228A Expired - Fee Related JP4403859B2 (ja) 2004-03-30 2004-03-30 感情マッチング装置

Country Status (1)

Country Link
JP (1) JP4403859B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4856048B2 (ja) * 2007-11-16 2012-01-18 富士通株式会社 友人紹介システム、友人紹介方法、および、友人紹介プログラム
JP5222983B2 (ja) * 2011-08-24 2013-06-26 株式会社コナミデジタルエンタテインメント ゲーム提供装置、ゲーム提供プログラム、及びゲーム提供方法
JP6040745B2 (ja) * 2012-12-11 2016-12-07 富士通株式会社 情報処理装置、情報処理方法、情報処理プログラム及びコンテンツ提供システム
JP2014215670A (ja) * 2013-04-23 2014-11-17 Kddi株式会社 信頼度算出装置
JP6866715B2 (ja) * 2017-03-22 2021-04-28 カシオ計算機株式会社 情報処理装置、感情認識方法、及び、プログラム
JP7036046B2 (ja) * 2019-01-16 2022-03-15 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JPWO2022264222A1 (ja) * 2021-06-14 2022-12-22
WO2023276130A1 (ja) * 2021-07-01 2023-01-05 日本電信電話株式会社 制御装置、感情伝達方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3200591B2 (ja) * 1998-10-27 2001-08-20 株式会社エイ・ティ・アール知能映像通信研究所 心理評定装置
JP2002229795A (ja) * 2001-01-31 2002-08-16 Ntt Comware Corp コミュニケーションサーバ、ならびに同サーバによるエージェント知識情報を用いたコミュニケーション方法
JP2002230011A (ja) * 2001-02-05 2002-08-16 Seiko Epson Corp 感情認識システム
JP3848154B2 (ja) * 2001-12-21 2006-11-22 アルゼ株式会社 相性診断システム及び相性診断方法
JP2003271532A (ja) * 2002-03-15 2003-09-26 Seiko Epson Corp コミュニケーションシステム、当該システムのデータ転送方法、当該システムのサーバ、当該システムのための処理プログラム、および、記録媒体
JP2004070710A (ja) * 2002-08-07 2004-03-04 Sharp Corp 情報処理装置、携帯端末器、情報処理システム、情報処理方法、情報処理プログラム、および、該プログラムを記録した記録媒体
JP3968277B2 (ja) * 2002-08-26 2007-08-29 株式会社日立製作所 メールサーバ、そのメールサーバを実現するためのプログラム及び携帯端末

Also Published As

Publication number Publication date
JP2005284822A (ja) 2005-10-13

Similar Documents

Publication Publication Date Title
US11704501B2 (en) Providing a response in a session
US20170185581A1 (en) Systems and methods for suggesting emoji
CN112667794A (zh) 一种基于孪生网络bert模型的智能问答匹配方法及系统
US20180181544A1 (en) Systems for Automatically Extracting Job Skills from an Electronic Document
JP2017527881A (ja) エモティコンを識別および提案するためのシステムおよび方法
JP2007018234A (ja) 感情表現語句辞書自動生成方法及び装置、並びにテキストに対する感情尺度評価値自動付与方法及び装置
JP4403859B2 (ja) 感情マッチング装置
JP2013089086A (ja) 話題推薦装置及び方法及びプログラム
CN110851629A (zh) 一种图像检索的方法
CN115497105A (zh) 基于多任务学习网络的多模态仇恨模因检测方法
Ling Coronavirus public sentiment analysis with BERT deep learning
CN114722174A (zh) 提词方法和装置、电子设备及存储介质
JP2005284822A5 (ja)
Qin et al. A planning based framework for essay generation
WO2016063403A1 (ja) データ分析システム、データ分析方法、およびデータ分析プログラム
CN112182159B (zh) 一种基于语义表示的个性化检索式对话方法和系统
CN111310455B (zh) 一种面向网购评论的新情感词极性计算方法
JP7131518B2 (ja) 電子機器、発音学習方法、サーバ装置、発音学習処理システムおよびプログラム
CN110008307B (zh) 一种基于规则和统计学习的变形实体识别方法和装置
Ito et al. Composition Proposal Generation for Manga Creation Support
Omori et al. Algorithms for estimation of comic speakers considering reading order of frames and texts
Ghate et al. Sentiment analysis based on the comments of social media
Banik et al. Multihop-Multilingual Co-attention Method for Visual Question Answering
Gulati et al. An Analysis and Research on Sentiments of Twitter Data
Grujić et al. Associative Word Relations in Natural Language Processing

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060913

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees