JP5121763B2 - 感情推定装置、及び方法 - Google Patents

感情推定装置、及び方法 Download PDF

Info

Publication number
JP5121763B2
JP5121763B2 JP2009070726A JP2009070726A JP5121763B2 JP 5121763 B2 JP5121763 B2 JP 5121763B2 JP 2009070726 A JP2009070726 A JP 2009070726A JP 2009070726 A JP2009070726 A JP 2009070726A JP 5121763 B2 JP5121763 B2 JP 5121763B2
Authority
JP
Japan
Prior art keywords
expression
emotion
class
intention
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009070726A
Other languages
English (en)
Other versions
JP2010224813A (ja
Inventor
伸一 長野
祐美子 下郡
真純 稲葉
貴之 飯田
正典 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009070726A priority Critical patent/JP5121763B2/ja
Publication of JP2010224813A publication Critical patent/JP2010224813A/ja
Application granted granted Critical
Publication of JP5121763B2 publication Critical patent/JP5121763B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、感情推定装置、及び方法に関する。
従来から、テキストデータを用いて書き手の感情を推測する技術が知られている。例えば特許文献1には、感情を表す単語を感情表現辞書として構築しておき、テキストデータから抽出した単語を感情表現辞書と照合して、書き手の感情を判定する技術が開示されている。
特開2002−230011号公報
しかしながら、テキストデータの書き手の感情は、感情を表す単語など特定の単語に依存して定まるものではなく、複数の単語の組み合わせによって定まることが多い。また、テキストデータの書き手の表現の数やそのバリエーションは膨大な量になるため、感情を示す単語又はその組み合わせ全てに感情を推定するためのルールを定義するとなると、多大なコストがかかってしまう。
本発明は、上記事情に鑑みてなされたものであり、テキストデータの書き手の感情を高い精度で推測するとともに、低コストで実現することができる感情推定装置、及び方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる感情推定装置は、事象の性質又は感情を表現する感性表現と、前記感性表現が属する概念のクラスである感性表現クラスとの関係を示す感性表現オントロジーを記憶する感性表現オントロジー記憶部と、前記感性表現が表す対象物を表現する対象表現と、前記対象表現が属する概念のクラスである対象表現クラスとの関係を示す対象表現オントロジーを記憶する対象表現オントロジー記憶部と、意図又は感想を表現する意図表現と、前記意図表現が属する概念のクラスである意図表現クラスとの関係を示す意図表現オントロジーを記憶する意図表現オントロジー記憶部と、前記感性表現クラス、前記対象表現クラス、及び前記意図表現クラスの組と、感情を示す感情情報とを対応付けた感情テーブルを記憶する感情テーブル記憶部と、テキストデータを入力する入力部と、前記テキストデータから、それぞれの表現が依存関係にある前記感性表現、前記対象表現、及び前記意図表現を抽出する抽出部と、抽出された前記感性表現、前記対象表現、前記意図表現がそれぞれ属する前記感性表現クラス、前記対象表現クラス、前記意図表現クラスの組を、前記感性表現オントロジー、前記対象表現オントロジー、及び前記意図表現オントロジーを参照して決定する決定部と、決定された前記組に対応付けられた前記感情情報を前記感情テーブル記憶部から取得し、取得した前記感情情報を用いて、前記テキストデータの書き手の感情を推定する推定部と、推定結果を出力する出力部と、を備えることを特徴とする。
また、本発明の別の態様にかかる感情推定方法は、入力受付部が、テキストデータの入力を受け付ける入力受付ステップと、抽出部が、前記テキストデータから、事象の性質又は感情を表現する感性表現、前記感性表現が表す対象物を表現する対象表現、及び意図又は感想を表現する意図表現のそれぞれの表現が依存関係にある前記感性表現、前記対象表現、及び前記意図表現を抽出する抽出ステップと、決定部が、前記感性表現と前記感性表現が属する概念のクラスである感性表現クラスとの関係を示す感性表現オントロジーを記憶する感性表現オントロジー記憶部の前記感性表現オントロジーと、前記対象表現と前記対象表現が属する概念のクラスである対象表現クラスとの関係を示す対象表現オントロジーを記憶する対象表現オントロジー記憶部の前記対象表現オントロジーと、前記意図表現と前記意図表現が属する概念のクラスである意図表現クラスとの関係を示す意図表現オントロジーを記憶する意図表現オントロジー記憶部の前記意図表現オントロジーを参照して、抽出された前記感性表現、前記対象表現、前記意図表現がそれぞれ属する前記感性表現クラス、前記対象表現クラス、前記意図表現クラスの組を決定する決定ステップと、推定部が、前記感性表現クラス、前記対象表現クラス、及び前記意図表現クラスの組と、感情を示す感情情報とを対応付けた感情テーブルを記憶する感情テーブル記憶部から、決定された前記組に対応付けられた前記感情情報を取得し、取得した前記感情情報を用いて、前記テキストデータの書き手の感情を推定する推定ステップと、出力制御部が、推定結果を出力部に出力させる出力制御ステップと、を含むことを特徴とする。
本発明によれば、テキストデータの書き手の感情を高い精度で推測するとともに、低コストで実現することができるという効果を奏する。
図1は、第1の実施の形態の感情推定システムの概略の一例を示す図である。 図2は、第1の実施の形態の感情推定装置及び端末装置の機能ブロックの一例を示す図である。 図3は、第1の実施の形態の感性表現オントロジーの一例を示す図である。 図4は、第1の実施の形態の対象表現オントロジーの一例を示す図である。 図5は、第1の実施の形態の意図表現オントロジーの一例を示す図である。 図6は、第1の実施の形態の感情テーブルの一例を示す図である。 図7は、テキストデータの一例を示す図である。 図8は、テキストデータから生成された構文木データの一例を示す図である。 図9は、それぞれの表現が係り受け関係にある感性表現、対象表現、及び意図表現の組の一例を示す図である。 図10は、感性表現クラス、対象表現クラス、及び意図表現クラスの組の一例を示す図である。 図11は、第1の実施の形態の感情テーブル記憶部から取得される感情ベクトルの一例を示す図である。 図12は、感情推定ベクトルの一例を示す図である。 図13は、感情推定結果ベクトルの一例を示す図である。 図14は、第1の実施の形態の感情推定装置で行われる処理の手順の流れの一例を示すフローチャートである。 図15は、第1の実施の形態の表現抽出処理の手順の流れの一例を示すフローチャートである。 図16は、テキストデータから生成された構文木データの一例を示す図である。 図17は、感性表現、対象表現、及び意図表現の組の一例を示す図である。 図18は、第1の実施の形態のクラス決定処理の手順の流れの一例を示すフローチャートである。 図19は、第1の実施の形態の感情推定処理の手順の流れの一例を示すフローチャートである。 図20は、第2の実施の形態の感情推定システムの概略の一例を示す図である。 図21は、第2の実施の形態の感情推定装置の機能ブロックの一例を示す図である。 図22は、第2の実施の形態のシンボルテーブルの一例を示す図である。 図23は、第2の実施の形態の感情推定システムで行われる処理の手順の流れの一例を示すシーケンス図である。 図24は、第2の実施の形態の端末装置がメールサーバに送信するメールの一例を示す図である。 図25は、第2の実施の形態のメールサーバが感情推定装置へ送信するメール本文の一例を示す図である。 図26は、第2の実施の形態の感情推定処理の手順の流れの一例を示すフローチャートである。 図27は、第2の実施の形態のメールサーバが端末装置へ送信するメールの一例を示す図である。
以下、添付図面を参照しながら、本発明にかかる感情推定装置、及び方法の最良な実施の形態を詳細に説明する。
(第1の実施の形態)
第1の実施の形態では、それぞれの表現が依存関係にある感性表現、対象表現、及び意図表現をテキストデータから抽出し、感性表現オントロジー、対象表現オントロジー、及び意図表現オントロジーを参照して、抽出した各表現がそれぞれ属する感性表現クラス、対象表現クラス、及び意図表現クラスを決定する。そして、決定された感性表現クラス、対象表現クラス、及び意図表現クラスの組に対応付けられた感情ベクトルを用いて、テキストデータの書き手の感情を推定する。
「オントロジー」とは、ある分野における言葉の概念を体系的に整理したものであり、例えば、概念の分類を示す「クラス」と、概念の実例を示す「インスタンス」などを用いて表現される。
また、オントロジーでは、オントロジー上に配置された言葉の位置関係が概念間の相対的な意味を表現しており、一般的に、概念の関係には、上位下位関係(is−a関係)、全体部分関係(part−of関係)、及びインスタンス関係(instance−of関係)などのいずれかが含まれる。
そして、オントロジー上で言葉の間の関係をたどることによって、2つの言葉の間の概念的な距離を計ったり、ある言葉をより抽象的な言葉に置き換えることができる。なお、オントロジーの具体例については、後述する。
第1の実施の形態では、事象の性質又は感情を表現する感性表現を体系化した感性表現オントロジー、感性表現が表す対象物を表現する対象表現を体系化した対象表現オントロジー、及び意図又は感想を表現する意図表現を体系化した意図表現オントロジーを用いて、感性表現、対象表現、及び意図表現をそれぞれ抽象化し、感情を推定する。
まず、第1の実施の形態の感情推定システムの構成について説明する。
図1は、第1の実施の形態の感情推定装置10を含む感情推定システム1の概略の一例を示す図である。図1に示すように、感情推定システム1は、テキストデータを感情推定装置10に送信する端末装置20と、テキストデータから書き手(端末装置20のユーザ)の感情を推定する感情推定装置10とを備えており、各装置は、ネットワーク30を介して接続されている。
第1の実施の形態では、端末装置20のユーザ(書き手)がメールやブログなどのテキストデータを作成し、このテキストデータを感情推定装置10に送信する。そして、感情推定装置10は、受信したテキストデータを分析して、書き手の感情を推定し、推定結果を端末装置20に返信する。感情推定装置10は、推定される感情と、シンボル、広告情報、又は商品情報等とを予め対応付けて管理しておくことで、これらの情報を推定結果として返信するようにしてもよい。
なお、感情推定システム1において、感情推定装置10はサーバとして機能し、端末装置20は、クライアントとして機能する。また、図1に示す例では、端末装置20を携帯電話により実現しているが、PC(Personal Computer)など、サーバに対してクライアントとして機能するものであれば、いずれも適用できる。また、ネットワーク30は、有線若しくは無線、またLAN(Local Area Network)や公衆通信回線を問わず、どのようなネットワークであってもよい。
図2は、第1の実施の形態の感情推定装置10及び端末装置20の機能ブロックの一例を示す図である。図2に示すように、感情推定装置10は、受信部110と、送信部120と、記憶部130と、通信制御部140と、抽出部150と、決定部160と、推定部170とを備える。また、端末装置20は、入力部210と、表示部220と、送信部230と、受信部240と、入力受付部250と、通信制御部260と、表示制御部270とを備える。
まず、感情推定装置10の構成について説明する。
受信部110(入力部の一例)は、テキストデータを入力するものであり、例えば、通信インタフェースや、ボタンやタッチパネルなどの既存の入力装置などにより実現できる。なお、通信インタフェースにより実現する場合には、受信部110は、端末装置20から送信されるテキストデータを受信する。送信部120(出力部の一例)は、テキストデータから推定される感情などの感情推定結果を出力するものであり、例えば、通信インタフェースや、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、又はタッチパネル式ディスプレイなどの既存の表示装置により実現できる。なお、通信インタフェースにより実現する場合には、送信部120は、感情推定結果を端末装置20に送信する。
記憶部130は、感情推定装置10で行われる各種処理に使用される情報を記憶するものあり、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、光ディスク、又はRAM(Random Access Memory)などの磁気的、電気的、又は光学的に記憶可能な既存の記憶媒体により実現できる。そして記憶部130は、辞書記憶部131と、感性表現オントロジー記憶部133と、対象表現オントロジー記憶部135と、意図表現オントロジー記憶部137と、感情テーブル記憶部138とを含む。
辞書記憶部131は、形態素解析や構文解析などの自然言語処理に用いられる形態素解析辞書などの各種辞書データを記憶する。
感性表現オントロジー記憶部133は、事象の性質又は感情を表現する感性表現と、感性表現が属する概念のクラスである感性表現クラスとの関係を示す感性表現オントロジーを記憶する。なお「感性表現」は、形容詞又は形容動詞であり、例えば、「うれしい」や「楽しい」などの単語は感情を表現した感性表現であり、「青い」や「高い」などの単語は事象の性質表現した感性表現である。
図3は、第1の実施の形態の感性表現オントロジーの一例を示す図である。図3に示す例では、楕円がクラスを示し、長方形がインスタンスを示している。また、クラス間の矢印は、上位下位の関係を示し、クラスとインスタンスの間の矢印は、インスタンスが属するクラスを示している。
例えば図3では、「感性」が上位で、「印象」と「感情」が下位に配置(定義)されており、「印象」及び「感情」よりも「感性」の抽象度が高く、「感性」よりも「印象」及び「感情」の抽象度が低いことを意味している。
対象表現オントロジー記憶部135は、感性表現が表す対象物を表現する対象表現と、対象表現が属する概念のクラスである対象表現クラスとの関係を示す対象表現オントロジーを記憶する。なお「対象表現」は、形容詞又は形容動詞である。図4は、第1の実施の形態の対象表現オントロジーの一例を示す図である。但し、対象表現が定義されている点を除き、感性表現オントロジーと同様であるため、詳細な説明は省略する。
意図表現オントロジー記憶部137は、意図又は感想を表現する意図表現と、意図表現が属する概念のクラスである意図表現クラスとの関係を示す意図表現オントロジーを記憶する。なお「意図表現」は、動詞(句)又は助詞であり、例えば「いい天気だなあ」の「だなあ」は、書き手が満足していることを表し、「出かけたいんだけど」は、外出したいのに何か懸案事項があって不安であることをやわらかく表現している。図5は、第1の実施の形態の意図表現オントロジーの一例を示す図である。但し、意図表現が定義されている点を除き、感性表現オントロジーと同様であるため、詳細な説明は省略する。
感情テーブル記憶部138は、感性表現クラス、対象表現クラス、及び意図表現クラスの組と、感情を示す感情情報とを対応付けた感情テーブルを記憶する。
図6は、第1の実施の形態の感情テーブルの一例を示す図である。図6に示す例では、感情情報は、複数種類の感情を要素としたベクトル表現である感情ベクトルとなっている。感情ベクトルは、喜怒哀楽の4つの感情を要素とするベクトル表現であり、それぞれの感情の有無を「1」と「0」の2値で表現している。なお、「1」は感情ありを示し、「0」は感情なしを示している。
また、感性表現クラス、対象表現クラス、及び意図表現クラスにおいて、「ANY」は、オントロジー上の任意のクラスの指定を意味するものであり、「−」は、クラスの指定がないことを意味する。つまり、「−」を用いることにより、感性表現クラス、対象表現クラス、及び意図表現クラスの中のいずれか1つ又は2つのクラスの組み合わせに対する感情も定義することができる。
なお、感性表現クラス、対象表現クラス、及び意図表現クラスのいずれかにおいて、オントロジー上の上位のクラスを指定した場合には、当該クラスの下位のクラスの指定も含まれる。図6に示すように、感性表現クラスとして「印象」を指定した場合には、当該クラスの下位クラスである「好感」、「不快」、「中立」(図3参照)の指定も含まれる。
通信制御部140(入力受付部、出力制御部の一例)は、受信部110に対する受け付け制御や送信部120に対する出力制御を行う。例えば、受信部110及び送信部120を通信インタフェースにより実現する場合には、通信制御部140は、端末装置20から送信されるテキストデータを受信部110に受信させ、テキストデータから推定される感情などの感情推定結果を送信部120から端末装置20に送信させる。また例えば、受信部110を入力装置により実現し、送信部120を表示装置により実現する場合には、通信制御部140は、入力装置からテキストデータの入力を受け付け、感情推定結果を表示装置に出力させる。
抽出部150は、受信部110により受信されたテキストデータから、それぞれの表現が依存関係にある感性表現、対象表現、及び意図表現を抽出する。
具体的には、抽出部150は、辞書記憶部131に記憶された辞書データを参照して、受信部110により受信されたテキストデータを構文解析し、単文内での係り受け関係を示す構文木データを生成する。
図8は、テキストデータから生成された構文木データの一例を示す図であり、図7に示すテキストデータから生成された構文木データを示している。図8に示す例では、図7に示すテキストデータ(複文)が3つの単文に分割され、各単文において、各単語間の係り受け関係が示された構文木データとなっている。
そして、抽出部150は、生成した構文木データの各単文の中から、それぞれの表現が係り受け関係にある感性表現、対象表現、及び意図表現の組を抽出する。但し、感性表現、対象表現、及び意図表現の全てが出現しない単文については、これらの表現の中のいずれか1つ又は2つの表現の組み合わせを抽出してもよい。
図9は、それぞれの表現が係り受け関係にある感性表現、対象表現、及び意図表現の組の一例を示す図であり、図8に示す構文木データから抽出された感性表現、対象表現、及び意図表現の組を示している。図9に示す例では、図8に示す構文木データから感性表現、対象表現、及び意図表現の組である表現組311、312が抽出されている。表現組312は、対象表現が「−」となっており、感性表現、及び意図表現の組となっている。
なお、抽出された感性表現、対象表現、及び意図表現の組は、後述の決定部160が用いるため、図示せぬ作業記憶領域内に感性表現リストとして登録される。
決定部160は、抽出部150により抽出された感性表現、対象表現、意図表現がそれぞれ属する感性表現クラス、対象表現クラス、意図表現クラスを、感性表現オントロジー、対象表現オントロジー、及び意図表現オントロジーを参照して決定する。
図10は、感性表現クラス、対象表現クラス、及び意図表現クラスの組の一例を示す図であり、図9に示す組の各表現がそれぞれ属するクラスの組を示している。図10に示す例では、感性表現クラス、対象表現クラス、及び意図表現クラスの組であるクラス組321、322は、それぞれ図9に示す表現組311、312の各表現が属するクラスの組を示している。例えば、表現組311の「いい」という感性表現は、図3に示す感性表現オントロジーでは「好感」というクラスに属しているため、クラス組321の感性表現クラスは「好感」となっている。
なお、抽出された感性表現クラス、対象表現クラス、及び意図表現クラスの組は、後述の推定部170が用いるため、図示せぬ作業記憶領域内に感性表現クラスリストとして登録される。
推定部170は、決定部160により決定された感性表現クラス、対象表現クラス、及び意図表現クラスの組に対応付けられた感情情報を感情テーブル記憶部138から取得し、取得した感情情報を用いて、テキストデータの書き手の感情を推定する。
具体的には、推定部170は、決定部160により決定された感性表現クラス、対象表現クラス、及び意図表現クラスの組に対応する(該当する)感性表現クラス、対象表現クラス、及び意図表現クラスの組に対応付けられた感情ベクトルを、感情テーブル記憶部138から取得する。
図11は、感情テーブル記憶部138から取得される感情ベクトルの一例を示す図であり、図10に示すクラス組の感情ベクトルを示している。図11に示す例において、クラス組321の組み合わせ「好感、天候、満足」は、図6に示す感情テーブル内に存在するため、感情ベクトルは、当該組み合わせに対応付けられた(1,0,0,1)となる。また、クラス組322の組み合わせは、図6に示す感情テーブルにおける「喜,ANY,ANY」及び「ANY,ANY,心配」の双方に該当するため、感情ベクトルは、それぞれ(1,0,0,0)、(0,0,1,0)となる。
そして、推定部170は、感情テーブル記憶部138から取得した感情ベクトルを全て合算し、合算後の感情ベクトルである感情推定結果ベクトルの値から、テキストデータの書き手の感情を推定する。但し、感性表現クラス、対象表現クラス、意図表現クラスの組に対応付けられた感情ベクトルが複数存在する場合もあるため、この場合には、推定部170は、感情ベクトルの組み合わせ毎に感情ベクトルを合算し、合算後の感情ベクトルである感情推定ベクトルを平均化した感情推定結果ベクトルの値から、テキストデータの書き手の感情を推定する。
図12は、感情推定ベクトルの一例を示す図であり、図11に示す感情ベクトルの組み合わせ毎に加算したベクトルを示している。図11に示す例において、クラス組322には、2種類の感情ベクトル(1,0,0,0)、(0,0,1,0)が存在するため、クラス組321の感情ベクトルとクラス組322の感情ベクトルとの組み合わせは2種類存在する。
従って、推定部170は、クラス組321の感情ベクトル(1,0,0,1)とクラス組322の感情ベクトル(1,0,0,0)を加算するとともに、クラス組321の感情ベクトル(1,0,0,1)とクラス組322の感情ベクトル(0,0,1,0)を加算する。この結果、図12に示す2種類の感情推定ベクトル(2,0,0,1)、(1,0,1,1)が求められる。
なお、取得された感情ベクトル、及び感情推定ベクトルは、テキストデータの書き手の感情の推定に用いられるため、図示せぬ作業記憶領域内にそれぞれ感情ベクトルリスト、感情推定ベクトルリストとして登録される。
そして、推定部170は、この2種類の感情推定ベクトルを平均化することにより感情推定結果ベクトルを求め、感情推定結果ベクトルの要素の値からテキストデータの書き手の感情を推定する。
図13は、感情推定結果ベクトルの一例を示す図であり、図12に示す感情推定ベクトルを平均化したものである。図13に示す例では、感情推定結果ベクトルの値は(1.5, 0,0.5, 1)であり、「喜」の要素の値が一番大きいため、推定部170は、テキストデータの書き手の感情を「喜」と推定する。
なお、通信制御部140、抽出部150、決定部160、推定部170については、例えば、CPU(Central Processing Unit)などの制御装置により実現できる。
次に、端末装置20の構成について説明する。
入力部210は、テキストデータを入力するものであり、例えば、ボタンやタッチパネルなどの既存の入力装置により実現できる。
表示部220は、後述する表示制御部270の指示により、感情推定装置10から送信された推定結果等を表示するものであり、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、又はタッチパネル式ディスプレイなどの既存の表示装置により実現できる。
送信部230は、入力部210により入力されたテキストデータを感情推定装置10に送信するものであり、受信部240は、送信部230により送信されたテキストデータの書き手の感情の推定結果を感情推定装置10から受信するものである。送信部230及び受信部240は、例えば、通信インタフェースなどにより実現できる。
入力受付部250は、入力部210からテキストデータの入力を受け付ける。
通信制御部260は、送信部230に対する送信制御や受信部240に対する受信制御を行うものであり、テキストデータを送信部230から感情推定装置10に送信させ、感情推定装置10から送信される感情推定結果を受信部240に受信させる。
表示制御部270は、受信部240により受信された感情推定結果を表示部220に表示させる。
なお、入力受付部250、通信制御部260、及び表示制御部270については、例えば、CPU(Central Processing Unit)などの制御装置により実現できる。
次に、第1の実施の形態の感情推定装置の動作について説明する。
図14は、第1の実施の形態の感情推定装置10で行われる処理の手順の流れの一例を示すフローチャートである。
まず、通信制御部140は、受信部110を制御して、端末装置20から送信されるテキストデータを受信させる(ステップS10)。
続いて、抽出部150は、受信部110により受信されたテキストデータから、それぞれの表現が依存関係にある感性表現、対象表現、及び意図表現を抽出する表現抽出処理を行う(ステップS20)。なお、表現抽出処理の詳細については後述する。
続いて、決定部160は、抽出部150により抽出された感性表現、対象表現、意図表現がそれぞれ属する感性表現クラス、対象表現クラス、意図表現クラスを、感性表現オントロジー、対象表現オントロジー、及び意図表現オントロジーを参照して決定するクラス決定処理を行う(ステップS30)。なお、クラス決定処理の詳細については後述する。
続いて、推定部170は、決定部160により決定された感性表現クラス、対象表現クラス、意図表現クラスの組に対応付けられた感情ベクトルを感情テーブル記憶部138から取得し、取得した感情ベクトルを用いて、テキストデータの書き手の感情を推定する感情推定処理を行う(ステップS40)。なお、感情推定処理の詳細については後述する。
続いて、通信制御部140は、送信部120を制御して、推定部170により推定された書き手の感情を推定結果として端末装置20へ送信させる(ステップS50)。
図15は、図14のステップS20に示す表現抽出処理の手順の流れの一例を示すフローチャートである。
まず、抽出部150は、辞書記憶部131に記憶された辞書データを参照して、受信部110により受信されたテキストデータを構文解析し、このテキストデータから構文木データを生成する(ステップS200)。図16は、テキストデータから生成された構文木データの一例を示す図であり、図7に示すテキストデータから生成された構文木データを示している。
続いて、抽出部150は、構文木データ内の句読点や接続詞を基に、構文木データ内の複文を単文に分割する(ステップS202)。なお、図16に示す構文木データ内の複文を単文に分割すると、図8に示す構文木データとなる。
続いて、抽出部150は、分割した単文の中から、未処理の単文を取得する(ステップS204)。
続いて、抽出部150は、取得した単文に含まれる形容詞又は形容動詞を感性表現に設定する(ステップS206)。
続いて、抽出部150は、取得した単文に含まれる名詞を対象表現に設定する(ステップS208)。
続いて、抽出部150は、取得した単文に含まれる動詞を意図表現に設定する(ステップS210)。
続いて、抽出部150は、設定された感性表現、対象表現、及び意図表現がそれぞれ係り受け関係にあるか否かを確認する(ステップS212)。
図17は、抽出部150により設定された感性表現、対象表現、及び意図表現の一例を示す図であり、図8に示す構文木データの各単文において設定される感性表現、対象表現、及び意図表現の組を示している。なお、図17に示す例では、表現組311及び312の感性表現、対象表現、及び意図表現は、それぞれの表現が係り受け関係にあるが、表現組333〜335の感性表現、対象表現、及び意図表現は、それぞれの表現が係り受け関係にない。
そして、それぞれ依存関係にある場合には(ステップS212でYes)、抽出部150は、感性表現、対象表現、及び意図表現の組を感性表現リストに登録する(ステップS214)。一方、それぞれ依存関係にない場合には(ステップS212でNo)、抽出部150は、ステップS214の処理を行わない。従って、図17に示す例では、表現組311及び312のみが、図9に示すように感性表現リストに登録される。
続いて、抽出部150は、分割した全ての単文を処理したか否かを確認し(ステップS216)、全ての単文を処理した場合には(ステップS216でYes)、処理を終了する。一方、全ての単文を処理していない場合には(ステップS216でNo)、ステップS204〜S214の処理を繰り返す。
図18は、図14のステップS30に示すクラス決定処理の手順の流れの一例を示すフローチャートである。
まず、決定部160は、感性表現リストに登録された感性表現、対象表現、及び意図表現の組の中から未処理の組を取得する(ステップS300)。
続いて、決定部160は、取得した組の感性表現を、感性表現オントロジー記憶部133に記憶されている感性表現オントロジーと照合し、当該感性表現が属する感性表現クラスを決定する(ステップS302)。
続いて、決定部160は、取得した組の対象表現を、対象表現オントロジー記憶部135に記憶されている対象表現オントロジーと照合し、当該対象表現が属する対象表現クラスを決定する(ステップS304)。
続いて、決定部160は、取得した組の意図表現を、意図表現オントロジー記憶部137に記憶されている意図表現オントロジーと照合し、当該意図表現が属する意図表現クラスを決定する(ステップS306)。
続いて、決定部160は、決定された感性表現クラス、対象表現クラス、及び意図表現クラスの組を、感性表現クラスリストに登録する(ステップS308)。なお、図9に示す感性表現、対象表現、及び意図表現がそれぞれ属する感性表現クラス、対象表現クラス、意図表現クラスの組は、図10に示す通りである。
続いて、決定部160は、感性表現リストに登録された感性表現、対象表現、及び意図表現の組を全て処理したか否かを確認し(ステップS310)、全て処理した場合には(ステップS310でYes)、処理を終了する。一方、全て処理していない場合には(ステップS310でNo)、ステップ300〜S308の処理を繰り返す。
図19は、図14のステップS40に示す感情推定処理の手順の流れの一例を示すフローチャートである。
まず、推定部170は、感性表現クラスリストに登録された感性表現クラス、対象表現クラス、及び意図表現クラスの組の中から未処理の組を取得する(ステップS400)。
続いて、推定部170は、取得した感性表現クラス、対象表現クラス、及び意図表現クラスの組に対応付けられた感情ベクトルを、感情テーブル記憶部138から検索する(ステップS402)。
そして、推定部170は、取得した感性表現クラス、対象表現クラス、及び意図表現クラスの組に対応する感性表現クラス、対象表現クラス、及び意図表現クラスの組が存在する場合には(ステップS404でYes)、当該クラスの組に対応付けられた感情ベクトルを感情ベクトルリストに登録する(ステップS406)。なお、図10に示す感性表現クラス、対象表現クラス、意図表現クラスの組の感情ベクトルは、図11に示す通りである。
一方、取得した感性表現クラス、対象表現クラス、及び意図表現クラスの組に対応する感性表現クラス、対象表現クラス、及び意図表現クラスの組が存在しない場合には(ステップS404でNo)、推定部170は、ステップS406の処理を行わない。
続いて、推定部170は、感性表現クラスリストに登録された感性表現クラス、対象表現クラス、及び意図表現クラスの組を全て処理したか否かを確認し(ステップS408)、全て処理していない場合には(ステップS408でNo)、ステップS400〜S406の処理を繰り返す。
一方、全て処理した場合には(ステップS408でYes)、推定部170は、感情ベクトルリストに登録された感情ベクトルの組み合わせの中から、未処理の組み合わせを取得する(ステップS410)。
続いて、推定部170は、取得した組み合わせの感情ベクトルの値をそれぞれ加算する(ステップS412)。
続いて、推定部170は、感情ベクトルの値をそれぞれ加算した感情推定ベクトルを感情推定ベクトルリストに登録する(ステップS414)。なお、図11に感情ベクトルを組み合わせ毎に加算した感情推定ベクトルは、図12に示す通りである。
続いて、推定部170は、感情ベクトルリストに登録された感情ベクトルの全ての組み合わせを処理したか否かを確認し(ステップS416)、全て処理していない場合には(ステップS416でNo)、ステップS410〜S414の処理を繰り返す。
一方、全て処理した場合には(ステップS416でYes)、推定部170は、感情推定ベクトルリストに登録された感情推定ベクトルの平均値を取り、テキストデータの書き手の感情を推定する(ステップS418)。なお、図12に感情推定ベクトルを平均化した感情推定結果ベクトルは、図13に示す通りであり、「喜」の要素の値が一番大きいため、推定部170は、テキストデータの書き手の感情を「喜」と推定する。
このように第1の実施の形態では、テキストデータから、それぞれの表現が依存関係にある感性表現、対象表現、及び意図表現を抽出し、感性表現オントロジー、対象表現オントロジー、及び意図表現オントロジーを用いて、感性表現クラス、対象表現クラス、意図表現クラスに抽象化して、テキストデータの書き手の感情を推定する。従って、第1の実施の形態によれば、テキストデータの書き手の感情を高い精度で推測するとともに、低コストで実現することができる。
特に第1の実施の形態では、オントロジーを介して、感性表現、対象表現、意図表現を、それぞれ感性表現クラス、対象表現クラス、意図表現クラスに抽象化しているため、抽象化した概念レベルで感情ベクトルを定義でき、感情テーブルのデータ量を大幅に削減することができる。
また、感性表現クラス、対象表現クラス、及び意図表現クラスにおいて、上位クラスを指定すれば、下位のクラス及びインスタンスの指定もされるため、抽象的に感情ベクトルを定義でき、下位のクラスを指定すれば、個別具体的に感情ベクトルを定義できるため、感情を推定するためのルールを柔軟に設定することができる。
なお、第1の実施の形態は、ユーザ個人の行動や関心に沿った情報を配信し、ユーザの購買行動を喚起したり、ユーザの囲い込みを狙ったいわゆるターゲティング手法を用いたシステムに好適である。第1の実施の形態によれば、ユーザがメールやブログなどのために作成したテキストデータの感情を推定し、推定した感情に沿った情報を提示することが可能となる。例えば、気分が落ち込んでいるユーザには癒し効果のある商品を推薦することができる。
(第2の実施の形態)
次に、第2の実施の形態では、テキストデータの書き手の感情を推定するだけでなく、推定された感情を示すアイコンを付与する例について説明する。
なお、以下では、第1の実施の形態との相違点の説明を主に行い、第1の実施の形態と同様の機能を有する構成要素については、第1の実施の形態と同様の名称・符号を付し、その説明を省略する。
まず、第2の実施の形態の感情推定システムの構成について説明する。
図20は、第2の実施の形態の感情推定装置1010を含む感情推定システム1001の概略の一例を示す図である。
図20に示す感情推定システム1001は、端末装置が送信したメールをメールサーバ1040を介して送信先の端末装置に送信するものであり、感情推定装置1010がメールサーバ1040からメールの本文を受信して、受信したメールの本文の感情を推定し、推定した感情を示すアイコンをメールサーバ1040に送信する。なお、第2の実施の形態では、端末装置20をメール送信元とし、端末装置21をメール送信先とする場合を例にとり説明するが、これに限定されるものではなく、端末装置21をメール送信元とし、端末装置20をメール送信先としてもよい。
なお、端末装置21の構成は、端末装置20の構成と同様であるため、以下では、第1の実施の形態と第2の実施の形態の主要な相違点である感情推定装置1010の構成、及び感情推定システム1の動作について説明する。
図21は、第2の実施の形態の感情推定装置1010の機能ブロックの一例を示す図である。感情推定装置1010は、記憶部1130にシンボルテーブル記憶部1139が含まれる点、及び推定部1170が推定した感情に対応付けられたシンボルを取得する点で、第1の実施の形態の感情推定装置10と相違する。
シンボルテーブル記憶部1139は、推定される感情と、当該感情を示すシンボルとを対応付けて記憶する。図22は、第2の実施の形態のシンボルテーブルの一例を示す図である。図22に示す例では、シンボルはアイコンであり、喜怒哀楽のいずれかを示す感情と、当該感情を示すアイコンとが対応付けられている。
推定部1170は、推定した感情に対応づけられたシンボルをシンボルテーブル記憶部1139から取得する。
次に、第2の実施の形態の感情推定システムの動作について説明する。
図23は、第2の実施の形態の感情推定システム1001で行われる処理の手順の流れの一例を示すシーケンス図である。
まず、端末装置20は、端末装置21宛のメールをメールサーバ1040に送信する(ステップS610)。図24は、端末装置20がメールサーバ1040に送信するメールの一例を示す図である。
続いて、メールサーバ1040は、端末装置20から受信したメールの本文を感情推定装置1010へ送信する(ステップS620)。図25は、メールサーバ1040が感情推定装置1010へ送信するメール本文の一例を示す図である。
続いて、感情推定装置1010が行うステップS630に示す表現抽出処理、ステップS640に示すクラス決定処理は、それぞれ図14のステップS20に示す表現抽出処理、ステップS30に示すクラス決定処理と同様であるため、説明を省略する。
続いて、感情推定装置1010の推定部1170は、決定部160により決定された感性表現クラス、対象表現クラス、意図表現クラスの組に対応付けられた感情ベクトルを感情テーブル記憶部138から取得して、テキストデータの書き手の感情を推定し、推定された感情を示すアイコンをシンボルテーブル記憶部1139から取得する感情推定処理を行う(ステップS650)。
図26は、図23のステップS650に示す感情推定処理の手順の流れの一例を示すフローチャートである。なお、ステップS700からS718までの処理は、図19に示すステップS400からS418までの処理と同様であるため、説明を省略する。
ステップS718で書き手の感情が推定されると、推定部1170は、推定された感情に対応付けられたアイコンを、シンボルテーブル記憶部1139から取得する(ステップS720)。なお、図25に示すテキストデータの感情推定結果ベクトルは、図13に示す通りであるため、ここでは、推定部1170は、「喜」に対応付けられたアイコン1101をシンボルテーブル記憶部1139から取得する。
図23に戻り、続いて、通信制御部140は、送信部120を制御して、推定部1170により推定された感情とともに、アイコン1101をメールサーバ1040に送信する(ステップS660)。
続いて、メールサーバ1040は、感情推定装置1010から受信したアイコン1101を付与して、端末装置20から受信したメールを端末装置21へ送信する。図27は、メールサーバ1040が端末装置21へ送信するメールの一例を示す図であり、図24に示すメールにアイコン1101が付与されている。
このように第2の実施形態では、メール本文からメール送信者の感情を推定し、推定した感情を示すアイコンを付与して送信先にメールを送信するため、メール送信者の感情をメールの送信相手に伝えることができる。
なお、上記実施の形態の感情推定装置10、1010は、CPUなどの制御装置と、ROM(Read Only Memory)やRAMなどの記憶装置と、HDD、SSD、リムーバブルドライブ装置などの外部記憶装置と、液晶ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
(変形例)
本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
上記実施の形態では、感情推定装置10、1010は、テキストデータを受信する例について説明したが、音声を認識してテキストデータを生成する音声認識部を備えるようにすれば、ユーザの音声(例えば、電話の声)を受信し、受信した音声を認識してテキストデータを生成し、生成したテキストデータからユーザの感情を推定することもできる。
1、1001 感情推定システム
10、1010 感情推定装置
20、21 端末装置
30 ネットワーク
110 受信部
120 送信部
130、1130 記憶部
131 辞書記憶部
133 感性表現オントロジー記憶部
135 対象表現オントロジー記憶部
137 意図表現オントロジー記憶部
138 感情テーブル記憶部
140 通信制御部
150 抽出部
160 決定部
170、1170 推定部
210 入力部
220 表示部
230 送信部
240 受信部
250 入力受付部
260 通信制御部
270 表示制御部
311、312、333〜335 表現組
321、322 クラス組
1040 メールサーバ
1101 アイコン
1139 シンボルテーブル記憶部

Claims (7)

  1. 事象の性質又は感情を表現する感性表現と、前記感性表現が属する概念のクラスである感性表現クラスとの関係を示す感性表現オントロジーを記憶する感性表現オントロジー記憶部と、
    前記感性表現が表す対象物を表現する対象表現と、前記対象表現が属する概念のクラスである対象表現クラスとの関係を示す対象表現オントロジーを記憶する対象表現オントロジー記憶部と、
    意図又は感想を表現する意図表現と、前記意図表現が属する概念のクラスである意図表現クラスとの関係を示す意図表現オントロジーを記憶する意図表現オントロジー記憶部と、
    前記感性表現クラス、前記対象表現クラス、及び前記意図表現クラスの組と、感情を示す感情情報とを対応付けた感情テーブルを記憶する感情テーブル記憶部と、
    テキストデータを入力する入力部と、
    前記テキストデータから、それぞれの表現が依存関係にある前記感性表現、前記対象表現、及び前記意図表現を抽出する抽出部と、
    抽出された前記感性表現、前記対象表現、前記意図表現がそれぞれ属する前記感性表現クラス、前記対象表現クラス、前記意図表現クラスの組を、前記感性表現オントロジー、前記対象表現オントロジー、及び前記意図表現オントロジーを参照して決定する決定部と、
    決定された前記組に対応付けられた前記感情情報を前記感情テーブル記憶部から取得し、取得した前記感情情報を用いて、前記テキストデータの書き手の感情を推定する推定部と、
    推定結果を出力する出力部と、を備えることを特徴とする感情推定装置。
  2. 前記抽出部は、前記テキストデータから、それぞれの表現が係り受け関係にある前記感性表現、前記対象表現、及び前記意図表現を抽出することを特徴とする請求項1に記載の感情推定装置。
  3. 前記感情情報は、複数種類の感情を要素としたベクトル表現である感情ベクトルであることを特徴とする請求項1又は2に記載の感情推定装置。
  4. 前記推定部は、前記決定部により前記組が複数決定された場合には、それぞれの組に対応付けられた前記感情ベクトルを前記感情テーブル記憶部から取得し、取得したそれぞれの前記感情ベクトルを合算して、前記テキストデータの書き手の感情を推定することを特徴とする請求項3に記載の感情推定装置。
  5. 前記推定部は、決定された前記組に対応付けられた前記感情ベクトルが複数存在する場合には、複数の前記感情ベクトルを前記感情テーブル記憶部から取得し、取得した複数の前記感情ベクトルを平均化して、前記テキストデータの書き手の感情を推定することを特徴とする請求項3、又は4に記載の感情推定装置。
  6. 推定される感情と、当該感情を示すシンボルとを対応付けて記憶するシンボルテーブル記憶部を更に備え、
    前記推定部は、更に、推定した前記テキストデータの書き手の感情に対応づけられた前記シンボルを前記シンボルテーブル記憶部から取得し、
    前記出力部は、更に、取得された前記シンボルを出力することを特徴とする請求項1〜5のいずれか1つに記載の感情推定装置。
  7. 入力受付部が、テキストデータの入力を受け付ける入力受付ステップと、
    抽出部が、前記テキストデータから、事象の性質又は感情を表現する感性表現、前記感性表現が表す対象物を表現する対象表現、及び意図又は感想を表現する意図表現のそれぞれの表現が依存関係にある前記感性表現、前記対象表現、及び前記意図表現を抽出する抽出ステップと、
    決定部が、前記感性表現と前記感性表現が属する概念のクラスである感性表現クラスとの関係を示す感性表現オントロジーを記憶する感性表現オントロジー記憶部の前記感性表現オントロジーと、前記対象表現と前記対象表現が属する概念のクラスである対象表現クラスとの関係を示す対象表現オントロジーを記憶する対象表現オントロジー記憶部の前記対象表現オントロジーと、前記意図表現と前記意図表現が属する概念のクラスである意図表現クラスとの関係を示す意図表現オントロジーを記憶する意図表現オントロジー記憶部の前記意図表現オントロジーを参照して、抽出された前記感性表現、前記対象表現、前記意図表現がそれぞれ属する前記感性表現クラス、前記対象表現クラス、前記意図表現クラスの組を決定する決定ステップと、
    推定部が、前記感性表現クラス、前記対象表現クラス、及び前記意図表現クラスの組と、感情を示す感情情報とを対応付けた感情テーブルを記憶する感情テーブル記憶部から、決定された前記組に対応付けられた前記感情情報を取得し、取得した前記感情情報を用いて、前記テキストデータの書き手の感情を推定する推定ステップと、
    出力制御部が、推定結果を出力部に出力させる出力制御ステップと、を含むことを特徴とする感情推定方法。
JP2009070726A 2009-03-23 2009-03-23 感情推定装置、及び方法 Active JP5121763B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009070726A JP5121763B2 (ja) 2009-03-23 2009-03-23 感情推定装置、及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009070726A JP5121763B2 (ja) 2009-03-23 2009-03-23 感情推定装置、及び方法

Publications (2)

Publication Number Publication Date
JP2010224813A JP2010224813A (ja) 2010-10-07
JP5121763B2 true JP5121763B2 (ja) 2013-01-16

Family

ID=43041943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009070726A Active JP5121763B2 (ja) 2009-03-23 2009-03-23 感情推定装置、及び方法

Country Status (1)

Country Link
JP (1) JP5121763B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737013B (zh) * 2011-04-02 2015-11-25 三星电子(中国)研发中心 基于依存关系来识别语句情感的设备和方法
WO2013002771A1 (en) 2011-06-28 2013-01-03 Hewlett-Packard Development Company, L.P. Capturing intentions within online text
JP5790372B2 (ja) * 2011-09-26 2015-10-07 大日本印刷株式会社 テキスト入力支援システム、テキスト挿入方法、サーバおよびプログラム
US9304984B2 (en) 2012-03-26 2016-04-05 Hewlett Packard Enterprise Development Lp Intention statement visualization
CN104750380A (zh) * 2013-12-31 2015-07-01 中国移动通信集团公司 一种信息处理的方法及电子设备
JP6262613B2 (ja) * 2014-07-18 2018-01-17 ヤフー株式会社 提示装置、提示方法及び提示プログラム
JP6502233B2 (ja) * 2015-10-26 2019-04-17 Kddi株式会社 入力テキストに対する主観的印象と客観点印象とを比較するテキスト印象分析プログラム、装置及び方法
JP6601821B2 (ja) * 2017-03-17 2019-11-06 Zホールディングス株式会社 決定装置、決定方法、決定プログラム、情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110920A (ja) * 1992-09-25 1994-04-22 Nippon Telegr & Teleph Corp <Ntt> メッセージ主観的特徴抽出方法
JP3372532B2 (ja) * 2000-10-11 2003-02-04 日本電信電話株式会社 感情情報抽出方法および感情情報抽出プログラムの計算機読み取り可能な記録媒体
JP2003281161A (ja) * 2002-03-19 2003-10-03 Seiko Epson Corp 情報分類方法、情報分類装置、プログラムおよび記録媒体
JP4200874B2 (ja) * 2003-10-22 2008-12-24 オムロン株式会社 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
JP3903993B2 (ja) * 2004-02-05 2007-04-11 セイコーエプソン株式会社 文章の感情認識装置及び文章の感情認識方法ならびにそのプログラム

Also Published As

Publication number Publication date
JP2010224813A (ja) 2010-10-07

Similar Documents

Publication Publication Date Title
JP5121763B2 (ja) 感情推定装置、及び方法
US10831796B2 (en) Tone optimization for digital content
JP2019504413A (ja) 絵文字を提案するためのシステムおよび方法
US9626152B2 (en) Methods and systems for recommending responsive sticker
US8831929B2 (en) Multi-mode input method editor
CN102426607B (zh) 可扩展搜索项建议引擎
US9484034B2 (en) Voice conversation support apparatus, voice conversation support method, and computer readable medium
CN104335607A (zh) 用于识别和建议表情符号的系统和方法
US10180988B2 (en) Persona-based conversation
JP2010181993A (ja) 絵文字を含む文章ファイルを評価する評価分析サーバ、方法及びプログラム
JP5496863B2 (ja) 感情推定装置、その方法、プログラム及びその記録媒体
US20120330955A1 (en) Document similarity calculation device
CN112559672B (zh) 信息检测方法、电子设备及计算机存储介质
JP4891438B2 (ja) キーパッドテキスト入力の多義性解消
WO2016203805A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN103999082B (zh) 用于检测社交媒体中的社区的方法、计算机程序和计算机
Meck et al. How to design the perfect prompt: A linguistic approach to prompt design in automotive voice assistants–An exploratory study
CN111639162A (zh) 信息交互方法和装置、电子设备和存储介质
CN111125305A (zh) 热门话题确定方法、装置、存储介质及电子设备
CN111555960A (zh) 信息生成的方法
WO2014068293A1 (en) Text analysis
JP2009251292A (ja) 学習コンテンツ生成装置、学習コンテンツの生成方法、学習コンテンツ生成装置としてコンピュータを機能させるためのプログラム、および当該プログラムを格納したコンピュータ読み取り可能な記録媒体
JP7179512B2 (ja) 情報処理方法、情報処理装置、及びプログラム
Ahed et al. An enhanced twitter corpus for the classification of Arabic speech acts
JP7293743B2 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121023

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5121763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350