JP6970641B2 - Emotion Guessing Method, Emotion Guessing Device and Program - Google Patents
Emotion Guessing Method, Emotion Guessing Device and Program Download PDFInfo
- Publication number
- JP6970641B2 JP6970641B2 JP2018084088A JP2018084088A JP6970641B2 JP 6970641 B2 JP6970641 B2 JP 6970641B2 JP 2018084088 A JP2018084088 A JP 2018084088A JP 2018084088 A JP2018084088 A JP 2018084088A JP 6970641 B2 JP6970641 B2 JP 6970641B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- emotion
- posted
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 149
- 238000000034 method Methods 0.000 title claims description 21
- 206010048669 Terminal state Diseases 0.000 claims description 45
- 230000006399 behavior Effects 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 28
- 230000002996 emotional effect Effects 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、人の感情を推測するための感情推測方法、感情推測装置及びプログラムに関する。 The present invention relates to an emotion estimation method, an emotion estimation device, and a program for estimating a person's emotions.
従来、人の感情（ムード）を推測するシステムが知られている。非特許文献１には、システムを利用するユーザにカードゲームをさせた結果に基づいてユーザの感情を推測する方法が開示されている。非特許文献２には、ユーザがスマートフォンのアプリケーションソフトウェアを用いて記録した自分の行動等に基づいてユーザの感情を推測する方法が開示されている。
Conventionally, a system for inferring a person's emotion (mood) is known. Non-Patent
従来のシステムを利用することで、ユーザは、システムが推測した感情の通知を受けることで、自身がどのような感情を抱いていたのかを把握することができる。しかしながら、ユーザが、システムから通知された結果に納得できない場合、ユーザはシステムを信頼できなくなり、システムを利用しなくなってしまうという問題があった。 By using the conventional system, the user can grasp what kind of emotion he / she had by receiving the notification of the emotion estimated by the system. However, if the user is not satisfied with the result notified from the system, there is a problem that the user cannot trust the system and does not use the system.
そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザが、感情を予測するシステムを継続的に利用する確率を高めるようにすることを目的とする。 Therefore, the present invention has been made in view of these points, and an object thereof is to increase the probability that a user continuously uses a system for predicting emotions.
本発明の第１の態様の感情推測方法は、コンピュータが実行する、ユーザの感情との関連性がある事象を示す複数の事象情報を取得するステップと、前記複数の事象情報に基づいて前記ユーザの感情を推測するステップと、前記感情の推測結果とともに、前記ユーザが当該感情を有すると推測した理由を含む説明を前記ユーザの携帯端末に通知するステップと、を有する。 The emotion estimation method of the first aspect of the present invention includes a step of acquiring a plurality of event information indicating an event related to the user's emotion, which is executed by a computer, and the user based on the plurality of event information. It has a step of inferring the emotion of the user, and a step of notifying the user's mobile terminal of an explanation including a reason for presuming that the user has the emotion, together with the estimation result of the emotion.
前記複数の事象情報を取得するステップにおいて、前記複数の事象情報として、前記ユーザの携帯端末の状態を示す複数の端末状態情報と、前記ユーザがネットワークを介して投稿した複数の投稿情報とを取得してもよい。 In the step of acquiring the plurality of event information, as the plurality of event information, a plurality of terminal state information indicating the state of the user's mobile terminal and a plurality of posted information posted by the user via the network are acquired. You may.
前記ユーザの感情を推測するステップにおいて、前記複数の端末状態情報及び前記複数の投稿情報のうち、前記感情の推測結果との関連性が相対的に大きい一以上の前記端末状態情報及び前記投稿情報を選択し、前記通知するステップにおいて、選択した前記一以上の前記端末状態情報及び前記投稿情報に基づく前記説明を前記ユーザの携帯端末に通知してもよい。 In the step of estimating the emotion of the user, one or more of the plurality of terminal state information and the plurality of posted information having a relatively large relationship with the estimation result of the emotion, the terminal state information and the posted information. In the step of notifying the user, the user's mobile terminal may be notified of the explanation based on the selected one or more terminal state information and the posted information.
感情推測方法は、前記端末状態情報が示す前記携帯端末の状態が取得された時刻と、前記投稿情報が示すイベントが発生した時刻とに基づいて、前記端末状態情報と前記投稿情報とを同期化するステップと、同期化した前記端末状態情報及び前記投稿情報を機械学習モデルに入力するステップと、をさらに有し、前記ユーザの感情を推測するステップにおいて、前記機械学習モデルから出力された結果に基づいて前記感情を推測してもよい。 The emotion estimation method synchronizes the terminal state information and the posted information based on the time when the state of the mobile terminal indicated by the terminal state information is acquired and the time when the event indicated by the posted information occurs. In the step of estimating the emotion of the user, which further has a step of inputting the synchronized terminal state information and the posted information into the machine learning model, the result output from the machine learning model is obtained. The emotion may be inferred based on this.
前記機械学習モデルに入力するステップにおいて、前記感情を推測する時点より前の所定の期間内に取得された前記端末状態情報及び前記投稿情報を機械学習モデルに入力してもよい。前記機械学習モデルが、前記感情の変化を特定する時間間隔として予め設定された再帰単位時間ごとに再帰する再帰型ニューラルネットワークであり、前記機械学習モデルに入力するステップにおいて、連続する複数の前記再帰単位時間において同期化された前記端末状態情報及び前記投稿情報を前記機械学習モデルに順次入力してもよい。 In the step of inputting to the machine learning model, the terminal state information and the posted information acquired within a predetermined period before the time when the emotion is estimated may be input to the machine learning model. The machine learning model is a recursive neural network that recurses every recursive unit time preset as a time interval for specifying the change in emotion, and a plurality of continuous recursion in the step of inputting to the machine learning model. The terminal state information and the posted information synchronized in a unit time may be sequentially input to the machine learning model.
前記選択するステップにおいて、前記機械学習モデルを用いて前記感情を推測した後に、前記機械学習モデルにおける複数の伝搬路に割り当てられた複数の重み係数の大きさに基づいて、前記一以上の前記端末状態情報及び前記投稿情報を選択してもよい。 The one or more terminals based on the magnitudes of the plurality of weighting coefficients assigned to the plurality of propagation paths in the machine learning model after inferring the emotion using the machine learning model in the selection step. The status information and the posted information may be selected.
前記通知するステップにおいて、選択した前記一以上の端末状態情報及び投稿情報により特定される前記ユーザの行動内容を示す前記説明を前記ユーザの携帯端末に通知してもよい。 In the notification step, the user's mobile terminal may be notified of the explanation indicating the behavior content of the user specified by the selected one or more terminal state information and the posted information.
本発明の第２の態様の感情推測装置は、ユーザの感情との関連性がある事象を示す複数の事象情報を取得する情報取得部と、前記複数の事象情報に基づいて前記ユーザの感情を推測する推測部と、前記感情の推測結果とともに、前記ユーザが当該感情を有すると推測した理由を含む説明を前記ユーザの携帯端末に通知する通知部と、を有する。 The emotion estimation device of the second aspect of the present invention has an information acquisition unit that acquires a plurality of event information indicating an event related to the user's emotion, and the user's emotion based on the plurality of event information. It has a guessing unit for guessing, and a notification unit for notifying the user's mobile terminal of an explanation including a reason for presuming that the user has the emotion, together with the estimation result of the emotion.
本発明の第３の態様のプログラムは、コンピュータに、ユーザの感情との関連性がある事象を示す複数の事象情報を取得するステップと、前記複数の事象情報に基づいて前記ユーザの感情を推測するステップと、前記感情の推測結果とともに、前記ユーザが当該感情を有すると推測した理由を含む説明を前記ユーザの携帯端末に通知するステップと、を実行させる。 The program of the third aspect of the present invention has a step of acquiring a plurality of event information indicating an event related to the user's emotion on a computer, and guessing the user's emotion based on the plurality of event information. A step of notifying the user's mobile terminal of an explanation including the reason why the user presumed to have the emotion, together with the step of estimating the emotion.
本発明によれば、ユーザが、感情を予測するシステムを継続的に利用する確率を高めることができる効果を奏する。 According to the present invention, there is an effect that the user can increase the probability of continuously using the system for predicting emotions.
［感情推測システムＳの構成及び動作］
図１は、感情推測システムＳの構成を示す図である。感情推測システムＳは、ユーザによる携帯端末の使用状況、及びソーシャルネットワークアカウントでの投稿等の行動状況に関するデータを収集し、収集したデータに基づいてユーザの感情を推測する。
[Configuration and operation of emotion estimation system S]
FIG. 1 is a diagram showing a configuration of an emotion guessing system S. The emotion estimation system S collects data on the usage status of the mobile terminal by the user and the behavior status such as posting on the social network account, and estimates the user's emotion based on the collected data.
感情推測システムＳは、ユーザの感情を推測するために、図１に示す（Ｃ１）〜（Ｃ９）の構成部を有する。具体的には、感情推測システムＳは、ＯＳＮ ＡＰＩ（Ｃ１）（Online Social Network Application Programming Interface）、ＯＳＮクローラ（Ｃ２）、端末クローラ（Ｃ３）、情報取得部（Ｃ４）、推定部（Ｃ５）、関連性特定部（Ｃ６）、通知部（Ｃ７）、データベース（Ｃ８）、及び特徴クラウド（Ｃ９）を有する。 The emotion estimation system S has the components (C1) to (C9) shown in FIG. 1 for estimating the emotion of the user. Specifically, the emotion estimation system S includes an OSN API (C1) (Online Social Network Application Programming Interface), an OSN crawler (C2), a terminal crawler (C3), an information acquisition unit (C4), and an estimation unit (C5). It has a relevance identification unit (C6), a notification unit (C7), a database (C8), and a feature cloud (C9).
感情推測システムＳが有する構成部のうち、一部の構成部は、感情推測装置として機能するサーバにより実現されてもよい。例えば、感情推測装置として機能するサーバのプロセッサがプログラムを実行することにより、情報取得部（Ｃ４）、推定部（Ｃ５）、関連性特定部（Ｃ６）、通知部（Ｃ７）として機能する。 Among the components of the emotion guessing system S, some of the components may be realized by a server that functions as an emotion guessing device. For example, when the processor of the server that functions as an emotion estimation device executes a program, it functions as an information acquisition unit (C4), an estimation unit (C5), a relevance identification unit (C6), and a notification unit (C7).
ＯＳＮ ＡＰＩ（Ｃ１）は、ツイッター（登録商標）、インスタグラム（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）等のソーシャルネットワークサービス（以下、ＳＮＳという）のサーバにアクセスするためのインターフェースである。 The OSN API (C1) is an interface for accessing a server of a social network service (hereinafter referred to as SNS) such as Twitter (registered trademark), Instagram (registered trademark), Facebook (registered trademark) and the like.
ＯＳＮクローラ（Ｃ２）は、ＯＳＮ ＡＰＩ（Ｃ１）を介して、ユーザがＳＮＳに投稿したテキスト及び画像等の投稿情報をＳＮＳのサーバから収集する。ＯＳＮクローラ（Ｃ２）は、例えばＯＡｕｔｈ１プロトコル又はＯＡｕｔｈ２プロトコルを使用して投稿情報を収集する。ＯＳＮクローラ（Ｃ２）は、収集した投稿情報を情報取得部（Ｃ４）に通知する。 The OSN crawler (C2) collects posted information such as texts and images posted by the user on the SNS from the SNS server via the OSN API (C1). The OSN crawler (C2) collects posted information using, for example, the OOut1 protocol or the OAuth2 protocol. The OSN crawler (C2) notifies the information acquisition unit (C4) of the collected posted information.
端末クローラ（Ｃ３）は、例えばユーザのスマートフォン等の携帯端末にインストールされたソフトウェアであり、携帯端末が内蔵するセンサー等のデバイスから出力される信号に基づく端末状態情報を定期的に収集する。端末クローラ（Ｃ３）は、携帯端末がＷｉ−Ｆｉ（登録商標）等のネットワークに接続されている間に、収集した端末状態情報を情報取得部（Ｃ４）に送信する。端末状態情報は、例えば、通話ログ、メール送信ログ、ショートメッセージ送信ログ、位置情報、又は動き情報のように、ユーザの行為に関連する任意の情報である。端末状態情報は、温度情報、湿度情報、明るさ情報のように、ユーザが置かれた環境を示す情報であってもよい。 The terminal crawler (C3) is software installed in a mobile terminal such as a user's smartphone, and periodically collects terminal status information based on a signal output from a device such as a sensor built in the mobile terminal. The terminal crawler (C3) transmits the collected terminal status information to the information acquisition unit (C4) while the mobile terminal is connected to a network such as Wi-Fi (registered trademark). The terminal status information is arbitrary information related to the user's action, such as a call log, an email transmission log, a short message transmission log, location information, or motion information. The terminal state information may be information indicating the environment in which the user is placed, such as temperature information, humidity information, and brightness information.
情報取得部（Ｃ４）は、ユーザの感情との関連性がある事象を示す複数の事象情報を取得する。情報取得部（Ｃ４）は、複数の事象情報として、ユーザがネットワークを介して投稿した複数の投稿情報をＯＳＮクローラ（Ｃ２）から取得し、ユーザの携帯端末の状態を示す複数の端末状態情報を端末クローラ（Ｃ３）から取得し、取得した情報を集計する。投稿情報は散発的に発生するテキスト情報又は画像情報であるのに対して、端末状態情報は、投稿情報よりも高い頻度で発生する数値情報である。そこで、それぞれ性質が異なるこれらの情報を集計するために、情報取得部（Ｃ４）は、ＯＳＮ情報解析部４１と、端末情報解析部４２と、同期部４３とを有する。
The information acquisition unit (C4) acquires a plurality of event information indicating an event related to the user's emotion. The information acquisition unit (C4) acquires a plurality of posted information posted by the user via the network as a plurality of event information from the OSN crawler (C2), and obtains a plurality of terminal status information indicating the status of the user's mobile terminal. It is acquired from the terminal crawler (C3) and the acquired information is totaled. The posted information is text information or image information that occurs sporadically, whereas the terminal state information is numerical information that occurs more frequently than the posted information. Therefore, in order to aggregate these information having different properties, the information acquisition unit (C4) has an OSN
図２は、情報取得部（Ｃ４）の詳細構成を示す図である。
ＯＳＮ情報解析部４１は、投稿情報に含まれる時間に関連する用語に基づいてテキスト解析して、ユーザのそれぞれの投稿内容が示しているイベントが行われた日時や場所を特定する。ＯＳＮ情報解析部４１は、特定した日時や場所と投稿内容とを関連付けて同期部４３に入力する。
FIG. 2 is a diagram showing a detailed configuration of the information acquisition unit (C4).
The OSN
端末情報解析部４２は、端末クローラ（Ｃ３）から入力された端末状態情報が取得された日時及び場所に関連付けて、端末の各種の状態を特定する。端末情報解析部４２は、例えば、携帯端末に内蔵されたＧＰＳ（Global Positioning System）センサーを介して特定された緯度・経度情報に基づいて、端末状態情報が取得された場所を特定する。端末情報解析部４２は、携帯端末に内蔵された各種のセンサーに基づいてユーザの動きを特定したり、通話相手・通話日時・通話位置を特定したりする。端末情報解析部４２は、特定した日時や場所と端末の状態とを関連付けて同期部４３に入力する。
The terminal
同期部４３は、端末情報解析部４２から入力された端末状態情報が示す携帯端末の状態が取得された時刻と、ＯＳＮ情報解析部４１から入力された投稿情報が示すイベントが発生した時刻とに基づいて、端末状態情報と投稿情報とを同期化する。具体的には、同期部４３は、投稿情報により特定されたイベントと、当該イベントが行われた日時における端末の状態とを関連付ける。
The
同期部４３は、同期化した端末状態情報及び投稿情報を機械学習モデルに入力する。同期部４３は、例えば、端末状態情報及び投稿情報を機械学習モデルに入力する前に、ユーザが自宅にいたこと、仕事をしていたこと、野球を見に行っていたこと、食事をしていたこと等を特定し、特定したユーザの行動を示す情報を、機械学習モデルを有する推測部（Ｃ５）に通知する。同期部４３は、特定した行動をカテゴリー化し、行動のカテゴリーを推測部（Ｃ５）に通知してもよい。
The
推測部（Ｃ５）は、複数の事象情報に基づいてユーザの感情を推測する。推測部（Ｃ５）は、同期部４３から入力されたユーザの行動を示す情報を機械学習モデルに入力し、機械学習モデルから出力された結果に基づいて感情を推測するに基づいて、ユーザの感情を推測する。機械学習モデルは、例えば、予めユーザの行動と感情との関係を学習した再帰型ニューラルネットワーク（以下、ＲＮＮ（Recurrent Neural Networks）という）である。
The guessing unit (C5) infers the user's emotions based on a plurality of event information. The guessing unit (C5) inputs information indicating the user's behavior input from the
推測部（Ｃ５）は、感情を推測する時点より前の所定の期間内に取得された端末状態情報及び投稿情報を機械学習モデルに入力する。所定の期間は、例えば、感情推測システムＳの管理者又はユーザにより設定された期間であり、ユーザの感情に影響が及ぶと考えられる過去の期間である。推測部（Ｃ５）は、連続する複数の再帰単位時間ごとに、同期化された端末状態情報及び投稿情報を機械学習モデルに順次入力する。 The guessing unit (C5) inputs the terminal state information and the posted information acquired within a predetermined period before the time of guessing the emotion into the machine learning model. The predetermined period is, for example, a period set by the administrator or the user of the emotion guessing system S, and is a past period considered to affect the emotion of the user. The guessing unit (C5) sequentially inputs synchronized terminal state information and posted information into the machine learning model for each of a plurality of consecutive recursive unit times.
推測部（Ｃ５）は、エンベッド層５１及びＲＮＮ５２を有する。エンベッド層５１は、同期部４３から入力されたユーザの行動の内容を数値化することにより、ＲＮＮ５２がユーザの行動に基づいてユーザの感情を推測できるようにする。エンベッド層５１は、例えばワンホットエンコーダーモデル（ＯＨＥ：One-Hot Encoder）又はカテゴリーベクターモデル（Cat2Vec）を使用することにより、ユーザの行動の内容を数値化する。
The guessing unit (C5) has an
図３は、ＲＮＮ５２の詳細構成を示す図である。ＲＮＮ５２は、感情の変化を特定する時間間隔として予め設定された再帰単位時間ごとに再帰する再帰型ニューラルネットワークである。ユーザは、リアルタイムでＳＮＳに投稿せず、一日ごとに投稿する場合も多いので、再帰単位時間は、例えば１日であることが望ましいが、ユーザが投稿するタイミングの傾向を示す投稿特性に基づいて再帰単位時間が設定されていてもよい。
FIG. 3 is a diagram showing a detailed configuration of the
図３に示すように、ＲＮＮ５２は、再帰単位時間ごとに割り当てられた複数のＲＮＮセル（ニューロン）を有する。少なくとも一部のＲＮＮセルは、ＬＳＴＭ（Long Short-Term Memory）層であってもよい。図３に示す例においては、ユーザの感情の推測に１日目からｔ日目（ｔは整数）までの間に取得された投稿情報及び端末状態情報に基づいて情報取得部（Ｃ４）が特定したユーザの行動を示す情報が、日ごとに割り当てられたＲＮＮセルを含む層に入力される。推測部（Ｃ５）は、複数のＲＮＮセルに入力されたユーザの行動を示す情報を、複数の層間で伝搬させることにより、ユーザの感情を推測する。
As shown in FIG. 3, the
なお、ＲＮＮ５２がユーザの感情を推測できるようにするために、ユーザの携帯端末にインストールされたアプリケーションソフトウェアは、所定の学習期間において、再帰単位時間に対応する時間間隔（例えば１日間隔）で、ユーザが抱いている感情を取得する。具体的には、アプリケーションソフトウェアは、感情を入力又は選択する画面をディスプレイに表示し、ユーザが入力又は選択した感情を示す情報（以下、感情情報という）をメモリに記憶させる。アプリケーションソフトウェアは、感情情報を取得した日に関連付けて、取得した感情情報を推測部（Ｃ５）に通知する。
In order for the
推測部（Ｃ５）は、所定の学習期間において、通知された感情情報と、同期部４３から入力された投稿情報及び端末状態情報に基づいて特定されたユーザの行動を示す情報とに基づいて学習し、各ユーザ用の学習モデルを作成する。学習期間が終了すると、アプリケーションソフトウェアは、ユーザが感情を入力又は選択する画面の表示を終了し、ＲＮＮ５２は、複数のＲＮＮセルに入力されたユーザの行動を示す情報に基づいて、ユーザの感情を推測する。このようにすることで、ＲＮＮ５２は、ユーザが情報を入力する手間をかけることなくユーザの感情を推測することができる。ＲＮＮ５２は、感情の推測結果を関連性特定部（Ｃ６）及び通知部（Ｃ７）に入力する。
The guessing unit (C5) learns based on the notified emotion information, the posted information input from the
なお、ＲＮＮ５２は、学習期間を短縮するために、学習モデルを作成する対象となるユーザの感情情報が十分に収集されるまでの間、感情推測システムＳが感情を推測する対象となる他のユーザの投稿情報及び端末状態情報と感情情報とを使用してもよい。ＲＮＮ５２は、複数の層のうち、入力層に近い層の学習に他のユーザの感情情報を使用し、出力層に近い層の学習には、学習モデルを作成する対象となるユーザ自身の感情情報を使用するようにしてもよい。このようにすることで、精度の高い学習モデルを短期間で作成することができる。
In addition, in order to shorten the learning period, the
関連性特定部（Ｃ６）は、推測部（Ｃ５）が機械学習モデルを用いて感情を推測した後に、機械学習モデルにおける複数の伝搬路に割り当てられた複数の重み係数の大きさに基づいて、一以上の端末状態情報及び投稿情報を選択する。具体的には、関連性特定部（Ｃ６）は、複数の端末状態情報及び複数の投稿情報のうち、ＲＮＮ５２による感情の推測結果との関連性が相対的に大きい一以上の端末状態情報及び投稿情報を選択する。関連性特定部（Ｃ６）は、関連性が大きい端末状態情報及び投稿情報を選択するために、例えばＬＲＰ（Layer-wise Relevance Propagation）アルゴリズムを使用する。
The relevance identification unit (C6) is based on the magnitude of the plurality of weighting coefficients assigned to the plurality of propagation paths in the machine learning model after the guessing unit (C5) infers the emotion using the machine learning model. Select one or more terminal status information and posting information. Specifically, the relevance identification unit (C6) has one or more terminal status information and posts that are relatively highly related to the emotion estimation result by the
図４は、ＬＲＰアルゴリズムについて説明するための図である。図４（ａ）に示すように、ＲＮＮ５２にデータＸが入力され、ＲＮＮ５２からＦ（ｘ）が出力されたとする。この場合、ＲＮＮ５２の内部処理は以下のように表される。
ここで、図４（ｂ）に示すように、ＲＮＮ５２にＦ（ｘ）を入力し、入力したＦ（ｘ）を逆方向に伝搬させる場合、以下の式により、感情の推定結果に対する各ニューロンの関連性を算出することができる。
このようにして得られる値が大きなニューロンに対応するユーザの行動は、感情の推定結果との関連性が大きいといえる。例えば、図４（ｂ）に示す例において、黒丸で示すニューロンの関連性が大きい場合、関連性特定部（Ｃ６）は、ｆ３で示されるユーザの行動と感情の推定結果との関連性が大きいと特定する。 It can be said that the user's behavior corresponding to the neuron having a large value obtained in this way is highly related to the emotion estimation result. For example, in the example shown in FIG. 4 (b), when the neuron indicated by the black circle has a large relationship, the relationship identification unit (C6) has a large relationship between the user's behavior indicated by f3 and the emotion estimation result. To specify.
通知部（Ｃ７）は、感情の推測結果とともに、当該感情を有すると推測した理由を含む説明をユーザの携帯端末に通知する。通知部（Ｃ７）は、例えば、関連性特定部（Ｃ６）が選択した一以上の端末状態情報及び投稿情報により特定されるユーザの行動内容を示す説明をユーザの携帯端末に通知する。通知部（Ｃ７）は、ユーザに通知する説明を作成するために、推測部（Ｃ５）から入力された感情の推測結果をデコードすることにより、ユーザの感情を特定するとともに、関連性特定部（Ｃ６）から入力された関連性が大きいユーザの行動に基づいて、特定した感情との関連性が大きいユーザの行動を特定する。 The notification unit (C7) notifies the user's mobile terminal of the estimation result of the emotion and the explanation including the reason for estimating that the emotion is possessed. The notification unit (C7) notifies the user's mobile terminal, for example, an explanation indicating the behavior content of the user specified by one or more terminal state information and posted information selected by the relevance identification unit (C6). The notification unit (C7) identifies the user's emotion by decoding the emotion estimation result input from the estimation unit (C5) in order to create an explanation to be notified to the user, and also identifies the user's emotion and the relevance identification unit (relevance identification unit (C7). Based on the behavior of the user who has a large relevance input from C6), the behavior of the user who has a large relevance to the specified emotion is specified.
具体的には、通知部（Ｃ７）は、デコード部７１及び集計部７２を有している。デコード部７１は、推測部（Ｃ５）から入力された感情の推測結果をデコードして特定したユーザの感情を集計部７２に通知する。
Specifically, the notification unit (C7) has a decoding unit 71 and an
集計部７２は、ユーザの感情の推測結果との関連性が大きいユーザの行動を特定し、感情の推測結果とともに、推測結果との関連性が大きいユーザの行動に関する説明を作成する。集計部７２は、作成した説明をユーザの携帯端末に通知する。集計部７２は、例えば、各感情種別に関連付けられた条件のうち、感情との関連性が大きい上位Ｎ個（Ｎは整数）を選択し、選択した一以上の端末状態情報及び投稿情報に基づく説明をユーザの携帯端末に通知する。集計部７２は、作成した説明をデータベース（Ｃ８）に登録してもよい。
The
ユーザの行動に関する説明は、例えば、「いつ」、「どこで」、「誰と」、「何を」ユーザが行っていたかを示すテキスト情報を含む。ユーザは、これらの説明を読むことにより、推測結果の妥当性を確認するとともに、どのような行動をすることが良い感情を抱くことにつながるかを認識することが可能になる。 The description of the user's behavior includes, for example, textual information indicating "when", "where", "with whom", and "what" the user was doing. By reading these explanations, the user can confirm the validity of the guess result and recognize what kind of action leads to having good feelings.
データベース（Ｃ８）は、ユーザの感情を記憶している。図５はデータベース（Ｃ８）の概要を示す図である。データベース（Ｃ８）は、感情種別（ポジティブ、ネガティブ、中間）に関連付けて、各感情が生じた条件を記憶している。具体的には、データベース（Ｃ８）は、感情種別ごとに、ユーザが「いつ」、「どこで」、「誰と」、「何を」行っていたかを記憶している。データベース（Ｃ８）は、各感情種別に関連付けられた条件のうち、感情との関連性が大きい上位Ｎ個（Ｎは整数）を選択し、選択した条件を特徴クラウド（Ｃ９）に通知する。 The database (C8) stores the user's emotions. FIG. 5 is a diagram showing an outline of the database (C8). The database (C8) stores the conditions under which each emotion occurs in association with the emotion type (positive, negative, intermediate). Specifically, the database (C8) stores "when", "where", "who", and "what" for each emotion type. The database (C8) selects the top N (N is an integer) that are highly related to emotions from the conditions associated with each emotion type, and notifies the feature cloud (C9) of the selected conditions.
特徴クラウド（Ｃ９）は、ユーザが任意の場所からアクセスできるサーバであり、ユーザは、自身の携帯端末等を用いて特徴クラウド（Ｃ９）にアクセスすることにより、自身がどのような感情を抱いていたかを認識することができる。 The feature cloud (C9) is a server that the user can access from any place, and the user has what kind of emotions he / she has by accessing the feature cloud (C9) using his / her own mobile terminal or the like. I can recognize it.
［ユーザへの説明を作成する手順］
図６及び図７は、感情の推測結果と関連性の大きいユーザの行動に関する説明を作成する手順を説明するための図である。図６は、ワンホットエンコーダーモデルを用いてユーザの行動に関する説明を作成する手順を示す。
[Procedure to create a description for the user]
6 and 7 are diagrams for explaining a procedure for creating an explanation regarding a user's behavior that is highly related to the emotional estimation result. FIG. 6 shows a procedure for creating a description of user behavior using a one-hot encoder model.
図６においては、ＲＮＮに入力される特徴として、特徴ｆ１及び特徴ｆ２が示されているが、他の多数の特徴も入力される。ＲＮＮに入力される特徴は、例えばユーザが行動した日時に関する特徴、場所に関する特徴、行動した内容に関する特徴、共に行動した人に関する特徴等である。 In FIG. 6, the feature f1 and the feature f2 are shown as the features to be input to the RNN, but many other features are also input. The characteristics input to the RNN are, for example, characteristics related to the date and time when the user acted, characteristics related to the place, characteristics related to the content of the action, characteristics related to the person who acted together, and the like.
ワンホットエンコーダー（ＯＨＥ）は、特徴が示す数値を２値化する。図６に示す例において、ＯＨＥは、特徴ｆ１及び特徴ｆ２が示す２値データとして、０００１０１００を生成し、生成したデータをＲＮＮに入力している。 The one-hot encoder (OHE) binarizes the numerical value indicated by the feature. In the example shown in FIG. 6, OHE generates 0001100100 as binary data shown by the feature f1 and the feature f2, and inputs the generated data to the RNN.
続いて、ＲＮＮから出力されたデータを、ＬＲＰを用いて逆伝搬処理を行うことにより、それぞれの特徴に対する関連性スコア（ＲＳ）を算出する。図６に示す例においては、特徴ｆ１に対応するＲＳ５と特徴ｆ２に対応するＲＳ８とが相対的に高いスコアを示しているものとする。 Subsequently, the data output from the RNN is back-propagated using LRP to calculate the relevance score (RS) for each feature. In the example shown in FIG. 6, it is assumed that RS5 corresponding to the feature f1 and RS8 corresponding to the feature f2 show relatively high scores.
ＲＮＮが特徴ｆ１及び特徴ｆ２に対して相対的に高いスコアを示している原因を特定するために、最大値を出力する入力の値を示すＡｒｇｍａｘ関数とともにワンホットエンコーダが使用される。このデコーダの出力の多くは０に近い数値であり、関連性スコアの出力結果との関連性が大きい一つのカテゴリーに対応する数値だけが１に近い値を示す。図６に示す例においては、特徴ｆ１におけるカテゴリー４に対応する値が相対的に大きく、特徴ｆ２におけるカテゴリー１に対応する値が相対的に大きい。この結果を集計部７２が集計することにより、ユーザへの説明を生成することができる。
A one-hot encoder is used with the Argmax function, which indicates the value of the input that outputs the maximum value, to identify the reason why the RNN shows a relatively high score with respect to the feature f1 and the feature f2. Most of the output of this decoder is a numerical value close to 0, and only the numerical value corresponding to one category having a large relevance to the output result of the relevance score shows a value close to 1. In the example shown in FIG. 6, the value corresponding to category 4 in the feature f1 is relatively large, and the value corresponding to
ところで、ワンホットエンコーダにより生成されたベクトルは高次元であり低密度である。したがって、大きなデータセットにおいては、ワンホットデンコーダを用いることが効率的とはいえない。さらに、ワンホットデンコーダは、特徴間の相関を考慮することができない。このような問題を解決するために、エンティティエンベディングを実行するカテゴリーベクターモデルを使用することが好ましい。 By the way, the vector generated by the one-hot encoder is high-dimensional and low-density. Therefore, it is not efficient to use a one-hot dencoder for large data sets. Moreover, the one-hot dencoder cannot take into account the correlation between features. To solve such problems, it is preferable to use a category vector model that performs entity embedding.
図７は、感情推測システムＳがカテゴリーベクターモデルを用いてユーザの行動に関する説明を作成する手順を示す。この方法を用いることで、感情推測システムＳは、入力ベクターのサイズを小さくすることが可能になるとともに、カテゴリーを越えて、感情の推測結果との関連性が高い特徴を示すことが可能になる。 FIG. 7 shows a procedure in which the emotion guessing system S creates a description of user behavior using a category vector model. By using this method, the emotion guessing system S can reduce the size of the input vector and can show features that are highly relevant to the emotion guessing result across categories. ..
感情推測システムＳは、潜在ベクトルを生成するために、それぞれの特徴に何個の潜在ベクトルを割り当てるかを決定する必要があるが、例えば学習期間中に、潜在ベクトルの数を決定することができる。感情推測システムＳは、学習期間中に行った学習の結果に基づいて、多次元空間内で、どのカテゴリーが他のカテゴリーに類似するかを探索し、感情に対応する何個の潜在ベクトルが存在するかを特定することができる。 The emotion guessing system S needs to determine how many latent vectors should be assigned to each feature in order to generate latent vectors, but can determine the number of latent vectors, for example, during the learning period. .. The emotion estimation system S searches for which category is similar to other categories in the multidimensional space based on the result of learning performed during the learning period, and there are several latent vectors corresponding to the emotions. You can specify whether to do it.
ＲＮＮにより推定された結果との関連性が高い特徴を特定するために、感情推測システムＳは、ＬＲＰとともに、データを撹乱（perturb）してから、次元削減アルゴリズムの逆関数を実行する。このようにすることにより、ＲＮＮにより推定された結果との関連性が高い特徴を特定することができる。 To identify features that are highly relevant to the results estimated by the RNN, the emotion estimation system S, along with the LRP, perturbs the data and then executes the inverse function of the dimensionality reduction algorithm. By doing so, it is possible to identify features that are highly relevant to the results estimated by the RNN.
以下、次元削減アルゴリズムの逆関数について説明する。次元を減らすための線形技術として、主成分分析（ＰＣＡ：Principal Component Analysis）が用いられる。主成分分析において、感情推測システムＳは、低次元で表される場合のデータの分散が最大化するように、データを低次元空間にマッピングする。続いて、感情推測システムＳは、データの共分散行列を生成し、この行列の固有ベクトルを算出する。 Hereinafter, the inverse function of the dimension reduction algorithm will be described. Principal component analysis (PCA) is used as a linear technique for reducing dimensions. In principal component analysis, the emotion guessing system S maps the data to a low dimensional space so that the variance of the data when represented in low dimensions is maximized. Subsequently, the emotion estimation system S generates a covariance matrix of data and calculates the eigenvectors of this matrix.
感情推測システムＳは、最も大きな固有値（主成分）に対応する固有ベクトルを、元データにおいて分散が最も大きな部分を再構築するために用いる。感情推測システムＳは、一以上の固有ベクトルを用いることにより、元空間を、固有ベクトルによって伸長された空間に絞り込むことができる。 The emotion guessing system S uses the eigenvector corresponding to the largest eigenvalue (principal component) to reconstruct the part of the original data with the largest variance. The emotion guessing system S can narrow down the original space to the space extended by the eigenvectors by using one or more eigenvectors.
ここで、元のＸがｎ行／ｐ列のデータ行列であるとする。平均ベクトルμを各行から減算することにより、中心化されたデータ行列Ｘを得ることができる。さらに、Ｖが、使用するｋ個の固有ベクトルに対応するｐ行／ｋ列のデータ行列であるとする。ｋ個の固有ベクトルは、相対的に大きな固有ベクトルであることが好ましい。 Here, it is assumed that the original X is a data matrix of n rows / p columns. By subtracting the average vector μ from each row, a centralized data matrix X can be obtained. Further assume that V is a p-row / k-column data matrix corresponding to the k eigenvectors used. The k eigenvectors are preferably relatively large eigenvectors.
この場合、ＰＣＡ投射のｎ行／ｋ列の行列は、単にＺ＝ＸＶにより求められる。元データを再構築できるようにするために、行列Ｖの転置行列ＶＴを用いることにより、行列Ｚをｐ次元に変換する。その結果、Ｘ＾＝ＺＶＴ＝ＸＶＶＴとなる。 In this case, the matrix of n rows / k columns of PCA projection is simply obtained by Z = XV. To be able to reconstruct the original data, by using the transposed matrix V T of the matrix V, it converts the matrix Z in p-dimensional. As a result, X ^ = ZV T = XVV T.
感情推測システムＳは、さらに平均ベクトルμを加算することにより、ＰＣスコア×固有ベクトルの転置行列＋平均ベクトルμとして、最終的なＰＣＡ再構築値（元のＸ）を得ることができる。 By further adding the average vector μ, the emotion estimation system S can obtain the final PCA reconstruction value (original X) as the transposed matrix of the PC score × the eigenvector + the average vector μ.
［感情推測システムＳによる効果］
以上説明したように、感情推測システムＳは、ユーザの感情との関連性がある事象を示す複数の事象情報を取得し、取得した複数の事象情報に基づいてユーザの感情を推測する。そして、感情推測システムＳは、ユーザの感情の推測結果とともに、ユーザが当該感情を有すると推測した理由を含む説明をユーザの携帯端末に通知する。このようにすることで、ユーザは、感情推測システムＳが推測した理由を把握できるので、ユーザが想定していた自身の感情と異なる推測結果が通知されたとしても、感情推測システムＳの推測結果に納得しやすくなる。その結果、ユーザが感情推測システムＳにより提供されるサービスを継続的に利用する可能性が高まる。
[Effect of Emotion Guessing System S]
As described above, the emotion estimation system S acquires a plurality of event information indicating an event related to the user's emotion, and estimates the user's emotion based on the acquired plurality of event information. Then, the emotion estimation system S notifies the user's mobile terminal of the explanation including the reason why the user estimates that the user has the emotion, together with the estimation result of the user's emotion. By doing so, the user can grasp the reason why the emotion guessing system S guessed, so even if the guessing result different from the user's own feeling is notified, the guessing result of the emotion guessing system S is notified. It will be easier to understand. As a result, the possibility that the user continuously uses the service provided by the emotion guessing system S increases.
また、感情推測システムＳは、ユーザの感情との関連性がある事象として、ユーザの携帯端末の状態、及びユーザによるＳＮＳへの投稿内容を利用する。したがって、ＲＮＮの学習期間が終了すると、従来の技術のように、ユーザが定期的に自身の行動を入力する作業を行う必要がないのでユーザの負担が少なく、この点からも、ユーザが感情推測システムＳにより提供されるサービスを継続的に利用する確率が高まる。 Further, the emotion guessing system S uses the state of the user's mobile terminal and the content posted to the SNS by the user as an event related to the user's emotion. Therefore, when the learning period of the RNN is completed, unlike the conventional technique, the user does not have to perform the work of inputting his / her own action on a regular basis, so that the burden on the user is small, and from this point as well, the user guesses emotions. The probability of continuously using the service provided by the system S increases.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. be. For example, the specific embodiment of the distribution / integration of the device is not limited to the above embodiment, and all or a part thereof may be functionally or physically distributed / integrated in any unit. Can be done. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment together.
Ｃ１ ＯＳＮ ＡＰＩ
Ｃ２ ＯＳＮクローラ
Ｃ３ 端末クローラ
Ｃ４ 情報取得部
Ｃ５ 推定部
Ｃ６ 関連性特定部
Ｃ７ 通知部
Ｃ８ データベース
Ｃ９ 特徴クラウド
４１ ＯＳＮ情報解析部
４２ 端末情報解析部
４３ 同期部
５１ エンベッド層
７１ デコード部
７２ 集計部
C1 OSN API
C2 OSN crawler C3 Terminal crawler C4 Information acquisition unit C5 Estimating unit C6 Relevance identification unit C7 Notification unit C8 Database
Claims (9)
ユーザの感情との関連性がある事象を示す複数の事象情報を取得するステップと、
前記複数の事象情報に基づいて前記ユーザの感情を推測するステップと、
前記感情の推測結果とともに、前記ユーザが当該感情を有すると推測した理由を含む説明を前記ユーザの携帯端末に通知するステップと、
を有し、
前記複数の事象情報を取得するステップにおいて、前記複数の事象情報として、前記ユーザの携帯端末の状態を示す複数の端末状態情報と、前記ユーザがネットワークを介して投稿した複数の投稿情報とを取得し、
前記ユーザの感情を推測するステップにおいて、前記複数の端末状態情報及び前記複数の投稿情報のうち、前記感情の推測結果との関連性が相対的に大きい一以上の前記端末状態情報及び前記投稿情報を選択し、
前記通知するステップにおいて、選択した前記一以上の前記端末状態情報及び前記投稿情報に基づく前記説明を前記ユーザの携帯端末に通知する感情推測方法。 Computer runs,
Steps to acquire multiple event information indicating events related to the user's emotions,
A step of inferring the user's emotions based on the plurality of event information,
A step of notifying the user's mobile terminal of an explanation including the reason why the user presumed to have the emotion, together with the estimation result of the emotion.
Have a,
In the step of acquiring the plurality of event information, as the plurality of event information, a plurality of terminal state information indicating the state of the user's mobile terminal and a plurality of posted information posted by the user via the network are acquired. death,
In the step of estimating the emotion of the user, one or more of the plurality of terminal state information and the plurality of posted information having a relatively large relationship with the estimation result of the emotion, the terminal state information and the posted information. Select and
An emotion estimation method for notifying the user's mobile terminal of the explanation based on the one or more selected terminal state information and the posted information in the notification step.
請求項１に記載の感情推測方法。 In the step of acquiring the plurality of event information, the plurality of terminal state information and the plurality of posted information are acquired as the plurality of event information.
The emotion estimation method according to claim 1.
同期化した前記端末状態情報及び前記投稿情報を機械学習モデルに入力するステップと、
をさらに有し、
前記ユーザの感情を推測するステップにおいて、前記機械学習モデルから出力された結果に基づいて前記感情を推測する、
請求項１又は２に記載の感情推測方法。 A step of synchronizing the terminal state information and the posted information based on the time when the state of the mobile terminal indicated by the terminal state information is acquired and the time when the event indicated by the posted information occurs.
The step of inputting the synchronized terminal state information and the posted information into the machine learning model,
Have more
In the step of estimating the emotion of the user, the emotion is estimated based on the result output from the machine learning model.
The emotion estimation method according to claim 1 or 2.
請求項３に記載の感情推測方法。 In the step of inputting to the machine learning model, the terminal state information and the posted information acquired within a predetermined period before the time of guessing the emotion are input to the machine learning model.
The emotion estimation method according to claim 3.
前記機械学習モデルに入力するステップにおいて、連続する複数の前記再帰単位時間において同期化された前記端末状態情報及び前記投稿情報を前記機械学習モデルに順次入力する、
請求項３又は４に記載の感情推測方法。 The machine learning model is a recurrent neural network that recurses every recursive unit time preset as a time interval for specifying the emotional change.
In the step of inputting to the machine learning model, the terminal state information and the posted information synchronized in a plurality of consecutive recursive unit times are sequentially input to the machine learning model.
The emotion estimation method according to claim 3 or 4.
請求項３から５のいずれか一項に記載の感情推測方法。 The one or more terminals based on the magnitudes of the plurality of weighting coefficients assigned to the plurality of propagation paths in the machine learning model after inferring the emotion using the machine learning model in the selection step. Select the status information and the posted information,
The emotion estimation method according to any one of claims 3 to 5.
請求項３から６のいずれか一項に記載の感情推測方法。 In the notification step, the user's mobile terminal is notified of the explanation indicating the behavior content of the user specified by the selected one or more terminal state information and the posted information.
The emotion estimation method according to any one of claims 3 to 6.
前記複数の事象情報に基づいて前記ユーザの感情を推測する推測部と、
前記複数の端末状態情報及び前記複数の投稿情報のうち、前記感情の推測結果との関連性が相対的に大きい一以上の前記端末状態情報及び前記投稿情報を選択する関連性特定部と、
前記感情の推測結果とともに、前記ユーザが当該感情を有すると推測した理由を含む説明として、前記関連性特定部が選択した前記一以上の前記端末状態情報及び前記投稿情報に基づく前記説明を前記ユーザの携帯端末に通知する通知部と、
を有する感情推測装置。 As a plurality of event information indicating an event related to the user's emotion , a plurality of terminal state information indicating the state of the user's mobile terminal and a plurality of posted information posted by the user via a network are acquired. Information acquisition department and
A guessing unit that infers the user's emotions based on the plurality of event information,
Among the plurality of terminal state information and the plurality of posted information, one or more of the terminal state information and the posted information having a relatively large relevance to the estimation result of the emotion, and a relevance specifying unit for selecting the posted information.
As an explanation including the reason why the user presumes that the user has the emotion, the user describes the explanation based on the one or more terminal state information and the posted information selected by the relevance specifying unit together with the estimation result of the emotion. Notification unit to notify the mobile terminal of
Emotion guessing device with.
ユーザの感情との関連性がある事象を示す複数の事象情報を取得するステップと、
前記複数の事象情報に基づいて前記ユーザの感情を推測するステップと、
前記感情の推測結果とともに、前記ユーザが当該感情を有すると推測した理由を含む説明であって、前記事象情報として取得された前記ユーザの携帯端末の状態を示す複数の端末状態情報及び前記ユーザがネットワークを介して投稿した複数の投稿情報のうち、前記感情の推測結果との関連性が相対的に大きい一以上の前記端末状態情報及び前記投稿情報に基づいて選択した説明を前記ユーザの携帯端末に通知するステップと、
を実行させ、
前記複数の事象情報を取得するステップにおいて、前記複数の事象情報として、前記ユーザの携帯端末の状態を示す複数の端末状態情報と、前記ユーザがネットワークを介して投稿した複数の投稿情報とを取得させ、
前記ユーザの感情を推測するステップにおいて、前記複数の端末状態情報及び前記複数の投稿情報のうち、前記感情の推測結果との関連性が相対的に大きい一以上の前記端末状態情報及び前記投稿情報を選択させ、
前記通知するステップにおいて、選択した前記一以上の前記端末状態情報及び前記投稿情報に基づく前記説明を前記ユーザの携帯端末に通知させるためのプログラム。 On the computer
Steps to acquire multiple event information indicating events related to the user's emotions,
A step of inferring the user's emotions based on the plurality of event information,
Along with the estimation result of the emotion, the explanation including the reason why the user presumes to have the emotion, the plurality of terminal state information indicating the state of the mobile terminal of the user acquired as the event information, and the user. Of the plurality of posted information posted via the network, one or more terminal state information having a relatively large relevance to the emotional estimation result and an explanation selected based on the posted information are carried by the user. Steps to notify the terminal and
To execute ,
In the step of acquiring the plurality of event information, as the plurality of event information, a plurality of terminal state information indicating the state of the user's mobile terminal and a plurality of posted information posted by the user via the network are acquired. Let me
In the step of estimating the emotion of the user, one or more of the plurality of terminal state information and the plurality of posted information having a relatively large relationship with the estimation result of the emotion, the terminal state information and the posted information. Let me select
In the step of notifying, because the program is notified of the explanation based on the selected the one or more of the terminal status information and the post information to the portable terminal of the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018084088A JP6970641B2 (en) | 2018-04-25 | 2018-04-25 | Emotion Guessing Method, Emotion Guessing Device and Program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018084088A JP6970641B2 (en) | 2018-04-25 | 2018-04-25 | Emotion Guessing Method, Emotion Guessing Device and Program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019191937A JP2019191937A (en) | 2019-10-31 |
| JP6970641B2 true JP6970641B2 (en) | 2021-11-24 |
Family
ID=68391364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018084088A Active JP6970641B2 (en) | 2018-04-25 | 2018-04-25 | Emotion Guessing Method, Emotion Guessing Device and Program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6970641B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7420220B2 (en) | 2020-03-24 | 2024-01-23 | ヤマハ株式会社 | Trained model establishment method, estimation method, performance agent recommendation method, performance agent adjustment method, trained model establishment system, estimation system, trained model establishment program and estimation program |
| JP7400965B2 (en) | 2020-05-28 | 2023-12-19 | 日本電信電話株式会社 | Mood prediction method, mood prediction device and program |
| JP7495363B2 (en) | 2021-02-03 | 2024-06-04 | Kddi株式会社 | Personality information generation model, device and method using domain-independent RNN |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4352340B2 (en) * | 2006-03-24 | 2009-10-28 | 富士電機システムズ株式会社 | Neural network output value evaluation method and storage medium |
| KR101830767B1 (en) * | 2011-07-14 | 2018-02-22 | 삼성전자주식회사 | Apparuatus and Method for recognition of user's emotion |
| JP5875005B2 (en) * | 2012-08-30 | 2016-03-02 | 日本電信電話株式会社 | Human emotion estimation device, human emotion estimation method, and human emotion estimation program |
| US20170004269A1 (en) * | 2015-06-30 | 2017-01-05 | BWW Holdings, Ltd. | Systems and methods for estimating mental health assessment results |
| JP2017134689A (en) * | 2016-01-28 | 2017-08-03 | Kddi株式会社 | Management server, system, program, and method for determining user state of each terminal |
-
2018
- 2018-04-25 JP JP2018084088A patent/JP6970641B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019191937A (en) | 2019-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11526720B2 (en) | Artificial intelligence system for supporting communication | |
| US11659050B2 (en) | Discovering signature of electronic social networks | |
| Peterson et al. | Deep models of superficial face judgments | |
| CN110162703A (en) | Content recommendation method, training method, device, equipment and storage medium | |
| JP5454357B2 (en) | Information processing apparatus and method, and program | |
| JP6911603B2 (en) | How to generate predictive models for the categories of facilities visited by users, programs, server equipment, and processing equipment | |
| KR20190084278A (en) | Automatic suggestions for sharing images | |
| JP6970641B2 (en) | Emotion Guessing Method, Emotion Guessing Device and Program | |
| CN111339404A (en) | Content popularity prediction method and device based on artificial intelligence and computer equipment | |
| CN109903127A (en) | Group recommendation method and device, storage medium and server | |
| KR101693429B1 (en) | System for identifying human relationships around users and coaching based on identified human relationships | |
| KR20150142610A (en) | Method and system for coaching based on relationshinp type | |
| CN111125507B (en) | Group activity recommendation method and device, server and computer storage medium | |
| JP7348230B2 (en) | Generation device, generation method, and generation program | |
| US20220015657A1 (en) | Processing eeg data with twin neural networks | |
| US20230075408A1 (en) | Methods and systems for interactively counseling a user with respect to supervised content | |
| Mahmud et al. | Optimizing the selection of strangers to answer questions in social media | |
| US20220368986A1 (en) | Methods and systems for counseling a user with respect to supervised content | |
| Liu et al. | An agent-based modeling analysis of helpful vote on online product reviews | |
| CN112749332B (en) | Data processing method, device and computer readable medium | |
| JP2020144411A (en) | Attribute estimation apparatus, attribute estimation method, attribute estimator learning apparatus and program | |
| JP6659011B2 (en) | Search system, data collection device and search program | |
| JP2019091260A (en) | Apparatus, method and program for time-series analysis | |
| JP2017199258A (en) | Related topic detection device | |
| US20200192958A1 (en) | System and method for quantifying public disposition with respect to electronic media content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211029 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6970641 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |