JP3953024B2 - 感情算出装置及び感情算出方法、並びに携帯型通信装置 - Google Patents

Description

本発明は、人間の感情を算出する感情算出装置及び感情算出方法、並びに通信相手や通信内容に対する感情を算出する携帯型通信装置に関する。

心理学には、基本感情説と次元説と呼ばれる感情を定義する２つの学説が存在する。基本感情説は、感情は生物が生存するうえで必要に応じて進化し遺伝的に組み込まれたものであり、生物は「驚き」、「怒り」、「嫌悪」、「悲しみ」、「喜び」などの基本感情を生まれつき持っているということを前提としている。

これに対し次元説は、基本感情説のように感情を離散的に扱わず、感情を複数の軸方向に量をもつ多次元上の１つのベクトルとして表現する。例えば、今ここに１つの花瓶が置かれている。花瓶にはさまざまな模様が施されている。この花瓶を違う方向から見たときとは見え方が変化する。しかし、花瓶は１つであり、見え方が変わったからといって同じ花瓶に違いがない。この花瓶のように同じ感情も見える角度、すなわち文脈や状況が違えばその感情の捉え方が変わり、ある場合にはまったく違った感情に感じられることがある。このように、「怒り」という感情には特定の決まったパターンがあるのではなく、単にあるベクトルの方向と大きさをもつ状態を「怒り」とラベリングしただけであり、状況、文脈によっては「恐れ」などの違った感情と認識されうるという考え方が次元説である。

次元説では、感情を表現するため感情モデルと呼ばれる様々な座標空間が提唱されている。感情モデルの１つであるレヴィンの感情モデルは、覚醒度（アルザル；arousal）と、誘発性（バレンス；valence）の２つを感情の方向としている。誘発性とは、力学的心理学に関する概念であり、人間が対象に対して抱くポジティブ性、ネガティブ性に関する。人間は正の誘発性を持つ対象に引き付けられ、負の誘発性を持つものを回避する。一般に誘発性が高い場合、ユーザの感情を「喜び」「リラックス」「快適」とラベリングすることができる。一方、誘発性が低い場合には、「悲しみ」「退屈」「恐れ」「緊張」とラベリングすることができる。誘発性は、Clynesが示したSenticsという誘発性と圧との関係に従い測定することができる（非特許文献１参照。）。

Clynes,M "Sentics:biocybernetics of emotion Communication",Annuals of the New York Academy of Science,220,3,55-131 1973

本発明は、ユーザから物体に作用する圧力からユーザの感情を算出する感情算出装置及び感情算出方法、並びに携帯型通信装置を提供することを目的とする。

本発明にかかる感情算出装置は、ユーザによって入力操作される入力手段と、入力手段に作用する圧力を検出する圧力検出手段と、圧力検出手段が検出した圧力を基に、誘発性の高さを示す感情データを算出する感情データ算出手段とを備え、感情データ算出手段は、検出した圧力に応じて単純増加する誘発性の高さを示す感情データを算出すると共に、圧力がかかる時間が瞬発的である場合には、単純増加する誘発性とは異なる誘発性を示す感情データを算出する。

本発明にかかる携帯型通信装置は、ユーザによって操作信号が入力される入力手段と、入力手段に作用する圧力を検出する圧力検出手段と、ユーザから作用する圧力を基に、誘発性の高さを示す感情データを算出する感情データ算出手段と、感情データを出力する出力手段とを備え、感情データ算出手段は、検出した圧力に応じて単純増加する誘発性の高さを示す感情データを算出すると共に、圧力がかかる時間が瞬発的である場合には、単純増加する誘発性とは異なる誘発性を示す感情データを算出する。

本発明にかかる感情算出方法は、ユーザによって入力操作される操作子に作用する圧力を検出する圧力検出工程と、操作子に作用する圧力を基に誘発性の高さを示す感情データを算出する感情データ算出工程とを有し、感情データ算出工程では、検出した圧力に応じて単純増加する誘発性の高さを示す感情データを算出すると共に、圧力がかかる時間が瞬発的である場合には、単純増加する誘発性とは異なる誘発性を示す感情データを算出する。

本発明によればユーザから物体に作用する圧力を基にユーザの感情データを算出することができる。本発明によれば算出した感情データをユーザに出力することにより、ユーザは無意識の感情を知ることができる。また、感情データと、感情データを算出したときに通信していた相手とを結びつけることにより、通信相手や通信内容に対する無意識の感情を知ることができる。さらに、感情データを通信内容に盛り込んで、情報の表現を豊かにすることができる。

本発明は、ユーザの感情を算出するためにユーザから物体に作用する圧力と誘発性との関係を利用する。誘発性とは、力学的心理学の概念であり、誘意性とも訳される。誘発性は、対象が人を引き付けたり避けさせたりする性質であり、人のもつ心理学的事態において発生する。当該の対象が人を引き付ける場合には正の誘発性をもつ対象、また、回避させようとする場合には負の誘発性をもつ対象と呼ぶ。

一般に、誘発性が高いほど対象に対する好意や興味が高いといわれており、逆に誘発性が低いほど対象に対する好意が少なく無関心であるといわれる。本明細書では、誘発性の高さを示すデータを感情データと呼ぶ。

本明細書では、ユーザが操作する物体を被操作体１と呼ぶ。ユーザが被操作体１を操作するときにユーザを引き付ける対象は、例えば、被操作体１自身や被操作体１を操作するときにユーザを取り巻く環境などである。例えば、ユーザが携帯電話を操作しているときは、携帯電話の通話内容、作成しているメールの内容などがユーザを引き付ける対象となる。また、車を運転しているときには、車内で流れる音楽や車内からの風景などがユーザを引き付ける対象となる。

本発明では、被操作体１に圧力センサ２を設け、この圧力センサ２の出力を基にユーザの操作対象に対する感情データを算出する。そして、誘発性を電子機器の動作制御に活用する。

図１は、本発明の基本的な構成要素を示す。本発明は、ユーザから被操作体１に作用する圧力を検出する圧力センサ２と、ユーザの圧力を基に誘発性の高さを算出する感情算出部３と、ユーザの感情に応じた処理を実行するアプリケーション部４ａ，４ｂ，４ｃとを備える。

圧力センサ２は、被操作体１に設けられる。被操作体１には、携帯電話、ＰＤＡ（Personal Digital Assistant）、リモートコントローラ、ゲームのコントローラ、ハンドヘルドコンピュータ、乗り物のハンドルなどがある。

被操作体１は、ユーザが両手又は片手で持つことのできる形状をしている。ユーザは、被操作体１を手に持って操作する。ユーザの手から被操作体１に作用する圧力は、圧力センサ２によって検出される。圧力センサ２は、例えば、フィルムの曲げにより静電容量が変化する高分子圧電フィルム、圧力により抵抗値が変化する圧電ゴム、ひずみの発生により抵抗値が微小変化するひずみゲージなどがある。これらの圧力センサ２は、被操作体１の面状のものでもよいし、被操作体１の表面に設けた仮想的な格子の中心に設けた点状のものでもよい。

圧力センサ２は、被操作体１のユーザの手が接触する部分にのみ設けてもよい。図２は、圧力センサ２の設置位置を示している。例えば、携帯電話１３では、ユーザの親指の付け根と、親指を除く指の内側と携帯電話１３の両側面に接触するため、その位置に圧力センサ２を設ける。携帯電話１３と同様の位置に圧力センサ２を設置する被操作体１には、リモートコントローラ１１、ＰＤＡ１２などがある。これらの被操作体１は、ユーザが片手で把持する形状をしている。

一方、ゲームのコントローラ１４やハンドヘルドコンピュータ１５などの両手で把持するタイプの被操作体１もユーザの手は被操作体１の両側面に接触する。そこで、両手で把持するタイプの被操作体１も同様の位置に圧力センサ２を設ける。その他、自動車の円形のハンドル１６は、ハンドル１６の左右に手が接触する。このように、ユーザの手が接触する部分にのみ圧力センサ２を設けるとセンサの数を減少させることができる。

圧力センサ２は、被操作体１の入力部５にも設けられる。例えば、図２の携帯電話１３では、入力部５は、入力ボタンである。入力ボタンは、物理的なボタンでもよいし、表示画面に表示された仮想的なボタンでもよい。物理的な入力ボタンには、２値的な情報を入力するトグルキーのほかに、方向を入力する十字キーやスライドキーなどがある。これらのボタンは、ＰＤＡ１２、リモートコントローラ１１、ゲームのコントローラ１４にも設けられる。

アプリケーション部４ａ，４ｂ，４ｃは、感情データ算出部が算出した感情データに応じて電子機器の処理を行う。アプリケーション部４ａ，４ｂ，４ｃは、ユーザが誘発性を感じた対象を特定する。誘発性を感じる対象は、例えば、携帯電話１３では通話相手や通話内容、ゲームコントローラ１４ではゲームの内容、リモートコントローラ１１ではテレビやビデオの内容、車のハンドル１６では運転中に流れる音楽や道路状況などである。アプリケーション部４ａ，４ｂ，４ｃは、被操作体１に対する誘発性を電子機器の動作制御に活用する。以下、活用事例について説明する。

実施例１は、本発明を携帯電話２０に適用した例である。この携帯電話２０は、通信相手に対する誘発性を算出し、ユーザの無意識の感情をユーザにフィードバックしたり、通信相手にフィードバックする。

図３は、携帯電話の内部構造を示すブロック図である。携帯電話２０は、入力部２１と、本体の握り圧や入力部２１の押圧を検出する圧力センサ２２と、通信相手や通信内容に対する好悪や関心の有無を判断する感情算出部２３と、音声や画像などを出力する出力部２４と、通信を行うための情報交換や電波の変調復調を行う通信部２５と、通信相手に対する感情をユーザに知らせる感情出力部２６と、通信相手や通信内容に対する感情を通信相手に通知する感情提示部２７と、感情を記憶するデータベース２９と、データベースの記憶内容を管理するデータベース管理部３０と、データベース２９の蓄積結果に統計処理を施し統計結果をユーザに知らせる感情分析部２８と、携帯電話２０全体を制御する制御部３１とを備える。

感情算出部２３は、携帯電話２０の通信内容や通話相手に対する誘発性を計算する。誘発性とユーザが発生する圧とは関連があり、誘発性が増加すると同時に圧も増加する。誘発性と圧の関係は、単純増加ではなく、いくつかの例外が存在する。例えば、ユーザが発した圧力が大きいとしてもその圧力がかかる時間が瞬発的である場合には、この圧力は好意ではなく、「怒り」を示している。感情算出部２３は、このような例外を特別に処理する。

感情出力部２６は、通信相手を特定し通信相手に対する感情をユーザに通知する。感情出力部２６は、音、光、画像、映像、振動を出力して感情を通知する。ユーザに通知する感情は、ユーザの現在の感情でもよいしデータベースに蓄積した過去の感情でもよい。

感情提示部２７は、通信相手に対しユーザの感情を通知する。感情提示部２７は、ユーザの感情を音、光、文字、画像、映像、振動などに変換して通信相手に出力する。具体的に、感情提示部２７は、通信相手の着信音、着信画面、発光素子の発光パターン、バイブレータの振動パターンなどを変化させる。

また、感情提示部２７は、ユーザの感情をメール内容に含める。図４に示すメールでは、「人が足りなくて困っている。手伝いに来て。お願い！！」という文章が記述されている。感情提示部２７が作成したメールでは、「手伝いに来て」と「お願い！！」という文字のサイズが大きくなっている。これは、「手伝いに来て」と「お願い！！」と記述したときにユーザの誘発性が高くなっていたため、この文字を強調するために文字のサイズを大きくしている。感情提示部２７は、文字サイズのほかに、文字の色、文字の太さ、背景の色、背景の柄などを変化させる。また、感情提示部２７は、ユーザの感情に応じた絵文字や顔文字などを挿入する。

データベース２９は、感情算出部２３の計算結果を通信相手ごとに分類して記憶する。データベース２９は、図５に示すように通信相手、通信内容、感情データ、通信日時などを記憶する。データベース管理部３０は、通信相手に関する情報を通信部２５から受信し、感情データを感情算出部２３から入力する。データ管理部３０は、入力した感情データを通信相手と関連付けてデータベース２９に記憶する。

感情分析部２８は、データベース２９に記録された感情データを解析する。感情分析部２８は、感情データに統計処理を施しユーザの感情変化の傾向を判断したり、感情の変化を図表として表示画面に出力させたりする。

以下、図６を参照して携帯電話２０で音声通話をするときにユーザが通話相手に対して持つ感情や通話相手がユーザに対して持つ感情をユーザに出力する処理の手順を説明する。

携帯電話２０は、外部の基地局又はユーザからの通信要求を待機する。携帯電話２０は、通信要求を入力すると（ステップＳ１；ＹＥＳ）、この通信要求がユーザからのものであるか外部の通信相手からのものであるかを判断する（ステップＳ２）。外部の通信相手からの通信要求を受けた場合には（ステップＳ２；ＹＥＳ）、通信相手を特定し、この通信相手に関する感情データをデータベース２９から検索する（ステップＳ３）。感情出力部２６は、検索した感情データに応じて着信音、着信画面、発光素子の発光パターン、バイブレータの振動パターンなどを出力する（ステップＳ４）。ユーザが携帯電話２０に着信音に応答すると、携帯電話２０は、通信相手との回線接続を行う（ステップＳ５）。

一方、ユーザが通信を要求した場合（ステップＳ２；ＮＯ）、携帯電話２０は、ユーザから指示された通信相手との回線接続を行う（ステップＳ５）。また、ステップＳ１において、通信要求が発生しない場合には（ステップＳ１；ＮＯ）、通信要求の発生を待機する。

携帯電話２０は、外部の通信相手との接続が確立すると、通信相手に対する感情を自分にフィードバックする処理と（ステップＳ６〜ステップＳ９）、通信相手の自分に対する感情を自分にフィードバックする処理と（ステップＳ１０〜ステップＳ１２）とを行う。

まず、通信相手に対する感情を自分にフィードバックする処理について説明する。圧力センサ２２は、ユーザが携帯電話２０を掴む握力や入力ボタンの押圧力を検出する（ステップＳ６）。感情算出部２３は、ユーザから携帯電話２０に作用する圧力Ｐから感情データｅを算出する。感情データｅは、以下に示す式（１）から算出することができる。

ｅ＝Ｐ／Ｐｍａｘ・・・（１）
ここで、Ｐｍａｘは圧力の最大値である。式（１）は、圧力Ｐを正規化する。なお、式（１）左辺の分母は、圧力の平均や標準偏差でもよい（ステップＳ７）。

感情出力部２６は、感情算出部２３が算出した感情データｅをユーザに通知する。感情データｅを通知する媒体は、音、光、画像、映像、振動などである。感情データｅを通知するときには、感情データｅを数値で出力してもよいし、感情データｅの表現形式を変えて出力してもよい。例えば、感情データの値の大きさを発光素子の出力で表現することができる（ステップＳ８）。

データベース管理部３０は、ユーザの通信相手を特定して、感情データｅを通信相手と関連付けてデータベース２９に格納する（ステップＳ９）。

次いで、通信相手の自分に対する感情を自分にフィードバックする処理について説明する。携帯電話２０は、通信相手の感情データを受信する（ステップＳ１０）。携帯電話２０は、受信した感情データを音、光、画像、映像、振動、文字などの形式で出力する。

通信相手の自分に対する感情と、自分の通信相手に対する感情を同時に出力することにより、ユーザと通信相手との相性、ユーザと通信相手との意見の一致の度合いを通知することができる（ステップＳ１１）。

データベース管理部３０は、ステップＳ１０で受信した通信相手のユーザに対する感情データをデータベース２９に蓄積する（ステップＳ１２）。感情解析部２８は、データベース２９に蓄積された感情データを図表にしたり感情データの解析を行う。

携帯電話２０は、感情データを蓄積すると通話が終了したか否を判断する（ステップＳ１３）。そして、通話が継続している場合（ステップＳ１３；ＮＯ）、携帯電話２０は、ステップＳ６に処理を移行する。一方、通話が終了している場合（ステップＳ１３；ＹＥＳ）、携帯電話２０は処理を終了する。

次いで、図７のフローチャートに従ってメールを送受信するときにユーザの感情を通信相手に出力する処理の手順を説明する。

携帯電話２０は、外部からのメールの受信、又は、ユーザのメールの作成開始を待機している。そして、ユーザがメールを作成し始めると（ステップＳ２１；ＹＥＳ）、ユーザの手から携帯電話２０に作用する圧力を検出する（ステップＳ２２）。感情算出部２３は、圧力から感情データを算出し、データベース２９に蓄積する（ステップＳ２３）。感情出力部２６は、感情データを画面に表示したり、感情を表現する光を発光したりする。ユーザは、これらの出力から通信相手やメールの内容に対する自分の無意識の感情を知ることができる（ステップＳ２４）。

感情提示部２７は、メールの作成が終了すると、文章の文字のサイズや色、背景の色や柄が変化してメールに文書作成時のユーザの感情を含める。また、感情提示部２７は、ユーザの感情を通信相手に通知するために当該メールの着信音や着信画面を変化する（ステップＳ２５）。メールの作成が終了すると（ステップＳ２６；ＹＥＳ）、通信部２５は、作成したメールを通信相手に送信する（ステップＳ２７）。一方、メールの作成が終了しない場合には（ステップＳ２６；ＮＯ）、ステップＳ２２に処理を移行する。

一方、ユーザがメールを作成していないときに（ステップＳ２１；ＮＯ）、メールを受信すると（ステップＳ２８；ＹＥＳ）、感情出力部２６は、通信相手に対する過去の感情データをデータベース２９から検索する（ステップＳ２９）。次いで、感情出力部２６は、感情データに基づいて着信音や着信画面を変化させる（ステップＳ３０）。携帯電話２０は、着信音を出力した後、メールの内容を受信する（ステップＳ３１）。

以上説明したように、本発明を適用した携帯電話２０は、ユーザが携帯電話２０を握る時の圧力及びユーザが入力ボタンを操作するときの押圧を検出し、検出した圧力を基にユーザの通信相手や通信内容に対する感情を算出する。

そして、ユーザの通信相手に対する感情をフィードバックすることにより、ユーザは通信相手に対する無意識の感情を知ることができる。また、感情を通信相手にフィードバックすることにより通信相手にユーザの感情をより豊かに伝達することができる。

また、携帯電話２０は、長い時間把持しているため、ユーザの発する圧力を正確に計測することができる。

実施例２は、本発明をゲーム機器４０に適用した例である。ゲーム機器４０は、図８に示すように、入力装置としてのコントローラ４１と、ゲームのストーリを記憶する記憶媒体４２と、記憶媒体４２に記憶されたゲームプログラムを読み出すドライバ４３と、ユーザの入力とゲームプログラムに応じてゲームのストーリ展開を変化させる制御部４４と、画像を出力する画像出力部４５と、音声を出力する音声出力部４６とを備える。

コントローラ４１には、圧力センサ４７が設けられている。感情算出部４８は、ユーザからコントローラ４１に作用する圧を基にユーザの感情を算出する。ゲームのストーリは、コントローラ４１の操作によるユーザの意識的な入力のほかに、コントローラ４１の操作時にユーザが発生する無意識の圧力とに基づいて変化する。

例えば、ユーザがそのゲームに深く集中しているときには、ゲームのストーリ展開を早くしたり、ユーザの意識がゲームから離れたときには、ユーザを引き付けるイベントを発生したりする。

また、ユーザの意識が急にゲームから離れたときには、ゲームの動作を中断することもできる。これにより、ゲームの操作中に不意の出来事（電話がかかる、人に呼ばれるなど）があってもゲームを途中から継続することができる。

さらに、ユーザの興味を持つ内容を強調するようにしてもよい。例えば、ユーザがあるキャラクタが出現したときにユーザの誘発性が高くなるときは、そのキャラクタが中心のストーリ展開に切り換えていく。

本発明の基本構成を示すブロック図である。 圧力センサの取り付け位置の一例を示す図である。 本発明を適用した携帯型通信装置の内部構成を示すブロック図である。 メールの文章の一例を示す図である。 データベースの構成を示す図である。 音声通話時における携帯電話の動作を示すフローチャートである。 メール送受信時における携帯電話の動作を示すフローチャートである。 本発明を適用したゲーム機器の内部構成を示すブロック図である。

符号の説明

１ 被操作体、２ 圧力センサ、３ 感情算出部、４ａ，４ｂ，４ｃ アプリケーション部、２０ 携帯電話、２１ 入力部、２２ 圧力センサ、２３ 感情算出部、２４ 出力部、２５ 通信部、２６ 感情出力部、２７ 感情提示部、２８ 感情分析部、２９ データベース、３０ データベース管理部、４０ ゲーム機器、４１ コントローラ、４２ 記憶媒体、４３ ドライバ、４４ 制御部、４５ 画像出力部、４６ 音声出力部、４７ 圧力センサ、４８ 感情算出部

Claims (10)

1. ユーザによって入力操作される入力手段と、
   上記入力手段に作用する圧力を検出する圧力検出手段と、
   上記圧力検出手段が検出した圧力を基に、誘発性の高さを示す感情データを算出する感情データ算出手段とを備え、
   上記感情データ算出手段は、上記検出した圧力に応じて単純増加する誘発性の高さを示す感情データを算出すると共に、上記圧力がかかる時間が瞬発的である場合には、上記単純増加する誘発性とは異なる誘発性を示す感情データを算出すること
   を特徴とする感情算出装置。
2. 上記感情データ算出手段が算出した感情データを音、光、画像、映像、振動の少なくとも１つに変換して出力する感情データ出力手段を備えることを特徴とする請求項１記載の感情算出装置。
3. 上記感情データ算出手段が算出した感情データを蓄積する感情データ蓄積手段を備えることを特徴とする請求項１記載の感情算出装置。
4. ユーザによって操作信号が入力される入力手段と、
   上記入力手段に作用する圧力を検出する圧力検出手段と、
   上記ユーザから作用する圧力を基に、誘発性の高さを示す感情データを算出する感情データ算出手段と、
   上記感情データを出力する出力手段とを備え、
   上記感情データ算出手段は、上記検出した圧力に応じて単純増加する誘発性の高さを示す感情データを算出すると共に、上記圧力がかかる時間が瞬発的である場合には、上記単純増加する誘発性とは異なる誘発性を示す感情データを算出すること
   を特徴とする携帯型通信装置。
5. 上記入力手段から入力した文章を電子メールとして外部の通信装置に送信する電子メール送信手段と、
   上記ユーザの感情データを基に上記電子メールに記述された文字のフォント及び／又は文章のレイアウトを変化させる文書変化手段と
   を備えることを特徴とする請求項４記載の携帯型通信装置。
6. 通信時の感情データと、通信先の通信装置の識別情報とを関連付けて記憶する感情データ記憶手段を備えることを特徴とする請求項４記載の携帯型通信装置。
7. 他の通信装置からの電波を受信したとき、当該通信装置と過去に通信したときの感情データを上記感情データ記憶手段から検索する感情データ検索手段と、
   上記過去に通信したときの感情を着信音及び／又は着信画面で通知する通信相手通知手段と
   を備えることを特徴とする請求項６記載の携帯型通信装置。
8. ユーザによって入力操作される操作子に作用する圧力を検出する圧力検出工程と、
   上記操作子に作用する圧力を基に誘発性の高さを示す感情データを算出する感情データ算出工程とを有し、
   上記感情データ算出工程では、上記検出した圧力に応じて単純増加する誘発性の高さを示す感情データを算出すると共に、上記圧力がかかる時間が瞬発的である場合には、上記単純増加する誘発性とは異なる誘発性を示す感情データを算出すること
   を特徴とする感情算出方法。
9. 上記感情データ算出工程で算出した感情データを音、光、画像、映像、振動の少なくとも１つに変換して出力する感情データ出力工程を有することを特徴とする請求項８記載の感情算出方法。
10. 上記感情データ算出工程で算出した感情データを感情データ蓄積手段に蓄積する感情データ蓄積工程を有することを特徴とする請求項８記載の感情算出方法。

Images