JP6774018B2

JP6774018B2 - 対話装置

Info

Publication number: JP6774018B2
Application number: JP2016180318A
Authority: JP
Inventors: 孝雄内藤; タプリヤローシャン
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2016-09-15
Filing date: 2016-09-15
Publication date: 2020-10-21
Anticipated expiration: 2036-09-15
Also published as: CN107825429B; US20180075848A1; CN107825429A; JP2018045118A

Description

本発明は、対話装置に関する。

特許文献１には、不快感の強さを示す変数を保持し、不快感を増加させる増加信号を受け付けた場合には、変数の値を増加させ、不快感を減少させる減少信号を受け付けた場合には、変数の値が下限値でなければ変数の値を減少させることにより、変数の値の増減に基づいて快感の強さを疑似的に再現するロボット装置が開示されている。

特許文献２は、ユーザの音声信号及び画像信号に基づいてユーザの情動を検出し、これらの検出結果に基づいて、ユーザの現在の情動を予め所定数に離散化された複数の情動の何れかに分類し、さらに、ユーザの行動とを結び付けることにより、ユーザの情動遷移モデルを構築するロボット装置を開示している。

特許文献３は、ロボットは人と対話する際、会話の内容からその人の感情を判別するとともに、人の感情と人の親密度をもとに対話データベースを検索し、検索した態度でその人間に対して応答するロボット装置およびロボット装置の対話方法を開示している。なお、ロボットは、人間の親密度によって会話の内容、感情の込め方を変えて人に接する。

特許文献４には、利用者との対話時における利用者の表情から得た感情、音声から得た感情、口調、およびテキストの情報を組み合わせることにより利用者の性格を分類し、分類に応じて応答を変化させる対話エージェントが開示されている。

特許文献５には、話者の性格と、話者の現在の感情状態とをそれぞれ示す値を使用した計算結果に応じて応答内容を決定する音声対話制御装置が開示されている。

特開２００６−２７２４８３号公報特開２００５−２３８４２２号公報特開２００４−０９０１０９号公報特開２００６−０７１９３６号公報特開２００４−０２１１２１号公報

本発明は、利用者の感情を、現在の感情とは異なる別の感情に変化させることを誘導する対話を行う対話装置を提供することを目的とする。

請求項１に係る本発明は、
ある話題と、当該話題による対話前後の利用者毎の感情の変化とを関連付けて記憶する記憶手段と、
利用者の感情を表す徴候を検出する検出手段から得た情報を用いて利用者の感情を推定する推定手段と、
推定手段で得た感情と対話前の感情とが一致又は類似し、かつ、目標とする感情と対話後の感情とが一致又は類似する話題を、前記記憶手段から抽出して利用者と対話を行う対話手段と、を備える対話装置である。

請求項２に係る本発明は、
ある話題と、当該話題による対話前後の利用者毎の感情の変化とを関連付けて記憶する記憶手段と、
利用者の感情を表す徴候を検出する検出手段から得た情報を用いて利用者の感情を推定する推定手段と、
推定手段で得た感情から目標とする感情までの変化が、前記記憶手段の対話前後の感情の変化と一致又は類似する話題を、前記記憶手段から抽出して利用者と対話を行う対話手段と、を備える対話装置である。

請求項３に係る本発明は、請求項１又は２記載の対話装置において、前記対話装置はさらに、当該対話装置と利用者が対話を行う状況を取得する取得手段を備え、前記記憶手段は、前記取得手段が取得した状況毎に、話題と、その話題による対話前後の利用者の感情変化とを関連付けて記憶し、前記対話手段は、前記取得手段が取得した状況に対応する状況下において、前記推定手段で得た感情と対話前の感情とが一致又は類似し、かつ、目標とする感情と対話後の感情とが一致又は類似する話題を、前記記憶手段から抽出することを特徴とする。

請求項４に係る本発明は、請求項３記載の対話装置において、前記取得手段は、当該対話装置と利用者が対話を行う位置に基づいて状況を推定することを特徴とする。

請求項５に係る本発明は、請求項１から４いずれかに記載の対話装置において、前記対話手段は、前記推定手段により推定された利用者の現在の感情の強さに応じて目標とする感情を定めて話題を抽出することを特徴とする。

請求項６に係る本発明は、請求項１から５いずれかに記載の対話装置において、前記記憶手段は、利用者の性格をさらに記憶し、前記対話手段は、前記記憶手段に記憶された利用者の性格に応じて目標とする感情を定めて話題を抽出することを特徴とする。

請求項７に係る本発明は、請求項１から５いずれかに記載の対話装置において、複数の利用者が存在する場合に、前記対話手段は、感情を変化させる対象となる利用者と、当該対象となる利用者の現在の感情とは異なる、目標とする感情とを定めて話題を抽出することを特徴とする。

請求項１に係る本発明によれば、利用者の感情を、現在の感情とは異なる別の感情に変化させることを誘導する対話を行う対話装置を提供できる。

請求項２に係る本発明によれば、利用者の感情を、現在の感情とは異なる別の感情に変化させることを誘導する対話を行う対話装置を提供できる。

請求項３に係る本発明によれば、目標とする感情へと利用者を変化させるための適切な話題を、利用者との対話が行われる状況に応じて提供できるようになる。

請求項４に係る本発明によれば、位置に関わらず利用者との対話が行われる状況を取得する場合に比べ、状況をより正確に反映させた話題を提供できるようになる。

請求項５に係る本発明によれば、目標とする感情へと利用者を変化させるための適切な話題を、利用者の感情の強さに応じて変化させることができるようになる。

請求項６に係る本発明によれば、目標とする感情へと利用者を変化させるための適切な話題を、利用者の性格に応じて提供できるようになる。

請求項７に係る本発明によれば、複数の利用者が存在する場合であっても、選択された利用者の感情を、現在の感情とは異なる別の感情に変化させることを誘導する対話を行うことができるようになる。

本発明の一実施形態の対話システム１０の一例を示す説明図である。実施形態における対話型ロボット２０のハードウェア構成図である。実施形態における対話型ロボット２０の機能ブロック図である。実施形態における性格情報データベース２１７の一例を示す図である。実施形態における会話実績データベース２１８の一例を示す図である。実施形態における感情変換テーブル２１９の一例を示す図である。実施形態の対話型ロボット１０の動作の流れを示すフローチャートである。複数の利用者が会議を行っている場合の対話型ロボットの動作を説明する図であり、図８（Ａ）は会議開始当初の状態、図８（Ｂ）は、会議開始後所定時間経過後の状態、図８（Ｃ）は、対話型ロボット２０の対話の様子を示す図である。複数の利用者が会議を行っている場合の対話型ロボットの動作を説明する図であり、図９（Ａ）は会議開始当初の状態、図９（Ｂ）は、会議開始後所定時間経過後の状態、図９（Ｃ）は、対話型ロボット２０の対話の様子を示す図である。利用者３０の現在の感情から目標とする感情までの変化が、会話実績データベース２１８における対話前後の感情の変化と類似する話題を抽出する概念を説明した図であり、図１０（Ａ）は感情変化テーブル２１９に基づく利用者３０の現在の感情から目標とする感情までの変化を示す図であり、図１０（Ｂ）は、会話実績データベース２１８に記憶されている、ある話題による対話前後の利用者の感情の変化を示す説明図である。

本発明の一実施形態の対話システム１０を、図１を参照して説明する。図１は、本発明の一実施形態の対話システム１０の一例を示す説明図である。本実施形態の対話システム１０は、対話型ロボット２０を含み、この対話型ロボット２０は、オフィスや家といった様々な場所で利用者３０と対話を行う。

対話型ロボット２０のハードウェア構成図を図２に示す。図２に示すように、対話型ロボット２０は、ＣＰＵ２０１、メモリ２０２、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等の記憶装置２０３、カメラ２０４、マイクロフォン２０５、スピーカ２０６、生体センサ２０７、移動装置２０８を備えて構成され、それぞれ制御バス２０９に接続されている。

ＣＰＵ２０１は、記憶装置２０３に記憶された制御プログラムに基づいて対話型ロボット２０の各部の動作を制御統括する。メモリ２０２には、対話型ロボット２０が利用者３０と行った対話時の対話音声、対話内容を含む対話情報、カメラ２０４により撮影された利用者３０の顔画像、表情、挙動、身体の状態の画像が一時的に記憶される。さらに、メモリ２０２には、生体センサ２０７によって検出された利用者３０の心拍数や皮膚の表皮抵抗等の生体情報も記憶される。記憶装置２０３には対話型ロボット２０の各部を制御するための制御プログラムが記憶される。カメラ２０４は、利用者３０の顔画像、表情、挙動、身体の状態の変化等を撮影し、メモリ２０１に記憶する。

マイクロフォン２０５は、利用者と対話を行った際に、利用者３０の音声を検出し、メモリ２０２に記憶、つまり録音する。なお、メモリ２０２には、音声を直接録音するのではなく、音声内容を解釈した後の対話内容のみを記憶させてもよい。スピーカ２０６は、対話型ロボット２０の後述する対話制御部が生成した音声を出力する。生体センサ２０７は、利用者３０の心拍数、皮膚の表皮抵抗（肌の伝導率）、体温等の生体情報を測定し、測定したデータをメモリ２０２に記憶する。なお、本発明におけるセンサは、生体センサ２０７に加えて、カメラ２０４、マイクロフォン２０５を含み、利用者３０の感情を表す徴候を検出する。移動装置２１７は、対話型ロボット２０を任意の場所に移動させるのに必要な車輪やモータ等の駆動装置、およびＧＰＳ受信装置等の現在位置検出装置で構成される。なお、カメラ２０４、マイクロフォン２０５、生体センサ２０７は、利用者３０の感情を表す徴候を検出する検出手段として機能する。

図３は、対話型ロボット２０の機能ブロック図を示す。対話型ロボット２０は、記憶装置２０３に記憶されている制御プログラムをＣＰＵ２０１において実行することにより、図３に示されるように、個人認証部２１１、対話制御部２１２、感情推定部２１３、状況取得部２１４、感情変化決定部２１５、話題抽出部２１６として機能する。さらに対話型ロボット２０は、さらに、個人情報データベース２１７、会話実績データベース２１８、感情変換テーブル２１９も含んで構成される。

個人認証部２１１は、カメラ２０４によって撮影され、メモリ２０２に一時的に記憶された利用者３０の顔画像を解析し、個人情報データベース２１８に記憶されている各利用者の顔画像の情報と比較することにより、利用者３０が誰であるかを特定する。個人認証部２１１は、顔認証以外の別の認証方法を使用して利用者３０を特定してもよい。例えば、カメラ２０４で撮影した利用者３０の目の部分画像を抽出して使用する虹彩認証、生体センサ２０７によって検出した利用者３０の生体情報を利用する静脈認証や指紋認証、マイクロフォン２０５で捉えた利用者３０の音声を解析して利用する声紋認証といった生体認証を採用してもよい。その場合、個人情報データベース２１８には、採用しようとする認証方法に応じてそれぞれの利用者３０に対応する虹彩パターンの情報、静脈パターンや指紋パターンの情報、声紋パターンの情報を記憶しておく必要がある。

対話制御部２１２は、対話型ロボット２０が利用者３０と行う対話を制御するものである。具体的には、対話制御部２１２は、後述する話題抽出部２１６が抽出した話題で利用者３０と対話を行うよう制御するが、抽出された話題に応じて利用者３０に対する応答メッセージを生成し、スピーカ２０６に出力する。対話型ロボット２０の記憶装置２０３には各種話題に応じた様々な会話パターンやセリフが記憶されており（図示せず）、利用者３０との対話に応じてそれら会話パターンを使用して利用者３０との対話を進める。また、対話型ロボット２０は通信機能を備えていてもよく、対話制御部２１２は、上述の話題に応じた適切な会話パターンやセリフを対話型ロボット２０に接続されたサーバから取得して応答メッセージを生成するようにしてもよい。

感情推定部２１３は、検出手段、つまりカメラ２０４、マイクロフォン２０５、生体センサ２０７により検出された利用者３０の感情を表す徴候の情報を用いて利用者３０の現在の感情を推定する。具体的には、感情推定部２１３は、利用者３０と対話型ロボット２０との対話時における利用者３０の挙動、顔の色、表情、心拍数、体温、肌の伝導率といった身体の状態、声の調子（トーン）、言葉の速さ（発話の速さ）、対話内容のいずれか少なくとも一つ、或いは複数の組み合わせで構成される、利用者の感情を表す徴候に基づいて利用者３０の感情を推定する。

例えば、顔色の変化はカメラ２０４によって撮影された利用者３０の顔画像のＲＧＢの割合の変化から検出可能であるが、感情推定部２１３は、この顔色の変化と、カメラ２０４におって撮影された利用者３０の顔の画像の口の開け具合から、『喜んでいる』というように、利用者３０の感情を推定する。また、感情推定部２１３は、生体センサ２０７により検出された利用者３０の心拍数や体温の変化、肌の伝導率の変化から、『緊張している』というように、利用者３０の感情を推定、或いは、利用者３０の声の調子と言葉の速さの変化に基づいて『苛立っている』というように、利用者３０の感情を推定する。

状況取得部２１４は、移動装置２０８の現在位置検出装置により特定された、対話型ロボット２０と利用者３０が対話を行っている現在位置情報に基づいて対話型ロボット２０と利用者３０が対話を行う状況を取得する。この状況は例えば、「公的状況」、「私的状況」といった大分類であってもよいし、「会議」、「オフィス」、「休憩所」、「家」、「居酒屋」といった小分類であってもよい。状況取得部２１４は、特定された現在位置情報と、予め記憶装置２０３に登録された地点情報とを比較し、現在位置情報に該当する地点情報に基づいて、対話型ロボット２０と利用者３０とが対話を行っている状況を取得する。

感情変化決定部２１５は、状況取得部２１４により取得された利用者３０と対話型ロボット２０とが対話を行っている状況、後述する個人情報データベース２１７に記憶された利用者３０の平常時の性格（本来の性格）、および感情推定部２１３により推定された利用者３０の現在の感情に基づいて、感情変換テーブル２１９を参照し、利用者３０の現在の感情とは異なる、目標とする感情を決定する。つまり、感情変化決定部２１５は、利用者３０をどんな感情にさせたいかを決定する。さらに、感情変化決定部２１５は、感情推定部２１３により推定された現在の感情の強さにより、目標とする感情を異ならせるようにしてもよい。

話題抽出部２１６は、感情推定部２１３によって得た利用者３０の現在の感情、感情変化決定部２１５により決定された目標とする変化後の感情、および対話型ロボット２０と利用者３０が対話を行っている状況に基づいて、利用者３０の感情を現在の感情から目標とする感情へと変化させた実績のある話題を、会話実績データベース２１８から抽出する。具体的には、話題抽出部２１６は、感情推定部２１３によって得た利用者３０の現在の感情と会話実績データベース２１８における対話前の感情とが一致し、かつ、目標とする感情と会話実績データベース２１８における対話後の感情とが一致する話題を、会話実績データベース２１８から抽出する。

個人情報データベース２１７には、それぞれの利用者の顔画像の情報と、平常時の性格とが結び付けられて記憶されている。図４は、個人情報データベース２１７の一例を示す図である。この個人情報データベース２１７には、利用者３０のＩＤ、性格１、性格２、性格３、顔画像の情報が関連付けられて記憶されている。例えば、ＩＤ「Ａさん」には、性格１として「積極的」、性格２として「外交的」、性格３として「社交的」が関連付けられて記憶されている。顔画像の情報は、顔を構成する目や鼻等の各要素の位置を示すデータ集合であってもよいし、顔画像データの保存先を示すデータであってもよい。

会話実績データベース２１８は、所定の状況下毎に、ある話題と、その話題による対話前後の利用者３０毎の感情の変化とを関連付けて記憶したデータベースである。つまり、どんな状況かで、どんな話題で対話を行った場合に、利用者の感情がどのように変化したかについての記録を蓄積している。図５は、会話実績データベース２１８の一例である。図５に示すように、それぞれの利用者毎に、対話前の感情、対話後の感情、状況１、状況２、話題１、話題２、話題３がそれぞれ関連付けられて記憶されている。例えば、図５においては、「Ａさん」の最初の感情「退屈」、変化後の感情「興奮」、状況１「公的」、状況２「オフィス」、話題１「会社Ａ」、話題２「売り上げ」が関連づけられて記憶されている。これは、Ａさんが、公的な状況、具体的にはオフィスにおいて、会社Ａの売り上げについての話題で対話をしたときに、対話前の感情は退屈していたが、対話によって感情が変化して興奮したということを意味している。

感情変換テーブル２１９は、利用者３０の平常時の性格、現在の感情、現在の感情の程度、現在の感情とは異なる目標となる感情を関連付けて記憶したものである。図６は、感情変換テーブル２１９の一例を示す。図６においては、平常時の性格「積極的」、現在の感情「落胆」に対し、現在の感情の程度「大」には目標とする変化後の感情として「幸せ」、現在の感情の程度「中」には目標とする変化後の感情として「穏やか」、現在の感情の程度「小」には目標とする変化後の感情として「リラックス」が関連付けられて記憶されている。

次に、図７を参照して、本実施形態の対話型ロボット２０の動作の流れを説明する。図７は、対話型ロボット１０の動作の流れを示すフローチャートである。対話型ロボット２０が利用者３０と対話を開始すると、個人認証部２１１は、カメラ２０４によって撮影した利用者３０の顔画像に基づいて個人情報データベース２１７を参照し、対話相手である利用者３０が誰であるかを特定する。なお、上述したように、個人認証部２１１は、虹彩認証、静脈認証、指紋認証、声紋認証といった方法によって対話相手の利用者３０が誰であるかを特定してもよい。

次いで、ステップＳ７０２において、感情推定部２１３は、利用者３０の感情を表す徴候を検出する検出手段から得た情報を用いて利用者３０の感情を推定する。具体的には、感情推定部２１３は、カメラ２０４によって撮影された利用者３０の挙動、顔の色、表情、生体センサ２０７により検出された利用者３０の心拍数、体温、肌の伝導率といった身体の状態、マイクロフォン２０５によって検出された利用者３０の対話時の声の調子、言葉の速さ、対話の内容に基づいて利用者３０の現在の感情とその程度を推定する。

次いで、ステップＳ７０３において、感情変化決定部２１５は、利用者３０の感情を変化させるか否かを判定する。具体的には、感情変化決定部２１５は、個人情報データベース２１７に記憶されている当該利用者３０の平常時の性格と、上記ステップＳ７０２において推定された利用者３０の現在の感情との組み合わせで特定される感情変換パターンが感情変換テーブル２１９に存在するか否かを参照し、存在している場合には当該利用者３０の感情を変化させると判定しステップＳ７０４に進み、存在していない場合には、感情を変化させないことに決定し、処理を終了する。

例えば、上記ステップＳ７０１において特定された利用者３０が「Ａさん」であり、上記ステップＳ７０２において推定された「Ａさん」の現在の感情が「落胆」であり、その程度は「中」であったとする。その場合、感情変化決定部２１５は個人情報データベース２１７を参照して「Ａさん」の平常時の性格が「積極的」であることを特定し、「Ａさん」の平常時の性格（「積極的」）と、上記ステップＳ７０２において特定された「Ａさん」の現在の感情（「落胆」）とに対応する感情変換パターンが存在するか否かを判定する。感情変換テーブル２１９には、平常時の性格「積極的」と現在の感情「落胆」とを含む変換パターンが存在するので、感情変化決定部２１５は、「Ａさん」の感情を変化させることに決定し、ステップＳ７０４に進む。

ステップＳ７０４において、感情変化決定部２１５は、感情変換テーブル２１９を参照し、利用者３０の平常時の性格、および利用者３０の現在の感情とその程度に該当する、現在の感情とは異なる、目標とする感情を決定する。例えば、利用者３０が「Ａさん」であった場合、感情変換テーブル２１９を参照し、現在の感情「落胆」の程度が「中」の場合の変化後の目標とする感情は「穏やか」であるので、「穏やか」を感情として決定する。

ステップＳ７０５において、状況取得部２１４は、移動装置２０８の現在位置検出装置が検出する現在位置情報に基づいて、利用者３０と対話型ロボット２０とが対話している状況を特定する。具体的には、状況取得部２１４は、利用者３０と対話型ロボット２０とが対話している状況が「公的状況」、「私的状況」といった大分類のいずれに該当するか、さらに「会議」、「オフィス」、「休憩所」、「家」、「居酒屋」といった小分類のいずれに該当するかを特定する。

ステップＳ７０６において、話題抽出部２１６は、感情推定部２１３により推定された当該利用者３０の感情と会話実績データベース２１８における対話前の感情とが一致し、かつ、感情変化決定部２１５により決定された目標とする感情と会話実績データベース２１８における対話後の感情とが一致する話題を、対話を行っている状況に基づいて、会話実績データベース２１８から抽出する。具体的には、利用者３０の現在の感情と会話実績データベース２１８中の「対話前の感情」が一致しており、かつ、目標とする変化後の感情と会話実績データベース２１８中の「変化後の感情」がそれぞれ一致している話題を抽出する。例えば、上述の例において「Ａさん」が対話型ロボット２０と対話している状況が「公的」な場所、かつ「休憩所」であったとする。その場合、会話実績データベース２１８を参照すると、「公的」、「休憩所」という状況下において、「子ども」、「学校」の話題で対話したときに、対話前の感情「落胆」から変化後の感情「穏やか」へと変化した会話実績があることが分かる。そこで、話題抽出部２１６は、会話実績データベース２１８から、利用者３０の気分を変えるため、話題として「子ども」「学校」を抽出する。

ステップＳ７０７において、対話制御部２１２は、抽出された話題に基づいて利用者３０と対話するための対話内容を生成し、スピーカ２０６を利用して対話音声を出力し、利用者３０と対話を行う。上述の例では、対話制御部２１２は、ステップＳ７０６において抽出された「子ども」、「学校」の話題で利用者３０である「Ａさん」と対話を行うように制御する。次いで、ステップＳ７０８において、感情推定部２１３は、対話相手である利用者３０の感情をモニタリングし、上記話題を使用した利用者３０との対話時、或いは対話後における利用者３０の感情を推定する。

ステップＳ７０９において、感情変化決定部２１５は、感情推定部２１３により推定した利用者３０の感情に基づいて、利用者３０が、目標とする感情へと変化したか否かを判定し、目標とする感情へと変化した場合には、処理を終了し、感情へと到達していないと判定された場合には、ステップＳ７１０に進む。具体的には、感情変化決定部２１５は、対話型ロボット２０が「Ａさん」と「子ども」、「学校」の話題で対話した際に利用者３０である「Ａさん」が、目標とする感情である「穏やか」になったか否かを判定し、「Ａさん」の感情が「穏やか」になっていれば処理を終了し、まだ「穏やか」になっていないと判定された場合には、ステップＳ７１０に進む。

ステップＳ７１０において、感情変化決定部２１５は、上述のステップＳ７０３からステップＳ７０９までの処理、つまり利用者３０の感情を変化させるための話題を使用して利用者３０との対話を所定回数行ったか否かを判定する。所定回数行ってないと判定された場合、ステップＳ７０３に戻り、ステップＳ７０３からステップＳ７０９までの処理を繰り返し行い、利用者３０の感情を変化させる試みを再度実行する。ステップＳ７１０において、利用者３０の感情を変化させるための話題で利用者３０との対話を既に所定回数試みたと判定された場合、処理を終了する。

以上、本実施形態における対話型ロボット２０による利用者３０との対話の動作について説明した。なお、上記実施形態においては、対話型ロボット２０と対話を行う利用者３０は一人だけの場合について説明した。しかしながら、本発明の対話型ロボット２０が対象とする対話相手は一人だけに限定されるものではなく、複数人の利用者３０を対象とすることが可能である。例えば、複数の利用者３０が会議等で同一箇所に集まっているような場合に、対話型ロボット２０の感情変化決定部２１５は、感情を変化させる対象となる利用者３０と、当該対象となる利用者３０の現在の感情とは異なる、目標となる感情とを決定し、その利用者３０の感情を変化させるための話題を抽出し、当該話題で利用者３０と対話を行い、利用者３０の感情を変化させる。

図８には、４人の利用者「Ａさん」、「Ｂさん」、「Ｃさん」、「Ｄさん」が会議を行っている様子が示されている。図８（Ａ）に示すように、会議が始まった当初は、４人の感情は皆「リラックス」している状態であった。その後、図８（Ｂ）に示すように、会議が進んでいくうちに会議に参加している４人の利用者の感情が変化した。具体的には、図８（Ｂ）に示されているように、「Ａさん」の感情は、「落胆」「大」の状態に変化し、「Ｂさん」は「興奮」、「Ｃさん」と「Ｄさん」はともに「穏やか」の状態にそれぞれ変化した。このとき、感情変化決定部２１５は、会議に参加している４人の利用者のうち、どの利用者の感情を変化させるか、どんな感情に変化させるかを、感情変換テーブル２１９を参照して決定する。感情変換テーブル２１９には、複数の利用者が存在する場合に、どの利用者の感情を変化させるかを感情変化決定部２１５が決定する際に参照する優先順位決定テーブル（図示せず）が含まれる。

例えば、感情変換テーブル２１９に、平常時の性格が「積極的」であり、現在の感情が「落胆」「大」である人の感情を優先して変化させることが決められているとする。その場合、感情変化決定部２１５は、感情変換テーブル２１９を参照し、「Ａさん」の感情を優先して、「落胆」「大」から「幸せ」へと変化させることに決定する。話題抽出部２１６は、感情を変化させることに決定した利用者３０の現在の感情と会話実績データベース２１８における対話前の感情とが一致し、かつ、目標とする変化後の感情と会話実績データベース２１８における対話後の感情とが一致する話題を、対話を行っている状況に基づいて、会話実績データベース２１８から抽出する。図５の会話実績データベース２１８を参照すると、「Ａさん」が「公的」な場所で「会議」に参加している際に、「テレビ」の話題で対話を行ったときに、対話前の感情「落胆」から対話後の感情「幸せ」へと変化した会話実績がある。そこで、話題抽出部２１６は、会話実績データベース２１８から、「Ａさん」の感情を変化させるため、話題として「テレビ」を抽出し、対話制御部２１２は「テレビ」の話題で会話を行うように制御を行う。例えば、対話制御部２１２は、図８（Ｃ）に示すように、対話型ロボット２０が「Ａさん」に対して「昨日のテレビ番組は楽しかったですか？」と尋ねるような制御を行う。

対話型ロボット２０は、「Ａさん」の感情を変化させる試みを行った後、再度感情変換テーブル２１９を参照して、他の利用者３０のうち次に感情を変化させるべき利用者３０が存在するか否かを判定し、感情を変化させるべき利用者３０が存在するなら、上述の「Ａさん」に対するのと同様の処理を当該利用者に対して行う。

なお、上述の図８に示した例においては、４人の利用者３０の感情を個々に考慮し、個別に感情を変化させる方法について説明した。しかしながら、本発明はこの方法に限定されず、対話型ロボット２０が、同一の場所に存在する利用者３０の全体的な感情を考慮し、複数の利用者３０の全体的な感情を変化させるように制御を行ってもよい。例えば、図９には、４人の利用者「Ａさん」、「Ｂさん」、「Ｃさん」、「Ｄさん」が会議を行っている様子が示されている。図９（Ａ）に示すように、会議が始まった当初は、本来の性格が「外交的」な「Ａさん」が「興奮」しており、本来の性格が「外交的」な「Ｂさん」、本来の性格が「内向的」な「Ｃさん」、および本来の性格が「内向的」な「Ｄさん」の３人は「リラックス」している。しかし、会議が進むにつれて、図９（Ｂ）に示すように、「Ａさん」一人だけの話になってしまい、「Ｂさん」、「Ｃさん」、「Ｄさん」は皆「退屈」した状況になってしまったとする。

この場合、感情推定部２１３は、そこに在席している利用者３０の全体的な感情、つまり平均的な感情を推定し、感情変化決定部２１５は、全体としての感情を変化させるか否か、また、感情を変化させる場合には、どんな感情へと変化させるかを決定する。話題抽出部２１６は、利用者３０の全体としての感情と会話実績データベース２１８における対話前の感情とが一致し、かつ、利用者３０の全体的な感情を変化させた後の目標とする感情と会話実績データベース２１８における対話後の感情とが一致する話題を、会話実績データベース２１８から抽出し、対話制御部２１２は、抽出された話題で複数の利用者３０との対話を行い、全体としての雰囲気を変化させる。例えば、図９（Ｃ）に示されるように、会議において全体的に皆が退屈している場合、対話型ロボット２０は、複数の利用者３０に向かって「ちょっと休憩しよう」とか「そろそろ、まとめに入ろう」といった提案を行う。

なお、上記には、個人情報データベース２１７、会話実績データベース２１８、感情変換テーブル２１９が対話型ロボット３０に内蔵されている場合について説明したが、本発明は、この構成に限定されず、これらの要素が対話型ロボットと通信回線によって接続されるサーバに配置される構成をとるものとしてもよい。また、生体センサ２０７が、対話型ロボット２０だけでなく、対話型ロボット２０以外の場所、例えばオフィスに設置されるようにしてもよい。その場合、センサはオフィスの天井や壁面に設置されるモーションセンサを採用することができる。

また、本実施形態においては、対話型ロボット２０を人の形を模した外観として図示しているが、もちろんのことながら、利用者３０と対話を行うことができる装置であれば、人の形を模した外観でなくても良いことは言うまでもない。

さらに、上記実施形態においては、話題抽出部２１６は、感情推定部２１３によって得た利用者３０の現在の感情と会話実績データベース２１８における対話前の感情とが一致し、かつ、感情変化決定部２１５により決定された目標とする感情と会話実績データベース２１８における対話後の感情とが一致する話題を、会話実績データベース２１８から抽出した例を説明したが、本発明は上記の例のように感情が「一致」した場合の話題を抽出することに限定されるものではなく、感情が「類似」した場合の話題を抽出するようにしてもよい。

例えば、話題抽出部２１６は、利用者３０の現在の感情と会話実績データベース２１８における対話前の感情とが一致しており、目標とする感情と会話実績データベース２１８における対話後の感情とが類似している話題を、会話実績データベース２１８から抽出するようにしてもよい。或いは、話題抽出部２１６は、利用者３０の現在の感情と会話実績データベース２１８における対話前の感情とが類似しており、目標とする感情と会話実績データベース２１８における対話後の感情とが一致している話題を、会話実績データベース２１８から抽出するようにしてもよい。或いは、話題抽出部２１６は、利用者３０の現在の感情と会話実績データベース２１８における対話前の感情とが類似しており、目標とする感情と会話実績データベース２１８における対話後の感情とが類似している話題を、会話実績データベース２１８から抽出するようにしてもよい。

また、上記実施形態においては、利用者３０の現在の感情と会話実績データベース２１８における対話前の感情が一致又は類似し、かつ、目標とする感情と会話実績データベース２１８における対話後の感情とが一致又は類似する話題を抽出する場合を説明した。しかしながら、本発明は上記の例に限定されるものではなく、例えば、利用者３０の現在の感情から目標とする感情までの変化が、会話実績データベース２１８における対話前後の感情の変化と一致又は類似する話題を会話実績データベース２１８から抽出するようにしてもよい。

図１０は、利用者３０の現在の感情から目標とする感情までの変化が、会話実績データベース２１８における対話前後の感情の変化と類似する話題を抽出する概念を説明した図であり、図１０（Ａ）は感情変化テーブル２１９に基づく利用者３０の現在の感情から目標とする感情までの変化を示す図であり、図１０（Ｂ）は、会話実績データベース２１８に記憶されている、話題抽出部２１６は、ある話題による対話前後の利用者の感情の変化を示す説明図である。図１０（Ａ）に示すように、感情推定部２１３によって推定された利用者３０の現在の感情と、感情変化決定部２１５において決定された変化後の目標とする感情とをそれぞれ２次元の感情マップに投影する。なお、２次元の感情マップは、例えば、横軸に「快−不快」、縦軸「積極的−非積極的」をとり、それぞれ横軸、縦軸における値に対応する各種感情（「幸せ」、「悲しい」といった感情）が割り当てられている。

ここで、利用者３０の現在の感情が「緊張」「びくびく」であり、目標とする感情が「満足」「安らか」であるとすると、利用者３０に取らせようとする感情の変化は、図１０（Ａ）のベクトル１０００Ａで表される。話題抽出部２１６は、会話実績データベース２１８を参照し、会話実績データベース２１８に記憶されている、対話前後の感情の変化が、上記ベクトル１０００Ａで表される感情の変化と一致又は類似する話題を、会話実績データベース２１８から抽出する。例えば、会話実績データベース２１８には、図１０（Ｂ）に示されるように、対話前の利用者３０の感情「びくびく」「ストレス」が、「子ども」「学校」の話題で対話を行った場合に、対話後の感情が「安らか」「リラックス」へと変化した会話の実績が記憶されており、この場合の感情の変化はベクトル１０００Ｂで表される。

現在の感情から目標とする感情までの変化（ベクトル１０００Ａ）は、会話実績データベース２１８に記憶された、「子ども」「学校」の話題での対話前後の感情の変化（ベクトル１０００Ｂ）と、ベクトルの始点と終点は異なるものの、ベクトルの方向と長さが一致している。そこで、話題抽出部２１６は、当該利用者３０の感情を変化させるための話題として、「子ども」「学校」を抽出する。なお、話題抽出部２１６は、現在の感情から目標とする感情までの変化を示すベクトルが、会話実績データベース２１８に記憶されたある話題における対話前後の感情の変化を示すベクトルと一致している場合だけでなく、方向と長さが予め定められた閾値内である場合、或いは、方向、長さ、重心の偏位が予め定められた閾値内である場合であっても、ベクトルが類似しているとみなし、そのベクトルが表す感情変化をもたらした話題を抽出するようにしてもよい。

１０対話システム
２０対話型ロボット
３０利用者
２０１ＣＰＵ
２０２メモリ
２０３記憶装置
２０４カメラ
２０５マイクロフォン
２０６スピーカ
２０７生体センサ
２０８移動装置
２０９制御バス
２１１個人認証部
２１２対話制御部
２１３感情推定部
２１４状況取得部
２１５感情変化決定部
２１６話題抽出部
２１７個人情報データベース
２１８会話実績データベース
２１９感情変換テーブル

Claims

ある話題と、当該話題による対話前後の利用者毎の感情の変化とを関連付けて記憶する記憶手段と、
利用者の感情を表す徴候を検出する検出手段から得た情報を用いて利用者の感情を推定する推定手段と、
推定手段で得た感情と対話前の感情とが一致又は類似し、かつ、目標とする感情と対話後の感情とが一致又は類似する話題を、前記記憶手段から抽出して利用者と対話を行う対話手段と、を備える対話装置。
ある話題と、当該話題による対話前後の利用者毎の感情の変化とを関連付けて記憶する記憶手段と、
利用者の感情を表す徴候を検出する検出手段から得た情報を用いて利用者の感情を推定する推定手段と、
推定手段で得た感情から目標とする感情までの変化が、前記記憶手段の対話前後の感情の変化と一致又は類似する話題を、前記記憶手段から抽出して利用者と対話を行う対話手段と、を備える対話装置。
前記対話装置はさらに、当該対話装置と利用者が対話を行う状況を取得する取得手段を備え、
前記記憶手段は、前記取得手段が取得した状況毎に、話題と、その話題による対話前後の利用者の感情変化とを関連付けて記憶し、
前記対話手段は、前記取得手段が取得した状況に対応する状況下において、前記推定手段で得た感情と対話前の感情とが一致又は類似し、かつ、目標とする感情と対話後の感情とが一致又は類似する話題を、前記記憶手段から抽出する請求項１又は２記載の対話装置。
前記取得手段は、当該対話装置と利用者が対話を行う位置に基づいて状況を推定する請求項３記載の対話装置。
前記対話手段は、前記推定手段により推定された利用者の現在の感情の強さに応じて目標とする感情を定めて話題を抽出する請求項１から４いずれかに記載の対話装置。
前記記憶手段は、利用者の性格をさらに記憶し、
前記対話手段は、前記記憶手段に記憶された利用者の性格に応じて目標とする感情を定めて話題を抽出する請求項１から５いずれかに記載の対話装置。
複数の利用者が存在する場合に、前記対話手段は、感情を変化させる対象となる利用者と、当該対象となる利用者の現在の感情とは異なる、目標とする感情とを定めて話題を抽出する、請求項１から５いずれかに記載の対話装置。