JP3786952B2 - サービス提供装置、期待はずれ判定装置および期待はずれ判定方法 - Google Patents

Description

本発明は、家庭用ロボットや情報端末などユーザに何らかのサービスを提供する装置に関し、特に、ユーザの状態に応じてより適切なサービスを提供可能にする技術に関する。

近年、家庭用ロボットや情報端末など、ユーザに対応して複雑な情報処理やサービスを提供可能な機器が求められており、実用化が進められている。これらの機器においては、提供可能な情報やサービスは多岐に渡るため、ユーザの好みに合わせて動作できる機能が求められる。この場合、いかにユーザの状態に適した動作を行い得るかが、機器の性能を決める重要な指標の１つとなる。

ユーザの状態を検出する従来技術として、様々なものが提案されている。例えば、ボタンやキーボード、マウスなどの入力機器はユーザの要望等を機器に知らせる手段といえる。またユーザの要望に加えて、ユーザの心的状態や意思を検出できたら、機器はより一層、高度な適応が可能になる。特に、ユーザが何かしらの不満を持っている状態を検出できることが好ましい。例えば、ユーザが機器に対して「思った通りに動作してくれないな」と感じたとき、機器がそのユーザの不満を検出できれば対処方法を講じることができるが、検出できなければ、対応は変えられない。

ユーザの不満状態の検出に関して、特許文献１では、ユーザが所望していない動作を対象機器が行っているとき、「機器を叩く」という行動によって不満状態が表出されるとし、その叩く行為や機器側の振動の検出により、機器が提供する情報を変更する技術が示されている。

また、ユーザの状態を生体信号によって検出する方法も考えられる。例えば特許文献２では、心電図、脳波、脈波などの生理反応を計測、処理することで、覚醒水準や注意レベル、眠気度、疲労度、精神的負担度、身体的快適度などが判断されるとしている。

一方、認知心理学や医学的臨床研究では、脳波等の生理的指標を用いた研究も行われてきた。例えば非特許文献１によると、脳波計によって、痴呆疾患、うつ病、精神分裂病、高次機能障害などの診断や、各種薬物やリハビリテーションの効果判定が行われている。
特開２００２−２８１１８６号公報 特開平５−１５５９９号公報 加我他，「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に−」，篠原出版新社，１９９５ 藤沢他、「新生理心理学」、北大路書房、１９９８

上述の従来技術において検出の対象とされていたのは、ユーザの能動的行動（例えば、機器を叩く）や、ユーザの疲労や不満などであった。ところが、ユーザが機器を叩いたり、機器に対して不満を持ったりするのは、機器が思った通りに動かなかったり、期待はずれの動作をしたりという、不適切な応答動作の積み重ねによるものと考えられる。

したがって、すでに生じてしまった不満状態を検出するのではなく、個々の応答動作に対するユーザの心的状態や意思を検出することができれば、機器のユーザへの適応能力をより一段と高めることができる。例えば、ユーザがある応答動作に対して「あれ？」と思ったことを検出できれば、そのような動作が繰り返されてユーザが不満状態に陥る前に、応答動作を修正することができる。これにより、ユーザが不満状態に至ってしまうことを未然に防ぐことができる。

前記の問題に鑑み、本発明は、サービス提供装置において、応答動作に対するユーザの心的状態や意思を把握できるようにし、ユーザの状態に応じたより適切なサービスを提供可能にすることを課題とする。

本発明は、サービス提供装置として、ユーザの要求を受ける入力部と、前記入力部によって受けた要求に対し、応答内容を決定する応答内容決定部と、前記応答内容決定部によって決定された応答内容を出力する出力部と、前記出力部が応答内容を出力したタイミングを起点として、ユーザの生体信号を計測する生体信号検出部と、前記生体信号検出部によって計測した生体信号に基づき、前記応答内容がユーザの要求に合っているか否かを判定する期待はずれ判定部とを備えたものである。

本発明によると、サービス提供装置は、ユーザの要求を受けて決定した応答内容を出力したとき、そのタイミングを起点としてユーザの生体信号を計測する。そして、計測した生体信号に基づき、出力した応答内容がユーザの要求に合っているかを判定する。すなわち、ユーザの期待通りに応答できたか否かの情報を、ユーザの生体信号から、得ることができる。これにより、応答内容を修正したり、ユーザの要求と応答内容との関係を学習したりすることができ、したがって、ユーザに対してより適切なサービスを提供することができる。

そして、前記本発明に係るサービス提供装置において、前記生体信号検出部は脳波計を有し、前記生体信号として、脳波における事象関連電位を計測するのが好ましい。

本発明によると、ユーザの期待通りに応答できたか否かの情報を、ユーザの生体信号から得ることができるので、ユーザに対してより適切なサービスを提供可能になる。

本発明の第１態様によれば、ユーザの要求を受ける入力部と、前記入力部によって受けた要求に対し、応答内容を決定する応答内容決定部と、前記応答内容決定部によって決定された応答内容を出力する出力部と、前記出力部が応答内容を出力したタイミングを起点としてユーザの生体信号を計測する生体信号検出部と、前記生体信号検出部によって計測した生体信号に基づき、前記応答内容がユーザの要求に合っているか否かを判定する期待はずれ判定部とを備えたサービス提供装置を提供する。

本発明の第２態様によれば、前記生体信号検出部は、脳波計を有し、前記生体信号として、脳波における事象関連電位を計測する第１態様のサービス提供装置を提供する。

本発明の第３態様によれば、前記期待はずれ判定部は、前記生体信号の、前記起点から約６００ｍｓ前後の部分を用いて、判定を行う第２態様のサービス提供装置を提供する。

本発明の第４態様によれば、前記期待はずれ判定部は、前記生体信号の、前記起点から、約６００ｍｓに応答内容の複雑さやユーザの特性に応じた時間を増減した時間の前後の部分を用いて、判定を行う第２態様のサービス提供装置を提供する。

本発明の第５態様によれば、前記期待はずれ判定部は、期待はずれのときの信号テンプレートを用いて判定を行う第２態様のサービス提供装置を提供する。

本発明の第６態様によれば、前記期待はずれ判定部による判定結果を用いて、ユーザの要求と応答内容との関係を学習する学習部を備えた第１態様のサービス提供装置を提供する。

本発明の第７態様によれば、ヘルプ表示をサービスとして提供する第１態様のサービス提供装置を提供する。

本発明の第８態様によれば、エージェントとしてサービスを提供する第１態様のサービス提供装置を提供する。

本発明の第９態様によれば、自然対話を介してサービスを提供する第１態様のサービス提供装置を提供する。

本発明は、システムの応答動作に誘発されるユーザの生体信号の変化を用いて、ユーザの「期待はずれ」感を検出する。ここでは、生体信号の例とし、脳波における事象関連電位を用いるものとする。

（事象関連電位）
事象関連電位（Event-Related Potential：ＥＲＰ）とは、脳波において何らかの刺激に反応して引き起こされる信号変化のことをいう（非特許文献１参照）。この信号変化には、脳内の処理系におけるエラー制御システムが関連していると言われており、例えば、いわゆるオドボール課題では、人間が予想した通りの音の系列を聞いているときは検出されないが、予想と外れた時の音の系列が現れた瞬間に、信号変化が検出される。事象関連電位は、人間の認知の高次活動とも関係があると考えられており、従来は、認知研究や臨床での疾患の診断や治療に用いられてきた。

図１１は事象関連電位の例を示すグラフである（非特許文献１の１２頁参照）。図１１はオドボール課題に対する反応時の脳波の変化を示しており、実線はその課題でよく提示される刺激（高頻度刺激）に対する反応、破線はその課題で時折提示される刺激（低頻度刺激）に対する反応を示す。横軸は時間、縦軸は電圧である。図１１から分かるように、低頻度刺激に対し、刺激が提示されてから数百ミリ秒後に、電位が大きく変化する。これは、高頻度刺激が予想されている場合に低頻度刺激が提示されたため、「いつもと違う」という予測誤差が現れたものと考えられる。図１１の破線では、刺激提示から３００ｍｓあたりに大きな振幅が見られ、この信号はＰ３００と呼ばれることが多い。

このＰ３００は、音などに意識的に注意を向けられるか否かの能力の測定に用いることができる。このため、Ｐ３００を用いて、痴呆疾患、うつ病、精神分裂病、高次機能障害などの診断や、各種薬物やリハビリテーションの効果判定が行われている。

このように、Ｐ３００のような脳波における事象関連電位は、現在は、脳機能解明のための認知研究や、人の診断や治療（精神障害、高次機能障害、痴呆）への応用が、試みられている。

（本願発明の着想）
本願発明者らは、この事象関連電位のような生体信号を、機器のインタフェースに応用することを着想した。すなわち、ユーザに情報等のサービスを提供するシステムでは、その出力によって、ユーザに何らかの生理的状態の変化を誘発するであろうと考えられる。例えば、システムが応答した内容が、ユーザが期待していたものとは違っていたときは、ユーザは期待がはずれて「あれっ？」と思うだろう。

もし、このようなユーザの「期待はずれ」を生体信号から検出することができれば、例えば、応答内容を変更したり、「期待はずれ」を起こさないように学習したりすることによって、ユーザに対してより適切なサービスを提供することが可能になる。これにより、例えば、ユーザが機器に対して不満を持つようになり、その機器を使わなくなってしまう、といった事態を未然に防ぐことができる。

図１（ａ）はユーザが機器を操作する場面の模式図である。ユーザ１１はリモコンやキーボードなどの操作機器１２を用いて、テレビなどの機器１３を操作しようとしている。図１（ａ）の場面では、ユーザ１１の心理や行動として、図１（ｂ）のようなフローが考えられる。ユーザ１１は「テレビを見よう」と思い立つと（Ｓ１１）、目の前にあるリモコン１２を手にとって電源のボタンを押す（Ｓ１２）。この場合、ユーザ１１が正しくボタンを押し、テレビ１３側にも問題がないときは、電源が入ってテレビ１３が映るので（Ｓ１３）、ユーザ１１はそのまま普段通りにテレビ１３を視聴する（Ｓ１７）。これが通常の場合である。これに対して、リモコン１２の電源ボタンを押した（Ｓ１２）のに、テレビ１３が映らないときは（Ｓ１５）、ユーザ１１は「あれ？おかしいな」と思うであろう（Ｓ１６）。

図２は図１（ｂ）を一般化して表記したフローである。ユーザは、まず何かしたいことを思いつき（Ｓ２０）、機器の操作を行い（Ｓ２１）、機器がその操作に対して動作する（Ｓ２２）。この動作を見て、ユーザは、機器が自分の思った通りに動いたか否かを感じとり（Ｓ２３）、もし思った通りに動いていなかったときは（Ｓ２３でＮｏ）、ユーザの期待と機器動作のずれが生じたことから（Ｓ２４）、不満を感じる（Ｓ２５）はずである。ただし、このとき感じる不満は、「不満である」とユーザが自覚するかどうか分からない程度の、ちょっとした違和感である、と考えられる。

ここで、ユーザの思った通りに機器が動作したか否か（Ｓ２３の分岐）を、信号として取得することができれば、これは、機器のユーザビリティのために、重要な情報源になり得る。このような重要な情報源を、事象関連電位などの生体信号の計測から取得できないか、ということが、本発明の着眼点である。なお、本願明細書では、ユーザの思った通りに機器が動作していないときに検出される信号のことを「期待はずれ信号」と呼ぶものとする。

（期待はずれ信号取得の実験）
以下、本願発明者らが行った、期待はずれ信号を取得するための実験について、説明する。

図３は実験手順の概要を示す図である。この実験は、被験者に指示を与え（手順Ａ）、その指示を受けて被験者が必要な行動を思い浮かべて機器を操作し（手順Ｂ）、その操作結果としての動作を被験者に提示する（手順Ｃ）、という手順からなっている。

まず、実験施行者から、被験者に対して、『画面に「Ｌ」または「Ｒ」の文字が表示されるので、Ｌの文字に対してはマウスの左クリック、Ｒの文字に対しては右クリックを押して欲しい」と説明する。そして、「Ｌ」「Ｒ」を５０％の確率でランダムに選択して、画面に表示する（手順Ａ）。被験者は、表示された文字を見て、教示されたルールに従って、右か左のクリックを行う（手順Ｂ）。そして、その操作に対して、正しくクリックがなされたか否かを、「○」「×」で画面に表示する（手順Ｃ）。

ただし、この実験では、クリックが正しくなされたとしても（ほぼ１００％正しくなされるはずである）、２０％の確率で「×」を表示するものとする。被験者からすると、正しくクリックしたから「○」が表示されると期待していたのに「×」が表示されると、「あれっ」と思うはずである。すなわち、思った通りに機器が動作していない「期待はずれ」の状況になる。この「期待はずれ」の状況が、脳波における事象関連電位から検出できないかを確認することが、本実験の目的である。

図４は一試行分の手順を示すフローチャートである。まず、画面に「Ｌ」または「Ｒ」の文字を５０％の確率で選択して表示し（Ｓ３０）、被験者はその表示を見てどちらのボタンをクリックするかを選択して、マウスを操作する（Ｓ３１）。被験者の操作を受けて、正しく操作されたか否かに基づいて「○」「×」を表示する。このとき、「○」を表示すべき場合でも、２０％の確率で「×」を表示する（Ｓ３２）。「○」「×」が表示されたタイミングを起点として、被験者の脳波における事象関連電位を測定し（Ｓ３３）、その測定された事象関連電位を処理して、期待はずれ信号を識別する（Ｓ３４）。

実験では、複数の被験者について、まず練習として常に「○」が表示される試行を３０試行行った後に、図４に示す手順による試行を１００試行行った。

図５は実験結果のうち４人の被験者（Subject 1-4）の実験データを示すグラフである。図５の各グラフは、脳波計で測定された電位波形を積算したものであり、横軸は刺激提示（「○」「×」が表示されたとき）からの時間で単位はｍｓ、縦軸は電位で単位はμＶである。太線は「期待はずれ」すなわち正しくクリックしたにもかかわらず「×」が表示されたときの波形、細線は通常時すなわち正しくクリックして「○」が表示されたときの波形である。なお、電極は、国際１０−２０法に従い、１）Ｐｚ：正中頭頂、２）３）Ａ１，Ａ２：両耳朶、４）ボディーアース（Ｚ）：鼻根部の４箇所に貼り付けた。サンプリング周波数は１０００Ｈｚとした。

図５の各グラフから、「期待はずれ」のときは、刺激提示から約６００ｍｓ前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、この事象関連電位を計測することによって、ユーザの「期待はずれ」を検出することができる、と予想される。

なお、この実験で測定された事象関連電位は、上述したＰ３００と比べて、刺激提示からの反応時間が遅めである。この理由は、必ずしも定かではないが、次のように考えられる。

すなわち、事象関連電位に関して従来（非特許文献１，２等）行われたのは、音程や画像の違いなどを判断する、という受動的な測定による実験であった。これに対して、本願発明者らが実行した実験では、ユーザは、ある期待を持って行動を選択して実行し、その期待通りの動作が行われたか否かを判断している。ユーザが行動を選択する、というステップを含めた点が、これまでとは大きく異なっている。そして、自分の期待通りの動作が行われたか否かの判定は、ただ単に音程や画像の違いを判断する場合と比べると、高次の判断になる。このため、刺激提示からの反応時間が、これまでの測定よりも遅めになって、刺激提示後６００ｍｓ程度のところにピークが現れるようになったと考えられる。ただし、図５から分かるように、ピークの現れる時間は、個人毎に異なっている。また、試行毎にも異なっている。

この実験で明らかになったように、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合とにおいて、脳波計で計測される事象関連電位には、明確な差がある。したがって、この事象関連電位は、機器のインターフェースにおいて、「期待はずれ信号」として用いることが可能である。

図６は本発明の一実施形態に係るサービス提供装置の構成を示すブロック図である。具体的には、ユーザに応じた応答をする必要がある家庭用ロボットや情報端末、家電機器などが、このサービス提供装置に該当する。

図６において、サービス提供装置１は、ユーザ５０の要求を受ける入力部２と、入力部２によって受けた要求に対し、応答内容を決定する応答内容決定部３と、応答内容決定部３によって決定された応答内容を出力する出力部４と、出力部４が応答内容を出力したタイミングを起点として、ユーザ５０の生体信号を計測する生体信号検出部５と、生体信号検出部５によって計測した生体信号に基づき、応答内容が、ユーザ５０の要求に合っているか否かを判定する期待はずれ判定部６とを備えている。

ユーザ５０は、サービス提供装置１との間で、入力部２および出力部４を介して情報等のやり取りができる。例えば、入力部２はマウスやキーボード、音声入力装置などによって構成され、出力部４はテキストや画像を表示する画面、合成音声による応答を行う音声出力装置、アクチュエータなどによって構成される。また、ユーザ５０は予め、生体信号検出部５を構成する脳波計を装着している。

以下、図７のフローチャートを用いて、図６のサービス提供装置の動作について説明する。

まず、入力部２がユーザ５０から要求を受ける（Ｓ１）。ユーザ５０は例えば、情報提供における情報のジャンルや希望するサービス内容などを、入力部２を介して指定する。

入力部２がユーザ５０から要求を受けると、応答内容決定部３は、この要求に対して応答内容を決定する（Ｓ２）。例えば、提供する情報の内容を決定する。応答内容決定部３が応答内容を決定すると、出力部４はこの応答内容を出力する（Ｓ３）。例えば、提供する情報の内容を画面に表示する。

出力部４が応答内容を出力すると、このタイミングを起点として、生体信号検出部５がユーザ５０の生体信号を計測する（Ｓ４）。このとき、ユーザ５０は、出力された応答内容が自分の期待したとおりであったか否かによって、異なる生体反応を示しているはずである。ここでは、生体信号として、予めユーザ５０に装着されている脳波計により、脳波における事象関連電位が計測される。

そして、期待はずれ判定部６は、生体信号検出部５によって計測された生体信号から、「期待はずれ信号」が検出されるか否か、すなわち、出力した応答内容がユーザの要求に合っているか否かを判定する（Ｓ５）。

「期待はずれ信号」が検出されたとき（Ｓ５でＹｅｓ）は、出力した応答内容がユーザ５０の期待に添わなかったと考えられるので、期待はずれ判定部６は、応答内容決定部３に修正指示を出す。応答内容決定部３は応答内容を修正し（Ｓ６）、修正された応答内容は再び出力部４によって出力される（Ｓ３）。例えば、情報提供の場合、「すみません、お気に召しませんでしたか？」と質問したり、「こちらはいかがですか」などといったコメントとともに別の情報を提供したりする。

ここで、装置がユーザの期待通りの動作をしない場合とは、次のような場合が考えられる。

（１）ユーザが持つ機器動作モデルが間違っている場合
例えば電源を入れたいとき、ユーザはスイッチを探して機器の周りやリモコンを眺めて、電源が入りそうな操作を思い巡らす。そして、ある機器操作を選択し実行する。ここで、ユーザの操作が正しくなければ、当然、装置はユーザの期待通りに動作せず、したがって「期待はずれ信号」が検出される。

これは、ユーザは「この操作によって電源が入るはず」と期待しているにも拘わらず、実際には装置は動かない、という状態であり、ユーザが持つ機器動作モデルと装置の実際の動作モデルとが一致していない、ということになる。

この場合の対処としては、（Ａ）ユーザの機器動作モデルを修正する、（Ｂ）機器の動作モデルを修正する、の２つが考えられる。上述の例でいうと、（Ａ）ではユーザに正しい電源ボタンの位置を知らせる、（Ｂ）ではユーザの間違った操作でも電源を入れる、というのが解決策になる。もちろん、ユーザが期待する動作が分かっていることが前提になる。ただし、分からない場合であっても、ユーザの期待通りに動作できているか否かを検出できれば、装置の制御上、重要な情報となる。

（２）ユーザ嗜好モデルが間違っている場合
ユーザに適した情報を提供するサービスにおいて、システム側は、ユーザがどのような好みを持つか、すなわち、いわゆるユーザ嗜好モデルを把握する必要がある。システム側のユーザ嗜好モデルがユーザの本当の嗜好と違っている場合、ユーザは「期待しているような情報を提供してくれない」と感じ、したがって「期待はずれ信号」が検出される。

この場合の対処としては、ユーザ嗜好モデルを修正して再度情報提供を行う、提供した情報はユーザにとって価値があるはずと推薦を続ける、などが考えられる。いずれにせよ、ユーザの期待通りに情報提供ができたか否かを検出できれば、これはユーザ嗜好モデルの学習にとって有用な情報となる。

＜期待はずれ信号の検出＞
期待はずれ信号の具体的な検出方法の例について、図８のフローチャートを参照して説明する。この方法では、予め、期待はずれ時の信号を加算した標準波形（ターゲットのテンプレート）と、期待はずれでない通常時の信号を加算した標準波形（コントロールのテンプレートと表記）とを作成しておき、これらテンプレートを「期待はずれ信号」の検出に用いるものとする。

図８に示すように、まず、出力部４が応答内容を出力したタイミング（応答提示時）を起点として、脳波の電位変化のサンプリングを行う（Ｓ５１）。サンプリング周波数としては例えば、２００Ｈｚ、５００Ｈｚ、１０００Ｈｚなどがある。次に、得られた脳波の電位変化から、「期待はずれ信号」の検出に関係する領域の波形を切り出す（Ｓ５２）。上述した実験結果から、「期待はずれ信号」は刺激提示後６００ｍｓ前後の部分あたりに検出されることが分かっている。また、応答提示後比較的早い領域の波形は、聴覚刺激や視覚刺激に反応して現れるものであり、人の期待とは関係ないと考えられるので、その部分は除去するのが好ましい。そこで、例えば、応答提示後２００ｍｓから８００ｍｓの領域を切り出すものとする。

もちろん、この切り出す範囲はこれに限られるものではなく、例えば、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどとしてもよい。あるいは、下限を設定せずに、応答提示後から１ｓ程度の範囲を切り出してもよい。

次に、切り出した波形からノイズを除去する（Ｓ５３）。ここでは、信号に混入する高周波成分をカットしたり、信号を例えば４０Ｈｚのローパスフィルタに通したり、瞬きによる眼電の影響を低減するために、４０μＶ以上の振幅を持つ波形を識別対象から除去したりする。

次に、ノイズ除去された信号について、ターゲットのテンプレートおよびコントロールのテンプレートとそれぞれ相関を取る（Ｓ５４）。この相関計算によって、信号波形がそれぞれのテンプレートとどの程度相関があるかが計算される。

そして、信号波形と各テンプレートとの距離計算を行う（Ｓ５５）。距離計算には、例えばマハラノビス距離が用いられる。このマハラノビス距離は、データの分散・共分散を考慮に入れたグループの重心からの距離を示す。このマハラノビス距離を用いて、信号波形がターゲットとコントロールのどちらに近いかを判別する（Ｓ５６）。マハラノビス距離を用いた判別は、単純に相関の大小によって判別するよりも、識別能力が高いことが知られている。

信号波形はターゲットに近いと判断したときは（Ｓ５６でＹｅｓ）、期待はずれ信号が検出された、すなわち、ユーザは期待はずれと思っている状態である、と識別する（Ｓ５７）。一方、信号波形はコントロールに近いと判断したときは（Ｓ５８）、期待はずれ信号は検出されなかった、すなわち、ユーザは期待どおりの応答が得られたと思っている、と識別する。

このようなテンプレートを用いた方法を採ることによって、波形にばらつきが大きく、一回の波形ごとの識別が困難であるとされる脳波においても、ある程度、期待はずれ信号の検出が可能になる。

図９は上述した実験データを用いて、図８のフローに従って期待はずれ信号を検出した結果を示す図である。図９では、各被験者のターゲット数（期待はずれのデータ数）と正しく判別できた数とを示している。図９から、単一波形であっても、約８割の精度で期待はずれの状況を識別できることが分かる。

なお、ここでは、ターゲットとコントロールの信号テンプレートを用いるものとしたが、ターゲットの信号テンプレートだけを用いるようにしてもかまわない。例えば、ターゲットの信号テンプレートとのマハラノビス距離を計算し、所定値との比較によって、期待はずれが否かを判別してもよい。

また、テンプレートの利用に代えて、またはテンプレートの利用とともに、他の手法を用いてもかまわない。例えば、極大値や極小値を用いてもよいし、波形の中で最大の陽性成分を検出し、その振幅を閾値と大小比較してもよいし、あるいは、適応形相関フィルタなどを用いてもよい。その他、波形識別方法についてはまだまだ改良の余地があり、パターン識別方法と脳波信号の前処理方法を組合せることによっても、識別精度は向上させられると考えられる。

また、提示する応答内容が、例えば複雑な表示であるとき、ユーザは、その内容を認知するために時間を要する場合がある。この場合は、６００ｍｓよりもずれたところにピークが観察されると想定される。そのときは、６００ｍｓにピークのずれ時間を増減させた時間を中心にした、前後の部分の信号を用いて、期待はずれ信号の検出を行うようにすればよい。このずれ時間は、予め、測定したい表示内容を用いた実験などによって求めておけばよい。また、ずれ時間を決定する要因としては、表示された画像等の応答内容の複雑さ以外にも、例えば、ユーザ毎の個人差や年齢といった、ユーザの特性も考えられる。

図１０は本実施形態に係るサービス提供装置の構成の他の例である。図１０では、図６と共通の構成要素には図６と同一の符号を付している。図１０のサービス提供装置１Ａは、期待はずれ判定部６による判定結果を用いて、ユーザ５０の要求と応答内容との関係を学習する学習部７をさらに備えている。

学習部７において、記憶部９は、入力部２が入力したユーザ５０の要求に対し、どのような応答を出力部４から出力すべきかというルールが蓄えられている。このルールは例えば、Ｉｆ（ユーザからの信号）Ｔｈｅｎ（ユーザへの行動）などのルール形式によって表現される。また、各ルールには、０−１の範囲で信頼度が付与されているものとする。信頼度とは、そのルールがどの程度ユーザにとって正しいかを示す値であり、値が１に近いほどそのルールは信頼できるものといえる。

応答内容決定部３は、入力部２からユーザ５０の要求を受けたとき、この要求と前件部とが一致するルールを記憶部９から抽出し、例えばその中で信頼度が最も高いルールの後件部の記述内容を、応答内容として決定する。

知識獲得部８は、期待はずれ判定部６によって期待はずれ信号が検出されなかったときは、当該装置１Ａは正しく応答した可能性が高いと判断し、次回も同じ応答がなされるように、応答内容を決定する基になったルールの信頼度を上げる。一方、期待はずれ信号が検出されたときは、当該装置１Ａの応答は正しくなかった可能性が高いと判断し、次回は別のルールが用いられるように、応答内容を決定する基になったルールの信頼度を下げる。

このように、知識獲得部８が期待はずれ判定部６による判定結果を用いて記憶部９のルールを修正することによって、また同様の要求がなされたときでも、更新された新たなルール群が応答内容の決定の際に参照される。これにより、ユーザ５０の期待はずれを減少させることができる。また、知識獲得部８が必要に応じてルールの削除や追加も行うことによって、記憶部９内部には、適切な知識を蓄えることができる。

（本発明の応用例）
（その１：ヘルプ表示システム）
ヘルプ表示システムは、ユーザの行動に対して適切なヘルプ情報を表示するシステムである。ヘルプ情報を表示した際に、表示したヘルプ情報がユーザの要求に合っているか否か、期待はずれでないかどうかを判定することができれば、ヘルプ表示をより適切に実行することができる。したがって、本発明を用いることによって、より利便性の高いヘルプ表示システムを実現することができる。

例えば、ユーザが携帯電話やパソコンでメール機能を選択したとする。この場合、ユーザは、ただ漠然とメールを送りたいと思っているときもあるし、相手のメールアドレス、サブジェクト、本文などメール送信に必要な情報は知っていて、まずはメールアドレスを入力したいと思っているときもある。すなわち、ユーザの動作は同じであっても、必要なヘルプ情報は異なる。

そこで本発明によると、装置がユーザの期待通りの反応をしているか否かを判定できるので、上の２つの状態を区別することが可能になる。そして例えば、前者に対しては、メール送信に必要な情報に関するガイダンスを、後者に対しては、個々の情報を入力するための具体的な操作方法を、ヘルプ情報として提示すればよい。

（その２：エージェント）
エージェントとは、例えば家庭用ロボットの形で実現され、言葉その他のインタフェースを介してユーザの希望を取り込み、物の移動や機器の操作、情報の提示などのサービスを提供するロボットを指す。ロボット自身が物の移動などをしない場合は、知的ソフトウェアエージェントとして実現される。

ここで、ユーザの指示はしばしばあいまいさを伴う。例えば「あれとって」「面白い番組を紹介して」などである。このような指示では、ユーザは、具体的に明示はしていないものの、明らかに欲しい対象物があり、それに対するサービスを要求している。

ロボットは、このようなあいまいな指示を受けて、過去の学習結果などから最も適していると考えられるサービスを、ユーザに提供する。ところが、必ずしもいつもユーザの希望通りのサービスを提供できるとは限らない。

そこで本発明によって、サービスに対するユーザの反応をみて、サービスが期待どおりであったか否かを判定する。これにより、もし期待はずれであったとき、他のサービスを検討することができ、また、すぐにその事実は新しいルールとして学習することができる。この結果、次回からは、ユーザのあいまいな指示に対しても、希望通りのサービスを提供できる可能性がより高くなる。

また、同様に、テレビやパソコンなどにおける情報推薦のサービスにも、本発明は応用することができる。

（その３：自然対話）
本発明は、ユーザと機器とが自然な対話によってコミュニケーションを取るような構成にも応用することができる。すなわち、自然対話によってコミュニケーションしたり情報提供したりする場合にも、機器の方でユーザの期待どおりに動作できているか否かを知ることによって、より円滑なコミュニケーションを図ることができる。

人間同士の会話では、実際に話されている言語情報以外にも、身振りやちょっとしたしぐさ、表情の変化などの非言語情報に応じて、お互いに話す内容などを変化させている。しかしながら、非言語情報を識別する方法はまだ研究段階であり、完成されているとは言えない。

そこで本発明によって、ユーザの発話に対して応答した内容について、ユーザの期待どおりであったか否かを判定する。これにより、応答内容を変化させたり、次回の同様の状況において、ユーザの期待に添わない応答を控えることができる。

例えば、期待はずれであったことを検出したときは、「それではこの話はどうでしょう」と話の内容を変更したり、「違っていましたか」と意図を確認したりする。または、「すみません」と、期待はずれであったことを認識していることを伝える。ユーザは、期待はずれと感じたときでも、装置側がそれを認識していることを知ると、その不満は多少なりとも軽減されると考えられる。

また、本発明では、機器の応答の直後に生体信号からユーザの反応を認識できるので、機器側は、速やかな対応が可能になる。

本発明によると、ユーザの期待通りに応答できたか否かの情報を、ユーザの生体信号から得ることができるので、ユーザに対してより適切なサービスを提供可能になる。したがって、家庭用ロボットや情報端末などユーザに何らかのサービスを提供する装置の利便性を向上させるのに有効である。

（ａ）はユーザが機器を操作する場面、（ｂ）は（ａ）におけるユーザの意思や行動を示すフローチャートである。 図１（ｂ）を一般化したフローチャートである。 本願発明者らが行った実験の手順の概要図である。 図３の実験の一試行分の手順を示すフローチャートである。 ４人の被験者の実験データを示すグラフである。 本発明の一実施形態に係るサービス提供装置の構成を示すブロック図である。 図６のサービス提供装置の動作を示すフローチャートである。 期待はずれ信号の具体的な検出方法の例を示すフローチャートである。 期待はずれ信号の検出結果を示す図である。 本発明の一実施形態に係るサービス提供装置の構成の他の例である。 事象関連電位の例を示すグラフである。

Claims (8)

1. ユーザの要求を受ける入力部と、
   前記入力部によって受けた要求に対し、応答内容を決定する応答内容決定部と、
   前記応答内容決定部によって決定された応答内容を、出力する出力部と、
   前記出力部が応答内容を出力したタイミングを起点として、ユーザの事象関連電位を計測する生体信号検出部と、
   前記生体信号検出部によって計測した前記事象関連電位の、前記起点から約６００ｍｓ前後の部分を用いてユーザの期待はずれを判定し、判定結果を用いて前記応答内容決定部の応答内容の修正を指示する、判定部とを備えた
   ことを特徴とするサービス提供装置。
2. 請求項１において、
   前記判定部は、テンプレートを用いて、ユーザの期待はずれを判定する
   ことを特徴とするサービス提供装置。
3. 請求項１において、
   前記判定部による判定結果を用いて、ユーザの要求と応答内容との関係を学習する学習部を備えた
   ことを特徴とするサービス提供装置。
4. 請求項１において、
   ヘルプ表示を、サービスとして提供する
   ことを特徴とするサービス提供装置。
5. 請求項１において、
   エージェントとして、サービスを提供する
   ことを特徴とするサービス提供装置。
6. 請求項１において、
   自然対話を介して、サービスを提供する
   ことを特徴とするサービス提供装置。
7. ユーザの要求を受ける入力部と、
   前記入力部によって受けた要求に対し、応答内容を決定する応答内容決定部と、
   前記応答内容決定部によって決定された応答内容を、出力する出力部と、
   前記出力部が応答内容を出力したタイミングを起点として、ユーザの事象関連電位を計測する生体信号検出部と、
   前記生体信号検出部によって計測した前記事象関連電位の、前記起点から約６００ｍｓ前後の部分を用いてユーザの期待はずれを判定する判定部とを備えた
   ことを特徴とする期待はずれ判定装置。
8. サービス提供装置において、ユーザの期待はずれを判定する方法であって、
   ユーザの要求を受ける入力ステップと、
   前記入力ステップにおいて受けた要求に対し、応答内容を決定する応答内容決定ステップと、
   前記応答内容決定ステップにおいて決定された応答内容を、出力する出力ステップと、
   前記出力ステップにおいて応答内容を出力したタイミングを起点として、ユーザの事象関連電位を計測する生体信号検出ステップと、
   前記生体信号検出ステップにおいて計測した前記事象関連電位の、前記起点から約６００ｍｓ前後の部分を用いてユーザの期待はずれを判定する判定ステップとを備えた
   ことを特徴とする期待はずれ判定方法。

Images