JP4299063B2 - インタフェースシステム - Google Patents
インタフェースシステム Download PDFInfo
- Publication number
- JP4299063B2 JP4299063B2 JP2003169743A JP2003169743A JP4299063B2 JP 4299063 B2 JP4299063 B2 JP 4299063B2 JP 2003169743 A JP2003169743 A JP 2003169743A JP 2003169743 A JP2003169743 A JP 2003169743A JP 4299063 B2 JP4299063 B2 JP 4299063B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- internal state
- rule
- change
- variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザインタフェースの設計手法に関する。
【０００２】
【従来の技術】
従来、サービスを提供するシステムにおいて、サービスの利用方法やその結果をユーザにわかり易く伝えるために、グラフィカルユーザインタフェース（ＧＵＩ）が利用されている。ＧＵＩの一つであるダイアログメッセージの表示は、システム側からの機械的かつ高圧的な印象をユーザに与えることが多い。そこで、自然な印象をユーザに与えるために、サービスの利用をキャラクタに仲介させるインタフェースも提案されている。
【０００３】
このようなインタフェースは、インタフェースエージェントとも呼ばれ、擬人化されたキャラクタが用いられることが多い。インタフェースエージェントには、例えば、ＭＩＴ（マサチューセッツ工科大学）のA-LIVE system（非特許文献１参照。）やATRのPalm Guideにおけるガイドエージェント（非特許文献２参照。）がある。これらのシステムでは、提供されるサービスの利用方法や処理経過、注意などを、ユーザが直感的に理解し易いエージェントの表情や話し言葉で伝える。このため、ユーザは、システムからの情報を自然に受け入れることができる。また、ユーザは、相手の存在を視覚的にも感じることができるため、インタラクションの対象として認識されやすい。
【０００４】
更に、現在では、ユーザによって入力された主観的かつ多義性のある感性情報を把握し、ユーザ固有の感性情報に合わせて情報の提示を行うインタフェースの研究も行われている。かかるインタフェースでは、ユーザが入力した画像に対する感性的な言葉を基にした画像検索が行われる（非特許文献３参照）。
【０００５】
【非特許文献１】
P.Mase, T.Darrell, B.Blumberg, A.Pentland: The ALIVE system: Full-body interaction with autonomous agents, Proc. of the Computer Animation '95, 1995
【非特許文献２】
角、間瀬：実世界コンテキストに埋め込まれたコミュニティウェア、情報処理学会論文誌、Vol.41, No.10, pp.2679-2688 ,2000
【非特許文献３】
木本：感性語による画像検索とその精度評価、情報処理学会論文誌 Vol.40, No.3-14
【０００６】
【発明が解決しようとする課題】
上記従来技術におけるインタフェースエージェントは、人間同士がコミュニケーションを行う時の挙動や表情を表出することにより、ユーザは、対人間とのコミュニケーションに類似した自然なインタフェースを介して、システムを利用できる。しかし、かかるインタフェースエージェントは、自然なインタフェースを通じて、システム側の情報をユーザに伝えることを主眼としたものであり、ユーザが、インタフェースエージェントに対して、特別な親しみを感じることを目的としたものではない。
【０００７】
したがって、ユーザは、サービスを利用するとき以外は、インタフェースエージェントとのインタラクションの機会をもたず、インタラクションの中からユーザの嗜好を抽出できるようなユーザの詳細情報を獲得する機会は少ない。また、従来のインタフェースエージェントは、サービス利用時における応答の信頼性や操作性を重視しており、自律的あるいは自発的な処理を行わない。このため、ユーザが、インタフェースエージェントを長期間利用した場合には、インタフェースエージェントの反応をユーザが予測できてしまい、反応の意外性からユーザの興味を持続させてインタラクションを継続してもらうといったことが困難となる。
【０００８】
更に、ユーザが入力する感性情報を理解する従来のシステムでは、感性語を用いてユーザが表現する対象物と利用した感性語との間で特徴量を算出できる領域を限定している。したがって、システムからの出力内容には、ユーザが利用する一般のサービスに関する感想やインタフェースの応答に関する感想が考慮されていない。
【０００９】
そこで、本発明の課題は、ユーザへの協調的な反応と、インタフェースシステム自身の自律的な反応とが融合された出力を、ユーザに対して行うことである。
【００１０】
【課題を解決するための手段】
上記課題を解決すべく、本発明に係るインタフェースシステムは、ユーザからの入力情報に対する出力情報を決定すると共に、インタフェースシステムの内部状態を表す内部状態変数を使用して、前記入力情報の解析を行う解析手段と、前記入力情報の入力履歴と前記出力情報の出力履歴とを保持する履歴保持手段と、前記履歴保持手段に保持されている情報を基に、前記ユーザの嗜好及び感性を推定する推定手段と、前記内部状態変数を変化させるためのルールを保持するルール保持手段と、前記推定手段により推定された嗜好及び感性と、前記ルール保持手段に保持されたルールとに基づいて、前記内部状態変数の変化量を算出する変化量算出手段と、前記内部状態変数の時間的推移に、前記ルール保持手段に保持されたルールを適用して、次時刻における内部状態変数を算出する変数算出手段と、前記変化量算出手段により算出された変化量と、前記変数算出手段により算出された次時刻における内部状態変数とから、現在の内部状態変数を算出すると共に、当該算出結果と、前記推定手段により推定された嗜好及び感性とを参照して、外部システムへの問合せを行い、当該外部システムからの応答結果に対する応答内容を決定する決定手段とを備え、前記内部状態変数は、生物的な感情の状態を表す感情状態変数、及び、本能に関する状態を表す本能状態変数であり、前記ルール保持手段は、感情の状態を変化させるための感情変化ルールと、本能に関する状態を変化させるための本能変化ルールと、感情の状態と本能に関する状態とをこれらの相互関係に基づいて変化さるための相互変化ルールとを、自律的変化ルールとして保持し、前記変数算出手段は、適用されている自律的変化ルールを参照して、次時刻における内部状態を算出し、前記変数算出手段により算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する判定手段を更に備えると共に、前記変数算出手段は、新たに適用可能なルールが有ることが前記判定手段により判定された場合に、前記内部状態変数の変化量を算出し、自律的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する統合手段を更に備える。
本発明に係るインタフェースの処理方法は、ユーザからの入力情報に対する出力情報を決定すると共に、インタフェースシステムの内部状態を表す内部状態変数を使用して、前記入力情報の解析を行う解析ステップと、前記入力情報の入力履歴と前記出力情報の出力履歴とを保持する履歴保持ステップと、前記履歴保持手段に保持されている情報を基に、前記ユーザの嗜好及び感性を推定する推定ステップと、前記内部状態変数を変化させるためのルールを保持するルール保持ステップと、前記推定ステップにおいて推定された嗜好及び感性と、前記ルール保持ステップにおいて保持されたルールとに基づいて、前記内部状態変数の変化量を算出する変化量算出ステップと、前記内部状態変数の時間的推移に、前記ルール保持ステップにおいて保持されたルールを適用して、次時刻における内部状態変数を算出する変数算出ステップと、前記変化量算出ステップにおいて算出された変化量と、前記変数算出ステップにおいて算出された次時刻における内部状態変数とから、現在の内部状態変数を算出すると共に、当該算出結果と、前記推定ステップにおいて推定された嗜好及び感性とを参照して、外部システムへの問合せを行い、当該外部システムからの応答結果に対する応答内容を決定する決定ステップと、備え、前記内部状態変数は、生物的な感情の状態を表す感情状態変数、及び、本能に関する状態を表す本能状態変数であり、前記ルール保持ステップは、感情の状態を変化させるための感情変化ルールと、本能に関する状態を変化させるための本能変化ルールと、感情の状態と本能に関する状態とをこれらの相互関係に基づいて変化さるための相互変化ルールとを、自律的変化ルールとして保持し、前記変数算出ステップは、適用されている自律的変化ルールを参照して、次時刻における内部状態を算出し、前記変数算出ステップにおいて算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する判定ステップを更に備えると共に、前記変数算出ステップは、新たに適用可能なルールが有ることが前記判定ステップにおいて判定された場合に、前記内部状態変数の変化量を算出し、自律的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する統合ステップを更に備える。
【００１１】
本発明によれば、ユーザへの協調的な反応と、インタフェースシステム自身の自律的な反応とが融合された出力を、ユーザに対して行うことが可能となる。また、インタフェースシステムは、ユーザからの入力情報に対するインタフェースシステムの出力情報の履歴と、インタフェースシステムの内部状態の履歴とに基づき、自発的、かつ、時間的に連続した生物的な変化を実現することができる。その結果、インタフェースシステムをユーザが長期間利用した場合であっても、ユーザの興味を持続させることが可能となる。更に、インタフェースシステムは、ユーザがサービスを利用する場合でなくても、インタフェースシステムとのインタラクションを行うためのユーザの詳細な情報を獲得することができる。
更に、本発明によれば、インタフェースシステム自身の内部状態に本能や感情をもたせることにより、ユーザからの入力がない場合であっても、インタフェースシステムは、生理的なリズムに従って、その本能状態や感情状態を変化させ、それに従った出力を行う。これにより、本能の変化に伴う感情の変化や、感情の変化に伴う本能の変化、あるいは、感情状態変数のある変数の変化に伴う他の変数の変化など、が相互に様々な影響を与え合う。したがって、インタフェースシステムの内部状態が常に変化し、インタフェースシステムは、自律的に振る舞う生物のような行動を表出する。その結果、ユーザに対する興趣性が高まり、インタラクションが促進される。
【００１４】
本発明に係るインタフェースシステムにおいては、前記変化量算出手段は、前記解析手段により解析された入力情報が、対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかによって、処理を切り換える切換え手段と、前記入力情報が対ユーザ利用サービスである場合に、当該サービスの内容と当該サービスを利用した感想とを、ユーザ固有の辞書に登録する登録手段と、前記入力手段が対インタフェースシステムである場合に、当該インタフェースシステムに対する入力情報を、前記ルール保持手段に保持されたルールに従って、インタフェースシステムの感情を表す感性語に変換する感性語変換手段と、前記感性語の語彙マップを参照することで、前記ユーザの入力した感性語を、当該ユーザの感情の程度に合わせた感情語に変換する感情語変換手段とを更に備えるものとしてもよい。
また、本発明に係るインタフェースの処理方法において、前記変化量算出ステップは、前記解析ステップにおいて解析された入力情報が対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかによって、処理を切り換える切換えステップと、前記入力情報が対ユーザ利用サービスである場合に、当該サービスの内容と当該サービスを利用した感想とを、ユーザ固有の辞書に登録する登録手段と、前記入力情報が対インタフェースシステムである場合に、当該インタフェースシステムに対する入力情報を、前記ルール保持ステップにおいて保持されたルールに従って、インタフェースシステムの感情を表す感性語に変換する感性語変換ステップと、前記感性語の語彙マップを参照することで、前記ユーザの入力した感性語を、当該ユーザの感情の程度に合わせた感情語に変換する感情語変換ステップとを更に備えることとしてもよい。
【００１５】
本発明によれば、インタフェースシステムは、ユーザ固有の感情状態に基づいて、ユーザの感情に同調した応答を返すことができる。このため、ユーザは、インタフェースシステムに対して親近感を抱き、ユーザがインタラクションの機会を多くもつ可能性が高まる。また、インタフェースシステムは、ユーザが利用する一般的なサービスに関するユーザ固有の感性情報の把握を行うことも可能となる。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して、本発明の一実施形態におけるユーザインタフェースシステムについて説明する。ユーザインタフェースシステム１（インタフェースシステムに対応）は、図１に示す様に、ユーザとサービス提供システム２（外部システムに対応）との間に存在する。ユーザとサービス提供システム２との間における全ての入出力は、ユーザインタフェースシステム１を経由する。ユーザインタフェースシステム１は、ユーザからの入力情報だけでなく、ユーザの状況や嗜好の情報も付加して、サービス提供システム２へメッセージを送信する。
【００１７】
ユーザインタフェースシステム１は、サービス提供システム２から応答結果を受信すると、その応答結果をユーザに提示する。サービス利用時以外にも、ユーザとユーザインタフェースシステム１とは、インタラクションを行う。その際は、ユーザインタフェースシステム１は、ユーザからの入力情報に対し、ユーザインタフェースシステム１内部に閉じた応答を返す。
【００１８】
ユーザインタフェースシステム１は、ユーザとサービスとを仲介するエージェントと捉えることもできる。したがって、以下、必要に応じて、ユーザインタフェースシステム１を「エージェント」と表記する。ユーザインタフェースシステム１は、自律的な行動とユーザへの協調的な反応を表出する機構を兼ね備えている。ここで、ユーザインタフェースシステム１の内部状態とは、システム自体の本能や感情の状態を示す。ユーザインタフェースシステム１の構成を図２に示す。
【００１９】
協調性制御部１１（変化量算出手段に対応）は、ユーザによる入力に対しての反応や、入力されたユーザの感情への同調などの応答を行い、ユーザがエージェントに対して親近感をもつような反応を返す。その際に、協調性制御部１１は、ユーザモデル把握・保持部１１ａ（推定手段に対応）及び協調変化ルール保存部１１ｂ（ルール保持手段）を参照する。ユーザモデル把握・保持部１１ａは、以前のインタラクション履歴を記憶部１５に保存させ、図３に示す様に、その履歴の中から、ユーザ独自の感性語の表現や傾向を抽出して保持している。
【００２０】
自律性制御部１２（変数算出手段に対応）は、ユーザ入力とは直接関係なく、ユーザインタフェースシステム１の内部状態に従った応答を行う。その際に、自律性制御部１２は、図４に示す様に、エージェントとしてのユーザインタフェースシステム１の本能や感情の変化ルールを参照して、現在までのユーザインタフェースシステム１の内部状態を基に現在の内部状態を決定する。自律性制御部１２は、ユーザ入力がない場合でも、内部状態を常に変化させ、ユーザの興味を引きつけるような生物的な挙動を行うことで、ユーザに存在感を感じさせる。現在の内部状態は、自律的な挙動及び協調的な行動を含め、その過去の内部状態の系列に応じて生成される。また、新規適用ルール判定部１２２は、変化量算出部１２１により算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する。新規適用ルール変化量算出部１２３は、新たに適用可能なルールがあることが新規適用ルール判定部１２２により判定された場合に、内部状態変数の変化量を算出する。内部状態変化統合部１２４は、自立的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する。
【００２１】
入力解析部１３（解析手段に対応）は、ユーザ入力に対して、その対象及び状態を明らかにする。入力解析部１３は、ユーザインタフェースシステム１とのインタラクション時におけるユーザの感情に関する入力、及び、サービス利用時におけるユーザの感想に関する入力を促す。ユーザは、自分の感情やそのサービスに対する感想を、インタラクションの中で入力解析部１３に入力していく。
【００２２】
再び図３を参照すると、感性語表現把握部１１４（感情語変換手段に対応）は、入力された感情語が表現する程度を示す感性語語彙マップ１１１ａを参照して、サービス利用時におけるユーザの感想を把握し、サービス情報と共に保持する。感性語語彙マップ１１１ａは、多次元空間で表現される。また、感情語が示すユーザ独自の表現程度の微妙な違いは、ベクトルの相違で表現される。
【００２３】
サービス内容・感想登録部１１２（登録手段に対応）は、語彙間のつながりをノードで結び、かつ、その距離ももった概念連想辞書１１２ａに、サービス内容やその感想を表す感性語を、関連キーワードと共に登録する。これにより、ユーザインタフェースシステム１は、ユーザの感性又はサービスに対するユーザの感想を学習する。対入力行為感情変化決定部１１３は、インタフェースシステム１に対する入力情報を、協調変化ルール保持部１１ｂに保持されたルールに従ってインタフェースシステム１の感情を表す感性語に変換する。対象別処理切換部１１１は、入力解析部１３により解析された入力情報に応じて、対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかに、処理を切り換える。
【００２４】
ここで、入力、内部状態、出力の関係を数式で表現すると、以下のようになる。
入力 ：Ｙ＝ｆ（ω） …（１）
内部状態：ｄＸ／ｄｔ＝ｆAＸ＋ｆBＹ …（２）
出力 ：Ｚ＝ｆCＸ …（３）
ここで、ωは入力の種類（キー操作等）を表し、ｆは入力解析関数、ｆAは自律性制御関数、ｆBは協調性制御関数、ｆCは応答決定関数をそれぞれ表す。
【００２５】
以下、ユーザインタフェースシステム１の具体的処理例を説明する。
まず、ユーザとユーザインタフェースシステム１間に閉じた応答の処理を説明する。ユーザインタフェースシステム１の内部状態は、４つの本能と６つの感情をもつ。４つの本能とは、愛情欲、探索欲、睡眠欲、食欲である。６つの感情とは、喜び、怒り、哀しみ、楽しみ、嫌悪、恐れである。本能変数Ｉ１，Ｉ２，Ｉ３，Ｉ４と、感情変数Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５，Ｅ６とは、０から９の値で表現され、これらの値が大きい程、その本能又は感情が強く表出されることを表す。それぞれの変数は、上述した変化ルールに則って変化するが、ある感情変数値が９を超えてしまう場合には、正規化によりその変数値を９として、各々の変数値を再度設定する処理が必要となる。
【００２６】
ユーザインタフェースシステム１は、ユーザからの入力がない間は、協調性制御を行わず、自律性制御に従って内部状態を変化させることで、その挙動を変化させていく。ユーザは、ボタン押下、マウス操作、テキスト入力などで、ユーザインタフェースシステム１に対する入力を行う。入力される情報の種類は、ユーザの感情やサービスに対する感想を示す感性語、あるいは、ユーザインタフェースシステム１に対する行為（なでる、叩く等）などである。
【００２７】
入力情報と、入力解析部１３による解析結果との対応関係の一例を図５に示す。入力解析部１３は、ユーザからの入力信号を解析し、その内容は、協調性制御部１１に出力される。その後、協調性制御部１１では、ユーザの入力に対する、エージェントの感情の変化量が出力される。
【００２８】
ユーザの感情やサービスに対する感想の入力に対しては、その気持ちを示す感性語の対応付けが可能である。サービスに対する感想の場合には、概念連想辞書１１２ａ（図６参照）に、サービス内容、感性語などの関連キーワードが登録される。語彙間を結ぶノードは距離をもち、ユーザ入力がエージェントに対して行われた行為の場合には、その行為は、エージェントが受ける感情を表す感性語に変換される。エージェントに対する行為と感性語との対応関係の一例を図７に示す。
【００２９】
それぞれの感性語は、図８に示す様に、上述した６種類の感情Ｅ１〜Ｅ６を軸とした6次元空間の中にベクトルで表現されている。各感性語の初期値としては一般的な値が設定されているが、インタラクションを通して、そのユーザ独自のベクトルが生成されていく。ベクトルの調節に関しては、ユーザインタフェースシステム１が、感情変数の割合を制御するインタフェースをユーザに提示し、ユーザが、その割合を変更するバーを上下させることによって行う。感情と６次元ベクトルとの対応関係の一例を図９に示す。
【００３０】
自律性制御部１２では、本能と感情の生理リズムに基づく内部状態の変動と、本能状態変数と感情状態変数との関係に基づく内部状態の変動とを計算して、以前の内部状態からの変化量を算出し、次の内部状態を求める。感情は、本能の各状態変数値の変動に伴って変化する。同様に、本能も、感情の状態変数値の変動により変化する。また、本能は、イベントの発生と時間の経過とに伴って変化する。
【００３１】
更に、本能は、他の感情の状態変数値によっても変化する。例えば、ユーザからの入力が一定時間検出されない場合には、探索欲が増し、エージェントは周辺を歩きまわる。以後も探索欲が満たされない状態が続くと、嫌悪度が上がる。反対に、探索欲が満たされると、喜び度、楽しい度が上昇する。更に長時間、ユーザからの入力が検出されないと、愛情欲が増し、楽しい度は減少してゆく。愛情欲が高い状態の時に入力が検出されると、喜び度は、通常よりも高く上昇する。また、喜び度が高い状態が継続されると、その状態が通常となり、その値（喜び度）は緩やかに減少していく。睡眠欲や食欲は、周期的な生理リズムで現れる。自律性制御部１２は、上述したような、本能と感情の変化の特性ルール（シナリオ）をもち、過去の内部状態にこれを適用して、次の内部状態を決定する。
【００３２】
協調性制御部１１と自律性制御部１２とにより算出された内部状態[Ia（t+1），Ea（t+1），Ib(t+1)，Eb（t+1）]から、現在のユーザインタフェースシステム１の内部状態が決定される。協調性制御部１１から出力された変化量（ΔIb，ΔEb）と、自律性制御部１２から出力された変化量（ΔIa(t),ΔEa(t)）との和が、内部状態（I（t），E(t)）に加算される。ΔEbとΔEaとの表出割合は、E(t-1)の感情変数値の和の絶対値により決定される。この絶対値が大きい程、自律性の表出を多くする。つまり、エージェントは、強い感情をもっているときには、ユーザの入力に対してあまり従わない。また、特定の本能変数が高い場合にも自律性に従う。その割合は、変数値の絶対値の和の割合とする。内部状態を決定する際における協調性と自律性の表出割合の一例を図１０に示す。図１０に示す様に、現在の内部状態をX(t)とすると、自律性の表出割合はXa(t)、協調性の表出割合はXb(t)と表すことができる。
【００３３】
以上の処理により、ユーザインタフェースシステム１の内部状態が決定され、応答決定部１４（決定手段に対応）により、その値に応じたユーザインタフェースシステム１の挙動が決定される。応答決定部１４は、各感情要素の値から上位３つの値を選択し、それぞれの値が占める割合を求める。応答決定部１４は、感情状態と感情を表現した挙動とが対応付けられているテーブル（図１１参照）を参照し、ユーザインタフェースシステム１の応答挙動を決定する。
【００３４】
ユーザインタフェースシステム１が、サービス提供システム２のサービスを利用する場合において、内部状態の決定に際して協調性が多く表出されるときには、サービス選択時における絞込みが可能な条件キーワードの追加を行う。かかるキーワードの追加は、ユーザモデル把握・保持部１１ａを参照して行われる。
【００３５】
例えば、ユーザが、「何かおもしろいことがしたい」という要求をユーザインタフェースシステム１に入力した場合には、ユーザインタフェースシステム１は、概念連想辞書１１２ａを参照して、ユーザが以前に利用したサービスの履歴から、「おもしろい」と関連付けられたサービスやキーワードを基に、サービスの発見を行う。ユーザインタフェースシステム１は、サービス提供システム２からの応答を受け、ユーザインタフェースシステム１自身の内部状態を反映した応答挙動を決定し、ユーザに提示する。そのユーザインタフェースシステム１からの応答は、入力及び解析された情報と共に、記憶部１５（履歴保持手段に対応）に格納される。
【００３６】
以上説明した様に、本実施の形態におけるユーザインタフェースシステム１によれば、ユーザがユーザインタフェースシステム１に対して親しみを感じることで、密なインタラクションをとることができる。これにより、ユーザインタフェースシステム１は、ユーザに関する情報を多く得られ、ユーザによる感性表現やユーザが意図する感性語の表現を、容易かつ正確に把握することができる。したがって、ユーザの感性に合った応答を効果的に表出することができ、インタラクションが更に促進される。また、ユーザインタフェースシステム１は、ユーザからの入力内容に従った挙動だけでなく、自己のリズムに合わせた挙動をとることにより、常に同じ反応ではなく、ユーザの予測とは異なる反応をユーザに返すこともできる。これにより、ユーザに意外性を感じさせることができる。その結果、ユーザは長期的に興味を失わずインタラクションを継続する、といった効果が期待できる。
【００３７】
【発明の効果】
本発明によれば、ユーザへの協調的な反応と、インタフェースシステム自身の自律的な反応とが融合された出力を、ユーザに対して行うことが可能となる。
【図面の簡単な説明】
【図１】ユーザとユーザインタフェースシステムとサービス提供システムとの位置関係を概念的に示す図である。
【図２】ユーザインタフェースシステムの構成を示す図である。
【図３】協調性制御部の構成を示す図である。
【図４】自律性制御部の構成を示す図である。
【図５】入力情報と、入力解析部による解析結果との対応関係の一例を示す図である。
【図６】概念連想辞書における関連キーワードの登録例を示す図である。
【図７】エージェントに対する行為と感性語との対応関係の一例を示す図である。
【図８】感性語語彙マップにおける6次元空間ベクトルの一例を示す図である。
【図９】感情と６次元ベクトルとの対応関係の一例を示す図である。
【図１０】内部状態を決定する際における協調性と自律性の表出割合の一例を示す図である。
【図１１】感情状態と応答挙動とが対応付けられているテーブル内部のデータ格納例を示す図である。
【符号の説明】
１…ユーザインタフェースシステム、２…サービス提供システム、１１…協調性制御部、１１ａ…ユーザモデル把握・保持部、１１ｂ…協調変化ルール保存部（ルール保持手段）、１１１…対象別処理切換部（切換え手段）、１１２…サービス内容・感想登録部、１１３…対入力行為感情変化決定部（感性語変換手段）、１１４…感性語表現把握部、１１５…感情調整部（変化量算出手段）、１２…自律性制御部、１２ｂ…自律変化ルール保存部（ルール保持手段）、１２２…新規適用ルール判定部（判定手段）、１２３…新規適用ルール変化量算出部（変化量算出手段）、１２４…内部状態変化統合部（統合手段）、１３…入力解析部、１４…応答決定部、１５…記憶部
【発明の属する技術分野】
本発明は、ユーザインタフェースの設計手法に関する。
【０００２】
【従来の技術】
従来、サービスを提供するシステムにおいて、サービスの利用方法やその結果をユーザにわかり易く伝えるために、グラフィカルユーザインタフェース（ＧＵＩ）が利用されている。ＧＵＩの一つであるダイアログメッセージの表示は、システム側からの機械的かつ高圧的な印象をユーザに与えることが多い。そこで、自然な印象をユーザに与えるために、サービスの利用をキャラクタに仲介させるインタフェースも提案されている。
【０００３】
このようなインタフェースは、インタフェースエージェントとも呼ばれ、擬人化されたキャラクタが用いられることが多い。インタフェースエージェントには、例えば、ＭＩＴ（マサチューセッツ工科大学）のA-LIVE system（非特許文献１参照。）やATRのPalm Guideにおけるガイドエージェント（非特許文献２参照。）がある。これらのシステムでは、提供されるサービスの利用方法や処理経過、注意などを、ユーザが直感的に理解し易いエージェントの表情や話し言葉で伝える。このため、ユーザは、システムからの情報を自然に受け入れることができる。また、ユーザは、相手の存在を視覚的にも感じることができるため、インタラクションの対象として認識されやすい。
【０００４】
更に、現在では、ユーザによって入力された主観的かつ多義性のある感性情報を把握し、ユーザ固有の感性情報に合わせて情報の提示を行うインタフェースの研究も行われている。かかるインタフェースでは、ユーザが入力した画像に対する感性的な言葉を基にした画像検索が行われる（非特許文献３参照）。
【０００５】
【非特許文献１】
P.Mase, T.Darrell, B.Blumberg, A.Pentland: The ALIVE system: Full-body interaction with autonomous agents, Proc. of the Computer Animation '95, 1995
【非特許文献２】
角、間瀬：実世界コンテキストに埋め込まれたコミュニティウェア、情報処理学会論文誌、Vol.41, No.10, pp.2679-2688 ,2000
【非特許文献３】
木本：感性語による画像検索とその精度評価、情報処理学会論文誌 Vol.40, No.3-14
【０００６】
【発明が解決しようとする課題】
上記従来技術におけるインタフェースエージェントは、人間同士がコミュニケーションを行う時の挙動や表情を表出することにより、ユーザは、対人間とのコミュニケーションに類似した自然なインタフェースを介して、システムを利用できる。しかし、かかるインタフェースエージェントは、自然なインタフェースを通じて、システム側の情報をユーザに伝えることを主眼としたものであり、ユーザが、インタフェースエージェントに対して、特別な親しみを感じることを目的としたものではない。
【０００７】
したがって、ユーザは、サービスを利用するとき以外は、インタフェースエージェントとのインタラクションの機会をもたず、インタラクションの中からユーザの嗜好を抽出できるようなユーザの詳細情報を獲得する機会は少ない。また、従来のインタフェースエージェントは、サービス利用時における応答の信頼性や操作性を重視しており、自律的あるいは自発的な処理を行わない。このため、ユーザが、インタフェースエージェントを長期間利用した場合には、インタフェースエージェントの反応をユーザが予測できてしまい、反応の意外性からユーザの興味を持続させてインタラクションを継続してもらうといったことが困難となる。
【０００８】
更に、ユーザが入力する感性情報を理解する従来のシステムでは、感性語を用いてユーザが表現する対象物と利用した感性語との間で特徴量を算出できる領域を限定している。したがって、システムからの出力内容には、ユーザが利用する一般のサービスに関する感想やインタフェースの応答に関する感想が考慮されていない。
【０００９】
そこで、本発明の課題は、ユーザへの協調的な反応と、インタフェースシステム自身の自律的な反応とが融合された出力を、ユーザに対して行うことである。
【００１０】
【課題を解決するための手段】
上記課題を解決すべく、本発明に係るインタフェースシステムは、ユーザからの入力情報に対する出力情報を決定すると共に、インタフェースシステムの内部状態を表す内部状態変数を使用して、前記入力情報の解析を行う解析手段と、前記入力情報の入力履歴と前記出力情報の出力履歴とを保持する履歴保持手段と、前記履歴保持手段に保持されている情報を基に、前記ユーザの嗜好及び感性を推定する推定手段と、前記内部状態変数を変化させるためのルールを保持するルール保持手段と、前記推定手段により推定された嗜好及び感性と、前記ルール保持手段に保持されたルールとに基づいて、前記内部状態変数の変化量を算出する変化量算出手段と、前記内部状態変数の時間的推移に、前記ルール保持手段に保持されたルールを適用して、次時刻における内部状態変数を算出する変数算出手段と、前記変化量算出手段により算出された変化量と、前記変数算出手段により算出された次時刻における内部状態変数とから、現在の内部状態変数を算出すると共に、当該算出結果と、前記推定手段により推定された嗜好及び感性とを参照して、外部システムへの問合せを行い、当該外部システムからの応答結果に対する応答内容を決定する決定手段とを備え、前記内部状態変数は、生物的な感情の状態を表す感情状態変数、及び、本能に関する状態を表す本能状態変数であり、前記ルール保持手段は、感情の状態を変化させるための感情変化ルールと、本能に関する状態を変化させるための本能変化ルールと、感情の状態と本能に関する状態とをこれらの相互関係に基づいて変化さるための相互変化ルールとを、自律的変化ルールとして保持し、前記変数算出手段は、適用されている自律的変化ルールを参照して、次時刻における内部状態を算出し、前記変数算出手段により算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する判定手段を更に備えると共に、前記変数算出手段は、新たに適用可能なルールが有ることが前記判定手段により判定された場合に、前記内部状態変数の変化量を算出し、自律的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する統合手段を更に備える。
本発明に係るインタフェースの処理方法は、ユーザからの入力情報に対する出力情報を決定すると共に、インタフェースシステムの内部状態を表す内部状態変数を使用して、前記入力情報の解析を行う解析ステップと、前記入力情報の入力履歴と前記出力情報の出力履歴とを保持する履歴保持ステップと、前記履歴保持手段に保持されている情報を基に、前記ユーザの嗜好及び感性を推定する推定ステップと、前記内部状態変数を変化させるためのルールを保持するルール保持ステップと、前記推定ステップにおいて推定された嗜好及び感性と、前記ルール保持ステップにおいて保持されたルールとに基づいて、前記内部状態変数の変化量を算出する変化量算出ステップと、前記内部状態変数の時間的推移に、前記ルール保持ステップにおいて保持されたルールを適用して、次時刻における内部状態変数を算出する変数算出ステップと、前記変化量算出ステップにおいて算出された変化量と、前記変数算出ステップにおいて算出された次時刻における内部状態変数とから、現在の内部状態変数を算出すると共に、当該算出結果と、前記推定ステップにおいて推定された嗜好及び感性とを参照して、外部システムへの問合せを行い、当該外部システムからの応答結果に対する応答内容を決定する決定ステップと、備え、前記内部状態変数は、生物的な感情の状態を表す感情状態変数、及び、本能に関する状態を表す本能状態変数であり、前記ルール保持ステップは、感情の状態を変化させるための感情変化ルールと、本能に関する状態を変化させるための本能変化ルールと、感情の状態と本能に関する状態とをこれらの相互関係に基づいて変化さるための相互変化ルールとを、自律的変化ルールとして保持し、前記変数算出ステップは、適用されている自律的変化ルールを参照して、次時刻における内部状態を算出し、前記変数算出ステップにおいて算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する判定ステップを更に備えると共に、前記変数算出ステップは、新たに適用可能なルールが有ることが前記判定ステップにおいて判定された場合に、前記内部状態変数の変化量を算出し、自律的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する統合ステップを更に備える。
【００１１】
本発明によれば、ユーザへの協調的な反応と、インタフェースシステム自身の自律的な反応とが融合された出力を、ユーザに対して行うことが可能となる。また、インタフェースシステムは、ユーザからの入力情報に対するインタフェースシステムの出力情報の履歴と、インタフェースシステムの内部状態の履歴とに基づき、自発的、かつ、時間的に連続した生物的な変化を実現することができる。その結果、インタフェースシステムをユーザが長期間利用した場合であっても、ユーザの興味を持続させることが可能となる。更に、インタフェースシステムは、ユーザがサービスを利用する場合でなくても、インタフェースシステムとのインタラクションを行うためのユーザの詳細な情報を獲得することができる。
更に、本発明によれば、インタフェースシステム自身の内部状態に本能や感情をもたせることにより、ユーザからの入力がない場合であっても、インタフェースシステムは、生理的なリズムに従って、その本能状態や感情状態を変化させ、それに従った出力を行う。これにより、本能の変化に伴う感情の変化や、感情の変化に伴う本能の変化、あるいは、感情状態変数のある変数の変化に伴う他の変数の変化など、が相互に様々な影響を与え合う。したがって、インタフェースシステムの内部状態が常に変化し、インタフェースシステムは、自律的に振る舞う生物のような行動を表出する。その結果、ユーザに対する興趣性が高まり、インタラクションが促進される。
【００１４】
本発明に係るインタフェースシステムにおいては、前記変化量算出手段は、前記解析手段により解析された入力情報が、対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかによって、処理を切り換える切換え手段と、前記入力情報が対ユーザ利用サービスである場合に、当該サービスの内容と当該サービスを利用した感想とを、ユーザ固有の辞書に登録する登録手段と、前記入力手段が対インタフェースシステムである場合に、当該インタフェースシステムに対する入力情報を、前記ルール保持手段に保持されたルールに従って、インタフェースシステムの感情を表す感性語に変換する感性語変換手段と、前記感性語の語彙マップを参照することで、前記ユーザの入力した感性語を、当該ユーザの感情の程度に合わせた感情語に変換する感情語変換手段とを更に備えるものとしてもよい。
また、本発明に係るインタフェースの処理方法において、前記変化量算出ステップは、前記解析ステップにおいて解析された入力情報が対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかによって、処理を切り換える切換えステップと、前記入力情報が対ユーザ利用サービスである場合に、当該サービスの内容と当該サービスを利用した感想とを、ユーザ固有の辞書に登録する登録手段と、前記入力情報が対インタフェースシステムである場合に、当該インタフェースシステムに対する入力情報を、前記ルール保持ステップにおいて保持されたルールに従って、インタフェースシステムの感情を表す感性語に変換する感性語変換ステップと、前記感性語の語彙マップを参照することで、前記ユーザの入力した感性語を、当該ユーザの感情の程度に合わせた感情語に変換する感情語変換ステップとを更に備えることとしてもよい。
【００１５】
本発明によれば、インタフェースシステムは、ユーザ固有の感情状態に基づいて、ユーザの感情に同調した応答を返すことができる。このため、ユーザは、インタフェースシステムに対して親近感を抱き、ユーザがインタラクションの機会を多くもつ可能性が高まる。また、インタフェースシステムは、ユーザが利用する一般的なサービスに関するユーザ固有の感性情報の把握を行うことも可能となる。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して、本発明の一実施形態におけるユーザインタフェースシステムについて説明する。ユーザインタフェースシステム１（インタフェースシステムに対応）は、図１に示す様に、ユーザとサービス提供システム２（外部システムに対応）との間に存在する。ユーザとサービス提供システム２との間における全ての入出力は、ユーザインタフェースシステム１を経由する。ユーザインタフェースシステム１は、ユーザからの入力情報だけでなく、ユーザの状況や嗜好の情報も付加して、サービス提供システム２へメッセージを送信する。
【００１７】
ユーザインタフェースシステム１は、サービス提供システム２から応答結果を受信すると、その応答結果をユーザに提示する。サービス利用時以外にも、ユーザとユーザインタフェースシステム１とは、インタラクションを行う。その際は、ユーザインタフェースシステム１は、ユーザからの入力情報に対し、ユーザインタフェースシステム１内部に閉じた応答を返す。
【００１８】
ユーザインタフェースシステム１は、ユーザとサービスとを仲介するエージェントと捉えることもできる。したがって、以下、必要に応じて、ユーザインタフェースシステム１を「エージェント」と表記する。ユーザインタフェースシステム１は、自律的な行動とユーザへの協調的な反応を表出する機構を兼ね備えている。ここで、ユーザインタフェースシステム１の内部状態とは、システム自体の本能や感情の状態を示す。ユーザインタフェースシステム１の構成を図２に示す。
【００１９】
協調性制御部１１（変化量算出手段に対応）は、ユーザによる入力に対しての反応や、入力されたユーザの感情への同調などの応答を行い、ユーザがエージェントに対して親近感をもつような反応を返す。その際に、協調性制御部１１は、ユーザモデル把握・保持部１１ａ（推定手段に対応）及び協調変化ルール保存部１１ｂ（ルール保持手段）を参照する。ユーザモデル把握・保持部１１ａは、以前のインタラクション履歴を記憶部１５に保存させ、図３に示す様に、その履歴の中から、ユーザ独自の感性語の表現や傾向を抽出して保持している。
【００２０】
自律性制御部１２（変数算出手段に対応）は、ユーザ入力とは直接関係なく、ユーザインタフェースシステム１の内部状態に従った応答を行う。その際に、自律性制御部１２は、図４に示す様に、エージェントとしてのユーザインタフェースシステム１の本能や感情の変化ルールを参照して、現在までのユーザインタフェースシステム１の内部状態を基に現在の内部状態を決定する。自律性制御部１２は、ユーザ入力がない場合でも、内部状態を常に変化させ、ユーザの興味を引きつけるような生物的な挙動を行うことで、ユーザに存在感を感じさせる。現在の内部状態は、自律的な挙動及び協調的な行動を含め、その過去の内部状態の系列に応じて生成される。また、新規適用ルール判定部１２２は、変化量算出部１２１により算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する。新規適用ルール変化量算出部１２３は、新たに適用可能なルールがあることが新規適用ルール判定部１２２により判定された場合に、内部状態変数の変化量を算出する。内部状態変化統合部１２４は、自立的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する。
【００２１】
入力解析部１３（解析手段に対応）は、ユーザ入力に対して、その対象及び状態を明らかにする。入力解析部１３は、ユーザインタフェースシステム１とのインタラクション時におけるユーザの感情に関する入力、及び、サービス利用時におけるユーザの感想に関する入力を促す。ユーザは、自分の感情やそのサービスに対する感想を、インタラクションの中で入力解析部１３に入力していく。
【００２２】
再び図３を参照すると、感性語表現把握部１１４（感情語変換手段に対応）は、入力された感情語が表現する程度を示す感性語語彙マップ１１１ａを参照して、サービス利用時におけるユーザの感想を把握し、サービス情報と共に保持する。感性語語彙マップ１１１ａは、多次元空間で表現される。また、感情語が示すユーザ独自の表現程度の微妙な違いは、ベクトルの相違で表現される。
【００２３】
サービス内容・感想登録部１１２（登録手段に対応）は、語彙間のつながりをノードで結び、かつ、その距離ももった概念連想辞書１１２ａに、サービス内容やその感想を表す感性語を、関連キーワードと共に登録する。これにより、ユーザインタフェースシステム１は、ユーザの感性又はサービスに対するユーザの感想を学習する。対入力行為感情変化決定部１１３は、インタフェースシステム１に対する入力情報を、協調変化ルール保持部１１ｂに保持されたルールに従ってインタフェースシステム１の感情を表す感性語に変換する。対象別処理切換部１１１は、入力解析部１３により解析された入力情報に応じて、対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかに、処理を切り換える。
【００２４】
ここで、入力、内部状態、出力の関係を数式で表現すると、以下のようになる。
入力 ：Ｙ＝ｆ（ω） …（１）
内部状態：ｄＸ／ｄｔ＝ｆAＸ＋ｆBＹ …（２）
出力 ：Ｚ＝ｆCＸ …（３）
ここで、ωは入力の種類（キー操作等）を表し、ｆは入力解析関数、ｆAは自律性制御関数、ｆBは協調性制御関数、ｆCは応答決定関数をそれぞれ表す。
【００２５】
以下、ユーザインタフェースシステム１の具体的処理例を説明する。
まず、ユーザとユーザインタフェースシステム１間に閉じた応答の処理を説明する。ユーザインタフェースシステム１の内部状態は、４つの本能と６つの感情をもつ。４つの本能とは、愛情欲、探索欲、睡眠欲、食欲である。６つの感情とは、喜び、怒り、哀しみ、楽しみ、嫌悪、恐れである。本能変数Ｉ１，Ｉ２，Ｉ３，Ｉ４と、感情変数Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５，Ｅ６とは、０から９の値で表現され、これらの値が大きい程、その本能又は感情が強く表出されることを表す。それぞれの変数は、上述した変化ルールに則って変化するが、ある感情変数値が９を超えてしまう場合には、正規化によりその変数値を９として、各々の変数値を再度設定する処理が必要となる。
【００２６】
ユーザインタフェースシステム１は、ユーザからの入力がない間は、協調性制御を行わず、自律性制御に従って内部状態を変化させることで、その挙動を変化させていく。ユーザは、ボタン押下、マウス操作、テキスト入力などで、ユーザインタフェースシステム１に対する入力を行う。入力される情報の種類は、ユーザの感情やサービスに対する感想を示す感性語、あるいは、ユーザインタフェースシステム１に対する行為（なでる、叩く等）などである。
【００２７】
入力情報と、入力解析部１３による解析結果との対応関係の一例を図５に示す。入力解析部１３は、ユーザからの入力信号を解析し、その内容は、協調性制御部１１に出力される。その後、協調性制御部１１では、ユーザの入力に対する、エージェントの感情の変化量が出力される。
【００２８】
ユーザの感情やサービスに対する感想の入力に対しては、その気持ちを示す感性語の対応付けが可能である。サービスに対する感想の場合には、概念連想辞書１１２ａ（図６参照）に、サービス内容、感性語などの関連キーワードが登録される。語彙間を結ぶノードは距離をもち、ユーザ入力がエージェントに対して行われた行為の場合には、その行為は、エージェントが受ける感情を表す感性語に変換される。エージェントに対する行為と感性語との対応関係の一例を図７に示す。
【００２９】
それぞれの感性語は、図８に示す様に、上述した６種類の感情Ｅ１〜Ｅ６を軸とした6次元空間の中にベクトルで表現されている。各感性語の初期値としては一般的な値が設定されているが、インタラクションを通して、そのユーザ独自のベクトルが生成されていく。ベクトルの調節に関しては、ユーザインタフェースシステム１が、感情変数の割合を制御するインタフェースをユーザに提示し、ユーザが、その割合を変更するバーを上下させることによって行う。感情と６次元ベクトルとの対応関係の一例を図９に示す。
【００３０】
自律性制御部１２では、本能と感情の生理リズムに基づく内部状態の変動と、本能状態変数と感情状態変数との関係に基づく内部状態の変動とを計算して、以前の内部状態からの変化量を算出し、次の内部状態を求める。感情は、本能の各状態変数値の変動に伴って変化する。同様に、本能も、感情の状態変数値の変動により変化する。また、本能は、イベントの発生と時間の経過とに伴って変化する。
【００３１】
更に、本能は、他の感情の状態変数値によっても変化する。例えば、ユーザからの入力が一定時間検出されない場合には、探索欲が増し、エージェントは周辺を歩きまわる。以後も探索欲が満たされない状態が続くと、嫌悪度が上がる。反対に、探索欲が満たされると、喜び度、楽しい度が上昇する。更に長時間、ユーザからの入力が検出されないと、愛情欲が増し、楽しい度は減少してゆく。愛情欲が高い状態の時に入力が検出されると、喜び度は、通常よりも高く上昇する。また、喜び度が高い状態が継続されると、その状態が通常となり、その値（喜び度）は緩やかに減少していく。睡眠欲や食欲は、周期的な生理リズムで現れる。自律性制御部１２は、上述したような、本能と感情の変化の特性ルール（シナリオ）をもち、過去の内部状態にこれを適用して、次の内部状態を決定する。
【００３２】
協調性制御部１１と自律性制御部１２とにより算出された内部状態[Ia（t+1），Ea（t+1），Ib(t+1)，Eb（t+1）]から、現在のユーザインタフェースシステム１の内部状態が決定される。協調性制御部１１から出力された変化量（ΔIb，ΔEb）と、自律性制御部１２から出力された変化量（ΔIa(t),ΔEa(t)）との和が、内部状態（I（t），E(t)）に加算される。ΔEbとΔEaとの表出割合は、E(t-1)の感情変数値の和の絶対値により決定される。この絶対値が大きい程、自律性の表出を多くする。つまり、エージェントは、強い感情をもっているときには、ユーザの入力に対してあまり従わない。また、特定の本能変数が高い場合にも自律性に従う。その割合は、変数値の絶対値の和の割合とする。内部状態を決定する際における協調性と自律性の表出割合の一例を図１０に示す。図１０に示す様に、現在の内部状態をX(t)とすると、自律性の表出割合はXa(t)、協調性の表出割合はXb(t)と表すことができる。
【００３３】
以上の処理により、ユーザインタフェースシステム１の内部状態が決定され、応答決定部１４（決定手段に対応）により、その値に応じたユーザインタフェースシステム１の挙動が決定される。応答決定部１４は、各感情要素の値から上位３つの値を選択し、それぞれの値が占める割合を求める。応答決定部１４は、感情状態と感情を表現した挙動とが対応付けられているテーブル（図１１参照）を参照し、ユーザインタフェースシステム１の応答挙動を決定する。
【００３４】
ユーザインタフェースシステム１が、サービス提供システム２のサービスを利用する場合において、内部状態の決定に際して協調性が多く表出されるときには、サービス選択時における絞込みが可能な条件キーワードの追加を行う。かかるキーワードの追加は、ユーザモデル把握・保持部１１ａを参照して行われる。
【００３５】
例えば、ユーザが、「何かおもしろいことがしたい」という要求をユーザインタフェースシステム１に入力した場合には、ユーザインタフェースシステム１は、概念連想辞書１１２ａを参照して、ユーザが以前に利用したサービスの履歴から、「おもしろい」と関連付けられたサービスやキーワードを基に、サービスの発見を行う。ユーザインタフェースシステム１は、サービス提供システム２からの応答を受け、ユーザインタフェースシステム１自身の内部状態を反映した応答挙動を決定し、ユーザに提示する。そのユーザインタフェースシステム１からの応答は、入力及び解析された情報と共に、記憶部１５（履歴保持手段に対応）に格納される。
【００３６】
以上説明した様に、本実施の形態におけるユーザインタフェースシステム１によれば、ユーザがユーザインタフェースシステム１に対して親しみを感じることで、密なインタラクションをとることができる。これにより、ユーザインタフェースシステム１は、ユーザに関する情報を多く得られ、ユーザによる感性表現やユーザが意図する感性語の表現を、容易かつ正確に把握することができる。したがって、ユーザの感性に合った応答を効果的に表出することができ、インタラクションが更に促進される。また、ユーザインタフェースシステム１は、ユーザからの入力内容に従った挙動だけでなく、自己のリズムに合わせた挙動をとることにより、常に同じ反応ではなく、ユーザの予測とは異なる反応をユーザに返すこともできる。これにより、ユーザに意外性を感じさせることができる。その結果、ユーザは長期的に興味を失わずインタラクションを継続する、といった効果が期待できる。
【００３７】
【発明の効果】
本発明によれば、ユーザへの協調的な反応と、インタフェースシステム自身の自律的な反応とが融合された出力を、ユーザに対して行うことが可能となる。
【図面の簡単な説明】
【図１】ユーザとユーザインタフェースシステムとサービス提供システムとの位置関係を概念的に示す図である。
【図２】ユーザインタフェースシステムの構成を示す図である。
【図３】協調性制御部の構成を示す図である。
【図４】自律性制御部の構成を示す図である。
【図５】入力情報と、入力解析部による解析結果との対応関係の一例を示す図である。
【図６】概念連想辞書における関連キーワードの登録例を示す図である。
【図７】エージェントに対する行為と感性語との対応関係の一例を示す図である。
【図８】感性語語彙マップにおける6次元空間ベクトルの一例を示す図である。
【図９】感情と６次元ベクトルとの対応関係の一例を示す図である。
【図１０】内部状態を決定する際における協調性と自律性の表出割合の一例を示す図である。
【図１１】感情状態と応答挙動とが対応付けられているテーブル内部のデータ格納例を示す図である。
【符号の説明】
１…ユーザインタフェースシステム、２…サービス提供システム、１１…協調性制御部、１１ａ…ユーザモデル把握・保持部、１１ｂ…協調変化ルール保存部（ルール保持手段）、１１１…対象別処理切換部（切換え手段）、１１２…サービス内容・感想登録部、１１３…対入力行為感情変化決定部（感性語変換手段）、１１４…感性語表現把握部、１１５…感情調整部（変化量算出手段）、１２…自律性制御部、１２ｂ…自律変化ルール保存部（ルール保持手段）、１２２…新規適用ルール判定部（判定手段）、１２３…新規適用ルール変化量算出部（変化量算出手段）、１２４…内部状態変化統合部（統合手段）、１３…入力解析部、１４…応答決定部、１５…記憶部
Claims (4)
- ユーザからの入力情報に対する出力情報を決定すると共に、インタフェースシステムの内部状態を表す内部状態変数を使用して、前記入力情報の解析を行う解析手段と、
前記入力情報の入力履歴と前記出力情報の出力履歴とを保持する履歴保持手段と、
前記履歴保持手段に保持されている情報を基に、前記ユーザの嗜好及び感性を推定する推定手段と、
前記内部状態変数を変化させるためのルールを保持するルール保持手段と、
前記推定手段により推定された嗜好及び感性と、前記ルール保持手段に保持されたルールとに基づいて、前記内部状態変数の変化量を算出する変化量算出手段と、
前記内部状態変数の時間的推移に、前記ルール保持手段に保持されたルールを適用して、次時刻における内部状態変数を算出する変数算出手段と、
前記変化量算出手段により算出された変化量と、前記変数算出手段により算出された次時刻における内部状態変数とから、現在の内部状態変数を算出すると共に、当該算出結果と、前記推定手段により推定された嗜好及び感性とを参照して、外部システムへの問合せを行い、当該外部システムからの応答結果に対する応答内容を決定する決定手段と、
を備え、
前記内部状態変数は、生物的な感情の状態を表す感情状態変数、及び、本能に関する状態を表す本能状態変数であり、
前記ルール保持手段は、感情の状態を変化させるための感情変化ルールと、本能に関する状態を変化させるための本能変化ルールと、感情の状態と本能に関する状態とをこれらの相互関係に基づいて変化さるための相互変化ルールとを、自律的変化ルールとして保持し、
前記変数算出手段は、適用されている自律的変化ルールを参照して、次時刻における内部状態を算出し、
前記変数算出手段により算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する判定手段を更に備えると共に、
前記変数算出手段は、新たに適用可能なルールが有ることが前記判定手段により判定された場合に、前記内部状態変数の変化量を算出し、
自律的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する統合手段を更に備えることを特徴とするインタフェースシステム。 - 前記変化量算出手段は、前記解析手段により解析された入力情報に応じて、対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかに、処理を切り換える切換え手段と、
対ユーザ利用サービスに切り換えられた場合には、当該サービスの内容と当該サービスを利用した感想とを、ユーザ固有の辞書に登録する登録手段と、
対インタフェースシステムに切り換えられた場合には、当該インタフェースシステムに対する入力情報を、前記ルール保持手段に保持されたルールに従って、インタフェースシステムの感情を表す感性語に変換する感性語変換手段と、
前記感性語の語彙マップを参照することで、前記ユーザの入力した感性語を、当該ユーザの感情の程度に合わせた感情語に変換する感情語変換手段とを更に備えることを特徴とする請求項１に記載のインタフェースシステム。 - ユーザからの入力情報に対する出力情報を決定すると共に、インタフェースシステムの内部状態を表す内部状態変数を使用して、前記入力情報の解析を行う解析ステップと、
前記入力情報の入力履歴と前記出力情報の出力履歴とを保持する履歴保持ステップと、
前記履歴保持手段に保持されている情報を基に、前記ユーザの嗜好及び感性を推定する推定ステップと、
前記内部状態変数を変化させるためのルールを保持するルール保持ステップと、
前記推定ステップにおいて推定された嗜好及び感性と、前記ルール保持ステップにおいて保持されたルールとに基づいて、前記内部状態変数の変化量を算出する変化量算出ステップと、
前記内部状態変数の時間的推移に、前記ルール保持ステップにおいて保持されたルールを適用して、次時刻における内部状態変数を算出する変数算出ステップと、
前記変化量算出ステップにおいて算出された変化量と、前記変数算出ステップにおいて算出された次時刻における内部状態変数とから、現在の内部状態変数を算出すると共に、当該算出結果と、前記推定ステップにおいて推定された嗜好及び感性とを参照して、外部システムへの問合せを行い、当該外部システムからの応答結果に対する応答内容を決定する決定ステップと、
を備え、
前記内部状態変数は、生物的な感情の状態を表す感情状態変数、及び、本能に関する状態を表す本能状態変数であり、
前記ルール保持ステップは、感情の状態を変化させるための感情変化ルールと、本能に関する状態を変化させるための本能変化ルールと、感情の状態と本能に関する状態とをこれらの相互関係に基づいて変化さるための相互変化ルールとを、自律的変化ルールとして保持し、
前記変数算出ステップは、適用されている自律的変化ルールを参照して、次時刻における内部状態を算出し、
前記変数算出ステップにおいて算出された内部状態に対して新たに適用可能なルールの有無を、当該内部状態の変化履歴に基づいて判定する判定ステップを更に備えると共に、
前記変数算出ステップは、新たに適用可能なルールが有ることが前記判定ステップにおいて判定された場合に、前記内部状態変数の変化量を算出し、
自律的変化ルールを参照した場合の内部状態の変化と、新たに適用可能なルールを適用した場合の内部状態の変化とを統合する統合ステップを更に備えることを特徴とするインタフェースの処理方法。 - 前記変化量算出ステップは、前記解析ステップにおいて解析された入力情報が対ユーザ、対ユーザ利用サービス、対インタフェースシステムの何れかによって、処理を切り換える切換えステップと、
前記入力情報が対ユーザ利用サービスである場合に、当該サービスの内容と当該サービスを利用した感想とを、ユーザ固有の辞書に登録する登録手段と、
前記入力情報が対インタフェースシステムである場合に、当該インタフェースシステムに対する入力情報を、前記ルール保持ステップにおいて保持されたルールに従って、インタフェースシステムの感情を表す感性語に変換する感性語変換ステップと、
前記感性語の語彙マップを参照することで、前記ユーザの入力した感性語を、当該ユーザの感情の程度に合わせた感情語に変換する感情語変換ステップとを更に備えることを特徴とする請求項１に記載のインタフェースの処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003169743A JP4299063B2 (ja) | 2003-06-13 | 2003-06-13 | インタフェースシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003169743A JP4299063B2 (ja) | 2003-06-13 | 2003-06-13 | インタフェースシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005004644A JP2005004644A (ja) | 2005-01-06 |
| JP4299063B2 true JP4299063B2 (ja) | 2009-07-22 |
Family
ID=34094786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003169743A Expired - Fee Related JP4299063B2 (ja) | 2003-06-13 | 2003-06-13 | インタフェースシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4299063B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006192518A (ja) | 2005-01-12 | 2006-07-27 | Max Co Ltd | 充電式電動工具 |
| JP2014229180A (ja) * | 2013-05-24 | 2014-12-08 | 学校法人東京電機大学 | 内省支援装置、内省支援方法、内省支援プログラム、対話装置、対話方法および対話プログラム |
-
2003
- 2003-06-13 JP JP2003169743A patent/JP4299063B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005004644A (ja) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108227932B (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| CN108326855A (zh) | 一种机器人的交互方法、装置、设备以及存储介质 | |
| JP5911796B2 (ja) | マルチモーダル情報を用いるユーザ意図推論装置及び方法 | |
| Ferstl et al. | Adversarial gesture generation with realistic gesture phasing | |
| CN109086860B (zh) | 一种基于虚拟人的交互方法及系统 | |
| CN111291549B (zh) | 文本处理方法、装置、存储介质和电子设备 | |
| CN114995657B (zh) | 一种智能机器人的多模态融合自然交互方法、系统及介质 | |
| EP3693958A1 (en) | Electronic apparatus and control method thereof | |
| CN111418198A (zh) | 提供文本相关图像的电子装置及其操作方法 | |
| US10836044B2 (en) | Robot control device and robot control method | |
| KR102222911B1 (ko) | 로봇 상호작용 시스템 및 그를 위한 프로그램 | |
| JP2018156273A (ja) | 対話システム及びそのためのコンピュータプログラム | |
| JP2005235142A (ja) | ユーザ間親密度測定システム及びユーザ間親密度測定プログラム | |
| JP4299063B2 (ja) | インタフェースシステム | |
| KR102198295B1 (ko) | 복수의 대화 도메인을 가지는 대화 시스템 | |
| JP3822357B2 (ja) | マルチモーダル入出力装置のインタフェース装置及びその方法 | |
| Ivanović et al. | Emotional intelligence and agents: Survey and possible applications | |
| KR20110009614A (ko) | 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 | |
| CN113470614A (zh) | 语音生成方法、装置和电子设备 | |
| CN107341030A (zh) | 应用程序中功能服务的控制方法、装置以及移动终端 | |
| Zhang et al. | MCAEM: mixed-correlation analysis-based episodic memory for companion–user interactions | |
| JP2022532853A (ja) | シーケンシング及びプランニングのためのシステム | |
| Bouchet et al. | A framework for modeling the relationships between the rational and behavioral reactions of assisting conversational agents | |
| CN117290468B (zh) | 智能对话方法、装置和存储介质 | |
| Yuan et al. | Embodied tour guide in an interactive virtual art gallery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |