JP6915829B2 - 親近アンビエントエージェントシステムおよびプログラム - Google Patents

Description

この発明は、親近アンビエントエージェントシステムおよびプログラムに関し、特にたとえば、複数の親近アンビエントエージェントとの空間共有によって親近アンビエントエージェントがユーザの行動を誘発し、またはユーザの行動に追従する、親近アンビエントエージェントシステムおよびプログラムに関する。

背景技術の一例が非特許文献１に開示される。この非特許文献１では、親近アンビエントエージェントの片付け行動によりユーザの行動を誘発する可能性があることを示している。

長尾圭一郎、吉田直人、米澤朋子 「生活に寄り添い自発行動を促す親近アンビエントエージェントの設計」情報処理学会関西支部支部大会講演論文集、p7、2015

上記の特許文献１では、たとえば親近アンビエントエージェントの行動によってユーザの行動を誘発することができるが、このような親近アンビエントエージェントシステムを一層増強することが望まれている。

それゆえに、この発明の主たる目的は、新規な、親近アンビエントエージェントシステムおよびプログラムを提供することである。

この発明の他の目的は、親近アンビエントエージェントの行動によってユーザの行動を効果的に誘発でき、または親近アンビエントエージェントがユーザの行動に追従できる、親近アンビエントエージェントシステムおよびプログラムを提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。

第１の発明は、複数の親近アンビエントエージェントが出現するエージェント空間を表示するエージェント空間表示手段を備え、ユーザの現在の行動データを取得して、前記ユーザが取るべき行動リストのいずれかと前記ユーザの現在の行動が違うとき、前記エージェント空間表示手段に表示した複数のアンビエントエージェントが先行行動を提示する、親近アンビエントエージェントシステムであって、前記エージェント空間表示手段において、前記複数の親近アンビエントエージェントに所定の行動割合で前記先行行動のアニメーションを提示させる行動割合決定手段、および前記ユーザに対する親しさの度合いを示す親しさパラメータを前記複数の親近アンビエントエージェントの個性として設定するパラメータ設定手段を備え、前記行動割合決定手段は、各親近アンビエントエージェントの前記個性に従って前記ユーザに対する先行行動の割合を割り振るようにした、親近アンビエントエージェントシステムである。

第１の発明では、親近アンビエントエージェントシステム（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）は、エージェント空間表示手段（２８、５２）を含み、エージェント空間表示手段は、複数の親近アンビエントエージェントが出現するエージェント空間を表示する。行動割合決定手段（２８）は、所定の方法に従って行動割合を決定する。したがって、エージェント空間においては、複数の親近アンビエントエージェントの内のその行動割合が示す一部のエージェントによって本来必要な行動を提示し、残りのエージェントによって異なる行動を提示する。このとき、行動割合決定手段は、各親近アンビエントエージェントの個性に従ってユーザに対する先行行動の割合を割り振る。

第１の発明によれば、複数の親近アンビエントエージェントの全員が同じ行動をする場合に比べて、ユーザに対する強制感を緩和したり、ユーザに対して安心感を与えやすい。ユーザに対する親しさパラメータに応じてユーザに対する各親近アンビエントエージェントの先行行動の割合を変更するので、ユーザの行動を効果的に誘発することができる。

第２の発明は、第１の発明に従属し、前記ユーザが取るべき行動リストのいずれかと前記ユーザの現在の行動が同じであるとき、前記エージェント空間表示手段は前記複数のアンビエントエージェントが追従行動を提示し、前記複数の親近アンビエントエージェントが前記追従行動を開始するまでの時間差に前記親しさパラメータを反映させる、親近アンビエントエージェントシステムである。

第２の発明の追従行動は、ユーザに、自分が先導して行動したという満足感、自信、安心感を持たせる上で有用である。特に、複数のアンビエントエージェントが、ユーザに対する親しさパラメータに応じた時間差で追従行動を提示する。

第２の発明によれば、親近アンビエントエージェントとユーザの一体感を増加する事ができる。複数のアンビエントエージェントが、ユーザに対する親しさパラメータに応じた時間差で追従行動を提示するので、ユーザに一層の安心感を与えることができる。

第３の発明は、第１または第２の発明に従属し、行動割合決定手段は、ユーザの集中度に応じて先行行動における複数のアンビエントエージェントの行動割合を決定する、親近アンビエントエージェントシステムである。

第３の発明では、たとえばユーザが学習すべきとき、エージェント空間の複数の親近アンビエントエージェントはそのユーザの学習行動を誘発したりそれに追従する場合、たとえばユーザの学習に対する集中度を推定して、その集中度に応じた先行行動における複数のアンビエントエージェントの行動割合を決定する。たとえば、ユーザの集中度が低下してきたとき、エージェント空間ではユーザに休憩を促すような行動を取る親近アンビエントエージェントの割合を増やすなどする。

第３の発明によれば、ユーザの集中度に応じて先行行動における複数のアンビエントエージェントの行動割合を決定するので、ユーザの親近アンビエントエージェントに対する信頼感が高揚する。

第４の発明は、第１ないし第３の発明のいずれかに従属し、行動割合決定手段は、ユーザのまじめさを示すユーザパラメータに応じて行動割合を決定する、親近アンビエントエージェントシステムである。

第４の発明では、行動割合決定手段は、ユーザに対して設定されている、真面目さのようなユーザパラメータに応じて先行行動における複数のアンビエントエージェントの行動割合を決定する。

第４の発明によれば、ユーザの個性が反映され易く、親近アンビエントエージェントに対する親近感が増す。

第５の発明は、第１ないし第４の発明のいずれかに従属し、エージェント空間表示手段は、親近アンビエントエージェントの動作およびその空間の空間状況を表示する、親近アンビエントエージェントシステムである。

第５の発明では、エージェント空間には、複数の親近アンビエントエージェントの行動または動作を示すアニメーションとともに、エージェントの周囲の状況を示す空間状況を表示する。

第５の発明によれば、エージェント空間において、親近アンビエントエージェントの動作だけでなく、空間状況も表示するようにしているので、ユーザがエージェント空間において表示されている親近アンビエントエージェントの動作ないし行動をより正確に理解することができる。

第６の発明は、親近アンビエントエージェントシステムのコンピュータによって実行され、前記コンピュータを、複数の親近アンビエントエージェントが出現するエージェント空間を表示するエージェント空間表示手段として機能させ、さらにユーザの現在の行動データを取得して、前記ユーザが取るべき行動リストのいずれかと前記ユーザの現在の行動が違うとき、前記エージェント空間表示手段に表示した複数のアンビエントエージェントが先行行動を提示させる、親近アンビエントエージェントシステムのプログラムであって、前記コンピュータをさらに、前記エージェント空間表示手段において、前記複数の親近アンビエントエージェントに所定の行動割合で前記先行行動のアニメーションを提示させる行動割合決定手段、および前記ユーザに対する親しさの度合いを示す親しさパラメータを前記複数の親近アンビエントエージェントの個性として設定するパラメータ設定手段として機能させ、前記行動割合決定手段は、各親近アンビエントエージェントの前記個性に従って前記ユーザに対する先行行動の割合を割り振るようにした、親近アンビエントエージェントシステムのプログラムである。

第６の発明によれば、第１の発明と同様の効果が期待できる。

この発明によれば、親近アンビエントエージェントの行動によってユーザの行動を効果的に誘発でき、または親近アンビエントエージェントがユーザの行動に追従できる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の親近アンビエントエージェントによる行動誘発システムを概略的に示す図解図である。 図２は実施例の親近アンビエントエージェントによる行動誘発システムのコンピュータのシステム画面の一例を示す図解図である。 図３は図１実施例の親近アンビエントエージェントによる行動誘発システムの電気的構成の一例を示すブロック図である。 図４は図３に示すメモリのメモリマップの一例を示す図解図である。 図５はエージェント空間表示処理の一例を示すフロー図である。 図６は親近アンビエントエージェントが睡眠中であるエージェント空間の表示例を示す図解図である。 図７はエージェント空間における掃除アニメーションの一例を示す図解図である。 図８はエージェント空間における予定確認アニメーションの一例を示す図解図である。 図９はエージェント空間における笑いかけアニメーションの一例を示す図解図である。 図１０はエージェント空間における笑いかけアニメーションの他の例を示す図解図である。 図１１はエージェント空間におけるお片付けアニメーションの一例を示す図解図である。 図１２はエージェント空間におけるごみ捨てアニメーションの一例を示す図解図である。 図１３は学習アニメーションをエージェント空間に表示する実施例における図２に示すメモリのメモリマップの一例を示す図解図である。 図１４は学習アニメーションをエージェント空間に表示する実施例におけるエージェント空間の配置の一例を示す図解図である。 図１５はユーザの集中度を推定する１つの手法を示す図解図である。 図１６はエージェント空間に学習アニメーションを表示するための所定の一例を示すフロー図である。 図１７はエージェント空間に表示する学習アニメーションの一例を示す図解図である。 図１８はエージェント空間に表示する学習アニメーションが変化することを示す図解図である。 図１９はこの発明の他の実施例を示す図解図である。 図２０は図１９実施例の親近アンビエントエージェントによる行動誘発システムの電気的構成の一例を示すブロック図である。

図１を参照して、この発明の一実施例である親近アンビエントエージェント（ユーザにとって身近な存在として生活にアンビエントに寄り添う擬人化エージェントのこと。以下、単に「エージェント」と呼ぶことがある。）による行動誘発システム（以下、単に「行動誘発システム」ということがある。）１０は、部屋１２内のユーザ１４が使用するコンピュータ１６を含む。この実施例では、コンピュータ１６は、ユーザ１４がによって使用されるとともに、行動誘発システム１０を全体的に制御する。

コンピュータ１６のディスプレイ１８はたとえばタッチディスプレイとして構成されている。このディスプレイ１８の画面は、図２に示すように、表示ウィンドウ２０とその上に形成されるテキスト表示領域２２を含む。表示ウィンドウ２０にはエージェント２４が存在するエージェント空間２６が表示され、エージェント２４がアニメーションによって反復的かつ継続的に提示する先行行動によって、ユーザ１４の行動変容を促すように意図している。

ただし、ユーザ１４による作業は外部ウィンドウで表示されるが、この場合、エージェント空間２６の表示ウィンドウ２０はディスプレイ領域を占領しないよう、外部ウィンドウのアクティブ時には非アクティブになり、外部ウィンドウの裏に隠れても構わないものとする。したがって、ユーザ１４の作業（学習）領域である外部ウィンドウが非アクティブになったとき、ユーザ１４による作業終了を検出することができる。

図１に示すコンピュータ１６の電気的構成の一例が図３に示される。コンピュータ１６は、図３に示すように、ＣＰＵ２８を含み、ＣＰＵ２８はバス２９を介して、メモリ３０にアクセスできる。

ＣＰＵ２８は、さらに、音声インタフェース（Ｉ／Ｆ）３２を介して、内蔵マイク３４からの、ユーザ１４（図１）等の音声をたとえばＡ／Ｄ変換することによって、音声データとして取り込み、メモリ３０に記憶する。さらに、音声Ｉ／Ｆ３２を介して内蔵スピーカ３６が接続され、この内蔵スピーカ３６からはたとえばＤ／Ａ変換された音声信号に応じた音声が出力される。この音声としては、たとえばエージェント空間２６に生じているたとえばエージェント２４の声や、エージェント２４の行動に伴って発生される音などがある。もちろん、内蔵マイク３４から取り込んだ部屋１２内で生じた音（ユーザ１４の声を含む）が、メモリ３０から読み出されて、出力されることもある。

ただし、実施例では、エージェント２４の発話音声は、音声合成ソフトウェア(SofTalk：商品名）で読み上げを行い、そのテキストをディスプレイ１８の画面の前述のテキスト表示領域２２に表示する。

コンピュータ１６は内蔵カメラ３８を含み、この内蔵カメラ３８からの映像信号は、カメラインタフェース（Ｉ／Ｆ）４０を介して、たとえばＡ／Ｄ変換されて、映像データとしてＣＰＵ２８によって取り込まれ、この映像データは、メモリ３０に一旦記憶される。

コンピュータ１６はさらに、上述のタッチディスプレイ１８を含み、このタッチディスプレイ１８は、タッチディスプレイインタフェース（Ｉ／Ｆ）４２を通して、バス２９に接続される。このタッチディスプレイ１８には、ユーザ１４がコンピュータ１６を使用して学習するときなどに必要な画像ないし映像が、たとえばメモリ３０から読み出されて、あるいは通信モジュール４４を通してインタネットなどからダウンロードされて、表示される。ただし、このタッチディスプレイＩ／Ｆ４２には、ユーザ１４がタッチした画面上の座標を検出し、その座標データをＣＰＵ２８に入力する機能を有する。

通信モジュール４４は、ＣＰＵ２８がこのようなネット接続を実行するときに利用される。有線でも無線でもよい。

メモリ３０には、図４に示すように、プログラム記憶領域３０ａおよびデータ記憶領域３０ｂを含み、プログラム記憶領域３０ａには、ＯＳ等の基本的プログラムの他、この実施例に特有の、状態認識プログラム５０、アニメーション制御プログラム５２、合成音声制御プログラム５４およびテキスト表示プログラム５６等を含む。

状態認識プログラム５０は、内蔵カメラ３８からのユーザ映像や室内映像を主として利用して、ユーザや室内の状態を認識するプログラムであり、実施例ではＣ＋＋（シープラスプラス：汎用プログラム言語）で実装した。

具体的には、状態認識プログラム５０は、ディスプレイ１８の上部にある内蔵カメラ３８（図１では図示せず）から取得した映像に対し、ＯｐｅｎＣＶ（商品名：インテル社（会社名）が開発、公開したオープンソースのコンピュータビジョン向けライブラリ）と Ｈａａｒ−ｌｉｋｅ特徴（ＯｐｅｎＴＶで使う、画像の明暗差による局所的な特徴）を用いてユーザの顔を検出するとともに、その内蔵カメラ３８の映像から計算したオプティカルフローを用いてユーザの動作を検出する。さらに、内蔵カメラ３８の映像の明度変化から部屋の消灯‐点灯を判別する。

状態認識プログラム５０は、さらに、ｗｉｎｄｏｗｓＡＰＩ（商品名：マイクロソフト社（会社名）が開発したアプリケーションプログラミングインタフェース）を用いてコンピュータ１６での作業状態を検出する。たとえば、エージェント空間２６をプロジェクタ７２で表示する場合には、ユーザ１４が作業（学習）に使うためのディスプレイ
１８の表示ウィンドウが非アクティブになったとき、作業終了を検出する。

状態認識プログラム５０はさらに、内蔵カメラ３８の映像に基づいて、ユーザ１４の部屋１２内での位置を検出する。

アニメーションプログラム５２は、ユーザ１４の行動とユーザ１４のエージェント２４への注目状態に応じて、エージェント２４のアニメーション（生活行動、生活環境、表情）を制御するとともに、それをプロジェクタ７２でエージェント空間２６に表示させるためのプログラムである。

エージェント空間２６は、この実施例では、３Ｄ空間を仮想カメラで撮影した２Ｄで表示されるが、状態認識プログラム５０が検出したユーザ１４の位置に応じて仮想カメラ（図示せず）の位置を変更して、ユーザ１４の部屋１２とエージェント空間２６の空間的なつながりを表現する。この仮想カメラの位置は、ユーザ１４の位置が変化した方向へ変更されてもよく、またはユーザ１４の位置が変化した方向は逆の方向へ変化されてもよい。このことによって、ユーザ１４はあたかもエージェント２４と同居している（空間を共有している）かのような感覚を持つ。

エージェント空間２６に表示されているエージェント２４の発話は、合成音声制御プログラム５４で音声合成ソフトＳｏｆＴａｌｋ（商品名）で読み上げて、テキスト表示プログラム５６によって、そのテキストをテキスト表示領域２２（図２）に表示する。

データ記憶領域３０ｂには、オプティカルフローデータを一時的に記憶しておくためのオプティカルフローデータ領域５８、内蔵マイク３４からの音声データを記憶するための音声データ領域６０、内蔵カメラ３８からの映像データを記憶するための映像データ領域６２、エージェント空間２６に出力するべき音声コンテンツおよび映像コンテンツを予め設定しているコンテンツデータ領域６４等を含む。

データ記憶領域３０ｂにはさらに、後述の各種フラグを設定するためのフラグ領域６６が形成される。

このような構成をアンビエントタスクとしてコンピュータ１６上に常に起動しておくことにより、エージェント空間２６のエージェント２４を、ユーザ１４の生活に寄り添う存在として常に動作させることができる。

図５はエージェント空間２６を表示するためのコンピュータ１６すなわちＣＰＵ２８の処理の一例を示すフロー図である。なお、この図５に示すエージェント空間表示処理は、一例として、フレーム周期で繰り返し実行される。

ＣＰＵ２８は、まず、ステップＳ１において、状態認識プログラム５０に従って、コンピュータ１６のリアルタイムクロック（ＲＴＣ：real-time clock）を参照して、現在時刻が２４時‐７時の範囲かどうか判断する。現在時刻がこの時間範囲内であれば、睡眠をとるべき時間であるとして、ステップＳ３で、アニメーションプログラム５２に従って、たとえば図６に示す「睡眠」のアニメーションを、図２に示す表示ウィンドウ２０すなわちエージェント空間２６に表示する。

この睡眠アニメーションにおいて、ＣＰＵ２８が内蔵カメラ３８からの映像に基づいて状態認識プログラム５０に従って、部屋１２が未だ明るい（照明がついている状態）とき、たとえば部屋から明かりそのエージェント空間２６に漏れているようなアニメーションとすることで、部屋１２とエージェント空間２６すなわち実空間と仮想空間との干渉を演出することができる。

そのための具体的な手法は、後述の実施例でも説明する。

ステップＳ１で“ＮＯ”のとき、ステップＳ５において、ＣＰＵ２８は、そのときの内蔵カメラ３８の映像データを映像データ領域６２から取得する。

ＣＰＵ６は、ステップＳ７で、状態認識プログラム５０に従って、その映像データに基づいて、部屋の明るさを検出し、ステップＳ９で、ユーザ１４が部屋１２に入ってきたかどうか判断する。実施例では、たとえば内蔵カメラ３８の映像の明度が上がったとき、ユーザ１４が室内灯をつけて入室したと認識する。ただし、部屋１２の明るさの変化は、別途設けた光センサ（図示せず）で検出するようにしてもよい。

ＣＰＵ２８は、ステップＳ９で“ＹＥＳ”を判断したとき、すなわちユーザ１４が入室したと判断したとき、続くステップＳ１１で、メモリ３０に形成されているフラグ領域６６を参照して、入室フラグが「１」かどうか判断する。入室フラグは、ユーザ１４が既に入室しているときには「１」を示し、ユーザ１４が入室していないとき（ユーザ１４が不在のとき）「０」を示す。したがって、この入室フラグを見ることによって、ＣＰＵ２８は、ユーザ１４が継続して部屋１２に居るか、ユーザ１４が初めて入室したかを判断できる。

ステップＳ１１で“ＮＯ”を判断したとき、すなわちユーザ１４がそのとき初めて入室したと判断したとき、ＣＰＵ２８は、次のステップＳ１３で、アニメーションプログラム５２に従って、たとえば図７に示す「掃除」のアニメーションをエージェント空間２６に表示する。つまり、この実施例では、部屋１２を使う前に部屋を掃除するべきと考え、ユーザ１４が入室したときに、先行行動として、エージェント２４が掃除機をかけるようなアニメーションを、図２に示す表示ウィンドウ２０すなわちエージェント空間２６に表示することとした。

図７の掃除アニメーションでは、図７（ａ）に示すように最初にたとえば「掃除機をかけよっと」というテキスト表示とともに、エージェントが掃除機をかけているアニメーションを表示し、図７（ｂ）に示すようにたとえば「部屋を快適にしたい」というテキスト表示とともに、引き続いてエージェントが掃除機をかけているアニメーションを表示し、図７（ｃ）に示すようにたとえば「スッキリした」というテキスト表示とともに、部屋の中がきれいになってエージェントが喜んでいるアニメーションを表示する。ただし、テキストは、いずれも、図２に示すテキスト表示領域２２に表示される。

この実施例のエージェント空間２６では、図７の掃除アニメーションに限らず後述の様々なアニメーションにおいて、エージェント２４はユーザの習慣行動をきっかけにポジティブな表情を浮かべながら行動した後、行動のメリットを実感した様子を示すアニメーションを表示するようにしている。たとえば図７の掃除アニメーションの場合、図７（ａ）で行動のきっかけを表示し、図７（ｂ）で行動の継続を表示し、図７（ｃ）で行動のメリットを強調する表示を行う。

さらに、この実施例のエージェント空間２６では、図７の掃除アニメーションに限らず後述の様々なアニメーションにおいて、エージェント２４の行動内容がユーザ１４に理解されない可能性や誤解される可能性を防ぐため、エージェントが行動内容に関するつぶやきを行うように、テキスト表示プログラム５６（図３）に従って、テキスト表示する。このことは、後述の様々なアニメーションを表示する場合にも同様である。ただし、このテキスト表示は、先に述べたように、コンピュータ１６のディスプレイ１８のテキスト表示領域２２（図２）でなされる。

上述のテキスト表示とともに、合成音声制御プログラム５４（図３）に従って、エージェント空間２６のエージェント２４がそのテキスト表示と同じ発話をするようにしてもよい。このことは、後述の様々なアニメーションを表示する場合にも同様である。

ステップＳ１１で“ＹＥＳ”の場合、すなわちユーザ１４が部屋１２に居続けていると判断したとき、次のステップＳ１５で、ＣＰＵ２８は、ユーザ１４が着席したかどうか判断する。先に説明したように内蔵カメラ３８の映像からオプティカルフローを計算してオプティカルフローデータ領域５８（図３）に蓄積しているので、状態認識プログラム５０に従って、ＣＰＵ２８は、そのオプティカルフローに基づいて動きを検出した後に、動きを検出せず、内蔵カメラ３８の映像が人の顔を検出した状態に変化したとき、ユーザ１４がコンピュータ１６の前にきて着席したと認識する。

ＣＰＵ２８は、ステップＳ１５で“ＹＥＳ”を判断したとき、すなわちユーザ１４が着席したと判断したとき、続くステップＳ１７で、メモリ３０のフラグ領域６６（図４）を参照して、着席フラグが「１」かどうか判断する。着席フラグは、ユーザ１４が既に着席しているときには「１」を示し、ユーザ１４が着席していないとき「０」を示す。したがって、この着席フラグを見ることによって、ＣＰＵ２８は、ユーザ１４が継続して着席しているか、あるいはユーザ１４が初めて着席したかを判断できる。

ステップＳ１７で“ＹＥＳ”を判断したとき、すなわち、ユーザ１４が初めて着席したと判断したとき、ステップＳ１９で、ＣＰＵ２８はたとえば図８に示す「予定確認」のアニメーションをエージェント空間２６に表示する。すなわち、コンピュータ１６に向かい作業を始める前に予定の確認を行うべきと考え、ユーザ１４が着席したとき、エージェントが予定の確認をするアニメーションを、先行行動の例として、表示ウィンドウ２０（図２）のエージェント空間２６に表示することとした。

図８の予定確認アニメーションでは、行動のきっかけとして、図８（ａ）に示すように最初にたとえば「予定を確認」というテキスト表示とともに、エージェントが予定を考えているアニメーションを表示し、行動の継続として、図８（ｂ）に示すようにたとえば「余裕のある計画にしたい」というテキスト表示とともに、エージェントが予定表を書き込んでいるアニメーションを表示し、行動のメリットとして、図８（ｃ）に示すようにたとえば「スケジュールできた」というテキスト表示とともに、予定表の前でエージェントが喜んでいるアニメーションを表示する。ただし、テキストは、いずれも、図２に示すテキスト表示領域２２に表示される。

ステップＳ１７で“ＮＯ”を判断したとき、すなわち既に着席して予定確認も行っているときには、ＣＰＵ２８は、ステップＳ２１で学習のアニメーションをエージェント空間２６に表示するが、この学習アニメーションは後述する。

ステップＳ２１でユーザ１４が学習しているとき、ＣＰＵ２８は、この学習アニメーションの表示に平行して、ステップＳ２３で、内蔵カメラ３８からの映像データに基づいて、ユーザ１４の視線を検出する。

そして、ステップＳ２５において、ＣＰＵ２８は、ユーザ１４がエージェント空間２６に表示されているエージェントに注目しているかどうか判断する。エージェント空間２６がコンピュータ１６のディスプレイ１８上で表示ウィンドウ２０に表示されているので、ユーザ１４の視線がディスプレイ１８の画面のエージェント２４に向いているとき、ユーザ１４がエージェントに注目していると判断する。ＣＰＵ２８は、エージェント空間２６内においてそのときエージェント２４がどの位置に表示されているか分かるので、その位置とユーザ１４の視線の方向を比較することによって、ユーザ１４がエージェント２４に注目しているかどうか容易に判断できる。

ステップＳ２５で“ＹＥＳ”が判断されると、すなわち、ユーザ１４がエージェント空間２６内のエージェント２４に注目していると判断したとき、ＣＰＵ２８は、ステップＳ２７で、アニメーションプログラム５２に従って、「笑いかけ」のアニメーションをエージェント空間２６において表示する。

図９が親近度レベルが「１」のときの笑いかけアニメーションＬｖ１を示し、図１０が親近度レベルが「２」のときの笑いかけアニメーションＬｖ２を示す。笑いかけアニメーションＬｖ２は、笑いかけアニメーションＬｖ１に比べてより一層親近感を含んだ笑いかけの表情になっている。つまり、エージェント２４がユーザと徐々に親しくなっていく関係を示すため、ステップＳ２７では、ユーザ１４がエージェント２４に注目した回数に応じて笑いかけ表情の種類が増えるようにした。初対面のときは親近度レベルが「１」であるので、図９に示す笑いかけアニメーションＬｖ１をエージェント空間２６に提示し、ユーザ１４がエージェント２４に注目した回数が所定数、たとえば１０回を超えると、親近度レベルが「２」となり、笑いかけアニメーションＬｖ１に加えて、図１０に示す笑いかけアニメーションＬｖ２を提示する。反復して接触することで好感度が高まる単純接触効果は１０回目の接触時に最大になることが知られているので、ここでは、ユーザ１４が１０回より多くエージェント２４に注目したときに親近度をＬｖ１からＬｖ２に上げることとする。

ただし、ステップＳ２７で、笑いかけアニメーションをエージェント空間２６に提示する場合、ユーザ１４が注目する度に笑いかけることにより機械的な存在と認識される恐れを避けるため、ユーザ１４が注目したときにランダム制御を行い一定の確率で笑いかけアニメーションを表示する。実施例では、笑いかけアニメーションが発生する確率は、一例として、Ｌｖ１およびＬｖ２のいずれのアニメーションも４０％とした。つまり、ユーザ１４がエージェント２４に１０回注目したとすると、そのうちの４回だけで、笑いかけアニメーションＬｖ１および／またはＬｖ２がエージェント空間２６に表示されるようにした。ただし、この確率は、笑いかけアニメーションＬｖ１およびＬｖ２で違えるなど、任意に設定することができる。

エージェント２４が生活空間をユーザ１４と共有した共同生活者として認識されるようにするため、空間を共有しているアニメーション表現として、前述のようにエージェントの睡眠時（２４時‐７時）にユーザ空間（部屋１２）の光がエージェント空間２６に漏れる描写を行うが、そのような空間共有の別の表現として、空気と共にほこりがユーザ空間（部屋１２）とエージェント空間２６を行き来するアニメーションを描写する。

すなわち、ステップＳ２５で“ＮＯ”を判断したとき、ランダムに、つまり毎回ではなく、そのような埃のアニメーションをステップＳ２９で表現する。

ユーザ１４の作業終了は、前述のように、状態認識プログラム５０に従って検出される。実施例のように、エージェント空間２６をコンピュータ１６のディスプレイ１８の外部ウィンドウに表示する場合、外部ウィンドウが非アクティブになったとき、ＣＰＵ２８は、ユーザ１４の作業が終了したと判断する。

ＣＰＵ２８は、このようにしてユーザ１４の作業の終了を検知すると、アニメーションプログラム５２に従って、たとえば図１１および図１２に示す、「片づけ」のアニメーションおよび「ごみ捨て」のアニメーションを、それぞれ、エージェント空間２６に表示する。つまり、作業終了時に机の上を片付け、作業や片付けで出たごみを捨てるべきと考え、ユーザ１４が作業を終えたときに、先行行動として、エージェント空間２６において、エージェント２４が机の上の片付け（図１１）とごみ捨て（図１２）を交互に提示する。

図１１の片づけアニメーションでは、行動のきっかけとして、図１１（ａ）に示すように、最初にたとえば「机の上をかたづけよっと」というテキスト表示とともに、エージェント２４が机の上を片付けているアニメーションを表示し、行動の継続として、図１１（ｂ）に示すように、たとえば「作業スペースを広くしよう」というテキスト表示とともに、エージェント２４が机の上の片づけを続行するアニメーションを表示し、行動の結果のメリットを強調するために、図１１（ｃ）に示すように、たとえば「スッキリした」というテキスト表示とともに、机の上がきれいになってエージェント２４が喜んでいるアニメーションを表示する。ただし、テキストは、いずれも、図２に示すテキスト表示領域２２に表示される。

図１２のごみ捨てアニメーションでは、行動のきっかけとして、図１２（ａ）に示すように、最初にたとえば「ごみ捨てよっかな」というテキスト表示とともに、エージェント２４がごみをごみ箱に入れようとしているアニメーションを表示し、行動の継続として、図１２（ｂ）に示すように、たとえば「快適さを保ちたい」というテキスト表示とともに、エージェント２４がごみの投入を続行するアニメーションを表示し、行動の結果のメリットを強調するために、図１２（ｃ）に示すようにたとえば「スッキリした」というテキスト表示とともに、机の上がきれいになってエージェント２４が喜んでいるアニメーションを表示する。ただし、テキストは、いずれも、図２に示すテキスト表示領域２２に表示される。

図１１のお片付けアニメーションにやおいて、エージェント２４のアニメーションだけでなく、エージェント２４が使用している机の上の状態の変化も「空間状況」として表示する。

図１２の例でいえば、エージェント２４の近くにごみ箱があり、それにごみが投入され、さらにエージェント２４のＣＰＵ用する机の上がきれいになったという、空間状況が表示されている。

このように、エージェント空間２６において、エージェント２４の動作だけでなく、空間状況も表示するようにしているので、ユーザ１４がエージェント空間２６において表示されているアニメーションの内容、すなわちエージェント空間２６での動作をより正確に理解することができる。
実験概要
この実施例におけるエージェントの先行行動提示によるユーザ行動誘発効果と、自発行動促進による習慣化に関する効果について検証した。
実験仮説
実験に先立って、次のような仮説を立てた。
仮説１：エージェントが先行して行動を示すことでユーザの行動を誘発できる。
仮説２：エージェントが継続的に先行して行動を示した場合には、その後も行動誘発効果が持続し、行動を示さない場面でもユーザの自発行動を促進する。対して、エージェントが行動するよう指示する場合は行動誘発効果が持続せず、指示がある場面でのみ被験者の行動を誘発できる。
仮説３：エージェントが行動するように指示することで、ユーザに煩わしさを感じさせ、行動意欲を減退させる。
実験手順
実験参加者は大学生１６名（２１歳‐２３歳、男性１３名女性３名）である。ユーザとしての被験者は、仕切られたブース内の机で、コンピュータの作業ウィンドウ（外部ウィンドウ）の見本映像に倣って紙からパーツを切り出し台紙に貼りつけるという作業をした後、作業ウィンドウを閉じてから１分間その場で自由に待機した。作業から待機までのタスクを１タームとし、ターム毎にブース外の椅子に移動し１分間休憩を挟んで、１日に４タームずつ４日間で計１６ターム繰り返した。ブース外での休憩時には実験者がごみ箱とその中のごみの重さを計測した。

実験中、エージェント空間２６すなわちエージェント２４は常にコンピュータ画面に表示され、ユーザと同じ作業を行っている。２日目と３日目において、外部ウィンドウの削除時にエージェント空間２６において、条件に応じたエージェントの行動（Ａ１：ごみを捨てる、Ａ２：「ごみを捨ててください」と指示、Ａ３：うつむいて作業を提示した。１日目と４日目は、全ての条件においてエージェントがうつむいて作業を提示した。
考察
捨てられたごみ量の分析結果から、エージェントが先行して行動を示すことでユーザのごみ捨て行動を誘発し、その後の先行行動の提示がない場面でも誘発効果が持続する可能性が示唆された。これにより仮説１、２が共に支持された。

さらに、カメラ映像より、エージェントが先行行動を示す特定条件のユーザは作業終了時にごみ捨てを行っていたことから、エージェントが継続的に先行して行動を示すことで、作業の終了をきっかけとした自発的なごみ捨てを誘発できた可能性があると考える。

仮説２に反する結果として、ごみ捨ての回数と捨てられたごみ量の分析結果から、被験者のタスク終了時にエージェントが行動するよう直接的に指示することでユーザの行動を誘発し、その後の指示が無い場面でも誘発効果が持続する可能性が示された。

また、仮説３に反して、この行動指示が煩わしく感じられた可能性は示されず、それによる行動意欲減退も示されなかった。

次に、図５のステップＳ２１における学習アニメーションの表示の実施例について説明する。

この実施例では、後に詳しく説明するように、ｅ‐ラーニングにおいて共に学習する複数のエージェントを用いて集団を構成し学習と休憩の行動を割り振ることによって、学習意欲の促進と適度な休憩を促すｅ‐ラーニング環境を形成する。つまり、共に学習する相手の存在が学習者の学習意欲を促進する点に着目し、エージェント２４にユーザ１４と共に学習する姿を提示させる。また、先行行動提示によりユーザの行動が促される点に着目し、たとえば集中度の低下などによるユーザの休憩の必要度に合わせてエージェントに休憩行動を取らせることにより、適度な休憩を促す。

ただし、１体のエージェントを用いて、ユーザに行動提示を行う場合、ユーザに行動の強制感を与える恐れがあると考え、この実施例では、エージェント空間２６において複数のエージェントにより集団を構成し、ユーザ１４に促す行動の割合に合わせて学習と休憩の行動を割り振り、ユーザに対し複数の行動を提示することで、行動選択の余地を残し、強制感を与える可能性を軽減することとした。

具体的には、エージェント空間２６として、図１４に示すように、複数のエージェント２４が存在する自習室を仮定し、一辺に５体のエージェントが座ることができる机を二つ配置した。そのため提示できるエージェント２４の数は最大で１５体であるが、ユーザの正面にエージェントを配置した場合、後ろにいるエージェントの存在を大きく隠してしまうことから、正面のエージェントを除いた最大１４体になるよう配置した。

この実施例では、上述のようにユーザの集中度を考慮する必要があるので、図１３に示すように、メモリ３０のプログラム記憶領域３０ａに、先に説明した各プログラム５０,５２、５４および５６に加えて、集中度推定プログラム６８を予め設定しておく。

他方で、この実施例では、内蔵カメラ３８によるユーザ１４の顔の向きとマウス（図示せず）による作業速度の２つのパラメータを用いてユーザ１４の集中度を推定できるようにするために、所定時間期間、たとえばエージェント空間２６の表示更新間隔である１分間、積算して、メモリ３０のパラメータデータ領域７０（図１３）に記憶させた。

したがって、集中度推定プログラム６８は、このパラメータデータ領域７０のパラメータデータを利用して、ユーザ１４の集中度を推定する。

集中度を推定するための研究がいくつか存在するが、この実施例では、ユーザ１４の顔の向きを１つのパラメータとした。集中度が高い場合、ユーザ１４は学習対象（コンピュータ１６の外部ウィンドウ）を向いているため顔は正面を向いている。逆に集中度が低い場合、ユーザ１４の顔はうつむいていることが多くなり顔は正面から回転する。ただし、顔向きを内蔵カメラ３８に写る肌色の面積から算出する手法では肌色の検出精度やユーザ１４の髪型の違いによって誤差が発生する恐れがあるので、実施例では、ＦａｃｅＡＰＩ（マイクロソフト社（会社名）が提供する顔認識アプリケーション）を用いてユーザ１４の顔の向きを取得し、顔が学習対象を向いているかを集中度の推定に用いる。

具体的には、顔がコンピュータ１６の画面を向いている時間の１分間における割合を顔の向きによる集中度として用いる。顔の向きは、ＦａｃｅＡＰＩにより得られた顔の回転角を図１５に示すように（α、β）とし、顔座標を（Ｆｘ、Ｆｙ、Ｆｚ）とし、ユーザの顔が向いている位置を（Ｖｘ、Ｖｙ）として、数１および数２の２つの式を用いて算出する。
［数１］
Ｖｘ＝Ｆｘ＋Ｆｚ * tanα…（1）
［数２］
Ｖｙ＝Ｆｙ＋Ｆｚ * tanβ…（2）
テキストを用いた学習では、講義と異なり耳からの情報が入ってこない。よって余所見をした場合学習に関する情報は全く入らないため、集中度は限りなく低いと考えられる。そこで実施例では、ユーザ１４の顔がコンピュータ１６の画面の外部ウィンドウをを向いている場合は集中している、向いていない場合は集中していないと推定する。

さらに、たとえばｅ‐ラーニング中のマウスの動きがユーザの注視点に近い軌跡をたどることから、集中度などのユーザの内部状態をマウスの動きから取得できる可能性について示唆されている。そこで、この実施例では、ユーザ１４の一定時間で読み進めることができるテキスト量をユーザの学習速度と考え、予め取得しておいた集中時の変化量と現在のマウス位置の変化量を比較することで、集中度を評価できると考える。

具体的には、システム利用前にあらかじめ取得したユーザの集中時の進捗量に対する現在の進捗量の割合を、学習進捗度による集中度として用いる。ユーザの学習位置は、テキストのページ数とマウス座標を用いて計測し、過去の学習位置と現在の学習位置の差を進捗量として用いる。

このようにして、集中度推定プログラム６８は、このパラメータデータ領域７０のパラメータデータを利用して、ユーザ１４の集中度を推定する。

次に、図１６を参照して、この実施例のエージェント空間２６におけるアニメーションの表示処理について説明する。

最初のステップＳ３1で、ＣＰＵ２８は、目標学習時間をタイマ（図示せず）に設定する。

続くステップＳ３３で、ＣＰＵ２８は、アニメーションにプログラム５２に従って、過半のエージェント２４が学習しているエージェント空間２６をたとえばコンピュータ１６のディスプレイの表示ウィンドウ２０（図２）に表示する。図１７のエージェント空間２６では、すべてのエージェント２４が学習している。

そして、ステップＳ３５で３５分経過したかどうか判断する。つまり、ステップＳ３３でのエージェント空間２６の表示が開始から３０分間継続される。

ステップＳ３５で“ＹＥＳ”と判断されたとき、つまり、３０分経過したとき、ステップＳ３７で、ＣＰＵ２８は、先に設定したタイマを見て、ステップＳ３１で設定した目標学習時間に未達かどうか判断する。“ＮＯ”なら、つまり、目標到達しセンサ杆に達していたら、そのまま終了する。

“ＹＥＳ”なら、つまり、目標学習時間に未達なら、次のステップＳ３９で、集中度推定プログラム６８に従って、ＣＰＵ２８が、上で述べた方法で、ユーザ１４の集中度を推定する。

続いて、ステップＳ４１でＣＰＵ２８は、ユーザ１４の集中度が低下してきたかどうか判断する。このステップＳ４１では、ユーザの集中度が一定以上低下していると判断したとき、“ＹＥＳ”が判断される。

集中度が一定以上低下したことが判断されると、ＣＰＵ２８は次のステップＳ４３で、エージェント空間２６内において、たとえば図１８に示すように、休憩するエージェントを増やしたエージェント空間２６のアニメーションを表示する。図１８では、前の３体のエージェントが机に伏せて（寝て）、「休憩」していることを表現している。

そして、ステップＳ４５で、ＣＰＵ２８は、内蔵カメラ３８からの映像に基づいて、状態認識プログラム５０に従って、ユーザ１４が休憩したかどうか判断する。“ＮＯ”なら、ステップＳ４３で、休憩しているエージェントの数をさらに増やして、ユーザ１４に休憩することを促す。つまり、休憩が必要なユーザに対してエージェントが先行して休憩を行うことにより休憩を促す。ここで、ユーザに対して単一の行動を提示した場合、そのエージェントと同じ行動をとらなくてはいけないという強制感を与える恐れがあるので、実施例では、複数のエージェントを用いて集団を構成し、学習と休憩の割合をユーザの必要性に合わせて各エージェントに割り振り、ユーザが適宜行動を選択する余地を残す。そして、休憩するエージェントの数を徐々に増やすことによって、ユーザ１４に緩やかに休憩を促すことができる。

この実施例では、最も集中できる時間とされる学習開始３０分間の平均集中度をユーザ毎に推定し、ユーザの集中度がこれを下回った場合その下がり具合に応じて休憩していエージェントの数を増やしてユーザ１４に対して休憩の促しを行う。

ステップＳ４５で“ＹＥＳ”を判断したら、ＣＰＵ２８はステップＳ４７での休憩時間の経過後、先のステップＳ３３に戻って、ユーザ１４が学習する行動を選択するように、過半のエージェントが学習しているエージェント空間２６を表示する。
［実験１］
概要
被験者すなわちユーザの主観評価による集中度とシステムが推定した集中度の相関を調べ、顔向きおよび学習進捗によるユーザの集中度推定が有効であるかどうかを検証する。

手順
実験参加者は情報系大学の大学生９名（２０歳‐２４歳 男性６名 女性３名）である。ユーザをパーティションで区切られたコンピュータの席に座らせ、ｅ‐ラーニングを起動した。６分間で一問一答問題を用いて漢検（商標）１級相当の漢字２０問の読み方と意味をできる限り暗記させた。次に、先の６分間の学習の主観集中度遷移を、１分毎に目盛が書かれた学習集中度を縦軸、経過時間を横軸とした二次元座標上にフリーハンドで描かせた。さらに３分間で、暗記した２０問の漢字の読み方と意味を問うテストに解答させた。これら１０分間の一連の流れを１タームとし、合計６ターム繰り返した。はじめの１‐３ターム目では、顔向きによる集中度推定のみ行った。

３０分目に当たる３ターム目の学習進捗を集中のピークと考え、次の４‐６ターム目では学習進捗による集中度推定を行った。顔向きと学習進捗両方の集中度推定を行った ４‐６ターム目について、ユーザの主観的な学習集中度とシステムにより推定された学習集中度の相関を調べた。ＶＡＳ（Visual analog scale）法の分析手法に基づき、グラフから１分毎の集中度を抽出した。４‐６ターム目のグラフから抽出した１８個の集中度のデータと、１分毎にシステムが推定したデータとの相関を調べた。
考察
ほとんどの被験者（ユーザ）に対して弱い相関が見られたことから、実施例における手法は集中度推定にある程度の有効性がある可能性がある。
［実験２］
概要
複数のエージェントで構成された集団における行動割合の変化が、ユーザの行動に与える影響を検証した。また、エージェント集団が複数の行動を提示する場合と単一の行動のみを提示する場合で、ユーザがその行動に対して、強制感を受けるかを検証した。
仮説
仮説１:エージェント集団の提示する行動割合の高さでユーザはその行動意欲を持つ。

仮説２：複数の行動を提示することにより、単一の行動を提示する場合に比べ強制感が少ない。
条件
被験者内要因として、学習中に提示されるエージェント集団における行動（学習、休憩）の割合に従って、１４体のエージェントの内、学習するエージェントの数と休憩するエージェントの数の比（人数比）（１）０：１４、（２）１：１３、（３）４：１０、（４）７：７、（５）１０：４、（６）１３：１、（７）１４：０の７条件を設定した。
手順
実験参加者は情報系大学の大学生１４名（２０歳‐２４歳男性１１名 女性３名）である。被験者すなわちユーザをパーティションで区切られたコンピュータの前に座らせ、ｅ‐ラーニングシステムを起動し、システムと共に提示されているエージェント集団を確認させた。このとき、エージェントがユーザと共に学習する学習者であることを説明した。続いて、実験者の指示でｅ‐ラーニングを用いて学習させた。まずユーザに対して、漢字検定（商標）１級相当の問題を１０問ランダムに提示し、漢字の読みと意味を頭の中で考えた後で正答と照合するという作業を行わせた。このとき、間違えたり解らなかった問題には、読みと意味を確認させたのちチェックをつけさせた。１０問全てに対してこの作業が終わった後、復習としてチェックがついた問題に再度回答させた。学習終了後、再度エージェント集団を確認させ、評価項目に回答させた。また、顔映像の撮影あらかじめユーザに許可を取り、コンピュータの内蔵カメラで記録した。
考察
エージェント集団における行動割合の変化はユーザに認識されているが、割合の変化を認識させるためには、ある程度以上の変化が必要であることがわかった。

次に学習意欲とエージェント集団の行動割合の関係について考察する。エージェント空間２６において学習するエージェントが増えることで、ユーザの学習意欲が促進される可能性が示された。ただし、エージェント集団における割合の変化が大きい場合にのみ、学習意欲が促進される可能性が示された。また、 エージェント集団における休憩エージェントが増えることで、ユーザに休憩を促すことができる可能性が示された。

これらのことから、エージェント空間２６において学習や休憩をするエージェント数の増減によりユーザの学習や休憩を促進できる可能性が示された。

このようにして、図５のステップＳ２１での学習アニメーション所定が実行され得る。

上述の実施例では、ユーザ１４の使用するコンピュータ１６の画面にエージェント空間２６を表示するようにしたが、エージェント空間２６はプロジェクタで投射、表示することもできる。

図１９に示す実施例では、コンピュータ１６によって制御されるプロジェクタ７２が、部屋１２の天井７４に取り付けられる。プロジェクタ７２は、部屋１２の壁７６にエージェント空間２６を表示する。

このエージェント空間２６には複数のエージェント２４が、たとえば３次元アニメーションによって表示される。エージェント空間２６の複数エージェント２４は、コンピュータ１６の制御に従って、ユーザ１４の行動を誘発する動作を表現するように表示される。そして、この実施例の行動誘発システム１０においても、先の実施例と同様に、複数のエージェント２４がアニメーションによって反復的かつ継続的に提示する先行行動によって、ユーザ１４の行動変容を促す。

なお、もし部屋１２の壁７６に余白部分がなければ、エージェント空間２６は、たとえばロールスクリーンやカーテンなどに投射されて表示されてもよい。

図２０に示すように、上述のプロジェクタ７２は、プロジェクタインタフェース（Ｉ／Ｆ）７８を通してバス２９に接続される。したがって、プロジェクタ７２は、ＣＰＵ２８がメモリ３０から読み出した映像データによって、エージェント空間２６に３Ｄ映像としてアニメーションに映出する。

この実施例ではさらに、図２０に示すように、センサインタフェース（Ｉ／Ｆ）８０を通して種々のセンサ８２が接続される。各種センサ８２としては、いずれも図示しないが、たとえば部屋の明るさを直接検出できる明るさセンサ、窓や扉の開閉を検出できる開閉センサ、部屋１２内での電気の使用状態を検出するスイッチなどが考えられる。

先に図６で説明したように、エージェント空間２６のアニメーションに表示は、ユーザ１４の居住する部屋１２との一体感を演出するために、たとえば部屋１２からの光がエージェント２４が寝ているエージェント空間２６に漏れるようにアニメーションを表示するようにしたり、図５のステップＳ２９でエージェント空間２６内に埃が舞うアニメーションにを表示することがあることを説明した。

この実施例では、ＣＰＵ２８は、内蔵カメラ３８（デプスカメラ（図示せず）も併用できる）や内蔵マイク３４、さらにはセンサ８２などからの映像や音声さらには検知信号に基づいて、ユーザ１４の部屋１２内での行動（オプティカルフローなども利用して）、部屋１２の環境の変化、部屋１２内のオブジェクト（机や家具、家電品など）の増加や配置の変化、そして、コンピュータ１６のＲＴＣからの現在時刻などを検出する。

そして、部屋１２内でオブジェクトが増加されたことを判断すると、ＣＰＵ２８は、エージェント空間２６の入り口周辺にも散らかったオブジェクトがこぼれ、エージェント２４もこれに迷惑な様子を示すアニメーションを表示する。

さらに、ＣＰＵ２８は、たとえば１週間のような一定期間ユーザ２４が掃除をしたことを検出しなかったとき、エージェント空間２６の入り口周辺に綿ぼこりなどが表示され始め、時間がたつと増えていき、エージェン２４がこれに迷惑な様子を示すアニメーションを表示する。

ＣＰＵ２８は、ユーザ２４が部屋１２の窓を開けたことを検出しなかったとき、エージェント空間２６の入り口周辺において空気中を飛ぶダストが流れ、エージェント２４がこれに迷惑な様子を示すアニメーションを表示する。

図６と同様だが、就寝時間（２４時‐７時）にユーザ１４が部屋１２でまだ電灯などを使っていることを検出したとき、ＣＰＵ２８は、エージェント空間２６の入り口周辺に光が漏れ、エージェント２４が寝苦しいような寝返りの様子や布団の音さらには寝苦しそうな声を発するアニメーションを表示する。

なお、ユーザ１４や部屋１２の状態を検知するために、ユーザ１４の場所（人物認識）および行動認識を適用する。上述の窓や扉の開閉センサや部屋の明るさを検知する光センサの他、ベッドメイキングや布団の片付けを検知するためには、ユーザの場所とベッドや布団の場所（既知）を比較してユーザが布団にいるか検出し、さらにユーザ以外のオブジェクトが変動しているか（背景差分など）を検知する。上述の掃除をしたかどうかは、掃除機のオン／オフを電気的に、または内蔵マイク３４からの入力音声に基づいて検出する。部屋１２が片付いているかどうかは、部屋の床領域の散らかり具合を画像認識することによって検出できる。机の上の散らかり具合を画像認識することによって、机の上が片付いているかどうか判断できる。さらに、ユーザ１４がテレビを見ているか、ゲームをしているかは、テレビのチャンネルチェックと、ユーザの顔向きチェックを屁羽陽することによって、判断できる。

図１９に示すように、この実施例ではエージェント空間２６に複数のエージェント２４を表示することができるので、先の学習アニメーションの処理について説明したように、ユーザ１４の次の行動を誘発するために、複数のエージェントがすべて同じ先行行動をするのではなく、複数のエージェントの行動割合を変化し、ユーザ１４の選択肢を残しながら誘導することができる。たとえば、今はユーザ１４がテレビを見てもよい時間だとして、ユーザ１４にテレビを見るという行動を誘発したいとき、一緒に見るエージェントの数を６０％とし、残りの４０％のエージェントは部屋を片付けたり勉強したりする、という行動割合に従ったアニメーションをエージェント空間２６に表示する。それによって、強制的ではなく、ユーザの次の行動を誘発することができる。ただし、このような「行動割合」は、以下に説明するようなユーザパラメータおよび／またはエージェントパラメータに応じて、ＣＰＵ２８が決定する。

この場合は、複数のエージェントはすべて同じ重みをもつものとして扱ったが、エージェント空間２６内で共同生活をするエージェントの集団において、パラメータ（エージェントパラメータ）を設定するなどして、各エージェントに個性を設定することが考えられる。

このようなエージェントパラメータとしては、たとえば、特に親しい立場のエージェントを「親友」として設定し、そのエージェントと他エージェントの影響力の重みを変化させたり、あるいはエージェント集団の中に序列や親しさの度合い、生活パターン類似度のパラメータを個別に設定することによって、各エージェントの個性に従ってユーザ１４に対する先行行動の確率を割り振ることも可能である。

詳しく説明すると、図１９のような行動誘発システム１０において、初期入力データとして、ユーザ１４の生活スケジュール（生活リズム）、ユーザの生活行動履歴およびユーザのまじめさ（たとえば、５段階評価として）を入力し、それをメモリ３０のデータ記憶領域３０ｂの適宜の領域に記憶しておく。このうちたとえばユーザのまじめさは、ユーザの個性を示すユーザパラメータと考えられる。ユーザパラメータとしては、ユーザを特徴付ける他の任意のパラメータを設定することができる。

他方で、エージェント毎の親しさの度合いを示すパラメータ（０‐１）を設定する。ただし、バリエーションを設ける。さらに、エージェント毎のまじめさ（正確に生活スケジュールを刻むか。０‐１）を表わすパラメータを設ける。

エージェント空間２６にたとえば９体のエージェントを表示するとしたら、まじめさ「１」のエージェントを５体、親しさを「０」、「０．２」、「０．４」、「０．６」、「１」として，まじめさ「０．５」のエージェント４体にそれぞれ、親しさを「０.２」、「０．５」、「０．８」、「１」とする。バリエーションの生成時には、親しさとまじめさに弱い負の相関を持たせることもできる。

これらの設定したパラメータは、上述の初期入力データと同様に、メモリ３０のデータ記憶領域３０ｂの適宜の記憶場所に記憶される。

エージェントに序列を設ける場合には、親しいエージェントをトップに持ってこないで、まじめなエージェントを持ってくることが考えられる。

そして、ＣＰＵ２８は、コンピュータ１６のＲＴＣでの現在時刻、たとえばオプティカルフロー計算によるユーザの行動状態、ユーザの行動継続状態と継続時間、カメラなどのセンサでの検出に基づくユーザの関心（動いていないけれどテレビを見ている、など）、現在時刻やこれまでのタスク（行動）完了に合わせて取るべき行動リストの決定、現在の実際のユーザの行動などのデータを取得する。
（シンタラクション）
たとえば、ユーザ１４が取るべき行動リストのいずれかと、ユーザ１４の現在の行動状態が違うとき、ＣＰＵ２８は、エージェント空間２６にエージェントのアニメーションを表示して、先行行動を提示する。これに対して、取るべき行動リストのいずれかとユーザの現在の行動状態が同じであるとき、ＣＰＵ２８は、そのユーザ１４の行動の継続時間に応じて、エージェント空間２６に、エージェントにその行動への追従行動を提示させるアニメーションを表示する。ただし、継続時間が長くなれば、エージェント空間２６内のエージェントをその追従行動から脱落させる。どのエージェントを脱落させるかの確立は、上記パラメータで計算する。

このように、この発明では、エージェント空間２６の複数のエージェント２４の先行行動によってユーザ１４の行動を誘発する場合と、ユーザ２４の行動に追従する追従行動をエージェント空間２６の１または複数のエージェント２４が取る場合の両方を含むので、図１や図１９に示すシステム１０は、親近アンビエントエージェントシステムと呼ぶことにする。

さらに、取るべき行動リストのいずれかへのユーザの行動遷移が確認できたとき、ＣＰＵ２８は、エージェント空間２６の複数のエージェントたちの何割かに笑顔のアニメーションを表示する。このときの笑顔になる割合し、上記の親しさを示すパラメータに応じて変化させることが考えられる。

エージェント空間２６において、親しいエージェント（パラメータが示す）が時々ユーザのほうを見る（親しさに応じて見る時間間隔を変更）アニメーションを表示することができる。
（序列に応じたやりとりの表示）
ＣＰＵ２８は、エージェント空間２６において、上で説明した序列の高いエージェントが他のエージェントより早めに先行行動を示し、他のエージェントたちに視線を配るようなアニメーションを表示することができる。
（先行行動や追従行動の提示割合決定手法）
ＣＰＵ２８は、まず、メモリ３０に初期入力データとして設定されている取るべき行動リストのいずれかを現在時刻に応じて決定するとともに、取るべき行動リストではなく取らなくてもいい行動リスト（寝ている、ぼーっとする、遊ぶ）（１つだけに決定しなくてよい）を取得する。

その後、ＣＰＵ２８は、取るべき行動をユーザのたとえばまじめさ（ユーザパラメータ）に応じてエージェントの行動割合を決定し、その行動割合を反映させて、エージェント空間２６にアニメーションを表示する。

たとえば、ユーザ１４のまじめさが「１」のとき、行動割合は５０％程度とし、エージェント空間２６の複数のエージェントの内、５０％のエージェントのアニメーションを取るべき行動のアニメーションとし、残りの５０％のエージェントには取らなくてもいい行動のアニメーションをを表示させる。ユーザのまじめさが「０．５」であれば、行動割合は７０％程度とし３０％のエージェントは取らなくてもいい行動を示すように、エージェント空間を表示する。まじめさが「０」のとき、行動割合は９０％程度とし１０％は取らなくてもいい行動を示すように、エージェント空間を表示する。

このような行動割合は、取るべき行動をユーザが継続して時間がたつと、どんどん下がるように設定する。ＣＰＵ２８は、まじめな傾向のエージェントにはそれでもなお次の先行行動を提示させ、ふまじめなエージェントには取らなくてもいい行動を提示させるように、エージェント空間２６を表示する。

この中で、ユーザの状況に比較的寄り添うエージェントは親しさパラメータの高いものとする。たとえば、ユーザが取るべき行動を先駆けて行ったときは、エージェント空間２６において、エージェントたちがその行動に対する追従行動をとるようなアニメーションを表示する。ただし、親しさパラメータの高いものから順に追従行動を生起させることにする。つまり、追従行動を開始するまでの時間差に親しさパラメータを反映させる。

なお、上述したように、エージェント空間２６で提示する先行行動は、それに倣ってユーザの行動を誘導または誘発するという効果がある。これに対して、追従行動は、ユーザの行動を誘発するというよりは、追従されると人は自分の行動にある程度の安心を得るので、ユーザ１４に、自分が先導して行動したという満足感、自信、安心感を持たせる上で有用である。

この実施例におけるパラメータ設定やそれに応じた行動割合の決め方などは、先の学習行動の場合のように複数エージェントをエージェント空間に表示する場合にもそのまま適用できることは容易に理解できよう。

なお、上述の実施例では、エージェント空間２６は、ユーザ１４が使用するコンピュータ１６のディスプレイ１８か、またはプロジェクタ７２によって部屋１２の壁７６などに表示するものとして説明した。しかしながら、エージェント空間表示場所はこれらに限られるものではない。

たとえば、ユーザ１４の部屋１２に置かれたテレビ（図示せず）にエージェント空間２６を表示することもできる。そのためには、ＣＰＵ２８は通信モジュール４４を用いてテレビにアニメーション映像を送る必要がある。映像出力用のＨＤＭＩ（登録商標）ポートがコンピュータ１６にあればそれを使うこともできるし、ＵＳＢからのデータを映像信号に変換する「ＵＳＢマルチディスプレイアダプタ」などを使うこともできる。

さらに、ユーザ１４の部屋１２に置かれたテレビ（図示せず）に映像などのコンテンツの右半分を表示し、プロジェクタ７２により左半分に位置を合わせて表示することで仮想空間内にテレビがめり込んだようなメディアを形成したり、図１９の壁７６にテレビの半分がエージェント空間２６になるよう、ユーザの位置に応じた投影を行うことで、テレビや学習コンテンツモニタとしてエージェントと共有するコンテンツ提示メディアを構成する。これによって、ユーザが学習していないときに、エージェントが勉強を開始することを示すため、上記コンテンツ提示メディアの中にエージェント用コンテンツを現わすことができる。

上述の実施例で挙げた具体的な数値等は一例であり、特に限定を意味するものではない。

１０ …行動誘発システム
１２ …部屋
１４ …ユーザ
１６ …コンピュータ
１８ …ディスプレイ
２０ …表示ウィンドウ
２２ …テキスト表示領域
２４ …親近アンビエントエージェント
２６ …エージェント空間
２８ …ＣＰＵ
３０ …メモリ
３８ …内蔵カメラ
７２ …プロジェクタ

Claims (6)

1. 複数の親近アンビエントエージェントが出現するエージェント空間を表示するエージェント空間表示手段を備え、ユーザの現在の行動データを取得して、前記ユーザが取るべき行動リストのいずれかと前記ユーザの現在の行動が違うとき、前記エージェント空間表示手段に表示した複数のアンビエントエージェントが先行行動を提示する、親近アンビエントエージェントシステムであって、
   前記エージェント空間表示手段において、前記複数の親近アンビエントエージェントに所定の行動割合で前記先行行動のアニメーションを提示させる行動割合決定手段、および
   前記ユーザに対する親しさの度合いを示す親しさパラメータを前記複数の親近アンビエントエージェントの個性として設定するパラメータ設定手段を備え、
   前記行動割合決定手段は、各親近アンビエントエージェントの前記個性に従って前記ユーザに対する先行行動の割合を割り振るようにした、親近アンビエントエージェントシステム。
2. 前記ユーザが取るべき行動リストのいずれかと前記ユーザの現在の行動が同じであるとき、前記エージェント空間表示手段は前記複数のアンビエントエージェントが追従行動を提示し、前記複数の親近アンビエントエージェントが前記追従行動を開始するまでの時間差に前記親しさパラメータを反映させる、請求項１記載の親近アンビエントエージェントシステム。
3. 前記行動割合決定手段は、前記ユーザの集中度に応じて前記先行行動における前記複数のアンビエントエージェントの前記行動割合を決定する、請求項１または２記載の親近アンビエントエージェントシステム。
4. 前記行動割合決定手段は、前記ユーザのまじめさを示すユーザパラメータ応じて前記先行行動における前記複数のアンビエントエージェントの前記行動割合を決定する、請求項１ないし３のいずれかに記載の親近アンビエントエージェントシステム。
5. 前記エージェント空間表示手段は、前記親近アンビエントエージェントの行動およびその空間の空間状況を表示する、請求項１ないし５のいずれかに記載の親近アンビエントエージェントシステム。
6. 親近アンビエントエージェントシステムのコンピュータによって実行され、前記コンピュータを、複数の親近アンビエントエージェントが出現するエージェント空間を表示するエージェント空間表示手段として機能させ、さらにユーザの現在の行動データを取得して、前記ユーザが取るべき行動リストのいずれかと前記ユーザの現在の行動が違うとき、前記エージェント空間表示手段に表示した複数のアンビエントエージェントが先行行動を提示させる、親近アンビエントエージェントシステムのプログラムであって、前記コンピュータをさらに、
   前記エージェント空間表示手段において、前記複数の親近アンビエントエージェントに所定の行動割合で前記先行行動のアニメーションを提示させる行動割合決定手段、および
   前記ユーザに対する親しさの度合いを示す親しさパラメータを前記複数の親近アンビエントエージェントの個性として設定するパラメータ設定手段として機能させ、
   前記行動割合決定手段は、各親近アンビエントエージェントの前記個性に従って前記ユーザに対する先行行動の割合を割り振るようにした、親近アンビエントエージェントシステムのプログラム。

Images