JP7012953B2 - 感覚刺激提示システム、プログラムおよび方法 - Google Patents

Description

この発明は感覚刺激提示システム、プログラムおよび方法に関し、特にたとえば、ユーザに対して触覚刺激を提示する作用体とユーザに対して視／聴覚刺激を提示するヘッドマウントディスプレイを用いる、新規な感覚刺激提示システム、プログラムおよび方法に関する。

本件発明者等は、非特許文献１で、ユーザがハグしたとき、ユーザにハグを返すことができるコミュニケーションロボットを提案した。この非特許文献１のロボットにおいて、ロボットがユーザに抱き返すような動作をしたときには、抱き返さなかった場合に比べて、ユーザによる自己開示が促されることが分かった。

The 31st Annual Conference of the Japanese Society for Artificial Intelligence, 2017

非特許文献１のコミュニケーションロボットではロボットからの抱き返しのような物理的または身体的な刺激（触覚刺激）をユーザに与えることができ、この触覚刺激によって癒し効果（ストレス軽減効効果）が期待できるが、その種の効果のさらなる向上が期待される。

それゆえに、この発明の主たる目的は、新規な、感覚刺激提示システム、プログラムおよび方法を提供することである。

この発明の他の目的は、ユーザに対する癒し効果を向上できる、感覚刺激提示システム、プログラムおよび方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。

第１の発明は、可動部を有し、可動部を動かして可動部をユーザに接触させることによってユーザに触覚刺激を与える触覚刺激提示装置、およびユーザの頭部に装着され、可動部の接触による触覚刺激提示装置からの触覚刺激を提示する可動部の動きに関連した変化を示す仮想エージェントを表示することによってユーザに視覚刺激を提示する頭部装着型表示装置を備える、感覚刺激提示システムである。

第１の発明では、触覚刺激提示装置（12、80）が可動部（28, 86, 88）をユーザ（60）に接触させることによってユーザに触覚刺激を与え、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）のような頭部装着型表示装置（20）が可動部の接触による触覚刺激提示装置からの触覚刺激を提示する可動部の動きに関連した変化を示す仮想エージェント（70）を表示することによってユーザに視覚刺激を提示する。

第１の発明によれば、触覚刺激提示装置によって触覚刺激（物理的または身体的な刺激）を提示し、頭部装着型表示装置によって、その触覚刺激を増強する視覚刺激を提示するので、ユーザに対してさらなる癒し効果をもたらすことができる。つまり、視覚刺激提示装置が仮想エージェントを触覚刺激に関連して変化するように表示することによって、触覚刺激と視覚刺激の一体感を高めることができるので、ユーザに対する癒し効果のさらなる増強が期待できる。

第２の発明は、第１の発明に従属し、触覚刺激提示装置はぬいぐるみ型のコミュニケーションロボットであって、胴体と胴体の肩部から延びる所定以上の長さの２本の腕を有し、２本の腕のそれぞれはひじ関節部を備え、ひじ関節部を制御してユーザを一定以上の圧力をもって２本の腕で抱擁することによってユーザに触覚刺激を提示する、感覚刺激提示システムである。

第２の発明では、触覚刺激提示装置はぬいぐるみ型のコミュニケーションロボット（12）であり可動部としての腕（28）が一定以上の圧力をもってユーザを抱擁するので、ユーザに安心感を与え、さらなる癒し効果が期待できる。

第３の発明は、第１の発明に従属し、触覚刺激提示装置は、基端を固定したロボットアームとその先端に設けた先端部材を含み、ロボットアームを制御して先端部材を一定以上の圧力でユーザに押し付けることによってユーザに触覚刺激を提示する、感覚刺激提示システムである。
第３の発明では、ロボットアーム（80）の先端に先端部材（88）を設け、その先端部材を一定以上の力データユーザに押し付けるによって、触覚刺激、たとえばキス刺激を提示することができる。

第４の発明は、可動部を含む触覚刺激提示装置およびユーザの頭部に装着される頭部装着型表示装置を備える、感覚刺激提示システムのコンピュータによって実行される感覚刺激提示プログラムであって、コンピュータを、触覚刺激提示装置の可動部を動かして可動部をユーザに接触させることによってユーザに触覚刺激を提示させる可動部制御部、および可動部の接触によって触覚刺激提示装置がユーザに触覚刺激を提示するとき、頭部装着型表示装置に、可動部の動きに関連して変化する仮想エージェントを表示させる表示部として機能させ、仮想エージェントを頭部装着型表示装置で表示することによってユーザに対して視覚刺激を提示する、感覚刺激提示プログラムである。

第４の発明では、感覚刺激提示システム（10）は、可動部（28, 86,88）を含む触覚刺激提示装置(12, 80)およびユーザの頭部に装着される頭部装着型表示装置（20）を備え、たとえばサーバ（16）のようなコンピュータが、可動部制御部および表示部として機能する。可動部制御部は、触覚刺激提示装置の可動部を動かして可動部をユーザに接触させることによってユーザに触覚刺激を提示させる。表示部は、可動部の接触によって触覚刺激提示装置がユーザに触覚刺激を提示するとき、頭部装着型表示装置に、可動部の動きに関連して変化する仮想エージェントを表示させることによって、ユーザに視覚刺激を提示させる。

第４の発明によっても、第１の発明と同様の効果が期待できる。

第５の発明は、第４の発明に従属し、触覚提示装置はスピーカをさらに備え、コンピュータをさらに、発話コンテンツに基づいて触覚刺激提示装置をしてスピーカから発話させる発話部、および発話部によって発話される発話コンテンツが触覚刺激を必要とするかどうかに基づいて触覚刺激を提示すべきかどうか判断する刺激判断部として機能させる、感覚刺激提示プログラムである。

第５の発明では、発話部（S109,S205）が、触覚刺激提示装置、実施例でいえばたとえばロボット（12）またはロボットアーム（80）によって発話コンテンツに基づいて発話させて、ユーザと対話させる。刺激判断部は、その発話コンテンツに応じて、つまり、発話コンテンツが触覚刺激を必要とするかどうかに基づいて触覚刺激や視覚刺激が必要かどうか判断する。

第５の発明によれば、必要なとき感覚刺激を提示することができる。

第６の発明は、可動部を含む触覚刺激提示装置およびユーザの頭部に装着される頭部装着型表示装置を備える、感覚刺激提示システムにおける感覚刺激提示方法であって、触覚刺激提示装置の可動部を動かして可動部をユーザに接触させることによってユーザに触覚刺激を提示させるステップ、および可動部の接触によって触覚刺激提示装置がユーザに触覚刺激を提示するとき、頭部装着型表示装置に、可動部の動きに関連して変化する仮想エージェントを表示させるステップを含み、仮想エージェントを頭部装着型表示装置で表示することによってユーザに対して視覚刺激を提示する、感覚刺激提示方法である。

第６の発明によっても、第１の発明と同様の効果が期待できる。

この発明によれば、触覚刺激提示装置によって触覚刺激（物理的または身体的な刺激）を提示し、頭部装着型表示装置によって、その触覚刺激を増強する視／聴覚刺激を提示するので、両感覚刺激が協働して、ユーザに対してさらなる癒し効果をもたらすことができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の感覚刺激提示システムを示す図解図である。 図２は図１実施例に用いられるコミュニケーションロボットの一実施例を示す図解図である。 図３は図２実施例のコミュニケーションロボットの構造の一例を示す図解図である。 図４は図２、図３に示すコミュニケーションロボットの電気的な構成を示すブロック図である。 図５は図１実施例におけるコミュニケーションロボットの動作の一例を示すフロー図である。 図６は図５実施例におけるハグ動作のためにユーザがコミュニケーションロボットに近づいた状態を示す図解図である。 図７は図５実施例のハグ動作においてユーザがコミュニケーションロボットをハグしコミュニケーションロボットもユーザをハグした（抱き返した）状態を示す図解図である。 図８はＨＭＤに表示されるエージェント（キャラクタ）の図６の状態に対応する状態を示す図解図である。 図９はＨＭＤに表示されるエージェント（キャラクタ）の図７の状態に対応する状態を示す図解図である。 図１０は図５実施例におけるハグ動作を示すフロー図である。 図１１はコミュニケーションロボットの発話コンテンツとハグ刺激の対応の一例を示す表である。 図１２はこの発明の他の実施例の感覚刺激提示システムを示す図解図である。 図１３は図１２実施例におけるキス動作を示すフロー図である。 図１４はロボットアームの発話コンテンツとキス刺激の対応の一例を示す表である。 図１５は図１実施例のコミュニケーションロボットの構造の他の例を示す図解図である。

図１を参照して、この実施例の感覚刺激提示システム１０は、ユーザに対して物理的または身体的な刺激、つまりユーザの触覚に与える刺激（触覚刺激）を提示するためのコミュニケーションロボット（以下、単に「ロボット」ということがある。）１２を含む。ロボット１２は、この実施例では、図２に示すような、テディベア（商品名）に似た、大きな熊型のぬいぐるみロボットである。

触覚刺激提示装置すなわちロボット１２は、インターネットや電話通信回線のようなネットワーク１４を介してサーバ１６に接続される。サーバ１６は、ＰＣ、ＰＤＡ、スマートフォン、タブレット端末のような汎用のコンピュータである。

図示は省略するが、サーバ１６には、タッチパネルやキーボードのような入力装置が含まれ、オペレータがそのような入力装置を操作することができる。このようなサーバ１６の動作を制御するためのプログラムおよびデータは、サーバ１６に内蔵しているメモリ（図示せず）に記憶されており、同じく内蔵のＣＰＵ（図示せず）によってサーバ１６の全体的な動作が制御される。このＣＰＵは、上述のオペレータの操作に従って、ロボット１２のＣＰＵ３６（後述）を通して、ロボット１２の動作や発話を制御し、さらには後述のＨＭＤ２０による仮想エージェントの表示を制御する。

図１の感覚刺激提示システム１０は頭部装着型表示装置であるＨＭＤ２０を含み、このＨＭＤ２０はロボット１２による触覚刺激の提示を受けるユーザ６０（後述：図６、図７）の頭部６４に装着される。実施例では、このＨＭＤ２０として、Oculus社製のOculus Rift（商品名）を使用し、このＨＭＤ２０の位置すなわちユーザの頭部位置を精度よく検出するために、Oculus sensor（商品名）のような位置検出装置１８ａを利用した。

つまり、サーバ１６には、位置検出装置１８ａの出力が与えられる。位置検出装置１８ａは、頭部位置計測部として機能するが、この位置検出装置１８ａとして利用されるOculus sensorは、ジャイロセンサと加速度を組み合わせることで、ＨＭＤ２０（Oculus Rift）の位置を追跡することによって、ユーザ６０の頭部６４の位置を精度よく検出することができる。

サーバ１６にはさらに環境音やユーザの声を収集するマイク１８ｂおよび環境映像やユーザの映像を取得するカメラ１８ｃなどが接続される。マイク１８ｂが収集した音声データがサーバ１６に入力され、サーバ１６はその音声データを用いて音声認識をすることができる。カメラ１８ｃからの映像データがサーバ１６に入力され、サーバ１６はその映像データを処理して、たとえば個人同定をすることができる。

この実施例では、ロボット１２はユーザと対話することができるようにされている。そのために、サーバ１６のメモリには、そのようなユーザとの対話に必要な話題やその話題に応じたシナリオが予め設定される。ただし、先に説明したように、サーバ１６を通して遠隔オペレータがユーザと対話することもできる。

上述のＨＭＤ２０は、たとえば９０Ｈｚのリフレッシュレートで１１０°視野の高解像度の立体画像を表示することができる。

ＨＭＤ２０は、サーバ１６から送信される映像データによって、後述の図８、図９に示すような仮想エージェント７０を表示することによって、ユーザの視覚および／または聴覚に対する刺激（視／聴覚刺激）を付与する。

そのため、サーバ１６のメモリ（図示せず）には、性別や年代の異なる複数の仮想エージェントの映像データを予め設定している。そして、サーバ１６は、ロボット１２と協働する（インタラクションする）ユーザを同定した後、同定したユーザに適合する性別や年代の仮想エージェントを選択して、その映像データを、ネットワーク１４を介して、ＨＭＤ２０に送る。これによって、ＨＭＤ２０がユーザに適合した仮想エージェントを表示することができる。ただし、仮想エージェントは、ユーザによって登録されるようにしてもよい。

図２は図１の実施例に用いる触覚刺激提示装置としてのロボット１２の一例を示すが、他の外観、構造を持つ任意の触覚刺激提示装置が利用可能であることを予め指摘しておく。

ロボット１２は、図２および図３に示すような「熊型」のぬいぐるみロボットであり、胴体２４の底部（尻：四足動物（とくに哺乳類）における胴体の後方）２６が、床２２上に据え付けられる。胴体２４の上端両側から左右それぞれの腕２８が前方に突き出せるように設けられる。腕の２８のそれぞれの長さはロボット１２がユーザ（人）をハグしたときに、腕２８がユーザの背中まで回る長さに選ばれている。一例として、８０ｃｍである。

胴体２４の上には、首（図示せず）を介して頭部３０が形成される。ロボット１２の全長すなわち底部２６から頭部３０の頭頂までの高さは、約２ｍである。この大きさは、ロボット１２が子供だけでなく、大人までも対象にできるようにする意図で決めた大きさであり、ユーザに対してハグされる安心感を与えられる大きさである。

胴体底部２６の左右に両足３２が設けられるが、これらの足３２はロボット１２が立ち上がるためのものではなく、ただ前方に投げ出された状態で設けられる。したがって、後述する図６、図７に示すようにロボット１２がユーザ６０をハグするときに、足３２は単なるクッションとして機能する。

ロボット１２は、図３に示すように、胴体２４の直立状態を維持するための胴体フレーム２４ａと、その上下端にそれぞれ水平に取り付けられる底部フレーム２６ａおよび肩フレーム２６ｂを含む。肩フレーム２６ｂには、それの両端からそれぞれ前方に延びる腕フレーム２８ａが設けられる。また、肩フレーム２６ｂの水平方向の中心から上方に、胴体フレーム２４ａと一直線になるような首フレーム３０ｂが設けられ、その上には、頭部３０を支持する頭部フレーム３０ａが設けられる。

これらのフレームはたとえばアルミニウムのような金属でも、繊維強化プラスチックやエンジニアリングプラスチックのような樹脂でもよく、基本的に、安全な強度が得られる断面形状や太さで設計される。たとえば、パイプ状のフレームが利用され得る。

これらのフレームは、たとえばポリフロピレン綿のような弾性体で包まれ、その上に外被３３が被せられる。外被３３は布製であり、「熊」らしく見せるために、ファー布地やフェルト生地で作られる。

ただし、ロボット１２がユーザをハグしたとき、ユーザの顔が触れる頭部３０の一部には、取り外しおよび洗濯が可能な生地を取り付けた。これによって、衛生上の清潔を維持するようにしている。

腕フレーム２８aには、左右の肘のそれぞれに相当する位置に、ひじ関節３４が設けられる。つまり、腕２８の前腕に相当するフレームと、上腕に相当するフレームが、ひじ関節３４を介して連結されている。ひじ関節３４は一例として、前腕を上腕に対して最大９０°開くことができる。したがって、ひじ関節３４の角度を制御することによって、腕２８を曲げることができる。つまり、腕２８でユーザをしっかりハグ（抱き返し）できるようにされている。腕２８の長さが上述のように８０ｃｍ程度と長いため、腕２８を曲げたとき、ユーザの大きさにもよるが、前腕部あるいは少なくとも手首より先の部分（手）がユーザの背中に回され得る。

さらに、この実施例では、ロボット１２が腕２８でユーザをハグすることができるように、ひじ関節３４にアクチュエータを組み込んでいる。ただし、そのアクチュエータとしては、ユーザが比較的容易に押し返せるように、比較的非力なデジタルサーボ（トルク：１１ｋｇ／ｃｍ）を採用した。安全性のためである。

図２、図３では図示していないが、ロボット１２の頭部３０の顔部分にはスピーカおよびマイクが埋め込まれており、ユーザに対して発話したり、ユーザの発話を聞き取ったりすることができる。発話のための音声合成ソフトウェアとしては、XIMERA（ＡＴＲ音声言語研究所：商品名）を採用した。

ロボット１２は、図４に示すように、ロボット１２の全体制御を司るＣＰＵ３６を備える。ＣＰＵ３６は、バス３８を通して通信モジュール４０に接続され、したがって、ＣＰＵ３６は通信モジュール４０を介して、ネットワーク１４すなわちサーバ１６と、有線で、または無線で、通信可能に接続される。

ＣＰＵ３６はまた、バス３８を通してメモリ４２にアクセスでき、このメモリ４２に設定されているプログラムやデータに従って、バス３８を通してアクチュエータ制御回路４４に指令値を与え、各アクチュエータＡ１‐Ａｎの動作を制御する。アクチュエータ制御回路４４は、ＣＰＵ３６から与えられる指令値に応じた数のパルス電力を生成し、それを該当するステッピングモータに与えることによって、各アクチュエータＡ１‐Ａｎを駆動する。

ただし、アクチュエータとしてはこのようなステッピングモータを用いるものの他、サーボモータを用いるアクチュエータ、流体アクチュエータなど任意のアクチュエータが利用可能である。

ここで、アクチュエータＡ１‐Ａｎのどれかが図３に示すひじ関節３４のアクチュエータ（デジタルサーボ）であり、他のものが後述する他の関節のアクチュエータである。したがって、アクチュエータ制御回路４４はひじ関節制御部としても機能する。

センサＩ／Ｆ（インタフェース）４６は、バス３８を介して、ＣＰＵ３６に接続され、触覚センサ４８およびカメラ５０からのそれぞれの出力を受ける。

触覚センサないし皮膚センサ４８は、たとえばタッチセンサであり、ロボット１２の触覚の一部を構成する。つまり、触覚センサ４８は、人間や他の物体等がロボット１２に触れたか否かを検出する。たとえば、触覚センサ４８がロボット１２の胴体２４の前面の所定箇所に設けられ、ユーザがロボット１２に抱きついたかどうか検知することができる。

触覚センサ４８はさらに感圧センサとしても機能する。このような触覚センサ４８は、一例として、たとえば高分子ピエゾセンサシートで形成され、たとえば腕２８の内面側に、複数のセンサシートが適宜分散して設けられる。このような触覚センサ４８は、ユーザをハグしたロボットの腕２８に掛かる圧力を検知することができる。

触覚センサ４８からの出力（検出データ）は、センサＩ／Ｆ４６を介してＣＰＵ３６に与えられる。したがって、ＣＰＵ３６は、人間や他の物体等がロボット１２に触れたこと（およびその強弱ないし圧力）を検出することができる。

さらに、触覚センサ４８が検出した圧力データはＣＰＵ３６から出力され、通信モジュール４０およびネットワーク１４を介してサーバ１６に与えられる。

カメラ５０は、イメージセンサであり、ロボット１２の視覚の一部を構成する。つまり、カメラ５０は、ロボット１２の眼から見た映像ないし画像を検出するために用いられる。この実施例では、カメラ５０の撮影映像（動画ないし静止画）に対応するデータ（画像データ）は、センサＩ／Ｆ４６を介してＣＰＵ３６に与えられる。ＣＰＵ３６は、撮影映像の変化を検出するのみならず、その画像データを、通信モジュール４０およびネットワーク１４（図１）を介してサーバ１６に送信する。そして、サーバ１６は、受信した画像データをモニタ（図示せず）に出力する。したがって、カメラ５０の撮影映像がモニタに表示される。

また、スピーカ５４およびマイク５６は、入出力Ｉ／Ｆ５２に接続される。スピーカ５４は、ロボット１２が発話を行う際に音声を出力する。サーバ１６の操作者ないしオペレータ（以下、「遠隔オペレータ」ということがある。）が直接発話を行う場合、ネットワーク１４、通信モジュール４０および入出力Ｉ／Ｆ５２を通して当該音声が出力される。具体的には、遠隔オペレータがマイク２０を通して発話すると、対応する音声データがサーバ１６からネットワーク１４を介してＣＰＵ３６に与えられる。そして、ＣＰＵ３６は、その音声データを、入出力Ｉ／Ｆ５２を介してスピーカ５４から出力する。

マイク５６は、音センサであり、ロボット１２の聴覚の一部を構成する。このマイク５６は、指向性を有し、主として、ロボット１２と対話（コミュニケーション）するユーザ（人）の音声を検出するために用いられる。

ロボット１２のメモリ４２は、たとえばＲＡＭやＨＤＤであり、音声認識プログラムおよび上述のXIMERAのような音声合成プログラムが予め設定されている。音声認識プログラムは、マイク５６を通して入力される、人間がロボット１２に対して発話した内容をＣＰＵ３６が認識するためのプログラムであり、ＣＰＵ３６は、たとえばＤＰマッチングや隠れマルコフ法（Hidden Markov Model：ＨＭＭ）により、人間の発話内容を音声認識する。

ＣＰＵ３６は、その音声認識プログラムに従って、遠隔オペレータがマイク２０を通して入力した発話を認識する。たとえば、上述のＨＭＭ法やディープニューラルネットワーク（Deep.NeuralNetwork：ＤＮＮ）のような音響モデルを用いて発話音声を検出できる。

遠隔オペレータの音声を直接スピーカ５４から出力する外に、ロボット１２から音声合成によって発話させることができる。ＣＰＵ３６は、サーバ１６から音声合成によってスピーカ５４から発話する指示が入力されたとき、このサーバ１６から与えられる音声合成データに従って合成した音声をスピーカ５４に出力する。

この実施例では基本的に、ロボット１２のすべての動作は、オペレータ（図示せず）が操作するサーバ１６から与えられる。そのために、ＣＰＵ３６は、センサＩ／Ｆ４６を通して取得するセンサデータや、入出力Ｉ／Ｆ５２を通して取得する音声データや画像データを、通信モジュール４０からネットワーク１４を経由して、サーバ１６のＣＰＵ（図示せず）に与える。サーバ１６は、それらのデータを得て、ロボット１２の状態を知ることができる。

ただし、サーバ１６は、位置検出装置１８ａからの位置情報と圧力情報を使用して、仮想エージェント７０とロボット１２の両方の動作を自律的に制御することもできる。たとえば、ユーザ（人ないし参加者）がロボット１２に接近すると、サーバ１６は仮想エージェント７０とロボット１２の両方に信号を送信し、ＨＭＤ２０に仮想エージェント７０のハグ動作のアニメーションを表示させるとともに、ロボット１２にハグ動作を開始させる。ロボット１２のハグ（抱き返し）の間中、圧力値が一定の閾値を超えると、サーバ１６はロボット１２によるハグ動作を中断し、安全のために腕２８を開かせる。

図５に示すフロー図に従った動作は、この実施例では、サーバ１６のＣＰＵが、サーバのメモリ（図示せず）に設定されているプログラムに従って実行する。つまり、サーバ１６がロボット１２のＣＰＵ３６（図４）に指令信号を送ることによって、サーバ１６が間接的にロボット１２の動作も制御する。

サーバ１６は、前述のように、カメラ１８ｃからの映像信号を受信しているので、サーバ１６は、ステップＳ１で、その映像信号に基づいて、ユーザが誰であるか同定することができる。

ただし、カメラ１８ｃからの映像信号ではなく、たとえばＲＦＩＤ（radio frequency identifier）など他の手段を利用してユーザの個人同定を行うようにしてもよい。

なお、ユーザが予め登録されておらず、ステップＳ１で誰であるか同定できなかったユーザに対しては、匿名のＩＤを暫定的に割り当てることによって処理を継続することもできる。

そして、ステップＳ３でサーバ１６は、同定したユーザに適した仮想エージェントを選択して、ユーザが装着しているＨＭＤ２０に表示させる。この場合、サーバ１６は、ユーザと同性または異性のエージェントの候補からランダムに選択してもよいし、ユーザが自分のために予め登録しているエージェントを手動的に選択するようにしてもよい。

ただし、上述の匿名ＩＤを持つユーザに対しては、特定の仮想エージェントを手動的に選択してもよい。

このように仮想エージェントを手動的に選択させる場合には、たとえばＨＭＤ２０に選択スイッチ（図示せず）を設け、その選択スイッチの操作に応じて、サーバ１６が仮想エージェントの候補の画像を順次ＨＭＤ２０に表示し、所望の仮想エージェントが表示されるとその選択スイッチの操作を停止すればよい。

続くステップＳ５で、サーバ１６は、ロボット１２とユーザとを対話させる。このとき、ユーザが対話のテーマを選択してもよいし、サーバ１６に蓄積している各ユーザの対話履歴に基づいて特定のテーマを自動的に選択するようにしてもよい。ただし、このステップＳ５では単にユーザに対して、ロボット１２からユーザに対して触覚刺激を与えられるような、インタラクションを誘導する会話だけをロボット１２から発話させるようにしてもよい。

ステップＳ７では、その対話内容と、提示する触覚刺激（ユーザに対する身体的または物理的な刺激）に応じて、ロボット１２すなわち触覚刺激提示装置を制御する。このステップＳ７の詳細は、主として図１０および図１４を参照して、後述する。

そして、ステップＳ９で、終了を判断したとき、この図５の処理を終了する。終了するかどうかの判断は、たとえばユーザが対話の終了を希望したかどうかなどに基づいて、判断することができる。

ここで、図１０を参照して行う詳細な説明に先立って、図６‐図９を参照して、ステップＳ７で実行されるロボット１２とユーザ６０とのインタラクションを説明する。

ロボット１２には、ロボット１２がユーザ６０（図６、図７）との抱擁を実現するために、２種類の振る舞いが実装されている。１つは、図１１のステップＳ１０１で実行する、ロボット１２がユーザ６０に対してハグ（hug：抱擁）をするように促す振る舞い（図６）である。もう１つは、ステップＳ１０５で実行する、ロボット１２を抱擁したユーザ６０に対して、抱き返し（reciprocated hugs）を行う振る舞い（図７）である。

すなわち、ロボット１２は、ユーザ６０がロボット１２をハグする行動を実行し易いように、図６に示すように、腕２８を前方に出して（ハグのための初期位置）、両腕２８の中にユーザ６０が入って来るように、誘導する。

ただし、ユーザ６０は、図６では模式的に描いているが、実際は人間であり、胴体６２の上下に頭部６４および足６６を有し、さらに腕６８が胴体６２の両肩から延びる。そして、頭部６４にＨＭＤ２０を装着している。サーバ１６は、このＨＭＤ２０に、図８に示す仮想エージェント７０を表示させる。

仮想エージェント７０は、胴体７２の上の頭部７４および胴体７２の下の足７６を含み、さらに腕７８が胴体７２の両肩から延びる。ＨＭＤ２０での仮想エージェント７０の表示はいわゆる一人称視点で行われるため、この画面ではユーザは表示されない。また、仮想エージェント７０からの視／聴覚刺激の影響を調べるためには、ＨＭＤ２０の表示画面からすべての背景画像を削除することも考えられる。

ＨＭＤ２０での図８の仮想エージェント７０の状態は図６のロボット１２の状態と同じように、ユーザに対して、ユーザからのハグを誘導するように、仮想エージェント７０の両腕７８を広げた状態（ハグのための初期位置）で表示される。

図６の状態からユーザ６０がロボット１２の両腕２８の間に入り込んで、ユーザ６０がその腕６８でロボット１２をハグしたことに応じて、ロボット１２がその腕２８を閉じてその先端をユーザ６０の胴体６２（背中）に回して、抱き返し（ハグ）を行う。この抱き返しによって、ロボット１２がユーザ６０に対して、触覚刺激を与えることができる。つまり、ロボット１２の腕２８がユーザ６０に対して触覚刺激を提示する可動部として機能する。

ロボット１２がユーザ６０を抱き返した図７の状態に対応して、ＨＭＤ２０の表示画面には、図９に示す状態の仮想エージェント７０が表示される。このとき仮想エージェント７０は、あたかもユーザ（図示せず）をハグしているかのように、腕６８を閉じた状態で表示される。このようにして仮想エージェント７０の状態変化（ロボット１２の状態変化に対応して変化する）を示すアニメーションを表示することによって、ＨＭＤ２０がユーザ６０に対して視／聴覚刺激を与えることができる。つまり、ＨＭＤ２０では、仮想エージェント７０は、上述の腕２８（可動部）の動きに関連して状態が変化されるように表示される。

つまり、ユーザ６０はＨＭＤ２０でいわば目隠しされた状態でロボット１２から触覚刺激を受け、その状態でＨＭＤ２０にアニメーションを表示することによってユーザ６０に対して視／聴覚刺激を提示する。

なお、仮想エージェント７０の動きが腕２８の動きに関連して変化するが、サーバ１６には、そのような関連性をより高めることができるように、ロボット１２の動作（状態遷移）と、ＨＭＤ２０での仮想エージェント７０の動作（状態遷移）とを同期させることができるプログラムが設定されている。

そのプログラムでは、ロボット１２のひじ関節３４の関節角（ひじ関節３４を制御するアクチュエータＡ１で検出され、モータ制御にフィードバックされる）をセンサとして扱い、ロボット１２の腕２８のひじ関節３４の角度を制御するとき、その角度に応じて仮想エージェント７０の腕７８のひじ関節の角度を変化させるようにすればよい。

ただし、ロボット１２の動作と仮想エージェント７０の動作とは必ずしも同期させる必要はない。ロボット１２の動作とＨＭＤ２０に表示される仮想エージェント７０の動作とが多少時間的に前後しても、ある程度のずれであれば問題がないことを確認している。

ロボット１２の動作と仮想エージェント７０の動作とを同期させる場合には、サーバ１６は、上述の関節角のセンシング結果に応じて、ロボット１２およびＨＭＤ２０に動作制御信号を時間情報とともに送信することによって、ＨＭＤ２０に表示する仮想エージェント７０とロボット１２の動作を同期させることができる。

両方の動作を同期させる方法としては、さらに、或る一連の動作を再生させるコマンドをロボット１２およびＨＭＤ２０に送信する方法や、目標関節角を指令値としてロボット１２およびＨＭＤ２０に送信する方法などが考えられる。

さらに、動作制御信号だけでなく、音声再生コマンドをロボット１２およびＨＭＤ２０に送信するようにすることも考えられる。

図１０の最初のステップＳ１０１では、サーバ１６は、ロボット１２に指令信号を送り、ロボット１２のＣＰＵ３６にアクチュエータを制御させて、ロボット１２の腕２８および仮想エージェント７０の腕７８をたとえば図６および図８に示すハグのための初期位置にし、所定時間待機させる。

ロボット１２は通常は両腕を若干閉じた状態（通常状態）で静止しているが、ステップＳ１０１の初期状態では、接近したユーザ６０（図６）にハグを促すために、ロボット１２の腕２８を開く動作を行なわせる。これによって、ユーザがロボット１２により接近して抱きしめ易くなる。

そして、ステップＳ１０３で、サーバ１６は、ネットワーク１４を通してロボット１２から受信したカメラ５０からの画像データに基づいて、ユーザが、ロボット１２がハグ可能な位置まで近づいてきたかどうか判断する。つまり、ユーザが所定距離以内にロボット１２に近づいたかどうか判断する。ここでの所定距離は、適宜設定可能であるが、実施例ではロボット１２の正面から７５ｃｍ（hidden dimension：エドワード・Ｔ・ホール氏）とした。図６および図８に、ユーザ６０がロボット１２から所定距離内に近づいてきた状態を示している。

ただし、カメラ５０からの画像データをモニタ（図示せず）上で確認し、オペレータが判断するようにしてもよい。

なお、このステップＳ１０３の判断のためには、実施例ではカメラ５０の画像データを解析するようにしたが、たとえばロボット１２を置いている床２２（図２）や天井のような環境に設置しているカメラ１８ｃや、先に説明したレーザ距離計（Oculus Sensors）、マットセンサのようなユーザ位置検知システムを利用するようにしてもよい。

その後、ステップＳ１０３で“ＮＯ”が判断されたときには、ステップＳ１０１に戻る。

ステップＳ１０３で“ＹＥＳ”を判断したとき、次のステップＳ１０５で、サーバ１６すなわちロボット１２のＣＰＵ３６は、アクチュエータ制御回路４４を通してひじ関節３４のアクチュエータを制御して、両腕２８を所定角度閉じる。前述のようにひじ関節３４は９０°の範囲で開閉可能であり、たとえば一旦４５°内側に曲げ、その後１５°外側に戻す。それによって、ユーザ６０に一気に過度の圧力がかかるのを防止している。

ステップＳ１０５の動作はステップＳ１０７で、ロボット１２の手または腕部分に取り付けている触覚センサ４８が所定値以上の圧力を検知するまで、繰り返し実行される。つまり、ステップＳ１０７では、ロボット１２がユーザ６０をしっかりハグできたかどうかを検出している。

ステップＳ１０７で触覚センサ４８の検知圧力値を利用して判断するようにしたが、腕２８の形状の変化量（曲げの程度）や、ひじ関節３４のアクチュエータに対する指令値と実際の角度（計測値）との差分の大きさを利用して判断するようにしてもよい。

ステップＳ１０７で“ＹＥＳ”が判断されたときの状態の一例が図７および図９に示される。この状態では、ユーザ６０の腕６８がロボット１２の胴体２４に巻かれるだけでなく、ユーザ６０の頭（顔）６４がロボット１２の頭部（顔）３０に当たっており、背中にロボット１２の腕２８が回っている。ユーザ６０はロボット１２の足３２の間にあるままだが、ユーザ６０が足を開いてロボット１２の足３２の上の乗ると、一層安定してハグを継続することができる。このようにして、ロボット１２がユーザ６０を抱き返す。つまり、相互ハグ（インタラクション）が行われる。

このように、ステップＳ１０５およびＳ１０７で、サーバ１６すなわちＣＰＵ３６がアクチュエータ制御回路４４によってひじ関節３４を制御して、ロボット１２の腕２８をユーザ６０の背中に回させて、腕２８によってユーザ６０をハグさせる。

ステップＳ１０７で“ＹＥＳ”が判断された後、ステップＳ１０９で、ロボット１２とユーザ６０が対話する。実施例では、サーバ１６（図１）のオペレータがロボット１２からの発話を担当することになっているので、音声認識はオペレータが代替することとし、オペレータは音声認識結果および予め決められたルールに従ってロボット１２の発話内容を決定する。

ただし、可能であれば、ロボット１２が自律的に発話するようにしてもよい。その場合でも、対話コンテンツは予めデータベースに設定しておいたコンテンツを利用したり、ウェブ上のＡＰＩ（Application Programming Interface）などを利用したりすればよい。

ステップＳ１０９およびステップＳ１０９を実行するコンピュータ（実施例ではサーバ１６）が、ロボット１２をして発話させる発話部として機能する。

その後、ステップＳ１１１で、ユーザ６０すなわち相手が対話を終了させたいと希望しているかどうか判断する。この判断は、たとえばユーザ６０からの定型の発話があったか、あるいはユーザ６０の特定の所作があったか、などに基づいて行える。

ステップＳ１１１で“ＮＯ”を判断したとき、つまり、ユーザ６０が対話終了を希望していないと判断したとき、ステップＳ１１３で、サーバ１６は、そのときの発話コンテンツは、ロボット１２によるユーザ６０に対するハグ刺激が必要かどうか、判断する。

たとえば、図１１に、発話コンテンツ、ハグ刺激の有無および刺激動作の態様の組み合わせの一例を示す表が示される。

この表では、発話コンテンツが「こんにちは」のような挨拶のときには、ロボット１２からユーザ６０へのハグ刺激は与えないものとする。「それは大変だったね」という発話コンテンツはユーザを慰めるコンテンツなので、子供の背中をたたいて慰めるのと同じように、ハグ刺激を与え、その態様は、ロボット１２の腕２８でユーザ６０の背中を軽くたたくものとする。発話コンテンツが「よく頑張ったね」という労りを含む場合、ハグ刺激を与え、その態様は、ロボット１２の腕２８でユーザ６０の頭部６４をなでるものとする。発話コンテンツが「募金に協力してくれる？」という要求を含む場合、ハグ刺激を与え、その態様は、ロボット１２の腕２８でユーザ６０の背中をさするものとする。発話コンテンツが「また会いに来てね」という別れを含む場合、ハグ刺激を与え、その態様は、ロボット１２の腕２８でユーザ６０を強く抱きしめる（腕２８のひじ関節３４の関節角を小さくして腕の曲げ角度を大きくする。）ものとする。

図１１のような発話コンテンツとハグ刺激の対応は、たとえばサーバ１６および／またはロボット１２のメモリ４２（図４）内に予めデータベースとして設定しておくこともできる。つまり、図１１のような設定を有するデータベースは、発話コンテンツと対応してハグ刺激（触覚刺激）の要否を設定する発話コンテンツ設定部として機能する。

ステップＳ１１３では、このように予め設定されている発話コンテンツとハグ刺激とのデータベースを利用して、発話コンテンツはハグ刺激を伴うものかどうか判断する。ただし、図１１の表は単なる一例であり、任意の発話コンテンツとハグ刺激の組み合わせを設定しておくことができることは言うまでもない。

ただし、ステップＳ１１３では、発話コンテンツがハグ刺激を伴うかどうかは、サーバ１６を操作する遠隔オペレータが決めるようにしてもよい。

このステップＳ１１３およびステップＳ１１３を実行するコンピュータ（実施例ではサーバ１６）が、ユーザに対して触覚刺激が必要かどうかを判断し、あるいは視／聴覚刺激が必要かどうか判断する、刺激判断部として機能する。

ステップＳ１１３で“ＮＯ”を判断したとき、サーバ１６はさらにステップＳ１１５で、前回のハグ刺激から所定時間経過しているかどうかを判断する。所定定時間の目安としてたとえば３０秒程度を想定しているが、必要に応じて、変更することができる。前回のハグ刺激の提示から一定時間の経過に応じてハグ刺激を提示するようにすれば、発話コンテンツの如何に拘わらず、所定時間ごとにハグ刺激を提示するので、ユーザとのインタラクションを継続させることができる。

さらに、図１０では図示していないが、ステップＳ１１５でも“ＮＯ”のとき、あるいはステップＳ１１５の判断に代えて、たとえば対話の切れ目（比較的長い無音時間）を検出し、切れ目を検出したとき、ハグ刺激が必要と判断するようにしてもよい。この場合には、ハグ刺激がユーザ６０の発話を促す効果をもたらす。

ステップＳ１１３で“ＹＥＳ”の場合、あるいはステップＳ１１５で“ＹＥＳ”の場合、ステップＳ１１７に進む。

ステップＳ１１７では、サーバ１６は、ロボット１２によってユーザ６０に対してハグ刺激を提示するように、ロボット１２の腕２８の動きを制御する。ここで提示するハグ刺激の態様は、図１１の表に示す通りである。実施例では、ひじ関節３４の自由度があるので、ユーザ６０の背中を「とんとん」と叩く動作つまりロボット１２の腕２８の前腕をユーザ６０の背中に対して、接離（接触させたり、離したりする動作）させるような、ハグ刺激を与えられる。さらに、ロボット１２の一方の腕２８をユーザ６０の頭部６４の上において、前後または左右に動かすように制御することによって、頭をなでる刺激を提示することができる。ロボット１２の一方または両方の腕２８をユーザ６０の背中において、上下または左右に動かすように制御することによって、背中をさする刺激を提示することができる。ユーザ６０を強く抱きしめる刺激は、前述のとおり関節角を制御する。

つまり、ステップＳ１１７を実行するコンピュータ（サーバ１６）が、可動部（腕２８）を制御する可動部制御部として機能する。

このステップＳ１１７では、ロボット１２がこのような触覚刺激をユーザ６０に与えるとともに、先に図９で説明したように、ＨＭＤ２０に仮想エージェント７０のアニメーションによる視／聴覚刺激をユーザ６０に提示する。つまり、ステップＳ１１７を実行するコンピュータ（サーバ１６）が、ＨＭＤ２０に仮想エージェント７０を表示させる表示部として機能する。

この実施例でのように、ＨＭＤ２０を利用して任意の視／聴覚刺激を提示しながら、ロボット１２から触覚的刺激を提示することによって、触覚刺激だけの場合に比べて、明らかに刺激によるユーザ６０に対する癒し効果を増強することができた。つまり、触覚刺激提示装置の可動部すなわちロボット１２の腕２８を動かすことよって触覚刺激をユーザに提示し、視／聴覚刺激提示装置すなわちＨＭＤ２０が仮想エージェントをその腕２８（可動部）の動きに関連して変化するように表示することによって、触覚刺激と視／聴覚刺激の一体感を高めることができる。

発明者等は、さらなる実験よって、ハグによる触覚刺激そのものが同一であっても、ＨＭＤ２０で提示する視／聴覚刺激を制御することで、ハグによる触覚刺激に対する印象を変化させることができることを知った。これは、ＨＭＤ２０で目隠しされた状態で身体的な触覚刺激を受けるので、あたかもＨＭＤ２０に表示されている仮想エージェント７０がその触覚刺激を与えているかのように錯覚することが原因であろうと推測することができる。

その実験では、発明者等は、１６人の被験者による評価を行った。具体的には、ロボット１２がユーザ６０をハグして触覚刺激を提示する際に、ＨＭＤ２０に表示させる仮想エージェント７０を変化させることで、ハグに対する印象が女性的または男性的に変化するかを、７段階のアンケートで検証した。実験は被験者内実験とし、提示する仮想エージェントの順番はカウンターバランスを考慮して決定した。アンケート結果は、図８、図９のような女性型エージェントを提示した場合には平均５．６８８、標準偏差０．２５８であり、男性型エージェント（図示せず）を提示した場合には平均４．１８８、標準誤差０．３３７であった。分散分析による検証を行ったところ、提示する仮想エージェントの違いによって印象に対する有意な差が生じた（Ｆ（１、１４）＝２０．１６０、ｐ＝.００１、η２＝０．５９０）。

つまり、ＨＭＤ２０による視／聴覚刺激を変化させることで、ロボット１２からのハグによる触覚刺激に対して異なった印象を持たせることが可能となり、触覚刺激がもたらす望ましい効果を強化したり、癒しの効果を一層もたらしたりすることが期待できる。

そして、ステップＳ１１５で“ＮＯ”を判断した場合、またはステップＳ１１７で発話コンテンツに応じた触覚刺激および視／聴覚刺激を提示したのち、ステップＳ１０９に戻る。

なお、ステップＳ１１１でユーザ６０が対話の終了を希望していると判断したとき、ステップＳ１１１で“ＮＯ”が判断され、ステップＳ１１９で、ロボット１２およびＨＭＤ２０の仮想エージェント７０を先に述べた通常状態に戻し、リターンする。

図１２に示す他の実施例では、触覚刺激としてユーザ６０にキス刺激を提示するために、触覚刺激提示装置として、先の実施例におけるロボット１２に代えて、ロボットアーム８０を用いる。このロボットアーム８０も、図４のロボット１２と同様に、通信モジュール（図示せず）およびネットワーク１４を介してサーバ１６と通信可能に設定されている。

ロボットアーム８０は、ベース８１にその基端を固定した第１フレーム８２を含む。ベース８１は、図示しないモータによって、ベース８１に垂直な軸周りに回転可能にされている。第１フレーム８２の先端は、関節８４を介して、第２フレーム８６の基端に連結される。関節８４は、ロボット１２のひじ関節３４と同様に、アクチュエータ（図示せず）によって図１２の矢印方向に開閉できる。

第２フレーム８６の先端には、人肌そっくりの柔らかさをもった超軟質樹脂、たとえば「人肌のゲル」（商品名）を用いて、扁平で中央が凹んでいるキス部材８８が設けられる。関節８４をアクチュエータで制御することによって、このキス部材８８をユーザ６０の唇６５に押し当てて、キス刺激を与えることができる。

つまり、この実施例のロボットアーム８０の第２フレーム８６やキス部材８８は、ユーザ６０に対してキス刺激すなわち触覚刺激を提示するための可動部である。

このキス部材８８の内部には、ロボット１２の触覚センサ４８（図４）のような圧力センサ（図示せず）を設けて、キス部材８８がユーザ６０の唇６５に押し付けられる強さを圧力値として検出することができる。ただし、キス部材８８によるキス刺激は、ユーザ６０の唇６５の他、頬や手の甲などに与えることも考えられる。

そして、ユーザ６０の頭部６４には先の実施例と同様に視／聴覚刺激提示装置としてのＨＭＤ２０が装着され、そこには仮想エージェント７０のアニメーションが表示される。すなわち、このＨＭＤ２０が、上述の可動部の動きに関連して変化する仮想エージェント７０を表示することによって、仮想エージェント７０がユーザ６０に対して視／聴覚刺激を提示する。

さらに、ロボットアーム８０には、いずれも図示しないが、ロボット１２のカメラ５０や、スピーカ５４およびマイク５６と同様の、カメラ、スピーカおよびマイクが設けられる。

なお、ロボットアーム８０としては、キス刺激に用いるキス部材８８をＨＭＤ２０に表示される仮想エージェント７０の顔部分の位置と同じ位置関係を有して移動できるものであれば、特に軸数（自由度の数）に制限はない。ただし、実施例では、UFactory社製のUARM SWIFT PRO（商品名）を利用した。

図１３の最初のステップＳ２０１では、サーバ１６は、ロボットアーム８０に指令信号を送り、ロボットアーム８０のＣＰＵ（図示せず）にアクチュエータを制御させて、ロボットアーム８０を初期位置に戻し、ＨＭＤ２０上の仮想エージェント７０をデフォルト位置に設定させる。

そして、ステップＳ２０３で、サーバ１６は、ネットワーク１４を通してロボットアーム８０から受信したカメラ（図示せず）からの画像データに基づいて、ユーザが、ロボットアーム８０がキス可能な位置まで近づいてきたかどうか判断する。

このとき、ユーザ６０の唇６５（図１２）の位置は、カメラ（図１の１８ｃまたは図４の５０に相当する）やデプスセンサ（図示せず）を利用して唇６５の位置を検出して判定するようにしてもよく、さらに、ユーザの頬や手の甲など、発話コンテンツに応じてキスする場所を限定して位置推定を行うようにしてもよい。

ただし、カメラからの画像データをモニタ（図示せず）上で確認し、オペレータが判断するようにしてもよい。

なお、このステップＳ２０３の判断のためには、先に説明したレーザ距離計（Oculus Sensors）、マットセンサのようなユーザ位置検知システムを利用するようにしてもよい。

ステップＳ２０３で“ＮＯ”が判断されたときには、ステップＳ２０１に戻る。

ステップＳ２０３で“ＹＥＳ”を判断したとき、次のステップＳ２０５で、ロボットアーム８０とユーザ６０が対話する。ここで、図１２のようにロボットアーム８０において第１フレーム８２や第２フレーム８６がそれらの材料（金属）のまま露出していると、ユーザ６０はロボットアーム８０を相手に対話するのはかなり難しいと思うので、実施例では、図１２では省略しているが、ロボットアーム８０の各部をぬいぐるみのような外被で覆って、ユーザ６０がロボットアーム８０と対話し易いようにしている。

サーバ１６（図１）のオペレータがロボットアーム８０からの発話を担当することになっている場合には、音声認識はオペレータが代替し、オペレータは音声認識結果および予め決められたルールに従ってロボットアーム８０の発話内容を決定する。ただし、ロボットアーム８０が自律的に発話するようにしてもよい。

ステップＳ２０５およびステップＳ２０５を実行するコンピュータ（実施例ではサーバ１６）が、ロボットアーム８０をして発話させる発話部として機能する。

その後、ステップＳ２０７で、ユーザ６０すなわち対話相手が対話を終了させたいと希望しているかどうか判断する。この判断は、たとえばユーザ６０からの定型の発話があったか、あるいはユーザ６０の特定の所作があったか、などに基づいて行える。

ステップＳ２０７で“ＮＯ”を判断したとき、つまり、ユーザ６０が対話終了を希望していないと判断したとき、ステップＳ２０９で、サーバ１６は、そのときの発話コンテンツは、ロボットアーム８０によるユーザ６０に対するキス刺激が必要かどうか、判断する。

たとえば、図１４に、発話コンテンツ、キス刺激の有無および刺激動作の態様の組み合わせの一例を示す表が示される。

この表では、発話コンテンツが「こんにちは」のような挨拶のときには、ロボットアーム８０からユーザ６０へのキス刺激は与えないものとする。「目をつぶってくれる？」という発話コンテンツはキス刺激を前提とするコンテンツなので、キス刺激を与え、その態様は、キス部材８８がユーザ６０の唇６５に軽く押し付けられる優しいキスとする。発話コンテンツが「大好きだよ」という愛情表現を含む場合、キス刺激を与え、その態様は、キス部材８８がユーザ６０の唇６５に強く押し付けられる強いキスとする。

図１３のような発話コンテンツとキス刺激の対応は、たとえばサーバ１６および／またはロボットアーム８０のメモリ（図示せず）内に予めデータベースとして設定しておくこともできる。

ステップＳ２０９では、このように予め設定されている発話コンテンツとキス刺激とのデータベースを利用して、発話コンテンツはハグ刺激を伴うものかどうか判断する。図１３の表は単なる一例であり、任意の発話コンテンツとキス刺激の組み合わせを設定しておくことができる。

ただし、ステップＳ２０９では、発話コンテンツがキス刺激を伴うかどうかは、サーバ１６を操作する遠隔オペレータが決めるようにしてもよい。

このステップＳ２０９およびステップＳ２０９を実行するコンピュータ（実施例ではサーバ１６）が、ユーザに対して触覚刺激が必要かどうかを判断し、あるいは視／聴覚刺激が必要かどうか判断する、刺激判断部として機能する。

ステップＳ２０９で“ＹＥＳ”を判断したとき、ステップＳ２１１に進み、キスによる触覚刺激およびＨＭＤ２０による視／聴覚刺激をユーザ６０に提示する。つまり、触覚刺激提示装置の可動部すなわちロボットアーム８０の第２フレーム８６およびキス部材８８を動かすことよって触覚刺激をユーザに提示し、視／聴覚刺激提示装置すなわちＨＭＤ２０が仮想エージェントをそのような可動部の動きに関連して変化するように表示することによって、触覚刺激と視／聴覚刺激の一体感を高めることができる。

なお、ステップＳ２１１では、サーバ１６が、ロボットアーム８０のキス部材８８と、ＨＭＤ上の仮想エージェント７０（図１２）をキス場所（キス位置）へ移動させる。このとき、ユーザ６０の唇６５の位置は、カメラやデプスセンサを利用して検出するようにしてもよい。ただし、ＨＭＤ２０上に表示している仮想エージェント７０の顔（唇）を目的場所に移動させるときの軌道は、予め準備されたアニメーションを利用するが、別の方法では、リアルタイムでロボットアーム８０のキス部材８８と同じ場所に移動させてもよい。

ステップＳ２１１の動作はステップＳ２１３で、ロボットアーム８０のキス部材８８に内蔵している圧力センサ（図示せず）によって所定値（閾値）以上の圧力が所定時間継続していると判断されるまで繰り返し実行される。ただし、その圧力値および／または所定時間は、図１３の表におけるキス刺激の態様に応じて変化させてもよい。

ステップＳ２１３ではキス部材８８にかかる圧力の圧力値を利用して判断するようにしたが、たとえば、第１フレーム８２および第２フレーム８６の形状の変化量（曲げの程度）や、関節８４のアクチュエータに対する指令値と実際の角度（計測値）との差分の大きさを利用して判断するようにしてもよい。

さらに、ユーザ６０が誰かによって、キス刺激の提示の仕方を変化させるようにしてもよいし、圧力値で判断する場合の閾値をユーザに応じて変えるようにすることも考えられる。

なお、ステップＳ２１１を実行するコンピュータ（サーバ１６）が、可動部（第２フレーム８６、キス部材８８）を制御する可動部制御部として機能し、ステップＳ１１７を実行するコンピュータ（サーバ１６）が、ＨＭＤ２０に仮想エージェント７０を表示させる表示部として機能する。

ステップＳ２１３で所定時間の経過を判断したとき、続くステップＳ２１５で、ステップＳ２０１と同様に、サーバ１６は、ロボットアーム８０に指令信号を送り、ロボットアーム８０のＣＰＵ（図示せず）にアクチュエータを制御させて、ロボットアーム８０を初期位置に戻し、ＨＭＤ２０上の仮想エージェント７０をデフォルト位置に設定させる。

ステップＳ２０９で“ＮＯ”を判断したとき、およびステップＳ２１５を実行した後には、ステップＳ２０５に戻る。

ステップＳ２０７“ＮＯ”を判断したとき、続くステップＳ２１７で、ステップＳ２０１と同様に、サーバ１６は、ロボットアーム８０を初期位置に戻し、ＨＭＤ２０上の仮想エージェント７０をデフォルト位置に設定させる。その後、リターンする。

なお、図２に示すようなコミュニケーションロボット１２において、自由度（軸）を増やせば、より多彩なハグ刺激やキス刺激すなわち触覚刺激をユーザ６０に対して提示することができる。

なお、キス部材８８として上述の実施例では、超軟質樹脂を利用したシリコン樹脂やゴム風船などでも代用できる。

図１５の実施例では、肩フレーム２６ｂと腕フレーム２８ａとの連結部に肩関節９０を設けるとともに、首フレーム３０ｂに首関節９２を介挿している。これらの肩関節９０および首関節９２は、ともに図４に示すアクチュエータＡ１‐Ａｎの対応するもので作動するのであり、その意味でアクチュエータ制御回路４４は、肩関節制御部や首関節制御部として機能する。

肩関節９０を設けることによって、腕２８の上腕部を、肩関節９０を中心に上下に動かすことができるようになる。したがって、肩関節９０を設けた場合、前腕をユーザ６０の背中６０ｂに接触させたまま上下させる動作、つまり撫でる動作が一層簡単に行えるようになる。さらに、腕２８すなわち手でユーザ６０の頭部６４を撫でたりする、ハグ刺激も容易に提示できるようになる。

首関節９２は、肩フレーム２６ｂの上の頭部フレーム３０ａすなわち頭部３０を前傾させたり後倒させたりする、いわゆる俯仰動作を可能にする。首関節９２を設けることによって、たとえば図７のようにハグしたユーザ６０の頭（顔）６４にロボット１２の「おでこ」を近づけたり、あるいはユーザ６０の頭（顔）６４に頬ずりをしたりするハグ刺激や、さらには図１２の実施例のようなキス刺激を容易に提示することもできる。

さらに、上述の実施例ではサーバ１６が１台で感覚刺激提示システム１０の各要素を制御するようにしたが、コミュニケーションロボット１２、サーバ１６およびＨＭＤ２０をそれぞれ別のコンピュータで制御するようにしてもよいし、任意の台数のコンピュータで感覚刺激提示システム１０を管理、制御することができる。

さらに、ＨＭＤ２０に表示する仮想エージェントとしては、３Ｄのコンピュータグラフィクスエージェントであればどのようなキャラクタを用いてもよい。そのため、ユーザに応じて、見た目や性別、服装、種族（人、動物、擬人化キャラクタなど）、リアルさ（アニメ調、実写調など）を変更してもよい。

なお、上で挙げた角度や時間の長さなどの具体的数値はいずれも単なる一例であり、必要に応じて適宜変更可能である。

１０ …感覚刺激提示システム
１２ …コミュニケーションロボット
１６ …サーバ
２０ …ＨＭＤ
２８ …腕
６０ …ユーザ
７０ …仮想エージェント
８０ …ロボットアーム
８８ …キス部材

Claims (6)

1. 可動部を有し、前記可動部を動かして前記可動部をユーザに接触させることによって前記ユーザに触覚刺激を与える触覚刺激提示装置、および
   前記ユーザの頭部に装着され、前記可動部の接触による前記触覚刺激提示装置からの触覚刺激を提示する前記可動部の動きに関連した変化を示す仮想エージェントを表示することによって前記ユーザに視覚刺激を提示する頭部装着型表示装置を備える、感覚刺激提示システム。
2. 前記触覚刺激提示装置はぬいぐるみ型のコミュニケーションロボットであって、胴体と前記胴体の肩部から延びる所定以上の長さの２本の腕を有し、前記２本の腕のそれぞれはひじ関節部を備え、前記ひじ関節部を制御して前記ユーザを一定以上の圧力をもって前記２本の腕で抱擁することによって前記ユーザに触覚刺激を提示する、請求項１記載の感覚刺激提示システム。
3. 前記触覚刺激提示装置は、基端を固定したロボットアームとその先端に設けた先端部材を含み、前記ロボットアームを制御して前記先端部材を一定以上の圧力で前記ユーザに押し付けることによって前記ユーザに前記触覚刺激を提示する、請求項１記載の感覚刺激提示システム。
4. 可動部を含む触覚刺激提示装置およびユーザの頭部に装着される頭部装着型表示装置を備える、感覚刺激提示システムのコンピュータによって実行される感覚刺激提示プログラムであって、前記コンピュータを
   前記触覚刺激提示装置の前記可動部を動かして前記可動部をユーザに接触させることによって前記ユーザに触覚刺激を提示させる可動部制御部、および
   前記可動部の接触によって前記触覚刺激提示装置が前記ユーザに前記触覚刺激を提示するとき、前記頭部装着型表示装置に、前記可動部の動きに関連して変化する仮想エージェントを表示させる表示部として機能させ、
   前記仮想エージェントを前記頭部装着型表示装置で表示することによって前記ユーザに対して視覚刺激を提示する、感覚刺激提示プログラム。
5. 前記触覚提示装置はスピーカをさらに備え、
   前記コンピュータをさらに、発話コンテンツに基づいて前記触覚刺激提示装置をして前記スピーカから発話させる発話部、および前記発話部によって発話される発話コンテンツが触覚刺激を必要とするかどうかに基づいて触覚刺激を提示すべきかどうか判断する刺激判断部として機能させる、請求項４記載の感覚刺激提示プログラム。
6. 可動部を含む触覚刺激提示装置およびユーザの頭部に装着される頭部装着型表示装置を備える、感覚刺激提示システムにおける感覚刺激提示方法であって、
   前記触覚刺激提示装置の前記可動部を動かして前記可動部をユーザに接触させることによって前記ユーザに触覚刺激を提示させるステップ、および
   前記可動部の接触によって前記触覚刺激提示装置が前記ユーザに前記触覚刺激を提示するとき、前記頭部装着型表示装置に、前記可動部の動きに関連して変化する仮想エージェントを表示させるステップを含み、
   前記仮想エージェントを前記頭部装着型表示装置で表示することによって前記ユーザに対して視覚刺激を提示する、感覚刺激提示方法。

Images