JP6783469B2 - 返答インタフェースおよび対話訓練システム - Google Patents

Description

この発明は、返答インタフェースおよび対話訓練システムに関し、特にたとえば、無自覚的にユーザの感情的意味を伴った返答を入力できる、返答インタフェース、およびそれを用いる対話訓練システムに関する。

背景技術の一例が特許文献１に開示されている。この特許文献１では、プレーヤが緊張したり興奮したりすることによって無意識に声の大きさが変化することを利用して、プレーヤの無意識な感情を実行されているゲームに対して指示コマンドとして与えることができる。

特開２００２‐８５８３４[Ａ６３Ｆ １３／００]

ところが、引用文献１では、音声入力なので、周囲への騒音になり、特に大きな声を出すときは周りの者が迷惑する。

それゆえに、この発明の主たる目的は、新規な、返答インタフェースおよび対話訓練システムを提供することである。

この発明の他の目的は、周囲に影響なく、無自覚的にユーザの感情的意味を伴う返答を入力できる、返答インタフェースおよび対話訓練システムを提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、人型の抱擁体、抱擁体の所定の第１部位に配置される第１触覚センサ、抱擁体の所定の第２部位に配置される第２触覚センサ、および第１触覚センサまたは第２触覚センサの圧力変化信号に基づいて、ポジティブな返答を出力し、またはネガティブな返答を出力する出力部を備える、返答インタフェースである。

第１の発明では、返答インタフェース（１０：実施例で相当する部分を例示する参照符号。以下同様。）は、たとえばぬいぐるみのような人型抱擁体（１８）を含む。第１触覚センサ（２２）は、その抱擁体の第１部位に配置され、第２触覚センサ（２４）は、抱擁体の第２部位に配置される。たとえばコンピュータ（２６）のような出力部は、第１触覚センサまたは第２触覚センサの圧力変化信号に基づいて、たとえば第１部位が優しく撫でられたと判断したときポジティブな返答を出力し、または第２部位がたとえば叩かれたと判断したときネガティブな返答を出力する。

第１の発明によれば、人型抱擁体の第１部位をたとえば撫でることによって無自覚的にユーザの肯定的な感情を増強でき、第２部位をたとえば叩くことによって無自覚的にユーザの否定定的な感情を増強できる。

第２の発明は、第１の発明に従属し、第１部位は人型の頭部であり、第２部位は人型の臀部である、返答インタフェースである。

第２の発明では、第１部位および第２部位は人型の具体的部位であり、肯定的な返答ときには頭部を撫で、否定的な返答のときには臀部を叩くという、ごく自然な態様で返答することができる。

第２の発明によれば、人型抱擁体の頭部をたとえば撫でることによって無自覚的にユーザの肯定的な感情を増強でき、臀部をたとえば叩くことによって無自覚的にユーザの否定定的な感情を増強できる。
第１部位および第２部位は人型の具体的部位であり、肯定的な返答ときには頭部を撫で、否定的な返答のときには臀部を叩くという、ごく自然な態様で返答することができる。

第３の発明は、第１または第２の発明に従属し、抱擁体に設けられたスピーカをさらに備える、返答インタフェースである。

第３の発明では、人型抱擁体のたとえば頭部側面にポケット（２０）を形成し、そのポケットにスピーカ（６４）を収納する。

第３の発明では、抱擁体を抱擁しているユーザの耳の近くにスピーカを配置することができ、そのスピーカを通してユーザに発話音声を聞かせることができる。

第４の発明は、第３の発明の返答インタフェースを用いる対話訓練システムであって、２択選択肢のある対話スクリプトデータを予め設定するスクリプトデータベース、および返答インタフェースからのポジティブな返答またはネガティブな返答に適合する発話をスクリプトデータベースから選択して発話する発話部を備える、対話訓練システムである。

第４の発明では、対話訓練システム（６０）においては、ユーザ（１２Ａ、１２Ｂ）は相手の発話に対して、返答インタフェース（１０Ａ、１０Ｂ）を用いて、ポジティブかネガティブに返答することを選択する。ユーザの選択に応じて、発話部として機能するたとえば訓練コンピュータ（６２）がポジティブな返答に適合した応答発話あるいはネガティブな返答に適合した応答音声をスクリプトデータベース（７４）に従って人工的に生成して、スピーカ（６４Ａ、６４Ｂ）から出力してユーザに聞かせる。

第４の発明によれば、対話が苦手なユーザであっても、場面にあった適切な対話を学習（訓練）することができる。

この発明によれば、返答インタフェースにおいて、人型抱擁体の第１部位をたとえば撫でることによって無自覚的にユーザの肯定的な感情を増強でき、第２部位をたとえば叩くことによって無自覚的にユーザの否定定的な感情を増強できる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例のゲームシステムの一例を示す図解図である。 図２は図１実施例の構成を示すブロック図である。 図３は図１実施例における動作の一例を示すフロー図である。 図４は図２に示す返答インタフェースを用いる対話訓練システムの一例を示す図解図である。 図５は図４実施例の訓練コンピュータの一例を示すブロック図である。 図６は図４実施例の動作の一例を示すフロー図である。 図７は図２に示す返答インタフェースを用いる対話訓練システムの他の例を示す図解図である。

図１を参照して、この実施例のゲームシステムは、返答インタフェース１０を用い、ユーザ１２はその返答インタフェース１０を抱擁して、モニタ１４に表示されるゲームキャラクタ１６と対話する。

図２を参照して、この実施例の返答インタフェース１０は、一例として、人間のミニマルデザインに基づく外観、形状を有するぬいぐるみとして作られる。つまり、返答インタフェース１０は、外被１８とその中に詰められる内蔵物（図示せず）を有するぬいぐるみとして形成され、人間の頭に相当してかつ頭と見える頭部１８ａと、その下の、人間の胴体に相当してかつ胴体と見える胴体部１８ｂと、胴体部１８ｂから左右に延びる、人間の手および腕に相当して手および腕と見える腕部１８ｃと、胴体部１８ｂの下部であって人間の足に相当しかつ足と見える足部１８ｄとを含む。返答インタフェース１０のサイズは、全体として約４０ｃｍの背の高さを有し、太さはユーザが腕を回して抱擁できる程度の大きさ、たとえば胴体部１８ｂの直径はおよそ６０ｃｍ±２０ｃｍ程度に設定される。

外被２２は任意の材料からなる生地、たとえば布状の生地、網状の生地、膜またはシート状の生地などで作ることができるが、実施例では、たとえばサテンのような布を縫製して作っている。ただし、外被２２の材料としては、返答インタフェース１０はユーザに抱擁して使われるものであるので、外被２２としては、肌触りのよい素材であって、できるだけ抗菌性や防汚性があるものが好ましい。

このような返答インタフェース１０の、人間の頭に相当する部分すなわち頭部１８ａの側面、実施例では右側面には、ポケット２０が形成される。このポケット２０には、必要に応じて携帯端末（図示せず）をその中に収納することができる。ただし、このポケット２０には、携帯端末の他、後述のような無線（Bluetooth（商品名））スピーカなど任意のものを収納することができる。

図２に示すように、頭部１８ａの後ろ側および臀部（足部１８ｄの上方）の後ろ側には、それぞれ触覚センサ２２および２４が配置される。これらの触覚センサ２２および２４は、感圧センサとも呼ばれ、好ましくは外被１８の内側のできるだけ表面に近い部分に内蔵される。触覚センサ２２および２４はそれぞれ、それにユーザが加えた圧力を
検知することができる。

そして、触覚センサ２２および２４のそれぞれの検知信号が同じく返答インタフェース１０に内蔵されるコンピュータ２６に与えられる。

コンピュータ２６は、ＣＰＵ２８を含み、ＣＰＵ２８には、内部バス３０を介して、メモリ３２および通信モジュール３４が接続される。メモリ３２はＲＯＭやＲＡＭを含む。メモリ３２には、触覚センサ２２および２４から与えられる、加えられた圧力に応じて変化するアナログ信号に基づいて、触覚センサ２２および２４に対するユーザの接触態様を判別するためのプログラムが少なくとも設定される
通信モジュール３４は、たとえばネットワークインタフェースなどを含み、ＣＰＵ２８はこの通信モジュール３４を介して外部のコンピュータなどと通信でき、それらの間でデータの授受を行うことができる。

つまり、コンピュータ２６はインターネットのようなネットワーク３６を通して、ゲームコンソール３８と通信可能に接続される。

ゲームコンソール３８は、ゲーム処理の結果図１に示すモニタ１４にゲーム画面を表示するもので、ＣＰＵ４０を含み、ＣＰＵ４０はバス４４を介してＧＰＵ（Graphics Processing Unit：グラフィックス プロセッシング ユニット）４２、メモリ４６および通信モジュール４８に接続される。

ＧＰＵ４２は、画像処理を担当する専用ユニットであり、メモリ４６に含まれるＶＲＡＭ上にモデル１４に表示すべき画像を生成する。

メモリ４６はまた、ＯＳの他、ゲームアプリケーションプログラムを記憶していて、ゲームコンソール３８（ＣＰＵ４０およびＧＰＵ４２など）は、このゲームアプリケーションプログラムに従ってゲーム処理を実行する。

通信モジュール４８は、たとえばネットワークインタフェースなどを含み、ＣＰＵ４０はこの通信モジュール４８を介して上述のコンピュータ３６など、外部のコンピュータなどと通信でき、それらの間でデータの授受を行うことができる。

返答インタフェース１０は、実施例では、他者の質問に対して返事を返すためのインタフェースであり、上述のように、返答インタフェース１０の形状は人型のぬいぐるみであり、これをユーザ１２が図１に示すように抱擁して用いる。そして、第１の触覚センサとして機能する頭部１８ａの触覚センサ２２を優しく触ると、コンピュータ２６のＣＰＵ２８がその状態を検出し、第２の触覚センサとして機能する臀部（足部１８ｄの上）の触覚センサ２４を叩くとＣＰＵ２８がその状態を検出する。

つまり、触覚センサ２２および２４の検知信号は、それぞれコンピュータ２６に入力され、コンピュータ２６は、各触覚センサ２２および２４からの圧力変化信号に基づいて、頭を撫でるというポジティブな返答か、臀部を叩くというネガティブな返答を入力（出力）する。具体的には、圧力変化信号の大きさおよび持続時間に基づいて、ポジティブかネガティブかを判断する。そして、コンピュータ２６は、この第１触覚センサ（触覚センサ２２）または第２触覚センサ（触覚センサ２４）の圧力変化信号に基づいて、ポジティブな返答を出力し、またはネガティブな返答を出力する出力部として機能する。

この実施例の返答インタフェース１０では、第１部位および第２部位は人型の具体的部位（頭部および臀部）であり、肯定的な返答ときには頭部を撫で、否定的な返答のときには臀部を叩くという、ごく自然な態様で返答することができる。

そして、ユーザ１４（図１）はポジティブな答えかネガティブな答えを要求する質問をされた場合に、頭部１８ａ（の触覚センサ２２）を優しくさわることでポジティブな返答、臀部（の触覚センサ２４）をたたくことでネガティブな返答を行う。このような返答内容を表す信号は、質問を提示したシステム、実施例ではゲームコンソール３８に入力される。

心理学では、自分の感情が自分の行動から誘発される効果があることが知られている。そこで、頭部１８ａを優しく触るポジティブな行為を伴って返答することにより、無自覚的にユーザの相手（ゲームコンソール３８）に対するポジティブな感情を増強させる。反対に、臀部（足部１８ｄの上）をたたくネガティブな行為を伴って返答することにより、無自覚的にユーザの相手に対するネガティブな感情を増強させる。

一例として、図３のステップＳ１に示すように、図１のようにユーザ１２が見ているモニタ１４の画面内のキャラクタ１６が、「はい」または「いいえ」で答えることができる「私の服は似合ってる？」のような質問５０を出すと、ユーザ１２はそのキャラクタ１６を見て、返答インタフェース１０の頭部１８ａを優しく触るか、または臀部を叩くかで返答する。頭部１８ａを優しく触ったとき、ＣＰＵ２８（図２）が、入力された圧力の大きさと接触持続時間に基づいて、ユーザ１２は頭部１８ａを優しく触った、と判断し、ポジティブな返答信号を通信モジュール３４からネットワーク３６を介して、ゲームコンソール３８のＣＰＵ４０に送信する。

したがって、上の質問５０に対してユーザ１２から肯定的な返答があったと判断し、ＣＰＵ４０は、ステップＳ３で“ＹＥＳ”と判断する。そこで、ＣＰＵ４０は、ＧＰＵ４２を制御して、図３の次のステップＳ５で、「うれしいありがとう!!」と言って喜ぶキャラクタ１６をモニタ１４に表示させる。

逆に、ユーザ１２は図３のステップＳ１のキャラクタ１６を見て、返答インタフェース１０の臀部を叩いたとき、ＣＰＵ２８（図２）が、入力された圧力の大きさと接触持続時間に基づいて、ユーザ１２は臀部を叩いた、と判断し、ネガティブな返答信号を通信モジュール３４からネットワーク３６を介して、ゲームコンソール３８のＣＰＵ４０に送信する。

したがって、上の質問５０に対してユーザ１２から否定的な返答があったと判断し、ＣＰＵ４０は、ステップＳ３で“ＮＯ”を判断する。そこで、ＣＰＵ４０は、ＧＰＵ４２を制御して、図３の次のステップＳ７で、「どこがおかしい？」と反発するキャラクタ１６をモニタ１４に表示させる。

ただし、図３では、キャラクタ１６の表情には具体的な変化を表現していないが、実際には、ステップＳ５ではキャラクタ１６は喜び、ステップＳ７ではキャラクタ１６はちょっと怒った表情をするものとする。

このように、キャラクタ１６と対話するゲームなどで、キャラクタの質問に対して上記返答インタフェース１０を用いれば、通常の押しボタンで選択結果を入力するインタフェースと比較して、入力操作から無自覚的に感情を増強させることができ、キャラクタ１６とのやりとりを楽しむことができる、より感情移入できる、などの効果をもたらす。

図４はこの発明の他の実施例である対話訓練システム６０を示す。この実施例の対話訓練システム６０は、対話が苦手な人間が、場面にあった適切な対話を学習するために上述の返答インタフェース１０を使用する。そのため、この実施例では、返答インタフェース１０の頭部１８ａの側面に形成したポケット２０（図２）に無線（たとえば、Bluetooth（商標））スピーカ６４Ａ（６４Ｂ）を装着し、訓練コンピュータ６２を介して、対話訓練を行う。

ただし、スピーカ６４Ａおよび６４Ｂは、無線スピーカでなく、有線で訓練コンピュータ６２に接続されるスピーカであってもよい。

この実施例では、スピーカ６４Ａ、６４Ｂは、頭部１８ａの側面に形成したポケット２０Ａ、２０Ｂに収納したので、抱擁体１８を抱擁しているユーザ１２Ａ、１２Ｂの耳の近くにスピーカ６４Ａ、６４Ｂを配置することができ、そのスピーカ６４Ａ、６４Ｂを通してユーザ１２Ａ、１２Ｂに発話音声を聞かせることができる。

訓練コンピュータ６２は図５に示すように、ＣＰＵ６６を含み、ＣＰＵ６６は、バス６８を介してメモリ７０および通信モジュール７２に接続される。メモリ７０はＲＯＭやＲＡＭを含み、スクリプトデータベース７４から読み出したスクリプトデータを一時的に記憶する。通信モジュール７２は、たとえばネットワークインタフェースなどを含み、ＣＰＵ６６はこの通信モジュール７２を介して、外部のコンピュータなどと通信でき、それらの間でデータの授受を行うことができる。

また、訓練コンピュータ６２として必要なプログラム（ＯＳや対話制御プログラムなど）は、メモリ７０に記憶され、ＣＰＵ６６はメモリ７０に記憶されたプログラムに従って対話動作を制御する。

この実施例の対話訓練システム６０においては、発話内容は訓練コンピュータ６２が、スクリプトデータベース７４に予め設定しているスクリプト（ダイアログ）に従って生成する。

概略的に説明すると、この対話訓練システム６０においては、ユーザは相手の発話に対して、返答インタフェース１０Ａ、１０Ｂを用いて、ポジティブかネガティブに返答することを選択する。ユーザの選択に応じて、訓練コンピュータ６２がポジティブな応答発話あるいはネガティブな応答音声をスクリプトデータベース７４に従って人工的に生成して、スピーカ６４Ａおよび６４Ｂから出力して両者に聞かせる。ただし、このとき自身の発話か他者の発話かを区別できるように、スピーカ６４Ａおよび６４Ｂから出力される発話の音量は異なるものにする。たとえば、ユーザ１２Ａについては自身のスピーカ６４Ａからの音声の音量は小さく、ユーザ１２Ｂのスピーカ６４Ｂからの音声の音量は大きく聞こえるようにする。

この実施例での対話訓練においては、スクリプトデータベース７４に、２択選択肢のある対話スクリプトデータを予め設定しておき、ユーザ１２ＡのアバタをＣとして、ユーザＢのアバタをＤとし、アバタＣおよびＤが交互に発話し、返答インタフェース１０Ａおよび１０Ｂからの、ホジティブ応答またはネガティブ応答に従って対話が進むように設定している。

図６を参照して、この実施例の訓練コンピュータ６２のＣＰＵ６６は、最初に、モニタ１４（図４）の画面上に、ユーザ１２Ａおよびユーザ１２Ｂ（図４）のそれぞれのアバタＣおよびＤ（ともに図示せず）を登場させる。

その後、ステップＳ１０１で、たとえばユーザ１２Ａが自身の返答インタフェース１０Ａから、頭部１８ａを撫でることによってポジティブな返答をするか、臀部を叩くことによってネガティブな返答を入力する。この返答が、先に説明したようにコンピュータ２６（図２）の通信モジュール３４から訓練コンピュータ６２の通信モジュール７２を通してＣＰＵ６６に入力される。

応じて、ステップＳ１０３で、ＣＰＵ６６は、返答インタフェース１０Ａからの肯定的返答または否定的返答のいずれかに応じて発話すべきスクリプトを、スクリプトデータベース７４から読み出す。そして、たとえばBluetoothによって、２人のユーザ１２Ａおよび１２Ｂのインタフェース１０Ａおよび１０Ｂのポケット２０Ａおよび２０Ｂに挿入されている、スピーカ６４Ａおよび６４Ｂの両方から発話させる。

その後、ステップＳ１０５で、ユーザ１２Ｂが自身の返答インタフェース１０Ｂから、頭部１８ａを撫でることによってポジティブな返答をするか、臀部を叩くことによってネガティブな返答をする。

応じて、ステップＳ１０７で、ＣＰＵ６６は、返答インタフェース１０Ｂからの肯定的返答または否定的返答のいずれかに応じて発話すべきスクリプトを、スクリプトデータベース７４から読み出す。そして、たとえばBluetoothによって、２人のユーザ１２Ａおよび１２Ｂのスピーカ６４Ａおよび６４Ｂの両方から発話させる。

以後、ステップＳ１０９、Ｓ１１１、…でステップＳ１０１、Ｓ１０３、…と同様の動作を繰り返す。

具体的に説明すると、まず、発話部として機能する訓練コンピュータ６２がユーザ１２ＡのアバタＣに、「私のことどう思う？」と発話させる。ユーザ１２Ｂが、返答インタフェース１０Ｂを用いてポジティブな返答を入力すると、訓練コンピュータ６２がユーザ１２ＢのアバタＤに、「格好良いと思う」とポジティブな応答を発話させる。それに対し、ユーザ１２Ａが返答インタフェース１０Ａでネガティブな返答を入力すると、訓練コンピュータ６２が、ユーザ１２ＡのアバタＣに、たとえば「お世辞はいいよ。そんな風に思ってないでしょ。」にネガティブな返答を発話させる。

このように、互いに返答インタフェース１０Ａ、１０Ｂを用いたポジティブまたはネガティブな返答だけで、訓練コンピュータ６２がそのポジティブまたはネガティブな返答に適合する発話を自動的に生成しながら、対話が進む。つまり、訓練コンピュータ６２は、返答インタフェース１０Ａ、１０Ｂからのポジティブまたはネガティブな返答に適合した、次にユーザ１２Ａ、１２Ｂに提示すべき内容をスクリプトデータベース７４から選択して自動的に発話する。

両ユーザ１２Ａ、１２Ｂは、自身の音声を発することはないが、訓練コンピュータ６２が生成した音声を聞きながら対話を行うことができる。押しボタン等で選択結果を入力するインタフェースと比較して、入力操作から無自覚的に感情を増強させることができ、相手とのやりとりを楽しむことができる、相手との関係を深化させることができる、などの効果をもたらす。

なお、一方が訓練者（ユーザ）であり、他方が教師の場合、訓練者は訓練コンピュータ６２を使用して対話するが、教師は訓練コンピュータ６２を使用せずに対話を行なうことも考えられる。教師の場合は、必ずしも訓練者と同じ返答インタフェース（ハグビー）を使用する必要はなく、音声入力や訓練コンピュータへの直接キー入力、あるいは外部ボタンにより入力するようにしても構わない。

なお、図４の対話訓練システム６０では、同室に存在する２人のユーザ１２Ａおよび１２Ｂが、訓練コンピュータ６２の発話機能を利用して対話を進行させた。しかしながら、対話訓練を行うユーザ１２Ａおよび１２Ｂは、遠隔地に居住していてもかまわない。

その場合には、図７に示すように、訓練コンピュータ６２および各返答インタフェース１０Ａおよび１０Ｂの、図２に示すようなコンピュータ２６Ａおよび２６Ｂを、ネットワーク３６で繋いで、上で説明したと同様の、ユーザ１２Ａおよび１２Ｂの交互の、スクリプトに従った発話を行わせればよい。

上で説明した、返答インタフェース１０において、人型のぬいぐるみに対する感情的な行為を伴う操作行為を入力操作とすれば、実施例で説明した頭部を優しく触る、臀部をたたく、以外の入力操作（例：背中をさする、たたく、つねる）を検出することも可能である。そして、触覚センサを配置するべき人型インタフェースの部位は、頭部や臀部に限られるものではなく、背中、胸、肩、腕などの部位が考えられる。

さらに、返答インタフェースの人型は、実施例のような人間のミニマルデザインに基づく形状に限るものではなく、他の人型形状であってもよい。

返答インタフェースとして人型以外の形状を想定することも可能である。たとえば、単なる球状のインタフェースで、包み込むと賛成、殴ると反対の返答を行うようなセンサを内蔵したものが考えられる。通常の押しボタンと比べて、より質問に対する賛同度合いや反対度合いを高めることができる。

１０、１０Ａ、１０Ｂ …返答インタフェース
１８ …外被
２２、２４ …触覚センサ
２６ …コンピュータ
３８ …ゲームコンソール
６０ …対話訓練システム
６２ …訓練コンピュータ
６４Ａ、６４Ｂ …無線スピーカ
７４ …スクリプトデータベース

Claims (4)

1. 人型の抱擁体、
   前記抱擁体の所定の第１部位に配置される第１触覚センサ、
   前記抱擁体の所定の第２部位に配置される第２触覚センサ、および
   前記第１触覚センサまたは前記第２触覚センサの圧力変化信号に基づいて、ポジティブな返答を出力し、またはネガティブな返答を出力する出力部を備える、返答インタフェース。
2. 前記第１部位は前記人型の頭部であり、前記第２部位は前記人型の臀部である、請求項１記載の返答インタフェース。
3. 前記抱擁体に設けられたスピーカをさらに備える、請求項１または２記載の返答インタフェース。
4. 請求項３の返答インタフェースを用いる対話訓練システムであって、
   ２択選択肢のある対話スクリプトデータを予め設定するスクリプトデータベース、および
   前記返答インタフェースからのポジティブな返答またはネガティブな返答に適合する発話を前記スクリプトデータベースから選択して発話する発話部を備える、対話訓練システム。

Images