JP6291303B2 - コミュニケーション支援ロボットシステム - Google Patents

Description

本発明は、ロボットを使って人のコミュニケーションを支援するシステムに関し、認知症高齢者とそれを介護する近親者とのコミュニケーションの支援を図るものである。

近年、高齢化社会が進む中で一人暮らしや単身で施設に入居する高齢者が増えており、また、認知症高齢者の数が急速に増加している。
認知症の予防や認知症の進行の抑制・改善には、認知活動を積極的に行うことが重要である。コミュニケーションは、このような認知活動として有効なものであることが知られている。
こうした観点から、認知症者のコミュニケーションを支援するシステムが幾つも提案されている。

下記特許文献１には、テレビ電話とロボットとを組み合わせて認知症者同士の対話を支援するシステムが提案されている。
このシステムでは、図１６に示すように、認知症者（ユーザＡ）が居る部屋に、腹部カメラ１２ａを備えるロボット１０ａと、テレビ電話を構成するモニタカメラ２２ａ、スピーカ１８ａ、マイク２０ａ、モニタ１６ａ及びパソコン１４ａが設置され、同様の装置が遠隔地の認知症者（ユーザＢ）の部屋にも設置される。
ユーザ同士は、テレビ電話を通じて対話する。パソコン内には、ユーザの行動をモニタカメラの画像及びマイクの集音音声に基づいて判定する判定手段や、所定時間のユーザの行動から対話に積極的であるか非積極的であるかを認識する認識手段等が設けられており、非積極的であるときは、ロボットが「今日の食事のことについて聞いてみたら？」等の呼び掛けをユーザに対して行い、対話を持続させる。

また、下記特許文献２には、ロボットが高齢者の話し相手になって、孤独感を抱く高齢者の精神的なケアを図るコミュニケーション支援システムが開示されている。
このロボットは、音声による対話の機能を備えており、高齢者の発話の意味を汲み取るため、高齢者の音声を認識してテキストデータに変換し、テキストデータの構文解析やキーワードの抽出を通じて発話の意味を分析する。次いで、応答内容に応じたテキストデータを生成し、このテキストに基づいて音声合成した音声、あるいは、予め登録されている音声をテキストに従って編集した音声をスピーカから出力する。

また、認知症治療では、昔の映像を患者に見せて脳を活性化する“回想法”の有効性が知られているが、下記特許文献３には、認知症患者を、興味を惹く会話に引き込んで脳の活性化を図る認知症患者用会話システムが提案されている。
このシステムでは、歌謡曲に関する話題が中心の会話データ、食事に関する話題が中心の会話データ、映画に関する話題が中心の会話データなど、様々なジャンルに対応した話題の会話データ群を用意し、選択した会話を認知症患者に聞かせる。そして、この会話の中での問い掛けに対する認知症患者の返答内容や顔の表情を解析して、笑顔の出現頻度から興味がある会話を判断し、認知症患者が興味を示す会話を重点的に提供する。

特開２０１１−９７５３１公報 特開２００２−２６１９６６公報 特開２０１１−２２３３６９公報

独居老人や単身で施設に入居した高齢者は、コミュニケーションの機会が少ない。こうした人達が、社会から孤立した存在ではなく、気に掛けてくれる人が居ることを確認して、精神的な安らぎを持てるようにするため、近親者とのコミュニケーションの機会をできるだけ多く作ることが望ましい。高齢者は、いつでも近親者と繋がっていることを確認したい。
しかし、近親者の方はいつも対応できるとは限らない。また、認知症高齢者の場合、短期的な記憶に問題が生じることが多く、言ったことを直ぐ忘れてしまい、同じことを何度も繰り返して、対話の時間が長くなる傾向がある。そのため、近親者が対応できる場合でも、認知症高齢者との対話に負担を感じて避けることが少なくない。
また、病院等に入っても、通常の時間は、手が回らずにほって置かれることが多い。
また、独居の場合は、人に接する機会がなかなか得られない。

こうして、コミュニケーションの機会や、社会的な行為への参加が減ることは、認知症を更に悪化させる原因となる。
認知症者は、孤立感が高まり、状況判断が次第に出来なくなる。周りの人の多くは、認知症者とのコミュニケーションの機会があっても、「どうせ分からないから」とか、「同じことを何時までも言うから」との理由で面倒がる。あるいは、誤魔化し、いい加減に対処し、適当な嘘をつくような態度を取る。
認知症者は、このような相手の行為によって、ますます状況把握ができなくなり、心が不安定になり、ストレスで自暴自棄になっていく。
誤魔化しの無い、気持ちのこもったコミュニケーションの機会を多く持つようにすることが認知症の進行を食い止めるためには重要である。
しかし、これを行うことは近親者に大きな負担を強いることになる。

本発明は、こうした事情を考慮して創案したものであり、ロボットを使って近親者の負担を軽くしながら、単身の高齢者に対し、いつも近親者に繋がっていると言う安心感を与えることができるコミュニケーション支援ロボットシステムを提供することを目的としている。
なお、以下では、認知症高齢者や認知症の虞がある高齢者の親族及び介護に携わる者を「近親者」と言い、近親者と離れて生活する認知症高齢者や認知症の虞がある高齢者を「高齢者」と言うことにする。

本発明は、ロボットを使って高齢者と近親者とのコミュニケーションを支援するシステムであって、高齢者の側は、ロボットと、高齢者を撮影する１または複数の撮影手段と、高齢者の音声を集音するマイクと、ネットワークを通じて送られてくる近親者の音声、または、ロボットの発話として編集された合成音声を出力する１または複数のスピーカと、ネットワークを通じて送られてくる近親者の画像、または、予め蓄積された画像を表示するディスプレイと、それらを制御する制御手段と、を備えている。
この制御手段は、撮影手段が撮影した画像の画像信号及びマイクが集音した音声の音声信号のネットワークへの送信、並びに、ネットワークを通じて送られてくる画像信号及び音声信号の受信を制御する送受信制御手段と、音声を認識する音声認識手段と、高齢者の発話から認識した音声認識結果を基に発話の話題を認識する話題認識手段と、高齢者の発話から認識された話題とその発話に対して返答した近親者の発話データ（発話のテキストデータまたは録音された発話の音声データ）とを対応付けて会話知識データベースを作成し、メモリに蓄積する会話知識データベース作成手段と、合成音声を編集する音声編集手段と、ロボットの動作を制御するロボット制御手段と、を備えている。
そして、音声編集手段は、高齢者の発話に対して近親者からの返答が所定時間無いとき、会話知識データベースを参照して、その発話から認識された話題に対応する近親者の発話データを取得し、その発話データを用いて、近親者の発話を伝達する形式の前記合成音声を編集する。

このシステムでは、近親者がテレビ電話を通じて高齢者と直接対話を始めた場合でも、途中で、その対話をロボットに代わって貰うことができる。近親者に代わったロボットは、「(近親者)が・・・と言っていたよ」と言うような伝達形式の発話で高齢者と対話し、高齢者と近親者とのコミュニケーションを取り持つ共通の友人として振舞う。ロボットが近親者に成り代わって対応した場合は、ロボットの発話内容に間違いがあると、高齢者は誤魔化しに気付き、コミュニケーションへの興味を失い、近親者に不信感を抱く場合がある。しかし、伝達形式の発話内容に間違いがあってもロボットのミスとして許容される。近親者は、高齢者との対話に長時間拘束されないため、気軽に直接対応が始められる。

また、本発明のシステムでは、話題認識手段が、高齢者の発話の音声認識結果から、その発話の話題を表すキーワードを認識して抽出し、会話知識データベース作成手段が、抽出されたキーワードを話題認識手段の認識した話題として会話知識データベースに記録するようにしても良い。
会話知識データベースには、高齢者の発話から抽出されたキーワードと、その発話に対して返答した近親者の発話データとが対応付けて記録される。

また、本発明のシステムでは、会話知識データベース作成手段が、当日の高齢者の発話に基づいて作成した会話知識データベースを区別してメモリに蓄積し、音声編集手段は、高齢者の発話に対して近親者からの返答が所定時間無いとき、その発話から認識した話題を、当日の会話知識データベースに記録された話題と照合して近親者の発話データを取得し、該当する話題が存在しないときに、当日以外の会話知識データベースを参照する。
こうすることで、ロボットの不適切な返事を減らすことができる。

また、本発明のシステムでは、音声編集手段は、高齢者の発話から認識された話題が会話知識データベースに記録されていないとき、予め設定された定型文を合成音声として編集する。
例えば「ちょっとそういうことについては（近親者）から聞いたことがないので、今度手のあいているときに聞いておくね。」というような定型文の返事をする。

また、本発明のシステムでは、近親者が、間接対応を指定して高齢者の発話に返答したとき、音声編集手段は、この返答の発話データと定型文とを組合わせて、近親者の発話を伝達する形式の合成音声を編集する。
例えば、高齢者の問に、近親者が、間接対応モードを選択して「居間のテレビの横のケースの中にあるよ」と答えた場合、音声編集手段は、定型文「（近親者）は・・・と言っていたよ」と近親者の発話データとを組合わせた「（近親者）は『居間のテレビの横のケースの中にあるよ』と言っていたよ」という合成音声を編集し、ロボットがこれを発話する。

また、このとき、近親者の返答の音声を録音し、音声編集手段が、録音された音声と定型文とを組合わせて合成音声を編集するようにしても良い。
また、本発明のシステムでは、ロボットが高齢者の傍らに実在し、ロボットに、編集された合成音声を出力する第一のスピーカを設け、ディスプレイの近傍に、ネットワークを通じて送られてくる近親者の音声を出力する第二のスピーカを設けることが望ましい。
高齢者にとって、物理的存在のロボットは実在感があり、高齢者の注意力を効果的に惹き付ける。

また、本発明のシステムでは、ロボットをディスプレイに表示される虚像として表示し、編集された合成音声と、ネットワークを通じて送られてくる近親者の音声とを一つのスピーカから出力するようにしても良い。
この場合、ハードウェアが不要なので、低コストで実現できる。

また、本発明のシステムでは、近親者の側に、近親者を撮影する撮影手段と、近親者の音声を集音するマイクと、ネットワークを通じて送られてくる音声を出力するスピーカと、ネットワークを通じて送られてくる画像を表示するディスプレイと、撮影された画像の画像信号及び集音された音声の音声信号を高齢者の側に送信し、高齢者の側から送られてくる画像信号及び音声信号を受信する送受信制御手段と、を備えている。送受信制御手段は、さらに、近親者が選択した対応モードを高齢者の側に伝える。
近親者はテレビ電話機能を通じて高齢者と直接対話を行うことができる。

また、本発明のシステムでは、近親者の側は、さらに、近親者が所持する携帯端末と、携帯端末の現在位置情報に基づいて近親者の状況を認識する近親者状況認識手段と、を有し、送受信制御手段は、近親者状況認識手段が認識した近親者の状況データを高齢者の側に送信する。
近親者状況認識手段は、携帯端末に内蔵されたＧＰＳやＷｉＦｉによる位置認識データを取得して、近親者の位置と行動との関係が記述されたテーブルから、近親者の現在の状況を判定する。

また、本発明のシステムでは、近親者がネットワークを通じた呼出しに応答しないとき、音声編集手段は、予め設定された定型文の中から選択した定型文を合成音声として編集する。
例えば、「呼んでみたけど、ちょっと出られないみたい。少し僕と話をしない」と言う定型文の合成音声を編集し、ロボットがこれを発話する。

また、本発明のシステムでは、近親者の側より近親者の状況データを受信しているとき、音声編集手段は、予め設定された定型文の中から、受信した状況データに基づいて定型文を選択する。
例えば、通勤中を示す近親者の状況データを受信したときは「今、通勤中で電車の中なので、ちょっと出られないみたい」と言う定型文の合成音声を編集し、ロボットがこれを発話する。

また、本発明のシステムでは、近親者は、対応モードとして、近親者がネットワークを通じて高齢者に直接対応する直接対応モード、高齢者に対してロボットが近親者の発話を伝達する形式の合成音声で応答する間接対応モード、及び、ロボットが自主的に高齢者を回想法に誘導するロボット対応モードのいずれかが選択できる。
近親者は、時間的に余裕があるときに直接対応モードを選択し、高齢者が同じ内容を繰り返す場合に間接対応モードの選択に切り替えたり、ロボット対応モードの選択に切り替えたりすることで、高齢者の気持ちを損ねずに対話から抜け出すことができる。

また、本発明のシステムでは、直接対応モードが選択されたとき、ロボット制御手段は、ロボットに対して、近親者が表示されたディスプレイに顔を向けたり、向いた状態で頷いたりする動作、及び、ディスプレイから高齢者の方に顔を向けたり、向いた状態で頷いたりする動作を織り交ぜて行わせる。
こうした動作により、ロボットが高齢者と近親者の両方に親しい存在であることを高齢者に示すことができる。

また、本発明のシステムでは、ロボット対応モードが選択されたとき、ロボット制御手段は、ロボットに対して、ディスプレイに表示された過去の画像を指し示す動作を行わせ、音声編集手段は、高齢者を回想法に誘導する定型文を合成音声として編集する。
回想法のために蓄えられた写真や映像がディスプレイに表示されると、ロボットは、それを指差して「ちょっとこれについてお話して」と、高齢者を回想法に誘導する。

また、本発明のシステムでは、近親者の映像及び音声を高齢者の側に送信して録画し、高齢者の側の制御手段が、毎日定時に、録画された映像及び音声を高齢者側のディスプレイ及びスピーカに表示して高齢者への呼び掛けを行うことが望ましい。
高齢者と定時にコミュニケーションを取り、現在の状況を説明することは、高齢者の不安を取り除く上で効果がある。

また、本発明のシステムでは、撮影された高齢者の画像、及び、集音された高齢者の音声の蓄積データを用いて現在の高齢者の感情状況を識別する識別手段と、識別手段の識別結果を必要箇所に通知する通知手段と、を備える。
笑ったり、積極的に体を乗り出して説明するなどのポジティブな感情の状況や、動きが無くなったり、荒々しい行動に出たりするネガティブな感情の状況が、ビデオ画像から認識され、ロボットとのコミュニケーション中にネガティブな感情状況が認識された場合に、近親者等に通知される。

本発明のコミュニケーション支援ロボットシステムでは、近親者が、高齢者の感情を損ねずに高齢者との直接対応から抜け出ることができ、近親者の負担が軽くなる。そのため、近親者は、気軽に高齢者との直接対応を始めることができ、高齢者とのコミュニケーションの機会が増加する。それにより、単身の高齢者は、いつも近親者に繋がっていると言う安心感を抱くことができる。

本発明の実施形態に係るコミュニケーション支援ロボットシステムを模式的に示す図 図１のタッチパネルディスプレイを示す図 図１のロボットの構成を示す図 図１の高齢者側コンピュータの構成を示す図 図１の近親者側コンピュータの構成を示す図 図４の制御部の構成を示す図 図６の会話知識ＤＢ作成部が作成する会話知識ＤＢを示す図 図６の音声編集部が使用する定型文を示す図 図５の制御部の構成を示す図 図１のシステムでの定時コミュニケーションにおける手順を示すフロー図 図１０のフロー図のＡ以降の手順を示すフロー図 図１０のフロー図のＢ以降の手順を示すフロー図 図１０のフロー図のＣ以降の手順を示すフロー図 図１２のフロー図のＤ以降の手順を示すフロー図 図１１のフロー図の変形手順を示すフロー図 従来のコミュニケーション支援システムを示す図

図１は、本発明の実施形態に係るコミュニケーション支援ロボットシステムを模式的に示している。
このシステムでは、高齢者の側に、ロボット３７が配置され、テレビ電話を構成するカメラ３３、タッチパネルディスプレイ３５、コンピュータ３１、マイク３６２及びスピーカ３６１が配置される。
また、近親者の側にも、テレビ電話を構成するカメラ４３、タッチパネルディスプレイ４５、コンピュータ４１、マイク４６２及びスピーカ４６１が配置される。
コンピュータ３１、４１同士は、ネットワーク５０を介して接続可能である。また、ネットワーク５０には、近親者が携帯する携帯端末４７や介護サービス会社のコンピュータ５１も接続可能である。

高齢者側のタッチパネルディスプレイ３５には、図２（ａ）に示すように、表示画面に、近親者側のカメラ４３の映像が表示される表示領域３５１と、回想法に使用する画像／映像が表示される表示領域３５２と、近親者とのコミュニケーションを選択する“ロボット君お願い”のタッチ領域３５３が設けられている。
一方、近親者側のタッチパネルディスプレイ４５には、図２（ｂ）に示すように、表示画面に、高齢者側のカメラ３３の映像が表示される表示領域４５１と、高齢者側のタッチパネルディスプレイ３５に表示されたものと同じ回想法用の画像／映像が表示される表示領域４５２と、各種のタッチ領域４５３、４５４、４５６、４５５、４５７が設けられている。

“直接話す／呼び出し”のタッチ領域４５３は、高齢者を呼び出す場合や、高齢者との直接対応を選択するときにタッチされる。このように、高齢者と近親者とがテレビ電話を通じて直接対応する形態を「直接対応モード」と言う。
“間接的に話す”のタッチ領域４５４は、高齢者の発話に対し、ロボット３７が近親者の発話を伝達する形式で応答するように求める場合にタッチされる。このように、近親者が高齢者に直接対応せず、ロボット３７を介して近親者の意図を伝達する形態を「間接対応モード」と言う。
“ロボット君お願い”のタッチ領域４５５は、高齢者を回想法に誘導するようにロボット３７に求める場合にタッチされる。このように、ロボット３７が自主的に高齢者を回想法に誘う形態を「ロボット対応モード」と言う。

“自動”のタッチ領域４５６は、「間接対応モード」のオプションとして、近親者が高齢者の発話に応答できないとき、ロボット３７の自主的な間接対応を求めてタッチされる。このとき、ロボット３７は、高齢者の発話に対して、過去に行われた高齢者と近親者との同様の遣り取りから検出された近親者の返答を伝達形式で発話する。
また、“終了”のタッチ領域４５７は、高齢者との対話を終了するときにタッチされる。

図３は、ロボット３７の電気的な構成をブロック図で示している。
このロボット３７は、マイクロコンピュータやＣＰＵから成る制御部３７０と、ロボット３７の動作を規定するプログラムが記録されたＲＯＭやワーキングメモリのＲＡＭが組み込まれたメモリ３７８と、ロボット３７の左右の腕を動かすモータ３７１、３７２、頭部や腰を回転するモータ３７３、３７５、及び、移動時に作動するモータ３７４を駆動制御するモータ制御ボード３７６と、与えられた合成音声データをロボット３７に内蔵されたスピーカ３８１から音声として出力し、ロボット３７に内蔵されたマイク３８２で集音された音声を取り込む音声入力／出力ボード３７９と、ロボット３７に内蔵されたカメラ３８３の映像信号に所定の処理を施して出力するセンサ入力／出力ボード３８０と、コンピュータ３１から制御信号や合成音声データが入力され、コンピュータ３１に映像信号や音声信号が出力されるＩ／Ｏ３７７とを備えている。

図４は、高齢者側のコンピュータ３１の構成をブロック図で示している。
このコンピュータ３１は、日時情報を出力するクロック３１１が内蔵された制御部３２と、制御部３２の処理を規定するプログラムが記録されたＲＯＭやワーキングメモリのＲＡＭが組み込まれたメモリ３１２と、受信した近親者の音声をスピーカ３６１から出力し、近親者に送信する音声をマイク３６２から取り込む音声入力／出力ボード３１４と、相手方への送信データを、無線通信装置３１６を介してネットワーク５０に送出し、相手方から送られたデータを、無線通信装置３１６を介してネットワーク５０から受信する通信ＬＡＮボード３１５と、タッチパネルディスプレイ３５、カメラ３３及びロボット３７との間で信号を遣り取りするＩ／Ｏ３１３とを備えている。

Ｉ／Ｏ３１３からタッチパネルディスプレイ３５に画像信号が出力され、タッチパネルディスプレイ３５から選択信号がＩ／Ｏ３１３に入力される。カメラ３３からは映像信号がＩ／Ｏ３１３に入力される。また、Ｉ／Ｏ３１３からロボット３７に制御信号や合成音声データが出力され、ロボット３７から映像信号や音声信号がＩ／Ｏ３１３に入力される。
また、メモリ３１２には、回想法に用いる画像／映像や、後述する会話知識ＤＢ、定型文、近親者のビデオレター等も蓄積される。

図５は、近親者側のコンピュータ４１の構成をブロック図で示している。
このコンピュータ４１は、高齢者側のコンピュータ３１と同様、クロック４１１が内蔵された制御部４２と、ＲＯＭやＲＡＭが組み込まれたメモリ４１２と、受信した高齢者の音声をスピーカ４６１から出力し、近親者の音声をマイク４６２から取り込む音声入力／出力ボード４１４と、無線通信装置３１６を介してネットワーク５０に接続する通信ＬＡＮボード４１５と、タッチパネルディスプレイ４５及びカメラ５３との間で信号を遣り取りするＩ／Ｏ４１３とを備えている。
通信ＬＡＮボード４１５は、無線通信装置３１６を介して近親者の携帯端末４７とも接続することができる。
また、メモリ４１２には、例えば、品川区○丁目／通勤始乗駅、千代田区○丁目／勤務場所、のように位置データと近親者の状況とが対応付けて記録された近親者状況テーブルが格納されている。

図６は、高齢者側のコンピュータ３１の制御部３２で行われる動作を機能ブロックとして示している。
制御部３２は、音声を認識してテキストデータを生成する音声認識部３２５と、（特許請求の範囲の話題認識手段に該当する）テキストデータからキーワードを抽出するキーワード抽出部３２６と、高齢者の発話から抽出されたキーワードとその発話に返答した近親者の発話のテキストデータや録音された音声データから成る発話データとを対応付けた会話知識ＤＢを作成する会話知識ＤＢ作成部３２３と、ロボット３７のスピーカ３８１から発話される合成音声データを編集する音声編集部３２７と、カメラ３３やロボット３７の内蔵カメラ３８３で捉えた高齢者の映像から顔を検出する顔検出部３２４と、高齢者の映像や音声から高齢者の感情の状態を識別する感情識別部３２８と、ネットワーク５０を通じて送受信するデータを制御する送受信制御部３２２と、ロボット３７の動作を制御するロボット制御部３２９とを備えている。
これらの各部は、制御部３２がプログラムを実行することにより実現される。

音声認識部３２５は、マイク３６２やロボット３７の内蔵マイク３８２で集音された高齢者の音声や、受信した近親者の音声を認識し、テキストデータを生成する。音声認識の方法は良く知られており、特許文献２にも記載されている。
キーワード抽出部３２６は、高齢者の発話のテキストデータからキーワードを抽出する。キーワード抽出の方法は良く知られており、特許文献２にも記載されている。

会話知識ＤＢ作成部３２３は、高齢者の発話のテキストデータから抽出されたキーワードと、その発話に返答した近親者の音声のテキストデータとを対応付けた会話知識ＤＢを作成し、メモリ３１２に蓄積する。
例えば、高齢者が「保険証はどこにあったっけ？」と聞いて、近親者が「居間のテレビの横のケースの中にあるよ」と答えた場合、キーワード抽出部３２６は、高齢者の発話から「保険証」「どこ」をキーワードとして抽出し、会話知識ＤＢ作成部３２３は、そのキーワードと、近親者の発話「居間のテレビの横のケースの中にあるよ」のテキストデータとを対応付けて会話知識ＤＢを作成する。
図７は、会話知識ＤＢの一例を示している。会話知識ＤＢには、近親者の発話が行われた日時が記録される。
会話知識ＤＢ作成部３２３は、日時が当日の会話知識ＤＢと、それより前の日時の会話知識ＤＢとを区別してメモリ３１２に蓄積する。

また、メモリ３１２には、種々の定型文の発話データが予め蓄積されている。
図８は、蓄積された定型文の一例を示している。
音声編集部３２７は、蓄積された定型文の発話データや、会話知識ＤＢに含まれる近親者の発話データを用いて、ロボット３７から発話される音声の合成音声データを生成する。
その際、音声編集部３２７は、合成音声に近親者の発話の発話データを含める場合、近親者の発話を伝達する形式の音声に編集する。例えば、００４１１の定型文と会話知識ＤＢに記録された近親者の発話とを組合わせて「Ａさんは、『居間のテレビの横のケースの中にあるよ』と言っていたよ」という文を生成する。

顔検出部３２４は、Ｏｐｅｎ ＣＶでも提供されているような既存の技術を用いて、カメラ３３やロボット３７の内蔵カメラ３８３で捉えた高齢者の映像から顔を検出する。
また、メモリ３１２には、笑ったり、積極的に体を乗り出して説明したりするポジティブな感情の状態にある高齢者の画像と、動きがなくなったり、荒々しい行動になったりするネガティブな感情の状態にある高齢者の画像と、さらに、特に大きな感情表出のない通常の状態にある高齢者の画像とが予め蓄積されている。これらの画像は一般には多くの高齢者から集めたものを利用する。システムを利用する高齢者に関して、これらの画像が得られてきたら、それを利用するようにしてもよい。

感情識別部３２８は、メモリ３１２に蓄積されたこれらの画像をトレーニング画像としてＳＶＭ(ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ)などの識別器を構成し、カメラ３３やロボット３７の内蔵カメラ３８３で捉えた高齢者の映像から、各時点の高齢者の感情を認識する。その認識結果（ポジティブ状態／ネガティブ状態の発現回数等）に加え、高齢者の画像から顔や手の動きの量、マイクから得られる発話量等も毎回求め、それらの量の毎日の変化から高齢者の感情状態を識別する。

送受信制御部３２２は、近親者側との間で遣り取りする画像・音声データの通常の送受信制御の他に、高齢者の感情状態の情報を介護サービス会社のコンピュータ５１に送信したり、高齢者がネガティブな感情状態になったとき、近親者に通知したりする制御も行う。
ロボット制御部３２９は、定時（例えば、朝と晩の適当な時間）のコミュニケーション開始を支援するようにロボット３７の動作を制御し、また、近親者がタッチパネルディスプレイ４５で、直接対応モード、間接対応モード、ロボット対応モードなどを選択した場合に、そのモードに応じた動作をロボット３７が行うように制御する。

図９は、近親者側のコンピュータ４１の制御部４２で行われる動作を機能ブロックとして示している。
制御部４２は、近親者がタッチしたタッチパネルディスプレイ４５のタッチ領域（４５３、４５４、４５６、４５５、４５７）の情報を識別する選択情報識別部４２４と、テレビ電話に応答しないときの近親者の状態を識別する近親者状況認識部４２３と、ネットワーク５０を通じて送受信するデータを制御する送受信制御部４２２とを備えている。
これらの各部は、制御部４２がプログラムを実行することにより実現される。

選択情報識別部４２４は、タッチパネルディスプレイ４５のタッチ位置を示すデータから、近親者が選択したタッチ領域を識別する。
近親者状況認識部４２３は、近親者がテレビ電話に応答しないとき、携帯端末４７に内蔵されたＧＰＳやＷｉＦｉによる位置認識データを、無線通信装置４１６を介して携帯端末４７から取得し、メモリ４１２に予め格納された近親者状況テーブルを参照して、その位置から近親者の状況を、通勤中、オフィスで勤務中、在宅、その他不明などと判定する。
送受信制御部４２２は、高齢者側との間で遣り取りする画像・音声データの通常の送受信制御の他に、選択情報識別部４２４が識別したタッチ領域の情報や、近親者状況認識部４２３が識別した近親者の状況データを高齢者側に送信する制御も行う。

図１０のフロー図は、高齢者と近親者との間で、毎日、朝や晩の定時に行われるコミュニケーションの支援手順の一例を示している。
高齢者は、短期的な記憶に問題が生じるため、現在の自分の状況がどのようなものなのかが分からずに不安になる。そのため、定時にコミュニケーションを行い、現在の状況を説明することが望ましい。また、定時のコミュニケーションにおける高齢者の感情の状況を記録し続ければ、介護サービスに活かすことができる。

予定時間になると（Ｓｔ．１でＹｅｓ）、ロボット３７の内蔵スピーカ３８１あるいはスピーカ３６１から音声を発して高齢者を呼ぶ（Ｓｔ．２）。高齢者がタッチパネルディスプレイ３５の“ロボット君お願い”のタッチ領域３５３にタッチすると（Ｓｔ．３でＹｅｓ）、コンピュータ３１の音声編集部３２７は、定型文０００１０から「Ａさん（近親者の名前）を呼んでくるね」と言う合成音声を編集し、それをロボット３７が発話する。そして、近親者の呼び出しが行われ、高齢者側の画像や音声が近親者側に送信される（Ｓｔ．４）。
なお、カメラ３３の画像から高齢者の顔を検出した場合にＳｔ．４の処理が行われるようにしても良い。また、ロボット３７にタッチセンサを付けて、そこを触ったときにＳｔ．４の処理が行われるようにしても良い。

高齢者側では、コミュニケーション開始時に、近親者のビデオメッセージがタッチパネルディスプレイ３５に表示され、高齢者に対し、今日は何月何日で、どこにいるか、薬や保険証のこと、経済的に問題ないことなどを高齢者に再認識させるための説明が行われる（Ｓｔ．５）。
このとき、ロボット３７は、音声編集部３２７が定型文の００００１から編集した音声「Ａさんからビデオのメッセージが届いているよ。ちょっと見てみましょう」を発話し、発話の開始時には高齢者の方に向けていた顔を、「見てみましょう」と言いながらタッチパネルディスプレイ３５の方向に向ける。また、手でタッチパネルディスプレイ３５を指し示す。

近親者側のタッチパネルディスプレイ４５には、高齢者側の映像が表示され、スピーカ４６１から、その音声が出力される。近親者は、適当と思ったところで（ビデオメッセージの途中であっても）タッチパネルディスプレイ４５の“直接話す／呼び出し”にタッチし、対話に加わることができる（Ｓｔ．６でＹｅｓ）。
近親者が“直接話す／呼び出し”にタッチしたときは（Ｓｔ．７）、図１１のＳｔ．７１に移行して、高齢者側のタッチパネルディスプレイ３５に近親者側の画像が表示され、スピーカ３６１から、その音声が出力される。
そのため、近親者は、高齢者とテレビ電話による直接対話を行うことができる（Ｓｔ．７２）。
この場合、ロボット３７は何もしなくてもよいが、ときどき頷いたり、普段はタッチパネルディスプレイ３５に映った近親者の方へ向けている顔を、ときどき、高齢者の方に向けたりすれば、ロボット３７が高齢者と近親者の両方に親しい存在であることを高齢者に示すのに有効である。

また、近親者は、「直接対応」によって回想法を行うこともできる。このとき、近親者は、コンピュータ３１のメモリ３１２に蓄積された写真や映像の中から適当なものを選択して、高齢者側のタッチパネルディスプレイ３５の表示領域３５２及び近親者側のタッチパネルディスプレイ４５の表示領域４５２に同時に表示し、高齢者に説明を求める。
その際、近親者が「これだれ？」と言ってタッチパネルディスプレイ４５に表示された写真などの部分にタッチすると、タッチ領域の情報が高齢者側のコンピュータ３１に送られ、ロボット制御部３２９の指示に基づいて、ロボット３７は、高齢者側のタッチパネルディスプレイ３５の対応する部分を指差す。

高齢者のことを考えると、近親者の直接対応が一番望ましい。しかし、高齢者の話は繰り返しが多く、対応に時間が掛かる。こうしたとき、ちょっとした伝言や確認などで、そのまま対話を終了しても構わない場合は、タッチパネルディスプレイ４５の“終了”の部分にタッチして対話を終わらせることができるが、しかし、高齢者が、まだ話を続けたい様子のときに、近親者がコミュニケーションを終わらせてしまうと、高齢者を傷つける場合がある。
こうしたとき、近親者は、“間接的に話す”にタッチしたり（Ｓｔ．７３でＹｅｓ）、“ロボット君お願い”にタッチしたりして（Ｓｔ．７４でＹｅｓ）、高齢者との直接対応から抜けることができる。

図１０のフロー図において、Ｓｔ．６の後にＳｔ．８の“間接的に話す”にタッチした場合は図１２のＳｔ．８１に移行する。図１１のＳｔ．７３においてＹｅｓの場合も同様である。
近親者は、直接対応モードからこの間接対応モードの選択に入る前には、「ちょっと掃除しなければいけないので、ロボット君に話をつなげてもらうからよろしくね」等と言って、高齢者に違和感を感じさせないように振舞うことが多いと思われる。ただし、そのようなことを言わなくても、あるいは、直接対応モードを経ずに間接対応モードに入る場合でも、高齢者に丁寧に対応するように、コンピュータ３１の音声編集部３２７が、定型文の００４１０から「Ａさんはちょっと手が空いていなくて、電話には出られないけど、僕が話を伝えてあげるよ」と言う合成音声を編集し、ロボット３７がそれを発話するようにしても良い。

実際には、近親者は、間接対応モードを選択した後も高齢者側の様子をタッチパネルディスプレイ４５の画像やスピーカ４６１の音声で確認し続けることができる。
間接対応モードにおいて、手が離せないなどで、最初から高齢者への返答ができないと分かっている近親者がオプションである“自動”を選択している場合（Ｓｔ．８１でＹｅｓ）は、図１４のＤに移行する。

また、高齢者が発話し（Ｓｔ．８２でＹｅｓ）、この発話に返答できない状態にある近親者が“自動”を選択したとき（Ｓｔ．８３でＹｅｓ）は、図１４のＤ’に移行する。
高齢者側の様子を注視している近親者が、高齢者の発話に返答すると（Ｓｔ．８４でＹｅｓ）、コンピュータ３１の音声編集部３２７は、この返答を伝達形式のメッセージに編集し、ロボット３７が、そのメッセージを発話する（Ｓｔ．８５）。
例えば、高齢者が「保険証はどこにあったっけ？」と聞いて、近親者が「居間のテレビの横のケースの中にあるよ」と返答した場合、音声編集部３２７は、定型文００４１１と近親者の返答の音声認識データとを組合わせた「Ａさんは、『居間のテレビの横のケースの中にあるよ』と言っていたよ」と言う合成音声データを生成し、そのメッセージをロボット３７が発話する。

なお、この場合、近親者の発話を録音し、その前後に定型文を付けることで伝達形式のメッセージを作成しても良い。
また、近親者は、間接対応モードを選択した後でも、タッチパネルディスプレイ４５の“直接話す／呼び出し”にタッチして直接対応モードに戻ることができる。

図１０のフロー図において、Ｓｔ．６の後にＳｔ．９の“ロボット君お願い”にタッチした場合は図１３のＳｔ．９１に移行する。図１１のＳｔ．７４においてＹｅｓの場合、及び、図１２のＳｔ．８２において、高齢者が所定時間以上発話しないとき（Ｓｔ．８２でＮｏ）も同様である。
このとき、コンピュータ３１の音声編集部３２７は、高齢者を回想法に誘う定型文と、定型文００２２０「話をしてくれるなら、ロボット君お願いのところをタッチして」とを組合わせた合成音声データを生成し、そのメッセージをロボット３７が発話して高齢者を回想法に誘導する（Ｓｔ．９１）。

高齢者が、タッチパネルディスプレイ３５の“ロボット君お願い”にタッチすると（Ｓｔ．９２でＹｅｓ）、コンピュータ３１のメモリ３１２に蓄積された写真や映像がタッチパネルディスプレイ３５の表示領域３５２に表示され、音声編集部３２７が定型文００５００「ちょっとこれについてお話して」を合成音声データとして生成し、そのメッセージをロボット３７が発話しながら、タッチパネルディスプレイ３５に表示された写真や映像を指し示す（Ｓｔ．９３）。
Ｓｔ．９２で、高齢者が応じない場合は（Ｓｔ．９２でＮｏ）、「この次にお話してね」などと言って終了する。

間接対応モードにおいて、オプションである“自動”が選択されている場合（Ｓｔ．８１でＹｅｓ）は、図１４のフロー図に示すように、高齢者が所定時間内に発話したとき（Ｓｔ．１０１でＹｅｓ）に、コンピュータ３１のキーワード抽出部３２６が、その発話に含まれるキーワードを抽出し（Ｓｔ．１０２）、音声編集部３２７が、メモリ３１２に格納された会話知識ＤＢを参照して、キーワードに対応する近親者の発話データを検索する（Ｓｔ．１０３）。

このとき、音声編集部３２７は、メモリ３１２に格納された当日の会話知識ＤＢを参照し、その中に、抽出されたキーワードに一致するものがないかを検索する。当日の会話知識ＤＢの中に一致するものが無い場合、当日以前の会話知識ＤＢから一致するキーワードを検出する。

こうして、抽出されたキーワードと適合するキーワードを会話知識ＤＢの中に見つけると（Ｓｔ．１０４でＹｅｓ）、音声編集部３２７は、そのキーワードに対応する近親者の返答の発話データを会話知識ＤＢから取得して、その返答を伝達形式のメッセージに編集する。ロボット３７は、編集されたメッセージを発話する（Ｓｔ．１０５）。
例えば、高齢者の発話が「保険証はどこにあったっけ？」の場合、キーワードとして「保険証」及び「どこ」が抽出され、会話知識ＤＢから、そのキーワードに対応する「居間のテレビの横のケースの中にあるよ」と言う発話データが検出され、その発話データと定型文００４１１とが組合わされて「Ａさんは、『居間のテレビの横のケースの中にあるよ』と言っていたよ」と言う合成音声データが生成され、ロボット３７から発話される。

Ｓｔ．１０４において、いずれの会話知識ＤＢからも、適合するキーワードが検出できないときは、音声編集部３２７は、定型文００４２０「ちょっとそういうことについてはＡさんから聞いたことがないので、今度手の空いているときに聞いておくね」を合成音声データとして編集し、ロボット３７は、編集されたメッセージを発話する（Ｓｔ．１０６）。
高齢者側の映像・音声は常に近親者側に伝えられているので、このような状況のとき、近親者は、必要に応じて、タッチパネルディスプレイ４５の“間接的に話す”にタッチして返答したり、“直接話す／呼び出し”にタッチし直接対応して返答したりすることができる。

なお、Ｓｔ．１０１において、高齢者が所定時間以上発話しないとき（Ｓｔ．１０１でＮｏ）は、図１３のＳｔ．９１に移行する。
また、図１２のＳｔ．８３においてＹｅｓの場合、及び、同図のＳｔ．８４において、近親者が所定時間以内に返答しなかった場合（Ｓｔ．８４でＮｏ）は、図１４のフロー図のＳｔ．１０２に移行する。
なお、“自動”が設定されているときでも、近親者は“自動”を再度タッチして、解除できる。

また、音声認識の誤りなどのため、Ｓｔ．１０５の発話として不適切な返事を発話する場合も有り得る。このようなことが起こると、その後に非定形の発話内容が増え、認識できない高齢者の発話が増加する。このように、認識できない発話の頻度が高くなった場合、高齢者側のコンピュータ３１が、近親者側のコンピュータ４１や携帯端末４７に音や振動でそれを通知するようにしても良い。
また、近親者の応対もない場合は、図１３のＳｔ．９１に移行して話題を転換するようにしても良い。

このように、間接対応の場合に、近親者の発話を伝達する形式でロボット３７が発話すること（Ｓｔ．８５、Ｓｔ．１０５）は、次のような利点がある。
ロボットの発話は、近親者の発話を取り次ぐ形であるので、音声認識や返答の選択が間違っていても、ロボットの間違いとして高齢者から許容される。
ロボットが近親者に成り代わって高齢者に対応することも考えられるが、しかし、ロボットの自動対応能力は十分ではなく、ロボットの対応が少しでも不適切であると、高齢者は誤魔化しに気付き、近親者に不信感を抱く。その結果、近親者とのコミュニケーションに興味を失い、さらに悪いことに、自分が十分に尊重して扱われていないと思って傷ついてしまうおそれがある。
近親者の発話を伝達する形式で発話するロボットは、高齢者と近親者の共通の友人であって、高齢者・近親者間のコミュニケーションを取り持つ存在と思われるように行動できる。そのため、近親者は、気兼ねなく高齢者との直接対応から外れたり、また、戻ったりすることができる。

次に、図１０のフロー図に戻り、Ｓｔ．６において近親者がタッチパネルディスプレイ４５のいずれのタッチ領域にもタッチしなかった場合（Ｓｔ．６でＮｏ）の手順について説明する。
このとき、近親者側のコンピュータ４１の近親者状況認識部４２３は、前述するように、携帯端末４７に内蔵されたＧＰＳやＷｉＦｉによる位置認識データを用いて、近親者の状況を判定し、その判定結果が高齢者のコンピュータ３１に送られてくる。

コンピュータ３１の音声編集部３２７は、受信した近親者の状況に基づいて、その状況に対応する定型文を合成音声データとして編集し、ロボット３７は、編集されたメッセージを発話する（Ｓｔ．１０）。
例えば、近親者の状況が通勤中であるとき、定型文０００１１により、ロボット３７は「今、通勤中で電車の中なので、ちょっと出られないみたい」と発話し、オフィスで勤務中であるとき、定型文０００１２により「今、仕事中なので、ちょっと手があくときがあるかどうか聞いてみるね」と発話する。また、在宅のとき、定型文０００１３により「家にいるようだから、もうちょっと呼んで見るから、もう少し待って」等と発話する。
近親者が携帯端末４７から応答したり、タッチパネルディスプレイ４５の前に戻ってタッチ領域にタッチしたりすれば、Ｓｔ．６のＹｅｓの状態に戻る。

所定時間経過しても近親者の応答が無い場合、音声編集部３２７は、定型文００２１１により「やはり通勤中なので、話をするのは無理みたい。少し僕と話をしてくれない」と高齢者を回想法に誘導し、あるいは、定型文００２１３により「呼んでみたけど、今、少し取り込んでいるみたい。手があくまで、少し僕と話をしない」などと言って高齢者を回想法に誘導する（Ｓｔ．１１）。
定型文００２２０により、ロボット３７が「話をしてくれるなら、ロボット君お願いのところをタッチして」と発話し、高齢者が言われたとおりにタッチしたとき（Ｓｔ．１２でＹｅｓ）は、回想法を実施する（Ｓｔ．１３）。
高齢者が応じないとき（Ｓｔ．１２でＮｏ）は、定型文００４１０により、ロボット３７が「Ａさんの手があいたら、連絡してくれるように言っておくから、待っててね」等と言って終了する。

ここでは、高齢者側からコミュニケーションを開始しているが、近親者が、タッチパネルディスプレイ４５の“直接話す／呼び出し”にタッチして、コミュニケーションを開始することもできる。
また、図２の近親者側のタッチパネルディスプレイ４５では、タッチされたタッチ領域の色が変わったり、明るくなったりして、選択されたタッチ領域が分かるように表示されることが望ましい。

このように、このコミュニケーション支援ロボットシステムでは、ロボットが高齢者と近親者とのコミュニケーションを取り持つように行動し、近親者が高齢者と直接対応しなくても、高齢者に対して近親者の発話を取り次いでくれる。そのため、近親者は、気兼ねなく高齢者との直接対応から抜けることができ、近親者の負担が軽減される。
また、近親者は、高齢者との直接対応から抜け出ることが容易であるため、高齢者との直接対応を気軽に始めることができる。
近親者の話を伝達する形式で発話するロボットは、その発話が間違ったとしても、ロボットの間違いとして許容され、高齢者の不信が近親者に向くことはない。
そのため、近親者は、高齢者との直接対応に気軽に戻ることができる。
その結果、近親者と高齢者とのコミュニケーションの機会が増加し、高齢者は、いつも近親者と繋がっているという安心感を抱くことができる。

また、近親者は、“ロボット君お願い”をタッチすることで、高齢者を傷付けずに直接対応を終了することができる。認知症者の場合、短期記憶に問題があるので、新たな話題が提供されると、これまでに話していたことへのこだわりがなく、新しい話題に入っていくことができる。“ロボット君お願い”がタッチされた場合、こうした特質を利用して高齢者を回想法に誘導することができる。
ロボットが機会をみて高齢者を回想法に誘うため、高齢者の認知能力の維持・改善を図るトレーニングが楽しい雰囲気で行われる。その点でも、近親者の負担が軽減される。

このシステムでは、定時にロボットが高齢者とのコミュニケーションを開始し、途中から近親者が対話に加わり、最後に回想法に移る、というのが、推奨される毎日の標準的なメニューである。このメニューを実行することにより、近親者は高齢者の様子を知ることができるし、その日ごとに適切なコミュニケーションができる。高齢者も現状を確認し、近親者とも話ができ、そして、回想法の訓練も行える。

なお、ここでは、ロボットを物理的に実在するロボットとして説明したが、これはディスプレイ上に表示されるソフトウェアによるエージェントであっても良い。高齢者にとっては、物理的に存在するロボットの方が、実在感があって好ましいが、エージェントはハードウェアが不要なので、低コストで実現できる。また、ロボットの音声と近親者の音声とを同一のスピーカから出力することができるため、スピーカが一つで足りる。

また、ここでは、キーワード抽出部３２６が高齢者の発話のテキストデータからキーワードを抽出し、会話知識ＤＢに、そのキーワードと、近親者の音声のテキストデータとを対応付けて記録しているが、キーワードは、高齢者の発話の話題（テーマ）を特定するための一手段である。会話知識ＤＢは、高齢者の発話の意味解析や文脈解析などを通じて認識した話題（テーマ）と、近親者の音声のテキストデータとを対応付けたものであっても良い。

また、近親者側の携帯端末４７が、ＣＰＵ、タッチパネルディスプレイ、カメラ、スピーカ、マイクを装備するタブレット型等の携帯端末である場合、近親者側のコンピュータ４１(図１)と同じプログラムを携帯端末４７に格納することにより、近親者は、図１の据付型装置（コンピュータ４１、タッチパネルディスプレイ４５、カメラ４３、スピーカ４６１、マイク４６２）を使用して行った対応と同様の対応を、携帯端末４７を使って、外出先等から行うことができる。
また、近親者が電車で移動中などのため、映像を用いた直接対応モードによるコミュニケーションが取れない場合、音声だけ、あるいは、文字だけで直接対応を行うようにしても良い。
また、定型文には、近親者が間接対応モードに移行する時に選択できる、例えば「○○分後に直接話せると思うけど、それまではロボット君に話をつなげてもらうからよろしくね」というような定型文を予め用意し、近親者が時間の部分を文字入力し、ロボットが、これを伝達形式の発話で高齢者に伝えるようにしてもよい。

また、直接対応モードから間接対応モードへの移行は、近親者の明示的な操作だけでなく、一定時間が経過した時点、あるいは、会話内容の繰り返しをロボットが検知した時点で、ロボットが自動的に話に割り込むようにしても良い。
この場合、図１１のフロー図は、図１５のように変化する。
図１５において、直接対応が始まり（Ｓｔ．７２）、一定時間が経過したり（Ｓｔ．７２１でＹｅｓ）、会話内容の繰り返し回数が所定回数を超えたり（Ｓｔ．７２２でＹｅｓ）した場合に、近親者側ディスプレイに「少し長い間、同じような話を繰り返されているようですが、どうされますか。このまま直接話すことを続けられても良いですが、他のモードに移りたいなら、“間接的に話す”あるいは“ロボット君お願い”をタッチして下さい」と表示される（Ｓｔ．７２３）。

ここで、近親者が“間接的に話す”をタッチすると（Ｓｔ．７３でＹｅｓ）、間接対応モードに移行する。ロボットは「Ａさんはちょっと用ができて席を離れるので、僕が話を伝えてあげるので、僕とお話して」という定型文を言って、図１２のＢに移行する。
また、近親者が“ロボット君お願い”をタッチすると（Ｓｔ．７４でＹｅｓ）、ロボット対応モードに移行する。ロボットは「ねぇねぇ、○○さん（近親者）、僕（ロボット）も××さん（高齢者）と話がしたいよ。そろそろ話を代わってもらえないかな？」というような定型文を言って、回想法への勧誘に進む（図１３のＣ）。
近親者が“間接的に話す”や“ロボット君お願い”にタッチしなければ、直接対応が継続される。
近親者は、なかなか直接対応の終了に踏み切れない場合があるが、図１５のＳｔ．７２１、７２２、７２３のような処理を行うことで、近親者は、直接対応モードから抜け出し易くなる。

また、図１０のビデオメッセージによる現在状況の説明（Ｓｔ．５）は、高齢者が現状を分かって落ち着くまで繰り返すようにしても良い。この場合、制御部３２の感情識別部３２８が、高齢者の落ち着いたときの画像とそうでない場合の画像から学習して、高齢者が落ち着いたかどうかを識別する。または、予めその高齢者に応じて定めた適当な回数の繰り返しを行ったかどうかで決めても良い。あるいは、その両方で決めても良い。
なお、その間でも近親者がタッチ領域にタッチすれば（Ｓｔ．６でＹｅｓ）、Ｓｔ．７、Ｓｔ．８またはＳｔ．９に移行する。
近親者がタッチ領域にタッチしなければ（Ｓｔ．６でＮｏ）、ビデオメッセージによる現在状況の説明を、高齢者が現状を分かって落ち着くまで繰り返した後、Ｓｔ．１０に移行する。
なお、本発明のシステムにおいて、携帯端末４７や介護サービス会社のコンピュータ５１との接続手段は、必須のものではない。

本発明のコミュニケーション支援ロボットシステムは、近親者から離れて生活する高齢者と近親者とのコミュニケーションを効果的に図ることが可能であり、高齢者が一人で暮らしいる生活環境や、高齢者が単身で入居している施設等において広く用いることができる。

３１ コンピュータ
３２ 制御部
３３ カメラ
３５ タッチパネルディスプレイ
３７ ロボット
４１ コンピュータ
４２ 制御部
４３ カメラ
４５ タッチパネルディスプレイ
４７ 携帯端末
５０ ネットワーク
５１ 介護サービス会社のコンピュータ
３１１ クロック
３１２ メモリ
３１３ Ｉ／Ｏ
３１４ 音声入力／出力ボード
３１５ 通信ＬＡＮボード
３１６ 無線通信装置
３２２ 送受信制御部
３２３ 会話知識ＤＢ作成部
３２４ 顔検出部
３２５ 音声認識部
３２６ キーワード抽出部
３２７ 音声編集部
３２８ 感情識別部
３５１ カメラ映像表示領域
３５２ 回想法用画像／映像表示領域
３５３ “ロボット君お願い”タッチ領域
３６１ スピーカ
３６２ マイク
３７０ 制御部
３７１ 右腕モータ
３７２ 左腕モータ
３７３ 頭部モータ
３７４ 移動モータ
３７５ 腰モータ
３７６ モータ制御ボード
３７７ Ｉ／Ｏ
３７８ メモリ
３７９ 音声入力／出力ボード
３８０ センサ入力／出力ボード
３８１ スピーカ
３８２ マイク
４１１ クロック
４１２ メモリ
４１３ Ｉ／Ｏ
４１４ 音声入力／出力ボード
４１５ 通信ＬＡＮボード
４１６ 無線通信装置
４２１ 選択情報識別部
４２２ 送受信制御部
４２３ 近親者状況認識部
４５１ カメラ映像表示領域
４５２ 回想法用画像／映像表示領域
４５３ “直接話す／呼び出し”タッチ領域
４５４ “間接的に話す”タッチ領域
４５５ “ロボット君お願い”タッチ領域
４５６ “自動”タッチ領域
４５７ “終了”タッチ領域
４６１ スピーカ
４６２ マイク

Claims (18)

1. ロボットを使って高齢者と近親者とのコミュニケーションを支援するシステムであって、
   高齢者の側は、
   前記ロボットと、
   高齢者を撮影する１または複数の撮影手段と、
   高齢者の音声を集音するマイクと、
   ネットワークを通じて送られてくる近親者の音声、または、前記ロボットの発話として編集された合成音声を出力する１または複数のスピーカと、
   ネットワークを通じて送られてくる近親者の画像、または、予め蓄積された画像を表示するディスプレイと、
   それらを制御する制御手段と、
   を備え、
   前記制御手段は、
   前記撮影手段が撮影した画像の画像信号及び前記マイクが集音した音声の音声信号のネットワークへの送信、並びに、ネットワークを通じて送られてくる画像信号及び音声信号の受信を制御する送受信制御手段と、
   音声を認識する音声認識手段と、
   前記音声認識手段が高齢者の発話から認識した音声認識結果を基に該発話の話題を認識する話題認識手段と、
   前記話題認識手段が高齢者の発話から認識した話題と当該発話に対して返答した近親者の発話データとを対応付けて会話知識データベースを作成し、メモリに蓄積する会話知識データベース作成手段と、
   前記合成音声を編集する音声編集手段と、
   前記ロボットの動作を制御するロボット制御手段と、
   を備え、
   前記音声編集手段は、高齢者の発話に対して近親者からの返答が所定時間無いとき、前記会話知識データベースを参照して、高齢者の前記発話から認識された話題に対応する近親者の発話データを取得し、該発話データを用いて、近親者の発話を伝達する形式の前記合成音声を編集する、
   ことを特徴とするコミュニケーション支援ロボットシステム。
2. 請求項１に記載のシステムであって、前記話題認識手段は、前記音声認識手段が高齢者の発話から認識した音声認識結果から、該発話の話題を表すキーワードを認識して抽出し、前記会話知識データベース作成手段は、抽出された前記キーワードを前記話題認識手段が認識した話題として前記会話知識データベースに記録することを特徴とするコミュニケーション支援ロボットシステム。
3. 請求項１または２に記載のシステムであって、前記会話知識データベース作成手段は、当日の高齢者の発話に基づいて作成した前記会話知識データベースを区別して前記メモリに蓄積し、前記音声編集手段は、高齢者の発話に対して近親者からの返答が所定時間無いとき、前記発話から認識した話題を、当日の前記会話知識データベースに記録された話題と照合して近親者の発話データを取得し、該当する話題が存在しないときに、当日以外の前記会話知識データベースを参照することを特徴とするコミュニケーション支援ロボットシステム。
4. 請求項１から３のいずれかに記載のシステムであって、前記音声編集手段は、高齢者の発話から認識された前記話題が前記会話知識データベースに記録されていないとき、予め設定された定型文を前記合成音声として編集することを特徴とするコミュニケーション支援ロボットシステム。
5. 請求項１に記載のシステムであって、近親者が、間接対応を指定して高齢者の発話に返答したとき、前記音声編集手段は、前記返答の発話データと定型文とを組合わせて、近親者の発話を伝達する形式の前記合成音声を編集する、ことを特徴とするコミュニケーション支援ロボットシステム。
6. 請求項５に記載のシステムであって、近親者の前記返答の音声が録音され、前記音声編集手段は、録音された前記音声と定型文とを組合わせて前記合成音声を編集する、ことを特徴とするコミュニケーション支援ロボットシステム。
7. 請求項１に記載のシステムであって、前記ロボットが高齢者の傍らに実在し、前記ロボットに、前記音声編集手段が編集した前記合成音声を出力する第一のスピーカが設けられ、前記ディスプレイの近傍に、ネットワークを通じて送られてくる近親者の音声を出力する第二のスピーカが設けられる、ことを特徴とするコミュニケーション支援ロボットシステム。
8. 請求項１に記載のシステムであって、前記ロボットが前記ディスプレイに表示された虚像であり、前記音声編集手段が編集した前記合成音声と、ネットワークを通じて送られてくる近親者の音声とが一つのスピーカから出力されることを特徴とするコミュニケーション支援ロボットシステム。
9. 請求項１に記載のシステムであって、
   近親者の側が、
   近親者を撮影する撮影手段と、
   近親者の音声を集音するマイクと、
   ネットワークを通じて送られてくる音声を出力するスピーカと、
   ネットワークを通じて送られてくる画像を表示するディスプレイと、
   前記撮影手段が撮影した画像の画像信号、及び、前記マイクが集音した音声の音声信号を高齢者の側に送信し、高齢者の側から送られてくる画像信号及び音声信号を受信する送受信制御手段と、
   を備え、前記送受信制御手段が、さらに、近親者により選択された対応モードを高齢者の側に伝えることを特徴とするコミュニケーション支援ロボットシステム。
10. 請求項９に記載のシステムであって、
    近親者の側は、さらに、近親者が所持する携帯端末と、前記携帯端末の現在位置情報に基づいて近親者の状況を認識する近親者状況認識手段と、を有し、前記送受信制御手段が、前記近親者状況認識手段が認識した近親者の状況データを高齢者の側に送信することを特徴とするコミュニケーション支援ロボットシステム。
11. 請求項９または１０に記載のシステムであって、近親者がネットワークを通じた呼出しに応答しないとき、前記音声編集手段は、予め設定された定型文の中から選択した定型文を前記合成音声として編集することを特徴とするコミュニケーション支援ロボットシステム。
12. 請求項１１に記載のシステムであって、近親者がネットワークを通じた呼出しに応答しないとき、前記音声編集手段は、予め設定された定型文の中から、近親者の側より受信した前記近親者の状況データに基づいて定型文を選択することを特徴とするコミュニケーション支援ロボットシステム。
13. 請求項９または１０に記載のシステムであって、近親者は、前記対応モードとして、近親者がネットワークを通じて高齢者に直接対応する直接対応モード、高齢者に対して前記ロボットが近親者の発話を伝達する形式の前記合成音声で応答する間接対応モード、及び、前記ロボットが自主的に高齢者を回想法に誘導するロボット対応モードのいずれかが選択可能であることを特徴とするコミュニケーション支援ロボットシステム。
14. 請求項１３に記載のシステムであって、前記直接対応モードが選択されたとき、前記ロボット制御手段は、前記ロボットに対して、近親者が表示された前記ディスプレイに顔を向ける動作、及び、前記ディスプレイから高齢者の方に顔を向ける動作を織り交ぜて行わせることを特徴とするコミュニケーション支援ロボットシステム。
15. 請求項１４に記載のシステムであって、前記ロボット制御手段は、前記ロボットに対し、前記ディスプレイまたは高齢者に顔を向けたとき、頷く動作を併せて行わせることを特徴とするコミュニケーション支援ロボットシステム。
16. 請求項１３に記載のシステムであって、前記ロボット対応モードが選択されたとき、前記ロボット制御手段は、前記ロボットに対して、前記ディスプレイに表示された過去の画像を指し示す動作を行わせ、前記音声編集手段は、高齢者を回想法に誘導する定型文を前記合成音声として編集することを特徴とするコミュニケーション支援ロボットシステム。
17. 請求項９または１０に記載のシステムであって、近親者の映像及び音声が高齢者の側に送信されて録画され、高齢者の側の前記制御手段が、毎日定時に、録画された前記映像及び音声を高齢者側の前記ディスプレイ及びスピーカに表示して高齢者への呼び掛けを行うことを特徴とするコミュニケーション支援ロボットシステム。
18. 請求項１に記載のシステムであって、さらに、前記撮影手段が撮影した高齢者の画像、及び、前記マイクが集音した高齢者の音声の蓄積データを用いて、現在の高齢者の感情状況を識別する識別手段と、前記識別手段の識別結果を必要箇所に通知する通知手段と、を備えることを特徴とするコミュニケーション支援ロボットシステム。