JP6712961B2 - コミュニケーションシステム及びコミュニケーション制御装置 - Google Patents

Description

本発明は、利用者と会話するコミュニケーションシステムに関する。

核家族化や高齢化社会の進行により、個人の生活を見守り、サポートするロボットが必要になっている。

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２００６−２８５４２５号公報）には、ユーザが自発的に装着して計測するデータ計測装置を含む生体データ計測装置を用いながら、ユーザが計測装置の装着を怠ったり忘れたり、計測装置の装着不備をおこすのを防ぐと共に、心臓病、高血圧、糖尿病、肥満等を判定して生活習慣病を防いだり発見できるようにしたロボットを用いたヘルスケアサービスシステムが開示されている。また、特許文献２（特開２００７−２８２９９２号）には、認知症の疑いのある患者に対して、認知症であるかどうか、その症状レベルはどの程度であるかの診断を医師に対して支援する認知症診断支援システムが開示されている。

特開２００６−２８５４２５号公報 特開２００７−２８２９９２号公報

しかし、特許文献１に記載された技術では、ユーザの画像データとユーザとの会話によりユーザの異常を判定するが、病気の進行を抑制できない。また、特許文献２に記載された技術では、患者の認知症のレベルを会話により診断するが、認知症の疑いがある患者を対象としており、認知症の疑いが検出される前における利用者の使用を考慮したものではない。

すなわち、利用者の状態の変化は、長期間のモニタリングによって分かるものである。また、人は新しいものを拒否することがあり、症状が悪化した後に突然現れたロボットは受け入れ難いことがある。このため、発症前から状態の悪化後まで、長期間にわたって利用者をサポートできるロボットが求められている。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、利用者と会話する端末と、前記端末と通信可能な制御装置とを備えるコミュニケーションシステムであって、前記端末は、基部と、前記基部の上方に設けられ、光透過材料で構成される球体部とで構成され、周囲の音を収集するマイクロホンと、周囲の画像を撮影するカメラと、球体部を光らせるための可視光を放射する発光装置と、外部から視認可能な画像を前記球体部の内面に投影する表示装置とを有し、前記制御装置は、プログラムを実行するプロセッサと、前記プログラムを格納するメモリとを有し、前記制御装置は、前記端末が収集した音及び画像の少なくとも一つを解析して、利用者の状態を判定し、前記判定された利用者の状態に応じて、対話制御部の動作レベルを変更し、前記球体部は、前記発光装置の点灯によって、消灯状態から点灯状態に切り替え可能であり、周囲の人を検出すると待機モードに移行し、前記マイクロホン及び前記カメラを起動し、周囲の映像及び音声の収集を開始し、前記マイクロホンが収集した音声及び前記カメラが収集した画像を分析した結果、照明点灯指示を検出すると、前記発光装置を点灯することを特徴とする。

本発明の一態様によれば、利用者の状態に適する対話を提供できる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の実施例のコミュニケーションシステムの構成を示す図である。 対話端末の使用状態を示す図である。 対話端末の構成を示すブロック図である。 消灯状態の対話端末の外観を示す正面図である。 点灯状態の対話端末の外観を示す正面図である。 対話端末の外観を示す六面図である。 対話端末の透光性素材からなる部分を示す参考図である。 対話端末の外観を示す参考斜視図である。 対話端末のＡ−Ａ’断面図である。 表示状態の対話端末の外観を示す正面図である。 投薬ユニットを取り付けた対話端末の外観を示す正面図である。 投薬ユニットを取り付けた対話端末の外観を示す六面図である。 投薬ユニットを取り付けた対話端末の透光性素材からなる部分を示す参考図である。 投薬ユニットを取り付けた対話端末の外観を示す参考斜視図である。 トレーが開いた状態の対話端末の外観を示す参考斜視図である。 投薬ユニットを取り付けた対話端末のＢ−Ｂ’断面図である。 投薬ユニットの外観を示す六面図である。 投薬ユニットの外観を示す参考斜視図である。 投薬ユニットのＣ−Ｃ’断面図である。 トレーが開いた状態の投薬ユニットの外観を示す六面図である。 トレーが開いた状態の投薬ユニットの外観を示す参考斜視図である。 トレーが開いた状態の投薬ユニットのＤ−Ｄ’断面図である。 利用者情報制御・管理装置の構成を示す図である。 ロボット情報の一例を示す図である。 サービス利用情報（Ｅコマース）の一例を示す図である。 サービス利用情報（ヘルスケアサポート）の一例を示す図である。 利用者情報の一例を示す図である。 登録サービス情報の一例を示す図である。 アイデンティティ情報の一例を示す図である。 メイン処理のフローチャートである。 ハンドオーバ処理のフローチャートである。 投薬管理処理のフローチャートである。 Ｅコマース処理のフローチャートである。 会話処理のフローチャートである。 行動判定処理のフローチャートである。 対話端末の役割の変化の契機の例を示す図である。 認知機能低下の抑制の例を示す図である。 投薬管理の様子を示す図である。 対話端末の表情の例を示す図である。

図１は、本発明の実施例のコミュニケーションシステムの構成を示す図である。

本実施例のコミュニケーションシステムは、対話端末１及びリモートブレイン２によって構成される。対話端末１は、利用者の近くに設置され、リモートブレイン２からの指示に従って動作し、主に音声によって利用者とコミュニケーションする。対話端末１は、一人の利用者が複数を利用しても、一つを利用してもよい。対話端末１は常に利用者とコミュニケーションできるように、利用者の近傍に存在することが望ましい（図２参照）。このため、利用者が複数の対話端末１を利用する場合は、利用者が使用する部屋毎に対話端末１が設置されるとよい。また、利用者が一つの対話端末１を利用する場合は、対話端末１は走行機能を有し、利用者の移動に従って移動するとよい。

リモートブレイン２は、対話端末１から周囲の情報（音、明るさ、気温など）を収集し、利用者とのコミュニケーションに関する指示を対話端末１に送信する利用者情報制御・管理装置２０で構成される。リモートブレイン２は、生活サポートサービスプロバイダが運営しており、クラウド上の計算機によって構成されている。利用者情報制御・管理装置２０の詳細な構成は、図２３を用いて後述する。

対話端末１とリモートブレイン２とは、通信回線３を介して接続される。通信回線３は、有線ネットワーク（例えば、イーサネット（登録商標））でも無線ネットワーク（例えば、ＷｉＦｉ）でもよいが、移動可能な対話端末１は無線で通信可能に構成するとよい。

また、リモートブレイン２は、各種サービスプロバイダが保有する外部システム４と接続されており、利用者が外部サービスを受けるためのインターフェースとして対話端末１を機能させる。例えば、利用者は、対話端末１を介してＥコマースシステム４に接続して、所望の物品を購入して、自宅への配達ができる。また、利用者は、ヘルスケアサービスシステム４や病院システム４に接続して、健康管理に関する助言（例えば、処方薬の服用タイミングのお知らせサービス）や医師による問診を受けることができる。

図３は、対話端末１の構成を示すブロック図である。

対話端末１は、制御部１０１、記憶部１０２、通信インターフェース１０４、入力部１０６、マイクロホン１０９、出力部１１０及びスピーカ１１１を有する。対話端末１は、画像生成部１０３及び表示装置１１２を有してもよい。さらに、対話端末１は、発光装置１０５、カメラ１０７、センサ１０８及び駆動装置１１３の少なくとも一つを有してもよい。

制御部１０１は、プログラムを実行するプロセッサによって構成される。記憶部１０２は、プログラムやデータを格納するメモリによって構成される。メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。メモリに格納されたプログラムをプロセッサが実行することによって、対話端末１が諸機能を発揮する。

画像生成部１０３は、表示装置１１２に表示する画像を生成する。すなわち、リモートブレイン２からの指示や各種入力デバイス（カメラ１０７、センサ１０８、マイクロホン１０９等）に入力された周囲の状況に従って、記憶部１０２に格納された画像パターンから表示装置１１２に表示する画像を選択する。例えば、対話端末１の球体部１１（図１０参照）表示される目を模した模様１９を選択する。

通信インターフェース１０４は、所定のプロトコルを用いて、他の装置（例えば、リモートブレイン２を構成する利用者情報制御・管理装置２０）と通信する。

発光装置１０５は、図５に示すように、対話端末１の上方に設けられる球体部１１を光らせるための可視光を放射する光源である。発光装置１０５は、後述する表示装置１１２として機能する投影装置の光源と共用してもよいし（図９参照）、表示装置１１２と別に設けてもよい。

入力部１０６は、カメラ１０７、センサ１０８、マイクロホン１０９などの入力デバイスからの信号を制御部１０１に送るインターフェースである。

カメラ１０７は、対話端末１の周囲の画像を撮影する。カメラ１０７が撮影する画像は、動画像でも、静止画像（例えば、１秒に１枚）でもよい。カメラ１０７が撮影した画像は、通信インターフェース１０４を介してリモートブレイン２に送られ、顔認識技術を用いて利用者を識別するために用いられる。カメラ１０７は、周囲の画像を撮影するために、半球を撮影できる魚眼カメラでも、２以上のカメラによって全球を撮影できるものでもよい。また、対話端末１が移動機能を有する場合、カメラ１０７が撮影した距離画像を用いて、対話端末１の周囲の障害物を検出して、対話端末１と他の物体との接触を防止できる。

センサ１０８は、対話端末１の周囲に人がいるかを検出する人感センサであり、赤外線や超音波や可視光画像などを用いて人を検知する。対話端末１は、対話端末１の周囲の環境を計測するセンサを有してもよい。例えば、温度、湿度などを測定し、測定結果を制御部１０１に送る。対話端末１が測定した温度が高温（例えば、６５度以上）になった場合、部屋に火災が発生していると判定し、警報を発報するとよい。また、警報に伴い、対話端末１は、リモートブレイン２に異常を報知してもよい。さらに、リモートブレイン２から警備会社の警備システムに異常を通報してもよい。

マイクロホン１０９は、周囲の音（例えば、利用者が発した音声）を収集して、電気信号に変換するデバイスである。マイクロホン１０９は、無指向性でも、指向性を有してもよい。指向性マイクロホンを使用すると、音の到来方向から話者の位置を特定でき、話者の方向に、所定の画像を表示することによって、対話端末１が話者と向き合ってコミュニケーションするように制御できる。

出力部１１０は、スピーカ１１１、制御部１０１からの信号を表示装置１１２など各種出力デバイスに送るインターフェースである。

スピーカ１１１は、制御部１０１が発生した電気信号から変換した音（例えば、利用者にかける言葉、アラーム音など）を発生するデバイスである。

表示装置１１２は、対話端末１の一部（又は全部）の表面に所定の画像を映す装置であり、利用者と、より密なコミュニケーションをとるために使用される。例えば、対話端末１の表面を光透過型（例えば、半透明）の樹脂材料で形成し、対話端末１の内部に投影装置を設ける。そして、投影装置が対話端末１の内表面に画像を投影することによって、利用者が対話端末１の表面に表わされた画像を視認できる。また、対話端末１の表面の一部に液晶表示装置を設け、当該液晶表示装置に所定の画像を表示してもよい。なお、表示装置１１２は液晶表示装置ではなく、対話端末１の表面に画像を表示できるものであればよい。

例えば、対話端末１の球体部１１（図１０参照）に目を模した模様１９を表示する。また、対話端末１は、利用者が所望する画像を通信回線３を経由して取得し、表示装置１１２に出力するプロジェクション機能を有してもよい。

駆動装置１１３は、対話端末１の部分を動かすための駆動装置であり、例えば、図４に示す球体部１１を回動させたり、対話端末１の基部１２を傾けたりする。具体的には、制御部１０１からの指令信号によって動作するステッピングモータやソレノイドを設け、筐体の一部を動作させるとよい。また、駆動装置１１３は、対話端末１を移動させる走行部を含んでもよい。例えば、制御部１０１からの指令信号によって回転する車輪を底面に設けたり、複数本の脚で走行部を構成して、脚の動きによって歩行してもよい。

対話端末１は、付加機能ユニット１１４を有してもよい。例えば、図１１に示すように、対話端末１の基部１２の下に投薬ユニット１４を取り付ける。投薬ユニット１４は、所定の時間になると服用すべき薬が取り出せるように制御される。

図４から図１６は、対話端末１の外観を示す図であり、図４は消灯時の対話端末１の正面視、図５は、点灯時の対話端末１の正面視を示す。また、図６は、対話端末１の外観を示す六面図である。図６のうち、（Ａ）は正面図、（Ｂ）は背面図、（Ｃ）は左側面図、（Ｄ）は右側面図、（Ｅ）は平面図、（Ｆ）は底面図である。図７は、対話端末１の透光性素材からなる部分を示す参考正面図であり、図８は、対話端末１の外観を示す参考斜視図であり、図９は、対話端末１のＡ−Ａ’断面図である。断面図の切断位置は、図６の（Ｂ）背面図に示す。図１０は、表示状態の対話端末１の外観を示す正面図である。

対話端末１は、基部１２と、基部１２の上方に設けられる球体部１１とで構成される。なお、対話端末１の外観は一例であり、他の形状（例えば、動物の形状）でもよい。

球体部１１は、図７のハッチングで示す部分が光を透過する材料（樹脂やガラス）で構成されており、球体部１１の内部に設けられた発光装置１０５を点灯することによって、図４に示す消灯状態から図５に示す点灯状態に切り替えることができる。点灯状態の対話端末１は、ルームライトとして使用できる。基部１２内の発光装置１０５からは上方に光が放射され、球体部１１の内面を照射する。図９において網目のハッチングで示した範囲が光の照射範囲である。なお、図９には、発光装置１０５が表示装置１１２の光源と共用される例を示したが、表示装置１１２と別に設けてもよい。

基部１２は、制御部１０１、記憶部１０２、画像生成部１０３、通信インターフェース１０４、発光装置１０５、入力部１０６、カメラ１０７、センサ１０８、マイクロホン１０９、出力部１１０、スピーカ１１１及び表示装置１１２を収容する。基部１２の正面には、カメラ１０７が周囲を撮影するための光を導入する穴１３が設けられており、穴１３には透明の樹脂材料が取り付けられている。なお、穴１３からセンサ１０８が周囲の人を検出してもよく、マイクロホン１０９が周囲の音を収集してもよい。

また、球体部１１の内面には、表示装置１１２によって画像が投影され、利用者が、投影された画像を対話端末１の外部から視認できる。例えば、図１０、図１１に示すように、目を模した模様１９を球体部１１に表示することによって、球体部１１を顔に模して目１９によって表情を作ることができる。対話端末１は、利用者からの呼びかけや利用者への問いかけに伴って、目１９を表示し、表情を作る。この目１９は球体部１１上を移動して、また形を変えて表示される。また、目の他に口を表示してもよい。なお、表情の例は図３９を用いて後述する。

また、図１０に示すように、球体部１１が基部１２に対して回動可能に構成してもよい。球体部１１の回動によって、投影された画像と球体部１１に描かれた画像との位置関係を変えて、利用者と、より密なコミュニケーションを取ることができる。

また、対話端末１には付加ユニット１４を取り付けることができる。

図１１は、付加ユニット（投薬ユニット１４）を取り付けた対話端末１の正面視を示す。また、図１２は、対話端末１の外観を示す六面図である。図１２のうち、（Ａ）は正面図、（Ｂ）は背面図、（Ｃ）は左側面図、（Ｄ）は右側面図、（Ｅ）は平面図、（Ｆ）は底面図である。図１３は、対話端末１の透光性素材からなる部分を示す参考正面図であり、図１４は、対話端末１の外観を示す参考斜視図であり、図１５は、投薬ユニット１４のトレー１５が開いた状態の対話端末１の外観を示す参考斜視図であり、図１６は、対話端末１のＢ−Ｂ’断面図である。断面図の切断位置は、図１２の（Ｂ）背面図に示す。

例えば、図１１に示すように、基部１２の下に取り付けられた投薬ユニット１４は、制御部１０１の制御によって開放されるトレー１５を有する。トレー１５には、利用者が服用する薬剤を格納する凹部１６が設けられる。トレー１５が開くと、利用者は、投薬ユニット１４から服用すべき薬が取り出せる。また、投薬ユニット１４は、トレー１５内の薬の有無を検出するセンサを有し、センサが計測した重さや画像によって、トレー１５から薬が取り出されたことを検出すると、トレー１５が閉まる。

投薬ユニット１４の内部には、服用すべき薬剤が格納される格納領域１７が設けられており、所定の服用時刻に所定の服用量だけの薬が取り出せるように制御される。投薬ユニット１４は、格納領域１７に格納される薬剤の全てが服用される前（例えば、１週間毎などの定期的）に交換されるとよい。

図１７から図２２は、投薬ユニット１４の外観を示す図である。図１７は、投薬ユニット１４の外観を示す六面図である。図１７のうち、（Ａ）は正面図、（Ｂ）は背面図、（Ｃ）は左側面図、（Ｄ）は右側面図、（Ｅ）は平面図、（Ｆ）は底面図である。図１８は、投薬ユニット１４の外観を示す参考斜視図であり、図１９は、投薬ユニット１４のＣ−Ｃ’断面図である。断面図の切断位置は、図１７の（Ｂ）背面図に示す。また、図２０は、トレー１５が開いた状態の投薬ユニット１４の外観を示す六面図である。図２０のうち、（Ａ）は正面図、（Ｂ）は背面図、（Ｃ）は左側面図、（Ｄ）は右側面図、（Ｅ）は平面図、（Ｆ）は底面図である。図２１は、トレー１５が開いた状態の投薬ユニット１４の外観を示す参考斜視図であり、図２２は、トレー１５が開いた状態の投薬ユニット１４のＤ−Ｄ’断面図である。断面図の切断位置は、図２０の（Ｂ）背面図に示す。

図１３、図１４に示すように、投薬ユニット１４は対話端末１の基部１２の下部に取り付けられる。図１８に示すように、投薬ユニット１４の上面には、対話端末１の下面に設けられた端子１８Ａと接続する端子１８Ｂが設けられる。投薬ユニット１４には、端子１８Ａ、１８Ｂを介して電源が供給される。また、端子１８Ａ、１８Ｂを介して、制御部１０１が投薬ユニット１４と通信してもよい。制御部１０１と投薬ユニット１４とは、近距離無線（例えば、ブルートゥース（登録商標））によって通信してもよい。

図１９、図２２に示すように、投薬ユニット１４の下面には他の付加ユニットと接続するための端子１８Ｃが設けられる。投薬ユニット１４は、対話端末１から供給された電源を、端子１８Ｃを介して、他の付加ユニットに供給する。

すなわち、対話端末１は、主に家庭で使用され、利用者と対話するロボットである。また、基部１２の上方に設けられる球体部１１が発光する。さらに、基部１２の上方に設けられる球体部１１に顔を模した模様が表示される。基部１２の下部には付加ユニット（投薬ユニット１４）が取り付け可能である。

図７、図１３に示す参考正面図において、斜線を施した部分は光透過性を有する。図９、図１６に示す断面図において、基部１２に設けられた発光装置１０５から上方の網目のハッチングで示した範囲が光の照射範囲である。

付加ユニット（投薬ユニット１４）は、対話端末１の基部１２の下部に取り付けられ、トレー１５を有する。トレー１５は、付加ユニット１４の内部に収容されているが、図１５、図２０、図２１、図２２に示すように、付加ユニット１４から突出する。

図２３は、リモートブレイン２を構成する利用者情報制御・管理装置２０の構成を示す図である。

利用者情報制御・管理装置２０は、制御部２０１、分析部２１１、記憶部２２１及び通信インターフェース２３１を有し、プロセッサ、メモリ及び記憶装置を有する計算機によって構成される。メモリに格納されたプログラムをプロセッサ（例えば、主制御プログラム、人工知能プログラム、対話プログラム等）が実行することによって、制御部２０１及び分析部２１１の機能を発揮する。

メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

制御部２０１は、主制御部２０２、Ｅコマースインターフェース部２０３及びヘルスケアインターフェース部２０４を含む。主制御部２０２は、利用者情報制御・管理装置２０の全体の動作を制御する。例えば、利用者毎のイベントを検出し、外部サービスとのインターフェースを起動する。Ｅコマースインターフェース部２０３は、Ｅコマースシステム４と接続し、利用者にＥコマースサービスを提供するインターフェースである。ヘルスケアインターフェース部２０４は、ヘルスケアサービスシステム４と接続し、利用者にヘルスケアサービス（例えば、投薬管理）を提供するインターフェースである。

分析部２１１は、人工知能２１２、対話エンジン２１３及び行動判定部２１４を含む。

人工知能２１２は、入力されたデータを学習し、学習結果に基づいた推論によって結果を導出する。本実施例では、人工知能２１２は、対話エンジン２１３の一部を構成し、利用者の発話を分析し、応答を作成する。また、人工知能２１２は、行動判定部２１４の一部を構成し、過去と異なる発言や行動を検出したり、認知症の疑いの有無を判定する。

対話エンジン２１３は、利用者との対話を制御する。すなわち、対話エンジン２１３は、利用者の発話を分析し、応答を作成する。対話エンジン２１３は、複数のレベルの対話パターンを含むとよい。例えば、通常のレベル、認知症の疑いがあるレベル、認知症が進行したレベルなどである。行動判定部２１４は、利用者の対話や行動を分析し、利用者の行動レベルを判定する。例えば、行動判定部２１４は、認知症の疑い、認知症のレベルを判定する。

記憶部２２１は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。記憶部２２１は、プログラムの実行時にアクセスされるデータを格納する。また、記憶部２２１は、分析部２１１が実行するプログラムを格納してもよい。この場合、プログラムは、記憶部２２１から読み出されて、メモリにロードされて、プロセッサによって実行される。具体的には、記憶部２２１は、対話エンジン用データベース、利用者情報データベース及びサービス情報データベースを格納する。

対話エンジン用データベースは、利用者毎の対話端末１の情報が記録されるロボット情報２２２を含む。ロボット情報２２２の詳細は、図２４を参照して後述する。

利用者情報データベースは、サービス利用情報２２３及び利用者情報２２４を含む。サービス利用情報２２３は、利用者がサービスを利用した履歴を記録する。サービス利用情報２２３の詳細は、図２５、図２６を参照して後述する。利用者情報２２４は、利用者情報２２４Ａ、登録サービス情報２２４Ｂ及びアイデンティティ情報２２４Ｃを含む。利用者情報２２４Ａは、図２７に示すように、利用者を特定可能な個人情報を記録する。登録サービス情報２２４Ｂは、図２８に示すように、利用者が利用の登録をしているサービスの情報を記録する。アイデンティティ情報２２４Ｃは、図２９に示すように、利用者の個人的な属性を記録する。

サービス情報データベース２２５は、図示を省略するが、前述したサービス利用情報２２３の全利用者分のデータで構成される。すなわち、サービス利用情報２２３は、サービス情報データベース２２５から利用者毎のデータを抽出したものである。

サービス情報データベース２２５は、外部システム４が保有するサービス情報データベース４２５と同期しており、サービス情報データベース４２５の更新に伴い、サービス情報データベース２２５が更新される。例えば、図２６に示すサービス利用情報（ヘルスケアサポート）２２３は、ヘルスケアサービスシステム４が保有するサービス情報データベース４２５から取得したデータを格納する。

通信インターフェース２３１は、所定のプロトコルに従って、他の装置（例えば、対話端末１）との通信を制御するネットワークインターフェースデバイスである。

利用者情報制御・管理装置２０は、入力インターフェース及び出力インターフェースを有してもよい。入力インターフェースには、例えば、キーボードやマウスなどが接続され、オペレータからの入力を受ける。出力インターフェースには、ディスプレイ装置やプリンタなどが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力する。

利用者情報制御・管理装置２０のプロセッサが実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して利用者情報制御・管理装置２０に提供され、非一時的記憶媒体である不揮発性の記憶部２２１に格納される。このため、利用者情報制御・管理装置２０は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

利用者情報制御・管理装置２０は、複数の物理的計算機資源上に構築されたクラウド上の仮想計算機であり、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムで動作するものでもよい。

図２４は、ロボット情報２２２の一例を示す図である。

ロボット情報２２２は、利用者毎の対話端末１の情報を記録し、固体ＩＤ、オーナー、利用中の対話エンジン、連携しているサービス、会話履歴、応答した表情のパターンと回数、及び分析履歴のデータフィールドを含む。

固体ＩＤは、対話端末１に一意に付与された識別情報である。オーナーは、当該対話端末１の利用者である。

利用中の対話エンジンは、当該対話端末１で利用されている対話エンジン２１３のレベルである。対話エンジンは、レベル毎に、認知症の疑いのしきい値、判定条件及び会話パターンが定められており、対話エンジン２１３のレベルによって、利用者との会話及び会話の文脈に応じた応答のパターンが異なる。例えば、対話エンジン２１３のレベルには、通常の会話の他、認知機能低下を抑制させる複数のレベルがあり、当該レベルの対話エンジン２１３では、認知症の進行を抑制する効果がある対話（質問、返答、呼びかけ等）を含めるように制御する。対話エンジン２１３は、利用者の状態の分析結果（例えば、認知機能の状態）によって、そのレベルが変更される。すなわち、会話の内容や他のサービスの利用状況などを総合しら分析によって、認知症の兆候があるかを判定し、認知機能が低下していると判定されると、対話エンジン２１３が認知機能に適したレベルに変更される。

連携しているサービスは、当該対話端末１によって利用できる外部サービスである。会話履歴は当該対話端末との対話の履歴であり、最後に会話した日（又は日時）が記録される。会話記録は、会話の時系列の履歴でもよい。また、会話記録が会話の詳細を含むように記録してもよい。会話の詳細は、マイクロホン１０９が収集した音データや話者の表情を写した動画像データ（音声付き）でもよい。また、音データを解析したテキストデータでもよい。テキストデータから当該会話を特徴付ける単語（例えば、いちご、ストロベリーパイ、バター等）を抽出して、会話の詳細データをタグ付けするとよい。

応答した表情のパターンと回数は、当該対話端末１が、利用者の対話の応答時に表示された画像のパターンと回数であり、対話端末１が応答した表情が記録される。分析履歴は、当該対話端末１の利用者の状態を分析した日である。

図２５は、サービス利用情報（Ｅコマース）２２３の一例を示す図である。

サービス利用情報（Ｅコマース）２２３は、各利用者がＥコマースサービスを利用した履歴を記録し、利用日時、Ｅコマース会社名、注文内容、個数、配達予定時刻、配達業者、ドライバ、及び注配／配達状況のデータフィールドを含む。

利用日時は、利用者がＥコマースサービスを利用した日時である。図では年月日を記録しているが、時刻まで記録してもよい。Ｅコマース会社名は、Ｅコマースサービスを提供する会社名である。注文内容及び個数は、それぞれ購入した商品名及び数量である。配達予定時刻は、商品の配達予定時刻である。配達業者及びドライバは、それぞれ商品を配達する業者名及びドライバの名前である。注配／配達状況は、商品の注文から配達までの構成手進捗状況である。

図２６は、サービス利用情報（ヘルスケアサポート）２２３の一例を示す図である。

サービス利用情報（ヘルスケアサポート）２２３は、各利用者がヘスケアサポートサービスを利用した履歴を記録し、利用日時、薬品名、投薬判定、医師との会話、担当主治医、薬剤師、及び服薬時間のデータフィールドを含む。サービス利用情報（ヘルスケアサポート）２２３は、投薬ユニット１４の交換履歴を含んでもよい。

利用日時は、利用者がヘルスケアサービスを利用した日時である。図では年月日を記録しているが、時刻まで記録してもよい。薬品名は、利用者が服用すべき薬品名である。投薬判定は、利用者が当該日時に薬を服用したかを示す。なお、本システムでは、薬を飲み忘れた場合、次の投薬タイミングで医師と会話するように促すとよい。医師との会話は、前述した飲み忘れに対して医師と会話をしたかを記録する。担当主治医及び薬剤師は、それぞれ主治医及び薬剤師の名前である。服薬時間は、薬を服用した時刻である。

例えば、図示した２行目のデータは、２０１７年２月２日に薬の服用を忘れて、医師と会話したことを示す。

図２７は、利用者情報２２４Ａの一例を示す図である。

利用者情報２２４Ａは、利用者を特定可能な個人情報を記録し、ＩＤ、氏名、性別、年齢、住所、連絡先、保証人、支払い、及び利用期間のデータフィールドを含む。

ＩＤは、利用者を一意に識別可能な識別情報である。氏名、性別、年齢、住所、及び連絡先は、それぞれ利用者の氏名、性別、年齢、住所、及び電話番号である。保証人は、利用者に代わって諸手続を行う権限を付与された者である。支払いは、当該コミュニケーションシステムの利用料金を支払う方法である。利用期間は、当該コミュニケーションシステムの利用期間である。

図２８は、登録サービス情報２２４Ｂの一例を示す図である。

登録サービス情報２２４Ｂは、利用者が利用の登録をしているサービスの情報を記録し、利用サービスプラン、利用状況（頻度）、利用期間、及び月額利用料のデータフィールドを含む。利用サービスプランは、利用者が当該サービスで利用しているプランである。利用状況（頻度）及び利用期間は、それぞれ利用者が当該サービスを利用している頻度及び期間である。月額利用料は、当該サービスの利用料である。

図２９は、アイデンティティ情報２２４Ｃの一例を示す図である。

アイデンティティ情報２２４Ｃは、利用者の個人的な属性を記録し、対話エンジン２１３が利用者との会話の話題（トピック）を探すために用いられる。アイデンティティ情報２２４Ｃは、趣味、特技、生活サイクル、性格、及びトレーニング結果のデータフィールドを含む。趣味及び特技は、それぞれ利用者の趣味及び性格である。生活サイクルは、利用者の起床時刻及び就寝時刻である、生活サイクルに、毎日定期的に行われる行動を記録してもよい。性格は、人工知能２１２が、ユーザとの会話から分析した利用者の性格である。トレーニング結果は、人工知能２１２が、ユーザとの会話を分析する上で生じた事項である。

アイデンティティ情報２２４Ｃのうち、趣味、特技、及び生活サイクルは、ユーザが対話端末１を使い始める際に入力する。アイデンティティ情報２２４Ｃのうち、趣味、特技、生活サイクル、性格、及びトレーニング結果は、利用者情報制御・管理装置２０が利用者の会話や行動（注文履歴、カメラ画像など）を分析した結果を記録する。すなわち、趣味、特技、及び生活サイクルは、利用者によって初期値が入力され、人工知能２１２が分析した結果で更新される。

また、アイデンティティ情報２２４Ｃ（特に、趣味、特技）は、過去の事項も保存しておき、利用者に過去の出来事を思い出させる会話のトピックとして用いられる。

次に、対話端末１や利用者情報制御・管理装置２０が実行する処理を説明する。

図３０は、メイン処理のフローチャートである。メイン処理のステップ３０１〜３０２は対話端末１で実行され、ステップ３０３以後は利用者情報制御・管理装置２０で実行される。

対話端末１は、休止モードでは、ライトを消灯し、表情を表示しない状態で、センサ１０８が対話端末１の周囲の人の有無を監視する（３０１）。

対話端末１が、周囲の人を検出すると待機モードに移行し、カメラ１０７及びマイクロホン１０９を起動し、周囲の映像及び音声の収録を開始する。収録された映像及び音声は利用者情報制御・管理装置２０に送信される（３０２）。

主制御部２０２は、対話端末１が待機モードに移行したことを検出すると、ハンドオーバ処理（図３１）を起動し、対話端末１から送信された映像及び音声を分析して、利用者の近傍にある対話端末１を判定する（３０３）。

主制御部２０２は、対話端末１から送信された音声を分析した結果、言語「ライト」を認識すると、該対話端末１に照明点灯を指示する（３０４）。また、主制御部２０２は、対話端末１から送信された画像を分析した結果、ライトを点灯するジェスチャーを検出すると、該対話端末１に照明点灯を指示してもよい。対話端末１は、照明点灯指示を受けると、発光装置１０５を点灯する。なお、対話端末１にタッチセンサを設け、利用者による対話端末１への接触をタッチセンサが検出すると、照明を点灯してもよい。

主制御部２０２は、予め設定された投薬時間が到来すると、投薬管理処理（図３２）を起動する（３０５）。投薬管理処理では、ヘルスケアインターフェース部２０４が、投薬時間を報知し、利用者に薬の服用を促す。

主制御部２０２は、対話端末１から送信された音声を分析した結果、商品購入意思を検出すると、Ｅコマース処理（図３３）を起動する（３０６）。Ｅコマース処理では、Ｅコマースインターフェース部２０３が、利用者のＥコマースによる商品の購入をサポートする。

主制御部２０２は、対話端末１から送信された音声を分析した結果、対話端末１への呼びかけを認識すると、会話処理（図３４）を起動する（３０７）。具体的には、対話端末１と対話エンジン２１３を接続し、利用者が対話エンジン２１３と会話可能な状態にする。

以上に説明したものの他、利用者情報制御・管理装置２０は、利用者の様々なアクション（発話、行動など）を検出して、該アクションに対応する処理を起動してもよい。

図３１は、ハンドオーバ処理のフローチャートである。

ハンドオーバ処理では、近傍に人を検出した対話端末１から送信された映像及び音声を分析して、利用者の近傍にある対話端末１を判定する。

まず、主制御部２０２は、待機モードに移行した対話端末１がから送信された映像及び音声を分析して、該対話端末１が検出した人が利用者であるかを判定する（３１１）。具体的には、撮影された画像の顔認識や、収集された音声の声紋解析によって個人を判定できる。

検出した人が利用者である場合、当該対話端末１は待機モードに移行するように（又は、待機モードを維持するように）制御する（３１２）。対話端末１は、カメラ１０７及びマイクロホン１０９による周囲の映像及び音声の収録を続ける。

利用者が他の対話端末１で検出された場合、以前に利用者を検出していた対話端末１を休止モードに移行する（３１３）。

このように、複数の対話端末１が利用者の移動を追跡するので、アクティブな対話端末１が常に利用者の近傍に存在し、利用者と常にコミュニケーションできるようになる。

図３２は、投薬管理処理のフローチャートである。

主制御部２０２が、所定の服用時刻の到来を検出すると、ヘルスケアインターフェース部２０４を起動して投薬管理処理を実行し、利用者による薬剤の服用をサポートする。この薬剤服用サポートの様子は図３８に示す。

すなわち、ヘルスケアインターフェース部２０４は、利用者への会話を発し投薬時間を報知して、トレー１５を開く（３２１）。そして、利用者が薬をトレー１５から取り出したことを検出すると、ヘルスケアインターフェース部２０４はトレー１５を閉め（３２２）、サービス利用情報（ヘルスケアサポート）２２３の投薬判定及び服薬時刻を記録する（３２３）。

なお、他の対話端末１に薬が格納されている場合、どの場所で薬が提供されるかを案内するとよい。また、全ての対話端末１に薬を格納しておき、利用者の近傍の対話端末１が服薬時刻を報知し、薬を提供してもよい。

図３３は、Ｅコマース処理のフローチャートである。

利用者がＥコマースを利用する場合、商品の発注を対話端末１に語りかける。対話エンジン２１３が、利用者の発話がＥコマースの利用だと判定すると、Ｅコマースインターフェース部２０３を起動してＥコマース処理を実行し、利用者の買い物をサポートする。この買い物サポートの様子は図３６（Ａ）に示す。

すなわち、Ｅコマースインターフェース部２０３は、利用者の発話に基づいて、注文を受け（３３１）、利用者が契約しているＥコマースシステム４へ接続し、商品を発注する（３３２）。そして、Ｅコマースインターフェース部２０３は、注文内容や注文回数などの行動パターンをロボット情報２２２及びサービス利用情報（Ｅコマース）２２３に記録する（３３３）。サービス利用情報（Ｅコマース）２２３は、Ｅコマースシステム４から収集したデータによって更新してもよい。

図３４は、会話処理のフローチャートである。

対話エンジン２１３は、利用者との対話の文脈を分析し（３４１）、分析した文脈に基づいて、次の会話のトピックを選択し（３４２）、選択されたトピックを対話端末１に送信し、ユーザに発話する（３４３）。その後、対話エンジン２１３は、対話端末１が捕捉した利用者の返答を受けると（３４４）、過去の会話や文脈から次の発言を選択し、選択された発言を対話端末１に送信し、ユーザに発話する（３４５）。以上の対話エンジン２１３による一連の処理において、利用者の発言を保存し、発言の内容を分析して、対話端末１の次のアクション（発話、表情）を判定する。

図３５は、行動判定処理のフローチャートである。

行動判定処理は、予め定められた所定のタイミングで主制御部２０２が行動判定部２１４を起動することによって実行する。例えば、行動判定処理を月に１回実行して、利用者の認知症のレベルを判定するとよい。

まず、行動判定部２１４は、記録された発言パターンや行動パターンを参照し、過去と異なる発言や行動を検出する（３５１）。具体的には、過去の発言を様々な観点で特徴量化し、現在の発言の特徴量と比較し、特徴量の差が所定の閾値を超えた場合、過去と異なる発言であると判定する。同様に、行動の特徴量を用いて、過去と異なる行動も検出する。行動は、対話端末１のカメラ１０７が取得した画像やＥコマースインターフェース部２０３を経由した商品の発注状況によって分析できる。例えば、検出される事象は、発話回数の減少、繰り返しの発話、同じ商品の発注の繰り返しなどである。

その後、行動判定部２１４は、過去と異なる発言や行動を、過去の発話パターン、健康状態、及び他のユーザの類似行動と照合し、認知症の疑いの有無を判定する（３５２）。例えば、検出される事象として、発話回数の減少、繰り返しの発話の多発などが検出された場合、認知症の疑いがあると判定する。

行動判定部２１４は、認知症の疑いがあると判断された場合、対話エンジン２１３を認知機能低下を抑制させるレベルに切り替え、日々の対話の中に抑制の効果がある質問や返答、呼びかけを含めるように制御する（３５３）。

その後、行動判定部２１４は、対話内容から、認知機能の低下を判定し（３５４）、判定された認知機能のレベルに対話エンジン２１３を切り替える（３５５）。

一方、認知症の疑いがないと判断された場合、通常の生活支援を継続して行う（３５６）。

このように、行動判定処理では、利用者のレベルを判定し、利用者のレベルに適するように、対話端末１の役割を変化させる。この行動判定処理による対話端末１の役割の変化の様子は図３６、図３７に示す。

以上、行動判定処理で認知症のレベルを判定する例を説明したが、他の種類の行動を判定して、生活サポートのレベルを変更してもよい。

図３６（Ａ）は、買い物サポートの様子を示す図である。

対話端末１が利用者からの問いかけを検出すると、目の画像を表示し、利用者への応対が可能なことを知らせる。そして、利用者から「リンゴ３個とバターを一箱買ってちょうだい。」と問いかけられると、利用者の発話がＥコマースの利用だと対話エンジン２１３が判定し、Ｅコマースインターフェース部２０３を起動する。Ｅコマースインターフェース部２０３は、利用者が契約しているＥコマースシステム４へ接続し、商品を発注する。そして、Ｅコマースインターフェース部２０３は、Ｅコマースシステム４からの回答（注文の諾否、配送予定など）を対話エンジン２１３からユーザに伝える。

図３６は、行動判定処理による対話端末１の役割の変化の契機の例を示す図である。

図３６（Ａ）は、Ｅコマースの利用シーンであり、１０時にリンゴ３個とバターを一箱が購入されている。

図３６（Ｂ）は、図３６（Ａ）から４時間後の１３時のＥコマースの利用シーンであり、利用者がリンゴ３個の購入を要求している。対話エンジン２１３は、１日に複数回同じ商品を注文していると判定し、通常の処理のように、Ｅコマースインターフェース部２０３を起動することなく、「今朝もリンゴ買ったけど、誰かにプレゼントするの？」と返答し、注文が重複しているか、追加で必要なのかを確認する。そして、追加の注文であることが確認できると、Ｅコマースインターフェース部２０３を起動して、商品をへ発注する。

一方、注文が重複していると判定されると、当該会話履歴を行動判定部２１４に送り、当該重複した注文を分析し、行動の変化であるかを判定する。例えば、所定の時間内に重複した注文を複数回検出した場合、利用者に認知症の疑いがあると判定できる。

図３７は、認知機能低下の抑制の例を示す図である。

図３７（Ａ）に示すように、会話が少ない利用者には、会話の契機となる発話を行って、利用者を会話に誘導する。例えば、利用者が過去に頻繁にクロワッサンを焼いていたという行動が記録されている場合、利用者が料理本を何となく見ている時に、「ねえ、今度クロワッサンを焼いてみようよ」と、過去の行動を思い出させて、同じ行動を行わせるとよい。そして、クロワッサンの作り方のページを見るように誘導できる。

また、図３７（Ｂ）に示すように、思考を巡らせるトレーニングを提案してもよい。例えば、図３７（Ａ）に示す対話に続いて、対話端末１が「何を買っておいたらいい？」と発話し、クロワッサンを焼くために必要なものを利用者に考えさせ、思考を巡らせる契機を作るとよい。

さらに、図３７（Ｃ）に示すように、不足する情報をサポートしてもよい。例えば、対話端末１からの「何を買っておいたらいい？」との問いかけに対して、利用者の返事が曖昧だったり不足している場合、利用者が失念している又は欠落している情報を対話端末１が提案し、利用者の生活をサポートする。その後、対話端末１は、利用者の行動を見守り続ける。

このように、利用者のサポートによって、対話により認知機能の低下を抑制し、利用者の次のアクションを導出できる。

図３８は、投薬管理の様子を示す図である。

図３８（Ａ）に示すように、主制御部２０２が、所定の服用時刻の到来を検出すると、ヘルスケアインターフェース部２０４を起動する。ヘルスケアインターフェース部２０４は、「１２時です。お薬を飲んでね。今日の薬は薬品Ａが１錠、薬品Ｂが２錠だよ。」と利用者へ問いかけて、投薬時間の到来、服用する薬の種類及び数を報知して、トレー１５を開く。そして、利用者が薬をトレー１５から取り出したことを検出すると（図３８（Ｂ））、ヘルスケアインターフェース部２０４はトレー１５を閉める。

図３９は、対話端末１の表情の例を示す図である。

［Ａ］は、対話端末１が、周囲の人を検出した待機モードから、対話端末に呼びかけがあった、または対話端末からの発話をするモードに移行した状態の対話端末１の表情を示す。［Ａ］に示す状態では、目の周りの模様が短時間で様々に（例えば、ランダムに）変化する。その後［Ｆ］に示すように、起動音と共に目が表示され、［Ｄ］の定常状態となる。［Ｄ］定常状態からは、［Ｂ］挨拶をする表情、［Ｃ］お礼を言う表情、［Ｅ］了解の表情、［Ｇ］考え中の表情、［Ｈ］お願いする表情、［Ｉ］眠い表情、［Ｊ］対話が終了し、待機モードに移行する無表情などを、利用者や対話端末１の状態に応じて切り替えて表示する。例えば、［Ｇ］考え中の表情は、対話端末１が受けた利用者からの問いかけに対して、リモートブレイン２から応答を受けるまでの間に表示される。このように、対話端末１は、目の周りの模様を様々に変化して利用者とコミュニケーションする。

以上に説明したように、本発明の実施例によると、リモートブレイン２は、対話端末１が収集した音及び画像の少なくとも一つを解析して、利用者の状態を判定し、判定された利用者の状態に応じて、対話エンジン２１３の動作レベルを変更するので、利用者の状態に適する対話を提供できる。これにより、同じ対話端末１を長期間使用する動機づけができる。また、利用者が危険な状態になったときに、警告を発することができる。

また、利用者に認知症の疑いがあると判定されると、対話エンジン２１３は、利用者の認知症の進行を抑制する会話パターンに動作レベルを変更するので、昔の記憶を思い出させて、病状の進行を抑制できる。特に、利用者の発話回数の増加を促すことができる。

また、リモートブレイン２は、対話端末１の周囲に人が検出されると、当該対話端末が収集した音及び画像の少なくとも一つを解析して、検出された人が予め登録された利用者であるかを判定し、利用者が検出された対話端末１のマイクロホン１０９及びカメラ１０７を動作させて音及び画像を収集し、利用者が検出されていない対話端末１のマイクロホン１０９及びカメラ１０７を非動作状態に切り替えるので、各部屋に設置した複数の対話端末１で継続するサポートを利用者に提供できる。

また、対話端末１は、発光装置１０５を有するので、部屋に置いても違和感のないルームライトとして使用できる。また、対話端末１が収集した音及び画像の少なくとも一つから、発光装置１０５の点灯要求を検出すると、対話端末１が発光装置１０５を点灯させるので、利用者の音声やジェスチャーによって対話端末１を制御して、ルームライトを点灯、消灯できる。

また、対話端末１は、利用者が服用する薬剤を格納する投薬ユニット１４を有し、所定の時刻になると、投薬ユニット１４から薬剤が取り出し可能に（トレー１５を開くように）制御するので、利用者の薬の飲み忘れを防止できる。

また、リモートブレイン２は、対話端末１が収集した音及び画像の少なくとも一つを解析して、利用者の状態を時系列に記録し、前記利用者の状態に応じて、対話端末１の機能を変化させるので、利用者の状態が変化しても、同じ対話端末１を使用し続けることができ、利用者が愛着を持って対話端末１を使用できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１ 対話端末
２ リモートブレイン
３ 通信回線（ネットワーク）
４ 外部システム
２０ 利用者情報制御・管理装置

Claims (2)

1. 利用者と会話する端末と、前記端末と通信可能な制御装置とを備えるコミュニケーションシステムであって、
   前記端末は、
   基部と、前記基部の上方に設けられ、光透過材料で構成される球体部とで構成され、
   周囲の音を収集するマイクロホンと、周囲の画像を撮影するカメラと、球体部を光らせるための可視光を放射する発光装置と、外部から視認可能な画像を前記球体部の内面に投影する表示装置とを有し、
   前記制御装置は、プログラムを実行するプロセッサと、前記プログラムを格納するメモリとを有し、
   前記制御装置は、
   前記端末が収集した音及び画像の少なくとも一つを解析して、利用者の状態を判定し、
   前記判定された利用者の状態に応じて、対話制御部の動作レベルを変更し、
   前記球体部は、前記発光装置の点灯によって、消灯状態から点灯状態に切り替え可能であり、
   周囲の人を検出すると待機モードに移行し、前記マイクロホン及び前記カメラを起動し、周囲の映像及び音声の収集を開始し、
   前記マイクロホンが収集した音声及び前記カメラが収集した画像を分析した結果、照明点灯指示を検出すると、前記発光装置を点灯することを特徴とするコミュニケーションシステム。
2. 請求項１に記載のコミュニケーションシステムであって、
   前記端末には、前記発光装置が前記表示装置の光源と共用又は別に設けられ、周囲の人を検出するセンサが設けられ、
   前記制御装置は、
   前記端末が待機モードに移行したことを検出すると、前記端末から送信された映像及び音声を分析し、前記端末が検出した人が利用者であるかを判定し、
   当該利用者が他の前記端末で検出された場合、以前に当該利用者を検出していた端末を、前記発光装置を消灯して、前記センサによって周囲の人を監視する休止モードに移行することを特徴とするコミュニケーションシステム。