JP7202836B2 - コミュニケーションシステム - Google Patents

Description

本発明は、コミュニケーションシステムに関する。

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１８－１５２８１０号公報）には、主に宅内において利用者の近くに設置されており、主に音声によって利用者とコミュニケーションをする、コミュニケーションロボットが開示されている。

特開２０１８－１５２８１０号公報

しかし、特許文献１に記載された技術では、宅内においてのコミュニケーションを想定しているため、利用者が宅外や宅内であってもコミュニケーションロボットと離れた場所に移動した場合、コミュニケーションロボットとコミュニケーションすることができない。

本発明は、利用者が宅外や宅内であってもコミュニケーションロボットと離れた場所に移動した場合でも、コミュニケーションロボットとコミュニケーションを行うことができることを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。
利用者と少なくとも映像を通じてコミュニケーションを行うコミュニケーション装置を備えたコミュニケーションシステムにおいて、
第１利用者と前記コミュニケーション装置とがコミュニケーションを実施している際に、前記第１利用者の存在を認識できなくなった場合に、前記第１利用者が所有している表示装置付きの第１携帯端末に対して、前記第１利用者とコミュニケーションを行うことを指示し、前記第１利用者と前記コミュニケーション装置とのコミュニケーションを停止し、
前記第１利用者とは異なる第２利用者が、停止中の前記コミュニケーション装置に対して起動命令を行った場合、前記第１携帯端末に対して、対話モード停止を指示し、
前記第１携帯端末から対話モード停止が了承された場合、前記第１利用者と前記第１携帯端末とのコミュニケーションを停止するとともに、前記第２利用者と前記コミュニケーション装置とのコミュニケーションを許可し、
前記第１携帯端末から対話モード停止が了承されない場合、前記第１利用者と前記第１携帯端末とのコミュニケーションを継続させるとともに、前記第２利用者と前記コミュニケーション装置とのコミュニケーションを不許可とすることを特徴とする。

本発明の一態様によれば、利用者が宅外や宅内であってもコミュニケーションロボットと離れた場所に移動した場合でも、コミュニケーションロボットとコミュニケーションを行うことができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の一実施例であるコミュニケーションシステムの構成図である。 対話端末の使用状態を示す図である。 消灯状態の対話端末の外観を示す正面図である。 点灯状態の対話端末の外観を示す正面図である。 表示状態の対話端末の外観を示す正面図である。 対話端末の表情の例を示す図である。 対話端末の構成を示すブロック図である。 利用者情報制御・管理装置の構成を示す図である。 ロボット情報の一例を示す図である。 スマートフォンの使用状態を示す図である。 カーナビゲーションの使用状態を示す図である。 本発明の一実施例である対話端末のコミュニケーション処理を示すフローチャート図である。 本発明の一実施例である利用者が所有するスマートフォンのコミュニケーション処理に関するフローチャート図である。 本発明の一実施例である利用者が保有するカーナビゲーションにおけるコミュニケーション処理を示すフローチャート図である。 本発明の一実施例である対話端末のコミュニケーション処理を示すフローチャート図である。 本発明の一実施例である利用者が所有するスマートフォンのコミュニケーション処理に関するフローチャート図である。 本発明の一実施例である利用者が保有するカーナビゲーションにおけるコミュニケーション処理を示すフローチャート図である。

以下、図面等を用いて、本発明の実施例について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではない。本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能であり、下記の実施例の構成を適宜組み合わせることも当初から予定している。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

図１は、本発明の一実施例であるコミュニケーションシステムの構成を示す図である。

本実施例のコミュニケーションシステムは、コミュニケーションロボットである対話端末１、その他対話端末５０及びリモートブレイン２によって構成される。対話端末１は、対話端末１からの情報に基づいてリモートブレイン２が生成した指示に従って動作し、主に音声によって利用者とコミュニケーションする。対話端末１は、一人の利用者が複数を利用しても、一つを利用してもよい。対話端末１は常に利用者とコミュニケーションできるように、利用者が最も長く使用する居住スペースに配置することが望ましい。このため、利用者が複数の部屋を利用する場合は、部屋毎に対話端末１が設置されるとよい。

そして、この対話端末１は、後述する特定の利用者により予め決められた短文を音声入力すると起動して、この利用者と会話を行う。

対話端末１、その他対話端末５０とリモートブレイン２とは、通信回線３を介して接続される。通信回線３は、有線ネットワーク（例えば、イーサネット（登録商標））でも無線ネットワーク（例えば、近距離無線通信や無線ＬＡＮ）でも、その組み合わせでもよい。その他対話端末５０のうち携帯端末であるスマートフォン５１およびカーナビゲーション５２とリモートブレイン２との通信は無線ネットワークが望ましい。

リモートブレイン２は、対話端末１から周囲の情報（音声、画像など）を収集し、利用者とのコミュニケーションに関する指示を対話端末１に送信する利用者情報制御・管理装置２０で構成される。リモートブレイン２は、クラウド上の計算機によって構成されている。利用者情報制御・管理装置２０の詳細な構成は、図８を用いて後述する。

その他対話端末５０は、例えば後述するこのコミュニケーションシステムに係るアプリケーションをインストールしたスマートフォン５１やカーナビゲーション５２が含まれる。利用者はスマートフォン５１を常に携帯することから、例えば宅外といった対話端末１が設けられていない場所でも、利用者とコミュニケーションすることができる。カーナビゲーション５２は利用者が保有する車の中に配置されていることから、利用者が車を運転中または乗車中に、主に音声によって利用者とコミュニケーションすることができる。本実施例ではその他対話端末５０としてスマートフォン５１やカーナビゲーション５２を挙げたがこれに限定されず、例えばテレビといった利用者５０とコミュニケーションを取ることが可能な電子機器であればよい。

図２は、対話端末１の使用状態を示す図である。対話端末１は、利用者がよく利用する居室内に設置され、利用者とコミュニケーションする。

図３から図５は、対話端末１の外観を示す図である。図３は、消灯時の対話端末１の正面図である。図４は、点灯時の対話端末１の正面図である。図５は、表示状態の対話端末１の外観を示す正面図である。

対話端末１は、基部１２と、基部１２の上方に設けられる球体部１１とで構成される。なお、対話端末１の外観は一例であり、他の形状（例えば、動物の形状）でもよい。

球体部１１は、光を透過する材料（樹脂やガラス）で構成されており、球体部１１の内部に設けられた後述する発光装置１０５を点灯することによって、図３に示す消灯状態から図４に示す点灯状態に切り替えることができる。点灯状態の対話端末１は、ルームライトとして使用できる。基部１２内の発光装置１０５からは上方に光が放射され、球体部１１の内面を照射する。

基部１２は、後述する制御部１０１、記憶部１０２、画像生成部１０３、通信インターフェース１０４、発光装置１０５、入力部１０６、カメラ１０７、センサ１０８、マイクロホン１０９、出力部１１０、スピーカ１１１及び表示装置１１２を収容する。基部１２の正面には、カメラ１０７が周囲を撮影するための光を導入する穴１３が設けられており、穴１３には透明の樹脂材料が取り付けられている。なお、穴１３からセンサ１０８が周囲の人を検出してもよく、マイクロホン１０９が周囲の音を収集してもよい。

また、球体部１１の内面には、表示装置１１２によって画像が投影され、利用者が、投影された画像を対話端末１の外部から視認できる。例えば、図５に示すように、目を模した模様１９を球体部１１に表示することによって、球体部１１を顔に模して表情を作ることができる。対話端末１は、利用者からの呼びかけや利用者への問いかけに伴って、模様１９を表示し、表情を作る。この模様１９は球体部１１上を移動して、また形を変えて表示される。また、模様１９として、目の他に口を表示してもよい。

図６は、対話端末１の表情の例を示す図である。

［Ａ］は、対話端末１が、周囲の人を検出した待機モードから、対話端末に呼びかけがあった、または対話端末からの発話をするモードに移行した状態の対話端末１の表情を示す。［Ａ］に示す状態では、目の周りの模様が短時間で様々に（例えば、ランダムに）変化する。その後［Ｆ］に示すように、起動音と共に目が表示され、［Ｄ］の定常状態となる。［Ｄ］定常状態からは、［Ｂ］挨拶をする表情、［Ｃ］お礼を言う表情、［Ｅ］了解の表情、［Ｇ］考え中の表情、［Ｈ］お願いする表情、［Ｉ］眠い表情、［Ｊ］対話が終了し、待機モードに移行する無表情などを、利用者や対話端末１の状態に応じて切り替えて表示する。例えば、［Ｇ］考え中の表情は、対話端末１が受けた利用者からの問いかけに対して、リモートブレイン２から応答を受けるまでの間に表示される。このように、対話端末１は、目の周りの模様を様々に変化して利用者とコミュニケーションする。

図７は、対話端末１の構成を示すブロック図である。

対話端末１は、制御部１０１、記憶部１０２、通信インターフェース１０４、入力部１０６、マイクロホン１０９、出力部１１０及びスピーカ１１１を有する。対話端末１は、画像生成部１０３及び表示装置１１２を有してもよい。さらに、対話端末１は、発光装置１０５、カメラ１０７、センサ１０８の少なくとも一つを有してもよい。

制御部１０１は、プログラムを実行するプロセッサによって構成される。記憶部１０２は、プログラムやデータを格納するメモリによって構成される。メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。メモリに格納されたプログラムをプロセッサが実行することによって、対話端末１が諸機能を発揮する。

画像生成部１０３は、表示装置１１２に表示する画像を生成する。すなわち、リモートブレイン２からの指示や各種入力デバイス（カメラ１０７、センサ１０８、マイクロホン１０９等）に入力された周囲の状況に従って、記憶部１０２に格納された画像パターンから表示装置１１２に表示する画像を選択する。例えば、対話端末１の球体部１１（図５参照）表示される目を模した模様１９を選択する。

通信インターフェース１０４は、所定のプロトコルを用いて、他の装置（例えば、リモートブレイン２を構成する利用者情報制御・管理装置２０）やスマートフォン５１およびカーナビゲーション５２と通信する。

発光装置１０５は、図４に示すように、対話端末１の上方に設けられる球体部１１を光らせるための可視光を放射する光源である。発光装置１０５は、後述する表示装置１１２として機能する投影装置（図示せず）の光源と共用してもよいし、表示装置１１２と別に設けてもよい。

入力部１０６は、カメラ１０７、センサ１０８、マイクロホン１０９などの入力デバイスからの信号を制御部１０１に送るインターフェースである。

カメラ１０７は、対話端末１の周囲の画像を撮影する。カメラ１０７が撮影する画像は、動画像でも、静止画像（例えば、１秒に１枚）でもよい。カメラ１０７が撮影した画像は、通信インターフェース１０４を介してリモートブレイン２に送られ、顔認識技術を用いて利用者を識別するために用いられる。カメラ１０７は、周囲の画像を撮影するために、半球を撮影できる魚眼カメラでも、２以上のカメラによって全球を撮影できるものでもよい。

センサ１０８は、対話端末１の周囲に人がいるかを検出する人感センサであり、赤外線や超音波や可視光画像などを用いて人を検知する。対話端末１は、対話端末１の周囲の環境を計測するセンサを有してもよい。例えば、温度、湿度などを測定し、測定結果を制御部１０１に送る。対話端末１が測定した温度が高温（例えば、３５度以上）になった場合、利用者が熱中症になる恐れがあるとして、利用者にエアコンをつけるよう促すようにしてもよい。

マイクロホン１０９は、周囲の音（例えば、利用者が発した音声）を収集して、電気信号に変換するデバイスである。マイクロホン１０９は、無指向性でも、指向性を有してもよい。指向性マイクロホンを使用すると、音の到来方向から話者の位置を特定でき、話者の方向に、所定の画像を表示することによって、対話端末１が話者と向き合ってコミュニケーションするように制御できる。なお、利用者が発した音声を分析して利用者が登録された利用者であることを認証する。

出力部１１０は、スピーカ１１１、制御部１０１からの信号を表示装置１１２など各種出力デバイスに送るインターフェースである。

スピーカ１１１は、制御部１０１が発生した電気信号から変換した音（例えば、利用者にかける言葉、アラーム音など）を発生するデバイスである。

表示装置１１２は、対話端末１の一部（又は全部）の表面に所定の画像を映す装置であり、利用者と、より密なコミュニケーションをとるために使用される。例えば、対話端末１の表面を光透過型（例えば、半透明）の樹脂材料で形成し、対話端末１の内部に投影装置を設ける。そして、投影装置が対話端末１の内表面に画像を投影することによって、利用者が対話端末１の表面に表わされた画像を視認できる。また、対話端末１の表面の一部に液晶表示装置を設け、当該液晶表示装置に所定の画像を表示してもよい。なお、表示装置１１２は液晶表示装置ではなく、対話端末１の表面に画像を表示できるものであればよい。

例えば、対話端末１の球体部１１（図５参照）に目を模した模様１９を表示する。また、対話端末１は、利用者が所望する画像を通信回線３を経由して取得し、表示装置１１２に出力するプロジェクション機能を有してもよい。

図８は、リモートブレイン２を構成する利用者情報制御・管理装置２０の構成を示す図である。

利用者情報制御・管理装置２０は、制御部２０１、分析部２１１、記憶部２２１及び通信インターフェース２３１を有し、プロセッサ、メモリ及び記憶装置を有する計算機によって構成される。メモリに格納されたプログラムをプロセッサ（例えば、主制御プログラム、人工知能プログラム、対話プログラム等）が実行することによって、制御部２０１及び分析部２１１の機能を発揮する。

メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

制御部２０１は、主制御部２０２を含む。主制御部２０２は、利用者情報制御・管理装置２０の全体の動作を制御する。例えば、利用者毎のイベントを検出し、外部サービスとのインターフェースを起動する。

分析部２１１は、人工知能２１２、対話エンジン２１３及び行動判定部２１４を含む。

人工知能２１２は、入力されたデータを学習し、学習結果に基づいた推論によって結果を導出する。本実施例では、人工知能２１２は、対話エンジン２１３の一部を構成し、利用者の発話を分析し、応答を作成する。また、人工知能２１２は、行動判定部２１４の一部を構成し、過去と異なる発言や行動を検出したりする。

対話エンジン２１３は、利用者との対話を制御する。すなわち、対話エンジン２１３は、利用者の発話を分析し、応答を作成する。対話エンジン２１３は、複数のレベルの対話パターンを含むとよい。例えば、通常のレベル、利用者が悲しいと感じているレベル、利用者が嬉しいと感じているレベルなどである。

行動判定部２１４は、利用者の対話や行動、画像を分析し、利用者の行動レベルを判定する。

記憶部２２１は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。記憶部２２１は、プログラムの実行時にアクセスされるデータを格納する。また、記憶部２２１は、分析部２１１が実行するプログラムを格納してもよい。この場合、プログラムは、記憶部２２１から読み出されて、メモリにロードされて、プロセッサによって実行される。

記憶部２２１は、利用者毎の対話端末１の情報が記録されるロボット情報保有部２２２、対話情報保有部２２３および利用者情報保有部２２４を含む。ロボット情報保有部２２２には、図９で後述するロボット情報２８０が保有されている。対話情報保有部２２３には、利用者との対話のログが保有されている。利用者情報保有部２２４は、利用者情報、登録サービス情報及びアイデンティティ情報を含む。利用者情報は、利用者を特定可能な個人情報を記録する。登録サービス情報は、利用者が利用の登録をしているサービスの情報を記録する。アイデンティティ情報は、利用者の個人的な属性を記録する。

通信インターフェース２３１は、所定のプロトコルに従って、他の装置（例えば、対話端末１）との通信を制御するネットワークインターフェースデバイスである。

利用者情報制御・管理装置２０は、入力インターフェース及び出力インターフェースを有してもよい。入力インターフェースには、例えば、キーボードやマウスなどが接続され、オペレータからの入力を受ける。出力インターフェースには、ディスプレイ装置やプリンタなどが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力する。

利用者情報制御・管理装置２０のプロセッサが実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介して利用者情報制御・管理装置２０に提供され、非一時的記憶媒体である不揮発性の記憶部２２１に格納される。このため、利用者情報制御・管理装置２０は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

利用者情報制御・管理装置２０は、複数の物理的計算機資源上に構築されたクラウド上の仮想計算機であり、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムで動作するものでもよい。

図９は、ロボット情報２８０の一例を示す図である。

ロボット情報２８０は、利用者毎の対話端末１の情報を記録し、個体ＩＤ、利用者ＩＤ、利用者名、スマホＩＤ、カーナビＩＤ、対話履歴、及び分析履歴のデータフィールドを含む。

個体ＩＤは、対話端末１に一意に付与された識別情報である。利用者は、当該対話端末１の利用者である。

利用者ＩＤは、対話端末１を利用する利用者ごとに割り振られたＩＤである。

スマホＩＤは、利用者が所有するスマートフォン５１といった携帯端末ごとに割り振られたＩＤである。

カーナビＩＤは、利用者が所有するカーナビゲーション５２ごとに割り振られたＩＤである。

対話履歴は当該対話端末との対話の履歴であり、最後に会話した日（又は日時）が記録される。対話記録は、対話の時系列の履歴でもよい。対話履歴に対応する対話の詳細データ（会話のログ）は、対話情報保有部２２３にて保有されており、マイクロホン１０９が収集した音データや話者の表情を写した動画像データ（音声付き）でもよい。また、音データを解析したテキストデータでもよい。テキストデータから当該会話を特徴付ける単語（例えば、いちご、ストロベリーパイ、バター等）を抽出して、会話の詳細データをタグ付けするとよい。

分析履歴は、当該対話端末１の利用者の状態を分析した日である。

以上が、対話端末１の説明である。このような対話端末１は、利用者がよく使用して長時間過ごす部屋におかれるため、図２に示すようにコミュニケーションを利用者と取ることが可能であるが、利用者が外出する場合、宅内にいるとしても他の部屋に移動した場合、利用者を認識することができなくなるので利用者とコミュニケーションをとることができなくなる。

本実施例では、対話端末１の表情が映像であること、およびコミュニケーションツールが音声であること、さらに利用者の多くはスマートフォンを携帯していることに着目して、利用者が対話端末を離れたことを検出して表情を本利用者が所有するスマートフォンに映すこととした。これにより、利用者は、コミュニケーションロボットが寄り添ってくれていることを実感するのである。

また、特に、利用者が自動車の運転を行う場合、利用者所有のスマートフォンを使用することができない。このような場合、利用者とのコミュニケーションをスマートフォンからカーナビゲーションに取らせるようにする。表情はスマートフォンからカーナビゲーションに移動し、カーナビゲーションのディスプレイに表情が映し出される。これにより、利用者は、コミュニケーションロボットが利用者に寄り添ってくれていると感じることができる。

図１０は、利用者が所有するスマートフォン５１の使用状態を示す図である。利用者はスマートフォン５１を常に携帯することから、例えば宅外であっても利用者とコミュニケーション可能である。なお、スマートフォン５１に表情が映し出されている（スマートフォン５１が利用者とコミュニケーションを行う権利がある状態）では、対話端末１は消灯され、表情は映し出されない。この機能によって、１台のコミュニケーションロボットが利用者に寄り添ってついてくる感を演出することができる。

図１１は、カーナビゲーション５２の使用状態を示す図である。カーナビゲーション５２は利用者が保有する車の中に配置されていることから、利用者が車を運転中または乗車中に、主に音声によって利用者とコミュニケーションすることが可能である。最近のカーナビゲーション５２は、利用者のスマートフォンを検出する機能が充実しており、スマートフォンが検出されると利用者とコミュニケーションを行う権利をスマートフォンからカーナビゲーションに移行させることで、より寄り添い感を演出することができる。

利用者がスマートフォン５１やカーナビゲーション５２を用いてコミュニケーションシステムとコミュニケーションをする場合は、図６に示す模様１９と同様の模様が、スマートフォン５１やカーナビゲーション５２の画面に映すこととする。これにより、利用者は対話端末１と会話する場合と同様に、愛着を持ってスマートフォン５１やカーナビゲーション５２を介してコミュニケーションシステムとコミュニケーションできる。

なお、詳しくは後述するが、利用者が対話端末１とコミュニケーションを取っていた直後に対話端末１ではなくスマートフォン５１とコミュニケーションを取る場合は、切替直後のスマートフォン５１の画面に映る模様１９は［Ｄ］定常状態が考えられる。利用者はリモートブレイン２を介して対話端末１とコミュニケーションすることから、利用者が発話してから対話端末１が回答するまで時間差がある。この時間差の間にコミュニケーションを取る相手を対話端末１からスマートフォン５１に切り替えた場合に、スマートフォンに［Ａ］や［Ｆ］を映すと、利用者とコミュニケーションシステムの円滑なコミュニケーションが阻害されてしまう。よって、スマートフォン５１に切り替えた場合に最初にスマートフォン５１に映る模様１９として［Ｄ］定常状態が考えられる。また、［Ｄ］ではなく、直前まで対話端末１に映っていた模様１９でも良い。この場合、対話端末１とのコミュニケーションが模様１９を含めてスマートフォン５１に引き継がれることから、利用者とコミュニケーションシステムの円滑なコミュニケーションが可能となる。これは、スマートフォン５１とコミュニケーションを取っていた直後にカーナビゲーション５２とコミュニケーションを取る場合も、同様である。

なお、図７は対話装置１のブロック図として説明したが、スマートフォン５１やカーナビゲーション５２のブロック図も図７と同様である。スマートフォン５１における表示装置１１２はスマートフォン５１のディスプレイ、カーナビゲーション５２における表示装置１１２はカーナビゲーション５２のディスプレイが該当する。また、カーナビゲーション５２におけるカメラ１０７は、カーナビゲーション５２自身が備えるカメラや、後付でカーナビゲーション５２に備えられたカメラが該当する。

図１に戻って、その他対話端末５０であるスマートフォン５１やカーナビゲーション５２には、予めリモートブレイン２と通信を行ってリモートブレイン２から送られてくる指示に従って、表情や音声によって利用者とコミュニケーションを行うことを可能とするアプリケーションがインストールされている。そして、リモートブレイン２と通信を行いながら利用者とコミュニケーションをとることができるのは、対話端末１、スマートフォン５１、カーナビゲーション５２のうちいずれか一つである。

図１２は、本発明の一実施例である対話端末１のコミュニケーション処理を示すフローチャート図である。

＜Ｓ１００＞対話端末１の初期状態は、図３に示す消灯状態である。

＜Ｓ１０１＞対話端末１に対して利用者が対話モードの起動命令を出したか否かを判断する。具体的には、利用者が対話端末に例えば「ロボットさん起きて」と声を掛けると、その声を対話端末１のマイクロホン１０９が拾い、入力部１０６を介して制御部１０１に送られる。そして、その声の情報は通信回線３を介してリモートブレイン２に送られ、リモートブレイン２の分析部２１１によって対話端末１の起動命令であると分析される。また、対話装置１が備えるカメラ１０７の視野に利用者が入ったことを自動的に認識することで、対話端末１の起動命令であると分析しても良い。

＜Ｓ１０２＞起動命令でないと判断された場合は、対話端末１は消灯状態を保持する。

＜Ｓ１０３＞起動命令であると判断された場合は、リモートブレイン２からスマートフォン５１、カーナビゲーション５２、起動命令を受け取っていない他の対話端末に対して、後述する対話モードの停止の指令が送られる。そして、図１３及び図１４で示すように、スマートフォン５１、カーナビゲーション５２、起動命令を受け取っていない他の対話端末５０は対話モードを停止する。

＜Ｓ１０４＞リモートブレイン２から対話端末１に対して、図３の消灯状態から図５の状態に移行するように指示が出され、対話端末１は点灯されて表情である模様１９が映る。なお、対話端末１が図５の状態に移行する場合の模様１９は、図６で説明した通りである。

＜Ｓ１０５＞利用者は対話端末１とコミュニケーションをする。リモートブレイン２と通信を行うことで対話端末１は利用者とコミュニケーションを行う。対話装置１の表情の変化である模様１９の変化は、図６で説明した通りである。前述したとおり、このリモートブレイン２と通信を行いながら利用者とコミュニケーションを行うことができるのは、対話端末１、スマートフォン５１、カーナビゲーション５２のうちいずれか一つである。本ステップの場合、対話端末１がその権限（対話モード）を有している。

＜Ｓ１０６＞対話端末１が利用者の存在を認識出来るか否かを判断する。具体的には、対話端末１に備えられているカメラ１０７の視界から利用者が居なくなった場合、マイクロホン１０９に利用者の声が入力されなくなった場合、または前述の状態から所定の時間を経過したか等に基づいて判断する。

＜Ｓ１０７＞Ｓ１０６にてＹｅｓと判断された場合、引き続き利用者とコミュニケーションを継続可能な状態を維持する。

＜Ｓ１０８＞Ｓ１０６にてＮｏと判断された場合、リモートブレイン２からスマートフォン５１に対して、対話モードに移行するように指示を送る。これにより、利用者が対話端末１とコミュニケーション不可な位置に移動した場合であっても、利用者はスマートフォン５１と引き続きコミュニケーション可能であり、利用者に寄り添ったコミュニケーションシステムが実現される。そして、対話端末１は図３の消灯状態に移行する。つまり、対話端末１は対話モードを停止する。

図１３は、本発明の一実施例である利用者が所有するスマートフォン５１のコミュニケーション処理に関するフローチャート図である。

＜Ｓ２００＞Ｓ１０８により対話モードに移行するように命令が送られてきたか否かを判断する。

＜Ｓ２０１＞Ｓ２００にてＮｏと判断された場合、対話モード移行受付状態を維持する。

＜Ｓ２０２＞Ｓ２００にてＹｅｓと判断された場合、スマートフォン５１の表示装置１１２に、コミュニケーションシステムの初期表情を画面に映す。具体的には、対話端末１に表示される模様１９と同様の模様が、スマートフォン５１の表示装置１１２に表示される。

＜Ｓ２０３＞利用者はスマートフォン５１とコミュニケーションをする。スマートフォン５１に映し出される表情の変化である模様１９の変化は、図６を用いて説明した通りである。このステップにおいては、スマートフォン５１が対話モードとなる権限を有している。

＜Ｓ２０４＞Ｓ１０３にて対話モードの停止の命令が送られてきたか否かを判断する。

＜Ｓ２０５＞Ｓ２０４にてＮｏと判断された場合、引き続き利用者とコミュニケーションを継続可能な状態を維持する。

＜Ｓ２０６＞Ｓ２０４にてＹｅｓと判断された場合、スマートフォン５１は対話モードを停止する。

Ｓ２０６にて対話モードが停止された場合は、Ｓ１０４に示す通り利用者は対話端末１とコミュニケーション可能である。

図１４は、本発明の一実施例である利用者が保有するカーナビゲーション５２におけるコミュニケーション処理を示すフローチャート図である。

＜Ｓ３００＞利用者のスマートフォン５１とカーナビゲーション５２との間で通信が開始されたか否かを判断する。この通信の開始は、スマートフォン５２を携帯した利用者がこのカーナビゲーションが搭載された自動車に利用者が乗車したかどうかを判断することに利用している。

＜Ｓ３０１＞Ｓ３００にてＮｏと判断された場合、対話モード移行受付状態を維持する。

＜Ｓ３０２＞Ｓ３００にてＹｅｓと判断された場合、利用者のスマートフォン５１に対して、対話モードの停止の指示を送信する。この実施例ではこの指示を近距離無線通信を使用して行っているが、図１に示された通信回線３を介して行ってもよい。

＜Ｓ３０３＞カーナビゲーション５２の表示装置１１２に、模様１９の初期表情が映し出される。この表情は、図６を用いて説明した通りである。

＜Ｓ３０４＞利用者はカーナビゲーション５２とコミュニケーションをする。カーナビゲーション５２に映し出される表情の変化である模様１９の変化は、図６を用いて説明した通りである。このステップでは、カーナビゲーションに対話モードの権限がある。

＜Ｓ３０５＞利用者のスマホとの近距離無線通信等による通信が切断されたか否かを判断する。具体的には、利用者が運転手の場合、イグニッションキーを切って自動車の動力源を切り、自動車から降りた場合（カーナビゲーションはバッテリと常時接続されている必要がある）である。利用者が運転手ではない場合、利用者がその自動車から降りた場合である。

＜Ｓ３０６＞Ｓ３０５にてＮｏと判断された場合、引き続き利用者とコミュニケーションを継続可能な状態を維持する。

＜Ｓ３０７＞Ｓ３０５にてＮｏと判断された場合、カーナビゲーション５２の対話モードを停止する。

＜Ｓ３０８＞利用者のスマートフォン５１に対して、対話モードの起動を指示する。

上記フローチャートにより、利用者とのコミュニケーションをスマートフォン５１からカーナビゲーション５２に取らせることができる。表情（模様１９）はスマートフォン５１からカーナビゲーション５２に移動し、カーナビゲーション５２のディスプレイに表情が映し出される。これにより、利用者は、コミュニケーションロボットが利用者に寄り添ってくれていると感じることができる。また、利用者が車から降りた場合は、利用者とのコミュニケーションをカーナビゲーション５２からスマートフォン５１に取らせることができる。そして、模様１９はカーナビゲーション５２からスマートフォン５１に移動し、スマートフォン５１の画面に表情が映し出される。

図１５は、本発明の一実施例である対話端末１のコミュニケーション処理を示すフローチャート図である。図１５～１７を用いて説明する一実施例では、対話端末１を２名以上の利用者が共有しており、１名の利用者（以下、利用者Ａ）が宅外においてスマートフォン５１やカーナビゲーション５２を用いてコミュニケーションシステムとコミュニケーションを取っている場合に、宅内にいる別の利用者（以下、利用者Ｂ）が対話端末１の起動命令を行った場合を例として説明する。

＜Ｓ４００＞利用者Ａのスマートフォン５１やカーナビゲーション５２から対話モード停止ＮＧの連絡があるか否かを判断する。このフローにより、宅外でスマートフォン５１等を利用してコミュニケーションシステムとコミュニケーションを取っている利用者Ａのスマートフォン５１等の対話モードが強制的に切断されるのを防ぐことができる。なお、対話モード停止ＮＧの連絡がなく一定時間が経過した場合や、対話モード停止ＯＫの連絡が有った場合は、Ｓ１０４に移行する。

＜Ｓ４０１＞Ｓ４００にてＹｅｓと判断された場合は、対話端末１は消灯状態を保持する。つまり、利用者Ａがコミュニケーションシステムとコミュニケーションをしていることから、利用者Ｂがコミュニケーションシステムとコミュニケーションを開始するのを防ぐことができる。

＜Ｓ４０２＞Ｓ１０６にてＮｏと判断された場合、対話端末１自身の対話モードを停止する。これにより、宅内にて利用者が対話端末１が設置されている部屋から別の対話端末１が設置されている部屋へ移動をする際に、対話端末１とのコミュニケーションから自動的にスマートフォン５１とのコミュニケーションへ移行し、すぐに別の対話端末１とのコミュニケーションに移行することを防止することができる。よって、宅内におけるコミュニケーションシステムとの円滑なコミュニケーションを実現できる。

なお、宅内に居てスマートフォン５１とコミュニケーション中の利用者Ａが、スマートフォン５１を置いて宅内を移動し、対話端末１の視野に入ることで起動命令がなされた場合は、Ｓ４００にて利用者Ａのスマホから一定時間対話モード停止ＮＧの連絡が無いことによって、自動的にＳ１０４に移行し、対話端末１とコミュニケーション可能である。

図１６は、本発明の一実施例である利用者が所有するスマートフォンのコミュニケーション処理に関するフローチャート図である。

＜Ｓ５００＞スマートフォン５１に対して対話モードの起動命令があったか否かを判断する。起動命令としては、例えばスマートフォン５１にインストールされているアプリケーションの立ち上げが考えられる。

＜Ｓ５０１＞Ｓ２０４にてＹｅｓと判断された場合、スマートフォン５１の利用者Ａが、スマートフォン５１の対話モード停止を了承するか否かを判断する。これにより、Ｓ１０３における対話モードの停止命令によってスマートフォン５１とのコミュニケーションが突然切断されるという事態を防ぐことができる。

＜Ｓ５０２＞Ｓ５０１にてＮｏと判断された場合、対話モード停止ＮＧを送信する。

図１７は、本発明の一実施例である利用者が保有するカーナビゲーションにおけるコミュニケーション処理を示すフローチャート図である。前述の通り本実施例ではＳ５００でスマートフォン５１に対して対話モードの起動命令があったか否かに基づいて対話モードを開始することから、図１４のＳ３０８は削除している。

＜Ｓ６００＞Ｓ４００と同様のフローである。このフローにより、宅外でスマートフォン５１を利用してコミュニケーションシステムとコミュニケーションを取っている利用者Ａのスマートフォン５１等の対話モードが強制的に切断されるのを防ぐことができる。

＜Ｓ６０１＞Ｓ２０４とＳ５０１を合わせたフローである。利用者Ｂのスマホまたはロボットから送られる対話モード停止指令を了承するか否かを判断する。これにより、Ｓ１０３における対話モードの停止命令によってカーナビゲーション５２とのコミュニケーションが突然切断されるという事態を防ぐことができる。

＜Ｓ６０２＞Ｓ６０１にてＮｏと判断された場合、対話モード停止ＮＧを送信する。

図１２～１７のフローチャートにおける各判断は、リモートブレイン２の制御部２０１で行っても良いし、対話端末１やスマートフォン５１、カーナビゲーション５２の制御部１０１で行っても良い。

フローチャートの順番は疑義が生じない範囲で前後してもよい。また、疑義が生じない範囲で、図１２～１７のフローチャートを組合せても良い。

対話モードとは、利用者とコミュニケーション可能な状態である。すなわち、コミュニケーションツールの一つであるリモートブレイン２と端末等が接続可能な状態をいう。

端末等を対話モードにするためのアプリは、対話端末１、スマートフォン５１及びカーナビゲーション５２にインストール済みである。または、リモートブレイン２やネット上のサーバからダウンロード可能である。

１ 対話端末、２ リモートブレイン、３ 通信回線（ネットワーク）、１１ 球体部、１２ 基部、１３ 穴、１９ 模様、２０ 利用者情報制御・管理装置、５０ その他対話端末、５１ スマートフォン、５２ カーナビゲーション、１０１ 制御部、１０２ 記憶部、１０３ 画像生成部、１０４ 通信インターフェース、１０５ 発光装置、１０６ 入力部、１０７ カメラ、１０８ センサ、１０９ マイクロホン、１１０ 出力部、１１１ スピーカ、１１２ 表示装置、２０１ 制御部、２０２ 主制御部、２１１ 分析部、２１２ 人工知能、２１３ 対話エンジン、２１４ 行動判定部、２２１ 記憶部、２２２ ロボット情報保有部、２２３ 対話情報保有部、２２４ 利用者情報保有部、２３１ 通信インターフェース、２８０ ロボット情報

Claims (4)

1. 利用者と少なくとも映像を通じてコミュニケーションを行うコミュニケーション装置を備えたコミュニケーションシステムにおいて、
   第１利用者と前記コミュニケーション装置とがコミュニケーションを実施している際に、前記第１利用者の存在を認識できなくなった場合に、前記第１利用者が所有している表示装置付きの第１携帯端末に対して、前記第１利用者とコミュニケーションを行うことを指示し、前記第１利用者と前記コミュニケーション装置とのコミュニケーションを停止し、
   前記第１利用者とは異なる第２利用者が、停止中の前記コミュニケーション装置に対して起動命令を行った場合、前記第１携帯端末に対して、対話モード停止を指示し、
   前記第１携帯端末から対話モード停止が了承された場合、前記第１利用者と前記第１携帯端末とのコミュニケーションを停止するとともに、前記第２利用者と前記コミュニケーション装置とのコミュニケーションを許可し、
   前記第１携帯端末から対話モード停止が了承されない場合、前記第１利用者と前記第１携帯端末とのコミュニケーションを継続させるとともに、前記第２利用者と前記コミュニケーション装置とのコミュニケーションを不許可とすることを特徴とするコミュニケーションシステム。
2. 前記コミュニケーション装置および前記第１携帯端末に表示される模様は、起動命令を受けた時に表示される待機状態の模様、および、その待機状態の模様から時間経過により遷移する定常状態の模様を含めて複数存在し、
   前記第１利用者の存在を認識できなくなった場合に、前記第１携帯端末に対して前記第１利用者とコミュニケーションを行うことを指示する際に、前記定常状態の模様を表示することを特徴とする請求項１に記載のコミュニケーションシステム。
3. 利用者と少なくとも映像を通じてコミュニケーションを行うコミュニケーション装置を備えたコミュニケーションシステムにおいて、
   第１利用者が、前記第１利用者が所有している表示装置付きの第１携帯端末とコミュニケーションを実施している際に、前記第１携帯端末とカーナビゲーションとが通信可能となった場合に、前記カーナビゲーションに対して、前記第１利用者とコミュニケーションを行うことを指示し、前記第１利用者と前記第１携帯端末とのコミュニケーションを停止し、
   前記第１利用者とは異なる第２利用者が、停止中の前記コミュニケーション装置に対して起動命令を行った場合、前記カーナビゲーションに対して、対話モード停止を指示し、
   前記カーナビゲーションから対話モード停止が了承された場合、前記第１利用者と前記カーナビゲーションとのコミュニケーションを停止するとともに、前記第２利用者と前記コミュニケーション装置とのコミュニケーションを許可し、
   前記カーナビゲーションから対話モード停止が了承されない場合、前記第１利用者と前記カーナビゲーションとのコミュニケーションを継続させるとともに、前記第２利用者と前記コミュニケーション装置とのコミュニケーションを不許可とすることを特徴とするコミュニケーションシステム。
4. 前記コミュニケーション装置および前記カーナビゲーションに表示される模様は、起動命令を受けた時に表示される待機状態の模様、および、その待機状態の模様から時間経過により遷移する定常状態の模様を含めて複数存在し、
   前記第１携帯端末とカーナビゲーションとが通信可能となった場合に、前記カーナビゲーションに対して、前記第１利用者とコミュニケーションを行うことを指示する際に、前記定常状態の模様を表示することを特徴とする請求項３に記載のコミュニケーションシステム。

Images