JP7027285B2 - 遠隔制御サーバおよび遠隔制御システム - Google Patents

Description

本発明は、遠隔制御サーバおよび遠隔制御システムに関する。

例えば特許文献１には、乳幼児の音声を検知してシステムが自動的に作動するとともに、乳幼児の状況に最適な楽曲を選曲するシステムが開示されている。
また、特許文献２には、音声検知手段により乳幼児の音声を検知すると音声再生手段を駆動させることにより、母親の声やメロディを流し、あるいは玩具等の外部機能を駆動させて乳幼児の安眠を促進することが開示されている。

特開２００３－３３７５９１号公報 特開平０３－２７２７１０号公報

例えば、遠隔制御端末に対する操作者の操作により被制御側装置から文章情報が出力されることで、遠隔制御端末の操作者が被制御側装置の利用者とコミュニケーションを図ることがある。この場合に、操作者によっては、被制御側装置の利用者とコミュニケーションを図るための負担が大きくなることがある。

本発明は、遠隔制御端末の操作者が遠隔制御端末を操作することにより被制御側装置の利用者とコミュニケーションを図る場合における操作者の負担の増大を抑制することを目的とする。

請求項１には、遠隔制御端末から、操作されると信号を出力する操作子が操作されたことを示す操作情報を受信する受信手段と、前記受信手段が前記操作情報を受信すると、前記操作子に予め関連付けられた文章に関する文章情報を制御の対象となる被制御側装置に出力させる出力制御手段と、を備え、前記受信手段は、前記遠隔制御端末から、当該遠隔制御端末における設定に関する設定情報を受信し、前記出力制御手段は、前記受信手段が前記設定情報を受信すると、前記文章情報を、当該設定情報から特定される言語により前記遠隔制御端末に出力させることを特徴とする、遠隔制御サーバの発明が記載されている。
請求項２には、前記被制御側装置を利用する利用者が映っている動画および画像の少なくとも一方を取得する取得手段と、前記取得手段により取得された前記動画および前記画像の少なくとも一方から、前記利用者の態様を検出する検出手段と、前記検出手段に検出された前記態様に応じて、予め定められた評価基準に基づいて前記遠隔制御端末の操作者による前記操作子の操作を評価する評価手段と、をさらに備えた、請求項１記載の遠隔制御サーバの発明が記載されている。
請求項３には、前記取得手段は、前記利用者が映っている動画を取得し、前記動画に基づいて、前記利用者の前記態様、前記評価手段による前記評価、および当該評価に係る前記文章情報が表示された映像を含む動画を作成する作成手段をさらに備えた、請求項２記載の遠隔制御サーバの発明が記載されている。
請求項４には、前記取得手段は、前記利用者が映っている動画を取得し、前記受信手段が前記操作情報を取得した際の前記利用者の態様と、前記評価および当該評価に係る前記文章情報と、を関連付けて記憶する記憶手段と、撮影されている前記利用者の動画が前記取得手段により取得されると、当該動画を前記遠隔制御端末に送信する送信手段と、を備え、前記出力制御手段は、撮影されている前記動画から、前記記憶手段に記憶されている前記利用者の前記態様が検出された場合に、当該態様に関連付けられて記憶されている前記評価および前記文章情報を、前記遠隔制御端末に送信した前記動画に表示させることを特徴とする請求項２記載の遠隔制御サーバの発明が記載されている。
請求項５には、前記遠隔制御端末の前記操作子と、複数の言語の前記文章情報とを関連付けて記憶する記憶手段をさらに備え、前記設定情報は、前記遠隔制御端末における言語の設定に関する情報であり、前記出力制御手段は、前記記憶手段に記憶されている前記文章情報のうち、前記設定情報から特定される言語の前記文章情報を前記遠隔制御端末に出力させることを特徴とする請求項１記載の遠隔制御サーバの発明が記載されている。
請求項６には、制御の対象となる被制御側装置が設けられている地域との間で時差が生じる地域に設けられ、操作者による操作を受け付けて当該被制御側装置を遠隔制御する遠隔制御端末と、前記被制御側装置と前記遠隔制御端末とを接続し、当該遠隔制御端末に当該被制御側装置を遠隔制御させる遠隔制御サーバと、を備え、前記遠隔制御端末は、操作されると信号を出力する操作子が操作されたことを示す操作情報を送信する送信手段を有し、前記遠隔制御サーバは、前記遠隔制御端末から前記操作情報を受信する受信手段と、前記受信手段が前記操作情報を受信すると、前記操作子に予め関連付けられた文章の文章情報を前記被制御側装置に出力させる出力制御手段と、を有することを特徴とする、遠隔制御システムの発明が記載されている。
請求項７には、前記受信手段は、前記遠隔制御端末から、当該遠隔制御端末における設定に関する設定情報を受信し、前記出力制御手段は、前記受信手段が前記設定情報を受信すると、前記文章情報を、当該設定情報から特定される言語により前記遠隔制御端末に出力させることを特徴とする請求項６記載の遠隔制御システムの発明が記載されている。

本発明によれば、遠隔制御端末の操作者が遠隔制御端末を操作することにより被制御側装置の利用者とコミュニケーションを図る場合における操作者の負担の増大を抑制することができる。

本実施形態による遠隔制御システムの全体構成を示す図である。 遠隔制御端末の構成例を示す図である。 遠隔制御サーバの機能構成を示す図である。 オペレータ管理サーバの機能構成を示す図である。 遠隔制御の利用態様の概念を説明する図である。 引継ぎ制御部による引継ぎ制御の動作を示すフローチャートである。 遠隔制御システムの一例としての介護支援システムの全体構成例を示す図である。 遠隔制御サーバの機能構成例を示した図である。 文章情報管理テーブルの一例を示した図である。 （ａ）、（ｂ）は、撮影画面を示した図である。 （ａ）、（ｂ）は、撮影画面を示した図である。 （ａ）、（ｂ）は、撮影画面を示した図である。 撮影画面を示した図である。 評価管理テーブルの一例を示した図である。 過去評価通知部による処理を説明するための図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜システム構成＞
図１は、本実施形態による遠隔制御システムの全体構成を示す図である。遠隔制御システムＳは、現場で情報の収集や作業を実行する現場システムＳ１と、現場システムの制御や操作を実行するオペレーション・システムＳ２とを含む。図１には、一つの現場システムＳ１と一つのオペレーション・システムＳ２とが示されているが、オペレーション・システムＳ２は、複数の現場システムＳ１を制御し得る。

図１に示す構成例において、現場システムＳ１は、情報取得装置１００と、作用装置２００とを含む。情報取得装置１００および作用装置２００は、本実施形態の遠隔制御システムＳにおける制御対象となる装置、すなわち被制御側装置である。以下、現場システムＳ１を構成する情報取得装置１００および作用装置２００をまとめて記載するときは、現場システムＳ１の装置１００、２００と記載する。また、オペレーション・システムＳ２は、遠隔制御端末３００と、遠隔制御サーバ４００と、オペレータ（遠隔制御端末３００の操作者）管理サーバ５００とを備える。遠隔制御端末３００および遠隔制御サーバ４００は、現場システムＳ１の装置１００、２００を制御する制御側装置である。オペレータ管理サーバ５００は、オペレータを管理する装置である。図１には、一つの遠隔制御端末３００が示されているが、実際のオペレーション・システムＳ２では、一つの現場システムＳ１に対して複数の遠隔制御端末３００が対応する。現場システムＳ１と遠隔制御端末３００との関係については後述する。

＜情報取得装置の構成＞
情報取得装置１００は、現場において様々なデータを取得する装置である。情報取得装置１００としては、取得されるデータの種類や形式等に応じて種々の機器が用いられる。情報取得装置１００として用いられる具体的な機器は特に限定されないが、例えば、画像を取得するカメラ、音声や音響データを取得するマイクロフォン、環境や物品の状態を表す物理量（データ）を検出する各種のセンサ等が用いられる。センサとしては、取得しようとする情報に応じて、例えば、温度センサ、湿度センサ、圧力センサ、照度センサ、速度センサ、振動センサ等が単体で、あるいは組み合わせて用いられる。また、人間の嗅覚を刺激する匂い成分や味覚を刺激する味覚成分を分析してデータとして取得するセンサ等を用いても良い。情報取得装置１００として具体的にどのような機器を用い、どのような情報を取得するかは、例えば、現場システムＳ１の用途や適用目的等に応じて個別的に特定される。

また、情報取得装置１００は、外部機器から制御命令を受信したり、取得したデータを外部機器へ出力するための通信手段を備える。通信手段としては、無線通信機や有線によるネットワーク・インターフェイス等が用いられる。また、情報取得装置１００は、取得したデータを保持する保持手段、取得したデータに対して予め定められた処理を実行する処理手段、予め定められた制御を実行する制御手段等を備えても良い。保持手段としては、例えば不揮発性メモリ等が用いられる。処理手段や制御手段としては、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＳＳＰ（Application Specific Standard Produce）、ＦＰＧＡ（Field Programmable Gate Array）等の演算回路、これらの演算回路とメモリとを組み合わせたＳｏＣ（System on a Chip）やシステムＬＳＩ（Large Scale Integrated circuit）等が用いられる。

さらに、情報取得装置１００は、適用される現場システムＳ１の具体的な内容によっては、移動機構を備えていても良い。データの種類や取得の仕方によっては、情報取得装置１００を移動させながらデータを取得することが必要な場合があり得る。そのような場合、情報取得装置１００に設けた移動機構により移動しながらデータを取得する。情報取得装置１００の移動の態様は、データの種類や取得の仕方等に応じて、様々に設定される。例えば、１次元的な移動、２次元的な移動、３次元的な移動を行い得る。また、予め定められた軌道上を移動する場合も、自由な経路で移動する場合もあり得る。具体的な移動機構は、情報取得装置１００に要求される移動の態様に応じて選択される。例えば、車輪やプロペラ等の推力を生じさせるための部材と、この部材を駆動する駆動装置との組み合わせにより実現しても良い。また、一方向へ空気を吹き出し、その反動で移動するような構成としても良い。また、一端を固定した可動アームの他端に情報取得装置１００を設置し、可動アームを動作させることにより移動する構成としても良い。情報取得装置１００に移動機構を設ける場合は、上述した制御手段により移動機構の動作を制御しても良いし、移動機構の動作制御専用の制御手段を別途設けても良い。移動機構の動作制御は、プログラム等により設定された自動制御により行っても良いし、後述する遠隔制御サーバ４００から受信する制御命令により行っても良い。

＜作用装置の構成＞
作用装置２００は、現場において周囲の環境や物品や人物等に対して物理的に作用する装置である。作用装置２００としては、環境や物品や人物等に対して与えようとする物理的影響に応じて種々の機器が用いられる。作用装置２００として用いられる具体的な機器は特に限定されないが、例えば、物体を運動させるアクチュエータ、光を発する発光装置、音を発する音響装置、熱を発する発熱装置、その他、様々な機能や機構を有する装置が該当する。作用装置２００として具体的にどのような機器を用い、どのように動作させるかは、例えば、現場システムＳ１の用途や適用目的等に応じて個別的に特定される。

また、作用装置２００は、外部機器から制御命令を受信したり、動作履歴データを外部機器へ出力したりするための通信手段を備える。通信手段としては、無線通信機や有線によるネットワーク・インターフェイス等が用いられる。また、作用装置２００は、受信した制御命令に基づいて動作制御を実行する制御手段、制御命令や動作履歴データを保持する保持手段等を備えても良い。制御手段としては、例えば、ＣＰＵ、ＡＳＩＣ、ＡＳＳＰ、ＦＰＧＡ等の演算回路、これらの演算回路とメモリとを組み合わせたＳｏＣやシステムＬＳＩ等が用いられる。保持手段としては、例えば不揮発性メモリやＲＡＭ（Random Access Memory）等が用いられる。

さらに、作用装置２００は、適用される現場システムＳ１の具体的な内容によっては、移動機構を備えていても良い。現場において周囲の環境や物品や人物等に対して作用を生じさせるための動作の仕方によっては、作用装置２００を移動させながら動作することが必要な場合があり得る。そのような場合、作用装置２００に設けた移動機構により移動しながら動作させる。作用装置２００の移動の態様は、データの種類や取得の仕方等に応じて、様々に設定される。例えば、１次元的な移動、２次元的な移動、３次元的な移動を行い得る。また、予め定められた軌道上を移動する場合も、自由な経路で移動する場合もあり得る。具体的な移動機構は、作用装置２００に要求される移動の態様に応じて選択される。例えば、車輪やプロペラ等の推力を生じさせるための部材と駆動装置との組み合わせにより実現しても良い。また、一方向へ空気を吹き出し、その反動で移動するような構成としても良い。また、一端を固定した可動アームの他端に作用装置２００を設置し、可動アームを動作させることにより移動する構成としても良い。作用装置２００に移動機構を設ける場合は、上述した制御手段により移動機構の動作を制御しても良いし、移動機構の動作制御専用の制御手段を別途設けても良い。移動機構の動作制御は、プログラム等により設定された自動制御により行っても良いし、後述する遠隔制御サーバ４００から受信する制御命令により行っても良い。

＜現場システムの装置構成＞
なお、図１に示す構成例において、現場システムＳ１を構成する装置として情報取得装置１００および作用装置２００を挙げたが、現場システムＳ１のシステム構成は、上記の構成に限定されない。例えば、現場システムＳ１に情報取得装置１００および作用装置２００を管理したり制御したりする中間サーバ（いわゆるエッジサーバ）を設け、この中間サーバを介して遠隔制御サーバ４００との通信を行うようにしても良い。中間サーバを設ける場合、情報取得装置１００および作用装置２００の全てを中間サーバの管理下に置いても良いし、いずれか一方のみを中間サーバに管理させ、他方を遠隔制御サーバ４００に直接接続させるようにしても良い。また、中間サーバに管理される情報取得装置１００および作用装置２００と、中間サーバを介さず遠隔制御サーバ４００に直接接続する情報取得装置１００および作用装置２００とが混在するシステム構成としても良い。また、情報取得装置１００と作用装置２００とは、物理的に別個の装置として用意されるだけでなく、いくつかの情報取得装置１００および作用装置２００が組み合わされた装置として構成されても良い。例えば、複数の情報取得装置１００および作用装置２００が組み込まれたロボットを被制御側装置として用いても良い。

＜遠隔制御端末の構成＞
遠隔制御端末３００は、オペレータが現場システムＳ１の装置１００、２００を遠隔制御するために用いる端末装置である。なお、情報取得装置１００は、後述のようにデータを取得して遠隔制御サーバ４００へ送信することを主な機能とする装置であり、遠隔制御端末３００から情報取得装置１００に対して能動的な制御や操作を行わない場合もあるが、便宜的に、遠隔制御端末３００が情報取得装置１００を監視対象とすることを、「制御」、「操作」等と記載する。遠隔制御端末３００は、現場システムＳ１の装置１００、２００から得られた情報を出力してオペレータに提示する出力手段と、現場システムＳ１の装置１００、２００を制御するための入力を受け付ける入力手段とを備える。また、遠隔制御端末３００は、遠隔制御サーバ４００に接続するための通信手段と、遠隔制御端末３００の機能を制御するための制御手段とを備える。

図２は、遠隔制御端末３００の構成例を示す図である。遠隔制御端末３００は、制御手段としての主制御部３１０を備える。また、遠隔制御端末３００は、出力手段としての出力制御部３２０と出力装置３３０とを備える。また、遠隔制御端末３００は、入力手段としての操作受け付け部３４０と操作装置３５０とを備える。また、遠隔制御端末３００は、通信手段としての送受信部３６０を備える。

主制御部３１０は、遠隔制御端末３００の主要な動作の制御および通信制御を行う。主制御部３１０は、例えば、ＣＰＵ、ＲＯＭ（Read Only Memory）およびＲＡＭにより実現される。ＲＯＭには遠隔制御端末３００の動作を制御するためのプログラムが記憶されており、ＣＰＵはＲＯＭからプログラムを読み込んで実行することにより各種の動作制御や処理を実行する。

出力制御部３２０は、出力装置３３０を制御して動作させる。出力装置３３０は、出力制御部３２０の制御により、遠隔制御サーバ４００から取得した現場システムＳ１の情報を出力する。情報の出力には、画像や音声などの様々な媒体を用い得る。例えば、動画や静止画等の画像出力を行う場合、出力制御部３２０は例えばＧＰＵ（Graphics Processing Unit）を用いた表示機構により実現され、出力装置３３０は例えばディスプレイ装置により実現される。また、音声や環境音等の音響情報の出力を行う場合、出力制御部３２０は例えば主制御部３１０に用いられるＣＰＵにより実現され、出力装置３３０は例えばアンプやスピーカを含む音響機器により実現される。画像以外の視覚的な媒体として、発光による情報出力を行う場合、出力制御部３２０は例えば主制御部３１０に用いられるＣＰＵにより実現され、出力装置３３０はＬＥＤ（Light Emitting Diode）等の発光装置により実現される。この他、圧力や温度変化や振動などにより触覚を刺激するデバイス、化学物質を用いて嗅覚を刺激するデバイス、電気刺激や化学物質により味覚を刺激するデバイス等、人間の感覚を刺激する様々な手段を、現場システムＳ１の情報をオペレータに伝達する出力手段として用い得る。

操作受け付け部３４０は、オペレータが操作装置３５０を用いて行った操作を受け付け、受け付けた操作に応じて、予め定められた処理を実行する。具体的には、操作受け付け部３４０は、操作の内容に対応付けられた命令やデータの入力を行う。操作装置３５０は、オペレータが入力のための操作を行うデバイスである。操作装置３５０としては、オペレータによる操作が可能な種々のデバイスを用いることができる。一般的な操作装置３５０としては、例えば、マウス等のポインティング・デバイス、キーボード、タッチパネル等が用いられる。また、装着者（オペレータ）の視線を識別して入力操作として認識するアイトラッキング・デバイスを用いても良い。また、ハンドルやレバー等の把持部に設けられた触感センサにより、オペレータが把持部を手で握る強さを入力操作として認識するデバイスを用いても良い。その他、オペレータの何らかの動作を入力操作として認識可能な種々のデバイスを操作装置３５０として用い得る。

送受信部３６０は、ネットワークを介して遠隔制御サーバ４００と接続するためのネットワーク・インターフェイスである。これにより、遠隔制御端末３００は、遠隔制御サーバ４００とデータ交換を行う。送受信部３６０としては、利用可能なネットワークへの接続回線の種類に応じて、無線通信機や有線によるインターフェイスが用いられる。

以上のように構成された遠隔制御端末３００において、現場システムＳ１の装置１００、２００から取得した情報に基づき出力装置３３０を用いた情報の出力が行われる。そして、オペレータは、出力装置３３０からの出力により、現場システムＳ１が設けられた現場の状況を知ることができる。一方、オペレータが操作装置３５０を操作することにより、現場システムＳ１の装置１００、２００に対する制御命令や制御データが入力される。そして、入力された制御命令や制御データが、遠隔制御サーバ４００を介して現場システムＳ１の装置１００、２００に送信されることにより、現場システムＳ１の装置１００、２００の制御が行われる。

遠隔制御端末３００は、上記の制御手段、出力手段、入力手段および通信手段に相当する機能構成を有する装置であれば、オペレーションの対象となる操作や作業の内容に応じて様々な態様のハードウェア構成を取り得る。例えば、オペレーション作業に即して構成された出力デバイスや入力デバイスを備えた専用端末装置として構成しても良い。また、パーソナル・コンピュータを遠隔制御端末３００として用いても良い。さらに、タブレット型端末装置やスマートフォン等の携帯型情報端末装置や、ウェアラブル端末装置を遠隔制御端末３００として用いても良い。また、これらの具体的なデバイスを組み合わせて、特定の操作や作業に対する遠隔制御端末３００として用いても良い。

＜遠隔制御サーバの構成＞
遠隔制御サーバ４００は、現場システムＳ１の装置１００、２００と遠隔制御端末３００とを接続して、遠隔制御端末３００による遠隔制御を実現する。遠隔制御サーバ４００は、オペレーションの実行制御と、オペレータの引継ぎ制御とを行う。遠隔制御端末３００により現場システムＳ１の装置１００、２００を遠隔制御する場合、複数のオペレータが制御を引き継ぎ、入れ替わって作業することにより、現場システムＳ１の装置１００、２００を連続的に稼働させることができる。

ここで、遠隔制御であることから、制御の引継ぎは、単一の遠隔制御端末３００を使用するオペレータが交代するだけでなく、異なる場所に置かれた複数の遠隔制御端末３００の間で現場システムＳ１の装置１００、２００の制御主体を切り替えることにより行っても良い。制御主体とは、実際に現場システムＳ１の装置１００、２００に対する遠隔制御の操作を行っている遠隔制御端末３００である。すなわち、遠隔制御サーバ４００は、複数の遠隔制御端末３００の一つを現場システムＳ１の装置１００、２００の制御主体として制御させると共に、予め定められた切り替え条件に基づいて、制御主体となる遠隔制御端末３００を順に切り替えて制御を引き継がせる。遠隔制御サーバ４００は、現場システムＳ１の装置１００、２００の制御主体である遠隔制御端末３００を切り替える際に、遠隔制御の引継ぎを滞りなく行うための引継ぎ制御を行う。

図３は、遠隔制御サーバ４００の機能構成を示す図である。遠隔制御サーバ４００は、送受信部４１０と、処理部４２０と、オペレーション・データベース（ＤＢ）４３０と、引継ぎ制御部４４０とを備える。

送受信部４１０は、ネットワークを介して、遠隔制御端末３００、現場システムＳ１の情報取得装置１００および作用装置２００と接続するためのネットワーク・インターフェイスである。これにより、遠隔制御サーバ４００は、情報取得装置１００からデータを受信し、受信したデータを遠隔制御端末３００へ送信する。また、遠隔制御サーバ４００は、作用装置２００から動作履歴データ（ログデータ）を受信する。また、遠隔制御サーバ４００は、遠隔制御端末３００から制御命令や制御データを受信し、作用装置２００へ送信する。

処理部４２０は、送受信部４１０による現場システムＳ１の装置１００、２００および遠隔制御端末３００との間のデータ交換を制御する。処理部４２０は、情報取得装置１００から取得したデータに対して、必要に応じて予め定められた処理を行う。情報取得装置１００からは、映像データ、音声データ、音響データ、センサ・データ等の様々なデータが送られる。これらのデータは、遠隔制御端末３００における出力のために加工が必要な場合がある。例えば、動画データは、圧縮処理等によりデータのサイズを縮小することが必要となる場合がある。また、センサ・データは、センサから取得された生データではなく、一定時間における変化率等の情報として提示することが求められる場合がある。同様に、遠隔制御端末３００から受信した制御データも、加工して作用装置２００に送信することが必要となる場合がある。処理部４２０は、設定に応じてこれらの処理を行う。

オペレーションＤＢ４３０は、情報取得装置１００から取得したデータや作用装置２００から取得した動作履歴データを保存する。また、オペレーションＤＢ４３０は、遠隔制御端末３００により行われた操作の履歴データを保存する。オペレーションＤＢ４３０に保存されたデータは、例えば、遠隔制御端末３００による現場システムＳ１の状況の解析や、特定のオペレータによる操作の評価等に用いられる。また、オペレーションＤＢ４３０に保存されたデータは、現場システムＳ１の装置１００、２００を担当するオペレータが切り替わる際の引継ぎにおいて、現在のオペレータによる操作内容や現場システムＳ１の状態等の情報を次の（切り替え後の）オペレータに知らせるために用いられる。

引継ぎ制御部４４０は、予め定められた規則にしたがって、現場システムＳ１の装置１００、２００を担当するオペレータが切り替わる際の引継ぎ制御を行う。オペレータの引継ぎが行われる場合、現在のオペレータの操作内容を次のオペレータに知らせることにより、現場システムＳ１における動作や作業の連続性が担保され、質の低下を抑制することができる。しかし、この引継ぎに要する作業のために、次のオペレータの作業開始時にかかる負荷は増大する。ここで、遠隔制御端末３００を用いた遠隔操作の場合、オペレータは、遠隔制御端末３００の出力手段を介して現場システムＳ１の装置１００、２００の状態を知る。したがって、次のオペレータの遠隔制御端末３００において、現在のオペレータの遠隔制御端末３００の出力と同じ出力を行うことにより、次のオペレータは、現場システムＳ１の装置１００、２００の状態に関して現在のオペレータと同じ情報を得ることができる。

引継ぎ制御では、現在の制御主体である遠隔制御端末３００から切り替え後の制御主体となる遠隔制御端末３００へ切り替える際の一定時間、引継ぎ前後の遠隔制御端末３００の両方を現場システムＳ１の装置１００、２００に接続し、これらの遠隔制御端末３００の両方に対し、現場システムＳ１の装置１００、２００から取得される同一の情報が提供される。このような引継ぎ制御を行うことにより、遠隔制御を引き継ぐオペレータの引継ぎ時の負荷の増大が抑制され、引継ぎを滞りなく行うことが可能となる。引継ぎ制御部４４０による引継ぎ制御の動作の詳細については後述する。

＜オペレータ管理サーバの構成＞
オペレータ管理サーバ５００は、オペレータと、そのオペレータが担当する現場システムＳ１の装置１００、２００とを対応付けて管理する。現場システムＳ１は、通常、複数の情報取得装置１００および複数の作用装置２００を備えて構成される。したがって、一つの現場システムＳ１に対して複数のオペレータが対応付けられる場合がある。また、一人のオペレータは、一つの現場システムＳ１における複数の情報取得装置１００や複数の作用装置２００に対応付けられる場合がある。さらに、一人のオペレータは、複数の現場システムＳ１における情報取得装置１００や作用装置２００に対応付けられる場合がある。オペレータ管理サーバ５００は、これらの対応関係を、例えばテーブルに登録して管理する。

図４は、オペレータ管理サーバ５００の機能構成を示す図である。オペレータ管理サーバ５００は、オペレータ情報データベース（ＤＢ）５１０と、制御部５２０と、送受信部５３０とを備える。オペレータ情報ＤＢ５１０には、オペレータの情報を管理するためのテーブル５１１が格納されている。オペレータ情報ＤＢ５１０のテーブル５１１には、端末識別情報と、対象システム識別情報と、対象装置識別情報と、対応時間情報と、地域情報と、実行管理情報と、引継ぎ情報とが登録されている。

端末識別情報は、遠隔制御端末３００の識別情報であり、この情報により、遠隔制御端末３００を使用するオペレータも特定される。対象システム識別情報は、オペレータが担当する現場システムＳ１の識別情報である。対象装置識別情報は、オペレータが担当する情報取得装置１００および作用装置２００の識別情報である。

対応時間情報は、オペレータが作業可能な時間を示す情報である。この時間は、例えば、オペレータが担当する現場システムＳ１の設置場所の時刻による時間と、遠隔制御端末３００の設置場所の時刻による時間とが登録される。前者を標準時、後者をローカル時とする。標準時を用いることにより、現場システムＳ１の装置１００、２００を操作する各オペレータの居住地（遠隔制御端末３００の設置場所）に時差があっても、各オペレータが操作を担当する時刻を統一的に扱うことができる。一方、ローカル時を用いることにより、各オペレータが自身の居住地における就労時刻を管理することができる。

地域情報は、遠隔制御端末３００の設置場所の識別情報である。地域情報には、現場システムＳ１の設置場所に対する遠隔制御端末３００の設置場所の時差の情報を含む。実行管理情報は、遠隔制御端末３００が現場システムＳ１の装置１００、２００の遠隔制御を実行中か否かを示す情報である。引継ぎ情報は、現在のオペレータの次に遠隔制御を担当するオペレータの遠隔制御端末３００を示す情報である。

オペレータ管理サーバ５００の制御部５２０は、オペレータ情報ＤＢ５１０に登録されている情報を用いて、オペレータに関する各種の管理を行う。具体的には、制御部５２０は、各オペレータに関して、対応する現場システムＳ１の装置１００、２００の操作を実行中か否かを管理する（実行オペレータ管理）。また、制御部５２０は、実行中のオペレータの居住地および作業時刻を管理する（地域管理および時間管理）。また、制御部５２０は、現在のオペレータから引き継いで遠隔制御を実行する次のオペレータを管理する（引継ぎ管理）。制御部５２０は、例えば、遠隔制御サーバ４００からの問い合わせに応じて、これらの管理情報を返す。また、制御部５２０は、例えば、遠隔制御サーバ４００からの指示に応じて登録情報を更新する。

オペレータ管理サーバ５００の送受信部５３０は、ネットワークを介して、遠隔制御サーバ４００と接続し、データ交換を行うためのネットワーク・インターフェイスである。

＜遠隔制御の態様＞
本実施形態による遠隔制御の利用態様の一例について説明する。ここでは、地球Ｅ上を自転方向に沿って周回するように複数個所に設定された拠点にそれぞれ配置された遠隔制御端末３００により現場システムＳ１の装置１００、２００を遠隔制御する場合について説明する。各拠点の間には時差があるため、時差の順に拠点を移しながら制御主体となる遠隔制御端末３００を切り替えることにより、１日中休むことなくオペレータの管理下において現場システムＳ１を連続的に稼働させ、データを取得することが可能となる。

図５は、遠隔制御の利用態様の概念を説明する図である。図５に示す例では、遠隔制御端末３００が配置される拠点として、拠点Ｂ１～拠点Ｂ４の４か所が設定されている。拠点Ｂ１と拠点Ｂ２、拠点Ｂ２と拠点Ｂ３、拠点Ｂ３と拠点Ｂ４、拠点Ｂ４と拠点Ｂ１とは、それぞれ６時間ずつの時差があるものとする。そして、６時間ごとに、拠点Ｂ１→拠点Ｂ２→拠点Ｂ３→拠点Ｂ４→拠点Ｂ１という順に拠点を移して、現場システムＳ１の装置１００、２００を遠隔制御する遠隔制御端末３００を切り替えることで、２４時間連続的に現場システムＳ１を稼働させ得る。一例として、拠点Ｂ１を日本国内に設定し、拠点Ｂ２をサウジアラビアに設定し、拠点Ｂ３をブラジルに設定し、拠点Ｂ４をハワイに設定すると、各拠点の時差は約６時間になる（なお、正確には拠点Ｂ１（日本）と拠点Ｂ４（ハワイ）との間の時差は５時間であり、拠点Ｂ３（ブラジル）と拠点Ｂ４（ハワイ）との間の時差は７時間である）。このように設定すれば、各拠点Ｂ１～Ｂ４の間の時差のため、現場システムＳ１が設置されている場所が夜間であっても、その時間に昼間である拠点の遠隔制御端末３００により遠隔制御を行うことができる。そのため、各拠点のオペレータに対し、夜間労働による負担を強いることを回避することができる。なお、上記の構成において、現場システムＳ１の装置１００、２００と、少なくとも一つの遠隔制御端末３００と、遠隔制御サーバ４００およびオペレータ管理サーバ５００とを同一国内に配置する構成としても良い。

＜引継ぎ制御＞
次に、遠隔制御サーバ４００の引継ぎ制御部４４０による引継ぎ制御について説明する。引継ぎ制御部４４０は、現場システムＳ１の装置１００、２００に対する遠隔制御の引継ぎを行う際、一定時間、現在の遠隔制御端末３００と次の遠隔制御端末３００とに対して同一の出力を行って、両遠隔制御端末３００のオペレータが同じ情報を得られるようにする。

図６は、引継ぎ制御部４４０による引継ぎ制御の動作を示すフローチャートである。引継ぎ制御部４４０は、引継ぎ時刻の一定時間前になると、オペレータ管理サーバ５００に問い合わせて次に制御主体となる遠隔制御端末３００（以下、「次端末３００」と記載）の情報を取得する（Ｓ６０１、Ｓ６０２）。

次に、引継ぎ制御部４４０は、引継ぎ待機状態となった旨の通知を次端末３００から受信すると（Ｓ６０３）、現在制御主体である遠隔制御端末３００（以下、「現端末３００」と記載）に対し、制御主体の引継ぎ制御を行うことを報知する（Ｓ６０４）。引継ぎ待機状態とは、次端末３００において、制御主体を引き継ぐための準備が完了した状態である。具体的には、例えば、オペレータが遠隔制御端末３００による遠隔制御の作業を実行することが可能となった状態である。

次に、引継ぎ制御部４４０は、引継ぎ制御として、現端末３００への出力と同一の出力を次端末３００に対して行う（Ｓ６０５）。そして、引継ぎ制御部４４０は、引継ぎ時刻になったならば、制御主体を現端末３００から次端末３００へ切り替える（Ｓ６０６、Ｓ６０７）。

以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記実施形態には限定されない。例えば、現場システムＳ１の装置１００、２００に対する制御主体となる遠隔制御端末３００の切り替えにおいて、現端末３００に対する次端末３００を単一の遠隔制御端末３００に特定するのではなく、予め定められたまたは任意の複数の遠隔制御端末３００の中から選択するようにしても良い。

＜オペレータの操作について＞
次に、遠隔制御端末３００のオペレータが行う操作について説明する。
オペレータは、遠隔制御端末３００を操作して作用装置２００から文章に関する情報である文章情報を出力させることにより、作用装置２００の利用者とコミュニケーションを図ることがある。
文章情報としては、例えば、表示媒体に表示される情報や、音の出力媒体から出力される音としての情報等が挙げられる。また、文章情報には、他の態様により出力媒体から出力される情報が含まれてもよい。

ここで、作用装置２００から文章情報を出力させるために遠隔制御端末３００への文章の入力を要する場合、オペレータが作用装置２００の利用者とコミュニケーションを図ろうとするたびに、遠隔制御端末３００に文章を入力することが必要になる。
また、例えば、複数の遠隔制御端末３００がそれぞれ異なる国に設置される等の場合には、遠隔制御端末３００ごとにオペレータが変わることがあり、また、オペレータによって理解可能な言語が異なることがある。この場合に、全ての遠隔制御端末３００に一律の言語が出力されると、オペレータによっては、遠隔制御端末３００に出力される言語の理解が困難な場合がある。

作用装置２００から文章情報を出力させるために遠隔制御端末３００への文章の入力を要する場合や、全ての遠隔制御端末３００に一律の言語が出力される場合、オペレータによっては、作用装置２００の利用者とコミュニケーションを図るための負担が大きくなることがある。

そこで、本実施形態では、遠隔制御端末３００に対する操作が行われるボタンに文章情報を予め関連付けておき、このボタンが操作されると、ボタンに関連付けられた文章情報を作用装置２００に出力させる。これにより、オペレータは、作用装置２００に出力させる文章情報に係る文章を遠隔制御端末３００に入力する必要がなくなる。
さらに、本実施形態では、ボタンの操作に応じて作用装置２００から出力される文章情報を、オペレータに理解可能な言語により遠隔制御端末３００に出力させる。これにより、オペレータは、ボタンの操作に応じて作用装置２００から出力される文章情報の内容を理解した上でこのボタンを操作するようになり、作用装置２００の利用者とのコミュニケーションを図る場合におけるオペレータの負担の増大が抑制される。

以下では、遠隔制御端末３００のオペレータが作用装置２００の利用者とコミュニケーションを図る場合におけるオペレータの負担の増大を抑制するための遠隔制御システムＳの具体的な構成について説明する。

＜介護支援システムの構成＞
図７は、遠隔制御システムＳの一例としての介護支援システムＳＡの全体構成例を示す図である。
介護支援システムＳＡは、被制御側装置の一例としての介護ロボット１０と、遠隔制御端末３００Ａ、３００Ｂ、３００Ｃと、遠隔制御サーバ４００Ａとを備える。本実施形態の介護ロボット１０は、少なくとも、図１に示した情報取得装置１００および作用装置２００を有する。介護ロボット１０と遠隔制御サーバ４００Ａ、および遠隔制御端末３００Ａ、３００Ｂ、３００Ｃと遠隔制御サーバ４００Ａとは、ネットワークを介して接続されている。

本実施形態の介護支援システムＳＡは、遠隔制御端末が操作されることにより、介護ロボット１０に文章情報を出力させる。また、遠隔制御端末の操作に応じて介護ロボット１０に出力させる文章情報を、遠隔制御端末において設定されている言語により遠隔制御端末に出力させる。

介護ロボット１０は、病院や介護施設等、被介護者が居住する施設に設けられる。ここで、被介護者は、介護ロボット１０を利用する利用者として捉えられる。
介護ロボット１０は、遠隔制御端末により遠隔制御されることで動作する。本実施形態の介護ロボット１０は、ビデオカメラ１１と、スピーカー１２と、情報表示部１３とを備える。

ビデオカメラ１１は、撮影領域内の被写体を撮影する。本実施形態の介護ロボット１０は、撮影中の動画をデジタル・データとして、遠隔制御サーバ４００Ａへ送信する機能を備える。
スピーカー１２は、音声を出力する。スピーカー１２は、例えば、遠隔制御サーバ４００Ａから取得した文章情報を、音声により出力する。
情報表示部１３は、情報を表示する。情報表示部１３は、例えば、遠隔制御サーバ４００Ａから取得した文章情報を表示する。

遠隔制御端末３００Ａは、出力装置３３０の一例としての情報表示部３３０Ａと、操作装置３５０の一例としての操作部３５０Ａとを備える。また、遠隔制御端末３００Ｂ、３００Ｃは、遠隔制御端末３００Ａと同じ構成である。
操作部３５０Ａには、キーボードが設けられている。本実施形態の遠隔制御端末３００Ａは、キーボードにおける一のボタンが操作されると、この一のボタンが操作されたことを示す操作情報を遠隔制御サーバ４００Ａに送信する。ここで、操作部３５０Ａのキーボードにおける各ボタンは、操作されると信号を出力する操作子として捉えられる。

なお、図７に示す例では、三台の遠隔制御端末３００Ａ、３００Ｂ、３００Ｃを示したが、遠隔制御端末の台数は図示の三台には限定されない。例えば、二台以下の遠隔制御端末が設けられてもよいし、四台以上の遠隔制御端末が設けられてもよい。

＜遠隔制御サーバの機能構成＞
次に、遠隔制御サーバ４００Ａの機能構成について説明する。なお、以下では、遠隔制御サーバ４００Ａが有する特徴的な機能構成について説明する。そのため、以下で説明する遠隔制御サーバ４００Ａの各機能部は、図３を用いて説明した遠隔制御サーバ４００の各機能部に厳密に対応するものではない。
図８は、遠隔制御サーバ４００Ａの機能構成例を示した図である。
図８に示すように、遠隔制御サーバ４００Ａは、送受信部４０１Ａと、記憶部４０２Ａと、文章設定部４０３Ａと、動作検出部４０４Ａと、評価部４０５Ａと、動画作成部４０６Ａと、過去評価通知部４０７Ａとを備える。

受信手段の一例としての送受信部４０１Ａは、ネットワークを介して、介護ロボット１０および遠隔制御端末３００Ａと接続するためのネットワーク・インターフェイスである。送受信部４０１Ａは、例えば、介護ロボット１０から動画を受信すると、この動画を、遠隔制御端末３００Ａに送信する。これにより、遠隔制御端末３００Ａの情報表示部３３０Ａには、介護ロボット１０に撮影されている映像が表示される。そのため、送受信部４０１Ａは、動画を遠隔制御端末３００Ａに送信する送信手段としても捉えられる。
記憶手段の一例としての記憶部４０２Ａは、送受信部４０１Ａが受信した動画を記憶する。また、記憶部４０２Ａは、遠隔制御端末３００Ａのキーボードにおける各ボタンと、複数の言語の文章情報とを関連付けて記憶する。記憶部４０２Ａの記憶内容については、後に詳述する。

出力制御手段の一例としての文章設定部４０３Ａは、遠隔制御端末３００Ａや介護ロボット１０に送信する文章情報を設定する。
文章設定部４０３Ａは、遠隔制御端末３００Ａにおける言語の設定に関する情報である設定情報を、送受信部４０１Ａを介して遠隔制御端末３００Ａから取得する。また、文章設定部４０３Ａは、介護ロボット１０における言語の設定に関する情報である設定情報を、送受信部４０１Ａを介して介護ロボット１０から取得する。設定情報としては、例えば、対象の装置（遠隔制御端末３００Ａや介護ロボット１０）に用いられる言語として対象の装置において設定されている言語を示す情報が挙げられる。遠隔制御サーバ４００Ａは、例えば、対象の装置から設定情報を取得していない状態で対象の装置に接続された際に、この対象の装置から設定情報を取得する。

文章設定部４０３Ａは、遠隔制御端末３００Ａから設定情報を取得すると、取得した設定情報から、遠隔制御端末３００Ａに用いられる言語として遠隔制御端末３００Ａに設定されている言語を特定する。そして、特定した言語の文章情報を、送受信部４０１Ａを介して遠隔制御端末３００Ａに送信し、遠隔制御端末３００Ａに出力させる。
また、文章設定部４０３Ａは、介護ロボット１０から設定情報を取得すると、取得した設定情報から、介護ロボット１０に用いられる言語として介護ロボット１０に設定されている言語を特定する。さらに、文章設定部４０３Ａは、送受信部４０１Ａを介して遠隔制御端末３００Ａから操作情報を取得すると、取得した操作情報に基づいて、特定の文章情報を、送受信部４０１Ａを介して介護ロボット１０に送信し、介護ロボット１０に出力させる。この場合に、設定情報に基づいて特定した言語により文章情報を出力させる。
ここで、出力対象となる文章情報は、記憶部４０２Ａに保持された情報により特定される。記憶部４０２Ａでは、後述する文章情報管理テーブルにより出力対象の文章情報を管理している。

検出手段の一例としての動作検出部４０４Ａは、送受信部４０１Ａを介して介護ロボット１０から取得した動画に映っている被介護者の動作や表情を検出する。
動作検出部４０４Ａは、動画を解析し、被介護者の部位が映っている領域を識別する。具体的には、被介護者の全体が映っている領域、被介護者の頭部、体部、腕部、手部、指等が映っている領域、頭部の顔、目、口、鼻、耳などが映っている領域、上半身、下半身が映っている領域、その他身体の各特徴点が映っている領域等を識別する。識別対象の部位としては、予め定められた部位を全て識別してもよいし、後述する評価部４０５Ａによる評価に用いられる部位のみを識別してもよい。

また、動作検出部４０４Ａは、識別した領域に映っている身体の部位を特定し、特定した部位ごとの動作を検出する。具体的には、頭の動き、顔の向き、顔の構成部位（目、口など）の動き、腕や脚の動き、身体の向き、身体の移動等の動作を検出する。検出対象の動作としては、予め定められた動作を全て対象として検出してもよいし、後述する評価部４０５Ａによる評価に用いられる動作のみを検出してもよい。

また、動作検出部４０４Ａは、識別した領域に映っている顔を特定し、特定した顔の表情を検出する。具体的には、笑顔、苦しんでいる顔、困っている顔、悲しんでいる顔、怒っている顔等の表情を検出する。検出対象の表情としては、予め定められた表情を全て対象として検出してもよいし、後述する評価部４０５Ａによる評価に用いられる表情のみを検出してもよい。

評価手段の一例としての評価部４０５Ａは、動作検出部４０４Ａにより検出された被介護者の動作や表情に応じて、予め定められた評価基準に基づいて評価を行う。この評価は、オペレータによる遠隔制御端末３００Ａの操作に対する評価である。すなわち、本実施形態では、介護ロボット１０から出力された文章情報に対する被介護者の反応に基づいて、この文章情報を出力するためにオペレータが行った操作を評価する。
評価対象の動作や表情としては、遠隔制御サーバ４００Ａが文章情報を介護ロボット１０に送信してから予め定められた期間（例えば１０秒）における被介護者の動作や表情としてもよい。この予め定められた期間は、介護ロボット１０から出力された文章情報に対して被介護者が反応し得る期間として定められた期間である。
なお、評価部４０５Ａにより行われた評価は記憶部４０２Ａに記憶される。

作成手段の一例としての動画作成部４０６Ａは、送受信部４０１Ａを介して介護ロボット１０から取得した動画に基づいて評価動画を作成する。評価動画は、オペレータの操作に対する評価をオペレータが確認するための動画である。評価動画には、被介護者の動作や表情に加えて、評価部４０５Ａにより行われた評価が表示された映像が含まれる。
なお、動画作成部４０６Ａの具体的な処理については、後に詳述する。

過去評価通知部４０７Ａは、遠隔制御端末３００Ａに、評価部４０５Ａにより過去に行われた評価を通知する。広義には、過去評価通知部４０７Ａも出力制御手段として捉えられる。
なお、過去評価通知部４０７Ａの具体的な処理については、後に詳述する。

＜記憶部の記憶内容＞
次に、記憶部４０２Ａの記憶内容について説明する。
図９は、文章情報管理テーブルの一例を示した図である。
図９に示す文章情報管理テーブルは、遠隔制御端末３００Ａにおける操作部３５０Ａに設けられているキーボードのボタンと、複数の言語の文章情報とを関連付けて管理するためのテーブルである。

文章情報管理テーブルでは、「ボタン」に、遠隔制御端末３００Ａに設けられているキーボードのボタンが示されている。また、「文章情報」に、複数の言語の文章情報が示されている。
文章情報管理テーブルでは、「ボタン」ごとにそれぞれ異なる内容の文章情報が関連付けられている。また、各「ボタン」には、複数の言語の文章情報が関連付けられている。一の「ボタン」に関連付けられている複数の言語の文章情報は、何れも同一の内容である。一例を挙げると、「ａ」ボタンには、「日本語」の「どこか痛いですか？」という文章情報、「英語」の「Does it hurt somewhere?」という文章情報、「スペイン語」の「?Duele en algunlugar?」という文章情報等、同一の内容からなる複数の言語の文章情報が関連付けられている。

＜文章設定部の処理＞
次に、文章設定部４０３Ａによる処理について説明する。文章設定部４０３Ａは、上述の通り、遠隔制御端末３００Ａから取得した設定情報に基づいて一の言語を特定する。そして、文章情報管理テーブル（図９参照）に示されている複数の言語の文章情報のうち、特定した言語の文章情報を遠隔制御端末３００Ａの情報表示部３３０Ａに表示させる。この場合に、文章設定部４０３Ａは、文章情報管理テーブルに示されている各「ボタン」に関連付けられている文章情報を全て表示させる。

また、文章設定部４０３Ａは、介護ロボット１０から取得した設定情報に基づいて一の言語を特定する。また、遠隔制御端末３００Ａから取得した操作情報に基づいて、遠隔制御端末３００Ａにおいて操作されたボタンを特定する。そして、文章情報管理テーブルに示されている「ボタン」のうちの特定したボタンに関連付けられている「文章情報」を、特定した言語により介護ロボット１０に出力させる。この場合に、文章情報を、介護ロボット１０のスピーカー１２に音声として出力させるとともに、情報表示部１３に表示させる。

＜コミュニケーションの内容＞
次に、オペレータが被介護者と行うコミュニケーションの内容について、遠隔制御端末３００Ａの情報表示部３３０Ａに表示される画面を参照しながら説明する。
図１０～図１３は、介護ロボット１０により撮影中の被写体が映された撮影画面３６１を示した図である。以下の例では、介護ロボット１０に用いられる言語として日本語が設定されており、遠隔制御端末３００Ａに用いられる言語として英語が設定されているものとする。

図１０（ａ）に示すように、撮影画面３６１には、被介護者「Ａさん」の映像が表示されている。また、撮影画面３６１には、時刻情報３６２が表示されている。時刻情報３６２には、介護ロボット１０により撮影が行われている時刻が「２０１８年８月１日２２時００分」である旨が示されている。
また、撮影画面３６１には、文章情報説明部３６３が表示されている。文章情報説明部３６３には、一行ごとに、遠隔制御端末３００Ａにおけるキーボードのボタンおよび文章情報管理テーブル（図９参照）にてこのボタンに関連付けられている英語の文章情報が表示されている。なお、図示の例では、「ａ」ボタンに関連付けられている文章情報のみが明示されているが、文章情報説明部３６３には、文章情報管理テーブルにて各ボタンに関連付けられている文章情報が全て表示される。

図１０（ａ）に示した撮影画面３６１には、Ａさんが映っている。オペレータは、撮影画面３６１に映っているＡさんを見て、例えば、Ａさんの表情が苦しんでいる表情であると判断する。この場合に、オペレータが遠隔制御端末３００Ａにおけるキーボードの「ａ」ボタンを操作すると、情報表示部３３０Ａには、図１０（ｂ）に示すように、介護ロボット１０に出力させる文章情報を確認する確認画面３６４が表示される。確認画面３６４には、オペレータが操作したキーボードの「ａ」ボタンおよびこのボタンに関連付けられている英語の文章情報「Does it hurt somewhere?」を示す文章情報確認部３６５が表示されている。

オペレータが確認画面３６４に表示されているキャンセルボタン３６６を操作すると、文章情報は介護ロボット１０から出力されない。一方、確認画面３６４に表示されているＯＫボタン３６７を操作すると、日本語の文章情報「どこか痛いですか？」が、介護ロボット１０のスピーカー１２から音声として出力される（図１１（ａ）参照）。また、この文章情報「どこか痛いですか？」が、介護ロボット１０の情報表示部１３に表示される。

介護ロボット１０から文章情報が出力されると、Ａさんは、出力された文章情報に対して反応する。これにより、図１１（ｂ）に示すように、撮影画面３６１には、口を指差すＡさんの映像が表示される。オペレータは、出力された文章情報に対するＡさんの反応から、例えば、Ａさんが口を痛めていると判断する。なお、Ａさんが、出力された文章情報に対する反応として、「口が痛い」旨を音声により発した場合に、この音声が遠隔制御端末３００Ａから出力されてもよい。オペレータが、Ａさんが音声により発した文章の言語を理解可能である場合には、Ａさんが口を痛めていることをＡさんの音声から判断することもできる。
続いて、オペレータが遠隔制御端末３００Ａにおけるキーボードの「ｃ」ボタンを操作すると、図１２（ａ）に示すように、再び確認画面３６４が表示される。この確認画面３６４の文章情報確認部３６５には、オペレータが操作したボタン「ｃ」およびこのボタンに関連付けられている英語の文章情報「Please open your mouth.」が表示される。

オペレータがＯＫボタン３６７を操作すると、日本語の文章情報「口を開いてください」が、介護ロボット１０のスピーカー１２から出力される（図１２（ｂ）参照）。また、この文章情報「口を開いてください」が、情報表示部１３に表示される。
介護ロボット１０から文章情報が出力されると、Ａさんは、出力された文章情報に対して反応する。これにより、図１３に示すように、撮影画面３６１には、口を開いたＡさんの映像が表示される。
この後、オペレータは、例えば、介護ロボット１０を用いてＡさんの状態を更に詳しく確認してもよいし、介護ロボット１０が設けられている施設のスタッフに連絡を取ってもよい。

このように、本実施形態では、遠隔制御サーバ４００Ａは、遠隔制御端末３００Ａから操作情報を受信すると、操作情報から特定されるボタンに関連付けられた文章情報を介護ロボット１０に出力させる。また、遠隔制御サーバ４００Ａは、遠隔制御端末３００Ａから設定情報を受信すると、文章情報を、設定情報から特定される言語により遠隔制御端末３００Ａに表示させる。

＜評価部の処理＞
次に、評価部４０５Ａによる処理について説明する。評価部４０５Ａは、動作検出部４０４Ａにより検出された被介護者の動作や表情に基づいて、オペレータの操作を評価する。例えば、オペレータの操作により介護ロボット１０に出力された文章情報に対して被介護者が頷く動作を行ったり喜んだりした場合は、オペレータのこの操作に対して高い評価が与えられる。また、例えば、被介護者が首を横に振る動作を行ったり怒ったりした場合は、オペレータの操作に対して低い評価が与えられる。一例を挙げると、文章情報「どこか痛いですか？」（図１１（ａ）参照）に対して被介護者が具体的な身体の一部を指した（図１１（ｂ）参照）場合には、オペレータと被介護者との間でコミュニケーションが取れていると考えられる。この場合には、オペレータの操作に対して高い評価が与えられる。
その他、介護ロボット１０から出力される文章情報に応じて様々な評価基準を設定してもよい。オペレータの操作に対する評価は、例えば、オペレータの操作のたびに与えられた評価の一日における累積評価として得られる。この累積評価は、評価情報として遠隔制御サーバ４００Ａから遠隔制御端末３００Ａに送信されてもよい。

＜評価管理テーブル＞
次に、記憶部４０２Ａに記憶されている評価管理テーブルについて説明する。
図１４は、評価管理テーブルの一例を示した図である。
図１４に示す評価管理テーブルは、評価部４０５Ａがオペレータの操作に対して行った評価を管理するためのテーブルである。

評価管理テーブルでは、「被介護者」に、動作検出部４０４Ａにより動作や表情が検出された被介護者が示されている。また、「動作または表情」に、遠隔制御サーバ４００Ａが遠隔制御端末３００Ａから操作情報を取得した際に動作検出部４０４Ａに検出された「被介護者」の動作または表情が示されている。また、「ボタン」に、遠隔制御サーバ４００Ａが取得した操作情報から特定されるボタンが示されている。また、「文章情報」に、操作情報から特定される「ボタン」に関連付けられている文章情報が示されている。また、「反応」に、介護ロボット１０から出力された「文章情報」に対する反応として検出された「被介護者」の動作または表情が示されている。「反応」には、例えば、遠隔制御サーバ４００Ａが介護ロボット１０に「文章情報」を送信してから予め定められた期間が経過するまでに検出された「被介護者」の動作または表情が挙げられる。また、「評価」に、評価部４０５Ａがオペレータの操作に対して行った評価が示されている。この「オペレータの操作」とは、「文章情報」を出力するためにオペレータが行った操作である。
ここで、「遠隔制御サーバ４００Ａが遠隔制御端末３００Ａから操作情報を取得した際」には、オペレータがこの操作情報に係るボタンを操作したときも含まれる。また、オペレータがボタンを操作したときには、オペレータが確認画面３６４におけるＯＫボタン３６７（図１０（ｂ）参照）を操作したときも含まれる。

評価管理テーブルに示されている内容の一例を説明する。
評価管理テーブルには、オペレータが操作した「ａ」ボタン、「ａ」ボタンに関連付けられている文章情報「Does it hurt somewhere?」、「ａ」ボタンが操作されたときに検出されていた被介護者「Ａさん」の「苦しんでいる」表情（図１０（ｂ）参照）がそれぞれ関連付けられている。さらに、介護ロボット１０から出力された文章情報に対する反応として検出された「Ａさん」の「口を指差す」動作、および、評価部４０５Ａがオペレータの操作に対して行った評価「○」がそれぞれ関連付けられている。なお、評価「○」は、高い評価を意味する。また、低い評価としては、例えば、評価「×」が用いられても良い。
また、評価としては、「〇」や「×」などの符号のみならず、「優」、「良」、「悪」などの言葉や、「１」、「２」、「３」などの予め定められた段階（例えば３段階）からなる数字が用いられても良い。評価として予め定められた段階からなる数字が用いられる場合に、例えば、大きい数字ほど高い評価を意味しても良いし、小さい数字ほど高い評価を意味しても良い。

＜動画作成部の処理＞
次に、動画作成部４０６Ａによる処理について説明する。動画作成部４０６Ａは、介護ロボット１０から取得した動画に基づいて、評価動画を作成する。
動画作成部４０６Ａは、評価管理テーブル（図１４参照）に示された「被介護者」の「動作または表情」と、この「動作または表情」に関連付けられている「文章情報」とが表示された映像を作成する。一例を挙げると、「Ａさん」が「苦しんでいる」表情（図１０（ｂ）参照）と、評価管理テーブルにて「苦しんでいる」表情に関連付けられている文章情報「Does it hurt somewhere?」とが表示された映像を作成する。
また、動画作成部４０６Ａは、評価管理テーブルに示された「被介護者」の「反応」と、この「反応」に関連付けられている「評価」とが表示された映像を作成する。一例を挙げると、「Ａさん」が「口を指差す」反応（図１１（ｂ）参照）と、評価管理テーブルにて「口を指差す」反応に関連付けられている評価「○」とが表示された映像を作成する。
そして、動画作成部４０６Ａは、「被介護者」の「動作または表情」と、「文章情報」とが表示された映像、および「被介護者」の「反応」と、「評価」とが表示された映像を含む一連の映像を、評価動画として作成する。

動画作成部４０６Ａは、作成した評価動画を、送受信部４０１Ａを介して遠隔制御端末３００Ａに送信する。オペレータは、評価動画を見ることで、自らの操作に対する評価を認識する。また、例えば予め定められた基準値よりも高い評価に係る動画は、手本動画として、この評価に係る操作が行われた遠隔制御端末（遠隔制御端末３００Ａ）とは異なる遠隔制御端末（遠隔制御端末３００Ｂ、３００Ｃなど）に送信されてもよい。

＜過去評価通知部の処理＞
次に、過去評価通知部４０７Ａによる処理について説明する。図１５は、過去評価通知部４０７Ａによる処理を説明するための図である。
図１５（ａ）に示すように、遠隔制御端末３００Ａの情報表示部３３０Ａには、撮影画面３６１が表示されている。撮影画面３６１には、介護ロボット１０により撮影中のＡさんの映像が表示されている。この撮影画面３６１の時刻情報３６２には、介護ロボット１０により撮影が行われている時刻が「２０１８年８月２日２３時００分」である旨が示されている。また、撮影中のＡさんの映像は、遠隔制御サーバ４００Ａにも保持されており、動作検出部４０４Ａは、撮影中のＡさんの動作や表情を検出する。

図１５（ａ）に示した撮影画面３６１には、苦しんでいる表情のＡさんが映っている。そのため、動作検出部４０４Ａにより、Ａさんが苦しんでいる表情が検出される。検出された「Ａさん」の「苦しんでいる」表情は、評価管理テーブル（図１４参照）にて「Ａさん」に関連付けられている「動作または表情」である。
この場合、過去評価通知部４０７Ａは、「Ａさん」の「苦しんでいる」表情に関連付けられているボタン「ａ」、文章情報「Does it hurt somewhere?」、および評価「○」を、図１５（ｂ）に示すように、撮影画面３６１に表示させる。オペレータは、撮影画面３６１に表示された文章情報３６８、ボタン３６９および評価３７０を参照しながら、遠隔制御端末３００Ａの操作を行う。

このように、本実施形態では、撮影中の動画から、記憶手段の評価管理テーブルにて管理されている「被介護者」の「動作または表情」が検出された場合に、この「動作または表情」に関連付けられている「ボタン」、「文章情報」、および「評価」を、遠隔制御端末３００Ａの情報表示部３３０Ａに表示させる。
なお、過去評価通知部４０７Ａは、一のオペレータの操作に対する過去の評価を、他のオペレータが操作する遠隔制御端末に表示させてもよい。

以上、本実施形態について説明したが、本発明の技術的範囲は上記実施形態には限定されない。
例えば、介護ロボット１０の利用者ごとに、遠隔制御端末３００Ａにおけるキーボードのボタンに関連付けられる文章情報を設定してもよい。この場合、遠隔制御サーバ４００Ａの記憶部４０２Ａには、利用者ごとの文章情報管理テーブルが設けられ、各文章情報管理テーブルにおいては、対象の利用者に適した文章情報がキーボードのボタンに関連付けられる。そして、遠隔制御サーバ４００Ａは、対象の利用者に係る文章情報管理テーブルに基づいて、対象の利用者に応じた文章情報を遠隔制御端末３００Ａや介護ロボット１０に出力させる。

また、例えば、文章情報が出力される被制御側装置ごとに、遠隔制御端末３００Ａにおけるキーボードのボタンに関連付けられる文章情報を設定してもよい。この場合、遠隔制御サーバ４００Ａの記憶部４０２Ａには、被制御側装置ごとの文章情報管理テーブルが設けられ、各文章情報管理テーブルにおいては、対象の被制御側装置に適した文章情報がキーボードのボタンに関連付けられる。そして、遠隔制御サーバ４００Ａは、対象の被制御側装置に係る文章情報管理テーブルに基づいて、対象の被制御側装置に応じた文章情報を遠隔制御端末３００Ａや対象の被制御側装置に出力させる。

また、例えば、遠隔制御端末ごとに、キーボードのボタンに関連付けられる文章情報を設定してもよい。この場合、遠隔制御サーバ４００Ａの記憶部４０２Ａには、遠隔制御端末ごとの文章情報管理テーブルが設けられ、各文章情報管理テーブルにおいては、対象の遠隔制御端末に適した文章情報がキーボードのボタンに関連付けられる。そして、遠隔制御サーバ４００Ａは、対象の遠隔制御端末に係る文章情報管理テーブルに基づいて、対象の遠隔制御端末に応じた文章情報を対象の遠隔制御端末や被制御側装置に出力させる。

また、本実施形態では、複数の言語の文章情報を予め記憶部４０２Ａに記憶させ、文章設定部４０３Ａは、記憶されている複数の言語の文章情報のうち特定の言語の文章情報を対象の装置に出力させているが、これに限定されない。
例えば、単一の言語の文章情報を予め記憶部４０２Ａに記憶させ、記憶されているこの文章情報を、対象の装置に応じた言語に翻訳してからこの対象の装置に出力させてもよい。

また、本実施形態では、遠隔制御端末３００Ａにおけるキーボードのボタンが操作されると文章情報を介護ロボット１０に出力させるようにしたが、これに限定されない。
例えば、遠隔制御端末３００Ａのタッチパネルのボタンに文章情報を予め関連付け、このタッチパネルのボタンが操作されると、操作されたボタンに関連付けられている文章情報を介護ロボット１０に出力させてもよい。この場合に、遠隔制御端末３００Ａのタッチパネルにおける各ボタンは、操作されると信号を出力する操作子として捉えられる。

また、本実施形態では、遠隔制御サーバ４００Ａが介護ロボット１０から動画を取得し、取得した動画に映っている被介護者の態様に応じて、オペレータの操作に対する評価を行っているが、これに限定されない。
例えば、遠隔制御サーバ４００Ａが介護ロボット１０から画像を取得し、取得した画像に映っている被介護者の態様を検出し、検出された被介護者の態様に応じて、オペレータの操作に対する評価を行ってもよい。この場合に、送受信部４０１Ａは、動画および画像の少なくとも一方を取得する取得手段として捉えられる。

また、例えば、動画に記録されている被介護者の音声を検出し、検出された音声に応じて、オペレータの操作に対する評価を行ってもよい。
この場合、動作検出部４０４Ａは、被介護者から発せられる言葉や声色を検出する。そして、評価部４０５Ａは、検出された言葉や声色に応じて、予め定められた評価基準に基づいて評価を行ってもよい。この場合に、被介護者から発せられる言葉や声色は、被介護者の態様として捉えられる。

また、本実施形態では、文章情報を遠隔制御端末３００Ａの情報表示部３３０Ａに表示させているが、これに加えて、文章情報を音声として遠隔制御端末３００Ａに出力させてもよい。
その他、本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。

Ｓ…遠隔制御システム、ＳＡ…介護支援システム（遠隔制御システムＳの一例）、Ｓ１…現場システム、Ｓ２…オペレーション・システム、１００…情報取得装置、２００…作用装置、３００Ａ…遠隔制御端末、４００Ａ…遠隔制御サーバ、４０１Ａ…送受信部、４０２Ａ…記憶部、４０３Ａ…文章設定部、４０４Ａ…動作検出部、４０５Ａ…評価部、４０６Ａ…動画作成部、４０７Ａ…過去評価通知部、５００…オペレータ管理サーバ

Claims (7)

1. 遠隔制御端末から、操作されると信号を出力する操作子が操作されたことを示す操作情報を受信する受信手段と、
   前記受信手段が前記操作情報を受信すると、前記操作子に予め関連付けられた文章に関する文章情報を制御の対象となる被制御側装置に出力させる出力制御手段と、
   を備え、
   前記受信手段は、前記遠隔制御端末から、当該遠隔制御端末における設定に関する設定情報を受信し、
   前記出力制御手段は、前記受信手段が前記設定情報を受信すると、前記文章情報を、当該設定情報から特定される言語により前記遠隔制御端末に出力させることを特徴とする、遠隔制御サーバ。
2. 前記被制御側装置を利用する利用者が映っている動画および画像の少なくとも一方を取得する取得手段と、
   前記取得手段により取得された前記動画および前記画像の少なくとも一方から、前記利用者の態様を検出する検出手段と、
   前記検出手段に検出された前記態様に応じて、予め定められた評価基準に基づいて前記遠隔制御端末の操作者による前記操作子の操作を評価する評価手段と、
   をさらに備えた、請求項１記載の遠隔制御サーバ。
3. 前記取得手段は、前記利用者が映っている動画を取得し、
   前記動画に基づいて、前記利用者の前記態様、前記評価手段による前記評価、および当該評価に係る前記文章情報が表示された映像を含む動画を作成する作成手段をさらに備えた、請求項２記載の遠隔制御サーバ。
4. 前記取得手段は、前記利用者が映っている動画を取得し、
   前記受信手段が前記操作情報を取得した際の前記利用者の態様と、前記評価および当該評価に係る前記文章情報と、を関連付けて記憶する記憶手段と、
   撮影されている前記利用者の動画が前記取得手段により取得されると、当該動画を前記遠隔制御端末に送信する送信手段と、
   を備え、
   前記出力制御手段は、撮影されている前記動画から、前記記憶手段に記憶されている前記利用者の前記態様が検出された場合に、当該態様に関連付けられて記憶されている前記評価および前記文章情報を、前記遠隔制御端末に送信した前記動画に表示させることを特徴とする請求項２記載の遠隔制御サーバ。
5. 前記遠隔制御端末の前記操作子と、複数の言語の前記文章情報とを関連付けて記憶する記憶手段をさらに備え、
   前記設定情報は、前記遠隔制御端末における言語の設定に関する情報であり、
   前記出力制御手段は、前記記憶手段に記憶されている前記文章情報のうち、前記設定情報から特定される言語の前記文章情報を前記遠隔制御端末に出力させることを特徴とする請求項１記載の遠隔制御サーバ。
6. 制御の対象となる被制御側装置が設けられている地域との間で時差が生じる地域に設けられ、操作者による操作を受け付けて当該被制御側装置を遠隔制御する遠隔制御端末と、
   前記被制御側装置と前記遠隔制御端末とを接続し、当該遠隔制御端末に当該被制御側装置を遠隔制御させる遠隔制御サーバと、を備え、
   前記遠隔制御端末は、操作されると信号を出力する操作子が操作されたことを示す操作情報を送信する送信手段を有し、
   前記遠隔制御サーバは、
   前記遠隔制御端末から前記操作情報を受信する受信手段と、
   前記受信手段が前記操作情報を受信すると、前記操作子に予め関連付けられた文章の文章情報を前記被制御側装置に出力させる出力制御手段と、
   を有することを特徴とする、遠隔制御システム。
7. 前記受信手段は、前記遠隔制御端末から、当該遠隔制御端末における設定に関する設定情報を受信し、
   前記出力制御手段は、前記受信手段が前記設定情報を受信すると、前記文章情報を、当該設定情報から特定される言語により前記遠隔制御端末に出力させることを特徴とする請求項６記載の遠隔制御システム。

Images