WO2014162505A1

WO2014162505A1 - 携帯型中継装置、制御方法及びプログラム、並びに遠隔操作システム

Info

Publication number: WO2014162505A1
Application number: PCT/JP2013/060034
Authority: WO
Inventors: 啓輔安仲; 有人寺尾; 竜押見; 雄也矢野; 光晴鈴木
Original assignee: パイオニア株式会社
Priority date: 2013-04-02
Filing date: 2013-04-02
Publication date: 2014-10-09

Abstract

　操作対象となる被操作端末及び当該被操作端末を操作する操作端末と通信可能な携帯型中継装置は、被操作端末の表示画面を撮影する撮影手段と、撮影手段の撮影により得られた画像を操作端末に送信すると共に、当該画像に応じて操作端末によって生成された、被操作端末を操作するためのコマンドを、操作端末から受信する第１通信手段と、第１通信手段によって受信されたコマンドを被操作端末に送信する第２通信手段と、を備える。また、撮影手段は、当該コマンドにより操作された被操作端末の表示画面を撮影し、第１通信手段は、撮影手段の撮影により得られた、当該コマンドにより操作された被操作端末の表示画面の画像を、操作端末に送信する。

Description

携帯型中継装置、制御方法及びプログラム、並びに遠隔操作システム

　本発明は、操作対象となる被操作端末を遠隔操作する技術分野に関する。

　この種の技術が、例えば特許文献１及び２に提案されている。特許文献１には、ホームネットワークと外部ネットワークとを中継して家電機器を遠隔操作することが提案されている。また、特許文献２には、操作対象端末におけるファイル書き換え処理が行われることを防止した上で、操作端末による操作対象端末の遠隔操作を実現する通信中継装置が提案されている。

特開２００６－５０５２４号公報特開２００７－１９４７４４号公報

　上記した特許文献１及び２に記載された技術では、操作端末が被操作端末を遠隔操作している最中に、被操作端末の遠隔操作状況を確認することができなかった。また、特許文献１及び２に記載された技術では、例えば車載機器などのネットワーク対応できない被操作端末に対して、遠隔操作や遠隔操作状況の確認を適切に行うことができなかった。

　本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、遠隔操作や遠隔操作状況の確認を適切に行うことが可能な携帯型中継装置などを提供することを主な目的とする。

　請求項に記載の発明では、操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能な携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記撮影手段は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、前記第１通信手段は、前記撮影手段の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する、ことを特徴とする。

　また、請求項に記載の発明では、操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能な携帯型中継装置によって実行される制御方法は、前記被操作端末の表示画面を撮影する撮影工程と、前記撮影工程の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信工程と、前記第１通信工程によって受信された前記コマンドを前記被操作端末に送信する第２通信工程と、を備え、前記撮影工程は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、前記第１通信工程は、前記撮影工程の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する、ことを特徴とする。

　また、請求項に記載の発明では、操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能であり、コンピュータを有する携帯型中継装置によって実行されるプログラムは、前記被操作端末の表示画面を撮影する撮影手段、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段、として前記コンピュータを機能させ、前記撮影手段は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、前記第１通信手段は、前記撮影手段の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する、ことを特徴とする。

　また、請求項に記載の発明では、記録媒体は、上記プログラムを記録したことを特徴とする。

　また、請求項に記載の発明では、操作対象となる被操作端末と、前記被操作端末及び当該被操作端末を操作する操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムは、前記携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記被操作端末は、前記携帯型中継装置の前記第２通信手段によって送信された前記コマンドを受信する第３通信手段と、前記第３通信手段によって受信された前記コマンドに基づいて制御を行う制御手段と、を備えることを特徴とする。

　また、請求項に記載の発明では、操作対象となる被操作端末を操作する操作端末と、前記被操作端末及び前記操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムは、前記携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記操作端末は、前記携帯型中継装置の前記第１通信手段によって送信された前記画像を受信する第３通信手段と、前記第３通信手段によって受信された前記画像に基づいて、前記被操作端末を操作するためのコマンドを生成するコマンド生成手段と、前記コマンド生成手段によって生成された前記コマンドを前記携帯型中継装置に送信する第４通信手段と、を備えることを特徴とする。

　また、請求項に記載の発明では、操作対象となる被操作端末と、前記被操作端末を操作する操作端末と、前記被操作端末及び前記操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムは、前記携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記操作端末は、前記携帯型中継装置の前記第１通信手段によって送信された前記画像を受信する第３通信手段と、前記第３通信手段によって受信された前記画像に基づいて、前記被操作端末を操作するためのコマンドを生成するコマンド生成手段と、前記コマンド生成手段によって生成された前記コマンドを前記携帯型中継装置に送信する第４通信手段と、を備え、前記被操作端末は、前記携帯型中継装置の前記第２通信手段によって送信された前記コマンドを受信する第５通信手段と、前記第５通信手段によって受信された前記コマンドに基づいて制御を行う制御手段と、を備えることを特徴とする。

本実施例に係る遠隔操作システムの概略構成を示すブロック図である。本実施例に係る制御方法についての全体の流れを示した概略図である。本実施例に係る処理フローを示す。適用例１に係る処理フローを示す。

　本発明の１つの観点では、操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能な携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記撮影手段は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、前記第１通信手段は、前記撮影手段の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する。

　上記の携帯型中継装置では、被操作端末の表示画面を撮影した画像（撮影画像）を操作端末に送信し、当該画像に応じて操作端末によって生成された被操作端末を操作するためのコマンドを受信し、当該コマンドを被操作端末に送信する。また、そのようなコマンドにより操作された被操作端末の表示画面を更に撮影し、得られた撮影画像を操作端末に更に送信する。

　上記の携帯型中継装置によれば、操作端末側では、被操作端末の撮影画像から、例えば、被操作端末のハードウェア部分の動作や、ユーザによる操作の様子や、被操作端末の周辺の環境などを確認することができる。したがって、例えば、ハードウェアの異常や、ユーザによる誤った操作や、被操作端末を誤った場所に設置したことなどの、ソフトウェア以外の要因（つまりソフトウェアとして応答に現れない要因）による被操作端末の不具合を、適切に検出することができると共に、そのような不具合を遠隔操作にて適切に対処することができる。

　また、上記の携帯型中継装置によれば、操作端末で生成されたコマンドにより被操作端末が操作されている様子を撮影した撮影画像を操作端末に送信することで、操作端末側で被操作端末の遠隔操作状況を適切に確認することができる。したがって、例えば被操作端末に発生した不具合などを、操作端末による遠隔操作によって効率的に対処することが可能となる。

　上記の携帯型中継装置において好適には、前記撮影手段は、前記被操作端末に表示されたエラーメッセージを撮影し、前記第１通信手段は、前記撮影手段の撮影により得られた、前記エラーメッセージが表示された前記被操作端末の表示画面の画像を、前記操作端末に送信すると共に、前記操作端末によって生成された、前記エラーメッセージに対応するエラーを解消するためのコマンドを、前記操作端末から受信する。

　本発明の他の観点では、操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能な携帯型中継装置によって実行される制御方法は、前記被操作端末の表示画面を撮影する撮影工程と、前記撮影工程の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信工程と、前記第１通信工程によって受信された前記コマンドを前記被操作端末に送信する第２通信工程と、を備え、前記撮影工程は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、前記第１通信工程は、前記撮影工程の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する。

　また、本発明の他の観点では、操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能であり、コンピュータを有する携帯型中継装置によって実行されるプログラムは、前記被操作端末の表示画面を撮影する撮影手段、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段、として前記コンピュータを機能させ、前記撮影手段は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、前記第１通信手段は、前記撮影手段の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する。

　上記のプログラムは、記録媒体に記録した状態で好適に取り扱うことができる。

　また、本発明の他の観点では、操作対象となる被操作端末と、前記被操作端末及び当該被操作端末を操作する操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムは、前記携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記被操作端末は、前記携帯型中継装置の前記第２通信手段によって送信された前記コマンドを受信する第３通信手段と、前記第３通信手段によって受信された前記コマンドに基づいて制御を行う制御手段と、を備える。

　また、本発明の他の観点では、操作対象となる被操作端末を操作する操作端末と、前記被操作端末及び前記操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムは、前記携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記操作端末は、前記携帯型中継装置の前記第１通信手段によって送信された前記画像を受信する第３通信手段と、前記第３通信手段によって受信された前記画像に基づいて、前記被操作端末を操作するためのコマンドを生成するコマンド生成手段と、前記コマンド生成手段によって生成された前記コマンドを前記携帯型中継装置に送信する第４通信手段と、を備える。

　また、本発明の他の観点では、操作対象となる被操作端末と、前記被操作端末を操作する操作端末と、前記被操作端末及び前記操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムは、前記携帯型中継装置は、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、を備え、前記操作端末は、前記携帯型中継装置の前記第１通信手段によって送信された前記画像を受信する第３通信手段と、前記第３通信手段によって受信された前記画像に基づいて、前記被操作端末を操作するためのコマンドを生成するコマンド生成手段と、前記コマンド生成手段によって生成された前記コマンドを前記携帯型中継装置に送信する第４通信手段と、を備え、前記被操作端末は、前記携帯型中継装置の前記第２通信手段によって送信された前記コマンドを受信する第５通信手段と、前記第５通信手段によって受信された前記コマンドに基づいて制御を行う制御手段と、を備える。

　上記の遠隔操作システムによれば、被操作端末を撮影した撮影画像に基づいて、中継装置を介した操作端末による被操作端末の遠隔操作を適切に行うことができる。

　以下、図面を参照して本発明の好適な実施例について説明する。

　［システム構成］
　図１は、本実施例に係る遠隔操作システム１００の概略構成を示すブロック図である。図１に示すように、遠隔操作システム１００は、中継装置１と、遠隔操作の対象となる被操作端末２と、当該被操作端末２を遠隔操作するための操作端末３と、を有する。

　中継装置１は、主に、制御部１１と、記憶部１２と、入力部１３と、表示部１４と、第１通信部１５と、第２通信部１６と、カメラ１７と、を有する。中継装置１は、携帯可能な通信装置であり、本発明における「携帯型中継装置」の一例に相当する。例えば、中継装置１は、スマートフォンなどの携帯端末装置である。

　記憶部１２は、図示しないＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの各種のメモリを備えて構成され、中継装置１を制御するための種々の制御プログラムなどが格納されると共に、制御部１１に対してワーキングエリアを提供する。

　入力部１３は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置などから構成されている。表示部１４がタッチパネル方式に構成されている場合には、表示部１４の表示画面上に設けられたタッチパネルも入力部１３として機能する。

　表示部１４は、例えば液晶ディスプレイなどにより構成され、ユーザに対して文字や画像などを表示する。表示部１４を、タッチパネルなどにて構成しても良い。

　第１通信部１５は、ネットワーク５を介して、操作端末３と通信可能に構成されている。なお、第１通信部１５は、本発明における「第１通信手段」の一例に相当する。

　第２通信部１６は、被操作端末２と通信可能に構成されている。例えば、第２通信部１６は、Bluetooth（登録商標）等の無線通信方式にて被操作端末２と通信を行う。なお、第２通信部１６は、本発明における「第２通信手段」の一例に相当する。

　カメラ１７は、中継装置１の後方又は前方を撮影可能に構成されている。なお、カメラ１７は、本発明における「撮影手段」の一例である。

　制御部１１は、図示しないＣＰＵ（Central Processing Unit）などを備えて構成され、中継装置１全体の制御を行う。例えば、制御部１１は、操作端末３による被操作端末２の遠隔操作を中継するための制御を行う。なお、制御部１１は、上記した第１通信部１５、第２通信部１６及びカメラ１７を制御するため、本発明における「第１通信手段」、「第２通信手段」、「撮影手段」の一例に相当するものと扱うことができる。

　次に、被操作端末２は、主に、制御部２１と、記憶部２２と、入力部２３と、表示部２４と、通信部２５と、を有する。被操作端末２は、ユーザによって利用される端末である。例えば、被操作端末２は、ナビゲーション装置などの車載機器や、家電機器などである。

　記憶部２２は、図示しないＲＯＭやＲＡＭなどの各種のメモリを備えて構成され、被操作端末２を制御するための種々の制御プログラムなどが格納されると共に、制御部２１に対してワーキングエリアを提供する。

　入力部２３は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置などから構成されている。表示部２４がタッチパネル方式に構成されている場合には、表示部２４の表示画面上に設けられたタッチパネルも入力部２３として機能する。

　表示部２４は、例えば液晶ディスプレイなどにより構成され、ユーザに対して文字や画像などを表示する。表示部２４を、タッチパネルなどにて構成しても良い。

　通信部２５は、中継装置１と通信可能に構成されている。例えば、通信部２５は、Bluetooth（登録商標）等の無線通信方式にて中継装置１と通信を行う。

　制御部２１は、図示しないＣＰＵなどを備えて構成され、被操作端末２全体の制御を行う。例えば、制御部２１は、中継装置１を介して操作端末３から送信されたコマンドに従って、被操作端末２を制御する。なお、制御部２１は、本発明における「制御手段」の一例に相当する。

　次に、操作端末３は、主に、制御部３１と、記憶部３２と、入力部３３と、表示部３４と、通信部３５と、を有する。例えば、操作端末３は、被操作端末２についてのサービスセンターの端末などであり、管理者によって使用される。基本的には、操作端末３は、中継装置１及び被操作端末２と離れた場所に設けられる。

　記憶部３２は、図示しないＲＯＭやＲＡＭなどの各種のメモリを備えて構成され、操作端末３を制御するための種々の制御プログラムなどが格納されると共に、制御部３１に対してワーキングエリアを提供する。

　入力部３３は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置などから構成されている。表示部３４がタッチパネル方式に構成されている場合には、表示部３４の表示画面上に設けられたタッチパネルも入力部３３として機能する。

　表示部３４は、例えば液晶ディスプレイなどにより構成され、ユーザに対して文字や画像などを表示する。表示部３４を、タッチパネルなどにて構成しても良い。

　通信部３５は、ネットワーク５を介して、中継装置１と通信可能に構成されている。

　制御部３１は、図示しないＣＰＵなどを備えて構成され、操作端末３全体の制御を行う。例えば、制御部３１は、中継装置１を中継して被操作端末２を遠隔操作するための制御を行う。なお、制御部３１は、本発明における「コマンド生成手段」の一例に相当する。

　なお、上記では中継装置１と被操作端末２とを無線接続する例を示したが、中継装置１と被操作端末２とを有線接続（ケーブル接続等）しても良い。

　［制御方法］
　次に、本実施例において、中継装置１を中継して操作端末３により被操作端末２が遠隔操作される際に行われる制御方法について説明する。

　図２は、本実施例に係る制御方法についての全体の流れを示した概略図である。本実施例では、まず、ユーザの操作によって被操作端末２が動作している際に、中継装置１は、カメラ１７によって被操作端末２を撮影する。これにより、ユーザの操作により被操作端末２が動作している様子が撮影される。なお、カメラ１７は、静止画を撮影しても良いし、動画を撮影しても良い。この後、中継装置１は、カメラ１７の撮影により得られた画像（撮影画像）を、第１通信部１５によって操作端末３に送信する。

　続いて、操作端末３は、中継装置１の第１通信部１５によって送信された撮影画像を通信部３５にて受信し、撮影画像を表示部３４に表示させる。この際に、操作端末３の管理者は、表示部３４に表示された撮影画像を確認して、被操作端末２を遠隔操作するために入力部３３を操作する。管理者は、被操作端末２に所望の動作を行わせるべく、入力部３３を操作する。そして、操作端末３は、管理者による入力部３３の操作に基づいて、被操作端末２を遠隔操作するためのコマンドを生成する。この後、操作端末３は、生成したコマンドを通信部３５によって中継装置１に送信する。

　続いて、中継装置１は、操作端末３の通信部３５によって送信されたコマンドを第１通信部１５にて受信し、当該コマンドを第２通信部１６によって被操作装置２に送信する。そして、被操作装置２は、中継装置１の第２通信部１６によって送信されたコマンドを通信部２５にて受信し、当該コマンドに従って動作を行う。

　図３は、本実施例に係る処理フローを示している。当該フローは、図１に示した遠隔操作システム１００によって実行される。

　まず、被操作端末２では、制御部２１が、ユーザによる入力部２３の操作に応じて、被操作端末２を動作させる（ステップＳ１１）。この際に、中継装置１では、カメラ１７が被操作端末２を撮影する（ステップＳ２１）。例えば、カメラ１７は、被操作端末２の表示部２４の表示画面が含まれる範囲を撮影する。中継装置１では、制御部１１が、このようなカメラ１７の撮影により得られた画像（撮影画像）を記憶部１２に記憶させる。そして、制御部１１は、ネットワーク５を介して、撮影画像を第１通信部１５によって操作端末３に送信させる（ステップＳ２２）。この場合、制御部１１は、第１通信部１５によって、操作端末３に対応する所定のアドレスに接続させる。

　続いて、操作端末３では、通信部３５が、中継装置１の第１通信部１５によって送信された撮影画像を受信する（ステップＳ３１）。そして、操作端末３では、制御部３１が、ステップＳ３１で受信された撮影画像を表示部３４に表示させる（ステップＳ３２）。この後、制御部３１は、表示部３４に表示された撮影画像を参照して管理者によってなされた入力部３３の操作に応じて、被操作端末２を遠隔操作するためのコマンドを生成する。そして、制御部３１は、生成したコマンドを通信部３５によって中継装置１に送信させる（ステップＳ３３）。

　続いて、中継装置１では、第１通信部１５が、操作端末３の通信部３５によって送信されたコマンドを受信する（ステップＳ２３）。そして、中継装置１では、制御部１１が、ステップＳ２３で受信されたコマンドを記憶部１２に記憶させると共に、当該コマンドを第２通信部１６によって被操作端末２に送信させる（ステップＳ２４）。

　続いて、被操作端末２では、通信部２５が、中継装置１の第２通信部１６によって送信されたコマンドを受信する（ステップＳ１２）。そして、被操作端末２では、制御部２１が、ステップＳ１２で受信されたコマンドに応じた処理を行う（ステップＳ１３）。

　以上説明したように、本実施例では、中継装置１のカメラ１７で撮影された被操作端末２の撮影画像に基づいて、操作端末３によって被操作端末２を遠隔操作する。この場合、操作端末３側では、被操作端末２の撮影画像から、例えば、被操作端末２のハードウェア部分の動作や、ユーザによる操作の様子や、被操作端末２の周辺の環境などを確認することができる。したがって、本実施例によれば、例えば、ハードウェアの異常や、ユーザによる誤った操作や、被操作端末２を誤った場所に設置したことなどの、ソフトウェア以外の要因（つまりソフトウェアとして応答に現れない要因）による被操作端末２の不具合を、適切に検出することができると共に、そのような不具合を遠隔操作にて適切に対処することができる。

　また、本実施例によれば、中継装置１と被操作端末２との通信や中継装置１と操作端末３との通信が不安定であっても、中継装置１が安定していれば、時間間隔が一定で被操作端末２の撮影画像を取得することができる。そのため、時間連続性が重要な操作（例えば家電機器に適用されるジェスチャー操作など）に対して、適切な対応を行うことができる。

　［適用例］
　以下では、上記した実施例の適用例について説明する。

　（適用例１）
　適用例１では、被操作端末２においてプログラム（アプリケーションプログラムなど）の実行中に表示されたエラーメッセージを中継装置１のカメラ１７で撮影し、その撮影画像を操作端末３に送信する。そして、適用例１では、撮影画像に含まれるエラーメッセージに対応するエラーを解消するためのコマンドを操作端末３で生成し、当該コマンドを被操作端末２に送信することで処理させる。また、適用例１では、被操作端末２で当該コマンドに従って処理が行われている様子を中継装置１のカメラ１７で更に撮影し、その撮影画像に基づいた新たなコマンドを操作端末３で更に生成し送信する。なお、このような適用例１は、通信モジュールが備えられていない車載機器（ナビゲーション装置など）を被操作端末２として用いるケースに好適に適用できる。

　図４は、適用例１に係る処理フローを示している。当該フローも、図１に示した遠隔操作システム１００によって実行される。

　まず、被操作端末２において、プログラムの実行中に不具合（プログラムエラー）が発生したものとする（ステップＳ１０１）。この場合、被操作端末２では、制御部２１が、記憶部２２に記憶されたメッセージ情報を用いて、エラーメッセージを表示部２４に表示させる（ステップＳ１０２）。この際に、中継装置１では、カメラ１７が、エラーメッセージが表示された被操作端末２の表示画面を撮影する（ステップＳ２０１）。中継装置１では、制御部１１が、このようなカメラ１７の撮影により得られた撮影画像を記憶部１２に記憶させる。そして、制御部１１は、ネットワーク５を介して、撮影画像を第１通信部１５によって操作端末３に送信させる（ステップＳ２０２）。

　続いて、操作端末３では、通信部３５が、中継装置１の第１通信部１５によって送信された撮影画像を受信し、制御部３１が、受信された撮影画像を表示部３４に表示させる（ステップＳ３０１）。この後、制御部３１は、表示部３４に表示された撮影画像を参照して管理者によってなされた入力部３３の操作に応じて、被操作端末２を遠隔操作するためのコマンドを生成する。具体的には、制御部３１は、撮影画像に含まれるエラーメッセージに対応するエラーを解消するためのコマンドを生成する。そして、制御部３１は、生成したコマンドを通信部３５によって中継装置１に送信させる（ステップＳ３０２）。

　続いて、中継装置１では、第１通信部１５が、操作端末３の通信部３５によって送信されたコマンドを受信する（ステップＳ２０３）。そして、中継装置１では、制御部１１が、ステップＳ２０３で受信されたコマンドを記憶部１２に記憶させると共に、当該コマンドを第２通信部１６によって被操作端末２に送信させる（ステップＳ２０４）。

　続いて、被操作端末２では、通信部２５が、中継装置１の第２通信部１６によって送信されたコマンドを受信する（ステップＳ１０３）。そして、被操作端末２では、制御部２１が、ステップＳ１０３で受信されたコマンドによりプログラムの修正処理を行うと共に（ステップＳ１０４）、ユーザへの操作指示を表示部２４に表示させる（ステップＳ１０５）。この後、制御部２１は、ユーザによる入力部２３の操作（表示部２４に表示された指示に従った操作）に応じて、プログラムを実行する（ステップＳ１０６）。ここでは、ステップＳ１０６でのプログラムの実行中に不具合が更に発生したものとする。この場合、制御部２１は、記憶部２２に記憶されたメッセージ情報を用いて、エラーメッセージを表示部２４に更に表示させる（ステップＳ１０７）。

　中継装置１では、ステップＳ２０４で被操作端末２にコマンドを送信してから、ステップＳ１０７で被操作端末２においてエラーメッセージが表示されるまでに、被操作端末２において表示された一連の画面を、カメラ１７が撮影する（ステップＳ２０５）。中継装置１の制御部１１は、このようにカメラ１７の撮影により得られた撮影画像を記憶部１２に記憶させる。そして、制御部１１は、ネットワーク５を介して、撮影画像を第１通信部１５によって操作端末３に送信させる（ステップＳ２０６）。

　続いて、操作端末３では、通信部３５が、中継装置１の第１通信部１５によって送信された撮影画像を受信し、制御部３１が、受信された撮影画像を表示部３４に表示させる（ステップＳ３０３）。この後、制御部３１は、表示部３４に表示された撮影画像を参照して管理者によってなされた入力部３３の操作に応じて、被操作端末２を遠隔操作するためのコマンドを生成する。具体的には、制御部３１は、撮影画像に含まれる、被操作端末２がコマンドを受信してからエラーメッセージを表示するまでの一連の動作に基づいて、当該エラーメッセージに対応するエラーを解消するためのコマンドを生成する。そして、制御部３１は、生成したコマンドを通信部３５によって中継装置１に送信させる（ステップＳ３０４）。

　続いて、中継装置１では、第１通信部１５が、操作端末３の通信部３５によって送信されたコマンドを受信する（ステップＳ２０７）。そして、中継装置１では、制御部１１が、ステップＳ２０７で受信されたコマンドを記憶部１２に記憶させると共に、当該コマンドを第２通信部１６によって被操作端末２に送信させる（ステップＳ２０８）。

　続いて、被操作端末２では、通信部２５が、中継装置１の第２通信部１６によって送信されたコマンドを受信する（ステップＳ１０８）。この後、被操作端末２では、制御部２１が、ステップＳ１０８で受信されたコマンドに従った処理を行う。なお、当該コマンドに従って処理が行われた場合にも、被操作端末２で更に不具合が発生するケースが考えられる。その場合には、被操作端末２ではステップＳ１０４～Ｓ１０８の処理を再度行えば良く、中継装置１ではステップＳ２０５～Ｓ２０８の処理を再度行えば良く、操作端末３ではステップＳ３０３～Ｓ３０４の処理を再度行えば良い。

　以上説明した適用例１によれば、コマンドに従って被操作端末２が処理を行っている様子を撮影した撮影画像を操作端末３に送信することで、操作端末３側で被操作端末２の遠隔操作状況を適切に確認することができる。したがって、被操作端末２に発生した不具合などを、操作端末３による遠隔操作によって効率的に対処することが可能となる。

　（適用例２）
　適用例２は、被操作端末２を装着した生徒が習い事に応じた動きを行っている様子を中継装置１のカメラ１７で撮影し、生徒と離れた場所にいるインストラクター（先生）がカメラ１７の撮影画像を確認して、操作端末３を操作することで中継装置１を介して被操作端末２を遠隔操作することによって、生徒の動きを修正するものである。好適な例では、適用例２はゴルフのスイングフォーム矯正に利用することができる。この例では、コンピュータなどにより制御可能なスイングフォーム矯正ギブスを被操作端末２として用いる。そして、そのような被操作端末２を装着した生徒がスイングを行っている様子を撮影し、インストラクターが撮影画像を確認して、操作端末３を操作することで中継装置１を介して被操作端末２を遠隔操作することによって、生徒の体を理想のスイングフォームに固定する。このような適用例２によれば、インストラクターが正しい答えを適切に教えることができるだけでなく、ユーザがどのように誤っているかやユーザの癖などを適切に把握させることができる。

　１　中継装置
　２　被操作端末
　３　操作端末
　１１、２１、３１　制御部
　１２、２２、３２　記憶部
　１３、２３、３３　入力部
　１４、２４、３４　表示部
　１５　第１通信部
　１６　第２通信部
　１７　カメラ
　２５、３５　通信部
　１００　遠隔操作システム

Claims

　操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能な携帯型中継装置であって、
　前記被操作端末の表示画面を撮影する撮影手段と、
　前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、
　前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、
　を備え、
　前記撮影手段は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、
　前記第１通信手段は、前記撮影手段の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する、
　ことを特徴とする携帯型中継装置。
　前記撮影手段は、前記被操作端末に表示されたエラーメッセージを撮影し、
　前記第１通信手段は、前記撮影手段の撮影により得られた、前記エラーメッセージが表示された前記被操作端末の表示画面の画像を、前記操作端末に送信すると共に、前記操作端末によって生成された、前記エラーメッセージに対応するエラーを解消するためのコマンドを、前記操作端末から受信することを特徴とする請求項１に記載の携帯型中継装置。
　操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能な携帯型中継装置によって実行される制御方法であって、
　前記被操作端末の表示画面を撮影する撮影工程と、
　前記撮影工程の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信工程と、
　前記第１通信工程によって受信された前記コマンドを前記被操作端末に送信する第２通信工程と、
　を備え、
　前記撮影工程は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、
　前記第１通信工程は、前記撮影工程の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する、
　ことを特徴とする制御方法。
　操作対象となる被操作端末及び前記被操作端末を操作する操作端末と通信可能であり、コンピュータを有する携帯型中継装置によって実行されるプログラムであって、
　前記被操作端末の表示画面を撮影する撮影手段、
　前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段、
　前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段、
　として前記コンピュータを機能させ、
　前記撮影手段は、前記コマンドにより操作された前記被操作端末の表示画面を撮影し、
　前記第１通信手段は、前記撮影手段の撮影により得られた、前記コマンドにより操作された前記被操作端末の表示画面の画像を、前記操作端末に送信する、
　ことを特徴とするプログラム。
　請求項４に記載のプログラムを記録したことを特徴とする記録媒体。
　操作対象となる被操作端末と、前記被操作端末及び当該被操作端末を操作する操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムであって、
　前記携帯型中継装置は、
　前記被操作端末の表示画面を撮影する撮影手段と、
　前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、
　前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、
　を備え、
　前記被操作端末は、
　前記携帯型中継装置の前記第２通信手段によって送信された前記コマンドを受信する第３通信手段と、
　前記第３通信手段によって受信された前記コマンドに基づいて制御を行う制御手段と、
　を備えることを特徴とする遠隔操作システム。
　操作対象となる被操作端末を操作する操作端末と、前記被操作端末及び前記操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムであって、
　前記携帯型中継装置は、
　前記被操作端末の表示画面を撮影する撮影手段と、
　前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、
　前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、
　を備え、
　前記操作端末は、
　前記携帯型中継装置の前記第１通信手段によって送信された前記画像を受信する第３通信手段と、
　前記第３通信手段によって受信された前記画像に基づいて、前記被操作端末を操作するためのコマンドを生成するコマンド生成手段と、
　前記コマンド生成手段によって生成された前記コマンドを前記携帯型中継装置に送信する第４通信手段と、
　を備えることを特徴とする遠隔操作システム。
　操作対象となる被操作端末と、前記被操作端末を操作する操作端末と、前記被操作端末及び前記操作端末と通信可能な携帯型中継装置と、を有する遠隔操作システムであって、
　前記携帯型中継装置は、
　前記被操作端末の表示画面を撮影する撮影手段と、
　前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、
　前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段と、
　を備え、
　前記操作端末は、
　前記携帯型中継装置の前記第１通信手段によって送信された前記画像を受信する第３通信手段と、
　前記第３通信手段によって受信された前記画像に基づいて、前記被操作端末を操作するためのコマンドを生成するコマンド生成手段と、
　前記コマンド生成手段によって生成された前記コマンドを前記携帯型中継装置に送信する第４通信手段と、
　を備え、
　前記被操作端末は、
　前記携帯型中継装置の前記第２通信手段によって送信された前記コマンドを受信する第５通信手段と、
　前記第５通信手段によって受信された前記コマンドに基づいて制御を行う制御手段と、
　を備えることを特徴とする遠隔操作システム。