JP6150654B2

JP6150654B2 - 遠隔操作システム、遠隔操作制御装置、遠隔操作制御方法およびコンピュータプログラム

Info

Publication number: JP6150654B2
Application number: JP2013159891A
Authority: JP
Inventors: 直紀関口
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2013-07-31
Filing date: 2013-07-31
Publication date: 2017-06-21
Anticipated expiration: 2033-07-31
Also published as: JP2015032919A

Description

本発明は、遠隔操作システム、遠隔操作制御装置、遠隔操作制御方法およびコンピュータプログラムに関する。

従来の遠隔操作システムとして、例えば特許文献１、非特許文献１に記載の技術が知られている。特許文献１に記載の従来技術では、リモートコントローラがタッチパネルを備え、該タッチパネルの表示内容を変更できるようにし、該表示内容とタッチパネルに対する操作とに対応した信号を該リモートコントローラが送出することで、制御対象機器が遠隔操作される。非特許文献１に記載の従来技術では、表示装置の表示画面上のカーソルを移動させるトラックパッドのように、表示装置に対し遠隔でタッチパネルを使用することにより、表示装置の表示画面上のカーソルを移動させている。

特開２００５−１３６５１８号公報

"WiFi Mouse"、インターネット＜ＵＲＬ：http://wifimouse.necta.us/＞

しかし、上述した特許文献１に記載の従来技術では、タッチパネルの表示内容を見ながらタッチパネルを操作しなければならないので、使い勝手が悪い。特にタッチパネルの表示内容が変わった場合には、ユーザはその都度、タッチパネルの表示内容を視認する必要がある。

また、非特許文献１に記載の従来技術では、ユーザはタッチパネルを操作することにより、表示装置の表示画面上の目的の操作ボタンの位置までカーソルを移動させてから該操作ボタンを選択することになるので、目的の操作ボタンの位置までカーソルを移動させる手間がかかる。例えば表示画面上で離れた場所に在る２つの操作ボタンを交互に選択する場合には、操作ボタンの選択の度に一々カーソルを次に選択する操作ボタンの位置まで移動させなければならず、使い勝手が悪い。

本発明は、このような事情を考慮してなされたもので、ユーザが操作する手元のタッチ面を見なくても遠隔で被操作装置の操作を行うことができると共に、タッチ面の操作の簡略化を図ることを課題とする。

（１）本発明に係る遠隔操作システムは、遠隔操作装置と、前記遠隔操作装置との間で通信する遠隔操作制御装置とを有する遠隔操作システムであり、前記遠隔操作装置は、所定の大きさの面を有し、前記面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報を入力するタッチ入力部と、前記入力されたタッチ入力情報に基づいたタッチイベントを前記遠隔操作制御装置へ送信するタッチイベント送信部と、を備え、前記遠隔操作制御装置は、前記遠隔操作装置から前記タッチイベントを受信するタッチイベント受信部と、前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定部と、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成部と、前記作成された画面を表示装置に表示させる操作インタフェース画面表示部と、前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定部と、前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力部と、を備え、前記遠隔操作制御装置は、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定部をさらに備える、ことを特徴とする。

（２）本発明に係る遠隔操作システムにおいては、上記（１）の遠隔操作システムにおいて、前記遠隔操作制御装置は、前記操作インタフェースの情報を前記遠隔操作装置へ送信する操作インタフェース送信部をさらに備え、前記遠隔操作装置は、前記遠隔操作制御装置から前記操作インタフェースの情報を受信する操作インタフェース受信部と、前記受信された操作インタフェースの情報で示される操作インタフェースを表示画面に表示する操作インタフェース表示部と、をさらに備える、ことを特徴とする。

（３）本発明に係る遠隔操作システムにおいては、上記（１）又は（２）のいずれかの遠隔操作システムにおいて、前記遠隔操作制御装置は、複数の操作インタフェース候補を記憶する操作インタフェース候補記憶部と、前記操作インタフェース候補記憶部の複数の操作インタフェース候補の中から、前記被操作装置に対する操作の状況に応じた操作インタフェース候補を、前記表示装置に表示させる画面の操作インタフェースに決定する操作インタフェース決定部と、をさらに備える、ことを特徴とする。

（４）本発明に係る遠隔操作システムにおいては、上記（１）から（３）のいずれかの遠隔操作システムにおいて、前記遠隔操作装置は、前記遠隔操作制御装置から、前記決定された操作コマンドに関する前記タッチ入力部の前記面に対する操作の情報である操作情報を受信する操作情報受信部と、前記受信された操作情報の履歴を記憶する操作履歴記憶部と、前記記憶されている操作情報の履歴を前記遠隔操作制御装置へ送信する操作履歴送信部と、をさらに備え、前記遠隔操作制御装置は、前記操作情報を前記遠隔操作装置へ送信する操作情報送信部と、前記遠隔操作装置から、前記操作情報の履歴を受信する操作履歴受信部と、前記受信された操作情報の履歴に基づいて、前記表示装置に表示させる画面の操作インタフェース上の操作ボタンの配置または形状を調整する操作ボタン調整部と、をさらに備える、ことを特徴とする。

（５）本発明に係る遠隔操作システムにおいては、上記（１）から（３）のいずれかの遠隔操作システムにおいて、前記遠隔操作制御装置は、前記決定された操作コマンドに関する前記タッチ入力部への操作情報の履歴を記憶する操作履歴記憶部と、前記記憶されている操作情報の履歴に基づいて、前記表示装置に表示させる画面の操作インタフェース上の操作ボタンの配置または形状を調整する操作ボタン調整部と、をさらに備える、ことを特徴とする。

（６）本発明に係る遠隔操作制御装置は、遠隔操作装置との間で通信する遠隔操作制御装置であり、前記遠隔操作装置から、所定の大きさの面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報に基づいたタッチイベントを受信するタッチイベント受信部と、前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定部と、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成部と、前記作成された画面を表示装置に表示させる操作インタフェース画面表示部と、前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定部と、前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力部と、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定部と、を備えたことを特徴とする。

（７）本発明に係る遠隔操作制御方法は、遠隔操作装置との間で通信する遠隔操作制御装置の遠隔操作制御方法であり、前記遠隔操作制御装置が、前記遠隔操作装置から、所定の大きさの面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報に基づいたタッチイベントを受信するタッチイベント受信ステップと、前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定ステップと、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成ステップと、前記作成された画面を表示装置に表示させる操作インタフェース画面表示ステップと、前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定ステップと、前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力ステップと、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定ステップと、を含むことを特徴とする。

（８）本発明に係るコンピュータプログラムは、遠隔操作装置との間で通信する遠隔操作制御装置のコンピュータに、前記遠隔操作装置から、所定の大きさの面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報に基づいたタッチイベントを受信するタッチイベント受信ステップと、前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定ステップと、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成ステップと、前記作成された画面を表示装置に表示させる操作インタフェース画面表示ステップと、前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定ステップと、前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力ステップと、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定ステップと、を実行させるためのコンピュータプログラムであることを特徴とする。

本発明によれば、ユーザが操作する手元のタッチ面を見なくても遠隔で被操作装置の操作を行うことができると共に、タッチ面の操作の簡略化を図ることができるという効果が得られる。

本発明の一実施形態に係る遠隔操作システム１の構成を示すブロック図である。本発明の実施例１に係る遠隔操作装置２の構成を示すブロック図である。本発明の実施例１に係る遠隔操作制御装置３の構成を示すブロック図である。本発明の実施例１に係る遠隔操作制御処理の手順を示すフローチャートである。本発明の実施例２に係る遠隔操作装置２の構成を示すブロック図である。本発明の実施例２に係る遠隔操作制御装置３の構成を示すブロック図である。本発明の実施例２に係る遠隔操作装置２の表示画面２１０の構成例を示す図である。本発明の実施例２に係る遠隔操作制御装置側の表示装置４００の表示画面４１０の構成例を示す図である。本発明の実施例３に係る遠隔操作制御装置３の構成を示すブロック図である。本発明の実施例３に係る遠隔操作制御装置側の表示装置４００の表示画面４１０の構成例を示す図である。本発明の実施例４に係る遠隔操作制御装置３の構成を示すブロック図である。本発明の実施例４に係る表示方法を説明するための表示画面例を示す図である。本発明の実施例４に係る表示方法を説明するための表示画面例を示す図である。本発明の実施例５に係る遠隔操作装置２の構成を示すブロック図である。本発明の実施例５に係る遠隔操作制御装置３の構成を示すブロック図である。本発明の実施例６に係る遠隔操作制御装置３の構成を示すブロック図である。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る遠隔操作システム１の構成を示すブロック図である。図１において、遠隔操作システム１は、遠隔操作装置２と遠隔操作制御装置３を有する。遠隔操作装置２と遠隔操作制御装置３は、有線または無線により通信接続されており、相互にデータを送受可能である。

被操作装置１００は、遠隔操作システム１により操作される対象の装置である。被操作装置１００として、例えば、地上波放送や衛星放送、ケーブルテレビ放送等の放送を視聴するためのテレビ受像機、ＡＶ（audio visual）機器、空調装置などが挙げられる。

遠隔操作制御装置３は、被操作装置１００と有線または無線により通信接続されている。遠隔操作制御装置３は、遠隔操作装置２からの入力信号に基づいて、被操作装置１００へ操作コマンドを出力する。被操作装置１００は、遠隔操作制御装置３から入力された操作コマンドに従って動作する。

なお、遠隔操作制御装置３は、単独の装置として設けられてもよく、又は、被操作装置１００に具備されてもよい。

以下、図１に示す遠隔操作システム１の実施例を順次説明する。

図２は本発明の実施例１に係る遠隔操作装置２の構成を示すブロック図である。図３は本発明の実施例１に係る遠隔操作制御装置３の構成を示すブロック図である。

まず図２を参照して本発明の実施例１に係る遠隔操作装置２の構成を説明する。図２において、遠隔操作装置２はタッチ入力部２１とタッチイベント送信部２２を備える。タッチ入力部２１は、所定の大きさの面（以下、タッチ面と称する）を有し、該タッチ面に対する直接または間接の接触の有無および該接触された該タッチ面内の位置を示すタッチ入力情報を入力する。タッチ入力部２１として、例えば、タッチパッドまたはタッチパネルを利用できる。

タッチイベント送信部２２は、タッチ入力部２１から入力されたタッチ入力情報に基づいたタッチイベントを、遠隔操作制御装置３へ送信する。タッチイベントは、タッチ面への接触の開始を示す「タッチ開始イベント」と、タッチ面への接触の継続を示す「タッチ継続イベント」と、タッチ面への接触の終了を示す「タッチ終了イベント」とがある。タッチ開始イベントは、タッチ開始時のタッチ面内の接触位置を示すタッチ開始位置情報を有する。タッチ終了イベントは、タッチ終了時のタッチ面内の接触位置を示すタッチ終了位置情報を有する。タッチ継続開始イベントは、タッチ開始後からタッチ終了前までのタッチ面への接触位置を示すタッチ継続位置情報を有する。

次に図３を参照して本発明の実施例１に係る遠隔操作制御装置３の構成を説明する。図３において、遠隔操作制御装置３は、タッチイベント受信部３１と操作インタフェース表示判定部３２とタッチ位置判定部３３と操作インタフェース画面作成部３４と操作インタフェース画面表示部３５と操作コマンド決定部３６と操作コマンド出力部３７を備える。これら各部は相互にデータを送受可能なように接続されている。

タッチイベント受信部３１は、遠隔操作装置２からタッチイベントを受信する。操作インタフェース表示判定部３２は、タッチイベント受信部３１で受信されたタッチイベントに基づいて「被操作装置１００の操作インタフェース（以下、単に操作インタフェースと称する）」の表示の有無を判定する。この判定条件は予め定められている。例えば、受信されたタッチイベントがタッチ開始イベントまたはタッチ継続イベントである場合には、操作インタフェースの表示ありとし、操作インタフェースの表示を行うようにする。一方、受信されたタッチイベントがタッチ終了イベントである場合には、操作インタフェースの表示なしとし、操作インタフェースを非表示にする。これにより、タッチ開始からタッチ継続中の間は操作インタフェースが表示される。

操作インタフェースは、被操作装置１００の特定の動作を指示する操作コマンドに対応する操作ボタンが配置されるものである。操作インタフェースには、一つ又は複数の操作ボタンが配置される。ユーザは、操作インタフェース上の操作ボタンを選択することによって、該選択した操作ボタンに対応する操作コマンドにより被操作装置１００を動作させることができる。

タッチ位置判定部３３は、タッチイベント受信部３１により受信されたタッチイベントで示される位置に対応する操作インタフェース上の位置を判定する。タッチ面内の位置と、操作インタフェース上の位置との対応関係は、予め定められている。

操作インタフェース画面作成部３４は、タッチイベント受信部３１で受信されたタッチ開始イベントのタッチ開始位置情報に基づいてタッチ位置判定部３３により判定された位置（操作インタフェース上の操作開始位置）を含む操作インタフェース上の領域の画面（操作インタフェース画面）を作成する。このとき、操作インタフェース画面作成部３４は、タッチイベント受信部３１で受信された各タッチイベント（タッチ開始イベント、タッチ継続イベント、タッチ終了イベント）の位置情報（タッチ開始位置情報、タッチ継続位置情報、タッチ終了位置情報）に基づいてタッチ位置判定部３３により判定された位置（操作インタフェース上の操作開始位置、操作継続位置、操作終了位置）を示す情報（例えば、矢印等の図形）を、操作インタフェース画面上に重ねて表示させるようにする。

操作インタフェース画面表示部３５は、操作インタフェース画面作成部３４により作成された操作インタフェース画面を表示装置に表示させる。操作インタフェース画面を表示させる表示装置は、遠隔操作制御装置３に具備されてもよく、又は、被操作装置１００に具備されてもよく、又は、独立した表示装置であってもよい。例えば、被操作装置１００であるテレビ受像機の表示画面上に操作インタフェース画面を重ねて表示させてもよい。又は、被操作装置１００である画像記録媒体の再生機器に接続される表示装置の表示画面上に操作インタフェース画面を重ねて表示させてもよい。

操作コマンド決定部３６は、タッチイベント受信部３１で受信されたタッチ終了イベントのタッチ終了位置情報に基づいてタッチ位置判定部３３により判定された位置（操作インタフェース上の操作終了位置）に対応する操作インタフェース上の領域に基づいて、操作コマンドを決定する。操作インタフェース上の領域と操作コマンドとの対応関係は、予め定められている。

操作コマンド出力部３７は、操作コマンド決定部３６により決定された操作コマンドを被操作装置１００へ出力する。

次に、図４を参照して本実施例１に係る遠隔操作システム１の動作を説明する。図４は、本発明の実施例１に係る遠隔操作制御処理の手順を示すフローチャートである。

（ステップＳ１）遠隔操作制御装置３は、遠隔操作装置２から受信したタッチイベントに基づいてタッチ開始か否かを判断する。遠隔操作装置２から受信されたタッチイベントがタッチ開始イベントである場合に、タッチ開始と判断される。タッチ開始と判断された場合にはステップＳ２に進む。

（ステップＳ２、Ｓ３）遠隔操作制御装置３は、遠隔操作装置２から受信したタッチイベントに基づいて操作インタフェースの表示の有無を判定する。この判定の結果、操作インタフェースの表示ありの場合にはステップＳ４に進み、操作インタフェースの表示なしの場合にはステップＳ１に戻る。

（ステップＳ４）遠隔操作制御装置３は、遠隔操作装置２から受信したタッチイベントで示される位置に対応する操作インタフェース上の位置を判定する。

（ステップＳ５）遠隔操作制御装置３は、遠隔操作装置２から受信したタッチ開始イベントのタッチ開始位置情報に基づいて判定された操作インタフェース上の操作開始位置を含む操作インタフェース上の領域の操作インタフェース画面を作成する。この操作インタフェース画面には、遠隔操作装置２から受信された各タッチイベント（タッチ開始イベント、タッチ継続イベント、タッチ終了イベント）の位置情報（タッチ開始位置情報、タッチ継続位置情報、タッチ終了位置情報）に基づいて判定された操作インタフェース上の操作開始位置、操作継続位置、操作終了位置を示す情報が、操作インタフェース画面上に重ねて表示される。

（ステップＳ６）遠隔操作制御装置３は、ステップＳ５で作成された操作インタフェース画面を表示装置に表示させる。

（ステップＳ７）遠隔操作制御装置３は、遠隔操作装置２から受信したタッチイベントに基づいてタッチ終了か否かを判断する。遠隔操作装置２から受信されたタッチイベントがタッチ終了イベントである場合に、タッチ終了と判断される。タッチ終了と判断された場合にはステップＳ８に進み、タッチ終了と判断されなかった場合にはステップＳ４に戻る。

ユーザは、タッチ位置が目的の操作ボタンの位置である場合にはタッチを終了し、操作ボタンの選択を行う。一方、ユーザは、タッチ位置が目的の操作ボタンの位置でない場合には目的の操作ボタンの位置までタッチを継続しながらタッチ位置をずらす。ユーザがタッチを継続しながらタッチ位置をずらした場合には、ステップＳ４、Ｓ５、Ｓ６により、ずらされたタッチ位置（操作継続位置）を示す情報（例えば、矢印等の図形）が操作インタフェース画面上に重ねて表示される。これにより、ユーザは、操作インタフェース画面により自分の操作位置を把握できるので、操作インタフェース画面を見ながら、容易に、目的の操作ボタンの位置までタッチを継続しながらタッチ位置をずらすことができる。

（ステップＳ８）遠隔操作制御装置３は、遠隔操作装置２から受信したタッチ終了イベントのタッチ終了位置情報で示されるタッチ終了位置に対応する操作インタフェース上の操作終了位置を判定する。

（ステップＳ９）遠隔操作制御装置３は、ステップＳ８で判定された操作インタフェース上の操作終了位置に対応する操作インタフェース上の領域に基づいて操作コマンドを決定する。

（ステップＳ１０）遠隔操作制御装置３は、ステップＳ９で決定された操作コマンドを被操作装置１００へ出力する。

上述した実施例１によれば、遠隔操作装置２を操作するユーザは、遠隔操作制御装置側の表示装置に表示される操作インタフェース画面を見ながらタッチ面を操作することができる。このため、ユーザは手元のタッチ面を見なくても遠隔で被操作装置１００の操作を行うことができる。なお、操作インタフェース上の操作ボタンの配置は、被操作装置１００の取扱説明書などにより、予めユーザに報知しておくことが挙げられる。

さらに、ユーザがタッチを開始したタッチ面の位置およびタッチを終了したタッチ面の位置に基づいて操作コマンドが決定されるので、ユーザは直接的に操作ボタン（操作コマンドに対応）の位置にタッチすればよく、タッチ面の操作の簡略化を図ることができる。例えば遠隔操作制御装置側の表示装置の表示画面上で離れた場所に在る２つの操作ボタンを交互に選択する場合には、各操作ボタンに対応するタッチ面の位置を順番に直接的にタッチすればよく、非特許文献１に記載の従来技術のように操作ボタンの選択の度に一々カーソルを次に選択する操作ボタンの位置まで移動させる手間は不要となる。

実施例２は実施例１の変形例である。図５は本発明の実施例２に係る遠隔操作装置２の構成を示すブロック図である。図６は本発明の実施例２に係る遠隔操作制御装置３の構成を示すブロック図である。

図５において図２に対応する部分には同一の符号を付している。図５の実施例２に係る遠隔操作装置２は、図２の実施例１に係る遠隔操作装置２に対してさらに操作インタフェース受信部４１と操作インタフェース表示部４２を備える。図６において図３に対応する部分には同一の符号を付している。図６の実施例２に係る遠隔操作制御装置３は、図３の実施例１に係る遠隔操作制御装置３に対してさらに操作インタフェース送信部４３を備える。

図６の遠隔操作制御装置３において、操作インタフェース送信部４３は、操作インタフェースの情報を遠隔操作装置２へ送信する。図５の遠隔操作装置２において、操作インタフェース受信部４１は、遠隔操作制御装置３から操作インタフェースの情報を受信する。操作インタフェース表示部４２は、操作インタフェース受信部４１により受信された操作インタフェースの情報で示される操作インタフェースを表示画面に表示する。例えば、遠隔操作装置２は、自己のタッチパネルの表示画面上に操作インタフェースを表示する。

図７は、本発明の実施例２に係る遠隔操作装置２の表示画面２１０の構成例を示す図である。この図７の例では、遠隔操作装置２はタッチパネルを有する。図７において、タッチパネルの表示画面２１０には操作インタフェースが表示されている。この図７の操作インタフェースの例は、記録媒体の再生機器の操作インタフェースの例であり、該操作インタフェースには再生用の複数の操作ボタンが配置されている。

図８は、本発明の実施例２に係る遠隔操作制御装置側の表示装置４００の表示画面４１０の構成例を示す図である。この図８の表示画面４１０には、図７の表示画面２１０に表示される操作インタフェースに対応する操作インタフェースが表示されている。図７において、ユーザ３００は再生操作ボタン２２０の領域にタッチしている。これにより、図８において、表示画面４１０には、ユーザ３００のタッチ開始位置に対応する操作インタフェースの領域（再生操作ボタン２２０に対応する再生操作ボタン４２０を含む領域）の操作インタフェース画面が表示されている。さらに、表示画面４１０には、ユーザ３００のタッチしている位置を示す矢印４２５が表示されている。これにより、ユーザ３００は、遠隔操作装置２の表示画面２１０を見なくても、遠隔操作制御装置側の表示画面４１０上の操作インタフェース画面を見ながら、所望の操作ボタンの位置を把握して該操作ボタンを選択することができる。

本実施例２では、ユーザ３００は、遠隔操作装置２の表示画面２１０に操作インタフェースが表示されるので、操作インタフェース上の操作ボタンの配置を事前に知らなくても、遠隔操作装置２の表示画面２１０に表示された操作インタフェースを視認することによって操作インタフェース上の操作ボタンの配置を把握できる。

実施例３は実施例２の変形例である。図９は本発明の実施例３に係る遠隔操作制御装置３の構成を示すブロック図である。遠隔操作装置２は図５と同じである。図９において図６に対応する部分には同一の符号を付している。図９の実施例３に係る遠隔操作制御装置３は、図６の実施例２に係る遠隔操作制御装置３に対してさらに操作インタフェース表示領域決定部５１を備える。

図９の遠隔操作制御装置３において、操作インタフェース表示領域決定部５１は、タッチイベント受信部３１により受信されたタッチ開始イベントのタッチ開始位置情報に基づいてタッチ位置判定部３３により判定された操作インタフェース上の操作開始位置を含む操作インタフェース上の領域の一部を、表示装置に表示させる操作インタフェース画面の領域に決定する。例えば、表示装置に表示させる操作インタフェース画面の領域として、操作開始位置を中心とした所定の大きさの範囲（例えば、操作開始位置を中心とした円形の範囲）とする。又は、表示装置に表示させる操作インタフェース画面の領域として、操作開始位置に最も近い操作ボタンおよび該操作ボタンに隣接する操作ボタンのみを含む範囲とする。また、表示装置に表示させる操作インタフェース画面の領域の決定方法として、操作インタフェースの種類に応じて固定したり、又は、ユーザにより設定可能としたりすることが挙げられる。

また、操作コマンドの誤入力を防止するために、操作コマンドを決定する操作方法として、ユーザがタッチを終了する際に、素早くタップしたり、又は、ダブルタップしたり、又は、フリックしたりするなど、タッチ面に対する所定の操作を組み合わせるようにしてもよい。例えば図１０の表示画面４１０には、図７の表示画面２１０に表示される操作インタフェースに対応する操作インタフェースが表示されている。

図７において、ユーザ３００は再生操作ボタン２２０の領域でタッチ終了することにより再生操作ボタン２２０を選択している。これにより、図１０において、表示画面４１０には、該選択された再生操作ボタン２２０に対応する再生操作ボタン４２０の選択を確認するための操作インタフェース画面が表示されている。図１０の例では、表示画面４１０上に、再生操作ボタン４２０の選択を確認するための操作の仕方を示す矢印４３０（決定のフリック方向を示す矢印、キャンセルのフリック方向を示す矢印）が表示されている。これにより、ユーザ３００は、表示画面４１０上に表示された矢印４３０に従って遠隔操作装置２のタッチ面を操作することにより、簡単に再生操作ボタン４２０の選択の決定またはキャンセルを行うことができる。

なお、本実施例３は実施例２の変形例としたが、実施例１に係る遠隔操作制御装置３に対してさらに操作インタフェース表示領域決定部５１を備えるようにしてもよい。

実施例４は実施例２の変形例である。図１１は本発明の実施例４に係る遠隔操作制御装置３の構成を示すブロック図である。遠隔操作装置２は図５と同じである。図１１において図６に対応する部分には同一の符号を付している。図１１の実施例４に係る遠隔操作制御装置３は、図６の実施例２に係る遠隔操作制御装置３に対してさらに操作インタフェース候補記憶部６１と操作インタフェース決定部６２を備える。

操作インタフェース候補記憶部６１は、複数の操作インタフェース候補を記憶する。操作インタフェース決定部６２は、操作インタフェース候補記憶部６１に記憶される複数の操作インタフェース候補の中から、被操作装置１００に対する操作の状況に応じた操作インタフェース候補を、表示装置に表示させる操作インタフェース画面の操作インタフェースに決定する。操作の状況と操作インタフェース候補との対応関係は、予め定められている。例えば、操作インタフェース候補記憶部６１が、操作の状況と操作インタフェース候補との対応関係を示す情報を記憶してもよい。

被操作装置１００に対する操作の状況として、例えば、文字の入力を行う場面、動画の再生を行う場面、再生される動画を選択する場面、ウェブのブラウジングを行う場面などが挙げられる。例えば、文字の入力を行う場面では、操作インタフェース候補として文字入力キーボードが対応付けられる。また、動画の再生を行う場面では、操作インタフェース候補として図７に例示される再生操作用の操作インタフェースが対応付けられる。また、再生される動画を選択する場面では、操作インタフェース候補として十字キーが対応付けられる。また、ウェブのブラウジングを行う場面では、ＵＲＬ選択用の操作インタフェースが対応付けられる。操作の状況と操作インタフェース候補との対応関係の設定方法として、被操作装置１００の製造時に設定したり、又は、ユーザにより設定可能としたりすることが挙げられる。

図１２、図１３は、本発明の実施例４に係る表示方法を説明するための表示画面例を示す図である。図１２（１）において、被操作装置１００の表示画面１１０には文字を入力する領域１４０が表示されており、この被操作装置１００に対する操作の状況は文字の入力を行う場面である。そして、図１２（２）において、遠隔操作装置２の表示画面２１０には、文字の入力を行う場面に対応付けられた操作インタフェース候補である文字入力キーボード２３０が表示されている。そして、遠隔操作制御装置側の表示装置の表示画面（図示せず）には、図１２（２）の表示画面２１０と同様に文字入力キーボードが表示される。

また、図１３の例では、ユーザ３００は、複数の操作インタフェース候補の中から、任意の操作インタフェース候補を選択できるようにしている。図１３において、遠隔操作装置２の表示画面２１０には、複数の操作インタフェース候補（十字キー、プレーヤ（再生操作用の操作インタフェース）、文字入力（文字入力キーボード））のメニュー領域２４０が表示されている。該メニュー領域２４０は、フリック操作により表示または非表示されるようになっている。図１３の表示画面２１０には、ユーザ３００がメニュー領域２４０の十字キー部分を選択したことによって、十字キー２５０が表示されている。

なお、本実施例４は実施例２の変形例としたが、実施例１又は実施例３に係る遠隔操作制御装置３に対してさらに操作インタフェース候補記憶部６１と操作インタフェース決定部６２を備えるようにしてもよい。

実施例５は実施例２の変形例である。図１４は本発明の実施例５に係る遠隔操作装置２の構成を示すブロック図である。図１５は本発明の実施例５に係る遠隔操作制御装置３の構成を示すブロック図である。

図１４において図５に対応する部分には同一の符号を付している。図１４の実施例５に係る遠隔操作装置２は、図５の実施例２に係る遠隔操作装置２に対してさらに操作情報受信部７１と操作履歴記憶部７２と操作履歴送信部７３を備える。図１５において図６に対応する部分には同一の符号を付している。図１５の実施例５に係る遠隔操作制御装置３は、図６の実施例２に係る遠隔操作制御装置３に対してさらに操作情報送信部８１と操作履歴受信部８２と操作ボタン調整部８３を備える。

図１５の遠隔操作制御装置３において、操作情報送信部８１は、操作情報を遠隔操作装置２へ送信する。操作情報は、操作コマンド決定部３６により決定された操作コマンドに関するタッチ面に対する操作の情報である。操作情報として、例えば、タッチ開始位置からタッチ終了位置までの移動方向と移動距離を示す情報（移動ベクトル情報）が挙げられる。

図１４の遠隔操作装置２において、操作情報受信部７１は、遠隔操作制御装置３から操作情報を受信する。操作履歴記憶部７２は、操作情報受信部７１により受信された操作情報の履歴を記憶する。操作履歴送信部７３は、操作履歴記憶部７２に記憶されている操作情報の履歴を遠隔操作制御装置３へ送信する。

図１５の遠隔操作制御装置３において、操作履歴受信部８２は、遠隔操作装置２から操作情報の履歴を受信する。操作ボタン調整部８３は、操作履歴受信部８２により受信された操作情報の履歴に基づいて、表示装置に表示させる操作インタフェース画面の操作インタフェース上の操作ボタンの配置または形状を調整する。

ここで、操作ボタンの配置または形状の調整方法を説明する。操作情報は、タッチ開始位置からタッチ終了位置までの移動方向と移動距離を示す移動ベクトルの情報（移動ベクトル情報）であるとする。

まず、操作ボタン調整部８３は、操作情報つまり移動ベクトル情報の履歴の中から、移動ベクトルの長さ（移動距離）として異常値を持つ移動ベクトル情報を除外し、残った移動ベクトル情報のみを抽出する。次いで、操作ボタン調整部８３は、該抽出された全ての移動ベクトル情報を用いて、移動ベクトルの操作インタフェース画面の操作インタフェース上の操作ボタン領域に含まれない部分の長さの総和が最小になるように、該操作ボタンの配置または形状を変更する。

例えば、図７に示される再生操作ボタン２２０を選択する際に、ユーザ３００が再生操作ボタン２２０のやや下の位置をタッチしてから、タッチ位置を上にずらし、再生操作ボタン２２０の位置でタッチを終了したとする。このタッチ開始位置からタッチ終了位置までの移動方向と移動距離を示す移動ベクトル情報は、ユーザ３００のタッチに関する癖の情報として利用可能である。このため、該移動ベクトル情報をユーザ３００のタッチに関する癖の情報として蓄積し、該蓄積されたユーザ３００のタッチに関する癖の情報に基づいて、操作インタフェース画面の操作インタフェース上の再生操作ボタンを、下方向にずらして配置したり、又は、下方向に形状を大きくしたりする。この再生操作ボタンの調整によって、ユーザ３００のタッチに関する癖に合わせた操作インタフェースを実現できるので、ユーザ３００による使い勝手が向上する。

また、本実施例５によれば、遠隔操作装置２が操作履歴記憶部７２を備え、遠隔操作制御装置３に対して操作情報の履歴を送信する。このため、例えば、ユーザが自宅の遠隔操作装置２を持って外出し、該遠隔操作装置２から外出先の任意の遠隔操作制御装置３に対して操作情報の履歴を送信することができる。これにより、ユーザ３００は外出先でも自宅と同様に、自分のタッチに関する癖に合わせた操作インタフェースを利用できるという、格別の効果が得られる。

なお、操作履歴記憶部７２は、ユーザ別に操作情報の履歴を蓄積するようにしてもよい。この場合、遠隔操作制御装置３の操作ボタン調整部８３は、ユーザ別に、該当する操作情報の履歴を使用して、表示装置に表示させる操作インタフェース画面の操作インタフェース上の操作ボタンの配置または形状を調整する。これにより、各ユーザのタッチに関する癖に応じた操作インタフェースの調整を行うことができる。

また、本実施例５は実施例２の変形例としたが、実施例１、３又は４に係る遠隔操作装置２に対してさらに操作情報受信部７１と操作履歴記憶部７２と操作履歴送信部７３を備え、遠隔操作制御装置３に対してさらに操作情報送信部８１と操作履歴受信部８２と操作ボタン調整部８３を備えるようにしてもよい。

実施例６は実施例５の変形例である。図１６は本発明の実施例６に係る遠隔操作制御装置３の構成を示すブロック図である。遠隔操作装置２は図５と同じである。図１６において図１５に対応する部分には同一の符号を付している。図１６の実施例６では、遠隔操作制御装置３が操作履歴記憶部７２を備える。

遠隔操作制御装置３において、操作履歴記憶部７２は、遠隔操作装置２ごとに操作情報の履歴を記憶する。操作ボタン調整部８３は、操作履歴記憶部７２に記憶される操作情報の履歴に基づいて、遠隔操作装置２ごとに、表示装置に表示させる操作インタフェース画面の操作インタフェース上の操作ボタンの配置または形状を調整する。

なお、操作履歴記憶部７２は、ユーザ別に操作情報の履歴を記憶するようにしてもよい。この場合、操作ボタン調整部８３は、操作履歴記憶部７２に記憶される操作情報の履歴に基づいて、ユーザ別に、表示装置に表示させる操作インタフェース画面の操作インタフェース上の操作ボタンの配置または形状を調整する。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

例えば、遠隔操作装置２として、スマートホン等の携帯電話端末を利用可能である。

また、上述した遠隔操作システム１を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…遠隔操作システム、２…遠隔操作装置、３…遠隔操作制御装置、２１…タッチ入力部、２２…タッチイベント送信部、３１…タッチイベント受信部、３２…操作インタフェース表示判定部、３３…タッチ位置判定部、３４…操作インタフェース画面作成部、３５…操作インタフェース画面表示部、３６…操作コマンド決定部、３７…操作コマンド出力部、４１…操作インタフェース受信部、４２…操作インタフェース表示部、４３…操作インタフェース送信部、５１…操作インタフェース表示領域決定部、６１…操作インタフェース候補記憶部、６２…操作インタフェース決定部、７１…操作情報受信部、７２…操作履歴記憶部、７３…操作履歴送信部、８１…操作情報送信部、８２…操作履歴受信部、８３…操作ボタン調整部、１００…被操作装置

Claims

遠隔操作装置と、前記遠隔操作装置との間で通信する遠隔操作制御装置とを有する遠隔操作システムであり、
前記遠隔操作装置は、
所定の大きさの面を有し、前記面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報を入力するタッチ入力部と、
前記入力されたタッチ入力情報に基づいたタッチイベントを前記遠隔操作制御装置へ送信するタッチイベント送信部と、を備え、
前記遠隔操作制御装置は、
前記遠隔操作装置から前記タッチイベントを受信するタッチイベント受信部と、
前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定部と、
前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成部と、
前記作成された画面を表示装置に表示させる操作インタフェース画面表示部と、
前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定部と、
前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力部と、を備え、
前記遠隔操作制御装置は、前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定部をさらに備える、
ことを特徴とする遠隔操作システム。
前記遠隔操作制御装置は、前記操作インタフェースの情報を前記遠隔操作装置へ送信する操作インタフェース送信部をさらに備え、
前記遠隔操作装置は、
前記遠隔操作制御装置から前記操作インタフェースの情報を受信する操作インタフェース受信部と、
前記受信された操作インタフェースの情報で示される操作インタフェースを表示画面に表示する操作インタフェース表示部と、をさらに備える、
ことを特徴とする請求項１に記載の遠隔操作システム。
前記遠隔操作制御装置は、
複数の操作インタフェース候補を記憶する操作インタフェース候補記憶部と、
前記操作インタフェース候補記憶部の複数の操作インタフェース候補の中から、前記被操作装置に対する操作の状況に応じた操作インタフェース候補を、前記表示装置に表示させる画面の操作インタフェースに決定する操作インタフェース決定部と、をさらに備える、
ことを特徴とする請求項１又は２のいずれか１項に記載の遠隔操作システム。
前記遠隔操作装置は、
前記遠隔操作制御装置から、前記決定された操作コマンドに関する前記タッチ入力部の前記面に対する操作の情報である操作情報を受信する操作情報受信部と、
前記受信された操作情報の履歴を記憶する操作履歴記憶部と、
前記記憶されている操作情報の履歴を前記遠隔操作制御装置へ送信する操作履歴送信部と、をさらに備え、
前記遠隔操作制御装置は、
前記操作情報を前記遠隔操作装置へ送信する操作情報送信部と、
前記遠隔操作装置から、前記操作情報の履歴を受信する操作履歴受信部と、
前記受信された操作情報の履歴に基づいて、前記表示装置に表示させる画面の操作インタフェース上の操作ボタンの配置または形状を調整する操作ボタン調整部と、をさらに備える、
ことを特徴とする請求項１から３のいずれか１項に記載の遠隔操作システム。
前記遠隔操作制御装置は、
前記決定された操作コマンドに関する前記タッチ入力部への操作情報の履歴を記憶する操作履歴記憶部と、
前記記憶されている操作情報の履歴に基づいて、前記表示装置に表示させる画面の操作インタフェース上の操作ボタンの配置または形状を調整する操作ボタン調整部と、をさらに備える、
ことを特徴とする請求項１から３のいずれか１項に記載の遠隔操作システム。
遠隔操作装置との間で通信する遠隔操作制御装置であり、
前記遠隔操作装置から、所定の大きさの面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報に基づいたタッチイベントを受信するタッチイベント受信部と、
前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定部と、
前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成部と、
前記作成された画面を表示装置に表示させる操作インタフェース画面表示部と、
前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定部と、
前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力部と、
前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定部と、
を備えたことを特徴とする遠隔操作制御装置。
遠隔操作装置との間で通信する遠隔操作制御装置の遠隔操作制御方法であり、
前記遠隔操作制御装置が、
前記遠隔操作装置から、所定の大きさの面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報に基づいたタッチイベントを受信するタッチイベント受信ステップと、
前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定ステップと、
前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成ステップと、
前記作成された画面を表示装置に表示させる操作インタフェース画面表示ステップと、
前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定ステップと、
前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力ステップと、
前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定ステップと、
を含むことを特徴とする遠隔操作制御方法。
遠隔操作装置との間で通信する遠隔操作制御装置のコンピュータに、
前記遠隔操作装置から、所定の大きさの面に対する直接または間接の接触の有無および該接触された前記面内の位置を示すタッチ入力情報に基づいたタッチイベントを受信するタッチイベント受信ステップと、
前記受信されたタッチイベントで示される位置に対応する被操作装置の操作インタフェース上の位置を判定するタッチ位置判定ステップと、
前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の画面であって前記判定された位置を示す情報を重ねて表示させる画面、を作成する操作インタフェース画面作成ステップと、
前記作成された画面を表示装置に表示させる操作インタフェース画面表示ステップと、
前記受信されたタッチ終了のタッチイベントに基づく前記判定された位置に対応する前記操作インタフェース上の領域に基づいて操作コマンドを決定する操作コマンド決定ステップと、
前記決定された操作コマンドを前記被操作装置へ出力する操作コマンド出力ステップと、
前記受信されたタッチ開始のタッチイベントに基づく前記判定された位置を含む前記操作インタフェース上の領域の一部を、前記表示装置に表示させる画面の領域に決定する操作インタフェース表示領域決定ステップと、
を実行させるためのコンピュータプログラム。