JP5597772B2 - 遠隔制御システム、遠隔制御方法、通信装置及びプログラム - Google Patents

Description

本発明は、機器に対して遠隔から動作を指示するための技術に関する。

テレビやエアコンなどの機器に対して動作を指示するための技術がある。特許文献１には、カメラで撮影した操作対象機器の画像からその操作対象機器を認識し、認識した操作対象機器（以下、単に機器という場合がある）の操作に用いられる操作画像をディスプレイに表示して、ユーザがその操作画像を用いて操作対象機器に対しコマンドを送信する技術について記載されている。

特開２０１１−２０９９６５号公報

ところで、ユーザは、室内に設置された様々な機器に対して、室外、すなわち遠隔からその動作を指示したいときに、室内の様子を見ながら指示を行いたいという場合がある。例えば、室内への日光の差し込み具合や室内で飼っているペットの様子など見て、エアコンの電源を入れたり設定温度を変えたりするように指示するといった場合である。特許文献１に記載されている技術では、ユーザが室内にいるときには、その室内にある制御対象機器を撮影してその機器を操作することができるが、ユーザが遠隔にいるときには、それらのことができない。

また、このような機器には、エアコンやテレビ或いは電灯などのように様々なものがあり、これらの機器が設置される場所も様々である。室内の或る場所に設置したリモートコントロール装置からリモートコントロールのための信号を発信してこれらの機器に動作を指示しようとしても、機器が設置されている場所によっては家具などが邪魔になってその信号が機器に届かない場合がある。この場合、どの機器に対しても信号を届かせるようにするためには、例えば、上記のリモートコントロール装置を室内の複数の場所に設置しなければならない。
そこで、本発明は、様々な場所に設置された機器をその周辺の様子を見た上で遠隔から操作することを目的とする。

本発明は、一の態様において、制御対象機器が設置されている空間内を移動することができる中継装置と、ユーザによって操作され、前記中継装置と通信を行う通信装置とを備え、前記中継装置は、前記通信装置からの要求に応じて、自装置の移動を制御する移動制御部と、撮像を行う撮像部と、前記撮像手段にて得られた画像を前記通信装置に送信する第１送信部と、前記通信装置からの要求に応じて、前記制御対象機器の動作を指示する指示信号を無線で送信する第２送信部とを有し、前記通信装置は、予め前記空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内における目的地への移動を前記中継装置に要求する第１の要求又は前記指示信号の送信を前記中継装置に要求する第２の要求のうち少なくともいずれか一方とを、それぞれ対応付けて記憶する記憶部と、前記第１送信部から送信されてきた画像を表示面に表示する表示部と、前記表示面において前記ユーザが指示した位置を検出する検出部と、前記検出部により前記位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記中継装置に送信する送信部とを有する遠隔制御システムを提供する。

好ましい態様において、前記遠隔制御システムは、データベースを更に備え、前記通信装置は、自装置を識別し、又は自装置のユーザを識別する識別子を通知する通知部をさらに有し、前記データベースは、複数の前記識別子と、当該識別子に応じて定められた前記目的地及び前記指示信号とを対応付けて記憶し、前記通信装置から前記識別子が通知されると、当該識別子に対応する前記目的地及び前記指示信号を当該通信装置に提供し、前記送信部は、前記データベースから提供された目的地を指定した前記第１の要求、又は前記データベースから提供された指示信号を指定した前記第２の要求を、前記中継装置に送信する。
他の好ましい態様において、前記記憶部は、前記画像領域と、前記第１の要求及び前記第２の要求の両方とを対応付けて記憶し、前記通信装置の送信部は、前記画像領域に対応付けられている前記第１の要求及び前記第２の要求を前記中継装置に送信し、前記移動制御部は、前記通信装置から受信したの前記第１の要求に応じて、自装置の移動を制御し、前記第２送信部は、前記移動制御部による制御が実行された後に、前記通信装置から受信した前記第２の要求に応じて、前記指示信号を送信する。
他の好ましい態様において、前記記憶部は、前記画像領域と、前記第１の要求と、複数の距離の範囲に応じてそれぞれ定められた前記指示信号を送信することを前記第２送信部に要求する前記第２の要求とを対応付けて記憶し、前記通信装置は、自装置が所在する地点を特定する特定部をさらに有し、前記通信装置の送信部は、前記空間と前記特定部が特定した地点との距離が前記範囲に含まれない場合、前記第１の要求を前記中継装置に送信し、当該距離が当該範囲に含まれる場合、前記第１の要求及び当該距離に応じて定められた指示信号を指定した前記第２の要求を前記中継装置に送信し、前記移動制御部は、前記通信装置から受信した前記第１の要求に応じて、自装置の移動を制御し、前記第２送信部は、前記通信装置から前記第２の要求を受信すると、前記移動制御部が前記制御を行った後に、当該第２の要求に応じて前記指示信号を送信する。
他の好ましい態様において、ユーザの操作に応じて前記第１の要求又は前記第２の要求のうち少なくともいずれか一方を指定する指定部をさらに備え、前記第２送信部は、前記指定部により指定された前記要求を前記中継装置に送信する。

本発明は、他の観点において、制御対象機器が設置されている空間内を移動する中継装置にて撮像を行うステップと、前記撮像された画像を、前記中継装置から、画像を表示面に表示する表示部を有し、ユーザによって操作され、前記中継装置と通信を行い、予め前記空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内において決められた目的地まで移動することを前記中継装置に要求する第１の要求又は前記制御対象機器の動作を指示する指示信号を送信することを前記中継装置に要求する第２の要求のうち少なくともいずれか一方とを、それぞれ対応付けて記憶する記憶部を有する通信装置に送信するステップと、前記送信されてきた画像を前記表示面に表示するステップと、前記表示面において前記ユーザが指示した位置を検出するステップと、前記位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記通信装置から前記中継装置に送信するステップと、前記通信装置からの要求に応じて、前記中継装置の移動又は前記指示信号の無線送信を実行するステップとを備える遠隔指示方法を提供する。

本発明は、他の観点において、制御対象機器が設置されている空間内を移動する中継装置との間で通信を行う通信部と、制御対象機器が設置されている空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内において決められた目的地まで移動することを前記中継装置に要求する第１の要求又は前記制御対象機器の動作を指示する指示信号を送信することを前記中継装置に要求する第２の要求のうち少なくともいずれか一方とをそれぞれ対応付けて記憶する記憶部と、前記通信部によって受信した前記画像を表示面に表示する表示部と、前記表示面において前記ユーザが指示した位置を検出する検出部と、前記検出部により前記位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記通信部から前記中継装置に送信する送信部とを有する通信装置を提供する。

本発明は、他の観点において、コンピュータを、制御対象機器が設置されている空間内を移動可能な中継装置から受信した画像を表示部の表示面に表示させるステップと、前記空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内において決められた目的地まで移動することを前記中継装置に要求する第１の要求又は前記指示信号を送信することを前記中継装置に要求する第２の要求のうち少なくともいずれか一方とをそれぞれ対応付けて前記記憶部に記憶させるステップと、前記表示面において前記ユーザが指示した位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記中継装置に送信するステップとを実行させるためのプログラムを記憶した媒体。

本発明によれば、様々な場所に設置された機器をその周辺の様子を見た上で遠隔から操作することができる。

第１実施形態の遠隔指示システムの構成を示すブロック図である。 通信装置のハードウェア構成を示す図である。 記憶装置のハードウェア構成を示す図である。 指示装置のハードウェア構成を示す図である。 移動装置のハードウェア構成を示す図である。 第１コマンド記憶処理の手順を示すシーケンスチャートである。 コマンドＤＢに含まれている情報を示す表である。 第２コマンド記憶処理の手順を示すシーケンスチャートである。 指示装置の表示面に表示される画像の一例を示す図である。 部屋を鉛直上方から下方に向けて見たところを示す図である。 モーション記憶処理の手順を示すシーケンスチャートである。 モーション記憶処理において表示される撮影画像の例を示す図である。 指示装置の表示面に表示される画像の一例を示す図である。 ショートカット対応付け処理の手順を示すシーケンスチャートである。 ショートカット対応付け処理で表示される撮影画像の例を示す図である。 モーション動作処理の手順を示すシーケンスチャートである。 モーション動作処理において表示される撮影画像の例を示す図である。 ショートカット対応付け処理で表示される撮影画像の例を示す図である。 コマンド動作処理の手順を示すシーケンスチャートである。 コマンド動作処理において表示される撮影画像の例を示す図である。 第２実施形態の遠隔指示システムの構成を示すブロック図である。 第３実施形態のショートカット動作処理の手順を示すシーケンスチャートである。 ショートカットＤＢに格納されている情報の一例を示す図（前半部）である。 ショートカットＤＢに格納されている情報の一例を示す図（後半部）である。 通信装置の制御部が実現する機能を示す機能ブロック図である。 変形例のショートカット動作処理の手順を示すシーケンスチャートである。 変形例の移動指示装置のハードウェア構成を示す図である。

１…遠隔指示システム、２…通信回線、３…部屋、４…エアコン、５…テレビ、１０…通信装置、２０…記憶装置、３０…指示装置、４０…移動装置、５０…移動指示装置、１１０、２１０、３１０、４１０…制御部、１２０、２２０、３２０…記憶部、１３０、２３０、４２０…通信部、１４０…音声入出力部、１５０、３３０…タッチスクリーン部、１５１、３３１…表示部、１５２、３３２…タッチセンサ、１５３、３３３…表示面、３４０…撮像部、４３０、５７０…駆動部、１６０…測位部

［第１実施形態］
［構成］
以下、本発明の第１実施形態について図面を参照して説明する。
図１は、第１実施形態の遠隔指示システム１の構成を示すブロック図である。遠隔指示システム１は、通信装置１０、記憶装置２０、通信回線２、指示装置３０、移動装置４０、エアコン４及びテレビ５を備える。記憶装置２０及び通信回線２は部屋３の外（つまり室外）の設備であり、指示装置３０、移動装置４０、エアコン４及びテレビ５は部屋３の内部（つまり室内）に設置されている設備である。通信回線２は、移動体通信網又はインターネット等を含むものである。通信装置１０、記憶装置２０及び指示装置３０は、通信回線２を介して互いに通信する。通信装置１０は、ユーザが所持する装置であり、本実施形態においては、ユーザとともに部屋３の外部（つまり室外）に所在しているものとする。遠隔指示システム１は、通信装置１０を所持するユーザが、エアコン４及びテレビ５の動作を室外、すなわち遠隔から指示するためのシステムである。この際、指示装置３０および移動装置４０は、ユーザの指示を中継する中継装置として機能する。

エアコン４及びテレビ５は、上記のとおりユーザにより動作を指示される対象となる制御対象機器である。エアコン４は、部屋３の室内の温度が設定されたもの（設定温度）になるように調整する空調機であり、電源のＯＮ／ＯＦＦや空調種類（暖房や冷房など）の選択、設定温度ＵＰ（設定温度を上げること）、設定温度ＤＯＷＮ（設定温度を下げること）などの動作を実行する。エアコン４は、リモコン４Ｒによってこれらの動作を実行するように指示される。リモコン４Ｒは、複数のボタンを有し、各ボタンにそれぞれ異なるエアコン指示信号が対応付けられている。このエアコン指示信号とは、エアコン４に実行させる動作を示す信号である。これらのボタンが押下されると、リモコン４Ｒは、押下されたボタンに対応するエアコン指示信号を赤外線通信で発信する。エアコン４は、赤外線通信の信号を受信する受信部４１を有する。受信部４１がエアコン指示信号を受信すると、エアコン４は、この信号が示す動作を実行する。

テレビ５は、テレビジョン放送を受信して映像及び音声を出力するテレビ受信機であり、電源のＯＮ／ＯＦＦやチャンネルの選択、音量ＵＰ（音量を上げること）及び音量ＤＯＷＮ（音量を下げること）などの動作を実行する。リモコン５Ｒは、リモコン４Ｒがエアコン４に行うのと同様に、信号（以下「テレビ指示信号」という）を発信して、テレビ５に対してこれらの動作を実行するように指示する。テレビ５は、赤外線通信の信号を受信する受信部５１を有し、受信部５１がエアコン指示信号を受信すると、この信号が示す動作を実行する。

指示装置３０は、上述した各指示信号を記憶して、これらの指示信号を赤外線通信で発信する。つまり、指示装置３０は、制御対象機器であるエアコン４及びテレビ５の動作を指示する装置である。従って、エアコン４及びテレビ５は、リモコン４Ｒやリモコン５Ｒのほか、指示装置３０からも動作が指示されるようになっている。指示装置３０は、制御対象機器の受信部（受信部４１又は５１）との距離が５ｍ以内のときにその制御対象機器との赤外線通信が可能である。一方、受信部４１及び５１は、決められた方向の範囲から信号が発信されてきたときにその信号を受信することが可能である。このため、指示装置３０が所在する場所によっては、これらの受信部に指示信号が届かない場合がある。図１では、指示装置３０がエアコン４と赤外線通信することが可能な空間の範囲Ａ４と、指示装置３０がテレビ５と赤外線通信することが可能な空間の範囲Ａ５とを示している。

移動装置４０は、制御対象機器が設置されている空間、すなわち室内を移動する装置である。移動装置４０は、向きを変えることが可能な車輪を有し、この車輪を回転させたり向きを変えたりすることで、室内の様々な場所に移動する。移動装置４０は、指示装置３０によって移動するように指示されると、その指示に従って移動する。具体的には、指示装置３０は、或る方向に向かって移動するための動作を示す信号（以下「移動信号」という）をBluetooth（登録商標）の規格に従って発信することで、その指示を行う。移動装置４０は、この移動信号を受信すると、その信号が示す動作を実行することで、指示されたとおりの方向に向かって移動する。

記憶装置２０は、制御対象機器に対する指示信号の意味を特定するために用いられるコマンドデータベース（ＤＢ）を記憶している。コマンドＤＢでは、エアコン指示信号及びテレビ指示信号等の制御対象機器のコマンド名及び指示信号と、その制御対象機器の型番とが対応付けられている。ここでいうコマンド名とは、制御対象機器に対する指示の内容（すなわちコマンド）を表す名称のことであり、つまりは制御対象機器に指示して実行させる動作を示す言葉のことである。また、ここでいう型番とは、制御対象機器を製造した会社（いわゆるメーカー）によって決められたその制御対象機器の機種やモデルを示す記号のことであり、型番が同じ制御対象機器であれば、同じ指示信号により動作を指示することができるようになっている。

通信装置１０は、例えば、スマートフォンやタブレット端末などであり、ユーザによって操作され、指示装置３０と通信を行う通信装置である。通信装置１０は、指示装置３０に対して、上記の指示信号又は移動信号を発信することを要求する要求データを通信回線２を介して送信する。言い換えると、通信装置１０は、指示装置３０に対して、制御対象機器又は移動装置４０の動作を指示することを要求する要求データを送信する。通信装置１０は、このような要求データを送信することで、指示装置３０に何らかの動作（この場合指示信号又は移動信号を発信する動作）を行うことを要求する。以下では、このように要求データを送信することを、単に「要求する」という。例えば、通信装置１０は、指示装置３０に対して、指示装置３０が場所Ｂ４又はＢ５まで到達するまで移動装置４０が移動する動作を指示することを要求する。場所Ｂ４は、上記の範囲Ａ４に含まれ、場所Ｂ５は、上記の範囲Ａ５に含まれている。

指示装置３０は、図１では、範囲Ａ４にもＡ５にも含まれない場所に所在しているが、通信装置１０からのこの要求により送信されてくる要求データを受信して、受信した要求データが示す要求に応じて移動することで、エアコン４又はテレビ５と通信することが可能となる。この移動がされた後、通信装置１０が指示装置３０に対してエアコン指示信号又はテレビ指示信号を発信するように要求することで、エアコン４又はテレビ５が指示信号により示される動作を実行する。このようにして、遠隔指示システム１においては、ユーザが通信装置１０を操作して、制御対象機器の動作を遠隔から指示する。

以下、上記の各装置のハードウェア構成を説明する。
図２は、通信装置１０のハードウェア構成を示す図である。通信装置１０は、制御部１１０と、記憶部１２０と、通信部１３０と、音声入出力部１４０と、タッチスクリーン部１５０とを備える。記憶部１２０は、例えばハードディスク等の記憶手段であり、制御部１１０が制御に用いるデータやプログラムを記憶している。通信部１３０は、通信回線２に無線で接続し、通信回線２を介して記憶装置２０及び指示装置３０との間で通信する通信手段である。通信部１３０は、この通信により、記憶装置２０及び指示装置３０とデータを送受信する。音声入出力部１４０は、スピーカ、マイクロフォン及び音声処理回路等を備えており、通話に係る音声の入出力を行う。制御部１１０は、ＣＰＵ（Central Processing Unit）等の演算装置と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などの記憶装置とを備えるコンピュータである。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２０に記憶されたプログラムを実行することによって、通信装置１０の各部の動作を制御する。

タッチスクリーン部１５０は、画像を表示するとともにユーザの操作を受け付ける手段であり、表示部１５１とタッチセンサ１５２とを備える。表示部１５１は、表示面を有し、その表示面に画像を表示する。表示部１５１は、液晶素子や有機ＥＬ（electroluminescence）素子によりその表示面に画像を表示する表示パネルと、表示パネルを駆動する駆動回路等とを備える。タッチセンサ１５２は、前述の表示面と大きさ及び形状が概ね同じであり、その表示面に重ねて設けられている。タッチセンサ１５２は、例えば、表示面を指し示す指示体との静電結合を利用してその指示体が指し示す位置を検出する静電容量方式のセンサである。タッチセンサ１５２は、表示面においてユーザが指示した位置（指示位置という）を検出する検出手段として機能する。タッチセンサ１５２は、検出した位置を示すデータを制御部１１０に供給する。また、表示面に操作用の画像が表示されている場合、ユーザは、その画像を指し示すことで操作を行う。この場合、タッチセンサ１５２は、検出した位置が含まれている画像に応じた操作データ、すなわち受け付けた操作に応じた操作データを制御部１１０に供給する。

図３は、記憶装置２０のハードウェア構成を示す図である。記憶装置２０は、制御部２１０と、記憶部２２０と、通信部２３０とを備える。記憶部２２０は、例えばハードディスク等の記憶手段であり、制御部２１０が制御に用いるデータやプログラムを記憶している。また、記憶部２２０は、上記のコマンドＤＢを記憶している。通信部２３０は、通信回線２に無線で接続する接続手段であり、通信回線２を介して通信装置１０及び指示装置３０とデータを送受信する。制御部２１０は、ＣＰＵ等の演算装置と、ＲＯＭ及びＲＡＭなどの記憶装置とを備えるコンピュータである。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部２２０に記憶されたプログラムを実行することによって、記憶装置２０の各部の動作を制御する。

図４は、指示装置３０のハードウェア構成を示す図である。指示装置３０は、制御部３１０と、記憶部３２０と、タッチスクリーン部３３０と、撮像部３４０と、第１通信部３５０と、第２通信部３６０と、第３通信部３７０とを備える。記憶部３２０は、例えばハードディスク等の記憶手段であり、制御部３１０が制御に用いるデータやプログラムを記憶している。制御部３１０は、ＣＰＵ等の演算装置と、ＲＯＭ及びＲＡＭなどの記憶装置とを備えるコンピュータである。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部３２０に記憶されたプログラムを実行することによって、指示装置３０の各部の動作を制御する。タッチスクリーン部３３０は、表示部３３１及びタッチセンサ３３２を有する。これらは、それぞれ上記のタッチスクリーン部１５０、表示部１５１及びタッチセンサ１５２と構成が共通している。

撮像部３４０は、例えばデジタルカメラとしての機能を有し、撮像を行う撮像手段である。撮像部３４０は、撮影した画像を示す画像データを制御部１１０に供給する。第１通信部３５０は、通信回線２に無線で接続する接続手段であり、通信回線２を介して通信装置１０及び記憶装置２０とデータを送受信する。第１通信部３５０には、制御部１１０から前述の画像データが供給されてくる。第１通信部３５０は、この画像データを通信装置１０に送信することで、撮像部３４０の撮像により得られた画像を通信装置１０に送信する画像送信手段として機能する。第２通信部３６０は、赤外線通信の信号を送信して上記の制御対象機器と通信を行うものである。第２通信部３６０は、上述した通信装置１０からの要求に応じて、上記のエアコン指示信号及びテレビ指示信号を無線で送信する信号送信手段として機能する。つまり、ここでいう要求は、第２通信部３６０に対する要求となる。第３通信部３７０は、上述した移動信号のようなBluetoothの規格に従う信号を送信して移動装置４０との通信を行うものである。

図５は、移動装置４０のハードウェア構成を示す図である。移動装置４０は、制御部４１０と、通信部４２０と、駆動部４３０とを有する。制御部４１０は、ＣＰＵ等の演算装置と、ＲＯＭ及びＲＡＭなどの記憶装置とを備えているコンピュータである。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭに記憶されたプログラムを実行することによって、移動装置４０の各部の動作を制御する。通信部４２０は、第３通信部３７０と同様に、移動信号のようなBluetoothの規格に従う信号を受信して指示装置３０との通信を行うものである。駆動部４３０は、４つの車輪と、モータと、ステッピングモータとを有する。駆動部４３０は、モータにより車輪を回転させ、ステッピングモータにより車輪の向きを変更する。このモータは、双方向に回転し、移動装置４０を前進させたり後進させたりする。ステッピングモータは、車輪の向きを正面に対して左右に９０度ずつ回転させ、移動装置４０を正面に進ませたり真横に進ませたりする。

［動作］
続いて、遠隔指示システム１における各装置の動作について説明する。遠隔指示システム１においては、例えばエアコン４及びテレビ５を購入して室内に初めて設置したときには、指示装置３０がこれらの制御対象機器のコマンド名及び指示信号を記憶していない。遠隔指示システム１では、このようなときに、指示装置３０にコマンド及び指示信号を記憶させるコマンド記憶処理を行う。このコマンド名及び指示信号を示すデータのことを「コマンドデータ」という。以下、図６から図９までの図を参照して、第１及び第２コマンド記憶処理について説明する。

図６は、第１コマンド記憶処理の手順を示すシーケンスチャートである。この第１コマンド記憶処理は、制御対象機器の型番が記憶装置２０に記憶されている場合の処理である。なお、以降のシーケンスチャートでは、各装置が主体で処理を行うものとして説明するが、実際にそれらの処理を行うのは、各装置の制御部である。この第１コマンド記憶処理は、制御対象機器の型番を入力する操作をユーザが行うことを契機に開始される。まず、指示装置３０（の制御部３１０）は、タッチセンサ３３２が上記操作を受け付けると、ユーザにより入力された型番を取得する（ステップＳ１１）。次に、指示装置３０は、取得した型番を記憶装置２０に送信する（ステップＳ１２）。続いて、記憶装置２０は、記憶部２２０に記憶しているコマンドＤＢにおいて、指示装置３０から送信されてきた型番と対応付けられているコマンド名及び指示信号を抽出する（ステップＳ１３）。

図７は、コマンドＤＢに含まれている情報を示す表である。この表には、「型番」、「メーカー」、「機器種類」、「信号種類」、「コマンド」及び「指示信号」という項目が示されている。「型番」の列には、「X-001」と「Y-001」という２つの型番が示されている。これらは、それぞれテレビ５とエアコン４の型番を示している。この表では、テレビ５のメーカーが「甲社」であり、機器種類が「テレビジョン受信機」であり、信号種類が「赤外線」であることが示されている。ここでいう機器種類とは、空調機やテレビジョン受信機、照明といった、制御対象機器を目的や機能毎に分類したときの名称のことである。この機器種類が同じ制御対象機器同士であれば、その目的や機能が同じであるため、用いられるコマンドも共通していることが多い。また、テレビ５のコマンド名として、「電源ＯＮ／ＯＦＦ」、「音量ＵＰ」、「音量ＤＯＷＮ」という動作が示されており、それらの動作を実行させる指示信号を表すものとして、「ＡＡＡ．．」、「ＢＢＢ．．」、「ＣＣＣ．．」という記号が示されている。また、この表には、エアコン４のメーカーが「乙社」であり、機器種類が「空調機」であり、信号種類が「Bluetooth」であることが示されている。また、エアコン４のコマンド名として、「電源ＯＮ／ＯＦＦ」、「設定温度ＵＰ」、「設定温度ＤＯＷＮ」という動作が示されており、それらの動作を実行させる指示信号を表すものとして、「ＤＤＤ．．」、「ＥＥＥ．．」、「ＦＦＦ．．」という記号が示されている。

例えば、指示装置３０がステップＳ１１において取得した型番が「X-001」であれば、記憶装置２０は、ステップＳ１３においてコマンド名の「電源ＯＮ／ＯＦＦ」、「音量ＵＰ」、「音量ＤＯＷＮ」と、指示信号の「ＡＡＡ．．」、「ＢＢＢ．．」、「ＣＣＣ．．」とを抽出する。記憶装置２０は、抽出したコマンド名及び指示信号を示すコマンドデータを指示装置３０に送信する（ステップＳ１４）。そして、指示装置３０は、記憶装置２０から送信されてきたコマンドデータを記憶部３２０に記憶する（ステップＳ１５）。次に、指示装置３０は、記憶したコマンドデータを通信装置１０に送信する（ステップＳ１６）。そして、通信装置１０は、指示装置３０から送信されてきたコマンドデータを記憶部１２０に記憶する（ステップＳ１７）。これにより、第１コマンド記憶処理において指示装置３０に記憶されたコマンドデータが通信装置１０に記憶される。

図８は、第２コマンド記憶処理の手順を示すシーケンスチャートである。この第２コマンド記憶処理は、制御対象機器の型番がコマンドＤＢに含まれていない場合の処理である。以下では、テレビ５の型番がコマンドＤＢに含まれてない場合を例にとって説明する。第２コマンド記憶処理においては、指示装置３０の記憶部３２０に、機器種類と、その機器種類に応じて予め決められたコマンド画像を示す画像データとが対応付けて記憶されている。このコマンド画像は、上記のコマンド名に対応付けられた画像である。上述したとおり、機器種類が同じであれば、用いられるコマンドが共通していることが多いため、型番がコマンドＤＢに含まれていない制御対象機器であっても、このコマンド画像を示す画像データに対応付けられたコマンド名が示す動作を概ね実行することができるようになっている。

第２コマンド記憶処理は、指示装置３０のタッチスクリーン部３３０がユーザによって操作され、型番及び機器種類が入力されることを契機に開始される。タッチスクリーン部３３０がこの操作を受け付けると、指示装置３０は、ユーザにより入力された型番及び機器種類を取得する（ステップＳ２１）。ここでは、例えば、機器種類としてテレビジョン受信機を取得したものとする。次に、指示装置３０は、取得した機器種類に対応付けて記憶部３２０に記憶されている画像データが示すコマンド画像を表示部３３１の表示面に表示する（ステップＳ２２）。
図９は、ステップＳ２２において表示部３３１の表示面３３３に表示される画像の一例を示す図である。表示面３３３には、「機器種類：テレビ」及び「型番：X-001」という文字列と、コマンド画像Ｄ１、Ｄ２、Ｄ３及びＤ４とが表示されている。指示装置３０は、ステップＳ２１で取得した型番及び機器種類を用いてこられの文字列を表示している。コマンド画像Ｄ１、Ｄ２、Ｄ３及びＤ４は、それぞれ電源ＯＮ／ＯＦＦ、音量ＵＰ、音量ＤＯＷＮ及び１から１２までのチャンネルの選択というコマンドを表している。

ユーザは、表示されたコマンド画像のうちのいずれかを指し示すことで、コマンド画像を選択する。指示装置３０は、タッチセンサ３３２から供給されるデータより、ユーザが選択したコマンド画像を特定する(ステップＳ２３）。次に、ユーザは、テレビ５のリモコン５Ｒの指示信号が指示装置３０に届くようにした状態で、選択したコマンド画像が表しているコマンドを指示するボタンを押下する（ステップＳ２４）。例えば、ユーザは、コマンド画像Ｄ１を選択した場合は、リモコン５Ｒの電源ＯＮ／ＯＦＦに対応するボタンを押下する。リモコン５Ｒは、押下されたボタンに対応するテレビ指示信号を発信する(ステップＳ２５）。指示装置３０は、リモコン５Ｒが発信したテレビ指示信号を受信すると、受信したテレビ指示信号を、ステップＳ２１で取得した型番及び機器種類と、ステップＳ２３で特定したコマンド画像を示す画像データとに対応付けて記憶部３２０に記憶する（ステップＳ２６）。以上のステップＳ２３からＳ２６の処理が繰り返し行われることで、コマンド画像Ｄ１、Ｄ２、Ｄ３及びＤ４に、電源ＯＮ／ＯＦＦ、音量ＵＰ、音量ＤＯＷＮ及び１から１２までのチャンネルの選択という各コマンドがそれぞれ対応付けられる。このようにして、指示装置３０はコマンドデータを記憶する。指示装置３０は、ステップＳ２６の処理を行った後、図６に示すステップＳ１６の処理を行って、コマンドデータを通信装置１０に送信する。その後、ステップＳ１７の処理が行われることで、通信装置１０に、第２コマンド記憶処理において指示装置３０に記憶されたコマンドデータが記憶される。

次に、モーション記憶処理について説明する。このモーション記憶処理とは、移動装置４０が或る場所（例えば場所Ｂ０）から他の或る場所（例えば場所Ｂ５）まで移動するときの動作（つまりモーション）を示すデータを記憶する処理のことである。以下では、このデータのことを「モーションデータ」という。モーションデータは、この移動が行われる間に指示装置３０が移動装置４０に対して発信する移動信号及びその移動信号が発信された時刻を表す時刻データの集まりで表される。このモーション記憶処理について、図１２から図１５までの図を参照しながら説明する。

図１０は、部屋３を鉛直上方から下方に向けて見たところを示す図である。部屋３には、エアコン４、テレビ５、指示装置３０及び移動装置４０の他に、テーブルが設置されている。部屋３は、図１０における上下方向の寸法が左右方向よりも長い長方形の形状をしている。部屋３では、左上にテレビ５、中央にテーブル、左下にエアコン４が設置されている。また、移動装置４０は、部屋３の右中央と右上との間で、指示装置３０の中心が場所Ｂ０にくるように設置されている。この場所Ｂ０とは、ユーザによる遠隔からの指示が行われていないときに指示装置３０が所在する場所として、予め定められた場所である。また、移動装置４０は、指示装置３０の撮像部３４０が左側の壁と正対するように場所Ｂ０に設置されている。このように移動装置４０が設置された状態を、以下では「初期状態」という。本実施形態では、この初期状態から、エアコン前の場所Ｂ４及びテレビ前の場所Ｂ５に移動装置４０を移動させるときのモーションデータＢ０Ｂ４及びＢ０Ｂ５を記憶させる。ここでいう場所Ｂ４とは、上述した範囲Ａ４、すなわち指示装置３０がエアコン４と赤外線通信することが可能な空間の範囲に含まれる場所である。場所Ｂ５は、上述した範囲Ａ５に含まれるテレビ５に対する同様の場所である。

図１１は、モーション記憶処理の手順を示すシーケンスチャートである。ここでは、上述したモーションデータＢ０Ｂ５を記憶させる場合を例にとって説明する。このモーション記憶処理は、移動装置４０及び指示装置３０が上記の初期状態となるように設置されてから開始される。モーション記憶処理においては、まず、ユーザが指示装置３０に対して撮影を開始させるための操作を行い、タッチスクリーン部３３０がこの操作を受け付けると、指示装置３０は、撮像部３４０による画像の撮影を開始する（ステップＳ３１）。続いて、指示装置３０は、撮影した画像（以下「撮影画像」という）を示す画像データを通信装置１０に送信する（ステップＳ３２）。通信装置１０は、ステップＳ３２において指示装置３０から送信されてきた画像データが示す撮影画像を表示部１５１の表示面に表示する（ステップＳ３３）。この撮影画像について図１２を参照して説明する。

図１２は、モーション記憶処理において表示部１５１の表示面１５３に表示される撮影画像の例を示す図である。図１２（ａ）では、ステップＳ３３において表示面１５３に表示される撮影画像Ｃ０を示している。撮影画像Ｃ０には、図１０に示すテーブル及びテレビ５が映っている。指示装置３０は、例えばユーザが撮影画像Ｃ０を指し示す操作を行うと、図１２（ｂ）に示すようなモーション名を入力させるための画像Ｄ５を表示する。この状態で、ユーザは画像Ｄ５を操作してモーション名を入力する。ユーザは、モーション名として、例えば、「テレビ前移動」や「エアコン前移動」といった、移動装置４０が移動する動作であることと、その移動先の目的地とを示す文字列を入力する。この操作を受け付けると、通信装置１０は、入力されたモーション名を取得する（ステップＳ３４）。続いて、通信装置１０は、指示装置３０に対して、モーション名を示すデータとともに、モーションデータの記録を開始することを要求する要求データを送信する（ステップＳ３５）。ステップＳ３５において送信されてくる要求データを受信すると、指示装置３０は、通信装置１０から送信されてきたデータを記憶するとともに、モーションデータの記録を開始する（ステップＳ３６）。

次に、通信装置１０は、移動装置４０を移動させる操作をユーザが行うための操作画像を表示する（ステップＳ３７）。図１２（ｃ）では、表示面１５３に表示された操作画像Ｄ６を示している。操作画像Ｄ６は、４つの二等辺三角形の画像であり、等辺が交わる頂点を表示面１５３の上下左右にそれぞれ向けて表示されている。この上下左右の方向が、各操作画像Ｄ６が指す方向である。ユーザがこれらの操作画像Ｄ６のいずれかを操作する（指し示す）と、その操作画像Ｄ６が指す方向に応じて移動装置４０が移動するようになっている。例えば、上下左右という方向に対して、前へ進む、後ろへ進む、左へ進む、右へ進むという前後左右への移動の動作が対応している。ここでいう前とは、撮像部３４０が撮影する画像の中心に向かう方向であり、後ろとは、その反対向きの方向である。なお、これらの操作は、通信装置１０が傾けられた向きによって行われてもよい。この場合、通信装置１０は、角速度センサ（いわゆるジャイロセンサ）や加速度センサなどの複数の方向の傾きを検出する手段を備えており、それらの手段が検出した傾きの方向に応じて移動装置４０を移動させるようになっている。

通信装置１０は、ユーザによりいずれかの操作画像Ｄ６が操作されると、操作された操作画像Ｄ６に応じた方向に移動装置４０が移動するための移動信号を発信することを、指示装置３０に要求する（ステップＳ３８）。指示装置３０は、通信装置１０からのこの要求により送信されてくる要求データを受信すると、要求されたとおりの移動信号を生成し（ステップＳ３９）、生成した移動信号を発信する（ステップＳ４０）。このとき、指示装置３０は、移動信号と、その移動信号の時刻データとを対応付けてＲＡＭに一時的に記憶する（ステップＳ４１）。ステップＳ３９で生成される移動信号は、具体的には、移動装置４０の駆動部４３０が有する車輪の向きと、その車輪を回転させる方向とを示す信号である。移動装置４０は、指示装置３０から発信されてきた移動信号を受信すると、受信した移動信号に応じて移動の動作を実行する（ステップＳ４２）。詳細には、移動装置４０は、移動信号が示すとおりに車輪の向きを変え、移動信号が示す方向に車輪を回転させる。これにより、移動装置４０は、前後左右への移動の動作を行う。ステップＳ３８からＳ４２までの処理は、ユーザが操作画像Ｄ６を指し示している間、定められた間隔（例えば０．１秒毎）で実行され続ける。このように、指示装置３０の制御部３１０は、通信装置からの要求に応じて、移動装置４０の移動を制御する移動制御手段として機能する。つまり、ここでいう要求は、制御部３１０に対する要求となる。

ユーザは、移動装置４０を移動させる操作を、表示面１５３に表示される部屋３の撮影画像を見ながら行い、移動装置４０が場所Ｂ５に到達するまで続ける。図１２（ｄ）では、移動装置４０が場所Ｂ５に到達したときに表示面１５３に表示される撮影画像Ｃ１を示している。撮影画像Ｃ１には、テーブルは映っておらず、テレビ５が撮影画像Ｃ０のときよりも大きく映っている。このように移動装置４０が場所Ｂ０から場所Ｂ５まで移動する間には、ステップＳ３８からＳ４２までの処理が何度も繰り返される。以下では、この繰り返しによって指示装置３０のＲＡＭに一時的に記憶された複数の移動信号及び時刻データを、モーションデータＢ０Ｂ５という。モーションデータＢ０Ｂ５は、例えば、移動装置４０が図１０に示す二点鎖線の３つの矢印に沿って移動して場所Ｂ０から場所Ｂ５まで移動するときの動作を表すものになる。より詳細には、モーションデータＢ０Ｂ５は、これらの矢印に沿った移動がそれぞれＢ０側から１秒間、１秒間及び２秒間を要したとすると、移動装置４０がまず１秒間前へ進み、次に１秒間右に進み、最後に２秒間前に進むという動作を表すものになる。

続いて、指示装置３０は、例えばユーザが表示面１５３のどこかを指し示す操作を行うと、モーションデータの内容を示す画像を表示する（ステップＳ４３）。
図１３は、表示部３３１の表示面３３３に表示される画像の例を示す図である。図１３（ａ）では、ステップＳ４３において表示される画像の一例を示している。この例では、表示面３３３の上から順番に、「モーション記録」という文字列と、撮像部３４０が撮影している撮影画像Ｃ２とが表示されている。その下には、上記の操作画像Ｄ６のうち、ユーザにより操作されたもの（この例では上、右、上を指す操作画像Ｄ６）を操作された順番で左から並べた画像Ｄ７が表示されている。画像Ｄ７の下には、各操作画像Ｄ６が操作され続けた時間、すなわち「１秒」、「１秒」、「２秒」という文字列を示す画像Ｄ８が表示されている。これらの画像Ｄ７及びＤ８がモーションデータの内容を示している。具体的には、このモーションデータにより移動装置４０が移動したときの経路を示しており、この例では、１秒分の距離だけ前に進み、同じく１秒分の距離だけ左に進み、最後に２秒分の距離だけ前に進むという経路が示されている。この経路は、すなわち、モーションデータによって示される経路であり、移動装置４０は、この経路を通ってモーション名が表す目的地まで移動する。

これらの画像の下には、「このモーションを記録する」という文字列を示す画像Ｄ９と、「記録しない」という文字列を示す画像Ｄ１０とが表示されている。画像Ｄ９及びＤ１０は、ユーザの操作により選択できるようになっている。ユーザの操作により画像Ｄ１０が選択されると、指示装置３０は、ＲＡＭに記憶しているモーションデータＢ０Ｂ５を消去する。この場合、以降の処理は行われない。一方、ユーザの操作により画像Ｄ９が選択されると、指示装置３０は、ＲＡＭに記憶しているモーションデータＢ０Ｂ５を、モーション名を示すデータに対応付けて記憶部３２０に記憶する（ステップＳ４４）。図１３（ｂ）では、このようにして記憶されたモーションデータのリストの一例を表示面３３３に表示されたところを示している。この例では、「モーションリスト」という文字列と、その下に「テレビ前移動」という文字列と、「エアコン前移動」という文字列とが上下方向に並んで表示されている。これらの文字列はそれぞれモーション名を示しており、これらのモーション名に対応付けられたモーションデータが記憶部３２０に記憶されていることを示している。以上の各処理が行われることで、ユーザは、撮影画像Ｃ２やＤ７、Ｄ８といった移動装置４０を移動させた結果を見て確認した上で、モーションデータを記憶させるか否かを判断することができる。

続いて、指示装置３０は、モーションデータＢ０Ｂ５に含まれる移動信号を、発信された時刻が新しいものから順番に読み出し、読み出した移動信号が示す動作における移動の方向とは反対向きに移動する動作を示す移動信号を、順次発信する（ステップＳ４５）。この移動信号を受信すると、移動装置４０は、ステップＳ４２において実行した移動の動作を、反対向きに実行することになる（ステップＳ４６）。これにより、移動装置４０は、場所Ｂ５から場所Ｂ０まで移動して、初期状態に戻ることになる。ステップＳ４５の処理を行った後、指示装置３０は、モーションデータＢ０Ｂ５を通信装置１０に送信する（ステップＳ４７）。通信装置１０は、送信されてきたモーションデータＢ０Ｂ５を、上述したモーション名を示すデータと対応付けて記憶する（ステップＳ４８）。これにより、通信装置１０は、場所Ｂ０を示すデータと、モーション名を示すデータと、モーションデータＢ０Ｂ５とをそれぞれ対応付けて記憶することになる。
以上のとおりモーション記憶処理が行われることで、移動装置４０が場所Ｂ０から場所Ｂ５まで移動するときの動作を示すモーションデータが、指示装置３０及び通信装置１０に記憶される。

上述した第１、第２コマンド記憶処理及びモーション記憶処理が行われることで、コマンドデータ及びモーションデータが指示装置３０に記憶される。通信装置１０は、これらのコマンドデータ又はモーションデータとショートカット領域とを対応付けて記憶する。ここでいうショートカット領域とは、通信装置１０が表示部１５１に表示する或る撮影画像における或る領域であり、ユーザがタッチスクリーン部１５０この領域を指し示すことで選択されるものである。通信装置１０は、ショートカット領域が選択されると、これに対応付けられたデータが示すコマンド又はモーションを実行することを指示装置３０に対して要求する。このようなショートカット領域と、コマンドデータ又はモーションデータとを対応付ける処理を、以下ではショートカット対応付け処理という。

図１４は、ショートカット対応付け処理の手順を示すシーケンスチャートである。ここでは、移動装置４０及び指示装置３０が初期状態となっている場合を例にとって説明する。まず、指示装置３０が、現在所在している場所、すなわち場所Ｂ０において、室内を撮影し（ステップＳ６１）、その撮影画像を示す画像データを通信装置１０に送信する（ステップＳ６２）。次に、通信装置１０は、指示装置３０から送信されてきた画像データが示す撮影画像を表示部１５１に表示する（ステップＳ６３）。このとき表示される画像は、図１２に示す撮影画像Ｃ０と同じ画像になる。

図１５は、ショートカット対応付け処理において表示部１５１の表示面１５３に表示される撮影画像の例を示す図である。図１５（ａ）では、ステップＳ６３において表示面１５３に表示される撮影画像Ｃ０を示している。ユーザは、図１５（ａ）に示す状態でタッチスクリーン部１５０を操作して、撮影画像Ｃ０に映っているテレビ５を目印にして、テレビ５を含む領域Ｅ１を選択する。具体的には、ユーザは、図１５（ａ）において二点鎖線の矢印で示すように、テレビ５の左上から右下にかけて表示面１５３を指し示す操作を行う。通信装置１０は、このときにタッチセンサ１５２が検出する指示位置のうち、最初に検出した指示位置Ｆ１と最後に検出した指示位置Ｆ２とを対角線上の頂点として、表示面１５３における左右方向及び上下方向に沿った辺を有する長方形を、領域Ｅ１として特定する（ステップＳ６４）。通信装置１０は、領域Ｅ１を示すデータとして、撮影画像Ｃ０を表す画像データと、指示位置Ｆ１及びＦ２の座標とを互いに対応付けて記憶部１２０に記憶する。ここでいう座標とは、表示面１５３の左上の角を原点Ｐ０として、右に向かうＸ軸方向の座標と下に向かうＹ軸方向の座標とで表されるものである。このようにして、図１２（ａ）に破線で示した領域Ｅ１がユーザによって選択される。

続いて、通信装置１０は、ショートカット領域を対応付けさせるモーションデータ又はコマンドデータを選択させるための画像を表示する（ステップＳ６５）。以下では、この画像をＳＣ（ショートカット）対応付け画像という。図１５（ｂ）では、ステップＳ６５において表示面１５３に表示されるＳＣ対応付け画像Ｄ２１を示している。ＳＣ対応付け画像Ｄ２１は、表示面１５３において領域Ｅ１とは反対側に表示されている。ＳＣ対応付け画像Ｄ２１には、「ショートカット貼り付け」という文字列と、その下に、上側から順番に「テレビ前移動」、「エアコン前移動」、「テレビ電源ＯＮ／ＯＦＦ」、「テレビ音量ＵＰ」及び「エアコン設定温度ＵＰ」というコマンド又はモーションを示す文字列とが表されている。ここで示されているコマンド及びモーションは一部であり、ユーザがこれらの領域を上下に向けてなぞることで、画像がスクロールして他のコマンド及びモーションを示す文字列が表示されるようになっている。ユーザは、これらのコマンド及びモーションを示す文字列から、領域Ｅ１をショートカット領域として対応付けるものを選択する（ステップＳ６６）。

次に、通信装置１０は、選択された文字列が示すモーションのモーションデータ又はその文字列が示すコマンドのコマンドデータと、領域Ｅ１を示すデータとを対応付けて記憶部１２０に記憶する（ステップＳ６７）。これにより、通信装置１０の記憶部１２０は、予め部屋３の空間Ａ３を撮像して得られた画像である撮影画像Ｃ０を示す画像データと、この撮影画像Ｃ０における或る画像領域である領域Ｅ１を示すデータと、第１の要求を示す要求データ又は第２の要求を示す要求データとをそれぞれ対応付けて記憶する。ここでいう第１の要求とは、モーションデータが示す経路を通って前述の空間内において決められた目的地まで移動するように移動装置４０の移動を制御することを指示装置３０に要求するものである。また、ここでいう第２の要求とは、コマンドデータが示す指示信号を送信することを指示装置３０に要求するものである。これらのデータを記憶することで、記憶部１２０は、撮影画像Ｃ０と、領域Ｅ１と、第１の要求又は第２の要求とをそれぞれ対応付けて記憶することになる。

記憶部１２０は、例えば、指示装置３０が設置されている場所から全ての制御対象機器に指示信号が届くような場合に、コマンドデータのみがショートカット領域と対応付けて記憶することがある。また、記憶部１２０は、例えば、部屋の中の様子だけを見たいユーザが、モーションデータのみをショートカット領域と対応付けて記憶することもある。いずれにしても、記憶部１２０は、第１の要求を示す要求データ又は第２の要求を示す要求データのうち少なくともいずれか一方を、上記のように撮影画像を示す画像データ及び領域を示すデータと対応付けて記憶する。そして、通信装置１０は、上記の選択された文字列と並べて、領域Ｅ１の画像を縮小したもの（いわゆるサムネイル）を表示する（ステップＳ６８）。図１２（ｃ）では、ステップＳ６８において表示されるＳＣ対応付け画像Ｄ２１の一例を示している。この例では、ユーザが「テレビ前移動」という文字列を選択し、この文字列と並んで領域Ｅ１のサムネイルが表示されている。通信装置１０は、上記の領域Ｅ１を示すデータが示す撮影画像Ｃ０の画像データから領域Ｅ１の部分を抽出することで、このサムネイルを表示している。

上述したショートカット対応付け処理が行われると、ユーザは、ショートカット領域を選択することで、これに対応付けられたデータが示すコマンド又はモーションの実行を指示することを指示装置３０に対して要求することができるようになる。この要求により移動装置４０が移動の動作を行うときに各装置が実行する処理をモーション動作処理といい、この要求により制御対象機器がコマンド名により示される動作を行うときに各装置が実行する処理をコマンド動作処理という。

図１６は、モーション動作処理の手順を示すシーケンスチャートである。ここでは、移動装置４０及び指示装置３０が初期状態となっている場合を例にとって説明する。まず、指示装置３０が図１４に示すステップＳ６１、Ｓ６２と同様のステップＳ８１、Ｓ８２の処理を行い、次に、通信装置１０がステップＳ６３と同様のステップＳ８３の処理を行う。
図１７は、モーション動作処理において表示面１５３に表示される撮影画像の例を示す図である。図１７（ａ）では、ステップＳ８３において表示される撮影画像Ｃ２が示されている。この図では、領域Ｅ１を分かりやすくするため二点鎖線で示しているが、実際には表示されていない。ユーザは、上述したショートカット対応付け処理において、テレビ５を含むように領域Ｅ１を選択したので、このテレビ５を目印にして領域Ｅ１を選択する（すなわち領域Ｅ１を指し示す）。なお、通信装置１０は、この領域Ｅ１を示す画像又はその輪郭を示す画像等を表示してもよい。これにより、ユーザが、領域Ｅ１の位置を忘れた場合であっても容易に領域Ｅ１を選択できるようになる。

通信装置１０は、ユーザが指し示した位置が検出されると、まず、表示面１５３に表示されている撮影画像が、記憶部１２０に記憶されている画像データが示す撮影画像と合致するか否かを、例えば周知のパターンマッチングの技術を用いて判断する（ステップＳ８４）。記憶部１２０には、例えばショートカット対応付け処理の説明で述べた例であれば、領域Ｅ１を示すデータ、すなわち撮影画像Ｃ０を示す画像データが記憶されている。撮影画像Ｃ０及び撮影画像Ｃ２は、いずれも移動装置４０及び指示装置３０が初期状態となっているときに撮影された画像であるが、撮影されるときが異なるため、全ての物が同じように映っているとは限らない。この例では、撮影画像Ｃ２には、テーブルの上に撮影画像Ｃ０では映っていなかった皿が映っている。通信装置１０は、撮影画像Ｃ０及びＣ２について、例えば両画像の同じ座標における輝度の差の２乗を全ての座標で算出し、それらを合計した値が閾値以下であれば合致すると判断する。上記のとおりこれらの撮影画像は完全に一致しない場合もあるため、例えば、全体の７割以上が一致していれば合致すると判断できるように、閾値を定めておく。両画像が合致していないと判断した場合、通信装置１０は、モーション動作処理を終了する。

両画像が合致すると判断した場合、通信装置１０は、検出された位置が領域Ｅ１に含まれているか否かを判断する。含まれていなければ、通信装置１０は、モーション動作処理を終了する。一方、この位置が領域Ｅ１に含まれていれば、通信装置１０は、ショートカット領域が選択されたと判断し（ステップＳ８５）、この領域Ｅ１に対応付けて記憶しているコマンドデータ又はモーションデータ（この例ではモーションデータ）を、要求データとともに指示装置３０に送信する（ステップＳ８６）。この要求データは、コマンドデータ又はモーションデータが示す動作を行うことを要求するものであり、この例では、上記の第１の要求を示す要求データである。以上のステップＳ８４、Ｓ８５、Ｓ８６の処理を行うことで、通信装置１０の制御部１１０は、タッチセンサ１５２により指示位置が検出されたときに表示面１５３に表示されていた撮影画像を示す画像データが記憶部１２０に記憶されており、かつ、検出されたその指示位置が、撮影画像Ｃ０を示す画像データに対応付けられているショートカット領域に含まれる場合に、モーションデータ及び要求データを送信する。ここでいう撮影画像を示す画像データが記憶部１２０に記憶されているとは、完全に同じ撮影画像が記憶されているという場合に限らず、例えば映っているものの配置が多少変わっても、パターンマッチングの結果が決められた範囲に収まる（上記の例であれば、閾値以下に収まる）場合も含んでいる。

指示装置３０は、通信装置１０から送信されてきた要求データに応じて、ともに送信されてきたモーションデータが示す動作を行う。具体的には、指示装置３０は、モーションデータに含まれる移動信号を、ともに含まれる時刻データが示す時刻の早いほうから抽出し（ステップＳ８７）、決められた間隔（例えば０．１秒毎）で順番に発信する（ステップＳ８８）。移動装置４０は、指示装置３０から発信されてきた移動信号が示す移動の動作を実行する（ステップＳ８９）。この例では、「テレビ前移動」というモーション名のモーションデータが用いられている。これらのステップＳ８７からＳ８９までが繰り返し実行されることで、移動装置４０は、モーション名が示すようにテレビ前の場所Ｂ５まで移動する。これにより、表示部１５１には、図１７（ｂ）に示すような撮影画像Ｃ３が表示される。

上述したモーション動作処理が行われた後に、図１４に示すショートカット対応付け処理が行われることで、コマンドデータがショートカット領域に対応付けられる例について説明する。この例では、ステップＳ６３において、図１７（ｂ）に示す撮影画像Ｃ３が表示面１５３に表示されている。ユーザは、この撮影画像Ｃ３の或る領域を選択する。
図１８は、ショートカット対応付け処理において表示面１５３に表示される撮影画像の例を示す図である。図１８（ａ）では、ユーザが選択する領域Ｅ２を示している。ユーザは、撮影画像Ｃ３に映っているテレビ５を目印にして、テレビ５の画面部分を含むように領域Ｅ２を選択している。続いて、通信装置１０は、図１８（ｂ）に示すようなショートカット対応付け画像Ｄ２２を表示する（ステップＳ６５）。ユーザは、この画像においてコマンド名及びモーション名を示す文字列から、例えば「テレビ電源ＯＮ／ＯＦＦ」という文字列を、領域Ｅ２をショートカット領域として対応付けるものとして選択する（ステップＳ６６）。次に、通信装置１０は、選択された「テレビ電源ＯＮ／ＯＦＦ」という文字列が示すコマンドのコマンドデータと、領域Ｅ２を示すデータとを対応付けて記憶する（ステップＳ６７）。そして、通信装置１０は、図１８（ｃ）に示すように、この文字列と並べて、領域Ｅ２のサムネイルを表示する（ステップＳ６８）。

以上のショートカット対応付け処理が行われることにより、上述したコマンド動作処理が実行されるようになる。
図１９は、コマンド動作処理の手順を示すシーケンスチャートである。ここでは、モーション動作処理が行われて、移動装置４０が場所Ｂ５に移動した状態となっている場合を例にとって説明する。まず、図１６に示すステップＳ８１、Ｓ８２、Ｓ８３の処理がそれぞれ行われ、表示面１５３に場所Ｂ５で撮影された撮影画像が表示される。

図２０は、コマンド動作処理において表示面１５３に表示される撮影画像の例を示す図である。図２０（ａ）では、この例におけるステップＳ８３において表示される撮影画像Ｃ４が示されている。撮影画像Ｃ４には、電源が入っていないテレビ５が映っている。ユーザは、この撮影画像Ｃ４を見て、テレビ５の電源が入っていないことを確認し、テレビ５の電源を入れる操作、すなわち領域Ｅ２を選択する操作を行う。この図では、領域Ｅ２を分かりやすくするため二点鎖線で示しているが、実際には表示されていない。ユーザは、上述したショートカット対応付け処理において、テレビ５の画面部分を含むように領域Ｅ２を選択したので、この画面部分を目印にして領域Ｅ２を選択する（すなわち領域Ｅ２を指し示す）。

続いて、通信装置１０は、ユーザが指し示した位置が検出されると、ステップＳ８４の処理を行う。この例では、図１８で示した領域Ｅ２を示すデータとして記憶されている撮影画像Ｃ３が撮影画像Ｃ４と合致すると判断される。そして、検出された位置が領域Ｅ２に含まれていれば、通信装置１０は、ショートカット領域が選択されたと判断する（ステップＳ８５）。次に、通信装置１０は、選択されたショートカット領域に対応付けられたコマンドの内容を確認させるためのコマンド確認画像を表示面１５３に表示させる（ステップＳ９１）。図２０（ｂ）では、ステップＳ９１において表示されているコマンド確認画像Ｄ２３を示している。コマンド確認画像Ｄ２３には、「テレビ電源ＯＮ／ＯＦＦ」という文字列が表されている。また、コマンド確認画像Ｄ２３は、ユーザの操作により選択されるようになっている。ユーザは、この文字列を見て、ショートカット領域に対応付けられているコマンドの内容を確認し、問題がなければ、このコマンド確認画像Ｄ２３を選択する。

通信装置１０は、ユーザによりコマンド確認画像Ｄ２３が選択されると、この領域Ｅ２に対応付けて記憶しているコマンドデータを、要求データ（この例では、上記の第２の要求を示す要求データ）とともに指示装置３０に送信する（ステップＳ９２）。指示装置３０は、通信装置１０から送信されてきた要求データに応じて、ともに送信されてきたコマンドデータが示す動作を行う。具体的には、指示装置３０は、記憶部３２０に記憶している複数の指示信号の中から、通信装置１０から送信されてきたコマンドデータが示すテレビ指示信号を抽出する(ステップＳ９３）。次に、指示装置３０は。抽出したテレビ指示信号を発信する（ステップＳ９４）。このとき、指示装置３０は、場所Ｂ５に所在するため、発信されたテレビ指示信号がテレビ５に到達するようになっている。テレビ５は、指示装置３０から発信されてきたテレビ指示信号を受信して、この信号が示す動作を実行する(ステップＳ９５）。この例では、テレビ５は、「テレビ電源ＯＮ／ＯＦＦ」の動作を実行する。その結果、テレビ５に電源が入り、図２０（ｃ）に示すようなテレビ番組が表示されたテレビ５を映した撮影画像Ｃ４が表示面１５３に表示される。

上述したモーション動作処理及びコマンド動作処理は、モーションデータ及びコマンドデータの両方がショートカット領域とそれぞれ対応付けられていると、ユーザにより選択されたショートカット領域に応じていずれかの処理が実施されることになる。以下では、両動作処理を区別しない場合は「ショートカット動作処理」という。通信装置１０の制御部１１０は、このショートカット動作処理において、モーションデータ又はコマンドデータを要求データとともに送信することで、指示装置３０に、モーションデータが示す経路を通って目的地まで移動するように移動装置４０の移動を制御させ、又はコマンドデータが示す指示信号を送信させている。つまり、制御部１１０は、上述した第１の要求を示す要求データ又は第２の要求を示す要求データを指示装置３０に送信する要求送信手段として機能している。

本実施形態によれば、まずモーション動作処理が行われることで、ユーザは、制御対象機器であるテレビ５の近くまで移動した指示装置３０の撮像部３４０が撮影した画像を見て、テレビ５の様子を確かめることができる。そして、コマンド動作処理が行われることで、ユーザは、テレビ５の様子を見た上で、遠隔からテレビ５の動作を指示することができる。例えば、テレビ５の電源を入れようとしていたユーザが、図１９に示すステップＳ８３で表示された撮影画像を見たときに上記の例とは異なりテレビ５の電源が入っていることを確かめることができた場合、領域Ｅ２を操作しないで済ますことができる。

また、上述した初期状態で指示装置３０により撮影される図１２（ａ）に示すような撮影画像には、エアコン４が映っていない。この場合でも、図１１に示すモーション記憶処理を行い、ユーザが表示面１５３に表示される撮影画像を見ながら移動装置４０をエアコン４の前の場所Ｂ４まで移動させることで、場所Ｂ０から場所Ｂ４まで移動する動作を示すモーションデータを各装置に記憶させることができる。この際、図８に示すように、場所Ｂ４で指示装置３０の撮像部３４０をエアコン４の方に向けるため、移動装置４０が向きを左に９０度変える動作を行っている。この動作は、例えば、図１２（ｃ）に示す操作画像Ｄ６のうち、表示面１５３の左を指しているものを決められた時間内に２度連続して選択するいわゆるダブルクリックのような操作をすることで、移動装置４０が行うようになっている。そして、図１４に示すショートカット対応付け処理において、例えば、ユーザが図１５（ａ）に破線で示した領域Ｅ３にこのモーションデータを対応付けることで、モーション動作処理においてこの領域Ｅ３を選択して、移動装置４０を場所Ｂ０から場所Ｂ４まで移動させることができるようになる。このように、ショートカット領域としては、制御対象機器とは関係のない領域が選択されてもよく、望ましくは、その領域とどのようなコマンドデータ又はモーションデータが対応付けられているかということをユーザが覚えておきやすい領域が選択されるとよい。

［第２実施形態］
本発明の第２実施形態における遠隔指示システムは、複数の通信装置、複数の指示装置及び複数の移動装置を備えるという点で第１実施形態と異なる。この遠隔指示システムでは、各通信装置が記憶するモーションデータ及びコマンドデータを記憶装置２０が記憶し、これを他の通信装置でも用いることができるようにしている。
図２１は、第２実施形態の遠隔指示システム１ｘの構成を示すブロック図である。第１実施形態と共通する構成については、同一の符号を付し、その説明を省略する。遠隔指示システム１ｘは、上記の通信装置１０と構成が共通する通信装置１０ａ、１０ｂ、１０ｃと、記憶装置２０と、通信回線２と、部屋３ａの内部に設置されているエアコン４ａ、テレビ５ａ、指示装置３０ａ及び移動装置４０ａと、部屋３ｂの内部に設置されているエアコン４ｂ、指示装置３０ｂ及び移動装置４０ｂと、部屋３ｃの内部に設置されているテレビ５ｃ、指示装置３０ｃ及び移動装置４０ｃとを備える。指示装置３０ａ、３０ｂ、３０ｃは、上記の指示装置３０と構成が共通し、移動装置４０ａ、４０ｂ、４０ｃは、上記の移動装置４０と構成が共通する。これらの装置のうち、符号の末尾がａのものはユーザＡが所持し、ｂのものはユーザＢが所持し、ｃのものはユーザＣが所持している。

本実施形態では、上述した第２コマンド記憶処理、モーション記憶処理及びショートカット対応付け処理が行われると、各通信装置及び各指示装置に記憶されるコマンドデータ、モーションデータ及びショートカット領域を示すデータ等が記憶装置２０に記憶される。例えば、ユーザＡが所持する装置において、図８に示す第２コマンド記憶処理が行われた場合、ステップＳ２６の処理が行われた後、指示装置３０ａが、ステップＳ２６において記憶した型番、機器種類、コマンド画像が表すコマンド及びテレビ指示信号を示すコマンドデータを記憶装置２０に送信する（ステップＳ２７）。記憶装置２０は、指示装置３０ａから送信されてきたデータが示す型番、機器種類、コマンド名及び指示信号を互いに対応付けて上記のコマンドＤＢに格納する(ステップＳ２８）。以上の第２コマンド記憶処理が行われることで、例えばエアコン４ａ及び４ｂの型番が同じであったり、テレビ５ａ及び５ｃの型番が同じであったりすると、指示装置３０ｂ及び３０ｃは、第２コマンド記憶処理が行われなくとも、第１コマンド記憶処理が行われるだけで、エアコン４ｂ及びテレビ５ｃの動作を指示するためのコマンドデータをそれぞれ記憶することができる。

また、例えば、ユーザＡが所持する各装置において、図１１に示すモーション記憶処理が行われた場合、ステップＳ４８の処理が行われた後、通信装置１０ａは、ステップＳ４８において記憶したモーションデータ及びモーション名を示すデータを記憶装置２０に送信する(ステップＳ４９）。移動装置４０は、送信されてきたこれらのデータを互いに対応付けてモーションデータベース（ＤＢ）に格納する(ステップＳ５０）。モーションＤＢとは、様々なモーションデータを格納するものとして、記憶装置２０の記憶部２２０に記憶されているデータベースである。記憶装置２０は、モーションＤＢに格納したデータを、各通信装置及び各指示装置に、これらの装置から要求されたとき、又は決められた間隔で送信する。これにより、通信装置１０ａ及び指示装置３０ａによりモーションＤＢに格納されたモーションデータを、ユーザＢ及びＣが所持する各装置に記憶させて用いることができる。部屋３ａ、３ｂ、３ｃの形状や大きさ、その中の家具や制御対象機器の配置などはそれぞれ異なるため、これらの装置ではモーションデータが使えない場合もあるが、特に移動の動作が簡単なものなどは、再利用できる場合もある。

また、例えば、ユーザＡが所持する各装置において、図１４に示すショートカット対応付け処理が行われた場合、ステップＳ６８の処理が行われた後、通信装置１０ａは、ステップＳ６４において特定したショートカット領域（例えば領域Ｅ１やＥ２）を示すデータと、このショートカット領域に対応付けて記憶したコマンドデータ又はモーションデータとを、記憶装置２０に送信する（ステップＳ６９）。記憶装置２０は、通信装置１０から送信されてきたデータを、互いに対応付けてショートカットデータベース（ＤＢ）に格納する（ステップＳ７０）。ショートカットＤＢとは、様々なショートカット領域とモーションデータ又はコマンドデータと対応付けて格納するものとして、記憶装置２０の記憶部２２０に記憶されているＤＢである。記憶装置２０は、ショートカットＤＢに格納したデータを、各通信装置及び各指示装置に、これらの装置から要求されたとき、又は決められた間隔で送信する。これにより、通信装置１０ａによりショートカットＤＢに格納されたデータを、通信装置１０ｂ及び１０ｃでも記憶させて用いることができる。

この場合、通信装置１０ｂ及び１０ｃは、図１６に示すステップＳ８４において、表示している撮影画像が記憶部に記憶している画像データが示す撮影画像と合致すると判断した場合、その画像データに対応付けられているショートカット領域の例えば輪郭を表示する。これにより、ユーザＢ及びＣは、撮影画像のどこがショートカット領域として選択されたのかを知らないが、どこにその領域があるのかを知ることができるようになる。また、通信装置１０ｂ及び１０ｃは、輪郭を表示したショートカット領域に対応付けられたモーションデータのモーション名を示す文字列又はコマンドデータのコマンド名を示す文字列をその領域の近くに表示する。これにより、ユーザＢ及びＣは、それらのショートカット領域がどのようなモーションデータ及びコマンドデータと対応付けられているのかを知ることができる。

［第３実施形態］
本発明の第３実施形態における遠隔指示システムは、複数の通信装置を備えるという点で第１実施形態と異なり、それらの通信装置が同じ指示装置を介して移動装置の移動の動作の指示及び制御対象機器の動作の指示を行うという点で第２実施形態と異なる。さらに、本実施形態では、モーションデータ、コマンドデータ及びショートカット領域を示すデータを各通信装置及び指示装置は記憶せずに、記憶装置が記憶する。この場合、図８に示すステップＳ２６、図１１に示すステップＳ４４及びＳ４８、図１４に示すステップＳ６７の各処理、すなわち通信装置及び指示装置に各データを記憶する処理が行われない。一方、ステップＳ２７、Ｓ２８、Ｓ４９、Ｓ５０、Ｓ６９及びＳ７０という記憶装置２０に各データを記憶させる処理は行われる。以下では、図２１に示す各装置によりショートカット動作処理が行われる場合を例にとって説明する。

図２２は、第３実施形態におけるショートカット動作処理の手順を示すシーケンスチャートである。このシーケンスチャートでは、通信装置１０ａがショートカット動作処理を実施する例を示している。このショートカット動作処理では、まず図１６に示すステップＳ８１からＳ８３までの処理が実行される。次に、通信装置１０ａは、撮影画像を示す画像データ及び識別子データを記憶装置２０に送信する（ステップＳ１０１）。この識別子データとは、通信装置１０ａ又はこれを所持するユーザＡを識別する識別子を示すデータであり、記憶部１２０に記憶されている。この場合、通信装置１０ａの通信部１３０が、制御部１１０に制御されることで識別子を記憶装置２０に通知する識別子通知手段として機能する。記憶装置２０は、送信されてきたデータが示す識別子に対応するモーションデータ及びコマンドデータをショートカットＤＢから抽出する（ステップＳ１０２）。

図２３Ａおよび２３Ｂは、本実施形態のショートカットＤＢに格納されている情報の一例を示す図である。この表には、「Ｎｏ」、「識別子」、「登録型番」、「ショートカット対応」、「モーションデータ（モーション番号）」、「コマンドデータ（コマンド番号）」及び「ショートカット領域」という項目が示されている。「Ｎｏ」の列には、１から順番に番号が示されている。「識別子」の列には、「0001」、「0002」という２つの識別子が示されている。これらは、通信装置１０ａ及び１０ｂをそれぞれ識別する識別子である。「登録型番」の列には、テレビ５及びエアコン４の型番である「X-001」及び「Y-001」という文字列が示されている。「ショートカット対応」の列には、「モーション１」及び「モーション２」というモーション番号と、「コマンド１」から「コマンド５」までのコマンド番号が示されている。このモーション番号及びコマンド番号は、各モーションデータ及びコマンドデータに対応付けられた番号であり、それぞれの対応付けが「モーションデータ（モーション番号）」及び「コマンドデータ（コマンド番号）」の列に示されている。この例では、分かりやすくするため、モーションデータとしてモーション名を示しているが、実際には、このＤＢには、上述したとおり移動信号及び時刻データの集まり（すなわちモーションデータ）が格納されている。また、コマンドデータも、ここではコマンド名のみを示しているが、図７に示すような指示信号もこのＤＢに格納されている。「ショートカット領域」の列には、各ショートカット領域の撮影画像名及びその撮影画像における座標が示されている。

このように、記憶装置２０の記憶部２２０は、複数の識別子と、それらの識別子に応じてモーションデータが示す経路及びコマンドデータが示す定められた指示信号とを対応付けて記憶する識別子記憶手段として機能する。この経路は、上述したとおり、移動装置４０が目的地まで移動するときに通るものであり、経路が決まれば目的地が決まるようになっている。つまり、この識別子記憶手段は、複数の識別子と、目的地及び指示信号とを対応付けて記憶していることになる。なお、ショートカットＤＢは、モーションデータと、目的地を表すモーション名とを対応付けて格納するようになっていてもよい。

ステップＳ１０２において、記憶装置２０は、この例では、ユーザＡの識別子「0001」に対応する「Ｎｏ」が１から４０までの４０種類のモーションデータ及びコマンドデータを抽出する。続いて、記憶装置２０は、通信装置１０ａから送信されてきた画像データが示す撮影画像が、記憶部２２０に記憶されている画像データが示す撮影画像と合致するか否かを、図１６に示すステップＳ８４と同様の処理を行って判断する（ステップＳ１０３）。この例では、例えば撮影画像Ｃ０が合致すると判断する。そして、記憶装置２０は、合致すると判断した撮影画像のショートカット領域を示すデータと、そのショートカット領域に対応付けられたモーションデータ及びコマンドデータとを通信装置１０ａに送信する（ステップＳ１０４）。通信装置１０ａは、記憶装置２０から送信されてきたデータが示すショートカット領域（例えばその輪郭）を表示面１５３に表示する（ステップＳ１０５）。この例では、「テレビ前移動」及び「エアコン前移動」の２つのモーションデータに対応付けられたショートカット領域が表示される。ユーザがこれらのショートカット領域のいずれかを選択すると、通信装置１０ａは、ステップＳ８５、Ｓ８６の処理を実行し、選択された方のモーションデータを指示装置３０ａに対して送信する。以降、ステップＳ８７の処理と、この図では省略しているがステップＳ８８、Ｓ８９の処理とが実行され、選択されたモーションデータが示す移動の動作が行われる。

上記のショートカット動作処理を通信装置１０ｂが実施すると、記憶装置２０は、ステップＳ１０２において、ユーザＢの識別子である「0002」と対応付けられたモーションデータ及びコマンドデータを抽出する。この場合、記憶装置２０は、「Ｎｏ」が４１から５０までの１０種類のモーションデータ及びコマンドデータを抽出し、それらのデータのうちステップＳ１０３において画像の合致が判断された撮影画像のショートカット領域に対応付けられたデータを通信装置１０ｂに送信する。このように、記憶装置２０の制御部２１０は、通信装置から識別子が通知されてくると、その識別子に対応付けて記憶部２２０に記憶されているモーションデータが示す経路（上記のとおり目的地も）及びコマンドデータが示す指示信号をその通信装置に伝達する伝達手段として機能する。また、通信装置１０ａの制御部１１０は、指示装置３０ａに対して、記憶装置２０から送信されてきたモーションデータが示す経路を通って目的地まで移動するように移動装置４０の移動を制御することを要求する第１の要求を行い、又は同様に送信されてきたコマンドデータが示す指示信号を送信することを要求する第２の要求を行うことになる。本実施形態によれば、遠隔指示システムは、ユーザ又はユーザが所持する通信装置に対応付けられたモーションデータ又はコマンドデータが示す動作のみを、そのユーザが指示することができるようにすることができる。つまり、遠隔指示システムは、ユーザによって指示できる動作を制限することができる。

［実施形態のまとめ］
上述した各実施形態においては、通信装置１０の制御部１１０は、プログラムを実行することで、次のような機能を実現する。
図２４は、制御部１１０が実現する機能を示す機能ブロック図である。制御部１１０は、表示制御部１１１と、記憶制御部１１２と、要求送信部１１３と、指定部１１４とを備える。表示制御部１１１は、図１４のステップＳ６３及び図１６等のステップＳ８３の処理を実行することで、指示装置から送信されてきた画像を表示部１５１の表示面１５３に表示させる表示制御手段として機能する。また、表示部１５１及び表示制御部１１１が協働することで、この画像を表示面１５３に表示する表示手段として機能する。表示制御部１１１は、表示させた画像を示す画像データを要求送信部１１３に供給する。

記憶制御部１１２は、図１４のステップＳ６７の処理を実行することで、撮影画像Ｃ０などの画像を示す画像データと、その画像における領域Ｅ１などのショートカット領域を示すデータと、上述した第１の要求を示す要求データ又は第２の要求を示す要求データのうち少なくともいずれか一方とをそれぞれ対応付けて記憶部１２０に記憶させる記憶制御手段として機能する。また、記憶部１２０及び記憶制御部１１２が協働することで、これらのデータを前述のとおり記憶する動作記憶手段として機能する。記憶制御部１１２は、記憶手段に記憶させたこれらのデータを、要求送信部１１３に供給する。要求送信部１１３は、タッチセンサ１５２により位置が検出されたときに表示面１５３に表示されていた画像を示す画像データが記憶部１２０に記憶されており、かつ、検出されたその位置が、その画像に対応付けられているショートカット領域に含まれる場合に、そのショートカット領域に対応付けられて記憶部１２０に記憶されている要求を示す要求データを指示装置に送信する要求送信手段として機能する。指定部１１４は、上述した各実施形態では用いられないものであるため、図２４では破線で示し、後で説明するものとする。

［変形例］
上述した各実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した各実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。

（変形例１）
通信装置の制御部は、上述した各実施形態では、ショートカット領域をモーションデータ又はコマンドデータのいずれかと対応付けたが、これらの両方と対応付けてもよい。例えば、上述した「テレビ前移動」というモーション名のモーションデータ及び「テレビ電源ＯＮ／ＯＦＦ」というコマンドのコマンドデータの両方と、領域Ｅ１とを対応付けてもよい。これにより、ユーザは、テレビの電源が入っていないことが分かっていてテレビ電源を入れたいときに、領域Ｅ１を選択するだけで、テレビの電源を入れることができる。また、ショートカット領域に対応付けるデータは、３つ以上あってもよい。要するに、この制御部は、ショートカット領域にモーションデータ又はコマンドデータを少なくとも１つ以上対応付ければよい。

（変形例２）
通信装置の制御部は、上述した各実施形態では、図８に示す初期状態の場所Ｂ０から移動装置を移動させるか、場所Ｂ０に戻らせるかしたときの移動の動作をモーションデータとして記憶したが、それ以外の移動の動作を記憶してもよい。例えば、この制御部は、移動装置が場所Ｂ５から、場所Ｂ４に移動させるときの動作をモーションデータとして記憶してもよい。この場合、この制御部は、場所Ｂ５における撮影画像でユーザが選択したショートカット領域にこのモーションデータを対応付ける。これにより、ユーザは、テレビとエアコンの両方の様子を見たいときに、移動装置をテレビ前に移動させた後、このショートカット領域を選択するだけで移動装置を場所Ｂ５から場所Ｂ４に移動させることができる。これに対し、場所Ｂ０を移動先の目的地又は移動元とする場合は、移動装置をテレビ前に移動させた後、場所Ｂ０に戻る移動の動作と、場所Ｂ０から場所Ｂ４に向かう移動の動作が必要となる。本変形例によれば、必ず或る場所を移動元又は目的地とする場合に比べて、ユーザは、少ない操作で移動装置の動作を指示することができる。

（変形例３）
移動装置を移動させる先は、制御対象機器の近くとは限らない。例えば、ペットの飼育場所や、窓の近くなど、様々な場所を移動先の目的地としてもよい。これらの場合、ユーザは、ペットの様子や窓からの日光の入り具合を見た上で、エアコンの電源を入れるか否かを判断するといったことができる。要するに、遠隔指示システムにおいては、制御対象機器をどのように動作させるかということを判断する際の参考になる室内の場所を指示装置が撮影できる場所まで移動する動作がモーションデータとして通信装置に記憶されればよい。これにより、ユーザは、様々な場所に設置された制御対象機器をその周辺の様子を見た上で遠隔から操作することができる。

なお、遠隔指示システムでは、上述したモーション動作処理を行う代わりに、ユーザが通信装置を操作して移動装置を或る場所まで移動させるようにしてもよい。このようにして移動装置を移動させた後、ユーザは、通信装置が記憶しているコマンドデータにより示されるコマンド名の一覧を表示させる操作を行う。次に、ユーザは、現在撮影されている画像を参考にして、通信装置が表示したコマンド名から実行させたいものを選択する。指示装置は、ユーザにより選択されたコマンド名が示す動作を制御対象機器に実行させる。そして、ユーザの操作により通信装置１０が指示装置との通信を終了すると、指示装置は、現在所在している場所まで移動してきた動作を、反対の方向に向けて反対の順番で行うことで、元の位置まで移動する。これにより、移動装置及び指示装置が初期状態に戻ることになる。以上の処理が行われることで、遠隔指示システムにおいては、移動の動作が通信装置に記憶されていない場所からの様子をユーザが見たい場合などに、ユーザがその場所の様子を見た上で制御対象機器を遠隔から操作することができる。

（変形例４）
遠隔指示システムでは、通信装置が所在する地点に応じたモーション及びコマンドが実行されるようにしてもよい。例えば、通信装置が室内に所在する場合と、室外に所在する場合とで、同じショートカット領域が操作されたときに異なるモーション及びコマンドが実行されるといった具合である。この場合、通信装置の制御部は、上記の第１及び第２コマンド記憶処理と、モーション記憶処理とで、室内用と室外用の２つのコマンドデータ又はモーションデータを記憶する。次に、この制御部は、ショートカット対応付け処理において、１つのショートカット領域に対してこれら２つのコマンドデータ又はモーションデータを対応付ける。また、通信装置は、図２に破線で示した測位部１６０を有する。測位部１６０は、例えばＧＰＳ（Global Positioning System）の技術を用いて、通信装置１０が所在する地点を特定する特定手段である。具体的には、測位部１６０は、通信装置１０の経度及び緯度を計測する。上記の地点は、計測された経度及び緯度によって特定される。測位部１６０は、計測した経度及び緯度を示すデータを制御部１１０に供給する。

図２５は、本変形例におけるショートカット動作処理の手順を示すシーケンスチャートである。このショートカット動作処理では、ステップＳ８１からＳ８５までは、図１６に示したものと同様に処理が行われる。ステップＳ８５においてショートカット領域が選択されると、通信装置１０は、測位部１６０が計測した経度及び緯度により自装置が所在する地点を特定する（ステップＳ１１１）。次に、通信装置１０は、特定した地点が室内か室外かを判断する（ステップＳ１１２）。例えば、通信装置１０は、図１０に示す部屋３の空間Ａ３の場所を示すデータ、例えば図１０で示されている空間Ａ３の４つの角の経度及び緯度の値を記憶部１２０に記憶しておく。そして、通信装置１０は、これらの経度及び緯度に、ステップＳ１１１で特定した地点の経度及び緯度が含まれていれば、通信装置１０が室内に所在していると判断し、含まれていなければ、室外に所在していると判断する。そして、通信装置１０は、室内と判断した場合は、室内用として記憶していたモーションデータ又はコマンドデータを指示装置３０に送信し、室外と判断した場合は、室外用として記憶していたこれらのデータを指示装置３０に送信する（ステップＳ１１３）。以降、ステップＳ８７からＳ８９までは、図１６に示したものと同様に処理が行われる。

上記の例では、ショートカット領域に１つのモーションデータ又はコマンドデータを対応付けた場合を説明したが、変形例１で述べたように、複数のモーションデータ、複数のコマンドデータ、又はモーションデータ及びコマンドデータの両方をショートカット領域に対応付けてもよい。例えば、上記の地点が室外である場合は、ユーザは、室内の様子を見た上で制御対象機器を動作させたいから、モーションデータとコマンドデータとを別々にショートカット領域に対応付ける。一方、上記の地点が室内である場合は、ユーザは、室内の様子は分かっていて、より少ない操作で制御対象機器を動作させたいから、モーションデータ及びコマンドデータの両方をショートカット領域に対応付ける、といった具合である。また、ユーザが部屋３の近隣に所在する場合、部屋３の周辺の天気が分かるため、室内の様子を見ることなくより少ない操作で例えばエアコンの電源ＯＮ／ＯＦＦの動作を実行させ、ユーザが遠方にいて部屋３の周辺の天気が分からない場合に、室内の様子を見るためモーションデータとコマンドデータとを別々にショートカット領域に対応付ける、といったこともできる。

この場合、記憶部１２０は、ショートカット領域と、第１の要求を示す要求データと、複数の距離の範囲に応じてそれぞれ定められたコマンドデータが示す指示信号を送信することを指示装置３０に要求する第２の要求を示す要求データとを対応付けて記憶する。このコマンドデータは、例えば、距離が０ｍ（特定した地点が部屋３の空間Ａ３内にある）の場合はエアコン設定温度ＵＰを示すものとし、距離が０ｍより大きく１ｋｍ以下の範囲に含まれる場合はエアコン電源ＯＮ／ＯＦＦを示すものとし、距離が１ｋｍより大きい範囲に含まれる場合は定められないものとする。通信装置１０の制御部１１０は、空間Ａ３と上記のとおり特定した地点との距離が上記の範囲に含まれない場合、例えばこの例では距離が１ｋｍより大きい場合は、第１の要求を示す要求データを指示装置３０に送信し、第２の要求を示す要求データは送信しない。また、制御部１１０は、その距離が上記の範囲に含まれる場合、例えばこの例では距離が０ｍ以上１ｋｍ以下の範囲に含まれる場合は、第１の要求を示す要求データ及びこの範囲に対応付けられた指示信号を送信することを要求する第２の要求を示す要求データを指示装置３０に送信する。本変形例によれば、同じショートカット領域を選択した場合でも、空間Ａ３と通信装置１０との距離に応じて、制御対象機器の周辺の様子を見た上でその機器を操作したいときには移動の動作だけを行い、その様子を見ることなく機器を操作したいときには移動及びその機器の動作の指示の両方を一度に行うようにすることができる。

（変形例５）
通信装置は、上述した実施形態では、図１６や図１９などに示すステップＳ８５においてショートカット領域が選択されたと判断した場合に、移動装置４０を移動させたり、指示装置３０に指示信号を発信させたりしたが、これ以外の場合にこれらの移動及び発信をさせてもよい。通信装置は、例えば、変形例３では、ユーザの操作によりコマンド名の一覧を表示させ、ユーザが選択したコマンド名が示す動作を制御対象機器に実行させた。この他にも、例えは、通信装置は、音声を認識する機能を有しておき、ユーザの音声を認識した結果が、記憶部１２０に記憶しているモーションデータが示すモーション名であったときに、ステップＳ８６の処理（モーションデータと要求データの送信）を行う。通信装置は、コマンドデータについても、実行する処理をステップＳ８６からＳ９２に代えて同様の処理を行う。本変形例によれば、通信装置の表示面に表示されていないショートカット領域に対応付けられているモーションデータやコマンドデータを指示装置３０に送信して、上記移動及び発信をさせることができる。例えば、変形例４で述べたように、通信装置が室内に所在する場合、すなわちその通信装置を操作するユーザが室内に所在する場合、ユーザは、移動装置の位置や変形例３で述べたような周辺の様子などを直接見て確認することができる。特にこのような場合に、ユーザは、それらの位置や様子を確認するために移動装置を移動させるという手間を掛けることなく、移動装置の移動や指示信号の発信を行わせ、制御対象機器の動作を指示することができる。

本変形例においては、制御部１１０は、プログラムを実行することで、図２４に破線で示した指定部１１４という機能を実現する。指定部１１４は、ユーザの操作に応じて上述した第１の要求又は第２の要求のうち少なくともいずれか一方を指定するという指定手段として機能するものである。指定部１１４は、例えば、コマンド名が表示されている領域にタッチセンサから供給されてくるデータが示す指示位置が含まれている場合であれば、そのコマンド名のコマンドデータが示す指示信号を指示装置３０に送信させるという第２の要求を指定する。また、指定部１１４は、例えば、前述の音声を認識する機能により或るモーション名が認識された場合であれば、認識されたモーション名のモーションデータに基づいた移動装置４０の移動を指示装置３０に制御させるという第１の要求を指定する。指定部１１４は、ユーザの操作によりコマンド名及びモーション名の両方が選択（又は認識）された場合であれば、第１の要求及び第２の要求の両方を指定してもよい。指定部１１４は、指定した結果を示すデータを要求送信部１１３に供給する。要求送信部１１３は、指定部１１４により指定された要求を行うことを示すデータ（例えばステップＳ８６やＳ９２で送信されるデータ）を移動装置に送信する。

（変形例６）
上述した各実施形態では、指示装置と移動装置とが別々の装置であり、これらが協働することで制御対象機器が設置されている空間Ａ３内を移動する移動装置として機能したが、これらを１つの装置としてもよい。本変形例においては、この１つの装置を移動指示装置という。
図２６は、本変形例の移動指示装置５０のハードウェア構成を示す図である。移動指示装置５０は、図４に示す指示装置３０と同様に、制御部３１０と、記憶部３２０と、タッチスクリーン部３３０と、撮像部３４０と、第１通信部３５０と、第２通信部３６０とを備える。一方、Bluetooth通信を行う第３通信部は有しないで、図５に示す駆動部４３０と共通する構成の駆動部５７０を有する。つまり、移動指示装置５０の制御部３１０は、Bluetooth通信を行うことなく、駆動部５７０の動作を制御する。この場合、移動指示装置５０は、図１１に示すステップＳ４０、Ｓ４５や図１６に示すステップＳ８８といったBluetooth通信の処理を行うことなく、ステップＳ４２、Ｓ４６及びＳ８９といった移動の動作を実行する。この移動指示装置５０は、上記の空間Ａ３内を移動する移動装置として機能する。

（変形例７）
通信装置１０の制御部１１０は、図１６に示すステップＳ８４において、記憶部１２０に記憶されている画像データが示す撮影画像と表示部１５１に表示されている撮影画像とのパターンマッチングを、両画像の全体を比較することで行ったが、これらの撮影画像の一部を比較して行ってもよい。これらの撮影画像は、部屋３の内部を撮影したものであるため、テーブルの場所がずれていたり、新たにものが映っていたりする場合がある。このような場合であっても両画像が合致すると判断できるようにするため、撮影される対象となるものの配置が変化しない場所、例えば重たい家具の周辺や天井方向を示す領域の座標（例えば領域Ｅ１のような長方形の領域であれば、左上と右下の座標）を予め決めて、撮影画像を示す画像データに対応付けて記憶部１２０に記憶させておく。そして、制御部１１０は、ステップＳ８４において、両画像のこの座標が示す領域についてパターンマッチングを行い、両画像が合致するか否かを判断する。これにより、制御部１１０は、部屋３の内部のものの配置が変化していても、同じ場所で同じ向きに撮影したときの撮影画像同士であれば、これらが合致していると判断しやすくすることができる。

（変形例８）
通信装置１０の制御部１１０は、ステップＳ８４において、パターンマッチング以外の方法で撮影画像の合致を判断してもよく、例えば、モーション動作処理の実行状態によって、撮影画像の合致を判断してもよい。ここでいう実行状態とは、モーション動作処理を実行していないのか、実行した後なのか、ということを表す状態のことである。また、複数のモーションデータが記憶されている場合であれば、どのモーションデータによるモーション動作処理を実行した後なのか、ということを表す状態のことである。例えば、制御部１１０は、モーション動作処理が行われていないという状態であれば、表示されている撮影画像が図１２（ａ）に示す撮影画像Ｃ０と合致するものと判断する。また、制御部１１０は、移動装置４０を場所Ｂ５へ移動させるモーション動作処理が行われた後という状態であれば、表示されている撮影画像が図１２（ｄ）に示す撮影画像Ｃ１と合致するものと判断する。これにより、部屋３の内部のものの配置が大きく変化した場合であっても、合致する撮影画像がなくなるということを防止することができる。また、上記のショートカット対応付け処理では、ユーザは、例えばエアコン４やテレビ５などの目印となるものを含むように領域を選択することが多い。つまり、これらのものの配置が変化していなければ、他のものの配置がどれだけ変わっていようと、ユーザは、表示面１５３に表示されている撮影画像に映っている同じものを目印としてショートカット領域を指し示すことができる。

（変形例９）
遠隔指示システムにおいてユーザが遠隔から指示する制御対象機器は、図１に示す部屋３のような屋内にあるものに限らず、屋外にあるものであってもよい。例えば、遠隔指示システムでは、玄関の外やテラス、屋上などに設置された照明のＯＮ／ＯＦＦを制御したり、屋外にある家庭菜園のスプリンクラーのＯＮ／ＯＦＦを指示信号により切り替えられるようにしておいて、そのＯＮ／ＯＦＦを制御したりしてもよい。この場合、移動装置４０は、それらの制御対象機器の受信部に指示信号を届かせることが可能な空間の範囲まで移動することができるように設置される。

（変形例１０）
指示装置は、上述した実施形態とは異なる構成であってもよい。例えば、指示装置は、上述した実施形態では、赤外線通信により指示信号を発信したが、BluetoothやZigBeeなど、他の無線の通信方法で指示信号を発信してもよい。この場合、制御対象機器も、それらの他の無線の通信方法で通信する受信部を備えている。この受信部は、どの方向から発信されてきた指示信号でも受信することが可能であるが、前述の各通信方法において通信可能な範囲よりも離れた場所から発信されてきた指示信号を受信することはできない。従って、本変形例においても、指示装置が受信部と通信可能となる場所まで移動装置が移動して、その場所から指示装置が制御対象機器の受信部に対して指示信号を発信する。

また、指示装置は、タッチスクリーン部３３０を備えていなくてもよい。この場合、指示装置は、上述した各処理において表示部３３１に表示していた画像を示す画像データを通信装置１０に送信して、通信装置１０がその画像データにより示される画像を表示部１５１に表示する。これにより、タッチスクリーン部３３０を備える場合に比べて、指示装置を小型且つ軽量なものにすることができる。

（変形例１１）
移動装置は、上述した実施形態とは異なる構成であってもよい。例えば、移動装置は、実施形態では車輪を有する車のような装置であったが、これに限らず、模型のヘリコプターや、２足又は４足で歩行したり、無限軌道（いわゆるキャタピラ（登録商標））で移動するロボットであってもよい。例えば、吹き抜けのホールがある家において、１階と２階の両方の照明をＯＮ／ＯＦＦするような場合に、ヘリコプターで移動したり、階段をロボットで移動したりするといった具合である。また、移動装置は、レール上を移動する装置であってもよい。要するに、移動装置は、制御対象機器が設置されている空間内を移動するものであり、且つ、初期状態において設置されている場所から目的地となる場所までの移動を可能とする機構を備えるものであればよい。

また、移動装置は、指示装置３０が備える一部のハードウェア、例えば、図４に示す第１通信部３５０のように通信回線２に無線で接続する通信部や、第２通信部３６０のように制御対象機器と赤外線通信を行う通信部、撮像部などを備えていてもよい。この場合、指示装置は、これらの通信部や撮像部に対して動作を指示する指示信号を送信し、移動装置は、送信されてきた指示信号に基づいて各通信部及び撮像部を動作させる。移動装置は、撮像部が撮影した画像を示す画像データを、指示装置に送信してもよいし、通信装置１０に直接送信してもよい。このように構成することで、指示装置３０が行う処理の量を減らして制御部３１０にかかる負荷を軽くすることができる。

また、移動装置は、指示装置と有線で接続されていてもよい。この場合、移動装置及び指示装置の双方が、ケーブルを接続するためのコネクタの差し込み口を有する通信部を備える。移動装置及び指示装置がこれらの通信部を介して有線で接続されることにより、無線で通信を行う場合よりも両装置の消費電力を少なくすることができる。また、指示装置が、機能的な制約により通信装置１０及び移動装置の両方と同時に無線による通信を行うことができないものであった場合に、一方の通信（移動装置との通信）を有線にすることで、上述した指示装置３０と同様の処理を行うことができるようになる。

（変形例１２）
通信装置１０は、図１１に示すステップＳ３４の処理（モーション名の取得）を、ステップＳ４７又はＳ４８の後に実施してもよい。この場合、通信装置１０は、ステップＳ３５において、モーションデータの記録を開始することを指示装置３０に対して要求する。そして、通信装置１０は、ステップＳ４７において指示装置３０からモーションデータＢ０Ｂ５が送信されてきた後に、ステップＳ３４の処理を行ってモーション名を取得する。そして、通信装置１０は、取得したモーション名とモーションデータＢ０Ｂ５を対応付けて記憶部１２０に記憶する（ステップＳ４８）。以上の処理を行うことで、通信装置１０は、図１３に示す画像Ｄ９（「このモーションを記録する」という文字列）が選択された場合には、モーション名を取得し、画像Ｄ１０（「記憶しない」という文字列）が選択された場合には、モーション名を取得しないことになる。これにより、ユーザにより画像Ｄ１０、すなわちモーションを記憶しないことが選択された場合に、不要なモーション名が記憶部１２０に残るということがなくなり、また、そのモーション名を削除するための処理を通信装置１０が行う必要もなくなる。

（変形例１３）
本発明は、遠隔指示システムの他にも、通信装置や、通信装置の制御部、その制御部が実施する処理を実現するための方法としても把握されるものである。また、本発明は、通信装置の制御部、すなわちコンピュータに、図２４に示す各機能を実現させるためのプログラムとしても把握されるものである。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供されたりするものであってもよい。

Claims (8)

1. 制御対象機器が設置されている空間内を移動可能な中継装置と、
   ユーザによって操作され、前記中継装置と通信を行う通信装置とを備え、
   前記中継装置は、
   前記通信装置からの要求に応じて、自装置の移動を制御する移動制御部と、
   撮像を行う撮像部と、
   前記撮像手段にて得られた画像を前記通信装置に送信する第１送信部と、
   前記通信装置からの要求に応じて、前記制御対象機器の動作を指示する指示信号を無線で送信する第２送信部と
   を有し、
   前記通信装置は、
   予め前記空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内における目的地への移動を前記中継装置に要求する第１の要求又は前記指示信号の送信を前記中継装置に要求する第２の要求のうち少なくともいずれか一方とを、それぞれ対応付けて記憶する記憶部と、
   前記第１送信部から送信されてきた画像を表示面に表示する表示部と、
   前記表示面において前記ユーザが指示した位置を検出する検出部と、
   前記検出部により前記位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記中継装置に送信する送信部と
   を有する
   ことを特徴とする遠隔制御システム。
2. 前記遠隔制御システムは、データベースを更に備え、
   前記通信装置は、自装置を識別し、又は自装置のユーザを識別する識別子を通知する通知部をさらに有し、
   前記データベースは、複数の前記識別子と、当該識別子に応じて定められた前記目的地及び前記指示信号とを対応付けて記憶し、前記通信装置から前記識別子が通知されると、当該識別子に対応する前記目的地及び前記指示信号を当該通信装置に提供し、
   前記送信部は、前記データベースから提供された目的地を指定した前記第１の要求、又は前記データベースから提供された指示信号を指定した前記第２の要求を、前記中継装置に送信する
   ことを特徴とする請求項１に記載の遠隔制御システム。
3. 前記記憶部は、前記画像領域と、前記第１の要求及び前記第２の要求の両方とを対応付けて記憶し、
   前記通信装置の送信部は、前記画像領域に対応付けられている前記第１の要求及び前記第２の要求を前記中継装置に送信し、
   前記移動制御部は、前記通信装置から受信した前記第１の要求に応じて、自装置の移動を制御し、
   前記第２送信部は、前記移動制御部による制御が実行された後に、前記通信装置から受信した前記第２の要求に応じて、前記指示信号を送信する
   ことを特徴とする請求項１又は２に記載の遠隔制御システム。
4. 前記記憶部は、前記画像領域と、前記第１の要求と、複数の距離の範囲に応じてそれぞれ定められた前記指示信号を送信することを前記第２送信部に要求する前記第２の要求とを対応付けて記憶し、
   前記通信装置は、自装置が所在する地点を特定する特定部をさらに有し、
   前記通信装置の送信部は、前記空間と前記特定部が特定した地点との距離が前記範囲に含まれない場合、前記第１の要求を前記中継装置に送信し、当該距離が当該範囲に含まれる場合、前記第１の要求及び当該距離に応じて定められた指示信号を指定した前記第２の要求を前記中継装置に送信し、
   前記移動制御部は、前記通信装置から受信した前記第１の要求に応じて、自装置の移動を制御し、
   前記第２送信部は、前記通信装置から前記第２の要求を受信すると、前記移動制御部が前記制御を行った後に、当該第２の要求に応じて前記指示信号を送信する
   ことを特徴とする請求項３に記載の遠隔制御システム。
5. ユーザの操作に応じて前記第１の要求又は前記第２の要求のうち少なくともいずれか一方を指定する指定部をさらに備え、
   前記第２送信部は、前記指定部により指定された前記要求を前記中継装置に送信する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の遠隔制御システム。
6. 制御対象機器が設置されている空間内を移動可能な中継装置にて撮像を行うステップと、
   前記空間を撮像して得られた画像を、中継装置から、画像を表示面に表示する表示部を有し、ユーザによって操作され、前記中継装置と通信を行い、予め前記空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内において決められた目的地まで移動することを前記中継装置に要求する第１の要求又は前記制御対象機器の動作を指示する指示信号を送信することを前記中継装置に要求する第２の要求のうち少なくともいずれか一方とを、それぞれ対応付けて記憶する記憶部を有する通信装置に送信するステップと、
   前記中継装置から受信した画像を前記表示面に表示するステップと、
   前記表示面において前記ユーザが指示した位置を検出するステップと、
   前記位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記通信装置から前記中継装置に送信するステップと、
   前記通信装置から受信した要求に応じて、前記中継装置の移動又は前記指示信号の無線送信を実行するステップと
   を備える遠隔指示方法。
7. 制御対象機器が設置されている空間内を移動可能な中継装置との間で通信を行う通信部と、
   前記空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内において決められた目的地まで移動することを前記中継装置に要求する第１の要求又は前記制御対象機器の動作を指示する指示信号を送信することを前記中継装置に要求する第２の要求のうち少なくともいずれか一方とをそれぞれ対応付けて記憶する記憶部と、
   前記通信部によって受信した前記画像を表示面に表示する表示部と、
   前記表示面において前記ユーザが指示した位置を検出する検出部と、
   前記検出部により前記位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記中継装置に送信する送信部と
   を有する通信装置。
8. コンピュータを、
   制御対象機器が設置されている空間内を移動可能な中継装置から受信した画像を表示部の表示面に表示させるステップと、
   前記空間を撮像して得られた画像と、当該画像における或る画像領域と、前記空間内において決められた目的地まで移動することを前記中継装置に要求する第１の要求又は前記指示信号を送信することを前記中継装置に要求する第２の要求のうち少なくともいずれか一方とをそれぞれ対応付けて前記記憶部に記憶させるステップと、
   前記表示面において前記ユーザが指示した位置が検出されたときに前記表示面に表示されていた画像が前記記憶部に記憶されており、かつ、検出された当該位置が、当該画像に対応付けられている前記画像領域に含まれる場合に、当該画像領域に対応付けられて前記記憶部に記憶されている前記要求を前記中継装置に送信するステップと
   を実行させるためのプログラムを記憶した媒体。

Images