JP4229322B2 - 端末装置及び表示制御プログラム - Google Patents

Description

本発明は、ネットワークを介して所望の被遠隔操作機器の遠隔操作を行う端末装置の表示画面に遠隔操作用のユーザインタフェイスの表示を行うものである。

今日において、家屋内に設けられた家電機器等の被遠隔操作機器をネットワークを介して遠隔操作可能とする遠隔操作システムが知られている。

この遠隔操作システムにおいて、例えば電子番組表（EPG：Electronic Program Guide）を用いて自宅のビデオテープレコーダ装置に対して予約録画設定を行う場合、ユーザは、インターネット上の所定のサイト等から電子番組表を取得し、この電子番組表に基づいて所望の番組の放送日時を認識し、この放送日時を予約録画情報として、遠隔操作用コントローラ等の機器に新たに入力する。

この入力された予約録画情報は、例えばインターネット及びユーザの自宅に設けられた家庭内ネットワークを介して、ユーザの自宅に設置されているビデオテープレコーダ装置に供給される。これにより、自宅に設置されているビデオテープレコーダ装置を、ユーザが遠隔地に居ながらにして予約録画設定することができる。

このような遠隔操作システムは、利便性の向上を通じて、各ユーザの生活レベルの向上を図ることができるため、普及の待たれるシステムの一つである。

特開２００２−１７６６１０号の公開特許公報において、このような遠隔操作システムの先行技術が開示されている。

具体的には、この特開２００２−１７６６１０号の先行技術の場合、ビデオ操作サーバが携帯電話機に電子番組表を送信する。ユーザは、この送信された電子番組表を見て携帯電話機を操作すると、携帯電話機からビデオ操作サーバに、ビデオデッキの操作信号がインターネットを介して送信される。

ビデオ操作サーバは、携帯電話機から送信されたビデオデッキの操作信号を、ビデオデッキに対応する信号形態に変換し、無線インタフェイスを介してビデオデッキに送信する。

これにより、ユーザが、ビデオデッキが設置されている場所から離れた場所に居る場合でも、携帯電話機を介してビデオデッキに対する録画予約や再生操作等を行うことができる。

特開２００２−１７６６１０号

しかし、このような遠隔操作システムでビデオデッキ等の所望の機器を遠隔操作するには、普段、使い慣れたリモートコントローラ等の専用の操作機器の代わりに、上記携帯電話機等の代用機器を用いて行う必要がある。このため、上記リモートコントローラ等と携帯電話機とでは、操作手順や操作内容が異なることから、タイマ設定や起動操作等の遠隔操作を直感的に行うことができない問題があった。

本発明は、上述の課題に鑑みてなされたものであり、普段、使い慣れた専用操作機器の代わりに代用機器を用いて遠隔操作を行う場合でも、直感的な遠隔操作を可能とすることができるような端末装置及び表示制御プログラムの提供を目的とする。

本発明は、タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、予約設定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置であって、
前述の課題を解決するための手段として、少なくとも、遠隔操作の対象となる一つ或いは複数の機器のオブジェクト、及び上記各機器の予約操作処理を仮想的に行う予約操作オブジェクトを表示手段に表示制御すると共に、上記タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、上記予約操作オブジェクトを、予約設定された機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段を有する。

また、本発明は、指定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置であって、
前述の課題を解決するための手段として、
遠隔操作の対象となる複数の機器のうち、連続的に操作する機器の順番を記憶する記憶手段と、
連続操作の実行を指定するための指定手段と、
少なくとも、上記遠隔操作の対象となる複数の機器のオブジェクト、及び上記各機器の連続操作処理を仮想的に行う連続操作オブジェクトを表示手段に表示制御すると共に、上記指定手段により連続操作の実行が指定された際に、上記連続操作オブジェクトを、上記記憶手段に記憶されている順番に従って、各機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段とを有する。

また、本発明は、タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、予約設定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置のユーザインタフェイスを表示する表示制御プログラムであって、
前述の課題を解決するために、少なくとも、遠隔操作の対象となる一つ或いは複数の機器のオブジェクト、及び上記各機器の予約操作処理を仮想的に行う予約操作オブジェクトを表示手段に表示制御すると共に、上記タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、上記予約操作オブジェクトを、予約設定された機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段としてコンピュータを機能させる。

また、本発明は、指定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置のユーザインタフェイスを表示する表示制御プログラムであって、
前述の課題を解決するために、
遠隔操作の対象となる複数の機器のうち、連続的に操作する機器の指定された順番を記憶手段に記憶制御する記憶制御手段と、
指定手段を介してなされる連続操作の実行の指定を検出する実行指定検出手段と、
少なくとも、上記遠隔操作の対象となる複数の機器のオブジェクト、及び上記各機器の連続操作処理を仮想的に行う連続操作オブジェクトを表示手段に表示制御すると共に、上記連続操作の実行が指定された際に、上記連続操作オブジェクトを、上記記憶手段に記憶されている順番に従って、各機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段としてコンピュータを機能させる。

本発明は、普段、使い慣れた専用操作機器の代わりに代用機器を用いて遠隔操作を行う場合でも、直感的な遠隔操作を可能とすることができる。

［システムの概要］
図１は、本発明を実施するための最良の形態となる携帯電話機を用いて、該携帯電話機のユーザの自宅に設けられた各機器を遠隔操作する遠隔操作システムの構成を示す図である。

この遠隔操作システムは、ユーザが日常取り扱う情報を、様々な情報処理間でシームレスに取り扱い可能となっている（一つの情報を複数の情報処理間で共用可能となっている。）。

具体的には、例えば所定のサイトから取得した電子番組表（EPG：Electronic Program Guide）は一種の時間情報である。このため、この遠隔操作システムでは、上記電子番組表を取り込んだ際には、この電子番組表の情報形態のまま、所望の機器の遠隔操作に用い、また、電子メールに添付して知人に転送したり、起床時刻の設定等に用いる等のように、一つの情報を、様々な情報処理に展開して、各情報処理間でシームレスに情報を取り扱い可能となっている。

一方、この遠隔操作システムは、新規なシステムとして提供されることとなるため、ユーザにとって馴染み難いシステムとなるおそれがある。このため、情報の取り扱い操作を行う機器に対して、操作対象となる機器や情報等をグラフィック表示すると共に、情報の取り扱いの際に、マスコット（エージェント）と呼ばれるキャラクタ、予約管理ロボット及び操作順序制御ロボットに、情報の取り扱いに対応する動きを付けて表示（アニメーション表示）することにより、上記各機器を直感的かつ簡単に遠隔操作可能として、ユーザが扱いやすい（馴染みやすい）システムを提供している。

［システム構成］
この遠隔操作システムは、複数のサーバ装置で構成されるサーバシステム１と、モバイル機器を用いた通信を可能とする通信システム２と、ユーザの家屋内に設けられた家庭内ネットワークシステム３とを、インターネット４等のネットワークを介して相互に接続することで構成されている。

［サーバシステム］
この遠隔操作システムの場合、「機器」，「情報」及び「コミュニケーション（通信）」を、ユーザが日常生活をおくるうえで接する対象として考え、上記サーバシステム１を、家庭内ネットワークシステム３の各機器を制御するコントロールサーバ装置５と、例えば各ユーザのアドレス帳やスケジュール帳等の情報管理を行うデコレーションサーバ装置６と、上記各システム１〜３の通信管理を行うコミュニケーションサーバ装置７とで構成している。

このように、各対象毎に設けられた各サーバ装置５〜７を設けることで、サーバシステムに掛かる負荷を分散することができる。

なお、この例では、サーバシステム１を、物理的に分割された３つのサーバ装置５〜７で構成したが、これは、一つのサーバ装置を設け、この一つのサーバ装置で上記機器，情報，コミュニケーションをそれぞれ管理するようにしてもよい。

また、４つ以上のサーバ装置を設け、各サーバ装置で上記機器，情報，コミュニケーションをそれぞれ分担するようにしてもよい。この場合、サーバシステム１に掛かる負荷が、多くのサーバ装置に分散されるため、各サーバ装置に掛かる負荷を、より軽減することができる。

上記コントロールサーバ装置５には、各ユーザが所有する例えばテレビジョン受像機，ビデオテープレコーダ装置，エアコンディショナ装置，パーソナルコンピュータ装置等の、ユーザの家庭に設置されている機器を示す情報と、各機器を遠隔操作するためのコマンド情報等が記憶されている。

このコントロールサーバ装置５は、例えばユーザから携帯電話機等のモバイル機器を用いて遠隔操作情報が送信されると、この送信された遠隔操作情報に基づいて指定された機器を遠隔操作制御する。

なお、この例では、コントロールサーバ装置５をサーバシステム１側に設け、各ユーザの機器を一括して遠隔操作制御するようにしているが、コントロールサーバ装置５を上記家庭内ネットワークシステム３側に設けるようにしてもよい。この場合、コントロールサーバ装置５は、そのユーザ専用のサーバ装置として動作することとなる。上記デコレーションサーバ装置６は、各ユーザの個人所有データを記憶するデータベース８（ＤＢ）を有している。

具体的には、各ユーザは、個人的に所有するデータである、例えば「スクラップブック」，「スケジュール帳」，「電話帳」及び「アドレス帳」等の個人所有データを、例えばパーソナルコンピュータ装置やモバイル機器（携帯電話機等）等のクライアント端末を介してアップロードするようになっている。デコレーションサーバ装置６は、このアップロードされたデータをデータベース８に記憶して保存する。

上記スクラップブックには、例えばユーザにより入力されたメモ書きや文章等の「任意の文字列」、所定のサイトからダウンロードされた電子番組表の「番組データ（タイトル，チャンネル，放送日時，出演者等）」、ＪＰＥＧフォーマット（JPEG：Joint Photographic Experts Group），ＧＩＦフォーマット（GIF：Graphics Interchange Format）等の静止画像データ及びそのタイトルのデータや、ＭＰＥＧフォーマット（MPEG：Moving Picture Experts Group）等の動画像データ及びそのタイトルのデータ（以下、これら静止画像データ及び動画像データをまとめて「イメージデータ」という。）等の、ユーザが所望する様々なデータが書き込まれ記憶されるようになっている。

上記スケジュール帳には、例えば待ち合わせや打ち合わせ等の各スケジュールのタイトル、各スケジュールの日時、及び各スケジュールの内容（詳細）等が書き込まれ記憶されるようになっている。

上記電話帳及びアドレス帳には、各ユーザの知人，友人，会社等の電話番号及び電子メールアドレスがそれぞれ書き込まれ記憶されるようになっている。

上記コミュニケーションサーバ装置７は、例えば天候情報，電車やバスの時刻表，星座占い，株価情報，位置情報等の「ニュース（＝インターネット上の情報）」をインターネット上の所定のサイトから取得し、これらをデータベース１８（ＤＢ）に記憶する。そして、これらの情報を、インターネット４を介して各ユーザのパーソナルコンピュータ装置に提供し、また、モバイルサーバ装置１１を介して携帯電話機等のモバイル機器に提供する。

なお、上記コミュニケーションサーバ装置７上、或いは上記モバイルサーバ装置１１上に、例えば電子掲示板（BBS：Bulletin Board System）等のフリースペースを設け、ここにユーザの公開してもよいデータや、所定のサイトから取得した上記ニュースをアップロードするようにしてもよい。

所定のグループでフリースペースを利用したい場合には、グループ登録を行ってグループＩＤの発行を受け、そのグループに対して貸与されたコミュニケーションサーバ装置７上の共有スペースをグループ内のユーザで使用することとなる。

［情報の表記形態］
上記個人所有データ及び各情報は、一例としてＸＭＬフォーマット（XML:eXtensible Markup Language）に基づいて表記されるようになっている。このＸＭＬフォーマットは、独自にタグを定義することができるため、単なる文書を「データ」として処理することを可能とすることができる。

例えば、このＸＭＬフォーマットを用いると、「＜日時＞」等のように人間が理解しやすい構造で内容を表記することができ、また、「スキーマ（XML Schema等）」を用いることで＜日時＞のタグに記述された「数字」を、所定のアプリケーションの「日時を表わす数値データ」として用いることが可能となる。

このため、上記個人所有データ及び各情報は、
メモ書き ＜メモ／＞
スケジュール ＜タイトル／＞ ＜日時／＞ ＜内容／＞
番組データ ＜タイトル／＞ ＜日時／＞ ＜チャンネル／＞
イメージ ＜タイトル／＞ バイナリーデータ（ＸＭＬ表記の場合には、ＭＩＭＥ（Multipurpose Internet Mail Extention）に変換される。）
等のように表記されている。

個人所有データの場合、各ユーザが、以下に説明する携帯電話機等のモバイル機器や自宅のパーソナルコンピュータ装置等を用いて、上記データベース８に対してアップロードするようになっている。そして、このアップロードされた個人所有データは、前述のようにＸＭＬ表記されていることから、例えば自宅の機器の遠隔操作や起床時刻の設定等に用いられる等、各情報処理間（異なるシステム間）においてシームレスに取り扱われるようになっている。

［通信システム］
次に、通信システム２は、本発明を実施するための最良の形態となる携帯電話機９の無線通信を中継する基地局１０と、上記サーバシステム１及び家庭内ネットワークシステム３に対する通信制御を行うモバイルサーバ装置１１とを、通信ネットワーク１２を介して相互に接続することで構成されている。

上記サーバシステム１の各サーバ装置５〜７に対しては、携帯電話機９の他、パーソナルコンピュータ装置やＰＤＡ装置等の他の機器からの情報もアップロード可能となっている。ただ、パーソナルコンピュータ装置等の情報処理能力の高い機器からアップロードされた情報は、情報量が大きい場合が多い。上記モバイルサーバ装置１１は、情報の容量変換機能を有しており、情報量が大きい情報を、携帯電話機９で処理可能な情報量に変換し、該携帯電話機９に送信するようになっている。

なお、この例では、端末装置として携帯電話機９を用いることとして説明を進めるが、例えばＰＨＳ電話機（PHS：Personal Handyphone System），通信機能を有するＰＤＡ装置（PDA：Personal Digital Assistant）、或いは通信機能を備えた携帯型（ノート型等）のパーソナルコンピュータ装置、さらには通信機能を備えたパーソナルコンピュータ装置等の他の機器も、上記端末装置として用いてもよい。

［携帯電話機］
次に、携帯電話機９は、例えばＣＤＭＡ方式（CDMA:Code Division Multiple Access）に基づいて通信を行うようになっており、図２に示す構成を有している。

この図２において、上記通信システム２の基地局１０から送信された無線周波信号は、当該携帯電話機９のアンテナ４１で受信された後、アンテナ共用器４２（ＤＵＰ）を介して受信回路４３（ＲＸ）に供給される。

受信回路４３は、周波数シンセサイザ４４（ＳＹＮ）から供給された受信局部発振信号と、上記アンテナ４１で受信された上記無線周波信号をミキシング処理し、該無線周波信号を中間周波信号に周波数変換してＣＤＭＡ信号処理部４６に供給する。

なお、周波数シンセサイザ４４から出力される上記受信局部発振信号の周波数は、制御部５２からの制御信号ＳＹＣによって制御される。

ＣＤＭＡ信号処理部６は、上記受信中間周波信号に直交復調処理を施すと共に、受信チャネルに割り当てられた拡散符号（ＰＮ符号）を用いて逆拡散処理を施すことで、該受信中間周波信号を、データレートに応じた所定のフォーマットの受信データに変換して符号処理部４７に供給する。なお、ＣＤＭＡ信号処理部６は、上記受信データのデータレートを示す情報を、受信データレートとして制御部５２に供給する。

符号処理部４７は、上記ＣＤＭＡ信号処理部４６から供給された受信データに対して、制御部５２から通知される受信データレートに応じた伸長処理を施したのち、ビタビ復号等を用いた復号処理と誤り訂正復号処理を行って、ベースバンドの受信データを再生する。

ＰＣＭ符号処理部４８は、制御部５２から供給された通信の種別（音声通信、データ通信）に応じて異なる信号処理を行なう。

具体的には、音声通信時には、符号処理部４７から供給された受信データをＰＣＭ復号処理してアナログ受話信号を出力する。このアナログ受話信号は、受話増幅器４９にて増幅されたのちスピーカ部５０を介して出力される。

またデータ通信時には、符号処理部４７から供給された受信データを制御部５２に供給する。制御部５２は、上記受信データをメモリ５３に格納する。また必要に応じて、上記受信データを図示しない外部インタフェイスを介してＰＤＡ装置やノート型パーソナル・コンピュータへ出力する。

次に、音声通信時における話者の送話音声は、マイクロホン部５１で集音され、送話増幅器５４で適正レベルまで増幅される。そして、ＰＣＭ符号処理部４８でＰＣＭ符号化処理が施されたのち、送信データとして符号処理部４７に供給される。

また、ＰＤＡ装置やノート型パーソナル・コンピュータから出力されたデータ、或いはデジタルカメラ装置から供給された画像データは、外部インタフェイスを介して制御部５２に供給され、この制御部５２からＰＣＭ符号処理部４８を介して符号処理部４７に供給される。

さらに、スクラップブック，電子番組表，電子メール（携帯メール）のデータ等も制御部５２に供給され、この制御部５２からＰＣＭ符号処理部４８を介して符号処理部４７に供給される。

符号処理部４７は、音声通信時には、ＰＣＭ符号処理部４８から供給された送信データに基づいて、入力音声のエネルギ量を検出し、この検出結果に基づいてデータレートを決定する。そして、上記送信データを上記データレートに応じたフォーマットのバースト信号に圧縮し、さらに誤り訂正符号化処理を施したのちＣＤＭＡ信号処理部４６に供給する。

また、符号処理部４７は、データ通信時においては、ＰＣＭ符号処理部４８から供給された上記送信データを、予め設定されたデータレートに応じたフォーマットのバースト信号に圧縮し、さらに誤り訂正符号化処理を施してＣＤＭＡ信号処理部４６に供給する。なお、音声通信時およびデータ通信時のいずれのデータレートも、送信データレートとして制御部５２に通知される。

ＣＤＭＡ信号処理部４６は、上記符号処理部４７で圧縮されたバースト信号に対して、送信チャネルに割り当てられたＰＮ符号を用いて拡散処理を施す。そしてこの拡散符号化された送信信号に対して直交変調処理を行い、この直交変調信号を送信回路４５（ＴＸ）に供給する。

送信回路４５は、上記直交変調信号を周波数シンセサイザ４４から供給された送信局部発振信号とミキシング処理して無線周波信号に変換する。そして、送信回路４５は、制御部５２から通知された送信データレートに基づいて、上記無線周波信号の有効部分だけを高周波増幅し、送信無線周波信号として出力する。この送信回路４５から出力された送信無線周波信号は、アンテナ共用器４２を介してアンテナ４１に供給され、このアンテナ４１から上記通信システム２の基地局１０へ向けてバースト送信される。

操作部５５には、ジョグダイヤル（回転操作キー）や発信キー、電源キー、終了キー、音量調節キー、モード指定キー等のキー群が設けられている。

また、表示部２０には、通話相手端末の電話番号や装置の動作状態、さらには上記マスコット（エージェント），予約管理ロボット，操作順序制御ロボット及び遠隔操作を行う各機器の画像等が表示制御される。

さらに、バッテリ５６に蓄積された電源に基づいて所定の動作電源電圧Ｖccを形成し、これを当該携帯電話機の各回路部に供給する電源回路５７が設けられている。

［家庭内ネットワークシステム］
次に、家庭内ネットワークシステム３は、例えばユニバーサル・プラグ・アンド・プレイ（UPnP：Universal Plug and Play）、ジニー（Jini）、ハビ（HAVi）等のミドルウェアを用いて構築されており、例えばユーザ宅に設置されたパーソナルコンピュータ装置１３（ＰＣ），エアコンディショナ装置１４（ＡＣ），テレビジョン受像機１５（ＴＶ）、及びビデオテープレコーダ装置１６（ＶＴＲ）等の遠隔操作の対象となる機器（被遠隔操作機器）を家庭内ネットワーク１７に接続することで構成されている。

上記サーバシステム１のコントロールサーバ装置５は、携帯電話機９の遠隔操作に基づいて、インターネット４及び家庭内ネットワーク１７を介して上記各被遠隔操作機器の動作を制御するようになっている。

［システム動作］
この実施の形態の遠隔操作システムを利用する場合、最初に通信システム２のモバイルサーバ装置１１に対して「ユーザ登録」を行うことでユーザ識別情報（ユーザＩＤ）及び所定のパスワードの発行を受け、当該遠隔操作システムのアプリケーションプログラムをダウンロードする。

［ユーザ登録］
まず、ユーザが、携帯電話機９を操作してモバイルサーバ装置１１にアクセスすると、モバイルサーバ装置１１から携帯電話機９に対してユーザＩＤ及びパスワードの入力画面と共に、ユーザ登録を指定する画面の情報が送信される。

ユーザによりユーザ登録が指定されると、モバイルサーバ装置１１は、ユーザ登録に必要となる所定事項の入力画面をユーザの携帯電話機９に送信する。

ユーザは、この入力画面に対して所定事項を入力し、モバイルサーバ装置１１に返信する。モバイルサーバ装置１１は、ユーザから返信された入力事項をチェックし、該入力事項に対して不備が無い場合に、そのユーザに対してユーザＩＤ及び所定のパスワードを発行する。これにより、ユーザ登録が終了する。

なお、モバイルサーバ装置１１は、このユーザＩＤ及びパスワードを、上記入力事項と共にデータベース３１（ＤＢ）に登録しておき、次回、そのユーザが当該システムへのログインを希望した場合に参照する。

また、一例としてモバイル機器に対応して、モバイルサーバ装置１１が、ユーザＩＤ及びパスワードを発行して管理することとしたが、パーソナルコンピュータ装置等の他の端末装置を用いてユーザ登録が行われる場合には、例えばコミュニケーションサーバ装置７等でユーザＩＤ及びパスワードを発行して管理するようにしてもよい。

［初期設定］
次にこのようにユーザ登録が正常に終了すると、モバイルサーバ装置１１は、このユーザ登録に続けて、ユーザが使用する背景，エージェント，遠隔操作する各機器、及びスクラップブック、スケジュール帳等の「アイテム」を選択する初期設定モードに移行する。

この初期設定モードとなると、モバイルサーバ装置１１は、
・背景の選択画面、
・エージェントの選択画面、
・遠隔操作する各機器の選択画面、
・遠隔操作する各機器の予約管理を行う予約管理ロボットの選択画面、
・遠隔操作する各機器の操作順序を管理する操作順序管理ロボットの選択画面、及び
・使用するアイテムの選択画面
を順次送信する。

各選択画面には、複数の選択肢が設けられており、ユーザは携帯電話機９を操作して、この複数の選択肢の中から所望の背景，使用するエージェント，遠隔操作する機器（複数選択可），予約管理ロボット，操作順序管理ロボット、及び使用するアイテム（複数選択可）を選択する。この選択がなされると、携帯電話機９からモバイルサーバ装置１１に対して、上記ユーザが選択した背景，エージェント，機器，予約管理ロボット，操作順序管理ロボット、及びアイテムを示す情報が送信される。

モバイルサーバ装置１１は、このユーザの携帯電話機９から送信された背景等の各情報を、上記ユーザＩＤ及びパスワードと共にデータベース３１に登録する。これにより、初期設定が完了する。

［アプリケーションプログラムのダウンロード］
次に、このように初期設定が完了すると、モバイルサーバ装置１１は、例えば「アプリケーションをダウンロードしますか？」等の、当該遠隔操作システムのアプリケーションプログラムのダウンロードの是非を問う画面をユーザの携帯電話機９に送信する。

ユーザにより携帯電話機９が操作され、アプリケーションプログラムのダウンロードが容認されると、モバイルサーバ装置１１は、当該遠隔操作システムのアプリケーションプログラムをユーザの携帯電話機９に送信する。携帯電話機９の制御部５２は、この送信されたアプリケーションプログラムをメモリ５３に記憶制御する。

［初回起動時の制限］
次に、このようにアプリケーションプログラムのダウンロードが完了すると、該アプリケーションプログラムに基づいて、上記選択した機器の遠隔操作が可能となるのであるが、このアプリケーションプログラムは、初回起動時のみ、ユーザが手動的に起動することはできず、モバイルサーバ装置１１からの起動用の携帯メールを受信して、はじめて起動するようになっている。

すなわち、モバイルサーバ装置１１は、上記アプリケーションプログラムの送信が完了すると、ヘッダ情報に上記アプリケーションプログラムの起動を指示する情報（起動情報）を付加した携帯メールを形成すると共に、この携帯メールの添付ファイルとして、上記データベース３１から読み出したそのユーザにより選択された背景のＩＤ、エージェントのＩＤ、機器のＩＤ、予約管理ロボットのＩＤ、操作順序管理ロボットのＩＤ、及びアイテムのＩＤを添付し、これをそのユーザの携帯メールアドレスに送信する。

携帯電話機９の制御部５２は、携帯メールを受信すると、ヘッダ情報を検索し、このヘッダ情報に上記起動情報が付加されていた場合、上記メモリ５３に記憶されているアプリケーションプログラムに基づいて、当該遠隔操作システムのアプリケーションを起動制御する。

次に、制御部５２は、この起動したアプリケーションプログラムに基づいて動作することで、上記アプリケーションプログラムの起動を指示する情報が付加されていた携帯メールの添付ファイルから、上記背景のＩＤ、エージェントのＩＤ、機器のＩＤ、予約管理ロボットのＩＤ、操作順序管理ロボットのＩＤ、及びアイテムのＩＤを検索し、これをモバイルサーバ装置１１に送信制御する。

モバイルサーバ装置１１は、この各ＩＤを受信すると、該各ＩＤに対応する背景画像、エージェントの画像、各機器の画像、予約管理ロボットの画像、操作順序管理ロボットの画像、及び各アイテムの画像をユーザの携帯電話機９に返信する。携帯電話機９の制御部５２は、これら各画像を受信すると、上記アプリケーションプログラムに基づいて該各画像を表示部２０に表示制御する。これにより、上記初期設定時にユーザが予め選択した背景、エージェント、機器、予約管理ロボット、操作順序管理ロボット及びアイテムの各画像が表示部２０に表示制御されることとなる。

なお、制御部５２は、アプリケーションプログラムの初回起動時にモバイルサーバ装置１１から送信された背景のＩＤ、エージェントのＩＤ、機器のＩＤ、予約管理ロボットのＩＤ、操作順序管理ロボットのＩＤ、及びアイテムのＩＤは、メモリ５３に記憶しておく。

初回起動時以降は、制御部５２は、所定の手動操作がなされた際に当該アプリケーションを起動制御し、或いは携帯メールのヘッダ情報から上記起動情報を検出した際に自動的に当該アプリケーションを起動制御するのであるが、このアプリケーションの起動の際、制御部５２は、上記メモリ５３に記憶されている各ＩＤをモバイルサーバ装置１１に送信して、これによりモバイルサーバ装置１１から返信される上記各ＩＤに対応する各画像を取り込み、表示部２０に表示制御する。

背景画像やエージェントの画像等の画像情報はデータ量が大きいため、該背景画像やエージェントの画像等をメモリ５３に記憶すると、メモリ５３の記憶容量を圧迫してしまうのであるが、この遠隔操作システムの場合、各画像に対応するＩＤを記憶するようにしているため、メモリ５３の記憶容量を圧迫する不都合を防止することができる。

［表示画面の具体例］
図３に、このようにして表示された表示画面の一例を示す。この図３は、背景画像として、三日月が出ている夜空に宇宙船が飛び、雪だるま型の家が描かれた背景画像が、ユーザにより選択された例を示している。

また、この図３は、エージェントの画像として、天使型のエージェントＥＧが選択され、遠隔操作を行う機器としてテレビジョン受像機ＴＶ，コンパクトディスクプレーヤやＤＶＤプレーヤ等のオーディオ機器ＡＵ及びテレビジョンチューナを備えたパーソナルコンピュータ装置ＰＣがユーザにより選択された例を示している。

さらに、この図３は、予約管理ロボット及び操作順序管理ロボットの画像として、地面を移動する車輪及びボタン操作を行うアームが設けられた略円錐形状の予約管理ロボットＴＲ及び操作順序管理ロボットＪＲの画像が、ユーザにより選択された例を示している。

［通常の遠隔操作］
このような表示画面において、リアルタイムで遠隔操作を行う場合、ユーザは、まず、この操作を行う機器を選択する。

表示画面内に設置された各機器のうち、選択中の機器は、その機器の輪郭がハイライトの線（例えば、高輝度の黄色の線等）で囲まれて表示されると共に、そのハイライト表示されたアイテムに近接して位置するようにエージェントＥＧが移動表示されるようになっている（以下、上記ハイライト表示を「フォーカスを当てる」という言い方をする。）。

携帯電話機９の制御部５２は、図１に示すジョグダイアル２１が回転操作されると、各機器に対して順番にフォーカスを当てるように表示制御を行う。

例えば、図３の例において、テレビジョン受像機ＴＶがデフォルトでフォーカスが当てられていたとすると、携帯電話機９の制御部５２は、ジョグダイアル２１が回転操作される毎に、テレビジョン受像機ＴＶ→オーディオ機器ＡＵ→パーソナルコンピュータ装置ＰＣ→テレビジョン受像機ＴＶ・・・の順に、各機器に対してフォーカスを当てるように表示制御を行う。また、制御部５２は、このフォーカスの移動に追従するように、エージェントＥＧを各機器に近接する位置に移動表示制御する。これにより、フォーカス及びエージェントＥＧが、ジョグダイアル２１の回転操作に従って、各機器間を移動することとなる。

図４（ａ）は、テレビジョン受像機ＴＶにフォーカスＦＣを当てた状態を示している。この図４から、現在、選択中の機器であるテレビジョン受像機ＴＶは、その輪郭がハイライトの線で囲まれ、また、エージェントＥＧが近接して表示されていることがわかるであろう。

次に、上記ジョグダイアル２１は、上記回転操作の他、押圧操作が可能となっている。ユーザは、ジョグダイアル２１を回転操作することで選択した機器の遠隔操作を指示する場合、ジョグダイアル２１を押圧操作する。

制御部５２は、このジョグダイアル２１の押圧操作を検出すると、現在、フォーカスＦＣを当てている機器が選択されたものと認識し、その機器の操作画面を表示制御する。

例えば、図４（ａ）に示すようにテレビジョン受像機ＴＶにフォーカスＦＣが当たっている状態でジョグダイアル２１が押圧操作された場合、制御部５２は、テレビジョン受像機ＴＶの遠隔操作が選択されたものと認識し、図４（ｂ）に示すようにテレビジョン受像機ＴＶの操作画面を表示部２０に表示制御する。

この図４（ｂ）は、テレビジョン受像機ＴＶの操作画面であることを示す画像及び文字（テレビ）、１チャンネル〜１２チャンネルの数字キー、電源のオンオフキー、音量可変キー（＋，−）及びチャンネルの可変キー（＋，−）等を表示制御した例である。

この操作画面を表示する場合、制御部５２は、前述と同様に、現在選択中のキーにフォーカスＦＣを当てるようになっており、ジョグダイアル２１の回転操作される毎にこのフォーカスＦＣを、例えば電源のオンオフキー→１チャンネルの数字キー→２チャンネルの数字キー→・・・等のように各キー間を移動表示するようになっている。

ユーザは、このようにしてフォーカスＦＣを移動操作して所望の操作を選択し、ジョグダイアル２１をオン操作する。制御部５２は、この場合、ジョグダイアル２１のオン操作を検出すると、現在、フォーカスＦＣの当たっているキーに対応する遠隔操作用の信号を発信制御すると共に、この選択されたキーに対応する表示制御を行う。

例えば、テレビジョン受像機ＴＶがオフの状態において、図４（ｂ）に示すように電源オンオフキーが選択された場合、制御部５２は、以下に説明する遠隔操作用の信号を発信制御すると共に、図４（ａ）に示すように、それまで何の画像も表示されていなかったテレビジョン受像機ＴＶに対して、図４（ｃ）に示すように所定の画像（静止画像）を表示制御する。このような表示部２０の表示画像を見ることで、ユーザは、テレビジョン受像機ＴＶの電源をオンする遠隔操作がなされたことを認識することができる。

［遠隔操作］
ここで、遠隔操作時におけるシステム動作を、図５のシーケンス図を用いて説明する。この図５において、ユーザは図３及び図４を用いて説明したように表示部２０に表示される各機器アイテムの中から、遠隔操作を行う機器アイテムを選択する。この選択がなされると、携帯電話機９の制御部５２は、ステップＳ４１０において、当該携帯電話機９の機種ＩＤ，遠隔操作を行う機器アイテムのアイテムＩＤ等をモバイルサーバ装置１１のＷｅｂサーバ６１に送信し、機器操作アクセス要求を行う。

この機器操作アクセス要求がなされると、Ｗｅｂサーバ６１は、ステップＳ４１１において、上記機種ＩＤ及び機器アイテムＩＤ等をサーブレット６０に転送し、機器操作処理呼び出し要求を行う。サーブレット６０は、ステップＳ４１２において、機種ＩＤをデータベース３１に送信し、設定データの取り出し要求を行う。これにより、ステップＳ４１３において、データベース３１からサーブレット６０に対して、そのユーザの上記設定データがサーブレット６０に送信される。

次に、遠隔操作の対象となる各機器の動作状態は、データベース３１内のそのユーザのユーザ領域に記録されるようになっている。具体的には、その機器を操作中の場合はフラグが立つようになっている。このため、サーブレット６０は、ステップＳ４１４において、データベース３１に機種ＩＤを送信し、各機器の現在の動作状態を示す処理状態フラグの取り出し要求を行い、この要求に応えてデータベース３１から送信される処理状態フラグに基づいて、ステップＳ４１５において、各機器の操作フラグ（機器操作フラグ）の確認を行う。

（機器操作フラグが立っていない場合）
次に、この確認により上記機器操作フラグが立っていないことが確認された場合、その機器の操作は可能であるため、サーブレット６０は、次のステップとして後に説明するステップＳ４２２を実行する。

（機器操作フラグが立っている場合）
次に、上記機器操作フラグが立っていることが確認された場合、サーブレット６０は、ステップＳ４１６において処理時間の確認（タイムアウトチェック）を行う。

（タイムアウトの場合）
このタイムアウトチェックにより、機器操作フラグが立っているにも関わらず、処理が中断されて一定時間経過しているものと判断した場合、サーブレット６０は、タイムアウトと判別し、上記ステップＳ４１４で取り込んだ処理操作フラグを降ろし、ステップＳ４１８において、データベース３１に記憶されている処理状態フラグを、その機器は操作されていないことを示すフラグに更新する。この処理操作フラグを降ろすことで、その機器の操作が可能となるため、サーブレット６０は、次のステップとして、後に説明するステップＳ４２２を実行する。

（タイムアウトではない場合）
これに対して、上記タイムアウトチェックにより、機器操作フラグが立っており、かつ、処理が中断されてから一定時間が経過していないものと判断した場合、これは、その機器が操作中であり重複操作は好ましくないため（排他制御）、サーブレット６０は、ステップＳ４１９及びステップＳ４２０において、Ｗｅｂサーバ６１を介して携帯電話機９に拒否信号（Reject信号）を送信する。

携帯電話機９は、この拒否信号を受信すると、ステップＳ４２１において、制御部５２が、例えば「選択された機器は現在操作中のため重複して操作することはできません。」等の、操作を拒否された旨のメッセージを表示部２０に表示制御する。

（機器操作可能な場合）
次に、「上記操作フラグが立っていない場合」及び「上記タイムアウトによりデータベース３１のフラグを降ろした場合」には、その機器の操作が可能であるため、サーブレット６０は、ステップＳ４２２において、ＶＥＳＴＡ ＩＤ，パスワード，機器アイテムＩＤ、及びアクションＩＤをコントロールサーバ装置５に送信し、機器操作処理呼び出し要求を行う。

コントロールサーバ装置５は、上記機器アイテムＩＤ及びアクションＩＤに基づいて、その機器の指定された動作制御を行うためのコマンドをデータベース１９から読み出し、このコマンドを、そのユーザの家庭内ネットワーク１７を介して該当する機器に供給する。これにより、ユーザにより指定された機器が即時的に遠隔操作されることとなる。

また、コントロールサーバ装置５は、上記機器操作処理呼び出し要求がなされると、ステップＳ４２３において、現在操作中の機器が存在する場合には、その操作中の機器の現在の状態を示す情報をモバイルサーバ装置１１のサーブレット６０に送信し、現在操作中の機器が存在しない場合には、遠隔操作可能な全機器のリストを上記サーブレット６０に送信する。

サーブレット６０は、ステップＳ４２４及びステップＳ４２５において、Ｗｅｂサーバ６１を介して、このような応答情報（機器状態／リスト）を携帯電話機９に送信する。

携帯電話機９は、この応答情報を受信すると、ステップＳ４２６において、アプリケーション制御部６５が、機器状態を示す情報、或いは遠隔操作可能な全機器のリストを表示部２０に表示制御する。

図４（ｃ）を用いて説明した例の場合、制御部５２は、この機器状態を示す情報に基づいて、テレビジョン受像機ＴＶに対して、所定の画像（静止画像）を表示制御することとなる。

［タイマ設定］
次に、各機器を所望の時間に動作させる場合、ユーザは、ジョグダイアル２１を回転操作して図６（ａ）に示すように予約管理ロボットＴＲにフォーカスＦＣを当て、ジョグダイアル２１を押圧操作する。

この場合、ジョグダイアル２１が押圧操作されると、制御部５２は、図６（ｂ）に示すように、現在、表示画面に表示されている各機器のうち、タイマ設定可能な機器の画像及びタイマ設定画面の表示を指定するための「編集」の文字を表示部２０に表示制御する。

図６（ｂ）は、タイマ設定可能な機器としてテレビジョン受像機ＴＶ及びパーソナルコンピュータ装置ＰＣの画像及び各機器のタイマ設定画面の表示を指定するための「編集」の文字が表示された例を示している。

この図６（ｂ）の表示画面において、ユーザによるジョグダイアル２１の回転操作に応じてフォーカスＦＣが各機器の「編集」の文字間を移動するようになっている。ユーザは、ジョグダイアル２１を回転操作することで、タイマ設定を行う機器に対応する「編集」の文字の表示位置に上記フォーカスＦＣを移動操作し、ジョグダイアル２１を押圧操作する。

この場合、ジョグダイアル２１が押圧操作されると、制御部５２は、各機器に対応するタイマの設定画面を表示部２０に表示制御する。

例えば、図６（ｂ）に示すようにテレビジョン受像機ＴＶのタイマ設定が選択された場合、制御部５２は、まず、図６（ｃ）に示すように該選択されたテレビジョン受像機ＴＶの画像及び「テレビ」の文字、現在設定されている操作時刻（５／２４ ９：００）及び操作内容（６ｃｈ ＯＮ）を表示部２０に表示制御する。

この状態において、ユーザは、表示された設定内容を変更する場合、ジョグダイアル２１を押圧操作する。この押圧操作がなされると、制御部５２は、図６（ｄ）に示すようにタイマ設定可能な各機器の画像を表示制御すると共に、現在選択中の機器に対してフォーカスＦＣを当てると共に、該フォーカスＦＣが当たっている機器の名称を表示部２０に表示制御する。

ユーザは、ジョグダイアル２１を回転操作することで、上記機器に当たっているフォーカスＦＣを移動操作してタイマ設定を行う所望の機器を選択し、ジョグダイアル２１を押圧操作する。この場合、ジョグダイアル２１が押圧操作されると、制御部５２は、図６（ｅ）に示すように、ユーザにより選択された機器の画像及び名称と共に操作時刻及び操作内容の編集画面を表示部２０に表示制御する。

図６（ｅ）の表示画面において、ユーザによりジョグダイアル２１が回転操作されると、フォーカスＦＣが、月→日→時→分→操作チャンネル→月→日→・・・・等のように移動表示されるようになっている。ユーザは、ジョグダイアル２１を回転操作することで、月，日，時、等の所望の位置にフォーカスＦＣを移動操作してジョグダイアル２１を押圧操作する。この場合、ジョグダイアル２１が押圧操作されると、制御部５２は、選択メニューの表示を行う。

例えば、図６（ｅ）に示すように「月」にフォーカスＦＣが当たっている状態でジョグダイアル２１の押圧操作を検出すると、制御部５２は、図６（ｆ）に示すように１月〜１２月を示す数字を表示部２０に表示制御すると共に、現在選択されている月の数字に対してフォーカスＦＣが当たるように表示制御を行う。

この場合、現在、５月が選択されているため、「５」の数字にフォーカスＦＣが当たっている。このフォーカスＦＣは、ジョグダイアル２１を回転操作することで、５→６→７→８→９→１０・・・等のように各月の数字上を移動するようになっている。ユーザは、ジョグダイアル２１を回転操作することでフォーカスＦＣを移動操作して所望の月を選択しジョグダイアル２１を押圧操作する。

この場合、ジョグダイアル２１の押圧操作を検出すると、制御部５２は、次に、「日」の選択メニュー（１日〜３１日）を表示部２０に表示制御する。この「日」の選択操作も前述の「月」の選択操作と同様であり、ユーザは、ジョグダイアル２１を回転操作及び押圧操作して所望の「日」を選択する。

このように、ユーザは、ジョグダイアル２１を回転操作及び押圧操作することで、タイマ設定を行う「機器」、「月」、「日」「時」、「分」、「チャンネル」を選択設定する。そして、この選択設定が終了した際に、図１に示す左ソフトキー２３Ｌ（完了）を押圧操作する。この場合、左ソフトキー２３Ｌが押圧操作されると、制御部５２は、タイマ設定が完了したものと認識し、図６（ｃ）に示すように、ユーザにより設定された内容を再度、表示部２０に表示制御する。

ユーザは、この表示部２０に再度、表示されたタイマの設定内容を見て、この設定で良い場合は、再度、左ソフトキー２３Ｌ（完了）を押圧操作する。この場合、左ソフトキー２３Ｌが押圧操作されると、制御部５２は、設定された機器の情報や操作開始時刻，チャンネル等の情報をメモリ５３に記憶すると共に、図示しないタイマからの時刻情報に基づいて、メモリ５３に記憶した操作開始時刻の監視を開始する。

［タイマ動作］
次に、タイマからの時刻情報に基づいて現在の時刻の監視を行うことで、現在の時刻が、メモリ５３に記憶した操作開始時刻の所定時間前（例えば５分前）となったことを検出すると、制御部５２は、バイブレータ機能を振動駆動し、所定のアラーム音を発音制御すると共に、表示画面の予約管理ロボットＴＲを、タイマ設定されている機器の近くに移動表示制御する。

具体的には、例えばテレビジョン受像機が５月２４日の午前９時００分に起動するタイマ設定がなされている場合、制御部５２は、現在時刻が午前９時００分の５分前（午前８時５５分）になったことを検出すると、バイブレータ機能を振動駆動し、所定のアラーム音を発音制御すると共に、図７（ａ）に示すように、予約管理ロボットＴＲをテレビジョン受像機ＴＶの近くに移動表示制御する。ユーザは、この表示画像を見ることで、これからテレビジョン受像機ＴＶが起動されることを認識することができる。

そして、制御部５２は、現在時刻が午前９時００分の例えば１分前になったことを検出すると、以下に説明するように遠隔操作用の信号を発信制御する。

また制御部５２は、図４（ｂ）に示すように、それまで何の画像も表示されていなかったテレビジョン受像機ＴＶに対して、所定の画像（静止画像）を表示制御すると共に、チャンネル番号を表示制御する。このような表示部２０の表示画像を見ることで、ユーザは、テレビジョン受像機ＴＶの電源がタイマによりオンする遠隔操作がなされたことを認識することができる。

なお、制御部５２は、このようにタイマによる機器の駆動制御が終了すると、図７（ｃ）に示すように予約管理ロボットＴＲを初期位置に移動表示制御する。

［タイマ予約のキャンセル動作］
次に、前述のように制御部５２は、現在の時刻が、メモリ５３に記憶した操作開始時刻の所定時間前（例えば５分前）となったことを検出すると、バイブレータ機能を振動駆動し、所定のアラーム音を発音制御すると共に、表示画面の予約管理ロボットＴＲを、タイマ設定されている機器の近くに移動表示制御することで、これからタイマによる機器の駆動が行われることをユーザに通知するのであるが、このタイマ予約は以下のようにキャンセルすることができる。

このタイマ予約をキャンセルする場合、図８（ａ）〜（ｄ）に示すように、タイマ設定されている機器の近くに予約管理ロボットＴＲ及びエージェントＥＧが表示されている状態で、ジョグダイアル２１を押圧操作する。

この場合、ジョグダイアル２１が押圧操作されると、制御部５２は、図８（ｅ）に示すように例えば「タイマ処理を中止しますか はい いいえ」等のタイマ処理の是非を問うメッセージを表示部２０に表示制御する。

ユーザは、タイマ処理をキャンセルする場合、ジョグダイアル２１を回転操作してカーソル２１を「はい」の文字の表示位置に移動操作し、ジョグダイアル２１を押圧操作する。

この場合、ジョグダイアル２１の押圧操作を検出すると制御部５２は、以後のタイマ処理を中止して、予約管理ロボットＴＲを初期位置まで戻すように表示制御する。ユーザは、予約管理ロボットＴＲが初期位置に戻った画像を見ることで、タイマ処理がキャンセルされたことを認識することができる。

［タイマを用いた遠隔操作］
次に、タイマを用いた遠隔操作時におけるシステム動作を、図９のシーケンス図を用いて説明する。

前述のように、機器の中にはタイマによる遠隔操作可能な機器も存在する。このタイマ設定可能な機器である、例えばビデオテープレコーダ装置を用いて予約録画を行う場合、ユーザは、前述のように携帯電話機９を操作して予約録画の開始時刻，終了時刻，番組のタイトル，放送チャンネル等の項目の入力を行い、或いは電子番組表の情報を転用して上記各項目の入力を行う。

携帯電話機９の制御部５２は、このような予約設定がなされると、タイマに基づいて現在時刻を監視し、上記予約設定時刻となる所定時間前（例えば予約設定時刻の３分前や１分前等）となったタイミングで、ステップＳ４３０において、携帯電話機９のバイブレーション機能を駆動すると共に、例えば「予約録画を開始しますか？」等の予約録画開始確認のメッセージを表示部２０に表示する。

なお、この確認を行うことなく、予約録画を開始してもよい。また、タイマの設定は、例えば毎週月曜日，毎月１０日等のように定期的な設定の他、本日の午後７時から午後８時までの間のみ等の単発的な設定も可能である。

上記確認でユーザにより予約録画の開始が指示されると、ステップＳ４３１において、携帯電話機９は、機種ＩＤ，予約録画を行う機器の機器アイテムＩＤ等をＷｅｂサーバ６１に送信して機器操作アクセス要求を行う。

ステップＳ４３２では、Ｗｅｂサーバ６１が、上記機種ＩＤ，機器アイテムＩＤ等をサーブレット６０に転送して機器操作処理呼び出し要求を行う。サーブレット６０は、この機器操作処理呼び出しがあると、ステップＳ４３３において、データベース３１に機種ＩＤを送信し、設定データの取り出し要求を行う。これにより、ステップＳ４３４において、データベース３１からサーブレット６０に設定データが送信される。

次に、サーブレット６０は、ステップＳ４３５において、データベース３１に機種ＩＤを送信し、処理状態フラグ取り出し要求を行い、ステップＳ４３６において、各機器の動作状態を示す機器操作フラグの確認を行う。

（機器操作フラグが立っていない場合）
次に、この確認により上記機器操作フラグが立っていないことが確認された場合、その機器の操作は可能であるため、サーブレット６０は、次のステップとして後に説明するステップＳ４４３を実行する。

（機器操作フラグが立っている場合）
次に、この確認により上記機器の操作フラグが立っていることが確認された場合、サーブレット６０は、ステップＳ４３７において処理時間の確認（タイムアウトチェック）を行う。

（タイムアウトの場合）
このタイムアウトチェックにより、機器操作フラグが立っているにも関わらず、処理が中断されて一定時間経過しているものと判断した場合、サーブレット６０は、タイムアウトと判別し、上記ステップＳ４３５で取り込んだ処理操作フラグを降ろし、ステップＳ４３８において、データベース３１に記憶されている処理状態フラグを、その機器は操作されていないことを示すフラグに更新する。この処理操作フラグを降ろすことで、その機器の操作が可能となるため、サーブレット６０は、次のステップとして、後に説明するステップＳ４４３を実行する。

（タイムアウトではない場合）
これに対して、上記タイムアウトチェックにより、機器操作フラグが立っており、かつ、処理が中断されてから一定時間が経過していないものと判断した場合、これは、その機器が操作中であり重複操作は好ましくないため（排他制御）、サーブレット６０は、ステップＳ４４０及びステップＳ４４１において、Ｗｅｂサーバ６１を介して携帯電話機９に拒否信号（Reject信号）を送信する。

携帯電話機９は、この拒否信号を受信すると、該拒否信号を受信する毎に一つずつカウンタの値をインクリメントすると共に、上記ステップＳ４３１で説明した機器操作アクセス要求を繰り返し実行する。

すなわち、このシステムの場合、拒否信号が携帯電話機９で受信される毎に、機器操作アクセス（ステップＳ４３１）を繰り返し実行する（リトライ）。このリトライの間隔は、例えば２０秒間隔となっている。

そして、上記カウンタのカウント値が例えば「４」となった際に、携帯電話機９は、ステップＳ４４２において、データベース３１或いはコントロールサーバ装置５からタイマリストを読み出し、このタイマリストに、タイマによる遠隔操作が失敗した旨の情報を記録する（タイマリストの更新）。

タイマは、操作開始時刻（ｓｔａｒｔ）と操作終了時刻（ｅｎｄ）とからなる。このため、このタイマを用いた遠隔操作時において、例えば操作開始時に失敗した場合、当該システムでは、操作終了処理が放棄され、タイマリストには「失敗」の情報が記録される。また、操作開始は成功したのであるが、操作終了の処理が失敗した場合、当該システムでは、タイマリストに「操作終了失敗」の情報が記録される。

（機器操作可能な場合）
次に、「上記操作フラグが立っていない場合」及び「上記タイムアウトによりデータベース３１のフラグを降ろした場合」には、その機器の操作が可能であるため、サーブレット６０は、ステップＳ４４３において、ＶＥＳＴＡ ＩＤ，パスワード，機器アイテムＩＤ、及びアクションＩＤをコントロールサーバ装置５に送信し、機器操作処理呼び出し要求を行う。

コントロールサーバ装置５は、上記機器アイテムＩＤ及びアクションＩＤに基づいて、その機器の指定された動作制御を行うためのコマンドをデータベース１９から読み出し、このコマンドを、そのユーザの家庭内ネットワーク１７を介して該当する機器に供給する。これにより、ユーザにより指定された機器が即時的に遠隔操作されることとなる。

また、コントロールサーバ装置５は、上記機器操作処理呼び出し要求がなされると、ステップＳ４４４において、遠隔操作した機器からの応答情報をモバイルサーバ装置１１のサーブレット６０に送信する。サーブレット６０は、ステップＳ４４５及びステップＳ４４６において、Ｗｅｂサーバ６１を介して、このような応答情報を携帯電話機９に送信する。

携帯電話機９は、この応答情報を受信すると、ステップＳ４４７において、制御部５２が、データベース３１或いはコントロールサーバ装置５からタイマリストを読み出し、このタイマリストに、タイマによる遠隔操作が実行済みである旨の情報を記録する（タイマリスト更新）。

［連続操作設定］
次に、複数の機器をリアルタイムで連続的に動作させる場合、ユーザは、ジョグダイアル２１を回転操作して図１０（ａ）に示すように操作順序管理ロボットＪＲにフォーカスＦＣを当て、ジョグダイアル２１を押圧操作する。

この場合、ジョグダイアル２１が押圧操作されると、制御部５２は、図１０（ｂ）に示すように、現在、表示画面に表示されている各機器の操作順序の設定画面を表示部２０に表示制御する。この操作順序の設定画面としては、１，２，３・・・等の操作の順番を示す数字と、各順番毎に駆動する機器を指定するための「編集」の文字が表示制御される。

ユーザにより各順番の「編集」の文字にフォーカスＦＣが移動操作されジョグダイアル２１が押圧操作されると、制御部５２は、図１０（ｃ）に示すように選択候補となる機器の画像及び操作内容の入力欄を表示部２０に表示制御する。

この状態でジョグダイアル２１の回転操作を検出すると、制御部５２は、例えばテレビジョン受像機ＴＶの画像→オーディオ機器ＡＵの画像→パーソナルコンピュータ装置ＰＣの画像・・・等のように各機器の画像を変更表示する。また、この機器の画像が表示された状態でジョグダイアル２１の押圧操作を検出すると、制御部５２は、その機器の操作内容の入力モードに移行する。

図１０（ｃ）は、テレビジョン受像機ＴＶの８チャンネルを選局することが設定されたことを示している。ユーザは、このように所望の機器及び操作内容の設定が終了すると、図１に示す左ソフトキー２３Ｌ（完了）を押圧操作する。

この場合、左ソフトキー２３Ｌの押圧操作を検出すると、制御部５２は、図１０（ｂ）に示すようにユーザにより選択された順番の欄に、ユーザにより選択された機器の画像及び操作内容を表示制御する。

図１０（ｂ）は、
・１番目→テレビジョン受像機ＴＶの８チャンネルを選局する
・２番目→オーディオ機器ＡＵのコンパクトディスクを再生する
・３番目→パーソナルコンピュータ装置を起動する
との連続動作設定がなされた例を示している。

［連続操作］
次に、このように連続操作設定が終了すると、連続操作設定した各機器の連続操作が可能となる。この連続操作を行う場合、制御部５２は、図１に示す右ソフトキー２３Ｒ（実行）を押圧操作する。

この場合、右ソフトキー２３Ｒの押圧操作を検出すると、制御部５２は、図１１（ａ）〜（ｅ）に矢印で示すように、設定された順番に、各機器の近くまで操作順序管理ロボットＪＲを移動表示制御する。

この図１１（ａ）〜（ｅ）は、操作順序管理ロボットＪＲが、テレビジョン受像機ＴＶ→オーディオ機器ＡＵ→パーソナルコンピュータ装置ＰＣの順に操作を行い初期位置に戻る例を示している。

また、制御部５２は、操作順序管理ロボットＪＲを、設定された順番に各機器の近くに移動表示制御した際に、その機器が駆動されたことを示すべく、例えばテレビジョン受像機ＴＶの場合は表示画面に所定の静止画像を表示制御し、オーディオ機器ＡＵの場合は音符の画像を表示制御し、パーソナルコンピュータ装置ＰＣの場合はモニタ装置に所定の静止画像を表示制御する。これにより、設定された順番で各機器が駆動されるようすを表現することができる。

なお、制御部５２は、このような表示制御と共に、図５のシーケンス図を用いて説明したように、各機器の遠隔操作用の信号を発信制御する。これにより、各機器が設定された順番で遠隔操作されることとなる。詳しくは、図５のシーケンス図の説明を参照されたい。

［効果］
以上の説明から明らかなように、この遠隔操作システムは、例えば携帯電話機９等のモバイル機器を用いて各機器の遠隔操作を可能とすることができる。携帯電話機９等のモバイル機器は、ユーザが携帯していることが多く、また、殆どの場所からネットワークを介して所望のサイト等にアクセス可能である。このようなモバイル機器を遠隔操作に用いることで、該モバイル機器に対して新たな価値を付加することができる。

また、ユーザが所望の背景画像や所望の機器アイテムを選択して設置した仮想空間をインタフェイスとして、各機器の遠隔操作を可能とすることができる。このため、ユーザが直感的、かつ、簡単に機器の遠隔操作を行うことを可能とすることができる。

また、新規なシステムの普及し始めには、そのシステムの取り扱いに精通しているユーザが少ないため、各ユーザにとってシステムの取り扱いが困難となり、この困難性が影響してシステムの普及を阻害するおそれがあるが、この遠隔操作システムは、前述のように直感的かつ簡単に機器の遠隔操作を行うことができるため、システムを普及し易くすることができる。

また、ユーザインタフェイスの構成等は、ユーザインタフェイスを提供する各メーカ毎に自由にデザインすることが可能である。さらに、例えば遠隔操作される機器に対してレアアイテムを含ませる等、各メーカ間で差別化を図ることも可能である。

また、この遠隔操作システムは、携帯メールのヘッダ情報に、アプリケーションプログラムの起動情報（起動パラメータ）を付加して携帯電話機９に送信する。そして、この携帯メールを受信した携帯電話機９が、該携帯メールのヘッダ情報に付加されている起動パラメータを検出して、当該遠隔操作システムのアプリケーションプログラムを自動的に起動する。

アプリケーションプログラムの起動操作は、ユーザにとって面倒なものであるが、このように携帯メールをアプリケーションプログラムの起動のトリガとして用いることで、該アプリケーションプログラムの起動操作を容易なものとすることができる。

また、この遠隔操作は、モバイルサーバ装置１１を介して行うようになっているため、当該システムの利用を検出した際に、そのユーザに対してモバイルサーバ装置１１が課金処理を行うことを可能とすることができ、また、企業等から広告料を徴収し宣伝を入れることにより、ビジネスモデルとして確立可能とすることができる。

最後に、上述の発明を実施するための最良の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、上述の実施形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。

本発明は、例えば携帯電話機，ＰＨＳ電話機（PHS：Personal Handyphone System），通信機能を備えたＰＤＡ装置（PDA：Personal Digital Assistant）、通信機能を備えたパーソナルコンピュータ装置等の端末装置に適用することができる。

本発明を適用した実施形態となる遠隔操作システムのブロック図である。 遠隔操作システムに設けられている携帯電話機のブロック図である。 携帯電話機のユーザインタフェイスの一例を示す図である。 携帯電話機のユーザインタフェイスを用いてテレビジョン受像機を遠隔操作する際の表示例を示す図である。 各機器の遠隔操作を説明するためのシーケンス図である。 携帯電話機のユーザインタフェイスを用いて各機器のタイマ設定を行う際の表示例を示す図である。 タイマ処理時における携帯電話機のユーザインタフェイスの表示例を示す図である。 タイマ処理をキャンセルする際における携帯電話機のユーザインタフェイスの表示例を示す図である。 タイマ処理による各機器の遠隔操作を説明するためのシーケンス図である。 各機器の連続操作設定時における携帯電話機のユーザインタフェイスの表示例を示す図である。 連続操作実行時における携帯電話機のユーザインタフェイスの表示例を示す図である。

符号の説明

１：サーバシステム
２：通信システム
３：家庭内ネットワークシステム
４：インターネット
５：コントロールサーバ装置
６：デコレーションサーバ装置
７：コミュニケーションサーバ装置
８：デコレーションサーバ装置のデータベース
９：携帯電話機
１０：基地局
１１：モバイルサーバ装置
１２：通信ネットワーク
１３：パーソナルコンピュータ装置（ＰＣ）
１４：エアコンディショナ装置（ＡＣ）
１５：テレビジョン受像機（ＴＶ）
１６：ビデオテープレコーダ装置（ＶＴＲ）
１７：家庭内ネットワーク
１８：コミュニケーションサーバ装置のデータベース
１９：コントロールサーバ装置のデータベース
２０：携帯電話機の表示部
２１：携帯電話機のジョグダイアル
２３Ｌ：携帯電話機の左ソフトキー
２３Ｒ：携帯電話機の右ソフトキー
３１：モバイルサーバ装置のデータベース

Claims (8)

1. タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、予約設定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置であって、
   少なくとも、遠隔操作の対象となる一つ或いは複数の機器のオブジェクト、及び上記各機器の予約操作処理を仮想的に行う予約操作オブジェクトを表示手段に表示制御すると共に、上記タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、上記予約操作オブジェクトを、予約設定された機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段を有すること
   を特徴とする端末装置。
2. 指定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置であって、
   遠隔操作の対象となる複数の機器のうち、連続的に操作する機器の順番を記憶する記憶手段と、
   連続操作の実行を指定するための指定手段と、
   少なくとも、上記遠隔操作の対象となる複数の機器のオブジェクト、及び上記各機器の連続操作処理を仮想的に行う連続操作オブジェクトを表示手段に表示制御すると共に、上記指定手段により連続操作の実行が指定された際に、上記連続操作オブジェクトを、上記記憶手段に記憶されている順番に従って、各機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段と
   を有することを特徴とする端末装置。
3. 請求項１又は請求項２記載の端末装置であって、
   上記表示制御手段は、上記タイマにより計時された現在時刻が予約設定された時刻となるまでの間、又は上記タイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となるまでの間、或いは上記指定手段により連続操作の実行が指定されるまでの間は、上記予約操作オブジェクト或いは上記連続操作オブジェクトを、上記機器のオブジェクトの表示位置に対して離れた位置に表示制御すること
   を特徴とする端末装置。
4. 請求項１から請求項３のうち、いずれか一項記載の端末装置であって、
   上記表示制御手段は、上記予約操作オブジェクト或いは上記連続操作オブジェクトを、上記機器のオブジェクトの表示位置近辺まで移動表示制御した際に、遠隔操作される動作に対応した表示形態で該機器のオブジェクトを表示制御すること
   を特徴とする端末装置。
5. タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、予約設定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置のユーザインターフェースを表示する表示制御プログラムであって、
   少なくとも、遠隔操作の対象となる一つ或いは複数の機器のオブジェクト、及び上記各機器の予約操作処理を仮想的に行う予約操作オブジェクトを表示手段に表示制御すると共に、上記タイマにより計時された現在時刻が予約設定された時刻となった際、或いはタイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となった際に、上記予約操作オブジェクトを、予約設定された機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段としてコンピュータを機能させる表示制御プログラム。
6. 指定された機器を遠隔操作するための遠隔操作信号を所定のネットワークを介して送信する遠隔操作機能を備えた端末装置のユーザインターフェースを表示する表示制御プログラムであって、
   遠隔操作の対象となる複数の機器のうち、連続的に操作する機器の指定された順番を記憶手段に記憶制御する記憶制御手段と、
   指定手段を介してなされる連続操作の実行の指定を検出する実行指定検出手段と、
   少なくとも、上記遠隔操作の対象となる複数の機器のオブジェクト、及び上記各機器の連続操作処理を仮想的に行う連続操作オブジェクトを表示手段に表示制御すると共に、上記連続操作の実行が指定された際に、上記連続操作オブジェクトを、上記記憶手段に記憶されている順番に従って、各機器のオブジェクトの表示位置近辺まで移動表示制御する表示制御手段としてコンピュータを機能させる表示制御プログラム。
7. 請求項５又は請求項６記載の表示制御プログラムであって、
   上記表示制御手段は、上記タイマにより計時された現在時刻が予約設定された時刻となるまでの間、又は上記タイマにより計時された現在時刻が予約設定された時刻の所定時間前の時刻となるまでの間、或いは上記連続操作の実行が指定されるまでの間は、上記予約操作オブジェクト或いは上記連続操作オブジェクトを、上記機器のオブジェクトの表示位置に対して離れた位置に表示制御するようにコンピュータを機能させること
   を特徴とする表示制御プログラム。
8. 請求項５から請求項７のうち、いずれか一項記載の表示制御プログラムであって、
   上記表示制御手段は、上記予約操作オブジェクト或いは上記連続操作オブジェクトを、上記機器のオブジェクトの表示位置近辺まで移動表示制御した際に、遠隔操作される動作に対応した表示形態で該機器のオブジェクトを表示制御するようにコンピュータを機能させること
   を特徴とする表示制御プログラム。
   

Images