JP4444239B2 - サーバ装置、並びにその制御命令処理方法及び制御命令処理プログラム、端末装置 - Google Patents

Description

本発明は、サーバ装置、並びにその制御命令処理方法及び制御命令処理プログラム、端末装置に関する。

クライアント装置は、ユーザが、例えばマウス、ペン、キーボードなどの入力デバイスを用いて入力操作を行うと、当該入力デバイスから入力された入力信号を解釈することにより、例えば「ポインタ位置を移動する」、「キーを入力する」などの入力コマンドを生成し、これをネットワークを介してサーバ装置に送信する。

サーバ装置は、この入力コマンドを受信し処理することにより、クライアント装置に表示するための画像データを生成し、これをネットワークを介してクライアント装置に転送し表示する（例えば特許文献１参照）。

このような遠隔制御システムは、クライアント装置に表示するための画像データを圧縮して送信する方式として、例えば、始めにクライアント装置に表示する画面全体の画像データを圧縮して送信し、その後は、変更された領域の画像データのみを所定の時間間隔で圧縮して送信する方式を広く用いている（例えば特許文献２参照）。
特開2004-295304号公報 特開2004-86550号公報

ところで、かかる遠隔制御システムでは、サーバ装置が、入力コマンドを処理した結果、クライアント装置の表示画面のうち、広い領域を高い頻度で変更しようとする場合には、変更された領域の画像データを生成及び送信するのに要する時間が長くなる。

この場合、ユーザがクライアント装置において入力操作を行ったタイミングから、当該入力操作に応じた画像データがクライアント装置に表示されるタイミングまでの時間（遅延時間）が増大するという問題があった。

本発明は、入力コマンドの間引き量を適応的に制御して、表示画像の品質を維持しながら遅延時間を短縮することができるサーバ装置、並びにその制御命令処理方法及び制御命令処理プログラム、端末装置を提供する。

本発明の一態様によれば、端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置において、
前記制御命令と、前記制御命令が操作対象とするアプリケーション・プログラムと、前記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶する記憶手段と、
前記端末装置から送信される複数の前記制御命令を受信する受信手段と、
前記受信手段によって受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記アプリケーション・プログラムである場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行する間引き処理手段と、
前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生成する画像データ生成手段と、
前記生成された前記画像データを前記端末装置に送信する送信手段と
を備えることを特徴とするサーバ装置が提供される。

本発明の一態様によれば、端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置において、
前記制御命令と、前記端末装置の表示画面のうち前記制御命令が操作対象とする表示領域と、前記表示領域のサイズに基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶する記憶手段と、
前記端末装置から送信される複数の前記制御命令を受信する受信手段と、
前記受信手段によって受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記表示領域である場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行する間引き処理手段と、
前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生成する画像データ生成手段と、
前記生成された前記画像データを前記端末装置に送信する送信手段と
を備えることを特徴とするサーバ装置が提供される。

本発明の一態様によれば、端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御命令処理方法において、
前記制御命令と、前記制御命令が操作対象とするアプリケーション・プログラムと、前記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶手段に記憶するステップと、
前記端末装置から送信される複数の前記制御命令を受信するステップと、
前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記アプリケーション・プログラムである場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行するステップと、
前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生成するステップと、
前記生成された前記画像データを前記端末装置に送信するステップと
を備えることを特徴とするサーバ装置の制御命令処理方法が提供される。

本発明の一態様によれば、端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御命令処理方法において、
前記制御命令と、前記端末装置の表示画面のうち前記制御命令が操作対象とする表示領域と、前記表示領域のサイズに基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶手段に記憶するステップと、
前記端末装置から送信される複数の前記制御命令を受信するステップと、
前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記表示領域である場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行するステップと、
前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生成するステップと、
前記生成された前記画像データを前記端末装置に送信するステップと
を備えることを特徴とするサーバ装置の制御命令処理方法が提供される。

本発明の一態様によれば、端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御命令処理プログラムにおいて、
前記制御命令と、前記制御命令が操作対象とするアプリケーション・プログラムと、前記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶手段に記憶するステップと、
前記端末装置から送信される複数の前記制御命令を受信するステップと、
前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記アプリケーション・プログラムである場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行するステップと、
前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生成するステップと、
前記生成された前記画像データを前記端末装置に送信するステップと
を備えることを特徴とするサーバ装置の制御命令処理プログラムが提供される。

本発明の一態様によれば、端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御命令処理プログラムにおいて、
前記制御命令と、前記端末装置の表示画面のうち前記制御命令が操作対象とする表示領域と、前記表示領域のサイズに基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶手段に記憶するステップと、
前記端末装置から送信される複数の前記制御命令を受信するステップと、
前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記表示領域である場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行するステップと、
前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生成するステップと、
前記生成された前記画像データを前記端末装置に送信するステップと
を備えることを特徴とするサーバ装置の制御命令処理プログラムが提供される。

本発明の一態様によれば、入力手段から入力された制御命令をネットワークを介してサーバ装置に送信し、前記サーバ装置から前記ネットワークを介して送信される画像データを受信して表示する端末装置において、
前記サーバ装置から前記ネットワークを介して送信される、アプリケーション・プログラムの動作状態を示すアプリケーション状態情報を記憶するアプリケーション状態記憶手段と、
前記制御命令と、前記制御命令が操作対象とする前記アプリケーション・プログラムと、前記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶する記憶手段と、
複数の前記制御命令を入力するための入力手段と、
前記アプリケーション状態記憶手段に記憶されている前記アプリケーション状態情報を用いて、前記入力手段によって入力された前記制御命令の操作対象を特定し、前記特定された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記アプリケーション・プログラムである場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記入力された複数の制御命令に対する間引き処理を実行する間引き処理手段と、
前記間引き処理後の前記制御命令を前記ネットワークを介して前記サーバ装置に送信する送信手段と
を備えることを特徴とする端末装置が提供される。

本発明の一態様によれば、入力手段から入力された制御命令をネットワークを介してサーバ装置に送信し、前記サーバ装置から前記ネットワークを介して送信される画像データを受信して表示する端末装置において、
前記サーバ装置から前記ネットワークを介して送信される、前記端末装置の表示画面を形成する各表示領域の表示状態を示す表示領域状態情報を記憶する表示領域状態記憶手段と、
前記制御命令と、前記制御命令が操作対象とする前記表示領域と、前記表示領域のサイズに基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶する記憶手段と、
複数の前記制御命令を入力するための入力手段と、
前記表示領域状態記憶手段に記憶されている前記表示領域状態情報を用いて、前記入力手段によって入力された前記制御命令の操作対象を特定し、前記特定された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記表示領域である場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記入力された複数の制御命令に対する間引き処理を実行する間引き処理手段と、
前記間引き処理後の前記制御命令を前記ネットワークを介して前記サーバ装置に送信する送信手段と
を備えることを特徴とする端末装置が提供される。

本発明のサーバ装置、並びにその制御命令処理方法及び制御命令処理プログラム、端末装置によれば、入力コマンドの間引き量を適応的に制御して、表示画像の品質を維持しながら遅延時間を短縮することができる。

以下、本発明の実施の形態について図面を参照して説明する。

図１に、本発明の実施の形態による遠隔制御システム１０の構成を示す。この遠隔制御システム１０は、サーバ装置２０及びクライアント装置３０をネットワーク４０を介して接続することにより構築される。

本実施の形態の場合、サーバ装置２０は、はじめにクライアント装置３０に表示する画像全体のデータ（以下、これを全体画像データと呼ぶ）をクライアント装置３０に送信し、その後、変更された領域の画像データをクライアント装置３０に送信する。サーバ装置２０は、変更された領域の画像データを送信する際には、クライアント装置３０の表示画面全体における当該画像データの位置情報（たとえばブロック番号、変更された領域の座標など）をも送信する。なお、これ以降、変更された領域の画像データ（位置情報を含む）を変更画像データと呼ぶ。

ここで図２に、かかるサーバ装置２０による画像データ転送処理手順ＲＴ１０を示す。この図２においてサーバ装置２０は、画像データ転送処理手順ＲＴ１０に入ると、ステップＳＰ１０において、クライアント装置３０に全体画像データを送信する。

ステップＳＰ２０において、サーバ装置２０は、一定時間待機した後、ステップＳＰ３０に移って、クライアント装置３０に表示すべき画像が、送信済みの画像から変更されたか否かを確認する。

ステップＳＰ３０において肯定結果が得られると、サーバ装置２０は、変更画像データを生成し、これをクライアント装置３０に送信した後、ステップＳＰ２０に戻る。これに対して、ステップＳＰ３０において否定結果が得られると、サーバ装置２０は、ステップＳＰ２０に戻って、さらに一定時間待機する。

このサーバ装置２０は、表示画像生成部５０及び表示画像送信部６０によって画像データ転送処理を実行する。表示画像生成部５０は、クライアント装置３０で表示される表示対象の画像データを生成する。表示画像送信部６０は、表示画像生成部５０によって生成された画像データを、ネットワーク制御部７０を介してクライアント装置３０に送信する。

具体的には、表示画像生成部５０は、画像データ転送処理の開始時には、全体画像データを表示画像送信部６０に送出する。その後、アプリケーション・プログラム８０が、オペレーティング・システム（ＯＳ）９０内に形成されている表示画像生成部５０に対して、描画命令を発行すると、表示画像生成部５０は、与えられた描画命令を基に、クライアント装置３０上で表示するための変更画像データを生成し、これを表示画像送信部６０に送出する。

表示画像送信部６０は、所定の時間間隔で与えられる変更画像データ（高い頻度で変更された場合には、複数の変更画像データ）を保持し圧縮し、得られた圧縮変更画像データをネットワーク制御部７０を介してクライアント装置３０に送信する。

ここで図３に、サーバ装置２０における画像データ転送処理の他の実施の形態を示す。かかる遠隔制御システム２００のサーバ装置２１０の場合、オペレーティング・システム２２０は、クライアント装置３０において表示するための全体画像データを保持するフレームバッファ２３０を有する。

アプリケーション・プログラム８０が、オペレーティング・システム２２０内の表示画像生成部２４０に対して、描画命令を発行すると、表示画像生成部２４０は、与えられた描画命令を基に、クライアント装置３０で表示するための全体画像データを生成し、これをフレームバッファ２３０に書き込む。

表示画像送信部２５０は、既に送信済みの画像データを保持するフレームバッファ（図示せず）を有する。表示画像送信部２５０は、画像データ転送処理の開始時には、オペレーティング・システム２２０が有するフレームバッファ２３０から全体画像データを取得し、これを圧縮した上で、ネットワーク制御部７０を介してクライアント装置３０に送信する。その際、表示画像送信部２５０は、自己のフレームバッファに、送信した全体画像データを書き込む。

その後、表示画像送信部２５０は、オペレーティング・システム２２０が有するフレームバッファ２３０に保持されている全体画像データが更新されたタイミング、又は所定の時間間隔で、オペレーティング・システム２２０が有するフレームバッファ２３０に保持されている全体画像データと、自己のフレームバッファに保持されている全体画像データとを比較することにより、変更画像データを抽出する。表示画像送信部２５０は、この抽出した変更画像データを圧縮した上で、ネットワーク制御部７０を介してクライアント装置３０に送信する。その際、表示画像送信部２５０は、自己のフレームバッファに保持されている全体画像データのうち対応する領域に、変更画像データを上書きする。

さらに図４に、サーバ装置２０における画像データ転送処理の他の実施の形態を示す。かかる遠隔制御システム３００のサーバ装置３１０の場合、オペレーティング・システム３２０内の表示画像生成部３４０は、上述のサーバ装置２１０と同様に、アプリケーション・プログラム８０から与えられた描画命令を基に、クライアント装置３０で表示するための全体画像データを生成し、これをフレームバッファ３３０に書き込む。

その際、表示画像生成部３４０は、全体画像データのうち変更された領域に関する情報を、変更領域情報として変更画像抽出部３５０に通知する。なお、この場合、表示画像生成部３４０は、全体画像データを生成する毎に変更領域情報を通知しても良く、また複数の全体画像データを生成した後に、当該複数の全体画像データに関する変更領域情報を一度に通知しても良い。

変更画像抽出部３５０は、通知された変更領域情報に基づいて、フレームバッファ３３０に保持されている全体画像データの中から変更画像データを抽出し、これを表示画像送信部６０に送出する。表示画像送信部６０は、この変更画像データを圧縮した上で、ネットワーク制御部７０を介してクライアント装置３０に送信する。

因みに、これらサーバ装置２１０及び３１０では、オペレーティング・システム２２０及び３２０内にフレームバッファ２３０及び３３０を設けたが、当該フレームバッファ２３０及び３３０を設けることなく、ＶＲＡＭ（Video RAM） に格納されている全体画像データを利用して画像データ転送処理を行っても良い。

ところで、クライアント装置３０は、サーバ装置２０から送信された圧縮変更画像データをネットワーク制御部１００を介して受信画像処理部１１０に送出する。受信画像処理部１１０は、受信した圧縮変更画像データをデコード（伸長）した後、得られた変更画像データを表示部１２０に送出する。表示部１２０は、この変更画像データを表示画面のうちの所望の領域に表示する。その際、表示部１２０は、変更画像データと共に送られてくる位置情報が示す位置に、変更画像データに応じた画像を表示する。

ここで、クライアント装置３０は、ユーザが、例えばマウス、ペン、キーボードなどの入力デバイス１３０を用いて入力操作を行うと、入力信号受付部１４０は、入力デバイス１３０から入力された入力信号を解釈することにより、例えば「ポインタ位置を移動する」、「キーを入力する」などの入力コマンドを生成し、これを送受信部としてのネットワーク制御部１００及びネットワーク４０を順次介してサーバ装置２０に送信する。

サーバ装置２０は、送受信部としてのネットワーク制御部７０によって入力コマンドを受信し、当該受信した入力コマンドをオペレーティング・システム９０に通知することにより、入力コマンドの処理をオペレーティング・システム９０に要求する。

なお、入力コマンドは、マウス、ペンなどの入力デバイス１３０から得られ、コマンド種別（例えばポインタの移動、左ボタンの押下、右ボタンの押下など）、及びコマンド発生位置（例えば、コマンド種別がポインタ移動の場合には、移動先の座標（又は前回コマンド発生位置からの相対位置）、ボタン押下位置など）を含む情報であり、複数の制御命令からなる。

また、入力コマンドの処理をオペレーティング・システム９０に要求する方法としては、仮想的な入力デバイスドライバを構築し、当該構築された入力デバイスドライバを用いてオペレーティング・システム９０に要求する方法や、オペレーティング・システム９０のアプリケーション・プログラム・インターフェイス（ＡＰＩ）を利用して要求する方法がある。要は、入力コマンドをオペレーティング・システム９０又は操作対象のアプリケーション・プログラム８０に通知することができる方法であれば良い。

本実施の形態の場合、入力コマンドをオペレーティング・システム９０に通知する前に、入力コマンド処理部１５０によって、入力コマンドの間引き処理を行う。すなわち、入力コマンド処理部１５０は、入力コマンドの内容と、当該入力コマンドの操作対象となるアプリケーション・プログラム又はウィンドウの種別と、入力コマンドの間引き処理方法との関係を示す間引き制御情報を有し、当該間引き制御情報と、受信した入力コマンドとを基に、入力コマンドの間引き処理（入力コマンドのデータ量を削減する処理）を実行した後、オペレーティング・システム９０に通知する。

なお、入力コマンドの操作対象となるアプリケーション・プログラム又はウィンドウの種別を確認する方法としては、操作対象となってタイトルバーの表示色が変化している（フォーカスが当たっている）アプリケーション・プログラム又はウィンドウの種別をオペレーティング・システム９０から取得する方法と、入力コマンドに含まれる操作対象の位置が表示領域に存在するアプリケーション又はウィンドウの種別を、オペレーティング・システム９０から取得する方法とがある。

入力コマンド処理部１５０は、入力コマンドの操作対象となっているアプリケーション・プログラム又はウィンドウの種別を取得すると、間引き制御情報を用いて入力コマンドの間引き処理方法を決定する。

ここで図５に、入力コマンドが移動コマンドである場合における間引き制御情報を示す。この場合、アプリケーション・プログラムＡは、例えばユーザが文字や絵などを描画するために用いられるアプリケーション・プログラムである。このアプリケーション・プログラムＡは、操作対象のウィンドウ（すなわち表示領域）の種別が、テキスト入力領域、メニュー領域及びタイトルバー領域である場合には、移動コマンドを１００ｍｓｅｃ毎に処理することにより間引き処理が実行されるのに対して、操作対象のウィンドウの種別が、ユーザがペンを用いて文字や絵を描画するための描画領域である場合には、間引き処理が実行されないように選定されている。

かかる間引き制御情報は、例えばハードディスクなどの記憶装置（図示せず）に予め記憶され、入力コマンド処理部１５０の起動時に、記憶装置から入力コマンド処理部１５０に読み込まれる。なお、間引き制御情報設定部を別途設け、ユーザが間引き制御情報の設定を追加、削除及び変更することができるようにしても良い。また、過去に処理された入力コマンドと、その結果発生するアプリケーション・プログラムの処理又は送信データ量に関する情報とを基に、間引き制御情報を変更するようにしても良い。この場合、例えば送信データ量が多い場合には、間引き処理を実行しない処理方法から、１００ｍｓｅｃ毎に処理する間引き処理方法に変更される。

因みに、入力コマンド処理部１５０は、図６に示すように、入力コマンドの間引き処理を実行する処理部１６０と、記憶装置（図示せず）から読み込まれた間引き制御情報を記憶する間引き制御情報記憶部１７０と、移動コマンドの最終の移動先を保存する最終移動先保存部１８０とを有する。

ここで図７に、入力コマンド処理部１５０による第１の入力コマンド処理手順ＲＴ１００を示す。この図７において入力コマンド処理部１５０は、入力コマンド処理手順ＲＴ１００に入ると、ステップＳＰ１００において、入力コマンドを受信したか否かを判定する。ステップＳＰ１００において肯定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１１０に移って、受信した入力コマンドが移動コマンドであるか否かを判定する。これに対して、ステップＳＰ１００において否定結果が得られると、入力コマンド処理部１５０は、入力コマンドを受信するまで待機する。

ステップＳＰ１１０において肯定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１２０に移って、移動先の座標に位置するウィンドウが、間引き制御情報において、間引かないように指定されているか否かを判定する。

このステップＳＰ１２０において肯定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１３０に移って、移動コマンドの実行をオペレーティング・システム９０又はアプリケーション・プログラム８０に指示する。入力コマンド処理部１５０が、移動コマンドの実行をオペレーティング・システム９０に指示した場合には、オペレーティング・システム９０は、この入力コマンドをアプリケーション・プログラム８０に送出する。アプリケーション・プログラム９０は、この入力コマンドに基づいて描画命令を生成し、これをオペレーティング・システム９０内の表示画像生成部５０に発行する。

ステップＳＰ１４０において、入力コマンド処理部１５０は、最終移動先保存部１８０に格納されている、不要な最終移動先情報を消去した後、ステップＳＰ１００に戻って上述の動作を繰り返す。

これに対して、ステップＳＰ１２０において否定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１５０に移って、後に移動コマンドの実行を指示するため、最終移動先保存部１８０に、移動先の座標を最終移動先情報として格納した後、ステップＳＰ１００に戻って上述の動作を繰り返す。

ところで、ステップＳＰ１１０において否定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１６０に移って、最終移動先保存部１８０に最終移動先情報が格納されているか否かを判定する。

このステップＳＰ１６０において肯定結果が得られると、このことは最終移動先保存部１８０に格納されている最終移動先情報に基づく移動コマンドの実行をオペレーティング・システム９０などに指示していないことを表しており、このとき入力コマンド処理部１５０は、ステップＳＰ１７０に移って、格納されている移動コマンドの実行をオペレーティング・システム９０又はアプリケーション・プログラム８０に指示する。

続くステップＳＰ１８０において、入力コマンド処理部１５０は、最終移動先保存部１８０に格納されている、不要な最終移動先情報を消去し、ステップＳＰ１９０に移って、受信した入力コマンドを実行させた後、ステップＳＰ１００に戻って上述の動作を繰り返す。

これに対して、ステップＳＰ１６０において否定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１９０に移って、受信した入力コマンドを実行させた後、ステップＳＰ１００に戻って上述の動作を繰り返す。

さらに図８に、入力コマンド処理部１５０による第２の入力コマンド処理手順ＲＴ２００を示す。本実施の形態の場合、入力コマンド処理部１５０は、第１及び第２の入力コマンド処理手順ＲＴ１００及びＲＴ２００を並行して実行する。

この図８において入力コマンド処理部１５０は、第２の入力コマンド処理手順ＲＴ２００に入ると、ステップＳＰ２００において、１００ｍｓｅｃ待機した後、続くステップＳＰ２１０に移って、最終先移動先保存部１８０に最終移動先情報が格納されているか否かを判定する。

このステップＳＰ２１０において肯定結果が得られると、このことは最終移動先保存部１８０に格納されている最終移動先情報に基づく移動コマンドの実行をオペレーティング・システム９０などに指示していないことを表しており、このとき入力コマンド処理部１５０は、ステップＳＰ２２０に移って、格納されている移動コマンドの実行をオペレーティング・システム９０又はアプリケーション・プログラム８０に指示する。

続くステップＳＰ２３０において、入力コマンド処理部１５０は、最終移動先保存部１８０に格納されている、不要な最終移動先情報を消去した後、ステップＳＰ２００に戻って上述の動作を繰り返す。これに対して、ステップＳＰ２１０において否定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ２００に戻ってさらに１００ｍｓｅｃ待機する。

このようにして入力コマンド処理部１５０は、移動コマンドの間引き処理を実行する場合には、１００ｍｓｅｃ毎に移動コマンドを処理及び実行する。

ここで図９に、入力コマンド処理部１５０による第１の入力コマンド処理手順ＲＴ１００の他の実施の形態として、第１の入力コマンド処理手順ＲＴ３００を示す。この場合、入力コマンド処理部１５０は、移動コマンドの実行をオペレーティング・システム９０又はアプリケーション・プログラム８０に指示した際に、その移動先を保持する前回移動先保存部（図示せず）を有する。

すなわち、第１の入力コマンド処理手順ＲＴ３００のうち、ステップＳＰ１２０において否定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ３００に移って、前回移動先保存部に格納されている座標と、今回受信した移動コマンドの移動先の座標との距離が、所定の距離以上であるか否かを判定する。

このステップＳＰ３００において肯定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１３０に移って、移動コマンドの実行をオペレーティング・システム９０又はアプリケーション・プログラム８０に指示する。続くステップＳＰ３１０において、入力コマンド処理部１５０は、最終移動先保存部１８０に格納されている、不要な最終移動先情報を消去すると共に、前回移動先保存部に移動先を格納する。

これに対して、ステップＳＰ３００において否定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１５０に移って、後に移動コマンドの実行を指示するため、最終移動先保存部１８０に、移動先の座標を最終移動先情報として格納する。

なお、ステップＳＰ１６０において肯定結果が得られると、入力コマンド処理部１５０は、ステップＳＰ１７０に移って、格納されている移動コマンドの実行をオペレーティング・システム９０又はアプリケーション・プログラム８０に指示した後、続くステップＳＰ３２０に移って、最終移動先保存部１８０に格納されている、不要な最終移動先情報を消去すると共に、前回移動先保存部に移動先を格納する。

このようにして入力コマンド処理部１５０は、移動コマンドの間引き処理を実行する場合には、所定の移動量毎に移動コマンドを処理及び実行することもできる。なお、入力コマンド処理部１５０は、オペレーティング・システム９０から、サーバ装置２０において処理された最新のポインタ位置を取得することができる場合には、当該最新のポインタ位置に基づいて、移動量を算出することができ、この場合、前回移動先保存部を別途設ける必要がなくなる。

さらに、入力コマンド処理部１５０は、移動コマンドの間引き処理を実行する場合には、移動コマンドを所定回数受信する毎に、当該移動コマンドを処理及び実行することもできる。

このように、第１及び第２の入力コマンド処理手順ＲＴ１００及びＲＴ２００を並行して実行することにより、操作対象となるアプリケーション・プログラムやウィンドウの種別に応じて、入力コマンドの間引き量を適応的に変化させることができる。

従って、入力コマンドの操作対象が、大きい領域を高い頻度で更新するアプリケーション・プログラム又はウィンドウである場合には、入力コマンドの間引き量を大きくすることより、一時的に遅延時間が増大することを抑制することができる。

また、例えばペンやマウスを用いて小さい描画領域に線描画を行う場合など、入力コマンドの操作対象が、小さい領域を更新するアプリケーション・プログラム又はウィンドウである場合には、入力コマンドの間引き量を小さくする。これにより、ペンやマウスの操作において、遅延時間が短く、かつ高い頻度で変更画像データをクライアント装置３０に送信することができ、従ってペンやマウスの操作に追随するようにして線描画を行うことができる。

なお、上述の実施の形態は一例であって、本発明を限定するものではない。例えば、入力コマンドの間引き量として、１００ｍｓｅｃ毎に移動コマンドを処理及び実行する場合と、間引き処理を実行しない場合との２種類を用意したが、３種類以上の間引き量を用意しても良い。

また、上述の実施の形態においては、入力コマンドの操作対象となるアプリケーション・プログラム又はウィンドウの種別を基に、入力コマンドの間引き量の制御を行ったが、サーバ装置２０及びクライアント装置３０間のネットワーク４０の負荷に応じて、入力コマンドの間引き量を制御しても良い。

具体的には、サーバ装置２０とクライアント装置３０の間の通信時間や、サーバ装置２０の表示画像送信部６０（画像データ送信キュー）に保持されている未送信のデータ量を基に、これら通信時間や未送信のデータ量が小さい場合には、入力コマンドの間引き量を小さくし、これらが大きい場合には、間引き量を大きくするようにしても良い。

なお、かかる制御を行っても、上述の実施の形態と同様に、ペンやマウスを用いて小さい描画領域に線描画を行う場合など、入力コマンドの操作対象が、小さい領域を更新するアプリケーション・プログラム又はウィンドウである場合には、送信対象のデータ量が小さいため、操作を開始した後における未送信のデータ量も小さくなる。

その結果、入力コマンドの間引き量が小さくなることにより、ペンやマウスの操作において、遅延時間が短く、かつ、高い頻度で変更画像データをクライアント装置３０に送信することができ、従ってペンやマウスの操作に追随するようにして線描画を行うことができる。

また、サーバ装置２０やクライアント装置３０が有する各種信号処理部（プロセッサ）の負荷に応じて、入力コマンドの間引き量を制御しても良い。具体的には、サーバ装置２０が有するプロセッサの負荷が低い場合には、入力コマンドの間引き量を小さくし、負荷が高い場合には、間引き量を大きくするようにしても良い。

なお、かかる制御を行っても、上述の実施の形態と同様に、ペンやマウスを用いて小さい描画領域に線描画を行う場合など、入力コマンドの操作対象が、小さい領域を更新するアプリケーション・プログラム又はウィンドウである場合には、送信対象の画像データのデータ量が小さいため、当該画像データを圧縮する際に要するプロセッサの負荷が低くなる。

その結果、上述の場合と同様に、入力コマンドの間引き量が小さくなることにより、ペンやマウスの操作において、遅延時間が短く、かつ、高い頻度で変更画像データをクライアント装置３０に送信することができ、従ってペンやマウスの操作に追随するようにして線描画を行うことができる。

また、入力コマンドの間引き量の制御をクライアント装置によって行うことも可能である。図１０に、かかる他の実施の形態による遠隔制御システム４００の構成を示す。この場合、クライアント装置４２０は、アプリケーション状態格納部４３０と、入力コマンド処理部４４０とを有する。

アプリケーション状態格納部４３０は、サーバ装置４１０で動作しているアプリケーション・プログラム又はウィンドウのフォーカスや表示位置を表すアプリケーション状態情報を格納する。クライアント装置４２０は、定期的又はアプリケーション・プログラムの状態が変化する毎に、サーバ装置４１０からネットワーク４０を介して送られてくるアプリケーション状態情報を受信し、これをアプリケーション状態格納部４３０に格納する。

入力コマンド処理部４４０は、間引き制御情報を保持し、入力信号受付部１４０から入力コマンドを受け取ると、アプリケーション状態格納部４３０からアプリケーション状態情報を読み出すことにより、入力コマンドの操作対象となるアプリケーション・プログラム又はウィンドウの種別を取得する。

これにより入力コマンド処理部１５０は、入力コマンドの内容と、入力コマンドの操作対象となるアプリケーション・プログラム又はウィンドウの種別と、間引き制御情報とを基に、送信対象の入力コマンドの間引き処理を行う。

このようにクライアント装置４２０において、入力コマンドの間引き処理を行うと、クライアント装置４２０からサーバ装置４１０への通信量を削減することもできる。

本発明の実施の形態による遠隔制御システムの構成を示すブロック図。 画像データ転送処理手順を示すフローチャート。 他の実施の形態による遠隔制御システムの構成を示すブロック図。 他の実施の形態による遠隔制御システムの構成を示すブロック図。 間引き制御情報の内容を示す説明図。 入力コマンド処理部の構成を示すブロック図。 第１の入力コマンド処理手順を示すフローチャート。 第２の入力コマンド処理手順を示すフローチャート。 他の実施の形態による第１の入力コマンド処理手順を示すフローチャート。 他の実施の形態による遠隔制御システムの構成を示すブロック図。

符号の説明

１０、２００、３００ 遠隔制御システム
２０、２１０、３１０ サーバ装置
３０、４２０ クライアント装置
４０ ネットワーク
５０、２４０、３４０ 表示画像生成部
６０、２５０ 表示画像送信部
８０ アプリケーション・プログラム
９０、２２０、３２０ オペレーティング・システム
１２０ 表示部
１３０ 入力デバイス
１５０、４４０ 入力コマンド処理部
４３０ アプリケーション状態格納部

Claims (16)

1. 端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制
   御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置におい
   て、
   前記制御命令と、前記制御命令が操作対象とするアプリケーション・プログラムと、前
   記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される前記
   制御命令に対する間引き処理方法とを関連付けて記憶する記憶手段と、
   前記端末装置から送信される複数の前記制御命令を受信する受信手段と、
   前記受信手段によって受信された前記制御命令の操作対象が、前記記憶手段に前記制御
   命令と関連付けて記憶された前記アプリケーション・プログラムである場合には、前記制
   御命令に関連付けて記憶された前記間引き処理方法を用いて、前記受信した複数の制御命
   令に対する間引き処理を実行する間引き処理手段と、
   前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生
   成する画像データ生成手段と、
   前記生成された前記画像データを前記端末装置に送信する送信手段と
   を備えることを特徴とするサーバ装置。
2. 前記制御命令は、
   前記端末装置の表示画面のうち、前記制御命令が入力された位置を示す位置情報を含み
   、
   前記間引き処理手段は、
   前記受信手段によって受信された前記制御命令に含まれる前記位置情報を用いて、前記
   制御命令が操作対象とする前記アプリケーション・プログラムを特定する
   ことを特徴とする請求項１記載のサーバ装置。
3. 前記間引き処理手段は、
   前記受信手段によって前記制御命令が受信されたタイミングに、前記制御命令の操作対
   象となっている前記アプリケーション・プログラムを、前記受信された前記制御命令の操
   作対象とする
   ことを特徴とする請求項１記載のサーバ装置。
4. 前記間引き処理手段は、
   過去に前記間引き処理が実行された前記制御命令と、前記制御命令に対する前記間引き
   処理を実行することにより得られる処理結果とが対応付けられた履歴情報を生成し、前記
   生成した前記履歴情報を用いて、前記記憶手段に前記制御命令と関連付けて記憶された前
   記間引き処理方法を変更する
   ことを特徴とする請求項１記載のサーバ装置。
5. 前記間引き処理手段は、
   ユーザの入力操作に応じて前記記憶手段に記憶された内容を変更する
   ことを特徴とする請求項１記載のサーバ装置。
6. 端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制
   御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置におい
   て、
   前記制御命令と、前記端末装置の表示画面のうち前記制御命令が操作対象とする表示領
   域と、前記表示領域のサイズに基づいて設定される前記制御命令に対する間引き処理方法
   とを関連付けて記憶する記憶手段と、
   前記端末装置から送信される複数の前記制御命令を受信する受信手段と、
   前記受信手段によって受信された前記制御命令の操作対象が、前記記憶手段に前記制御
   命令と関連付けて記憶された前記表示領域である場合には、前記制御命令に関連付けて記
   憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理
   を実行する間引き処理手段と、
   前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生
   成する画像データ生成手段と、
   前記生成された前記画像データを前記端末装置に送信する送信手段と
   を備えることを特徴とするサーバ装置。
7. 前記制御命令は、
   前記端末装置の前記表示画面のうち、前記制御命令が入力された位置を示す位置情報を
   含み、
   前記間引き処理手段は、
   前記受信手段によって受信された前記制御命令に含まれる前記位置情報を用いて、前記
   制御命令が操作対象とする前記表示領域を特定する
   ことを特徴とする請求項６記載のサーバ装置。
8. 前記間引き処理手段は、
   前記受信手段によって前記制御命令が受信されたタイミングに、前記制御命令の操作対
   象となっている前記表示領域を、前記受信された前記制御命令の操作対象とする
   ことを特徴とする請求項６記載のサーバ装置。
9. 前記間引き処理手段は、
   過去に前記間引き処理が実行された前記制御命令と、前記制御命令に対する前記間引き
   処理を実行することにより得られる処理結果とが対応付けられた履歴情報を生成し、前記
   生成した前記履歴情報を用いて、前記記憶手段に前記制御命令と関連付けて記憶された前
   記間引き処理方法を変更する
   ことを特徴とする請求項６記載のサーバ装置。
10. 前記間引き処理手段は、
    ユーザの入力操作に応じて前記記憶手段に記憶された内容を変更する
    ことを特徴とする請求項６記載のサーバ装置。
11. 端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制
    御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御
    命令処理方法において、
    前記制御命令と、前記制御命令が操作対象とするアプリケーション・プログラムと、前
    記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される前記
    制御命令に対する間引き処理方法とを関連付けて記憶手段に記憶するステップと、
    前記端末装置から送信される複数の前記制御命令を受信するステップと、
    前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて
    記憶された前記アプリケーション・プログラムである場合には、前記制御命令に関連付け
    て記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き
    処理を実行するステップと、
    前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生
    成するステップと、
    前記生成された前記画像データを前記端末装置に送信するステップと
    を備えることを特徴とするサーバ装置の制御命令処理方法。
12. 端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制
    御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御
    命令処理方法において、
    前記制御命令と、前記端末装置の表示画面のうち前記制御命令が操作対象とする表示領
    域と、前記表示領域のサイズに基づいて設定される前記制御命令に対する間引き処理方法
    とを関連付けて記憶手段に記憶するステップと、
    前記端末装置から送信される複数の前記制御命令を受信するステップと、
    前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて
    記憶された前記表示領域である場合には、前記制御命令に関連付けて記憶された前記間引
    き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行するステッ
    プと、
    前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生
    成するステップと、
    前記生成された前記画像データを前記端末装置に送信するステップと
    を備えることを特徴とするサーバ装置の制御命令処理方法。
13. 端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制
    御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御
    命令処理プログラムにおいて、
    前記制御命令と、前記制御命令が操作対象とするアプリケーション・プログラムと、前
    記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される前記
    制御命令に対する間引き処理方法とを関連付けて記憶手段に記憶するステップと、
    前記端末装置から送信される複数の前記制御命令を受信するステップと、
    前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて
    記憶された前記アプリケーション・プログラムである場合には、前記制御命令に関連付け
    て記憶された前記間引き処理方法を用いて、前記受信した複数の制御命令に対する間引き
    処理を実行するステップと、
    前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生
    成するステップと、
    前記生成された前記画像データを前記端末装置に送信するステップと
    を備えることを特徴とするサーバ装置の制御命令処理プログラム。
14. 端末装置からネットワークを介して送信される制御命令を受信し、当該受信した前記制
    御命令に応じて前記端末装置に表示する画像データを生成して送信するサーバ装置の制御
    命令処理プログラムにおいて、
    前記制御命令と、前記端末装置の表示画面のうち前記制御命令が操作対象とする表示領
    域と、前記表示領域のサイズに基づいて設定される前記制御命令に対する間引き処理方法
    とを関連付けて記憶手段に記憶するステップと、
    前記端末装置から送信される複数の前記制御命令を受信するステップと、
    前記受信された前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて
    記憶された前記表示領域である場合には、前記制御命令に関連付けて記憶された前記間引
    き処理方法を用いて、前記受信した複数の制御命令に対する間引き処理を実行するステッ
    プと、
    前記間引き処理後の前記制御命令に応じて前記端末装置に表示する前記画像データを生
    成するステップと、
    前記生成された前記画像データを前記端末装置に送信するステップと
    を備えることを特徴とするサーバ装置の制御命令処理プログラム。
15. 入力手段から入力された制御命令をネットワークを介してサーバ装置に送信し、前記サ
    ーバ装置から前記ネットワークを介して送信される画像データを受信して表示する端末装
    置において、
    前記サーバ装置から前記ネットワークを介して送信される、アプリケーション・プログ
    ラムの動作状態を示すアプリケーション状態情報を記憶するアプリケーション状態記憶手
    段と、
    前記制御命令と、前記制御命令が操作対象とする前記アプリケーション・プログラムと
    、前記アプリケーション・プログラムにより描画される領域の種別に基づいて設定される
    前記制御命令に対する間引き処理方法とを関連付けて記憶する記憶手段と、
    複数の前記制御命令を入力するための入力手段と、
    前記アプリケーション状態記憶手段に記憶されている前記アプリケーション状態情報を
    用いて、前記入力手段によって入力された前記制御命令の操作対象を特定し、前記特定さ
    れた前記制御命令の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前
    記アプリケーション・プログラムである場合には、前記制御命令に関連付けて記憶された
    前記間引き処理方法を用いて、前記入力された複数の制御命令に対する間引き処理を実行
    する間引き処理手段と、
    前記間引き処理後の前記制御命令を前記ネットワークを介して前記サーバ装置に送信す
    る送信手段と
    を備えることを特徴とする端末装置。
16. 入力手段から入力された制御命令をネットワークを介してサーバ装置に送信し、前記サ
    ーバ装置から前記ネットワークを介して送信される画像データを受信して表示する端末装
    置において、
    前記サーバ装置から前記ネットワークを介して送信される、前記端末装置の表示画面を
    形成する各表示領域の表示状態を示す表示領域状態情報を記憶する表示領域状態記憶手段
    と、
    前記制御命令と、前記制御命令が操作対象とする前記表示領域と、前記表示領域のサイ
    ズに基づいて設定される前記制御命令に対する間引き処理方法とを関連付けて記憶する記
    憶手段と、
    複数の前記制御命令を入力するための入力手段と、
    前記表示領域状態記憶手段に記憶されている前記表示領域状態情報を用いて、前記入力
    手段によって入力された前記制御命令の操作対象を特定し、前記特定された前記制御命令
    の操作対象が、前記記憶手段に前記制御命令と関連付けて記憶された前記表示領域である
    場合には、前記制御命令に関連付けて記憶された前記間引き処理方法を用いて、前記入力
    された複数の制御命令に対する間引き処理を実行する間引き処理手段と、
    前記間引き処理後の前記制御命令を前記ネットワークを介して前記サーバ装置に送信す
    る送信手段と
    を備えることを特徴とする端末装置。

Images