JP6146440B2 - 表示端末装置及びプログラム - Google Patents

Description

本発明は、表示端末装置及びプログラムに関する。

従来のサーバ・クライアント・システムにおいて、例えばクライアント装置からのリモート操作によりサーバ装置側で所望のアプリケーション・プログラムを起動実行させるサーバベース・コンピューティング・システム(ＳＢＣ;Server Based Computing system)がある。このＳＢＣシステムでは、クライアント装置の操作入力に応じてサーバ装置側で処理され更新される表示用の描画データが、該サーバ装置からその描画更新の都度クライアント装置へと送信転送されて表示される。これによりクライアント装置は、表示や入力など最低限の機能のみを持てば良く、アプリケーションなどの資源はサーバ装置で一元管理するものである。

このようにＳＢＣシステムは、サーバ装置上でアプリケーション・プログラムが実行されるので、クライアント装置の性能が低い場合にも高機能なコンピューティング環境を実現可能である。

一方でＳＢＣシステムは、クライアント装置からの要求に応じた表示用の描画データが、サーバ装置により生成あるいは取得されて前記クライアント装置へと転送されて表示されるものである。このため、前記描画データが更新される都度そのクライアント装置への転送処理が生じていたのでは、通信頻度やそのデータ量も多くなり、クライアント装置から見た描画更新の操作レスポンスも改善し難いものである。

情報処理端末と無線ネットワークを介して接続された画像表示装置において、通信部で受信した画像を表示させる際に、当該受信した動画像データに含まれる画像フレームのうち、所定のフレームを、ユーザ操作に応じた制御情報を検出して間引き、このフレームの間引かれた動画像データとアプリケーション画面データとから表示用の合成画像を生成して表示部に表示させる。これにより、ユーザ操作に対するレスポンスを向上させた画像表示装置が考えられている（例えば、特許文献１参照。）。

特開２００８−０４０３４７号公報

前記従来の画像表示装置では、ユーザ操作に応じた制御情報を検出して、動画像データに含まれる画像フレームのうちの所定のフレームの間引き処理を開始し、このフレームの間引かれた動画像データとアプリケーション画面データとから表示用の合成画像を生成して表示部に表示させることで、画質の劣化はあるものの、処理の高速化、操作レスポンスの向上を図ることができる。

しかしながら、ＳＢＣシステムのクライアント装置において、特に、サーバ装置から受信される描画データの更新頻度が高いときには、当該描画データの復号・表示処理が追従しないことがある。

特に、ＧＵＩ(Graphic User Interface)環境でのアイコンやウインドウなどのオブジェクトの移動、拡大、縮小操作に応じて、サーバ装置により逐次受信した描画データが、処理しきれずに尾引きのような表示になったり、作業完了後の表示を遅らせたり、画面を乱したりする問題がある。

本発明は、快適な表示レスポンスを得ることが可能な表示端末装置を提供することを目的とする。

請求項１は、画像を取得して表示する表示端末装置であって、表示対象となる第１画像を取得した際は、新たな第２画像を取得する前に所定時間経過したか否かを判別する第１判別手段と、前記第１画像の取得後にあって前記所定時間経過する前に前記第２画像を取得した際は、当該第２画像の表示範囲が前記第１画像を覆い隠すか否かを判別する第２判別手段と、前記第１判別手段で前記所定時間経過したと判別された際は、前記第１画像を表示制御し、前記所定時間経過する前に前記第２画像を取得した際は、前記第２判別手段による判別結果に応じて、前記第１画像の表示を省略するか、省略せずに表示するかを制御する表示制御手段と、を具備したことを特徴とする。

本発明によれば、快適な表示レスポンスを得ることが可能となる。

本発明の実施形態に係るサーバベース・コンピューティング・システムの構成を示すブロック図。 前記サーバベース・コンピューティング・システムにおけるサーバ装置１１の回路構成を示すブロック図。 前記サーバベース・コンピューティング・システムにおけるクライアント装置１２（１２ａ，１２ｂ，１２ｃ）の回路構成を示すブロック図。 前記サーバ装置１１からクライアント装置１２へ転送される画面描画データのデータフォーマットを示す図。 前記クライアント装置１２のプログラム記憶領域３４ａに記憶された接続アプリケーションを主とするクライアント制御プログラムにより実行される機能を示す図。 前記サーバベース・コンピューティング・システムのクライアント装置１２におけるデータ受信から画面描画までの制御処理を示すフローチャート。 前記クライアント装置１２の制御処理における前回受信された描画データｎ−１に対する今回受信された描画データｎの上書き判定状態の具体例を示す図。 前記クライアント装置１２の制御処理に伴う上書き判定処理を示すフローチャート。 前記クライアント装置１２の制御処理に基づき表示されたウインドウ領域Ｇの拡大操作に伴う表示の更新動作を示す図。 前記図９におけるウインドウ領域Ｇの拡大操作に伴いサーバ装置１１から順次受信されて受信バッファ３２ａに一時記憶される各画面描画データの転送ヘッダを示す図。 前記図９におけるウインドウ領域Ｇの拡大操作に伴いサーバ装置１１から順次受信される各画面描画データの描画処理の時間的流れを示す図。 前記クライアント装置１２の制御処理に基づき表示されたフォルダアイコンＦの移動操作に伴う表示の更新動作を示す図。 前記図１２におけるフォルダアイコンＦの移動操作に伴いサーバ装置１１から順次受信される各画面描画データの描画処理の時間的流れを示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の実施形態に係るサーバベース・コンピューティング・システムの構成を示すブロック図である。

このサーバベース・コンピューティング・システムは、サーバ装置１１および複数のクライアント装置１２（１２ａ，１２ｂ，１２ｃ），…を、ＬＡＮ(Local Area Network)やＷＡＮ(Wide Area Network)からなるネットワーク１３上に接続して構成される。

サーバ装置１１は、例えばネットワーク１３上に有線接続されたパーソナルコンピュータである。クライアント装置１２として、１２ａはネットワーク１３上に有線接続されたパーソナルコンピュータ、１２ｂは同ネットワークＮ上のアクセスポイントＡＰを介して無線接続された携帯電話、１２ｃは同アクセスポイントＡＰを介して無線接続された携帯情報端末（ＰＤＡ）である。

サーバ装置１１は、文書作成処理プログラム，表計算処理プログラム，住所録プログラム，メモ帳プログラム，プレゼン資料作成プログラム，メール処理プログラム，インターネット接続処理プログラム、Ｗｅｂ表示プログラム（Ｗｅｂブラウザ）など、種々のアプリケーション・プログラムを有し、当該サーバ装置１１に接続されたクライアント装置１２（１２ａ，１２ｂ，１２ｃ），…からの操作入力（入力イベント）信号に応じて起動しその処理を実行する。

このサーバ装置１１において、クライアント装置１２，…からの操作入力信号に応じたアプリケーション・プログラムの実行に伴い生成されたクライアント用の画面描画データは、所定の方式で符号化され、その描画位置とサイズなど記述した転送ヘッダと共にアクセス元のクライアント装置１２，…へ送信（転送）される。

そして、クライアント装置１２，…では、前記サーバ装置１１から転送された画面描画データがその転送ヘッダに基づき復号化され、表示部３６に表示される。

図２は、前記サーバベース・コンピューティング・システムにおけるサーバ装置１１の回路構成を示すブロック図である。

サーバ装置１１は、システムバス２０に接続したコンピュータとしてのＣＰＵ２１を備え、このＣＰＵ２１には、当該バス２０を介してＲＡＭからなるメモリ２２、フレームバッファＲＡＭ２３、ハードディスクやフラッシュＲＯＭからなる記憶部２４、入力部２５、表示部２６、クライアント装置１２との通信信制御部２７、そして、外部記憶媒体２８ａからデータを読み取る記憶媒体読取り部２８が接続される。

ＣＰＵ２１は、記憶部２４内に予め記憶されている、あるいは外部記憶媒体２８ａから記憶部２４に読み込まれて記憶されている、あるいはネットワーク１３上のプログラムサーバから記憶部２４に読み込まれて記憶されているシステムプログラムや種々のアプリケーション・プログラム（サーバ制御プログラム）に従ってメモリ２２をワークエリアとし回路各部の動作を制御するもので、入力部２５からのキー入力信号や通信制御部２７を介して受信されるクライアント装置１２，…からのユーザ操作（入力イベント）に応じた処理指令信号などに応じて前記種々のプログラムを起動・実行する。

このサーバ装置１１において、クライアント装置１２からの入力イベント信号に応じて起動・実行されるアプリケーション・プログラムに従い生成された種々のデータは、例えばそのユーザＩＤに対応付けられて記憶部２４に記憶される。またクライアント表示用の画面描画データは、メモリ２２内に各クライアント装置１２，…に対応させて用意された仮想フレームバッファ２２ｆ，…に書き込まれる。そして、前回画面描画データと今回画面描画データとの画像変化部分（差分画像）を抽出した転送用描画データに変換され、通信制御部２７からクライアント装置１２へ転送されて表示出力される。

メモリ２２には、各クライアント装置１２（１２ａ，１２ｂ，１２ｃ…）毎に、例えばユーザＩＤ等によって関連付けられた複数の仮想フレームバッファ２２ｆが設けられている。

フレームバッファＲＡＭ２３は、本サーバ装置１１自身に備えられた表示部２６の画面に表示する描画データをフレーム単位で保持するためのバッファメモリである。

記憶部２４には、ＯＳ（Operating System）プログラムの他、クライアント装置１２，…からの各種の入力イベントに応じた仮想画面の描画データを、前記仮想フレームバッファ２２ｆ，…に描画して生成するための各種の描画アプリケーション・プログラム２４ａ、前記仮想フレームバッファ２２ｆ，…に生成された仮想画面の描画データを、当該各仮想フレームバッファ２２ｆ，…に対応するクライアント装置１２，…へ転送するための画面転送アプリケーション・プログラム２４ｂなどが記憶される。

入力部２５は、例えばキーボード、マウスなどの入力デバイスからなり、オペレータが各種データの入力や指示を行う場合に用いられる。

表示部２６は、各種データを表示するものであり、例えばＣＲＴ（Cathode-ray tube）やＬＣＤ（Liquid Crystal Display）などからなる。

通信制御部２７は、ネットワーク１３を介して外部の端末との間で通信処理を行うためのものであり、ここではクライアント装置１２から送信される入力イベントデータなどの受信処理や、本サーバ装置１１側で生成した描画データの送信処理などを行う。

記憶媒体読取り部２８は、外部記憶媒体２８ａに記録されたデータを読み取る。外部記憶媒体２８ａとしては、例えば磁気ディスク、光ディスク、フレシキブルディスク、メモリカードなどがある。

図３は、前記サーバベース・コンピューティング・システムにおけるクライアント装置１２（１２ａ，１２ｂ，１２ｃ）の回路構成を示すブロック図である。

クライアント装置１２は、システムバス３０に接続したコンピュータとしてのＣＰＵ３１を備え、このＣＰＵ３１には、当該バス３０を介してＲＡＭからなるメモリ３２、フレームバッファＲＡＭ３３、フラッシュＲＯＭからなる記憶部３４、入力部３５、表示部３６、通信制御部３７、ＲＴＣ(Real Time Clock)３８、そして外部記憶媒体３９ａからデータを読み取る記憶媒体読取り部３９が接続される。

前記メモリ３２は、ＣＰＵ３１の処理動作に必要な各種データを記憶し、サーバ装置１１から受信した受信データの転送ヘッダと描画データとを受信バッファ３２ａに記憶する。

フレームバッファＲＡＭ３３は、クライアント装置１２自身に備えられた表示部３６の画面に表示する描画データをフレーム単位で保持するためのバッファメモリである。このフレームバッファＲＡＭ３３には、前記サーバ装置１１のフレームバッファ２２ｆに生成されて本クライアント装置１２に転送され受信バッファ３２ａに記憶された画面描画データが記憶される。

記憶部３４には、プログラム記憶領域３４ａが設けられ、ＯＳ（Operating System）プログラムとサーバ装置１１との画面転送を行う接続アプリケーション・プログラムを主とした、クライアント装置１２の動作を制御するためのクライアント制御プログラムが記憶される。

ＣＰＵ３１は、記憶部３４内のプログラム記憶領域３４ａに予め記憶されている、あるいは外部記憶媒体３９ａから記憶部３４に読み込まれた、あるいはネットワーク１３上のプログラムサーバから記憶部３４に読み込まれたシステムプログラム（クライアント制御プログラム）に従ってメモリ３２をワークエリアとし回路各部の動作を制御するもので、入力部３５からのユーザ操作に伴う入力信号や通信制御部３７を介して受信されるサーバ装置１１からの受信データ（転送ヘッダ＋描画データ）などに応じて前記クライアント制御プログラムが起動され実行される。

入力部３５は、例えばキーボード、マウス、タッチパネルなどの入力デバイスからなり、ユーザが各種データの入力や指示を行う場合に用いられる。

表示部３６は、各種データを表示するものであり、例えばＬＣＤ（Liquid Crystal Display）やＥＬディスプレイなどからなる。

通信制御部３７は、ネットワーク１３を介して外部の端末との間で通信処理を行うためのものであり、ここではユーザ操作に応じた入力イベントデータなどの送信処理や、前記サーバ装置１１から転送された画面描画データ（転送ヘッダ＋描画データ）の受信処理などを行う。

このサーバベース・コンピューティング・システムでは、クライアント装置１２からのキー入力などのイベントに応じてサーバ装置１１にてフレームバッファ２２ｆ上に生成された画面描画データは、当該画面描画データが生成更新される毎にその描画更新後に画像変化のあった領域が差分画像として抽出され、クライアント装置１２へ転送される。そして、当該クライアント装置１２にて既にフレームバッファＲＡＭ３３に記憶され読み出されて表示されていた描画データに対し、その画像変化の領域のみ順次書き替えられて表示更新されるものである。これにより、前記サーバ装置１１からクライアント装置１２へのデータ転送量を大幅に削減している。

図４は、前記サーバ装置１１からクライアント装置１２へ転送される画面描画データのデータフォーマットを示す図である。

先ず、図４（Ａ）に示すように、サーバ装置１１からクライアント装置１２へ転送される画面描画データは、転送ヘッダと描画データとに分かれる。

転送ヘッダには次の情報が記述されている。

送信先であるクライアント装置１２の［ＩＰアドレス］、接続しているユーザの［ユーザＩＤ］、描画データの処理番号を示す［ＤＡＴＡ＿ＮＯ］と、画面上のｘ座標値［Ｘ］、ｙ座標値［Ｙ］、幅［Ｗ］、高さ［Ｈ］、画像符号化手法の種別［ＥＮＣ］、例えばＰＮＧ（Portable Network Graphics），ＪＰＥＧ（Joint Photographic Experts Group）、ＲＬＥ（Run Length Encoded）などが、描画データ毎に記述されている。

描画データは、サーバ装置１１の描画アプリケーションが一回の処理で画面更新した領域の描画データを符号化して形で転送される。

クライアント装置１２に受信された画面描画データには、図４（Ｂ）に示すように、その転送ヘッダの前にＲＴＣ３８から取得した受信時刻が付加され、前記受信バッファ３２ａに記憶される。

図５は、前記クライアント装置１２のプログラム記憶領域３４ａに記憶された接続アプリケーションを主とするクライアント制御プログラムにより実行される機能を示す図である。

クライアント制御プログラム（３４ａ）は、サーバ装置１１への接続を行う接続機能（Ｐａ）と、サーバ装置１１からのデータ受信を行うデータ受信機能（Ｐｅ）と、クライアント装置１２側のキー入力やポインティングデバイスやマウス等によるイベント入力をサーバ装置１１へ送信するキーイベントの送信機能（Ｐｈ）と、受信データに受信時刻を付加する機能（Ｐｆ）と、受信データの受信バッファ３２ａへの書き込み・削除を行う受信バッファ管理機能（Ｐｂ）と、受信データ内の転送ヘッダに記述された座標情報（Ｘ、Ｙ、Ｗ、Ｈ）より受信バッファ３２ａ内の旧受信データと新受信データ間での領域の上書き状況を判断する上書き判定機能（Ｐｃ）と、旧受信データを受信後に一定時間を超えても新受信データを受信しない場合に行うタイムアウト判定機能（Ｐｇ）と、指定した受信データの復号と描画を行い表示するデータの復号・表示機能（Ｐｄ）とを有する。

次に、前記構成のサーバベース・コンピューティング・システムの動作について説明する。

図６は、前記サーバベース・コンピューティング・システムのクライアント装置１２におけるデータ受信から画面描画までの制御処理を示すフローチャートである。

このクライアント制御処理のフローチャートにおいて、各ステップＳｎに付記された（Ｐａ）〜（Ｐｈ）は、前記図５で示したクライアント制御プログラム（３４ａ）が有する機能を示し、当該ステップＳｎを実行する機能を示す。

クライアント装置１２でのユーザ操作に応じた入力イベントの送信に応答して、サーバ装置１１の描画アプリケーション・プログラム２４ａにより生成された画面描画データ（図４（Ａ）参照）が受信されると、受信カウンタｎが＋１カウントアップされる（ステップＳ１）。

すると、前記受信データｎ（画面描画データ）の転送ヘッダｎと描画データｎの読み込みが開始され（ステップＳ２）、図４（Ｂ）に示すように、転送ヘッダｎの先頭に、ＲＴＣ３８により取得された現在時刻が受信時刻として付加される（ステップＳ３）。

そして、この受信時刻の付加された受信データｎが受信バッファ３２ａに格納される（ステップＳ４）。

ここで、前記受信バッファ３２ａに格納された今回の受信データｎの転送ヘッダｎと前回の受信データｎ−１の転送ヘッダｎ−１との比較処理が実行される（ステップＳ５）。

この際、前記受信バッファ３２ａには、受信データが今回受信された１つの受信データｎしか存在しないと判断された場合には（ステップＳ６（＝１））、前記サーバ装置１１からの次の画面描画データの受信待機状態になる（ステップＳ７）。

そして、この画面描画データの受信待機中において（ステップＳ７（無））、前記受信バッファ３２ａに、１以上の受信データ、つまり今回受信された受信データｎが存在していると判断される状態では（ステップＳ８（≧１））、当該受信データｎの先頭に付加された受信時刻からの経過時間Δｔｉｍｅが、予め設定された時間ｔｉｍｅｏｕｔ（例えば２０ｍｓ）を超えたか否か判断される（ステップＳ９）。

ここで、前記受信バッファ３２ａに格納された受信データｎについて、その受信時刻からの経過時間Δｔｉｍｅが、予め設定された時間ｔｉｍｅｏｕｔを超えないと判断される状態では（ステップＳ９（Δｔｉｍｅ≦ｔｉｍｅｏｕｔ））、前記サーバ装置１１からの次の画面描画データの受信待機状態が維持される（ステップＳ７）。

そして、前記次の画面描画データの受信待機中において（ステップＳ７（無））、前記受信バッファ３２ａに格納された受信データｎについて、その受信時刻からの経過時間Δｔｉｍｅが、予め設定された時間ｔｉｍｅｏｕｔを超えたと判断された場合には（ステップＳ９（Δｔｉｍｅ＞ｔｉｍｅｏｕｔ））、当該受信データｎの転送ヘッダｎと描画データｎが復号化処理される。そして、転送ヘッダｎに記述されているｘ座標値［Ｘ］、ｙ座標値［Ｙ］、幅［Ｗ］、高さ［Ｈ］に従って、描画データｎがフレームバッファＲＡＭ３３の画面描画領域に描画され、表示部３６の表示画面に表示される（ステップＳ１０）。

すると、この表示された転送ヘッダｎと描画データｎからなる受信データｎは、前記受信バッファ３２ａから削除され廃棄される（ステップＳ１１）。

そしてまた、前記サーバ装置１１からの次の画面描画データの受信待機状態になる（ステップＳ７（無）→Ｓ８（＝０）→Ｓ７）。

すなわち、ユーザ入力イベントに応じた画面描画データが、サーバ装置１１により生成されてクライアント装置１２に受信され、その受信時刻から予め設定された時間ｔｉｍｅｏｕｔまでに次の画面描画データが受信されない場合には、当該受信済みの画面描画データは、フレームバッファＲＡＭ３３に展開されて表示部３６に表示され、受信バッファ３２ａから廃棄される（ステップＳ１〜Ｓ１１）。

一方、前記受信バッファ３２ａに格納された受信データｎについて、その受信時刻からの経過時間Δｔｉｍｅが、予め設定された時間ｔｉｍｅｏｕｔ（例えば２０ｍｓ）を超えないと判断される状態で（ステップＳ９（Δｔｉｍｅ≦ｔｉｍｅｏｕｔ））、前記サーバ装置１１から次の画面描画データが受信されたと判断された場合には（ステップＳ７（有））、当該受信データの受信カウンタｎが＋１カウントアップされ（ステップＳ１）、同受信データの読み込みが開始されると共に（ステップＳ２）、同受信データｎの先頭に受信時刻が付加されて受信バッファ３２ａに格納される（ステップＳ３，Ｓ４）。

このとき、受信バッファ３２ａには、今回の受信データｎと前回の受信データｎ−１とが格納された状態になる。

ここで、前記受信バッファ３２ａに格納された今回の受信データｎの転送ヘッダｎと前回の受信データｎ−１の転送ヘッダｎ−１との比較処理が実行される（ステップＳ５）。

そして、前記受信バッファ３２ａには、前回ｎ−１と今回ｎの２つの受信データが存在すると判断されるので（ステップＳ６（＞１））、次の図７，図８を参照して説明する上書き判定処理へ移行される（ステップＳＡ）。

図７は、前記クライアント装置１２の制御処理における前回受信された描画データｎ−１に対する今回受信された描画データｎの上書き判定状態の具体例を示す図である。図面上の水平方向の右向きがｘ座標値の増加する向きで、垂直方向の下向きがｙ座標値の増加する向きである。

図８は、前記クライアント装置１２の制御処理に伴う上書き判定処理を示すフローチャートである。

例えば図７（Ａ）に示すように、始点座標（Ｘ１，Ｙ１）およびサイズ（Ｈ１×Ｗ１）を記述した転送ヘッダを有する画面描画データが、前回の受信データｎ−１として前記受信バッファ３２ａに格納されている状態で、図７（Ｂ）に示すように、始点座標（Ｘ２，Ｙ２）およびサイズ（Ｈ２×Ｗ２）を記述した転送ヘッダを有する画面描画データが、今回の受信データｎとして前記受信バッファ３２ａに追加で格納される。そして、各受信データｎ−１，ｎの描画データ同士の始点座標［（Ｘ１，Ｙ１）対（Ｘ２，Ｙ２）］およびサイズ［（Ｈ１×Ｗ１）対（Ｈ２×Ｗ２）］の関係が、図７（Ｃ）に示すような関係にある場合には、図８における上書き判定処理により次のように判定される。

つまり、今回の画面描画データｎ−１の始点座標（Ｘ２，Ｙ２）は、ＸＹ共に前回の画面描画データｎの始点座標（Ｘ１，Ｙ１）以下であると判断される（ステップＡ１（Ｙｅｓ）→Ａ２（Ｙｅｓ））。

さらに、今回の画面描画データｎ−１のサイズ（Ｈ２，Ｗ２）は、ＨＷ共に前回の画面描画データｎのサイズ（Ｈ１，Ｗ１）以上であると判断される（ステップＡ３（Ｙｅｓ）→Ａ４（Ｙｅｓ））。

すると、今回の画面描画データｎ−１は前回の画面描画データｎを覆い隠すと判定される（ステップＡ５）。

そして、前記上書き判定処理（ステップＳＡ）により、今回の画面描画データｎ−１が前回の画面描画データｎを覆い隠すと判定した場合には（ステップＳ１２（覆い隠す））、前記受信バッファ３２ａに格納されている前回の画面描画ｎ−１は、描画・表示処理されることなく削除されて廃棄される（ステップＳ１３）。

すると、前記受信バッファ３２ａに今回の画面描画データｎだけが存在する状態で、前記ステップＳ７〜Ｓ９によるタイムアウト判定を伴う次の画面描画データの受信待機状態になる（ステップＳ７（無）→Ｓ８（＞１）→Ｓ９（Δｔｉｍｅ≦ｔｉｍｅｏｕｔ）→Ｓ７）。

この後、前記受信バッファ３２ａに格納されている今回の受信データ（画面描画データ）ｎについて、その受信時刻からの経過時間Δｔｉｍｅが、予め設定された時間ｔｉｍｅｏｕｔを超えたと判断された場合には（ステップＳ９（Δｔｉｍｅ＞ｔｉｍｅｏｕｔ））、当該受信データｎの転送ヘッダｎと描画データｎが復号化処理される。そして、転送ヘッダｎに記述されているｘ座標値［Ｘ］、ｙ座標値［Ｙ］、幅［Ｗ］、高さ［Ｈ］に従って、描画データｎがフレームバッファＲＡＭ３３の画面描画領域に描画され、表示部３６の表示画面に表示される（ステップＳ１０）。

すると、この表示された転送ヘッダｎと描画データｎからなる受信データｎは、前記受信バッファ３２ａから削除され廃棄される（ステップＳ１１）。

一方、前記図８における上書き判定処理（ステップＳＡ）でのステップＡ１〜Ａ４の何れか１つの判断処理において（Ｎｏ）と判定された場合には、今回の画面描画データｎ−１は前回の画面描画データｎを覆い隠さないと判定される（ステップＡ６）。

そして、前記上書き判定処理（ステップＳＡ）により、今回の画面描画データｎ−１が前回の画面描画データｎを覆い隠さないと判定した場合には（ステップＳ１２（覆い隠さない））、当該前回の画面描画データの転送ヘッダｎ−１と描画データｎ−１が復号化処理される。そして、前回の転送ヘッダｎ−１に記述されているｘ座標値［Ｘ］、ｙ座標値［Ｙ］、幅［Ｗ］、高さ［Ｈ］に従って、前回の描画データｎ−１がフレームバッファＲＡＭ３３の画面描画領域に描画され、表示部３６の表示画面に表示される（ステップＳ１４）。

そして、前記描画・表示された前回の画面描画ｎ−１は、前記受信バッファ３２ａから削除され廃棄される（ステップＳ１３）。

すると、前記受信バッファ３２ａに今回の画面描画データｎだけが存在する状態で、前記ステップＳ７〜Ｓ９によるタイムアウト判定を伴う次の画面描画データの受信待機状態になる（ステップＳ７（無）→Ｓ８（＞１）→Ｓ９（Δｔｉｍｅ≦ｔｉｍｅｏｕｔ）→Ｓ７）。

すなわち、今回（前回）の画面描画データｎ−１が受信されてから予め設定されたタイムアウト時間（例えば２０ｍｓｅｃ）が経過するまでに、次の（今回）の画面描画データｎが受信された際に、当該今回の画面描画データｎが前回の画面描画データｎ−１を覆い隠すとして上書き判定された場合には、前回の画面描画データｎ−１は描画・表示処理されることなく削除・廃棄される。そして、今回の画面描画データｎがそのタイムアウト時間の経過後に描画・表示される。

このため、例えばクライアント装置１２における表示画面上のウインドウ領域を素早く拡大操作した際に、前記予め設定されたタイムアウト時間内で順次拡大更新されて受信されるウインドウ領域の画面描画データは、その拡大操作の途中において受信された画面描画データについて実際の描画・表示処理が実行されることなく廃棄される。そして、拡大操作の最後において受信された画面描画データについてのみ描画・表示される。よってこの場合には、ウインドウ領域の拡大操作の途中にその表示画面に乱れを生じさせることなく、拡大操作した最終的なウインドウ領域だけをレスポンス良く快適に表示させることができるようになる（図９〜図１１参照）。

また、例えばクライアント装置１２における表示画面上のアイコンを素早く移動操作した際に、前記予め設定されたタイムアウト時間内で順次受信される移動前のアイコン消去用の上書き画面描画データと、各移動位置でのアイコンの画面描画データとは、その移動操作の途中において受信されたアイコンの画面描画データについて実際の描画・表示処理が実行されることなく廃棄される。そして、移動操作の最後において受信されたアイコンの画面描画データが描画・表示される。よってこの場合には、アイコンの移動操作の途中にその表示画面に乱れを生じさせることなく、最終移動位置のアイコンだけをレスポンス良く快適に表示させることができるようになる（図１２〜図１３参照）。

図９は、前記クライアント装置１２の制御処理に基づき表示されたウインドウ領域Ｇの拡大操作に伴う表示の更新動作を示す図である。

図１０は、前記図９におけるウインドウ領域Ｇの拡大操作に伴いサーバ装置１１から順次受信されて受信バッファ３２ａに一時記憶される各画面描画データの転送ヘッダを示す図である。

図１１は、前記図９におけるウインドウ領域Ｇの拡大操作に伴いサーバ装置１１から順次受信される各画面描画データの描画処理の時間的流れを示す図である。

クライアント装置１２からのイベント入力に応じて、サーバ装置１１により生成された最初の画面描画データ（ウインドウ領域）Ｇが受信された際に、その受信時刻ｔ０から予め設定されたタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）までに次の画面描画データの受信がない場合は、当該タイムアウト時間（ｔｉｍｅｏｕｔ）の経過判定と同時に、図９（Ａ）に示すように、前記最初の画面描画データ（ウインドウ領域）Ｇが表示部３６に表示される。

ここで、前記初期表示されたウインドウ領域Ｇを対象に、図９（Ａ）〜（Ｃ）に示すように、Ｙ方向への連続的な拡大操作Ｑ１〜Ｑ３をした際に、サーバ装置１１により拡大生成された次のウインドウ領域Ｇ１が受信され、その受信時刻（ｔ０＋５００）から１ｍｓ経過後に、さらに拡大生成された次のウインドウ領域Ｇ２が受信されると、今回受信されたウインドウ領域Ｇ２は、前回受信されたウインドウ領域Ｇ１の受信時刻（ｔ０＋５００）からタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）内に受信され、且つウインドウ領域Ｇ１を覆い隠すと上書き判定されるので、前回受信されたウインドウ領域Ｇ１は表示されることなく、受信バッファ３２ａから廃棄される。

続いて、前記ウインドウ領域Ｇ２の受信時刻（ｔ０＋５０１）から２ｍｓ経過後に、さらに拡大生成された次のウインドウ領域Ｇ３が受信されると、今回受信されたウインドウ領域Ｇ３は、前回受信されたウインドウ領域Ｇ２の受信時刻（ｔ０＋５０１）からタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）内に受信され、且つウインドウ領域Ｇ２を覆い隠すと上書き判定されるので、前回受信されたウインドウ領域Ｇ２も表示されることなく、受信バッファ３２ａから廃棄される。

そして、前記ウインドウ領域Ｇ３の受信時刻（ｔ０＋５０３）からタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）までに次の画面描画データの受信がない場合は、当該タイムアウト時間（ｔ０＋５２３）の経過判定と同時に、図９（Ｄ）に示すように、今回受信された最終拡大サイズのウインドウ領域Ｇ３が表示部３６に表示される。

これにより、ウインドウ領域Ｇを素早く拡大操作した場合に、その拡大操作の途中において表示の遅れによる画面乱れを生じさせることなく、拡大操作した最終的なウインドウ領域Ｇ３だけをレスポンス良く快適に表示させることができる。

なお、便宜上、ウインドウ領域Ｇの拡大処理を４段階として説明したが、実際にはもっと多数の段階毎にサーバ装置１１とクライアント装置１２間で画面描画データの送受信処理が実行される。

また、前記ウインドウ領域Ｇの拡大操作をゆっくりと行った場合には、サーバ装置１１から拡大更新された画面描画データが順次受信される毎に、タイムアウト判定により各拡大更新されたウインドウ領域Ｇ１，Ｇ２，…が順次表示される。

図１２は、前記クライアント装置１２の制御処理に基づき表示されたフォルダアイコンＦの移動操作に伴う表示の更新動作を示す図である。

図１３は、前記図１２におけるフォルダアイコンＦの移動操作に伴いサーバ装置１１から順次受信される各画面描画データの描画処理の時間的流れを示す図である。

なお、フォルダアイコンＦなど、表示画面内のオブジェクトを移動させて表示させる処理は、移動前のオブジェクトの描画データを、当該オブジェクトに上書きして削除するための削除用描画データにより上書きして削除し、移動後の位置に同オブジェクトを表示することにより実行される。

クライアント装置１２からのイベント入力に応じて、サーバ装置１１により生成された最初の画面描画データ（フォルダアイコン）Ｆが受信された際に、その受信時刻ｔ０から予め設定されたタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）までに次の画面描画データの受信がない場合は、当該タイムアウト時間（ｔｉｍｅｏｕｔ）の経過判定と同時に、前記最初の画面描画データ（フォルダアイコン）Ｆが表示部３６に表示される。

この後、前記初期表示されたフォルダアイコンＦを対象に、連続的な移動操作Ｒ１〜Ｒ２をした際に、サーバ装置１１により生成された削除用アイコンＤが受信され、さらにその受信時刻（ｔ０＋５００）から１ｍｓ経過後に、移動されたフォルダアイコンＦ１が受信されると、今回受信されたフォルダアイコンＦ１は、前回受信された削除用アイコンＤの受信時刻（ｔ０＋５００）からタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）内に受信されたものの、前記フォルダアイコンＦを覆い隠さないと判定されるので、前回受信された削除用アイコンＤが表示されて前記移動前のフォルダアイコンＦが削除され、受信バッファ３２ａから廃棄される。

続いて、前記フォルダアイコンＦ１の受信時刻（ｔ０＋５０１）から２ｍｓ経過後に、当該フォルダアイコンＦ１を削除するための削除用アイコンＤ１が受信されると、今回受信された削除用アイコンＤ１は、前回受信されたフォルダアイコンＦ１の受信時刻（ｔ０＋５０１）からタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）内に受信され、且つフォルダアイコンＦ１を覆い隠すと上書き判定されるので、前回受信されたフォルダアイコンＦ１は表示されることなく、受信バッファ３２ａから廃棄される。

続いて、前記削除用アイコンＤ１の受信時刻（ｔ０＋５０３）から１ｍｓ経過後に、さらに移動されたフォルダアイコンＦ２が受信されると、今回受信されたフォルダアイコンＦ２は、前回受信された削除用アイコンＤ１の受信時刻（ｔ０＋５０３）からタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）内に受信されたものの、前記削除用アイコンＤ１を覆い隠さないと判定されるので、前回受信された削除用アイコンＤ１は表示され、受信バッファ３２ａから廃棄される。

そして、前記フォルダアイコンＦ２の受信時刻（ｔ０＋５０４）からタイムアウト時間（ｔｉｍｅｏｕｔ＝２０ｍｓ）までに次の画面描画データの受信がない場合は、当該タイムアウト時間（ｔ０＋５２４）の経過判定と同時に、今回受信された最終移動位置のフォルダアイコンＦ２が表示部３６に表示される。

これにより、アイコンなどのオブジェクトを素早く移動操作した場合に、その移動操作の途中において尾引き表示による画面乱れを生じさせることなく、移動操作した最終的なオブジェクトだけをレスポンス良く快適に表示させることができる。

なお、便宜上、フォルダアイコンＦの移動処理を３段階として説明したが、実際にはもっと多数の段階毎にサーバ装置１１とクライアント装置１２間で画面描画データの送受信処理が実行される。

また、前記フォルダアイコンＦの移動操作をゆっくりと行った場合には、サーバ装置１１から移動更新された画面描画データが順次受信される毎に、タイムアウト判定により各移動更新されたフォルダアイコンＦ１，Ｆ２，…が順次表示される。

したがって、前記構成のサーバベース・コンピューティング・システムによれば、クライアント装置１２からの連続的な入力イベントに応じて、サーバ装置１１の描画アプリケーション・プログラム２４ａにより順次生成更新される各画面描画データがクライアント装置１２に受信される場合に、受信された画面描画データの先頭にはその受信時刻が付加されて受信バッファ３２ａに格納される。そして、受信された画面描画データの受信時刻から一定時間内に次の画面描画データが受信されない場合には、その受信済みの画面描画データが表示され、同一定時間内に次の画面描画データが受信された場合には、前回受信された画面描画データの表示位置・サイズと今回受信された画面描画データの表示位置・サイズとが比較され、今回受信の描画データが前回受信の描画データを覆い隠すか否か上書き判定される。そして、今回受信の描画データが前回受信の描画データを覆い隠すと判定された場合には、当該前回受信の描画データは表示処理されずに受信バッファ３２ａから削除され、覆い隠さないと判定された場合には、同前回受信の描画データは表示処理されて受信バッファ３２ａから削除される。

このため、表示画面上のオブジェクトを素早く拡大または縮小操作したり、移動操作したりした場合には、その拡大／縮小／移動操作の途中にて順次更新されて受信される画面描画データの表示は省略され、最終操作あるいは操作速度をゆっくりした後の入力イベントに応じて受信された拡大／縮小／移動後の画面描画データだけ表示されるようになる。よって、同一オブジェクトの素早い拡大／縮小処理に伴う描画の書き替え遅れによる画面の乱れや、素早い移動処理に伴う描画の尾引きによる画面の乱れ無く、快適な表示レスポンスを得ることができる。

また、前述した通り、画面乱れの原因となる素早い拡大／縮小／移動の操作途中での画面描画データの表示処理を省くことにより、キー入力などユーザ入力レスポンスの向上、電力消費量の削減などを実現できる。

なお、前記実施形態において記載したサーバベース・コンピューティング・システムによる各処理の手法、すなわち、図６のフローチャートに示すクライアント装置１２の制御処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体３９ａに格納して配布することができる。そして、クライアント装置１２のコンピュータ（制御部３１）は、この外部記憶媒体３９ａに記憶されたプログラムを記憶装置（記憶部３４やメモリ３２）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した同一オブジェクトの書き換え操作に伴う無駄な画面描画データの表示省略機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（１３）上を伝送させることができ、この通信ネットワーク（１３）に接続されたコンピュータ装置（プログラムサーバ）から前記のプログラムデータを取り込んで記憶装置（記憶部３４やメモリ３２）に記憶させ、前述した同一オブジェクトの書き換え操作に伴う無駄な画面描画データの表示省略機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

１１ …サーバ装置
１２ …クライアント装置
１３ …通信ネットワーク
２０，３０…システムバス
２１，３１…ＣＰＵ
２２，３２…メモリ
２２ｆ…フレームバッファ
３２ａ…受信バッファ
２３，３３…フレームバッファＲＡＭ
２４，３４…記憶部
２４ａ…描画アプリケーション・プログラム
２４ｂ…画面転送アプリケーション・プログラム
３４ａ…プログラム記憶領域
２５，３５…入力部
２６，３６…表示部
２７，３７…通信制御部
２８，３９…記憶媒体読取り部
２８ａ，３９ａ…外部記憶媒体
３８ …ＲＴＣ

Claims (7)

1. 画像を取得して表示する表示端末装置であって、
   表示対象となる第１画像を取得した際は、新たな第２画像を取得する前に所定時間経過したか否かを判別する第１判別手段と、
   前記第１画像の取得後にあって前記所定時間経過する前に前記第２画像を取得した際は、当該第２画像の表示範囲が前記第１画像を覆い隠すか否かを判別する第２判別手段と、
   前記第１判別手段で前記所定時間経過したと判別された際は、前記第１画像を表示制御し、前記所定時間経過する前に前記第２画像を取得した際は、前記第２判別手段による判別結果に応じて、前記第１画像の表示を省略するか、省略せずに表示するかを制御する表示制御手段と、
   を具備したことを特徴とする表示端末装置。
2. 前記第２判別手段は、前記第１画像と前記第２画像との表示位置と表示サイズとを比較し、その比較結果に基づいて前記第２画像が前記第１画像を覆い隠すか否かを判別する、
   ことを特徴とする請求項１に記載の表示端末装置。
3. 前記各画像は、当該表示端末装置を使用するユーザによる画像内容の変更操作に基づいて順次生成され、その生成された画像を順次取得する、
   ことを特徴とする請求項１又は２に記載の表示端末装置。
4. 前記画像内容の変更操作は、前記画像の画像表示領域を順次拡大させる拡大指示あるいは順次縮小させる縮小指示の操作、あるいは前記画像の表示位置を順次変更するための移動指示操作、である、
   ことを特徴とする請求項３記載の表示端末装置。
5. 前記画像内容の変更操作は、前記画像としてのウインドウ表示領域の拡大指示あるいは縮小指示の操作、あるいは前記画像としてのアイコンの表示位置を変更するための移動指示操作、である、
   ことを特徴とする請求項３記載の表示端末装置。
6. 前記画像データは、ネットワークを介して接続されるサーバ装置において生成され、当該表示端末装置からの入力イベントに基づいて生成された画像を当該サーバ装置から順次受信することで取得する、
   ことを特徴とする請求項１〜５の何れかに記載の表示端末装置。
7. 画像を取得して表示する表示端末装置のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   表示対象となる第１画像を取得した際は、新たな第２画像を取得する前に所定時間経過したか否かを判別する第１判別手段、
   前記第１画像の取得後にあって前記所定時間経過する前に前記第２画像を取得した際は、当該第２画像の表示範囲が前記第１画像を覆い隠すか否かを判別する第２判別手段、
   前記第１判別手段で前記所定時間経過したと判別された際は、前記第１画像を表示制御し、前記所定時間経過する前に前記第２画像を取得した際は、前記第２判別手段による判別結果に応じて、前記第１画像の表示を省略するか、省略せずに表示するかを制御する表示制御手段、
   として機能させるようにしたプログラム。

Images