JP5201142B2 - 画面伝送システム、画面送信サーバ、画面伝送方法およびプログラム記録媒体 - Google Patents

Description

本発明は、送信する現画面の画面データの伝送データ量を削減する画面伝送技術に関し、特に、その画面伝送技術を用いた画面伝送システム、画面送信サーバ、画面伝送方法およびプログラム記録媒体に関する。

画面データを送信する場合、伝送データ量を削減するために、前画面に対して変化した差分領域の画像データだけを送信するということが行われている。例えば、特開昭６１−２５２７８４号公報では、差分領域の画像データと差分領域の位置情報とを受信側に送信するようにしている。また、特開平８−２２３４３０号公報では、差分領域の画像データを圧縮し、圧縮した画像データと差分領域の位置情報とを受信側に送信するようにしている。

上述した技術によれば、現画面の画面データを全て送信する場合に比較して、伝送データ量を削減することができる。しかし、差分領域の画像データだけを送信するにしても、通信帯域が狭ければ、差分領域の画像データの全てを送信することは困難になる。これらの技術においては、そのような事態は想定されておらず、それに対する対策が講じられていない。

一方、複数台の撮像装置と、複数台の画像表示装置とを備えた監視用システムにおいて、少ない労力で容易に監視を行えるようにする技術も知られている。例えば、特開平１０−２９０４４７号公報には、撮像装置毎に、出力される画像の時間的変化の大きさ求め、変化の大きい撮像装置から出力された画像を、変化の小さい撮像装置から出力された画像よりも強調して表示するようにした技術が開示されている。しかし、この特開平１０−２９０４４７号公報に記載されている技術は、差分領域の画像データを送信する技術ではない。

本発明の目的は、画面更新に与える影響を最小限に抑えて画面データを伝送する画面伝送システム、画面送信サーバおよび画面伝送方法を提供することにある。

本発明の観点によれば、画面伝送システムは、画面送信サーバと画面受信クライアントとを備える。前記画面送信サーバは、差分領域抽出部と、優先度決定部と、通信部とを具備する。差分領域抽出部は、前画面と現画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出する。優先度決定部は、差分領域抽出部で複数の差分領域が抽出された場合、差分領域毎に、その領域の画像データを送信する際の優先度を、予め定められた基準に基づいて決定する。通信部は、優先度決定部で決定された優先度が高い差分領域から優先的に画像データを前記画面受信クライアントへ送信する。画面受信クライアントは、画面送信サーバから受信した前記画像データに基づいて画面データを合成してクライアント画面に表示する。

本発明の他の観点によれば、画面送信サーバは、差分領域抽出部と、優先度決定部と、通信部とを具備する。差分領域抽出部は、前画面と現画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出する。優先度決定部は、差分領域抽出部で複数の差分領域が抽出された場合、差分領域毎に、その領域の画像データを送信する際の優先度を、予め定められた基準に基づいて決定する。通信部は、優先度決定部で決定された優先度が高い差分領域から優先的に画像データを送信する。

また、本発明の他の観点によれば、画面伝送方法は、差分領域抽出ステップと、優先度決定ステップと、通信ステップとを備える。差分領域抽出ステップでは、前画面と現画面とが比較され、前画面に対して変化した現画面上の領域が差分領域として抽出される。優先度決定ステップでは、差分領域抽出ステップで抽出された差分領域毎に、差分領域の画像データを送信する際の優先度が、予め定められた基準に基づいて決定される。通信ステップでは、優先度決定ステップで決定された優先度が高い差分領域から優先的に、画像データが送信される。

さらに、本発明の他の観点によれば、プログラムを記録するプログラム記録媒体は、コンピュータを、差分領域抽出手段、優先度決定手段、通信手段として機能させるプログラムを記録する。差分領域抽出手段は、前画面と現画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出する。優先度決定手段は、差分領域抽出手段で抽出された差分領域毎に、差分領域の画像データを送信する際の優先度を、予め定められた基準に基づいて決定する。通信手段は、優先度決定手段で決定された優先度が高い差分領域から優先的に画像データを送信する。

上記発明の目的、効果、特徴は、添付される図面と連携して実施の形態の記述から、より明らかになる。
図１は、本発明の第１の実施の形態に係る画面伝送システムの構成例を示すブロック図である。 図２Ａ〜２Ｃは、本発明の差分領域の概念を示す図である。 図３は、差分画面データリストの一例を示す図である。 図４は、画面符号データリストの一例を示す図である。 図５は、第１の実施の形態に係る画面伝送システムのハードウェア構成例を示すブロック図である。 図６は、第１の実施の形態に係る画面伝送システムの動作の概要を示す流れ図である。 図７は、画面伝送部の動作を示す流れ図である。 図８は、画面伝送部の動作を示す流れ図である。 図９は、画面受信クライアントの動作を示す流れ図である。 図１０は、送信画面データ記憶部に格納される前画面の画面データの一例を示す図である。 図１１は、画面データ記憶部に格納される現画面の画面データの一例を示す図である。 図１２は、前画面、現画面の画面データが図１０、図１１に示すものであるときの差分領域を示す図である。 図１３は、差分領域情報の一例を示す図である。 図１４Ａ〜１４Ｃは、優先度決定部の動作を説明するための図である。 図１５Ａ〜１５Ｄは、送信画面データ更新部の動作を説明するための図である。 図１６は、差分領域更新部の動作を説明するための画面データを示す図である。 図１７は、差分領域更新部の動作を説明するための図である。 図１８は、差分領域更新部の動作を説明するための図である。 図１９Ａ〜１９Ｃは、差分領域更新部の動作を説明するための図である。 図２０は、本発明の第２の実施の形態に係る画面伝送システムの構成例を示すブロック図である。 図２１は、画面送信サーバの動作を示す流れ図である。 図２２Ａ〜２２Ｂは、送信履歴を説明するための図である。 図２３Ａ〜２３Ｂは、重み生成部の動作を説明するための図である。 図２４Ａ〜２４Ｂは、重み生成部の動作を説明するための図である。 図２５Ａ〜２５Ｂは、重み生成部の動作を説明するための図である。 図２６は、本発明の第３の実施の形態に係る画面伝送システムの構成例を示すブロック図である。 図２７は、画面送信サーバの動作を示す流れ図である。 図２８Ａ〜２８Ｃは、優先度決定部の動作を説明するための図である。 図２９は、本発明の第４の実施の形態に係る画面伝送システムの構成例を示すブロック図である。 図３０は、画面送信サーバの動作を示す流れ図である。 図３１は、本発明の第５の実施の形態に係る画面伝送システムの構成例を示すブロック図である。 図３２は、変化情報密度付き画面符号データの一例を示す図である。 図３３は、画面送信サーバの動作を示す流れ図である。 図３４は、送信符号生成部の動作を示す流れ図である。 図３５は、画面受信クライアントの動作を示す流れ図である。

〔本発明の第１の実施の形態〕
図面を参照して、本発明の第１の実施の形態について詳細に説明する。図１は、本実施の形態に係る画面伝送システムの構成例を示すブロック図である。第１の実施の形態に係る画面伝送システムは、画面データを符号化して送信する画面送信サーバ１と、符号化された画面データを復号化して表示する画面受信クライアント３とを具備する。画面送信サーバ１と画面受信クライアント３とは、インターネット等のネットワーク２を介して接続され、互いに情報を送受する。画面送信サーバ１と画面受信クライアント３との間で送受される画面データは、画面内の各画像を表す画像データを含む。画像データは、例えば、画像内の位置を示す座標値と色成分毎の強度を表す画素値とを含む画素データを備える。

画面送信サーバ１は、画面生成部１０と、画面データ取得部１１と、画面伝送部１２と、イーサネット（登録商標）等のサーバ通信部１４と、送信画面データ更新部１３とを備える。画面生成部１０は、画面受信クライアント３へ送信する画面（現画面という場合もある）の画面データを生成する。画面データ取得部１１は、画面生成部１０で生成された画面データを取得し、画面伝送部１２に渡す。画面伝送部１２は、現画面上に存在する各差分領域を抽出し、抽出された差分領域の画像データを送信する際の優先度を決定する。画面伝送部１２は、各差分領域の画像データを符号化し、符号化された画像データを優先度に従ってサーバ通信部１４を介して画面受信クライアント３へ送信する。

このような機能を有する画面伝送部１２は、画面データ記憶部１２１と、差分領域抽出部１２２と、優先度決定部１２３と、送信画面データ記憶部１２４と、符号化部１２５とを備える。

画面データ記憶部１２１には、画面データ取得部１１によって現画面の画面データが書き込まれる。また、画面データ記憶部１２１に対するデータの書き込みを許可するか否かを示す書き込み制御情報が、送信画面データ更新部１３によって画面データ記憶部１２１に書き込まれる。画面データ取得部１１は、書き込み制御情報が書き込み許可を示しているときに、画面生成部１０から取得した現画面の画面データを画面データ記憶部１２１に書き込むことができる。

送信画面データ記憶部１２４には、送信画面データが格納される。送信画面データとは、画面送信サーバ１が画面受信クライアント３に対して送信したことになっている最新の画面データ（前画面の画面データ）である。即ち、送信画面データ記憶部１２４に記録されている画面データは、画面受信クライアント３が表示していると画面送信サーバ１が推定している画面のデータである。

差分領域抽出部１２２は、現画面の画面データと、前画面の画面データとに基づいて、前画面に対して画素値が変化した画素の塊（集合）が存在する現画面上の領域を差分領域として抽出する。現画面の画面データは、画面データ記憶部１２１に登録され、前画面の画面データは、送信画面データ記憶部１２４に登録されている。差分領域の形状は、矩形、円など任意の形状とすることができる。したがって、差分領域の形状を矩形とした場合には、例えば、左上、右下の頂点の座標値を差分領域情報とすることができる。差分領域抽出部１２２は、抽出された各差分領域を示す差分領域情報を出力する。

差分領域の形状が矩形である場合、図２Ａ〜２Ｃに示されるように、現画面（図２Ａ）、前画面（図２Ｂ）の二つの画面データが比較され、前画面に対して画素値が変化している画素の塊を包含した現画面上の矩形領域、即ち絵として異なっている画像データを包含する矩形領域が差分領域（図２Ｃ）となる。

図２Ａに示される画面データ４１および図２Ｂに示される画面データ４４の二つの画面データを比較すると、画面データ４１内の太陽を示す絵４２と画面データ４４内の雲を示す絵４５とが異なっている。また、画面データ４１内の家の窓を示す絵４３と画面データ４４内の家の窓を示す絵４６とが絵として異なっている。したがって、差分領域４７（絵４２および絵４５を内包する矩形領域）と差分領域４８（絵４３および絵４６を内包する矩形領域）とが画面データ４４の画面データ４１に対する差分領域となる。

優先度決定部１２３は、差分領域抽出部１２２から渡された各差分領域情報によって示される差分領域の画素データを画面データ記憶部１２１から取り込む。優先度決定部１２３は、入力した画素データに基づいて、各差分領域の変化情報密度を計算する。変化情報密度は、例えば、
変化情報密度＝変化量合計値÷差分領域の面積の2乗
により算出される。優先度決定部１２３は、この変化情報密度に基づいて優先度を決定する。その後、優先度決定部１２３は、差分領域毎に、算出された変化情報密度と、差分領域情報と、画素データとを組にした差分画面データをリスト化し、図３に示されるような差分画面データリストを生成する。差分画面データリストは、符号化部１２５に出力される。

変化情報密度とは、差分領域における画素値の変化の度合い、即ち差分領域内の画像データの絵としての変化の大きさを表す値である。変化情報密度は、例えば、差分領域の面積が大きい程小さくなり、差分領域内の各画素の画素値の前画面からの変化量の合計値が大きい程大きくなるような値を用いることができる。なお、本実施の形態では、変化情報密度そのものを、差分領域の画素データ（画像データ）を送信する際の優先度にしている。

符号化部１２５は、優先度決定部１２３から差分画面データリストが渡されると、画面符号データリストを生成する。画面符号データリストは、図４に示されるように、差分領域情報と符合データとを備える画面符号データを含む。画面符号データリストに含まれている各画面符号データは、それぞれ差分画面データリスト中の差分画面データと１対１に対応するものである。符号データは、対応する差分画面データ中の画素データをＪＰＥＧ等の画像符号化方式を用いて符号化して得られる。差分領域情報は、対応する差分画面データ中の差分領域情報と同じものである。

符号化部１２５は、画面符号データリストを生成すると、画面符号データリストに含まれている各画面符号データを優先度に基づいて順にサーバ通信部１４に渡す。即ち、符号化部１２５は、優先度を示す差分画面データ中の変化情報密度が大きいものから優先的に画面符号データをサーバ通信部１４内の送信バッファ１４１に書き込む。画面符号データリスト中の全ての画面符号データを送信バッファ１４１に書き込んで書き込み処理を終了する。或いは、サーバ通信部１４から書き込み不可通知を受けると書き込み処理を終了する。符号化部１２５は、書き込み処理を終了すると、送信バッファ１４１に書き込んだ差分領域情報を送信画面データ更新部１３に渡す。即ち、画面受信クライアント３に対して画面符号データを送信した差分領域（送信済み差分領域という場合もある）を示す差分領域情報を送信画面データ更新部１３に渡す。

サーバ通信部１４は、画面受信クライアント３へ送信する画面符号データを一時的に保持する送信バッファ１４１を備える。サーバ通信部１４は、送信バッファ１４１に書き込まれた画面符号データを書き込まれた順番で画面受信クライアント３へ送信する。送信バッファ１４１に空き容量がなくなると、サーバ通信部１４は、符号化部１２５に対して書き込み不可通知を発行する。なお、サーバ通信部１４と符号化部１２５とは、優先度決定部１２３において算出された優先度に基づいて差分領域の画面符号データを送信する通信手段を形成する。即ち、サーバ通信部１４と符号化部１２５とは、変化情報密度が大きい差分領域の画面符号データを優先的に送信する通信手段である。

送信済みの差分領域を示す差分領域情報を符号化部１２５から受け取ると、送信画面データ更新部１３は、この差分領域情報に基づいて画面データ記憶部１２１から送信済み差分領域の画素データを取り出す。更に、送信画面データ更新部１３は、差分領域情報によって特定される送信画面データ記憶部１２４中の画素データを、画面データ記憶部１２１から取り出した送信済み差分領域の画素データで置き換える。また、送信画面データ更新部１３は、上記の置き換え処理が終了すると、書き込み許可を示す書き込み制御情報を画面データ記憶部１２１に書き込む。即ち、送信画面データ更新部１３は、画面データ記憶部１２１を、符号化部１２５から差分領域情報を受け取ると書き込み禁止状態に、置き換え処理が終了すると書き込み許可状態にする。

次に、画面受信クライアント３の構成について説明する。

画面受信クライアント３は、画面送信サーバ１と通信するイーサネット等のクライアント通信部３３と、ディスプレイ等の画像データ表示装置である画面出力部３１と、画面作成部３２とを備える。

画面作成部３２は、画面送信サーバ１から送られてきた画面符号データに基づいて、画面出力部３１に対して出力する画面データを生成する。このような機能を有する画面作成部３２は、復号化部３２３と、差分領域更新部３２２と、表示画面データ記憶部３２１とを備えている。

復号化部３２３は、画面送信サーバ１から送られてきた画面符号データ（図４参照）内の符号データをＪＰＥＧ等の画像符号化方式を用いて復号化する。復号化より生成された画素データと画面符号データ中の差分領域情報とを備える受信側差分画面データは、差分領域更新部３２２に送られる。

差分領域更新部３２２は、復号化部３２３から渡された受信側差分画面データ中の差分領域情報によって、表示画面データ記憶部３２１に格納されている画素データの内の領域を特定する。差分領域更新部３２２は、特定された領域内の画素データを受信側差分画面データに含まれる画素データと入れ替える。

表示画面データ記憶部３２１は、画面出力部３１に対して出力する画面データを格納している。

図５は、本実施の形態に係る画面伝送システムのハードウェア構成例を示すブロック図である。画面伝送システムは、画面送信サーバ１を実現するパーソナルコンピュータ５０１と、画面受信クライアント３を実現するパーソナルコンピュータ５０３とを備える。両者はインターネット５０２を介して相互に接続されている。

画面送信サーバ１を実現するパーソナルコンピュータ５０１は、中央演算装置およびメモリを備える。メモリには中央演算装置を画面生成部１０、画面データ取得部１１、画面伝送部１２、送信画面データ更新部１３として機能させるためのオペレーティングシステムやアプリケーションプログラムといったプログラムが記録されている。更に、パーソナルコンピュータ５０１は、サーバ通信部１４として機能するイーサネットや、画面データ記憶部１２１および送信画面データ記憶部１２４として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備えている。

一方、画面受信クライアント３として機能するパーソナルコンピュータ５０３は、中央演算装置およびメモリを備える。メモリには中央演算装置を差分領域更新部３２２および復号化部３２３として機能させるためのオペレーティングシステムやアプリケーションプログラムといったプログラムが記録されている。更に、パーソナルコンピュータ５０３は、画面出力部３１として機能するディスプレイ装置と、クライアント通信部３３として機能するイーサネットと、表示画面データ記憶部３２１として機能するＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を有するグラフィックボードとを備えている。

次に、本実施の形態の動作について詳細に説明する。

先ず、図６に示される流れ図を参照して、本実施の形態に係る画面伝送システムの動作概要を説明する。

画面生成部１０は、画面データを生成すると、それを画面データ取得部１１に渡す（ステップＳ１００）。

画面データ取得部１１は、画面データを取得すると、画面伝送部１２の画面データ記憶部１２１に書き込む（ステップＳ２００）。このとき、画面データ取得部１１は、画面データ記憶部１２１に格納されている書き込み制御情報に基づいて書き込みが許可されているか否かを判定し、書き込みが許可されていれば、画面データを画面データ記憶部１２１に書き込む。書き込みが許可されていない場合は、書き込みが許可されるのを待って画面データを画面データ記憶部１２１に書き込む。即ち、現画面の画面データは、画面データ記憶部１２１に格納される。

画面伝送部１２は、画面データ記憶部１２１に書き込まれた現画面の画面データと、送信画面データ記憶部１２４に保持される送信画面の画面データとに基づいて差分領域を抽出し、差分画面データリスト（図３参照）を生成し、さらに、画面符号データリスト（画面符号データの集合：図４参照）を生成する。画面伝送部１２は、変化情報密度に基づいて画面符号データリスト中の画面符号データに優先度を付与し、優先度が大きいものから優先的に画面符号データをサーバ通信部１４へ送る（ステップＳ３００）。なお、ステップＳ３００の詳細については、後述する。

サーバ通信部１４は、画面伝送部１２から受け取った画面符号データを順に送信バッファ１４１に書き込み、書き込んだ順番でネットワーク２を介して画面受信クライアント３に送出する。また、サーバ通信部１４は、送信バッファ１４１に空き容量がなくなった場合は、画面伝送部１２に対して書き込み不可通知を発行する（ステップＳ５００）。

画面伝送部１２は、生成された画面符号データを全てサーバ通信部１４に送り終えるか、或いは、サーバ通信部１４から書き込み不可通知を受けると、送信済みの差分領域情報を送信画面データ更新部１３に対して渡す。送信画面データ更新部１３は、画面伝送部１２から送られてきた送信済みの差分領域を示す差分領域情報に基づいて、送信画面データを更新する（ステップＳ７００）。なお、送信画面データの更新動作の詳細は、後述する。

ステップＳ５００においてサーバ通信部１４から送出された画面符号データは、ネットワーク２を介して画面受信クライアント３へ送信される。画面受信クライアント３内のクライアント通信部３３は、受信した画面符号データを画面作成部３２に渡す（ステップＳ８１０）。

画面作成部３２は、取得した画面符号データに基づいて復号化して画面データを生成し、画面出力部３１に渡す（ステップＳ８３０）。画面生成部３２の詳細動作は、後述する。

画面出力部３１は、画面作成部３２が生成した画面データを表示する（ステップＳ８８０）。

次に、図７を参照して、画面データ生成部１０によって生成された画面データを画面データ記憶部１２１に格納するときの動作を詳細に説明する。画面データ取得部１１は、画面データを取得すると（ステップＳ１２０）、画面データ記憶部１２１から書き込み制御情報を読み出して、書き込み可能か否か確認する。書き込み制御情報が書き込み禁止状態を示しているとき（ステップＳ２１１）、画面データ取得部１１は、書き込み可能になるまで待つ。書き込み制御情報が書き込み可能状態を示すと（ステップＳ２１２）、取得した画面データを画面データ記憶部１２１に書き込む（ステップＳ２３０）。画面データを書き込み終わると、画面伝送部１２（差分領域抽出部１２２）へ書き込み終了を通知する（ステップＳ２４０）。画面伝送部１２（差分領域抽出部１２２）は、書き込み禁止を示す書き込み制御情報を画面データ記憶部１２１に書き込み（ステップＳ２５０）、画面データ記憶部１２１を書き込み禁止状態にする（ステップＳ２９０）。

次に、図８を参照して、画面伝送部１２の動作を詳細に説明する。

画面データが画面データ記憶部１２１に書き込まれると、差分領域抽出部１２２は、画面データ記憶部１２１に格納されている現画面の画面データと送信画面データ記憶部１２４に格納されている前画面の画面データとを比較し、差分領域の抽出処理を行う。差分領域を抽出できた場合は、抽出した差分領域毎の差分領域情報を生成する（ステップＳ３１０）。現画面と前画面に差がなければ、差分領域抽出部１２２は、画面データ記憶部１２１に書き込み許可を示す書き込み制御情報を書き込み、次の画面データ書き込みを待つ（ステップＳ３３１）。

差分領域情報が生成されると、優先度決定部１２３は、各差分領域情報によって特定される各差分領域の画素データを画面データ記憶部１２１から取得し、取得した画素データに基づいて各差分領域の変化情報密度を計算する。その後、優先度決定部１２３は、差分領域毎に、差分領域情報、画素データおよび変化情報密度を含む差分画面データをリスト化した差分画面データリスト（図３参照）を生成し、符号化部１２５に渡す（ステップＳ３３０）。

符号化部１２５は、差分画面データリストを受け取ると、差分画面データ中の画素データを符号化する。即ち、先ず、符号化部１２５は、差分画面データリスト中の差分画面データの内の１つに注目し、注目した差分画面データ中の画素データをＪＰＥＧ等の画像符号化方式を用いて符号化する。次いで、符号化部１２５は、符号化により生成した符号データと、注目した差分画面データ中の差分領域情報とを含む画面符号データを生成し、生成した画面符号データを画面符号データリストに追加する。以上の処理を未注目の差分画面データがなくなるまで繰り返し行うことにより、図４に示されるように、画面符号データリストが生成される（ステップＳ３４０）。

その後、符号化部１２５は、画面符号データリストに含まれている各画面符号データを、変化情報密度が大きいものから優先的にサーバ通信部１４に送り、送信バッファ１４１に書き込む（ステップＳ５１０）。この書き込み動作は、画面符号データリスト中の全ての画面符号データの書き込みが完了するか、或いは、サーバ通信部１４から書き込み不可通知が発行されるまで行われる。

サーバ通信部１４は、送信バッファ１４１に書き込まれた画面符号データを、書き込まれた順番で画面受信クライアント３へ送信する（ステップＳ５７０）。また、送信バッファ１４１に空き容量がなくなった場合、サーバ通信部１４は、符号化部１２５に対して書き込み不可通知を発行する（ステップＳ５８０）。

狭帯域環境においては、画面符号データリスト中の画面符号データを送信バッファ１４１に書き込んでいる最中にサーバ通信部１４から書き込み不可通知が発行される可能性が高い。その場合、画面符号データリスト中の一部の画面符号データしか画面受信クライアント３へ送信できないことになる。そこで、本実施の形態では、画素値の変化の度合いを示す変化情報密度が大きい差分領域に対応する画面符号データが優先的に送信バッファ１４１に書き込まれ、書き込みの順番で画面受信クライアント３に送信される。一般的に、ユーザによって操作されたアイコン等の画面上でユーザに認識して欲しい部分は、色の変化の度合いが大きくなるように工夫されている。従って、上記したように、画素の変化の度合いを示す変化情報密度が大きな差分領域に対応する画面符号データから優先的に送信することにより、狭帯域環境であってもユーザに認識して欲しい情報は遅滞なく確実に画面受信クライアント３へ送信されることになる。

符号化部１２５は、画面符号データリスト中の全ての画面符号データを送信バッファ１４１に書き込み終わるか、或いは書き込み不可通知を受信すると、送信画面データ更新部１３に対して送信済みの差分領域情報を渡す（ステップＳ７１０）。

送信画面データ更新部１３は、送信済みの差分領域情報を受け取ると、この差分領域情報に基づいて送信済みの差分領域の画素データを画面データ記憶部１２１から取り出す。そして、送信画面データ更新部１３は、取り出した画素データによって、送信画面データ記憶部１２４に格納されている送信画面データのうちの差分領域情報によって特定される画素データを置き換える（ステップＳ７２０）。その後、送信画面データ更新部１３は、書き込み許可を示す書き込み制御情報を画面データ記憶部１２１に書き込む（ステップＳ７７０）。

次に、図９を参照して、画面受信クライアント３の画面データ生成処理について詳しく説明する。

クライアント通信部３３は、画面送信サーバ１から送られてきた画面符号データを受信し、画面作成部３２に渡す（ステップＳ８１０）。画面作成部３２内の復号化部３２３は、画面符号データ中の符号データをＪＰＥＧ等の画像符号化方式を用いて復号化する。復号化して得られた画素データと、画面符号データ中の差分領域情報とは、受信側差分画面データとして、差分領域更新部３２２に渡される（ステップＳ８３２）。

差分領域更新部３２２は、復号化部３２３から受け取った受信側差分画面データに基づいて、差分領域の画素データを更新する。即ち、差分領域更新部３２２は、表示画面データ記憶部３２１に格納されている画素データの内、差分領域情報によって特定される領域内の画素データを復号化して得られた画素データと入れ替える（ステップＳ８３４、Ｓ８３６）。

表示画面データが更新されると、画面出力部３１は、表示画面データ記憶部３２１に記録されている画面データを表示する（ステップＳ８８０）。以上の処理は、画面送信サーバ１から画面符号データが送られてくる毎に実行される。

このように、画面送信サーバ１で生成された画面データは、画面受信クライアント３に送信され、画面データが更新される。本発明では、予め定められた基準に従って差分領域に優先度を付与し、優先度の高いものから順に送信するため、通信帯域の制限によって送受信されない差分領域は、優先度の低い差分領域に限定される。したがって、画面受信クライアント３側の画面の更新に与える影響を最小限に抑えることができる。

また、本実施の形態では、優先度決定部１２３は、差分領域毎に変化情報密度＝（変化量合計値）÷（差分領域の面積の２乗）なる演算を行って、各差分領域の画素値の変化の度合いを示す変化情報密度を求める。そして、変化情報密度の大きい差分領域から優先的に画面符号データを送信するようにしている。そのため、面積が小さくとも画素値の変化の度合いが大きい差分領域の画面符号データを優先的に送信することが可能になる。例えば、２種類の差分領域が１画面内にあったとする。一方は、面積は広いが画素値の変化の度合いが少ない差分領域（動画の背景の変化部分など）であり、他方は、面積は小さいが画素値の変化の度合いが大きい差分領域（ユーザが操作したデスクトップ上のアイコンなど）であったとする。この場合、ユーザが変化することを期待しているアイコンに対応する差分領域の画面符号データが優先的に送信される。したがって、アイコンの表示状態を迅速に変化させることができるので、ユーザに違和感を与えることがなくなる。

次に、本実施の形態の具体例について説明する。

先ず、画面送信サーバ１が画面受信クライアント３に対して最初の画面データを送信する場合の動作について説明する。画面送信サーバ１と画面受信クライアント３とは、ＨＴＴＰのＫｅｅｐ−Ａｌｉｖｅモードを用いて画面符号データを送受信する。

画面送信サーバ１は、画面受信クライアント３からＨＴＴＰ接続要求を受信すると、前画面データをクリアする。即ち、送信画面データ記憶部１２４に格納されている全ての画素データの画素値は０に設定される。従って、ＨＴＴＰ接続要求を受信後に、画面生成部１０において最初に生成された画面データ（初期画面データという場合もある）では、画面送信サーバ１は、画面全体を差分領域として抽出する。

即ち、送信画面データ記憶部１２４に格納されている画面データを構成する全ての画素データの画素値が０になっているので、差分領域抽出部１２２は、画面全体を差分領域として抽出することになる。この結果、画面受信クライアント３へは画面データ記憶部１２１に格納されている初期画面データ全体を符号化した符号データが送信される。したがって、送信画面データ更新部１３によって、送信画面データ記憶部１２４には初期画面データが格納される。但し、符号化部１２５は、初期画面データに対応する画面符号データを送信バッファ１４１に書き込んでいる最中に、サーバ通信部１４から書き込み不可通知が発行された場合は、所定時間（送信バッファ１４１に十分な空きができる時間）が経過した後、画面符号データの書き込み処理を再度実行する。符号化部１２５は、画面符号データの書き込みに成功するまで、上記した処理を繰り返し行い、書き込みに成功すると、送信済みの差分領域情報を送信画面データ更新部１３に渡す。

次に、差分領域抽出部１２２および優先度決定部１２３の動作を図１０〜図１３を参照して説明する。なお、ここでは、画面データは画面内の画素毎の画素データを含み、各画素データは画素の位置を示す座標値と色成分毎の強度を示す画素値とを備えるとして説明する。また、画素値はＲＧＢ表記を用いて表す。より具体的には、Ｒ、Ｇ、Ｂ成分をそれぞれ８ビットで表し、最上位ビット側にＲ成分を、最下位ビット側にＢ成分を、中間にＧ成分を配置した２４ビット構成のデータを用いる。例えば、Ｒ＝８、Ｇ＝５０、Ｂ＝１７０の場合、画素値は、８×６５５３６＋５０×２５６＋１７０＝５３７２５８となる。

本具体例における差分領域抽出部１２２は、次のように差分領域情報を生成する。

現画面の画面データは、画面データ記憶部１２１に格納され、前画面の画面データは、送信画面データ記憶部１２４に格納されている。先ず、差分領域抽出部１２２は、現画面の画面データと前画面の画面データとを比較し、画素値の変化量（差分量）が一定値（最小差分量）以上の画素データを現画面の画面データから抽出する。その後、差分領域抽出部１２２は、互いの画面上の距離が一定値（最小画素間距離）以下である抽出画素データどうしを結ぶ線分によってつながる複数の抽出画素データの集合を覆う矩形領域を差分領域とする。そして、差分領域抽出部１２２は、各差分領域を特定する差分領域情報として、矩形領域の左上、右下の頂点の座標値を含む差分領域情報を生成する。

前画面の画面データは、図１０に示されるように、送信画面データ記憶部１２４に格納され、現画面の画面データは、図１１に示されるように、画面データ記憶部１２１に格納されている。なお、最小差分量は５０、最小画素間距離は１に設定されているとする。

図１０、図１１に示されるように、画面データは、縦、横それぞれ６個の計３６個の画素データから構成されている。また、画面データの座標系は、左上の画素データが原点、水平軸がｘ軸（右方向がｘが増加する方向）、垂直軸がｙ軸（下方向がｙが増加する方向）となっている。また、各マス目内に記した数値は、画素値を表している。例えば、図１０において、縦縞を施して示される画素データは、座標値が（２，０）で、画素値が７２である。

差分領域抽出部１２２は、前画面の画面データと現画面の画面データとを比較し、差分量が最小差分量の５０以上となる現画面上の画素データを抽出する。この処理により、図１１に斜線を施して示される抽出画素データが抽出される。

次に、差分領域抽出部１２２は、互いの距離が最小画素間距離の１以下である抽出画素データどうしを結ぶ線分によってつながる抽出画素データの集合を覆う最小の矩形領域を差分領域（図１２に斜線により示される部分）とする。そして、差分領域抽出部１２２は、矩形領域（差分領域）毎の差分領域情報として、図１３に示されるように、２つの差分領域情報４０８、４０９を生成する。差分領域情報４０８は、差分領域の左上、右下の頂点の座標値がそれぞれ（３，１）、（４，２）であることを示し、差分領域情報４０９は、差分領域に左上、右下の座標値がそれぞれ（１，４）、（３，４）であることを示している。

次に、図１４Ａ〜１４Ｃを参照して、優先度決定部１２３の動作を説明する。

図１４Ａに示されるように、画面データ４０３が送信画面データ記憶部１２４および表示画面データ記憶部３２１に格納されている。この画面データ４０３には、動画を再生するための動画再生領域４０２が設けられている。

画面受信クライアント３を利用するユーザが、図１４Ａに示される画面データ４０３を表示する画面上のファイルを示すアイコン４０１をマウス操作によって選択する。また、動画再生領域４０２上に表示される映像が変化する。その結果、図１４Ｂに示されるように、画面データ４０４が生成され、画面データ取得部１１によって画面データ記憶部１２１に格納される。この例では、アイコン４０１の全体の色が濃くなり、動画再生領域４０２の右上の「ＮＥＷＳ」という文字列が「ＷＥＡＴＨＥＲ」に変化している。

画面データ４０４が画面データ記憶部１２１に書き込まれると、差分領域抽出部１２２は、送信画面データ記憶部１２４、画面データ記憶部１２１からそれぞれ図１４Ａ、図１４Ｂに示される画面データ４０３、４０４を取得する。そして、差分領域抽出部１２２は、図１４Ｃに示されるように、差分領域４０５、４０６を特定する差分領域情報を生成する。

優先度決定部１２３は、差分領域情報によって特定される各差分領域４０５、４０６の変化情報密度を算出する。優先度決定部１２３は、変化情報密度を
変化情報密度＝（変化量合計値）÷（差分領域の面積の２乗） … （１）
により算出する。変化情報密度は、差分領域の面積が大きい程小さくなり、差分領域内の各画素の画素値変化量の合計値（変化量合計値）が大きい程大きくなる。

図１４Ｃに示されるように、差分領域４０５では、文字列を構成する画素データの画素値が変化し、差分領域４０６では、領域内の全ての画素データの画素値が変化している。また、差分領域４０６の方が差分領域４０５よりも面積が小さい。このため、変化情報密度は差分領域４０６の方が大きくなる。したがって、差分領域４０６に付与される優先度は、差分領域４０５に付与される優先度より高くなる。

符号化部１２５は、ユーザによって操作されたアイコン４０１に対応する差分領域４０６の画面符号データを、動画中の文字列に対応する差分領域４０５の画面符号データよりも優先的に送信バッファ１４１に書き込む。したがって、狭帯域環境であっても動画中の差分領域４０５の画面符号データの伝送によって、ユーザ操作に関連する差分領域４０６の画面符号データの伝送が滞ることがなくなる。

次に、図１５Ａ〜１５Ｄを参照して送信画面データ更新部１３の動作を説明する。

差分領域４０６の画面符号データが送信されると、符号化部１２５は、送信済みの差分領域を示す差分領域情報を送信画面データ更新部１３に渡す。即ち、符号化部１２５から送信画面データ更新部１３に対して、図１５Ａに示されるように、送信済み差分領域４０６を示す差分領域情報が送られる。

送信画面データ更新部１３は、差分領域４０６を示す差分領域情報を受信すると、図１５Ｂに示されるように、画面データ記憶部１２１に格納されている現画面の画像データ４０４から、差分領域情報によって示される領域内のアイコン４０１を示す画素データを取得する。その後、送信画面データ更新部１３は、図１５Ｃに示されるように、送信画面データ記憶部１２４に格納されている画面データ４０３上の、差分領域情報によって示される領域の画素データを、画面データ記憶部１２１から取得した画素データ４０１で置き換える。これにより、図１５Ｄに示されるように、送信画面データ記憶部１２４中の画面データは、画面データ４０３から画面データ４０７へと変化する。

次に、図１６〜図１８を参照して、画面受信クライアント３の動作を説明する。

図１６に示されるように、画面データが表示画面データ記憶部３２１に格納されている。この状態において、復号化部３２３は、画面送信サーバ１から送られてきた画面符号データを復号化し、図１７に示されるように、受信側差分画面データ４１０、４１２を生成する。復号化部３２３は、受信側差分画面データ４１０、４１２を差分領域更新部３２２へ送る。

差分領域更新部３２２は、復号化部３２３によって生成された受信側差分画面データ４１０、４１２を用いて表示画面データ記憶部３２１に格納されている画面データを更新する。即ち、差分領域更新部３２２は、受信側差分画面データ４１０中の座標値（３，１）、（４、２）によって示される領域内の画素データを画面データ記憶部１２１から検索し、検索した画素データを受信側差分画面データ４１０中の画素データ４１１で置き換える。また、差分領域更新部３２２は、受信側差分画面データ４１２についても同様の処理を行う。

この処理により、表示画面データ記憶部３２１に格納されている画面データは、図１８に示されるようになる。なお、一部分しか送られて来なかった画面符号データは破棄される。

上述の処理は、図１９Ａ〜１９Ｃを参照して、以下のように説明される。

図１９Ｂに示されるように、画面データが表示画面データ記憶部３２１に格納されている。このとき、図１９Ａに示されるように、アイコン４０１を示す画素データと、ファイル４０１に対応する差分領域４０６の差分領域情報とを含む画面符号データが画面送信サーバ１から送られてきたとする。復号化部３２３は、画面符号データを復号化して差分領域更新部３２２に渡す。

差分領域更新部３２２は、図１９Ｂに示されるように、差分領域情報によって特定される画面データ４０３内の画素データを、アイコン４０１の画素データと入れ替える。これにより、表示画面データ記憶部３２１中の画面データは、図１９Ｃに示されるように、画面データ４１４に変更される。画面データ４１４は、画面出力部３１により表示装置に表示される。

〔本発明の第２の実施の形態〕
次に、本発明の第２の実施の形態について詳細に説明する。第１の実施の形態では、変化情報密度が大きい差分領域から優先的に画像データを送信する例が説明された。狭帯域環境において画面変化が多くなると、変化情報密度が小さい差分領域の画像データが画面受信クライアント３へほとんど送信されない事態が発生するおそれがある。そこで、本実施の形態では、過去の送信履歴を考慮して優先度を決定する。ここでは、送信履歴に応じた重みで重み付けした変化情報密度（重み付き変化情報密度）を優先度として用い、差分領域の画像データを送信する。

図２０は、本実施の形態に係る画面伝送システムの構成例を示すブロック図である。図１に示される第１の実施の形態との相違は、画面送信サーバ１の代わりに画面送信サーバ５を備えている点である。

画面送信サーバ５は、画面送信サーバ１と比較して、画面伝送部１２の代わりに画面伝送部５１を備えている点、重み生成部５２および送信履歴記憶部５３が追加されている点が相違している。画面伝送部５１は、画面伝送部２１と比較して、優先度決定部１２３、符号化部１２５の代わりにそれぞれ優先度決定部５４、符号化部５５を備えている点が相違している。

送信履歴記憶部５３には、画面を複数のブロックに分割した際の各ブロックの送信履歴が格納されている。送信履歴としては、例えば、最新の送信時刻や送信頻度を用いることができる。

優先度決定部５４は、差分領域抽出部１２２が抽出した各差分領域について、第１の実施の形態と同じように変化情報密度を計算し、重み生成部５２から取得する重みに基づいて各差分領域の重み付き変化情報密度を生成する。その後、差分領域毎に、差分領域情報、画素データおよび重み付き変化情報密度の組である差分画面データをリスト化して差分画面データリストを生成する。優先度決定部５４は、生成された差分画面データリストを符号化部５５に渡す。この差分画面データリストは、図３に示される差分画面データリストとほぼ同じであるが、変化情報密度の代わりに重み付き変化情報密度を含んでいる。

重み生成部５２は、差分領域の変化情報密度に重み付けする重みを送信履歴記憶部５３に格納されている各ブロックの送信履歴に基づいて生成する。重み生成部５２は、生成した重みを優先度決定部５４に送る。重みは、例えば、最新の送信時刻から現時点までの時間や、送信頻度などに基づいて設定される。即ち、頻繁に送信される差分領域の重みは軽く、重み付き変化情報密度が小さくなるように算出され、あまり送信されない差分領域の重みは重く、重み付き変化情報密度が大きくなるように算出される。また、重み生成部５２は、符号化部５５から渡される差分領域情報に基づいて、送信履歴記憶部５３に格納される送信履歴を更新する。例えば、重みが最新の送信時刻の履歴に基づいて算出される場合には、差分領域情報によって示される差分領域で覆われる各ブロックの最新の送信時刻が現在時刻に更新される。また、重みが送信頻度の履歴に基づいて算出される場合には、該当するブロックの送信頻度がインクリメントされる。

符号化部５５は、優先度決定部５４から差分画面データリストが渡されると、第１の実施の形態と同様に、図４に示されるように、画面符号データリストを生成する。符号化部５５は、画面符号データリスト中の画面符号データを重み付き変化情報密度が大きいものから優先的にサーバ通信部１４内の送信バッファ１４１に書き込む。また、符号化部５５は、送信済みの差分領域を示す差分領域情報を送信画面データ更新部１３および重み生成部５２に渡す。

画面送信サーバ５は、第１の実施の形態の画面送信サーバ１と同じように、コンピュータにより実現可能である。コンピュータによって実現する場合、例えば、コンピュータを画面送信サーバ５として機能させるためのプログラムを記録したディスク、半導体メモリを用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは、読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上に、画面データ取得部１１、差分領域抽出部１２２、重み生成部５２、優先度決定部５４、符号化部５５、および送信画面データ更新部１３を実現する。なお、画面受信クライアント３は、第１の実施の形態と同じであるので、説明は省略される。

次に、図２１を参照して本実施の形態の動作について詳細に説明する。なお、ここでは、第１の実施の形態との相違点について説明する。

画面生成部１０が現画面の画面データを生成すると、第１の実施の形態と同じように、現画面の画面データは、画面データ記憶部１２１に格納される（図７参照）。差分領域抽出部１２２は、現画面上に存在する各差分領域の差分領域情報を生成する。生成された各差分領域情報は優先度決定部５４に渡される（ステップＳ３１０）。

優先度決定部５４は、重み生成部５２に各差分領域情報を渡し、各差分領域の変化情報密度に対する重みを要求する。重み生成部５２は、送信履歴記憶部５３に格納されている各ブロックの送信履歴の内の差分領域情報によって特定される差分領域によって覆われているブロックの送信履歴に基づいて、差分領域の変化情報密度に対する重みを算出する。算出された重みは、優先度決定部５４に送られる（ステップＳ４１０）。

優先度決定部５４は、各差分領域の変化情報密度に対する重みを受け取ると、第１の実施の形態と同様の方法で算出された各差分領域の変化情報密度に対応する重みで重み付けし、差分領域毎の重み付き変化情報密度を生成する。その後、優先度決定部５４は、差分領域毎に差分領域情報、画素データおよび重み付き変化情報密度を含む差分画面データをリスト化した差分画面データリストを生成し、符号化部５５に渡す（ステップＳ３３１）。

符号化部５５は、差分画面データリストが渡されると、図４に示されるような画面符号データリストを生成する（ステップＳ３４０）。その後、符号化部５５は、画面符号データリストに載っている各画面符号データを、重み付き変化情報密度が大きいものから優先的にサーバ通信部１４に送り、送信バッファ１４１に書き込む（ステップＳ５１０）。

サーバ通信部１４は、送信バッファ１４１に書き込まれた画面符号データを書き込まれた順番で画面受信クライアント３へ送信する（ステップＳ５７０）。送信バッファ１４１が満杯になった場合、サーバ通信部１４は、画面伝送部５１に対して書き込み不可通知を発行する（ステップＳ５８０）。

符号化部５５は、画面符号データリスト中の全ての画面符号データを送信バッファ１４１に書き込み終えたか、サーバ通信部１４から書き込み不可通知を受信した場合、送信済みの差分領域を示す差分領域情報を重み生成部５２および送信画面データ更新部１３に送る（ステップＳ７１１）。

送信画面データ更新部１３は、符号化部５５から送信済みの差分領域情報を受け取ると、第１の実施の形態と同じように、送信画面データ記憶部１２４に格納される送信画面データを更新する（ステップＳ７２０）。その後、送信画面データ更新部１３は、画面データ記憶部１２１に書き込み許可を示す書き込み制御情報を書き込む（ステップＳ７７０）。

一方、重み生成部５２は、符号化部５５から送信済みの差分領域情報を受け取ると、送信履歴記憶部５３に格納されている各ブロックの送信履歴の内の差分領域情報で示される差分領域で覆われるブロックの送信履歴を更新する（ステップＳ７３０）。

その他の動作は第１の実施の形態と同じであるので、説明を省略する。

本実施の形態では、複数のブロックに分割された画面の各ブロックの送信履歴を、重み生成部５２が送信履歴記憶部５３を用いて管理する。優先度決定部５４は、差分領域が覆うブロックの送信履歴に基づいて算出された重みによって重み付けされた各差分領域の変化情報密度を優先度とする。符号化部５５は、重み付けされた変化情報密度が大きい差分領域の画面符号データを優先的に送信する。したがって、例えば、動画の背景部分のように画素値の変化の度合いが小さい差分領域の画面符号データが全く送信されないという事態が発生することがなくなる。

次に、具体例を挙げて第２の実施の形態について説明する。

先ず、送信履歴記憶部５３について説明する。なお、以下の説明では、画面生成部１０が生成する画面データのサイズは縦×横＝６画素×６画素であり、差分領域の形状は、矩形であるとする。

ここでは、画面データ４１５は、図２２Ａに示されるように、縦×横＝２画素×２画素のブロックＡ〜Ｉに分割され、各ブロックＡ〜Ｉの最新の送信時刻が送信履歴として送信履歴記憶部５３に記録される。図２２Ｂは、送信履歴記憶部５３に格納される送信履歴の構成例を示している。各ブロックＡ〜Ｉのブロック名Ａ〜Ｉに対応付けて最新の送信時刻が格納される。

次に、重み生成部５２が行う送信履歴の更新動作（ステップＳ７２０）について、図２３Ａ、２３Ｂおよび図２４Ａ、２４Ｂを参照して説明する。

図２３Ａに示されるように、重み生成部５２は、符号化部５５から差分領域４１７、４１８の差分領域情報を２００７年３月２１日１３時２分５秒に受け取ったとする。差分領域４１７はブロックＡ、Ｂ、Ｄ、Ｅに含まれ、差分領域４１８はブロックＧに含まれる。そのため、符号化部５５は、送信履歴記憶部５３に格納されている送信履歴を図２３Ｂに示されるように更新する。図２３Ｂに示されるように、送信履歴４１９では、ブロックＡ、Ｂ、Ｄ、Ｅ、Ｇの最新送信時刻が２００７年３月２１日１３時２分５秒を表す「２００７／０３／２１ １３：０２：０５」となる。

その後、重み生成部５２は、２００７年３月２１日１３時２分３０秒に、図２４Ａに示されるように、差分領域４２０の差分領域情報を符号化部５５から受け取る。差分領域４２０は、ブロックＢ、Ｃ、Ｅ、Ｆ、Ｈ、Ｉを含むため、符号化部５５は、送信履歴記憶部５３に格納されている送信履歴を図２４Ｂに示されるように変更する。図２４Ｂに示される送信履歴４２１においては、ブロックＢ、Ｃ、Ｅ、Ｆ、Ｈ、Ｉの最新送信時刻が２００７年３月２１日１３時２分３０秒を表す「２００７／０３／２１ １３：０２：３０」となる。

次に、重み生成処理、即ち、差分領域の変化情報密度に対する重みの算出（ステップＳ４１０）について図２５Ａ、２５Ｂを参照して説明する。上述のように送信履歴が更新されたときに、優先度決定部５４が、図２５Ａに示される差分領域４２２、４２３の変化情報密度に対する重みを要求したとする。このときの時刻は、２００７年３月２１日１３時２分４０秒とする。

重み生成部５２は、差分領域情報が渡されると、差分領域４２２、４２３毎に、その差分領域の画素を最も多く含んでいるブロックを求める。その後、重み生成部５２は、そのブロックの最新送信時刻を送信履歴記憶部５３から取得し、差分領域の最新送信時刻とする。但し、差分領域の画素を最も多く含んでいるブロックが複数存在する場合には、重み生成部５２は、それらのブロックの最新送信時刻を送信履歴記憶部５３から取得し、その中で最も新しい最新送信時刻を差分領域の最新送信時刻とする。また、差分領域の画素を含んでいるブロックの最新送信時刻が送信履歴記憶部５３に記録されていない場合は、この差分領域の最新送信時刻は「記録なし」とする。図２５Ａの場合、差分領域４２２、４２３の画素を最も多く含むブロックは、それぞれブロックＡ、Ｈである。重み生成部５２は、ブロックＡ、Ｈの最新送信時刻「２００７／０３／２１ １３：０２：０５」、「２００７／０３／２１ １３：０２：３０」をそれぞれ差分領域４２２、４２３の最新送信時刻とする。

その後、重み生成部５２は、差分領域４２２、４２３毎に、現在時刻と差分領域の最新送信時刻との差分、即ち経過時間を求める。重み生成部５２は、この経過時間を差分領域４２２、４２３の変化情報密度に対する重みとする。但し、「記録なし」とされた差分領域については、重み生成部５２は、重みとして取り得る最大数等の非常に大きな整数（例えば６５５３５等）を重みとする。

差分領域４２２については、経過時間は、「２００７／０３／２１ １３：０２：４０」と「２００７／０３／２１ １３：０２：０５」との差分「３５秒」となるので、重みは「３５」となる。また、差分領域４２３については、経過時間は、「２００７／０３／２１ １３：０２：４０」と「２００７／０３／２１ １３：０２：３０」との差分「１０秒」となるので、重みは「１０」となる。

次に、差分画面データリスト生成処理（ステップＳ３３１）、画面符号データリスト生成及び送信処理（ステップＳ３４０、Ｓ５１０）について説明する。図２５Ａに示される差分領域４２２が画素値の変化の度合いが少ない領域、差分領域４２３が画素値の変化の度合いが大きい領域であるとする。

優先度決定部５４は、重み生成部５２から差分領域４２２、４２３の変化情報密度に対する重みｗ１、ｗ２を受け取ると、次式（２）、（３）に示される演算を行い、差分領域４２２、４２３に対する重み付き変化情報密度ｈ１、ｈ２を算出する。

ｈ１＝（差分領域４２２の変化情報密度）×ｗ１ … （２）
ｈ２＝（差分領域４２３の変化情報密度）×ｗ２ … （３）

ここで、変化情報密度は、前述したように、差分領域の変化量合計値が大きい程大きくなり、差分領域の面積が小さい程大きくなる。画面送信サーバ５の動作開始直後は、差分領域４２２、４２３の最新送信時刻は大差なく、重みｗ１、ｗ２も同じような値になる。したがって、画素値の変化の度合いが大きく、且つ面積が小さい差分領域４２３の画像データが優先的に送信される。このため、狭帯域環境では、差分領域４２２の画像データが画面受信クライアント３にほとんど送信されないという事態が発生することがある。このような事態になっても画面送信サーバ５を起動してから時間が経過すると、差分領域４２２の画像データが送信されないため、経過時間が長くなり重みｗ１は徐々に大きくなっていくが、重みｗ２は余り変化しない。このため、重み付き変化情報密度ｈ１が重み付き変化情報密度ｈ２よりも大きくなり、その結果、差分領域４２２の画像データが優先的に送信されることになる。

その他の動作は、第１の実施の形態と同じであるので、説明を省略する。

〔本発明の第３の実施の形態〕
次に、本発明の第３の実施の形態について詳細に説明する。本実施の形態は、ユーザが行った操作に応じた重みで重み付けを行った変化情報密度（重み付き変化情報密度）に基づいて、差分領域の画像データを送信する際の優先度が決定される。したがって、画面受信クライアントのユーザが行った操作と関連性の高い差分領域の画像データを優先的に送信できるようになる。

図２６は、本実施の形態に係る画面伝送システムの構成例を示すブロック図である。図１に示される第１の実施の形態との相違は、画面送信サーバ１の代わりに画面送信サーバ６を備え、画面受信クライアント３の代わりに画面クライアント７を備えている点である。

画面送信サーバ６は、画面送信サーバ１と比較して、操作情報取得部６２が追加されている点、優先度決定部１２３およびサーバ通信部１４の代わりにそれぞれ優先度決定部６３およびサーバ通信部６４を備えている点が相違している。また、画面受信クライアント７は、画面受信クライアント３と比較して、操作情報入力部７１が追加されている点およびクライアント通信部３３の代わりにクライアント通信部７２を備えている点が相違している。

操作情報入力部７１は、マウスやキーボード等の入力装置（図示せず）から操作情報を取得し、取得した操作情報をクライアント通信部７２に渡す。クライアント通信部７２は、クライアント通信部３３が備える機能に加え、操作情報入力部７１から渡された操作情報を画面送信サーバ６内のサーバ通信部６４宛に送信する機能を有する。

ここで、操作情報とは、画面受信クライアント７のユーザが、画面出力部３１に表示されている画面データに対して行った操作内容を示す情報であり、例えば、カーソルの座標値、カーソルの移動速度、キーの操作頻度（単位時間当たりの操作回数）等の情報である。

サーバ通信部６４は、サーバ通信部１４が備える機能に加え、クライアント通信部７２から送られてきた操作情報を操作情報取得部６２に渡す機能を有する。なお、サーバ通信部６４内の送信バッファ６４１は、図１に示される送信バッファ１４１と同様の機能を有する。

操作情報取得部６２は、サーバ通信部６４から渡された操作情報を保持し、優先度決定部６３から要求があると、保持している操作情報を優先度決定部６３に渡す。

優先度決定部６３は、差分領域抽出部１２２が抽出した差分領域毎に変化情報密度を計算し、更に、計算された各差分領域の変化情報密度に、ユーザ操作との関連性を示す重みを用いて重み付けして重み付き変化情報密度を算出する。即ち、ユーザ操作との関連性を示す重みとは、操作情報取得部６２から取得した操作情報と各差分領域固有の情報（例えば、重心の座標値や面積）とに応じた重みであり、ユーザが行った操作との関連性が高い差分領域ほど大きな値となる。その後、優先度決定部６３は、差分領域毎に、差分領域情報、画素データおよび重み付き変化情報密度の組である差分画面データをリスト化し、差分画面データリストを生成する。生成された差分画面データリストは、符号化部１２５に送られる。このとき生成される差分画面データリストは、図３に示される差分画面データリストとほぼ同じであるが、変化情報密度の代わりに重み付き変化情報密度を含んでいる点が相違する。

ユーザが行った操作と関連性が高い差分領域ほど大きな値となる重みとしては、次のようなものを使用することができる。例えば、操作情報がカーソルの位置を示す座標値である場合は、カーソル位置と差分領域の重心位置との間の距離の逆数を重みとして使用することができる。また、操作情報がカーソルの移動速度を示す場合は、移動速度が閾値未満の場合は１となり、閾値以上の場合は差分領域の面積が小さくなるほど大きな値となる重みを使用することができる。また、操作情報がキーの操作頻度を示す場合は、操作頻度が閾値未満の場合は１となり、閾値以上の場合は差分領域の面積が小さいほど大きな値となる重みを使用することができる。

操作情報としてカーソルの座標値を用い、重みとしてカーソル位置と差分領域の重心位置との間の距離の逆数を用いた場合、ユーザの操作位置に近い差分領域のデータが優先的に送信される。そのため、例えば、ユーザがアイコンを操作した場合、アイコンの表示状態の変化を迅速にユーザに伝えることが可能になる。また、操作情報としてカーソルの移動速度を用い、移動速度が閾値未満であれば１となり、閾値以上であれば差分領域の面積が小さくなるほど大きな値となる重みを用いた場合、例えば、画面に描かれる線分の変化の仕方を滑らかなものとすることができる。ユーザがペイントソフトを用いて絵を描いている場合には、カーソルの移動速度が閾値以上となり、面積が小さい差分領域ほど重みが大きくなる。そのため、ユーザが新たに描いた線分が優先的に送信されることになり、その結果、ユーザが描いている線分の変化の仕方を滑らかなものとすることができる。また、操作情報としてキーの操作頻度を用い、操作頻度が閾値未満の場合は１となり、閾値以上の場合は差分領域の面積が小さいほど大きな値となる重みを用いた場合は、例えば、ユーザがキー入力した文字を迅速に表示することが可能になる。ユーザがキーを用いて文字を入力している場合には、キーの操作頻度が閾値以上となり、面積が小さい差分領域ほど重みが大きくなる。そのため、ユーザが新たに入力した文字が優先的に送信されることになり、その結果、ユーザがキー入力した文字を迅速に表示することが可能になる。

なお、本実施の形態の画面送信サーバ６、画面受信クライアント７も前述した実施の形態と同様に、コンピュータによって実現することができる。

次に、図２７を参照して、本実施の形態の動作について詳細に説明する。なお、ここでは、第１の実施の形態との相違点について説明する。画面生成部１０が生成した現画面の画面データが画面データ記憶部１２４に格納されるまでの動作は、図６に示される動作と同じであるため、説明を省略する。

差分領域抽出部１２２は、現画面上に存在する差分領域を抽出し、生成した各差分領域情報を優先度決定部６３に渡す（ステップＳ３１０）。

優先度決定部６３は、差分領域抽出部１２２から差分領域情報を受け取ると、その差分領域情報に基づいて、画面データ記憶部１２１から各差分領域の画素データを取得する。優先度決定部６３は、その画素データに基づいて、各差分領域に対する変化情報密度を計算する。また、操作情報取得部６２から操作情報を取得し、その操作情報と各差分領域の固有の情報（重心の座標値、面積など）とに基づいて、差分領域毎の重みを算出する。

更に、優先度決定部６３は、算出した変化情報密度と重みとを乗算して、差分領域毎に重み付き変化情報密度を算出する。その後、図３に示すように、差分画面データリストを生成し、符号化部１２５に渡す（ステップＳ３３２）。符号化部１２５は、第２の実施の形態と同様に、画面符号データリストを生成し（ステップＳ３４０）、優先度である重み付き変化情報密度が大きい画面符号データから順に画面受信クライアント７へ送る（ステップＳ５１０）。

その他の動作は第１の実施の形態と同じであるので、説明を省略する。

上述のように、本実施の形態では、優先度決定部６３は、画面受信クライアント７から送られる操作情報に基づいて、各差分領域の変化情報密度に対する重みを算出する。符号化部１２５は、重み付けされた変化情報密度が大きい差分領域から優先的に画像符号データを送信する。そのため、ユーザが行った操作と関連性が大きい差分領域の画像符号データが優先的に送信される。その結果、ユーザ操作に対する応答性を向上させることが可能になる。

次に、具体例を挙げて第３の実施の形態を説明する。なお、ここでは、操作情報としてマウスカーソルの位置を示す座標値が用いられる。

図２８Ａに示されるように、画面データ記憶部１２１に現画面の画面データ４０３が格納され、図２８Ｂに示されるように、送信画面データ記憶部１２４に前画面の画面データ４０４が格納されている。差分領域抽出部１２２は、図２８Ｃに示されるように、差分領域４０５、４０６を抽出し、その差分領域情報を優先度決定部６３に送る（ステップＳ３１０）。

優先度決定部６３は、差分領域４０５、４０６の差分領域情報を受け取ると、画面データ記憶部１２１から差分領域４０５、４０６の画素データを取得し、各差分領域４０５、４０６の変化情報密度を算出する。また、優先度決定部６３は、操作情報取得部６２から操作情報として、図２８Ａに示されるマウスカーソル４２４の座標値を取得したとする。

その後、優先度決定部６３は、次式（４）、（５）に示される演算を行い、差分領域４０５、４０６の変化情報密度に対する重みｗ５、ｗ６を算出する。

ｗ５＝１／（差分領域４０５の重心位置とマウスカーソル４２４との間の距離） … （４）
ｗ６＝１／（差分領域４０６の重心位置とマウスカーソル４２４との間の距離） … （５）

ここで、差分領域４０６の方が差分領域４０５よりも重心位置がマウスカーソル４２４に近いので、差分領域４０６の変化情報密度に対する重みｗ６の方が、差分領域４０５の変化情報密度に対する重みｗ５よりも大きなものとなる。

その後、優先度決定部６３は、差分領域４０５、４０６毎に次式（６）、（７）に示す演算を行い、差分領域４０５、４０６に対する重み付き変化情報密度ｈ５、ｈ６を算出する。

ｈ５＝（差分領域４０５の変化情報密度）×ｗ５ … （６）
ｈ６＝（差分領域４０６の変化情報密度）×ｗ６ … （７）

その後、優先度決定部６３は、差分領域４０５、４０６の差分画面データ、重み付き変化情報密度を含む差分画面データリストを生成し、符号化部１２５に送る。符号化部１２５は、差分画面データリストに基づいて画面符号データリストを生成し、重み付き変化情報密度が大きい画面符号データから優先的に画面受信クライアント７へ送信する。

その他の動作は、第１の実施の形態と同じであるので、説明を省略する。

以上の動作によって、動画再生中であっても、アイコン選択のようなユーザ操作による画面の変化が優先して画面受信クライアントに送信される。したがって、狭帯域環境であっても動画映像による差分画面データによって、ユーザの操作応答結果である画面の変化の伝達が滞ることなく、かつ、ユーザが操作の対象としている画面データ内の領域の変化を優先的に伝達することができる。即ち、ユーザ操作への応答性を向上させることができる。

〔本発明の第４の実施の形態〕
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。本実施の形態では、画面送信サーバの通信能力に応じたサイズの画面符号データが送信バッファに書き込まれる。そのため、古い画面符号データによって新たに生成された画面符号データの転送が妨げられない。

図２９は、本発明の第４の実施の形態に係る画面伝送システムの構成例を示すブロック図である。図１に示される第１の実施の形態との相違は、画面送信サーバ１の代わりに画面送信サーバ８を備えている点である。

画面送信サーバ８は、画面送信サーバ１と比較して、画面伝送部１２の代わりに画面伝送部８１を備えている点、サーバ通信部１４の代わりにサーバ通信部８４を備えている点、および通信速度算出部８２が追加されている点が相違している。画面伝送部８１は、画面伝送部１２と比較して、符号化部１２５の代わりに符号化部８３を備えている点が相違している。

送信バッファ８４１を有するサーバ通信部８４は、サーバ通信部１４が備える機能に加え、通信記録情報を保持する機能を有する。通信記録情報としては、例えば、送信したデータのデータサイズ及び送信に要した時間（送信時間）を用いることができる。

通信速度算出部８２は、サーバ通信部８４が保持している通信記録情報に基づいて、サーバ通信部８４の通信速度を算出する。通信記録情報として、サーバ通信部８４が送信したデータのデータサイズと送信時間とが保持されていれば、通信速度は、
通信速度＝（データサイズ）／（送信時間）
なる演算により算出することができる。

符号化部８３は、画面符号データリスト中の画面符号データをサーバ通信部８４内の送信バッファ８４１に書き込む際、書き込む画面符号データのデータサイズ（最大データサイズ）を決定する。そのデータサイズは、通信速度算出部８２が算出した通信速度と、前回書き込みを行った時刻から現在時刻までの経過時間とに基づいて算出される。符号化部８３は、決定された最大データサイズを超えない範囲内で、最大個数の画面符号データを変化情報密度が大きいものから優先的に送信バッファ８４１に書き込む。但し、サーバ通信部８４から書き込み不可通知が発行された場合は、その時点で書き込み処理を終了する。

最大データサイズは、例えば、（通信速度）×（経過時間）なる演算を行うことにより算出する。また、図示を省略したが、符号化部８３は、その内部に前回書き込みを行った時刻を保持する時刻保持部を備える。符号化部８３は、画面符号データの書き込み時に、時刻保持部に保持されている前回書き込みを行った時刻から現在時刻までの経過時間を算出し、その時の現在時刻を時刻保持部に書き込む。

なお、本実施の形態の画面送信サーバ８も、画面送信サーバ１と同様に、コンピュータによって実現可能である。

次に、図３０を参照して本実施の形態の動作について説明する。なお、ここでは、第１の実施の形態との相違点について説明する。

符号化部８３は、優先度決定部１２３から差分画面データリスト（図３参照）を受け取ると、画面符号データリスト（図４参照）を生成する（ステップＳ３４０）。

その後、符号化部８３は、時刻保持部に保持されている前回書き込みを行った時刻から現在時刻までの送信経過時間を計算する（ステップＳ４６０）。また、通信速度算出部８２は、上述のように、サーバ通信部８４が保持している通信記録情報に基づいて、サーバ通信部８４の通信速度を算出している（ステップＳ４５０）。符号化部８３は、通信速度算出部８２から取得した通信速度と、算出された送信経過時間とを乗算し、送信バッファ８４１に書き込む画面符号データの最大データサイズを決定する（ステップＳ４７０）。

その後、符号化部８３は、画面符号データリストに載っている画面符号データを、送信するときの優先度を示す変化情報密度が大きいものから優先的に送信バッファ８４１に書き込む。その際、符号化部８３は、決定された最大データサイズを超えない範囲で、最大個数の画面符号データを送信バッファ８４１に書き込む（ステップＳ５１２）。

サーバ通信部８４は、送信バッファ８４１に書き込まれた画面符号データを、書き込まれた順番で画面受信クライアント３へ送信する（ステップＳ５７０）。

一方、符号化部８３は、最大データサイズ分の画面符号データを全て送信バッファ８４１に書き込むか、サーバ通信部８４から書き込み不可通知を受け取ると、送信バッファ８４１に書き込み済みの差分領域情報を送信画面データ更新部１３に渡す（ステップＳ７１０）。これにより、送信画面データ更新部１３は、送信画面データ記憶部１２４に格納されている画面データを更新する（ステップＳ７２０）。

その他の動作は第１の実施の形態と同じであるので、説明を省略する。

本実施の形態によれば、第１の実施の形態で得られる効果に加え、次のような効果を得ることができる。本実施の形態では、符号化部８３が、通信速度算出部８２によって算出された自サーバ８の通信速度および前回の書き込み時からの経過時間に基づいて、送信バッファ８４１に書き込む画面符号データのデータサイズを決定し、決定したデータサイズの範囲内で、各差分領域の画面符号データを、変化情報密度が大きい順に送信バッファ８４１に書き込むようにしているので、画面送信サーバ８の通信能力が低い場合に、送信バッファ８４１に古い画面符号データが存在し続ける時間を短縮することができ、その結果、画面生成部１０が生成した画面データの変化が画面受信クライアント３に伝達するまでの遅延時間を短くすることができるという効果を得ることができる。

〔本発明の第５の実施の形態〕
次に、本発明の第５の実施の形態について詳細に説明する。本実施の形態では、サイズの大きな画面符号データは、複数の分割符号データに分割されて送信される。そのため、サイズの大きな画面符号データを送信中であっても、変化情報密度の大きな画面符号データの送信が迅速に行われ、かつ迅速に送信された画面符号データを受信後、受信された画面符号データが迅速に復号化される。

図３１は、本実施の形態に係る画面伝送システムの構成例を示すブロック図である。本実施の形態に係る画面伝送システムは、画面送信サーバ９２と、画面受信クライアント９１とを具備し、画面送信サーバ９２と、画面受信クライアント９１とはネットワーク２を介して接続される。

画面送信サーバ９２は、次の点で図１に示される画面送信サーバ１と相違している。即ち、送信対象符号バッファ９２３１を含む送信符号生成部９２３と、送信優先度算出部９２４を備える点、符号化部１２５により生成される画面符号データリストの代わりに符号化部９２２が、変化情報密度付き画面符号データリストを生成する点、生成された変化情報密度付き画面符号データリストは送信符号生成部９２３に送信され、送信符号生成部９２３が変化情報密度付き画面符号データリストと、送信優先度算出部９２４によって算出された送信優先度とに基づいて、送信対象符号データを生成し、サーバ通信部１４に通知する点、送信符号生成部９２３が送信済みの差分領域情報を送信画面データ更新部１３に通知する点が、相違している。

また、画面受信クライアント９１は、次の点で図１に示される画面受信クライアント３と相違している。即ち、受信符号バッファ９１１１を含む受信符号合成部９１１を備える点、その受信符号合成部９１１はクライアント通信部３３から分割符号データを受信し、受信データに基づいて生成された画面符号データを復号化部３２３に送信する点が、相違している。

符号化部９２２は、優先度決定部１２３から差分画面データリストを受け取ると、変化情報密度付き画面符号データリストを生成する。差分画面データリストは、図３に示されるように、１または複数の差分画面データを含み、各差分画面データは、差分領域情報と画素データと変化情報密度とを含む。変化情報密度付き画面符号データリストは、図３２に示されるように、１または複数の変化情報密度付き画面符号データを含み、各変化情報密度付き画面符号データは、差分領域情報と符号データと変化情報密度とを備える。各変化情報密度付き画面符号データは、それぞれ差分画面データリスト中の差分画面データと１対１に対応する。したがって、各変化情報密度付き画面符号データは、対応する差分画面データ中の画素データをＪＰＥＧ等の画像符号化方式を用いて符号化して得られる符号データと、対応する差分画面データ中の差分領域情報と同じ差分領域情報とを備える。さらに、各変化情報密度付き画面符号データは、差分画面データ中の変化情報密度と１対１に対応する変化情報密度を備える。

送信符号生成部９２３は、符号化部９２２から変化情報密度付き画面符号データリストを取得し、変化情報密度付き画面符号データリスト内の画面符号データに基づいて、送信対象符号データを生成する。このとき、送信符号生成部９２３は、画面符号データのデータサイズが所定のサイズ以下になるように画面符号データを分割して分割符号データを生成し、生成された分割符号データを含む送信対象符号データを送信対象符号バッファ９２３１に書き込む。送信対象符号データには後述する送信優先度が設定される。また、送信対象符号データには、元の画面符号データを生成するために分割符号データを結合する順番を示す情報である結合順序情報が付与される。結合順序情報は、例えば、１からカウントされる番号とする。また、結合順序情報は、結合する順序が最後であることを示す情報も含んでいる。最後に結合される分割符号データには、例えば、順に付与された番号の符号を反転した負数が結合順序情報として付与される。結合順序情報が１からカウントされる番号である場合、結合順序情報が最初の分割符号データであることを示している送信対象符号データとは、例えば、送信対象符号バッファ９２３１に書き込まれている送信対象符号データのうち、含まれている分割符号データの結合順序情報の絶対値が最小値である送信対象符号データを選択することを意味する。

送信対象符号データを生成し終わると、送信符号生成部９２３は、送信対象符号データを送信優先度の大きいものから優先的にサーバ通信部１４を介して送信する。

送信符号生成部９２３は、変化情報密度付き画面符号データリストを受け取ったとき、送信対象符号バッファ９２３１にデータが書き込まれていると、その送信対象符号データ内に含まれている分割符号データの中の結合順序情報が最小を示している送信対象符号データを選択して、サーバ通信部１４へ送る。即ち、送信途中の差分領域の画像データが送信される。

さらに、送信符号生成部９２３は、分割されていない画面符号データを送信した場合、あるいは分割符号データ内の結合順序情報が最後の分割符号データであることを示す結合順序情報を含む分割符号データを送信した場合、送信した画面符号データまたは分割符号データに対応付けられている差分領域情報を送信済み差分領域として、送信画面データ更新部１３に通知する。また、分割符号データを送信した場合、送信符号生成部９２３は、その送信対象符号データを送信対象符号バッファ９２３１から削除する。さらに、送信符号生成部９２３は、送信バッファ書き込み不可通知をサーバ通信部から受信すると、画像データを送信途中の差分領域に対応する送信対象符号データを除く送信対象符号データを送信対象符号バッファ９２３１から削除する。即ち、送信対象符号バッファ９２３１内に、差分領域情報が同一である送信対象符号データが２個以上記録されており、かつ分割符号データの中の結合順序情報に、分割符号データを結合して画面符号データを生成する際に最初に結合する分割符号データの結合順序情報（例えば「１」）が含まれている場合、差分領域情報が同一である送信対象符号データは、送信対象符号バッファ９２３１から削除される。さらに、分割されていない画面符号データを含んでいる送信対象符号データも送信対象符号バッファ９２３１から削除される。

送信対象符号データは、画面符号データまたは画面符号データが分割された分割符号データと、その送信優先度と、差分領域情報とを含む。即ち、分割符号データは、画面符号データ内の符号データを、所定のデータサイズ以下となるように分割して得られるデータと、差分領域情報と、結合順序情報とを備える。分割符号データサイズには、例えば利用可能な通信帯域を単位時間当たりの画面更新数で割った値等が用いられる。単位時間当たりの画面更新数はユーザが設定することが好ましい。

送信優先度算出部９２４は、送信符号生成部９２３から画面符号データ内の符号データのサイズ、分割符号データサイズ、分割符号データ、変化情報密度を取得し、分割符号データ毎に送信優先度を生成する。

送信優先度は、例えば、変化情報密度を分割数で割って求められる。各送信優先度間の差を詳細に求めたい場合、送信優先度は、画面符号データ内の符号データのサイズを分割符号データのサイズで割った値を用いて割って算出されてもよい。したがって、分割符号データの送信優先度は、変化情報密度より小さな値となる。即ち、送信優先度は、分割数が大きくなると、下がることになる。

画面受信クライアント９１では、受信符号合成部９１１は、クライアント通信部３３から、分割符号データあるいは画面符号データを受け取る。画面符号データを受け取ると、受信符号合成部９１１は、受信した画面符号データを復号化部３２３に送信する。また、受信符号合成部９１１は、分割符号データを受け取ると、受信した分割符号データを受信符号バッファ９１１１に書き込む。書き込んだ分割符号データの結合順序情報が、最後の順番であることを示す場合、受信符号合成部９１１は、受信符号バッファ９１１１内の分割符号データを結合順序情報に基づいて結合して画面符号データを生成し、生成された画面符号データを復号化部３２２に送信する。

なお、本実施の形態の画面送信サーバ９２、画面受信クライアント９１も前述した実施の形態と同様に、コンピュータによって実現することができる。

次に、図３３および図３４を参照して画面送信サーバ９２の動作について詳細に説明する。なお、ここでは、第１の実施の形態との相違点について説明する。したがって、図８に示されるステップＳ３３０以降が図３３を参照して説明される。

図３３に示されるように、符号化部９２２は、優先度決定部１２３から差分画面データリストを受け取ると、変化情報密度付き画面符号データリストを生成する。生成された変化情報密度付き画面符号データリストは、送信符号生成部９２３に渡される（ステップＳ３４１）。

送信符号生成部９２３は、符号化部９２２から取得した変化情報密度付き画面符号データリスト内の画面符号データに基づいて、送信対象符号データを生成する（ステップＳ６００）。

送信符号生成部９２３は、送信優先度が大きい順に、送信対象符号データ内の画面符号データまたは分割符号データをサーバ通信部１４に渡す（ステップＳ５１４）。サーバ通信部１４は、受け取った画面符号データまたは分割符号データを送信バッファ１４１に書き込み、順に画面受信クライアント９１にネットワーク２を介して送信する（ステップＳ５７０）。サーバ通信部１４は、送信バッファ１４１に空き容量がなくなると、符号化部９２２に対して書き込み不可通知を発行する（ステップＳ５８０）。

送信符号生成部９２３は、送信対象符号データを全て送信し終わるか、送信バッファ書き込み不可通知を受信すると、送信済みの差分領域情報を送信画面データ更新部１３に送る（Ｓ７１０）。このとき、送信対象符号データが分割された画面符号データを含む場合、最後の順番であることを示す結合順序情報を有する送信対象符号データが送り終わったものが送信済みとなる。即ち、分割されていない画面符号データを含む送信対象符号データ或いは最後の順番であることを示す結合順序情報を有する分割符号データを含む送信対象符号データが送り終わると、その送信対象符号データに対応する差分領域情報が送信済みとなる。

また、送信対象符号データが送信されると、送信符号生成部９２３は、送信された送信対象符号データを送信対象符号バッファ９２３１から削除する。さらに、送信符号生成部９２３は、送信対象符号バッファ９２３１内に記録されているデータのうち、送信途中である送信対象符号データを除いて送信対象符号データを削除する。送信途中である送信対象符号データとは、結合順序情報が最初に結合される分割符号データであることを示す（例えば「１」）送信対象符号データが送信済みであり、その送信対象符号データと差分領域情報が同一である送信対象符号データである。最初に結合される分割符号データであることを示す結合順序情報（例えば「１」）を含む送信対象符号データが未送信の場合、差分領域情報が同一である送信対象符号データは、送信対象符号バッファ９２３１から削除される。

次に、送信符号生成部９２３の送信対象符号データ生成動作（ステップＳ６００）の詳細について、図３４を参照して説明する。

符号化部９２２により生成された変化情報密度付き画面符号データリストを取得すると（ステップＳ６１０）、送信符号生成部９２３は、送信対象符号バッファ９２３１にデータが書き込まれているかどうか調べる（ステップＳ６２０）。送信対象符号バッファ９２３１に送信対象符号データが残っている場合（ステップＳ６２０−有）、結合順序情報が最小の送信対象符号データ（分割符号データ）を送信する（ステップＳ６２２）。

送信符号生成部９２３は、未処理の変化情報密度付き画面符号データ内で、最も大きな変化情報密度に対応付けられている画面符号データを選択する（ステップＳ６３０）。

選択された画面符号データ内の符号データのサイズが分割符号データサイズよりも大きい場合、送信符号生成部９２３は、選択された画面符号データ内の符号データを、データサイズが分割符号データサイズ以下となるように分割して分割符号データを生成し、送信符号バッファ９２３１に書き込む（ステップＳ６４０）。分割符号データサイズよりも小さい場合は、分割数が１、即ち分割せずに画面符号データが送信符号バッファ９２３１に書き込まれる。

次に、送信符号生成部９２３は、分割された画面符号データ内の符号データのサイズおよび変化情報密度、分割符号データサイズ、分割符号データを送信優先度算出部９２４に送信する。送信優先度算出部９２４は、送られた情報に基づいて、送信優先度を計算する（ステップＳ６５０）。計算された送信優先度を受け取った送信符号生成部９２３は、送信符号バッファ９２３１内に書き込まれた送信対象符号データ内の送信優先度に書き込む。変化情報密度付き画面符号データリストに含まれる画面符号データが全て送信対象符号データとして処理されて送信符号バッファ９２３１に格納されるまで繰り返す（ステップＳ６６０）。

その後、送信符号生成部９２３は、送信符号バッファ９２３１に書き込まれた送信対象符号データの中で送信優先度が高い順に分割符号データをサーバ通信部１４へ送信する。複数に分割されて生成された分割符号データは、送信優先度が同じであるので、分割符号データに付与された結合順序情報が最も小さい送信対象符号データ、即ち先に結合される送信対象符号データから送信される（ステップＳ５１４）。このとき、送信されずに残っていた前画面の分割符号データが、新たに生成された現画面の分割符号データより後に送信されることがないように、現画面の分割符号データの送信が制御されることが好ましい。

具体的な数値によって上記の手順を説明する。例えば、差分領域Ａ〜Ｆが抽出され、その優先度が、領域Ａ：１１０、領域Ｂ：２００、領域Ｃ：１８０、領域Ｄ：１６０、領域Ｅ：７０、領域Ｆ：６０と算出されたとする。送信符号生成部９２３は、これらの差分領域の画面符号データサイズから、領域Ａ：１、領域Ｂ：２、領域Ｃ：３、領域Ｄ：２、領域Ｅ：１、領域Ｆ：１に分割して分割符号を生成する。したがって、送信優先度算出部９２４は、送信優先度を、領域Ａ：１１０、領域Ｂ：１００、領域Ｃ：９０、領域Ｄ：８０、領域Ｅ：７０、領域Ｆ：６０と算出する。送信対象符号データは、Ａ（１１０）、Ｂ１（１００）、Ｂ２（１００）、Ｃ１（９０）、Ｃ２（９０）、Ｃ３（９０）、Ｄ１（８０）、Ｄ２（８０）、Ｅ（７０）、Ｆ（６０）と生成される。送信対象符号バッファ９２３１に残留するデータがなく、サーバ通信部１４から送信バッファ書き込み不可通知を受けないときは、送信符号生成部９２３からＡ、Ｂ１、Ｂ２、Ｃ１、Ｃ２、Ｃ３、Ｄ１、Ｄ２、Ｅ、Ｆの順に送信される。

例えば、Ａ、Ｂ１、Ｂ２、Ｃ１が送信され、Ｃ２の送信後に送信バッファ書き込み不可通知を受けると、送信符号生成部９２３は、送信対象符号バッファからＡ、Ｂ１、Ｂ２、Ｄ１、Ｄ２、Ｅ１、Ｆ１を削除し、送信対象符号バッファにはＣ２、Ｃ３が残る。

次に、送信優先度が１１０で分割数１の送信対象データＧ（１１０）と、送信優先度が１００で分割数２の送信対象データＨ１（１００）、Ｈ２（１００）が生成されると、送信対象符号バッファ９２３１に残っているＣ２が送信される。次に送信優先度の高いＧが送信され、さらに残っているＣ３が送信され、Ｈ１、Ｈ２が送信される。

その他の説明は第１の実施の形態と同じであるので、説明を省略する。

次に、図２５を参照して本実施の形態における画面受信クライアント９１の動作について詳細に説明する。なお、ここでは、第１の実施の形態との相違点について説明する。

クライアント通信部３３は、画面送信サーバ９２からネットワーク２を介して分割符号データあるいは画面符号データを受信する（ステップＳ８１１）。受信符号合成部９１１は、クライアント通信部３３により受信された分割符号データを取得し、受信符号バッファ９１１１に格納する。結合順序情報が最後の順番であることを示している分割符号データか分割されていない画面符号データを受信した場合（ステップＳ８１２）、受信符号合成部９１１は、受信符号バッファ９１１１に格納し（ステップＳ８２２）、受信符号バッファ９１１１に格納されている受信データに基づいて画面符号データを合成する（ステップＳ８２５）。即ち、複数に分割された分割符号データは、結合順序情報に基づいて結合処理され、画面符号データに戻される。受信符号合成部９１１は、受信した画面符号データを復号化部３２３に渡す。

その他の説明は第１の実施の形態と同じであるので、説明を省略する。

上述のように、本実施の形態では、送信符号生成部９２３は、分割符号データサイズより大きな符号データを持つ画面符号データを分割符号データサイズ以下となるように分割して分割符号データを生成する。生成された分割符号データは、送信対象符号バッファ９２３１に書き込まれる。画面符号データの変化情報密度に基づいて、分割符号データ毎に送信優先度が送信優先度算出部９２４によって算出され、送信対象符号データ毎に割り当てられる。

また、送信符号生成部９２３は、分割符号データサイズより小さな符号データを持つ画面符号データの変化情報密度を送信優先度として用いる。

そして、送信符号生成部９２３が、送信対象符号バッファ９２３１に書き込まれている送信対象符号データ内の分割符号データを結合順所情報順に一つ取得し、画面符号データを符号データとして持つ送信対象符号データと合わせて、送信優先度の大きいものから優先的に分割符号データあるいは画面符号データを送信する。

以上の動作により、本実施の形態によれば、第１の実施の形態で得られる効果に加え、次のような効果を得ることができる。分割符号データサイズより大きな符号データを持つ画面符号データ（以下巨大画面符号データ）が分割符号データに分割され、かつ分割符号データを送信後に次の分割符号データを送信するまでに、画面データ取得部１１が画面データを取得するため、画面データ取得部１１によって取得された画面データから差分領域抽出部１２２によって差分領域が抽出され、優先度決定部１２３によって計算された、前記差分領域の変化情報密度が大きな値であった場合、前記変化情報密度の大きな差分領域の画像データを符号化することで得られた画面符号データ（以下高変化画面符号データ）を、前記巨大画面符号データから生成した分割符号データ１個を送信後に送信することができ、前記巨大画面符号データ自体の送信後に、前記画面データ取得部１１が画面データを取得する第１の実施の形態に比べて、前記高変化画面符号データを迅速に送信することができる。

即ち、第１の実施の形態で説明された画面伝送システムでは、巨大画面符号データを送信し終わるまで差分領域抽出手段の動作が開始されない。そのため、変化の大きな画面変化が発生していても、この変化を送信することができない。これに対して、第５の実施の形態で説明された画面伝送システムでは、巨大画面符号データを分割した分割符号データ送信後に差分領域抽出手段の動作が行われる。そのため、巨大画面符号データよりも変化情報密度の大きく伝送データサイズの小さい画面符号データが得られた場合、送信優先度の大きい高変化画面符号データが、巨大画面符号データの分割符号データの伝送の間に送信され、結果的に巨大画面符号データより先に高変化画面符号データの送信が完了する。

また、本実施の形態では、画面受信クライアント９１において、受信符号合成部９１１は、分割符号データを受信した場合、受信符号バッファ９１１１に受信した分割符号データを書き込み後、直ちにクライアント通信部３３からのデータ受信を待機する。そのため、巨大画面符号データから生成した分割符号データ１個を受信後に高変化画面符号データを受信することができ、巨大画面符号データ自体の受信後に、次の画面符号データを受信する第１の実施の形態に比べて、高変化画面符号データを迅速に受信かつ復号することができる。

なお、上述した各具体例では、画面の伝送プロトコルにＨＴＴＰを用いた場合について説明したが、その他の伝送プロトコルを用いてもよい。また、画像データの例として画素データを用いた場合について説明したが、ベクトル表現された点や線分であっても構わない。さらに、差分領域の形状を矩形にしたが、差分領域の形状はこれに限られるものではない。さらに、変化情報密度として「（変化量合計値）÷（差分領域の面積の２乗）」を用いたが、差分領域の面積が大きくなる程小さくなり、且つ差分領域の変化量合計値が大きくなるような値であれば、他の値を用いても良い。

本発明は、シンクライアントシステムなどにおいて画面データを転送する場合に適用でき、特に、狭帯域環境において利用すると好適である。

また、本発明がコンピュータによって実現される場合、そのプログラムは、
（１）コンピュータを、
前画面と現画面とを比較し、前記前画面に対して変化した前記現画面上の領域を差分領域として抽出する差分領域抽出手段、
該差分領域抽出手段で抽出された差分領域毎に、差分領域の画像データを送信する際の優先度を、予め定められた基準に基づいて決定する優先度決定手段、
該優先度決定手段で決定された優先度が高い差分領域から優先的に画像データを送信する通信手段として機能させるためのプログラムであることが好ましい。

（２）また、（１）に記載のプログラムにおいて、
前記優先度決定手段が、前記複数の差分領域毎に、前画面に対する画素値の変化の度合いを示す変化情報密度を算出し、該算出した変化情報密度に基づいて前記複数の差分領域の優先度を決定するプログラムであってもよい。

（３）さらに、（２）に記載のプログラムにおいて、
前記コンピュータが、画面を複数のブロックに分割した際の各ブロックの送信履歴が格納された送信履歴記憶部を備え、且つ、
前記優先度決定手段が、前記複数の差分領域の変化情報密度に対する重みを、差分領域が覆っているブロックの送信履歴に基づいて算出し、該算出した重みで重み付けした変化情報密度に基づいて前記複数の差分領域の優先度を決定するプログラムであってもよい。

（４）また、（２）に記載のプログラムにおいて、
前記優先度決定手段が、前記複数の差分領域の変化情報密度に対する重みを、画面受信クライアントから送られてきた、ユーザが画面データに対して行った操作内容を示す操作情報に基づいて算出し、該算出した重みで重み付けした変化情報密度に基づいて前記複数の差分領域の優先度を決定するプログラムであってもよい。

（５）また、（１）乃至（４）の何れかに記載のプログラムにおいて、
前記コンピュータが、送信する画像データを一時的に保持する送信バッファを備え、且つ、
前記コンピュータを、自コンピュータの通信速度を算出する通信速度算出手段として機能させ、
前記通信手段が、前記通信速度算出手段で算出された通信速度に基づいて、前記送信バッファに書き込む画像データのデータサイズを決定し、該決定したデータサイズの範囲内で、前記複数の差分領域の画像データを、前記優先度決定手段で決定された優先度が高いものから優先的に前記送信バッファに書き込むプログラムであってもよい。

（６）また、（１）に記載のプログラムにおいて、
さらに、
前記差分領域の画素データを符号化して符号データを生成する符号化手段、
前記符号データのサイズが閾値よりも大きい場合にサイズが閾値以下となるように前記符号データを分割して分割符号データを生成し、前記変化情報密度を前記分割符号データと同数だけ分割して送信優先度を前記分割符号データに対応付ける送信符号生成手段
としてコンピュータを機能させ、
前記通信手段は、前記送信優先度に基づいて、前記分割符号データを送信するようにコンピュータを機能させるプログラムであってもよい。

（７）また、（６）に記載のプログラムにおいて、
前記分割符号データは、前記分割符号データを結合して前記符号データを再生する順番を示す結合順序情報を含み、
前記送信符号生成手段は、最も小さい順番を示す前記結合順序情報を含む前記分割符号データを選択して前記通信手段を用いて送信し、前記送信した送信対象符号データを削除し、前記通信手段で送信できなかった分割符号データのうち、前記分割符号データを結合して前記画面符号データを生成する際の最初に結合する分割符号データが含まれている場合に、前記最初に結合する分割符号データおよび、画面符号データを生成する際に前記最初に結合する分割符号データの後に結合する分割符号データ全てを削除し、さらに前記通信手段で送信できなかった画面符号データを削除する手段としてコンピュータを機能させるプログラムであってもよい。

本発明によれば、通信帯域の制限を受ける差分領域は、優先度の低い差分領域に限定されるため、画面受信クライアント側の画面の更新に与える影響を最小限に抑えることができる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

なお、本出願は、日本出願番号２００７−１７２０６９及び２００８−１３７１５６に基づく優先権を主張するものであり、日本出願番号２００７−１７２０６９及び２００８−１３７１５６における開示内容は引用により本出願に組み込まれる。

Claims (36)

1. 表示されている現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した画素の集合が存在する前記現画面上の領域を差分領域として抽出する差分領域抽出手段と、
   前記差分領域毎に、前記差分領域に含まれる画素の画素値と前記差分領域の面積とに基づいて、前画面に対する画素値の変化の度合いを示す変化情報密度を計算し、前記変化情報密度に基づいて優先度を決定する優先度決定手段と、
   前記優先度が高い順に前記差分領域の画像データを送信する通信手段と
   を備える画面送信サーバと、
   前記画面送信サーバから受信した前記差分領域の画像データに基づいて画像データと予め保持している画面データとを合成してクライアント画面に表示する画面受信クライアント装置と
   を具備する
   画面伝送システム。
2. 請求項１に記載の画面伝送システムにおいて、
   前記変化情報密度を、前記画素値の変化量の合計を前記面積の２乗で除して算出する
   画面伝送システム。
3. 請求項１又は２に記載の画面伝送システムにおいて、
   前記画面送信サーバは、
   画面を複数のブロックに分割したブロックのうち少なくとも１つに前記差分領域の画像データの少なくとも一部が含まれており、前記差分領域の画像データを送信したことを示す送信履歴を格納する送信履歴記憶手段と、
   前記差分領域が覆う前記ブロックの前記送信履歴に基づいて、前記優先度に対する重みを算出する重み生成手段と
   を更に備え、
   前記優先度決定手段は、前記変化情報密度に前記重みで重み付けして前記優先度を決定する
   画面伝送システム。
4. 請求項３に記載の画面伝送システムにおいて、
   前記送信履歴は、前記ブロックに少なくとも一部が含まれる前記差分領域の画像データが最後に送信された時刻を示す最新送信時刻を含み、
   前記優先度決定手段は、前記最新送信時刻と現在時刻との差分が大きい程、前記重みを大きな値とする
   画面伝送システム。
5. 請求項３に記載の画面伝送システムにおいて、
   前記送信履歴は、前記ブロックに含まれる画像データが送信された回数を示す送信頻度を含み、
   前記優先度決定手段が、前記差分領域が覆う前記ブロックの前記送信頻度が小さい程、前記重みを大きな値とする
   画面伝送システム。
6. 請求項１乃至５の何れか１項に記載の画面伝送システムにおいて、
   前記画面受信クライアント装置は、
   ユーザが行った操作内容を示す操作情報を前記画面送信サーバへ送信する操作情報入力手段を備え、
   前記優先度決定手段は、前記画面受信クライアント装置から送られてきた操作情報に基づいて、前記重みを算出し、前記変化情報密度を前記重みで重み付けして前記優先度を決定する
   画面伝送システム。
7. 請求項６に記載の画面伝送システムにおいて、
   前記操作情報は、前記クライアント画面に表示されるカーソルの位置を含み、
   前記優先度決定手段は、前記差分領域の重心位置と前記操作情報によって示される前記カーソルの位置との距離が小さい程、前記重みを大きな値とする
   画面伝送システム。
8. 請求項６に記載の画面伝送システムにおいて、
   前記操作情報は、前記クライアント画面に表示されるカーソルの移動速度を含み、
   前記優先度決定手段は、前記移動速度が所定の閾値未満の場合に前記重みによる重み付けをせずに前記優先度を決定し、前記閾値以上の場合に前記面積が小さい程、大きな値となるように算出した前記重みによる重み付けをして前記優先度を決定する
   画面伝送システム。
9. 請求項６に記載の画面伝送システムにおいて、
   前記操作情報は、前記ユーザが操作するキーの操作頻度を含み、
   前記優先度決定手段は、前記キーの操作頻度が所定の閾値未満の場合に前記重みによる重み付けをせずに前記優先度を決定し、前記閾値以上の場合に前記面積が小さい程大きな値となるように算出した前記重みによる重み付けをして前記優先度を決定する
   画面伝送システム。
10. 請求項１乃至９の何れか１項に記載の画面伝送システムにおいて、
    前記画面送信サーバは、前記通信手段が前記画面受信クライアント装置との間で通信するときの通信速度を算出する通信速度算出手段を更に具備し、
    前記通信手段は、前記画面受信クライアント装置へ送信する画像データを一時的に保持する送信バッファを備え、
    前記通信速度に基づいて、前記送信バッファに書き込む画像データの最大データサイズを決定し、前記最大データサイズの範囲内で前記差分領域の画像データを前記優先度が高いものから優先的に前記送信バッファに書き込む
    画面伝送システム。
11. 請求項１乃至１０の何れか１項に記載の画面伝送システムにおいて、
    前記差分領域抽出手段は、前記前画面に対して画素値が所定値以上変化した画素を抽出し、互いの画面上の距離が一定値以下である抽出画素どうしを結ぶ線分によってつながる複数の前記抽出画素の集合を覆う領域を差分領域として抽出する
    画面伝送システム。
12. 請求項１乃至１１の何れか１項に記載の画面伝送システムにおいて、
    前記差分領域抽出手段は、画素の各色成分の値をそれぞれ異なる重みで重み付けされた重み付け画素値に基づいて前記差分領域を抽出する
    画面伝送システム。
13. 請求項１乃至請求項１２に記載の画面伝送システムにおいて、
    前記画面送信サーバは、
    前記差分領域の画素データを符号化して符号データを生成する符号化手段と、
    所定値以下のデータサイズとなるように前記符号データを分割して分割符号データを生成し、前記分割符号データに分割にした分割数で前記変化情報密度を除した送信優先度を前記分割符号データに対応付ける送信符号生成手段と
    を更に備え、
    前記通信手段は、前記送信優先度に基づいて、前記分割符号データを送信する
    画面伝送システム。
14. 請求項１３に記載の画面伝送システムにおいて、
    前記分割符号データは、前記分割符号データを結合する順番を示す結合順序情報を含み、
    前記送信符号生成手段は、最も小さい順番を示す前記結合順序情報を含む前記分割符号データを選択して前記通信手段を用いて送信し、前記送信した送信対象符号データを削除し、前記通信手段で送信できなかった分割符号データのうち、前記分割符号データを結合して前記画面符号データを生成する際の最初に結合する分割符号データが含まれている場合に、前記最初に結合する分割符号データおよび、画面符号データを生成する際に前記最初に結合する分割符号データの後に結合する分割符号データ全てを削除し、更に前記通信手段で送信できなかった画面符号データを削除する
    画面伝送システム。
15. 表示されている現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した画素の集合が存在する前記現画面上の領域を差分領域として抽出する差分領域抽出手段と、
    前記差分領域毎に、前記差分領域に含まれる画素の画素値と前記差分領域の面積とに基づいて、前画面に対する画素値の変化の度合いを示す変化情報密度を計算し、前記変化情報密度に基づいて優先度を決定する優先度決定手段と、
    前記優先度が高い順に前記差分領域の画像データを送信する通信手段と
    を具備し、
    画像データと予め保持している画面データとを合成してクライアント画面に表示する画面受信クライアント装置に前記差分領域の画像データを送信する
    画面送信サーバ。
16. 請求項１５に記載の画面送信サーバにおいて、
    画面を複数のブロックに分割したブロックのうち少なくとも１つに前記差分領域の画像データの少なくとも一部が含まれており、前記差分領域の画像データを送信したことを示す送信履歴を格納する送信履歴記憶手段を備え、
    前記差分領域が覆う前記ブロックの前記送信履歴に基づいて、前記優先度に対する重みを算出する重み生成手段と
    を更に具備し、
    前記優先度決定手段は、前記変化情報密度に前記重みで重み付けして前記優先度を決定する
    画面送信サーバ。
17. 請求項１５又は１６に記載の画面送信サーバにおいて、
    前記画面受信クライアント装置から受信した、ユーザが行った操作内容を示す操作情報を保持する操作情報取得手段を更に具備し、
    前記優先度決定手段は、前記操作情報に基づいて、前記重みを算出し、前記変化情報密度を前記重みで重み付けして前記優先度を決定する
    画面送信サーバ。
18. 請求項１５乃至１７の何れか１項に記載の画面送信サーバにおいて、
    前記通信手段が前記画面受信クライアント装置との間で通信するときの通信速度を算出する通信速度算出手段を更に具備し、
    前記通信手段は、前記画面受信クライアント装置へ送信する画像データを一時的に保持する送信バッファを備え、
    前記通信速度に基づいて、前記送信バッファに書き込む画像データの最大データサイズを決定し、前記最大データサイズの範囲内で前記差分領域の画像データを前記優先度が高いものから優先的に前記送信バッファに書き込む
    画面送信サーバ。
19. 請求項１５乃至１８の何れか１項に記載の画面送信サーバにおいて、
    前記差分領域の画素データを符号化して符号データを生成する符号化手段と、
    所定の値以下となるように前記符号データを分割して分割符号データを生成し、前記分割符号データに分割した分割数で前記変化情報密度を除した送信優先度を前記分割符号データに対応付ける送信符号生成手段と
    を更に具備し、
    前記通信手段は、前記送信優先度に基づいて、前記分割符号データを送信する
    画面送信サーバ。
20. 請求項１９に記載の画面送信サーバにおいて、
    前記分割符号データは、前記分割符号データを結合する順番を示す結合順序情報を含み、
    前記送信符号生成手段は、最も小さい順番を示す前記結合順序情報を含む前記分割符号データを選択して前記通信手段を用いて送信し、前記送信した送信対象符号データを削除し、前記通信手段で送信できなかった分割符号データのうち、前記分割符号データを結合して前記画面符号データを生成する際の最初に結合する分割符号データが含まれている場合に、前記最初に結合する分割符号データおよび、画面符号データを生成する際に前記最初に結合する分割符号データの後に結合する分割符号データ全てを削除し、更に前記通信手段で送信できなかった画面符号データを削除する
    画面送信サーバ。
21. 表示されている現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した画素の集合が存在する前記現画面上の領域を差分領域として抽出する差分領域抽出ステップと、
    前記差分領域毎に、前記差分領域に含まれる画素の画素値と前記差分領域の面積と基づいて、優先度を決定する優先度決定ステップと、
    前記優先度が高い順に前記差分領域の画像データを送受信する通信ステップと
    前記通信ステップにおいて送受信された前記差分領域の画像データに基づいて画像データと予め保持している画面データとを合成してクライアント画面に表示するステップと
    を具備する
    画面伝送方法。
22. 請求項２１に記載の画面伝送方法において、
    前記優先度決定ステップは、前記画素値と前記面積とに基づいて、前画面に対する画素値の変化の度合いを示す変化情報密度を算出し、前記変化情報密度に基づいて前記差分領域の前記優先度を決定するステップを備える画面伝送方法。
23. 請求項２２に記載の画面伝送方法において、
    画面を複数のブロックに分割して前記ブロックのうち少なくとも１つに前記差分領域の画像データの少なくとも一部が含まれており、前記差分領域の画像データを送信したことを示す送信履歴を管理するステップを更に具備し、
    前記優先度決定ステップは、
    前記変化情報密度に対する重みを前記送信履歴に基づいて算出するステップと、
    前記変化情報密度を前記重みで重み付けした重み付け変化情報密度に基づいて前記複数の差分領域の各々の優先度を決定するステップと
    を備える
    画面伝送方法。
24. 請求項２３に記載の画面伝送方法において、
    前記優先度決定ステップは、前記画面受信クライアント装置から受信した、ユーザが行った操作内容を示す操作情報に基づいて、前記変化情報密度に対する重みを算出するステップと、
    前記変化情報密度を前記重みで重み付けした重み付け変化情報密度に基づいて、前記差分領域の前記優先度を決定するステップと
    を備える
    画面伝送方法。
25. 請求項２１乃至２４の何れか１項に記載の画面伝送方法において、
    前記差分領域の画像データを送信バッファに一時的に保持するステップと、
    前記差分領域の画像データを送信するサーバの通信速度を算出する通信速度算出ステップと
    を具備し、
    前記通信ステップは、
    前記通信速度算出ステップで算出された通信速度に基づいて、前記送信バッファに書き込むデータのデータサイズを決定するステップと、
    前記データサイズの範囲内で、前記複数の差分領域の画像データを、前記優先度が高いものから優先的に前記送信バッファに書き込むステップと
    を備える
    画面伝送方法。
26. 請求項２１乃至２５の何れか１項に記載の画面伝送方法において、
    前記差分領域の画素データを符号化して符号データを生成するステップと、
    前記符号データのサイズが閾値よりも大きい場合にサイズが閾値以下となるように前記符号データを分割して分割符号データを生成するステップと、
    前記変化情報密度を前記分割符号データと同数だけ分割して送信優先度を前記分割符号データに対応付けるステップと
    を更に具備し、
    前記通信ステップは、前記送信優先度に基づいて前記分割符号データを送信するステップを備える
    画面伝送方法。
27. 請求項２６に記載の画面伝送方法において、
    前記分割符号データは、前記分割符号データを結合して前記符号データを再生する順番を示す結合順序情報を含み、
    前記通信ステップは、前記順番に基づいて前記分割符号データを送信するステップを備える
    画面伝送方法。
28. 請求項２１乃至２７の何れか１項に記載の画面伝送方法をコンピュータに実行させるためのプログラムを記録するプログラム記録媒体。
29. 請求項２１乃至２７の何れか１項に記載の画面伝送方法をコンピュータに実行させるためのプログラム。
30. 表示されている現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した画素の集合が存在する前記現画面上の領域を差分領域として抽出し、前記差分領域毎に前記差分領域に含まれる画素の画素値と前記差分領域の面積とに基づいて、前画面に対する画素値の変化の度合いを示す変化情報密度を計算し、前記変化情報密度に基づいて優先度を決定し、前記優先度が高い順に送信される前記差分領域の画像データを受信する手段と、
    受信した前記差分領域の画像データに基づいて画面データと予め保持している画面データとを合成する画面合成手段と、
    合成された前記画面データを表示するクライアント画面と
    を具備する
    画面受信クライアント装置。
31. 表示されている現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した画素の集合が存在する前記現画面上の領域を差分領域として抽出する差分領域抽出ステップと、
    前記差分領域毎に、前記差分領域に含まれる画素の画素値と前記差分領域の面積とに基づいて、前画面に対する画素値の変化の度合いを示す変化情報密度を計算し、前記変化情報密度に基づいて優先度を決定する優先度決定ステップと、
    前記優先度が高い順に前記差分領域の画像データを、前記差分領域の画像データと予め保持している画面データとを合成してクライアント画面に表示する画面受信クライアント装置に送信する通信ステップと
    を具備する
    画面情報送信方法。
32. 請求項３１に記載の画面情報送信方法をコンピュータに実行させるためのプログラムを記録するプログラム記録媒体。
33. 請求項３１に記載の画面情報送信方法をコンピュータに実行させるためのプログラム。
34. 表示されている現画面と、前記現画面に変化する前の前画面とが比較され、前記前画面に対して変化した画素の集合が存在する前記現画面上の領域を差分領域として抽出され、前記差分領域毎に前記差分領域に含まれる画素の画素値と前記差分領域の面積とに基づいて、前画面に対する画素値の変化の度合いを示す変化情報密度を計算し、前記変化情報密度に基づいて優先度が決定され、前記優先度が高い順に送信される前記差分領域の画像データを受信するステップと、
    受信した前記差分領域の画像データを合成して表示するクライアント画面と
    を具備する
    画面情報受信方法。
35. 請求項３４に記載の画面情報受信方法をコンピュータに実行させるためのプログラムを記録するプログラム記録媒体。
36. 請求項３４に記載の画面情報受信方法をコンピュータに実行させるためのプログラム。

Images