JP4116006B2

JP4116006B2 - 画面転送装置、画面転送システム、画面転送方法、およびプログラム

Info

Publication number: JP4116006B2
Application number: JP2005060568A
Authority: JP
Inventors: 信哉村井; 一山口; 敏雄白木原; 春彦外山; 卓也川村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-03-04
Filing date: 2005-03-04
Publication date: 2008-07-09
Anticipated expiration: 2025-03-04
Also published as: US20060210177A1; US7881369B2; JP2006246153A

Description

本発明は、コンピュータの画面の画像データを取得し、圧縮し、ネットワークを介して画面表示端末に転送する画面転送装置、画面転送システム、画面転送方法、およびプログラムに関する。

近年、ネットワークの高速化に伴い、パーソナルコンピュータの画面をリアルタイムにネットワークを介して送信し、遠隔の画面表示端末に表示させ、遠隔からパーソナルコンピュータの操作を行うアプリケーションが広まってきている。たとえば、ＶＮＣ（ＶｉｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）などがそのアプリケーションの例としてある。

また、パーソナルコンピュータの画面を８０２．１１ｂ規格や８０２．１１ｇ規格の無線ＬＡＮを用いてプロジェクターにリアルタイムに送信し表示するといったシステムも広まってきている。

いずれの応用も、コンピュータの画面の画像データをリアルタイムに取得し、圧縮し、ネットワークを介して、他の情報機器に送信する技術に基づいている。

従来、このような画面データのリアルタイム送信は、画面全体を定期的に圧縮し、送信する、もしくは、画面の中の変更のあった部分のみを抽出し、その変更のあった部分の画像データを圧縮し、送信していた。

ＶＮＣでは圧縮の方式として可逆圧縮を用いている。そのため、すべての画像データは歪無く送信されるが、画質を適応的に可変することができないため、頻繁に大きい領域に変更があった場合などには、圧縮後のデータサイズが画面転送に利用可能な帯域にくらべて大きくなる。したがって、実際の画面の更新頻度に比べて送信する画像データの更新頻度を大きく落とす必要があった。

特許文献１では、画面をブロック毎に分割し、画面の変化の生じた回数に応じてブロック毎に優先度を設定し、画面の変化の生じた回数の少ないブロックの画面を優先して送信する方式について述べられている。しかし、このような制御を行った場合においても、画面転送に利用可能な帯域の制約により、更新頻度の高いブロックにおいては、実際の画面の更新頻度に比べて送信する画像データの更新頻度を落とさねばならない状況が多かった。

また、画面の送信方法としてＭＰＥＧのような動画像圧縮方式を用いる方式もある。この方式は、最新のフレーム（画面）全体を一つ前に送信したフレーム（つまり、一つ前のフレームを符号化し、さらにそれを復号した画像）と比較し、その差分を圧縮して送信するというものである。この方式では、フレーム間の差分のデータ量が送信用の帯域より場合には、圧縮時の量子化ステップを大きくすることで画質を下げ、差分が小さく帯域が空いてくると、画質を上げるよう量子化ステップを小さくすることが行われる。この方式によると、画面転送に利用可能な帯域の制約によって実際の画面の更新頻度に比べて送信する画像データの更新頻度が大きく下がることはなく、かつ、画面の変化が小さくなると高い画質での画像送信が可能になるが、送信したフレームと現在のフレームとの差を得るために、符号化したデータを復号する処理が発生し、その負担が大きかった。
特開２００４−８６５５０公報

従来、画面中の大きい領域が頻繁に変化した場合、画面転送に利用可能な帯域の制約により、送信される画面データの更新頻度を落とす必要があり、画面転送のリアルタイム性が劣化するという問題があった。

また、ＭＰＥＧのような動画像圧縮方式を用いた場合、画面転送のリアルタイム性は維持されるが、送信側でフレーム間差分を得るために画像の復号処理を行う必要があり、そのための高い負担が生じていた。

本発明は上記の課題に鑑みてなされたものであり、画質の劣化を目立たせず画像の更新頻度の低下を抑制することができ、また、画面を送信する側の処理負担を軽減することのできる画面転送装置、画面転送システム、画面転送方法、およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画面転送装置は、画面表示用の画像データを生成する画面情報生成部と、画面情報生成部により生成された画像データの中で更新のあった領域の画像データを更新画像データとして生成する更新画像データ生成部と、画面情報生成部によって生成された最新の画面の画像データを保持する画面保持部と、画面を区画する領域毎の、送信された画像データの画質を表す情報および送信時刻を送信結果情報として保持する送信結果情報格納部と、一定の時間周期で、更新画像データ生成部による更新画像データの生成結果の情報を取得し、この取得した情報と送信結果情報格納部に格納された送信結果情報に基づいて、更新画像データまたは画面保持部に保持された画像データのどちらを送信するか、画面保持部に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定する送信画像データ決定部と、送信画像データ決定部により決定された送信する画像データを前記決定された画質に基づいて圧縮する圧縮部と、圧縮部により圧縮された画像データを外部の画面表示端末に送信する通信部とを有することを特徴とする。

また、本発明の画面転送装置において、送信画像データ決定部は、画面転送に利用可能な帯域の範囲で送信すべき画像データとその画質を決定し、更新画像データ生成部により生成された更新画像データを予め設定された第１の画質で送信することを優先して決定し、帯域の余った範囲で、更新画像データの領域外で第１の画質で既に送信した状態にある領域の画面保持部の画像データを第１の画質よりも高い第２の画質で送信することを決定するものであってもよい。

以上の発明によれば、更新の発生した領域の画像データを低画質で送信することによって画面転送に利用可能な帯域の制限を受けにくくなり、画面の転送を受ける側から見た画面転送のリアルタイム性が向上する。また、低画質で更新画像データが転送された後、その更新画像データは改めて高画質で転送されることで、画面の転送を受ける側から見た画質の劣化を目立たなくすることができる。さらに、画面を送信する側での復号処理が不要であるため、画面転送装置の処理負担を軽くすることができる。

また、本発明の画面転送装置において、送信画像データ決定部は、更新画像データの領域外で第１の画質で送信した状態にある領域の画面保持部の画像データを第２の画質で送信することを決定する場合、送信時刻が古い領域の画像データを優先するようにしてもよい。

この発明により、画面表示端末で長い時間低画質のまま表示される領域が残ることが無くなり、画質の劣化をより目立たなくすることができる。

さらに、送信画像データ決定部は、第１の画質で送信した状態にある領域の画像データうち、現在の時刻と送信時刻との差が所定の値より大きい領域の画像データを最優先で第２の画質で送信するようにしてもよい。

さらに、送信画像データ決定部は、画面転送に利用可能な帯域の一部を、第２の画質で画像データを送信するための帯域として利用できるように送信画像データを決定するようにしてもよい。

以上の本発明により、画面転送に利用可能な帯域の制限を受けにくくなり、画面の転送を受ける側から見た画面転送のリアルタイム性が向上するとともに、画面の転送を受ける側から見た画質の劣化を目立たなくすることができる。さらに、画面を送信する側での復号処理が不要であるため、画面転送装置の処理負担を軽くすることができる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、本発明の第１の実施形態にかかる画面転送システム１００の構成を示すブロック図である。
同図に示すように、この画面転送システム１００は、表示すべき画面の画像データを生成して送信する画面転送装置１０と、この画面転送装置１０とネットワーク２０を介して接続された画面表示端末３０とで構成される。

画面転送装置１０は、具体的には、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌ（Ｄａｔａ）Ａｓｓｉｓｔａｎｔｓ）、携帯電話、ゲーム機など表示画面の画像データを生成する機器であれば何でもよい。画面表示端末３０は、ネットワークを通じて画面転送装置１０から送信された画像データを受信して表示する機器である。画面表示端末３０は、具体的には、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの表示部を備え、ネットワークから画像データを受信可能なテレビ、ＰＣ、ＰＤＡ、プロジェクターなど、画像データを画面として表示部に表示させる機能を備えた装置であれば何でもよい。また、画面表示端末３０において、画面転送装置１０より送られてきた画像データは表示部の画面全体あるいは一部に設定されたウインドゥなどの領域に表示される。画面転送装置１０より画像データに加えて、画面上の表示する座標や表示範囲を示す範囲情報が送られてくる場合がある。このような場合に備え、画面表示端末３０は、その範囲情報に基づいて、この範囲情報に相当する表示範囲を画像データを表示する機能を備えている。

次に、図１において、画面転送装置１０の構成を説明する。
同図に示すように、画面転送装置１０は、画面情報生成部１１、更新画像データ生成部１２、送信画像データ決定部１３、画面保持部１４、送信結果情報格納部１５、圧縮部１６、及び通信部１７とを備えている。

画面情報生成部１１は、画面表示端末３０へ転送して表示すべき画像データを画面情報として生成する。たとえば、画面転送装置１０がＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）上でアプリケーションプログラムを動作させることのできるＰＣである場合、アプリケーションプログラムがＯＳに対して描画命令を発行すると、ＯＳは表示用の画像データを生成し、ディスプレイ表示用のフレームバッファに書き込む。画面情報生成部１１はこの一連の手順を行う部分に相当する。

更新画像データ生成部１２は、画面情報生成部１１によって生成された画面情報の中から更新のあった領域の画像データを更新画像データとして生成する。たとえば、画面転送装置１０が上記の構成のＰＣである場合、ＯＳがディスプレイ表示用フレームバッファに書き込んだ画像データをフックすることにより更新画像データを生成することができる。また、ＯＳより画面の変更領域を取得し、その領域内の画像データを別途取得する方法、ＯＳがディスプレイ表示用フレームバッファに書き込む画像データを生成する途中の描画命令をフックする方法なども考えられる。ここで得られる更新画像データは、画像データおよびその画像が画面全体の中で占める位置情報（たとえばブロック番号、更新領域の座標など）を含むものである。

更新画像データ生成部１２が更新画像を生成するタイミングは、更新画像が発生したタイミングでよいし、所定の時間間隔であってもよい。また、送信画像データ決定部１３が更新画像の取得を要求したタイミングで更新画像を生成するようにしてもよい。さらに、更新画像データ生成部１２は複数の更新画像データを保持することが可能なようにしてもよい。

画面保持部１４は、画面情報生成部１１によって生成された最新の画面の画像データを画面情報として取得もしくは保持する。最新の画面情報は、ＯＳの提供するサービスや、ディスプレイ表示用のフレームバッファなどから取得可能である。また、画面保持部１４はフレームバッファを有するものであってもよい。この場合、画面保持部１４は、画面情報生成部１１によって生成された最新の画面情報をフレームバッファに保持し、この最新の画面情報を保持したフレームバッファに更新画像データ生成部１２によって生成された更新画像データを上書きする。これによって、最新の画面の画像データを保持することが可能である。本実施形態では、後者のフレームバッファを用いた構成を採用している。

送信画像データ決定部１３は、一定の時間周期で、更新画像データ生成部１２による更新画像データの生成結果の情報を取得し、この取得した情報と送信結果情報格納部１５に格納された送信結果情報に基づいて、更新画像データまたは画面保持部１４に保持された画像データのどちらを送信するか、画面保持部１４に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定する。

送信結果情報格納部１５は、画面を区画する領域たとえばピクセル、ブロック、もしくは更新領域毎に、送信された画像の、画質を表す情報および送信時刻などを送信結果情報として保持する。ここで、送信時刻とは、実際の時刻でもよいが、ある特定の時刻からの差分を表す時刻でもよい。たとえば、この画面転送装置１０を動作し始めた時刻からの経過時刻といった情報でもよい。画質を表す情報とは、たとえばＪＰＥＧ圧縮を用いる場合にはＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）係数の量子化を行う際の量子化ステップや、量子化ステップを表現する別のなんらかのパラメータであってもよい。また、複数の画質の異なる圧縮方式を用いて圧縮を行う場合には、圧縮方式を表す情報であってもよい。

圧縮部１６は、送信画像データ決定部１３により決定された送信画像データを、送信画像データ決定部１３により決定された圧縮方法で圧縮する。

通信部１７は圧縮部１６により圧縮された送信画像データをネットワーク２０を介して画面表示端末３０に送信する。

本実施形態の画面転送装置１０がＰＣなどのコンピュータにより実現される場合、図１の画面情報生成部１１、更新画像データ生成部１２、送信画像データ決定部１３、画面保持部１４、送信結果情報格納部１５、圧縮部１６、及び通信部１７の機能はそれぞれ、コンピュータを機能させるプログラムで実現することが可能である。

次に、送信画像データ決定部１３にて送信画像データを決定する場合の動作を説明する。

図２は送信画像データ決定部１３にて送信画像データを決定する場合の動作の流れを示すフローチャートである。この動作は一定の時間周期で繰り返される。

まず、送信画像データ決定部１３は、更新画像データ生成部１２からの出力を取得する（ステップ１０１）。送信画像データ決定部１３は、更新画像データ生成部１２の出力から更新画像データが存在することを判断すると（ステップ１０２）、その更新画像データが占める領域を低画質で送信することを決定する（ステップ１０３）。更新画像データ生成部１２からの出力に更新画像データが存在しない場合にはステップ１０４へ移行する。

ステップ１０４では、送信用の帯域にまだ余りがあるかどうかを判断する（ステップ１０４）。余りがない場合には、ステップ１０３で決定した領域の画像データと画質情報を圧縮部１６に通知する（ステップ１０９）。この後、送信画像データ決定部１３は、送信画像データの決定結果である領域の座標、画質、送信時刻などの情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

ステップ１０４で送信用の帯域にまだ余りがある場合、送信画像データ決定部１３は、更新画像データ生成部１２から取得した更新画像データが占める領域以外で低画質で画像データを送信した状態にある領域が存在するかどうかを、送信結果情報格納部１５に格納されている送信画像情報に基づいて調べる（ステップ１０５）。該当する領域が存在しない場合には、ステップ１０３で決定した領域の画像データと画質情報を圧縮部１６に通知する（ステップ１０９）。この後、送信画像データ決定部１３は、送信画像データの決定結果を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

ステップ１０５で該当する領域が存在する場合、送信画像データ決定部１３は、低画質で送信した状態にある領域の中から、余った帯域で送信可能な領域の画像データを高画質で、ステップ１０３で決定した領域の画像データとともに送信することを決定する（ステップ１０６）。この余った帯域で送信する領域を決定する際に、送信結果情報格納部１５に格納されている各領域の送信時刻の情報に基づいて送信する領域が決定されるが、ここではその説明は省く。

続いて、送信画像データ決定部１３は、これまでに決定した送信画像データを送信する場合に、送信用の帯域にまだ余りがあるかどうかを判断する（ステップ１０７）。余りがない場合には、ステップ１０３とステップ１０６でそれぞれ決定した領域の画像データと画質情報を圧縮部１６に通知する（ステップ１０９）。この後、送信画像データ決定部１３は、送信画像データの決定結果を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

ステップ１０７で送信用の帯域にまだ余りがあれば、送信画像データ決定部１３は、更新画像データ生成部１２から取得した更新画像データが占める領域の中から、余った帯域で送信可能な領域の更新画像データを高画質で送信することを決定する（ステップ１０８）。この後、これまでに決定された領域の画像データと画質情報を圧縮部１６に通知する（ステップ１０９）。この後、送信画像データ決定部１３は、送信画像データの決定結果である領域の座標、画質などの情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

なお、ステップ１０９で、更新画像データは更新画像データ生成部１２から取得されて圧縮部１６に通知され、その他の既に低画質で送信された状態にある画像データは画面保持部１４から取得されて圧縮部１６に通知される。

次に、以上説明した送信画像データの決定処理のより具体的な動作を説明する。

図３から図６は各時刻ｔ１−ｔ４での送信画像データを示す図である。

はじめに前提条件を示す。画面全体は縦横７×７個のブロックに分割され、更新画像データ生成部１２はこのブロックの単位で更新画像データを生成する。送信画像データ決定部１３は周期的に送信画像データを決定して送信を行う。送信画像データ決定部１３は、低画質、高画質の２段階の画質を設定可能とする。高画質で圧縮された画像データの符号量は低画質で圧縮された画像データの符号量の２倍とする。画面転送に利用可能な帯域は、１周期で低画質で１６ブロック分のデータとし、したがって、高画質では８ブロック分のデータを送信可能とする。

まず、送信画像データ決定部１３は、時刻ｔ１において、送信画像データの決定処理を次のように行う。送信画像データ決定部１３は更新画像データ生成部１２から、図３に示すように、Ｂ３３、Ｂ５６を含む矩形部分の１２個のブロックとＢ７３、Ｂ７４、Ｂ７５、Ｂ７６の４個のブロックを更新画像データとして取得したとする。

送信画像データ決定部１３は、送信結果情報格納部１５より、送信した状態にある更新画像データの送信結果情報であるブロック番号、画質ならびに時刻の各情報を取得する。ここで、送信結果情報格納部１５には、すべてのブロックの画像データが高画質で送信された状態にあることを示す送信画像情報が格納されているものとする。

送信画像データ決定部１３は、更新画像データ生成部１２から取得した１６個のブロックの更新画像データをすべて低画質で送信することを決定し、その１６個のブロックの更新画像データを画質情報とともに圧縮部１６に通知する。すなわち、更新された画像データを低画質で送信することを最優先として送信画像データの決定処理が行われる。

この後、送信画像データ決定部１３は、送信画像データの決定結果であるブロックの番号、画質ならびに時刻の各情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

次の周期ｔ２において、送信画像データ決定部１３は、更新画像データ生成部１２から、図４に示すように、再びＢ３３とＢ５６を含む矩形部分の更新画像データを受け取ったとする。送信画像データ決定部１３は、送信結果情報格納部１５より、送信した状態にある更新画像データの送信結果情報であるブロック番号、画質ならびに時刻の各情報を取得する。この場合、送信画像データ決定部１３は、そのＢ３３とＢ５６を含む矩形部分の１２個のブロックの更新画像データを低画質で送信し、余った帯域を用いて、低画質で送信された状態にあるブロックのうちのＢ７３、Ｂ７４の２個のブロックを高画質で送信することを決定する。すなわち、ブロックには一定の順番が予め設けられており、この順番に従って高画質で送信するブロックを決定する。

次の周期ｔ３において、送信画像データ決定部１３は、更新画像データ生成部１２から更新画像が無い旨の通知を受け取ったとする。送信画像データ決定部１３は、送信結果情報格納部１５より、既に送信した状態にある画像データの送信結果情報であるブロック番号、画質ならびに時刻の各情報を取得する。その結果、送信画像データ決定部１３は、図５に示すように、低画質で送信された状態にあるブロックのうち、Ｂ７５、Ｂ７６の２つのブロックの画像データの送信時刻がｔ１であり、他のブロックの画像データの送信時刻ｔ２よりも古いため、Ｂ７５、Ｂ７６の２つのブロックの画像データを高画質で送信することを決定する。また、送信用の帯域が余っているので、送信画像データ決定部１３は、低画質で送信した状態にある領域中のＢ３３、Ｂ３４、Ｂ３５、Ｂ３６、Ｂ４３、Ｂ４４の６個のブロックの画像データを高画質で送信することを決定する。

次の周期ｔ４において、送信画像データ決定部１３は、再び更新画像が無い旨の通知を受け取ったとする。送信画像データ決定部１３は、送信結果情報格納部１５より送信した状態にあるブロックの画像データの送信結果情報であるブロック番号、画質ならびに時刻の各情報を取得する。その結果、低画質で画像データを送信した状態にあるブロックとしてＢ４５、Ｂ４６、Ｂ５３、Ｂ５４、Ｂ５５、Ｂ５６が存在するため、送信画像データ決定部１３は、これらのブロックの画像データを高画質で送信することを決定する。

このように、更新の発生した領域の画像データを低画質で送信することによって画面転送に利用可能な帯域の制限を受けにくくなり、画面の転送を受ける側から見た画面転送のリアルタイム性が向上する。また、低画質で更新画像データが転送された後、その更新画像データは改めて高画質で転送されることで、画面の転送を受ける側から見た画質の劣化を目立たなくすることができる。さらに、画面を送信する側での復号処理が不要であるため、画面転送装置１０の処理負担を軽くすることができる。

次に、送信画像データの決定処理の別の具体的な動作を図７から図１１を用いて説明する。

はじめに前提条件を示す。更新画像データ生成部１２は更新画像データを画面を区画する任意の矩形領域で生成し、送信結果情報格納部１５には、その矩形領域の更新画像データの送信結果情報が格納されるものとする。図７から図１１は各時刻ｔ１−ｔ５での送信画像データの送信結果情報を、各矩形領域の位置情報を画面に対応する二次元空間にマッピングして示す図である。実際には、各矩形領域の位置、画質、時刻などの情報はテーブルとして保持される。送信画像データ決定部１３は、画面の更新が発生したタイミングと予め決められた時間周期Ｔの両方で送信画像データの決定を行い、決定した送信画像データの送信を行うものとする。送信画像データ決定部１３は所定の時間以上低画質のまま送信結果情報格納部１５に残っている矩形領域の画像データを最優先に送信するよう送信画像データを決定するものとする。送信画像データ決定部１３は、低画質と高画質の２段階の画質を設定可能とする。一回の画面転送に利用可能な帯域は、高画質で図８の矩形領域Ａ５の分のデータとする。

まず、送信画像データ決定部１３は、時刻ｔ１において、更新画像データ生成部１２から新たな更新画像データを取得したとする。図７は時刻ｔ１での送信結果情報を示しており、ここで太線で示す矩形領域（図８のＡ５）が更新画像データの領域とする。送信画像データ決定部１３は、送信結果情報格納部１５より、既に送信した状態にある画像データの送信結果情報である領域の位置、画質ならびに時刻の各情報を取得する。ここで、送信結果情報格納部１５には、画面全体の画像データが高画質で送信された状態にあることを示す送信画像情報が格納されているものとする。

送信画像データ決定部１３は、この場合、更新画像データ生成部１２から取得した矩形領域の更新画像データを低画質で送信することを決定し、その矩形領域の更新画像データを画質情報とともに圧縮部１６に通知する。

この後、送信画像データ決定部１３は、送信画像データの決定結果である図７の太線で示す矩形領域の位置、画質ならびに時刻の各情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

次に時刻ｔ２において、送信画像データ決定部１３は、更新画像データ生成部１２から新たな更新画像データを取得する。図８は時刻ｔ２での送信結果情報を示しており、ここで太線で示す矩形領域（図９のＡ７）が新たな更新画像データの領域とする。送信画像データ決定部１３は、送信結果情報格納部１５より、既に低画質で送信された状態にある画像データの送信結果情報である領域の位置、画質ならびに時刻の各情報を取得する。

この場合、送信画像データ決定部１３は、更新画像データ生成部１２から新たに取得した、図８の太線で示す矩形領域の更新画像データを低画質で送信することを決定する。また、この時点では低画質で送信された状態にある矩形領域Ａ５の画像データが存在しているが、図８の太線で示す矩形領域の更新画像データを低画質で送信した場合の余りの帯域が矩形領域Ａ５の画像データを高画質で送信するには不足していることが判断され、図８の太線で示す矩形領域の更新画像データのみが送信画像データとして決定される。

この後、送信画像データ決定部１３は、送信画像データの決定結果である図８の太線で示す矩形領域の位置、画質ならびに時刻の各情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

次に時刻ｔ３において、送信画像データ決定部１３は、更新画像データ生成部１２から新たな更新画像データを取得する。図９は時刻ｔ３での送信結果情報を示しており、ここで太線で示す矩形領域Ａ５が新たな更新画像データの位置とする。送信画像データ決定部１３は、送信結果情報格納部１５より、既に低画質で送信された状態にある画像データの送信結果情報である領域の位置、画質ならびに時刻の各情報を取得する。

その結果、送信画像データ決定部１３は、矩形領域Ａ５と矩形領域Ａ７の画像データが低画質で送信された状態であることを知るが、新たな更新画像データが発生した場合にはその新たな更新画像データを低画質で送信することを優先する。したがって、送信画像データ決定部１３は、矩形領域Ａ５の新たな更新画像データを低画質で送信することを優先する。また、この場合においては、送信画像データ決定部１３は、矩形領域Ａ５の新たな更新画像データを低画質で送信した場合の余った帯域で矩形領域Ａ７の画像データを高画質で送信できないことを判断して、矩形領域Ａ５の新たな更新画像データのみを送信画像データとして決定する。

この後、送信画像データ決定部１３は、送信画像データの決定結果である図９の太線で示す矩形領域Ａ５の位置、画質ならびに時刻の各情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

次に時刻ｔ４において、送信画像データ決定部１３は、更新画像データ生成部１２から新たな更新画像データを取得する。図１０は時刻ｔ４での送信結果情報を示しており、ここで太線で示す矩形領域Ａ５が更新画像データの領域とする。送信画像データ決定部１３は、送信結果情報格納部１５より、既に低画質で送信された状態にある画像データの送信結果情報である領域の位置、画質ならびに時刻の各情報を取得する。

その結果、矩形領域Ａ５の画像データの送信時刻がｔ３で、矩形領域Ａ７の画像データの送信時刻がｔ２であることが分かる。したがって、送信画像データ決定部１３は、所定の時間以上低画質のまま送信結果情報格納部１５に残っている矩形領域の画像データとして、矩形領域Ａ７の画像データが該当していることを判断し、この矩形領域Ａ７の画像データを高画質で送信することを決定する。ここでは、所定の時間がｔ４−ｔ２の値よりも低く、かつｔ４−ｔ３の値よりも高い場合を想定している。また、この場合においては、矩形領域Ａ７の画像データを高画質で送信した場合の余りの帯域が矩形領域Ａ５の画像データを高画質で送信するには不足していることが判断されることで、矩形領域Ａ７の高画質の画像データのみが送信画像データとして決定される。

この後、送信画像データ決定部１３は、送信画像データの決定結果である図１０の太線で示す矩形領域Ａ７の位置、画質ならびに時刻の各情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

次に時刻ｔ５において、周期Ｔ毎の送信画像データ決定処理のタイミングになったとする。送信画像データ決定部１３は、送信結果情報格納部１５より、既に送信された状態にある画像データの送信結果情報である領域の位置、画質ならびに時刻の各情報を取得する。図１１は時刻ｔ５での送信結果情報を示している。その結果、矩形領域Ａ５の画像データが低画質で送信された状態にあることが分かるので、送信画像データ決定部１３は、この矩形領域Ａ５の画像データを高画質で送信することを決定する。

この後、送信画像データ決定部１３は、送信画像データの決定結果である矩形領域Ａ５の位置、画質ならびに時刻の各情報を送信結果情報格納部１５に通知する。送信結果情報格納部１５はその決定結果を基に、格納している送信結果情報を最新の状態に更新する。

この動作を採用した場合においても、更新の発生した領域の画像データを低画質で送信することによって画面転送に利用可能な帯域の制限を受けにくくなり、画面の転送を受ける側から見た画面転送のリアルタイム性が向上する。また、低画質で更新画像データが転送された後、その更新画像データは改めて高画質で転送されることで、画面の転送を受ける側から見た画質の劣化を目立たなくすることができる。さらに、画面を送信する側での復号処理が不要であるため、画面転送装置１０の処理負担を軽くすることができる。また、また、所定の時間以上低画質のまま送信結果情報格納部１５に残っている矩形領域の更新画像データを最優先に送信するよう送信画像データを決定することで、画面表示端末３０で長い時間低画質のまま表示される領域が残ることが無くなり、画質の劣化をより目立たなくすることができる。

この動作の例では、所定の時間以上低画質のまま残った領域を最優先で送信することで、長い時間低画質のまま残る可能性を回避したが、ある一定の帯域を常に高画質での送信に利用することによっても、長い時間低画質のまま表示される領域が残ることをなくすことができる。

第１の動作の例では周期的に送信画像データを決定し、第２の動作の例では画面更新が発生したタイミングと一定周期の両方で送信画像データを決定するようにしたが、ネットワークにデータを送信可能になったタイミングで送信画像データを決定したり、このネットワークにデータを送信可能になったタイミングを上記のタイミングと組み合わせで送信画像データの決定を行ってもよい。

また、送信結果情報格納部１５に格納する時刻情報は最後に更新画像データを送信した時刻のみとしたが、過去数回分の送信時刻を保持することで、各領域の過去の更新頻度をより正確に知ることができる。そこで、更新頻度の低い領域を優先して高画質で送信することで、画面表示端末３０での画質の劣化をより目立たなくすることができる。

次に、本発明の第２の実施形態を説明する。

図１２は、本発明の第２の実施形態にかかる画面転送システム２００の構成を示すブロック図である。
同図に示すように、この画面転送システム２００は、表示すべき画面の画像データを生成して送信する画面転送装置４０と、この画面転送装置４０とネットワーク２０を介して接続された画面表示端末３０とで構成される。

次に、図１２において、画面転送装置４０の構成を説明する。
同図に示すように、画面転送装置４０は、画面情報生成部４１、更新画像データ生成部４２、送信画像データ決定部４３、送信済み画面保持部４４、送信結果情報格納部４５、圧縮部４６、及び通信部４７とを備えている。

画面情報生成部４１は、画面表示端末３０へ転送して表示すべき画像データを画面情報として生成する。

送信済み画面保持部４４は、すでに送信した画面の画像データを保持する。

更新画像データ生成部４２は、画面情報生成部４１によって生成された最新の画面の画像データを取得するとともに、送信済み画面保持部４４に保持された送信済みの画面の画像データを取得して、これらの画面を比較して、差のある領域の最新の画像データを更新画像データとして生成する。ここで得られる更新画像データは画像データおよびその画像が画面全体の中で占める位置情報を含むものである。なお、ここで生成された更新画像データを用いて送信済み画面保持部４４の送信済み画面の画像データが更新される。

送信済み画面保持部４４は、たとえば、２つのフレームバッファを用いて構成されることができる。これら２つのフレームバッファは切り替えて利用され、各々に連続する２つの画面の画像データが保持される。更新画像データ生成部４２は、これら２つのフレームバッファに保持された画面の画像データを比較することによって、更新画像データを生成する。

更新画像データ生成部４２は、画面の更新が発生したタイミングで更新画像データを生成してもよいし、所定の時間周期で生成してもよい。また、送信画像データ決定部４３が更新画像データの取得を要求したタイミングで更新画像データを生成してもよい。また、更新画像データ生成部４２は、複数の更新画像データを保持できるものであってもよい。さらに、更新画像データ生成部４２は、ＰＣのＶＲＡＭ（ＶｉｄｅｏＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）からディスプレイに送信されるデータを取得して更新画像データを生成するものであってもよい。ＶＲＡＭに格納されているデータを定期的に読み取ることによって更新画像データを生成してもよい。もしくは、更新画像データ生成部４２に、ＰＣから出力されるビデオ出力信号を取得可能な入力インターフェースを設け、このインターフェースによって取得された連続する２つの画面のビデオ出力信号を上記の２つのフレームバッファに保持し、これら２つのフレームバッファに保持された２つの画面のビデオ出力信号を比較して更新画像データを生成するものであってもよい。

送信画像データ決定部４３は、一定の時間周期で、更新画像データ生成部４２による更新画像データの生成結果の情報を取得し、この取得した情報と送信結果情報格納部４５に格納された送信結果情報に基づいて、更新画像データまたは送信済み画面保持部４４に保持された画像データのどちらを送信するか、送信済み画面保持部４４に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定する。

送信結果情報格納部４５は、画面を区画する領域たとえばピクセル、ブロック、もしくは更新領域毎に、送信された画像の、画質を表す情報および送信時刻などを送信結果情報として保持する。

圧縮部４６は、送信画像データ決定部４３により決定された送信画像データを、送信画像データ決定部１３により決定された圧縮方法で圧縮する。

通信部４７は圧縮部４６により圧縮された送信画像データをネットワーク２０を介して画面表示端末３０に送信する。

すなわち、この第２の実施形態の画面転送システム２００は、送信済み画面保持部４４が第１の実施形態の画面保持部１４に代えて採用されたものであり、その他の動作は第１の実施形態と同様である。

本実施形態の画面転送装置４０がＰＣなどのコンピュータにより実現される場合、図１２の画面情報生成部４１、更新画像データ生成部４２、送信画像データ決定部４３、送信済み画面保持部４４、送信結果情報格納部４５、圧縮部４６、及び通信部４７の機能はそれぞれ、コンピュータを機能させるプログラムで実現することが可能である。

なお、本発明は、上記実施の形態に示す構成のものに限定されるものではなく、請求項に記載した技術的範囲を逸脱しない範囲において種々に変更し変形することは勿論である。

本発明の第１の実施形態にかかる画面転送システムの構成を示すブロック図である。図１の画面転送装置において送信画像データの決定処理の流れを示すフローチャートである。送信画像データの決定処理によって決定された時刻ｔ１での送信画像データの例を示す図である。同じく時刻ｔ２での送信画像データの例を示す図である。同じく時刻ｔ３での送信画像データの例を示す図である。同じく時刻ｔ４での送信画像データの例を示す図である。別の送信画像データの決定処理によって時刻ｔ１での送信画像データの例を示す図である。同じく時刻ｔ２での送信画像データの例を示す図である。同じく時刻ｔ３での送信画像データの例を示す図である。同じく時刻ｔ４での送信画像データの例を示す図である。同じく時刻ｔ５での送信画像データの例を示す図である。本発明の第２の実施形態にかかる画面転送システムの構成を示すブロック図である。

符号の説明

１０・・・画面転送装置、１１・・・画面情報生成部、１２・・・更新画像データ生成部、１３・・・送信画像データ決定部、１４・・・画面保持部、１５・・・送信結果情報格納部、１６・・・圧縮部、１７・・・通信部、２０・・・ネットワーク、３０・・・画面表示端末、４０・・・画面転送装置、４１・・・画面情報生成部、４２・・・更新画像データ生成部、４３・・・送信画像データ決定部、４４・・・送信済み画面保持部、１００，２００・・・画面転送システム。

Claims

画面表示用の画像データを生成する画面情報生成部と、
前記画面情報生成部により生成された前記画像データの中で更新のあった領域の画像データを更新画像データとして生成する更新画像データ生成部と、
前記画面情報生成部によって生成された最新の画面の画像データを保持する画面保持部と、
画面を区画する領域毎の、送信された画像データの画質を表す情報および送信時刻を送信結果情報として保持する送信結果情報格納部と、
一定の時間周期で、前記更新画像データ生成部による前記更新画像データの生成結果の情報を取得し、この取得した情報と前記送信結果情報格納部に格納された送信結果情報に基づいて、前記更新画像データまたは前記画面保持部に保持された画像データのどちらを送信するか、前記画面保持部に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定する送信画像データ決定部と、
前記送信画像データ決定部により決定された送信する画像データを前記決定された画質に基づいて圧縮する圧縮部と、
前記圧縮部により圧縮された画像データを外部の画面表示端末に送信する通信部と
を有することを特徴とする画面転送装置。
前記送信画像データ決定部は、画面転送に利用可能な帯域の範囲で送信すべき画像データとその画質を決定し、前記更新画像データ生成部により生成された更新画像データを予め設定された第１の画質で送信することを優先して決定し、前記帯域の余った範囲で、前記更新画像データの領域外で前記第１の画質で既に送信した状態にある領域の前記画面保持部の画像データを前記第１の画質よりも高い第２の画質で送信することを決定することを特徴とする請求項１に記載の画面転送装置。
前記送信画像データ決定部は、前記更新画像データの領域外で前記第１の画質で送信した状態にある領域の前記画面保持部の画像データを前記第２の画質で送信することを決定する場合、送信時刻が古い領域の画像データを優先することを特徴とする請求項２に記載の画面転送装置。
前記送信画像データ決定部は、前記第１の画質で送信した状態にある領域の前記画面保持部の画像データうち、現在の時刻と送信時刻との差が所定の値より大きい領域の画像データを最優先で前記第２の画質で送信することを決定することを特徴とする請求項２に記載の画面転送装置。
前記送信画像データ決定部は、画面転送に利用可能な帯域の一部を、前記第２の画質で画像データを送信するための帯域として利用できるように送信画像データを決定することを特徴とする請求項１に記載の画面転送装置。
画面表示用の画像データを生成する画面情報生成部と、
送信済みの画面の画像データを保持する送信済み画面保持部と、
画面を区画する領域毎の、送信された画像データの画質を表す情報および送信時刻を送信結果情報として保持する送信結果情報格納部と、
前記画面情報生成部により生成された最新の前記画像データと前記送信済み画面保持部に保持されている送信済みの画面の画像データとから更新画像データを生成する更新画像データ生成部と、
一定の時間周期で、前記更新画像データ生成部による前記更新画像データの生成結果の情報を取得し、この取得した情報と前記送信結果情報格納部に格納された送信結果情報に基づいて、前記更新画像データまたは前記送信済み画面保持部に保持された画像データのどちらを送信するか、前記送信済み画面保持部に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定する送信画像データ決定部と、
前記送信画像データ決定部により決定された送信する画像データを前記決定された画質に基づいて圧縮する圧縮部と、
前記圧縮部により圧縮された画像データを外部の画面表示端末に送信する通信部と
を有することを特徴とする画面転送装置。
画面の画像データを生成して送信する画面転送装置と、この画面転送装置よりネットワークを通じて受信した画像データを表示する画面表示端末とを有する画面転送システムであって、
前記画面転送装置は、
画面表示用の画像データを生成する画面情報生成部と、
前記画面情報生成部により生成された前記画像データの中で更新のあった領域の画像データを更新画像データとして生成する更新画像データ生成部と、
前記画面情報生成部によって生成された最新の画面の画像データを保持する画面保持部と、
画面を区画する領域毎の、送信された画像データの画質を表す情報および送信時刻を送信結果情報として保持する送信結果情報格納部と、
一定の時間周期で、前記更新画像データ生成部による前記更新画像データの生成結果の情報を取得し、この取得した情報と前記送信結果情報格納部に格納された送信結果情報に基づいて、前記更新画像データまたは前記画面保持部に保持された画像データのどちらを送信するか、前記画面保持部に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定する送信画像データ決定部と、
前記送信画像データ決定部により決定された送信する画像データを前記決定された画質に基づいて圧縮する圧縮部と、
前記圧縮部により圧縮された画像データを外部の画面表示端末に送信する通信部と
を有することを特徴とする画面転送システム。
画面情報生成部により、画面表示用の画像データを生成するステップと、
更新画像データ生成部により、前記画面情報生成部にて生成された前記画像データの中で更新のあった領域の画像データを更新画像データとして生成するステップと、
前記画面情報生成部によって生成された最新の画面の画像データを画面保持部に保持するステップと、
画面を区画する領域毎の、送信された画像データの画質を表す情報および送信時刻を送信結果情報として送信結果情報格納部に保持するステップと、
送信画像データ決定部により、一定の時間周期で、前記更新画像データ生成部による前記更新画像データの生成結果の情報を取得し、この取得した情報と前記送信結果情報格納部に格納された送信結果情報に基づいて、前記更新画像データまたは前記画面保持部に保持された画像データのどちらを送信するか、前記画面保持部に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定するステップと、
圧縮部により、前記送信画像データ決定部により決定された送信する画像データを前記決定された画質に基づいて圧縮するステップと、
通信部により、前記圧縮部により圧縮された画像データを外部の画面表示端末に送信するステップと
を有することを特徴とする画面転送方法。
前記送信画像データ決定部により、画面転送に利用可能な帯域の範囲で送信すべき画像データとその画質を決定し、前記更新画像データ生成部により生成された更新画像データを予め設定された第１の画質で送信することを優先して決定し、前記帯域の余った範囲で、前記更新画像データの領域外で前記第１の画質で既に送信した状態にある領域の前記画面保持部の画像データを前記第１の画質よりも高い第２の画質で送信することを決定することを特徴とする請求項８に記載の画面転送方法。
前記送信画像データ決定部により、前記更新画像データの領域外で前記第１の画質で送信した状態にある領域の前記画面保持部の画像データを前記第２の画質で送信することを決定する場合、送信時刻が古い領域の画像データを優先することを特徴とする請求項９に記載の画面転送方法。
前記送信画像データ決定部により、前記第１の画質で送信した状態にある領域の前記画面保持部の画像データうち、現在の時刻と送信時刻との差が所定の値より大きい領域の画像データを最優先で前記第２の画質で送信することを決定することを特徴とする請求項９に記載の画面転送方法。
前記送信画像データ決定部により、画面転送に利用可能な帯域の一部を、前記第２の画質で画像データを送信するための帯域として利用できるように送信画像データを決定することを特徴とする請求項８に記載の画面転送方法。
コンピュータを、
画面表示用の画像データを生成する画面情報生成手段と、
前記画面情報生成手段により生成された前記画像データの中で更新のあった領域の画像データを更新画像データとして生成する更新画像データ生成手段と、
前記画面情報生成手段によって生成された最新の画面の画像データを保持する画面保持手段と、
画面を区画する領域毎の、送信された画像データの画質を表す情報および送信時刻を送信結果情報として保持する送信結果情報格納手段と、
一定の時間周期で、前記更新画像データ生成手段による前記更新画像データの生成結果の情報を取得し、この取得した情報と前記送信結果情報格納手段に格納された送信結果情報に基づいて、前記更新画像データまたは前記画面保持手段に保持された画像データのどちらを送信するか、前記画面保持部に保持された画像データを送信する場合にはその画像データのどの領域を送信するか、および送信する画像データの画質を決定する送信画像データ決定手段と、
前記送信画像データ決定手段により決定された送信する画像データを前記決定された画質に基づいて圧縮する圧縮手段と、
前記圧縮手段により圧縮された画像データを外部の画面表示端末に送信する通信手段として機能させることを特徴とするプログラム。