JP4748219B2

JP4748219B2 - サーバ／クライアント構造に基づく遠隔表示処理方法

Info

Publication number: JP4748219B2
Application number: JP2008508050A
Authority: JP
Inventors: ルーシール; ユアンションパン; バオグオバイ
Original assignee: グアンドンウエイチュアンシシンカジグフンヨーシエンゴンス
Priority date: 2005-04-30
Filing date: 2005-10-19
Publication date: 2011-08-17
Anticipated expiration: 2025-10-19
Also published as: EP1892630A4; US7792898B2; CN1694058A; CN1332300C; JP2008541503A; EP1892630A1; WO2006116903A1; US20080215671A1

Description

本発明は、コンピュータ表示を処理するための方法に係わり、特にサーバ／クライアント構造に基づく遠隔表示処理方法に関する。

通常、公知の遠隔表示制御技術は、サーバ／クライアント構造（Server/Client architecture）を採用する。
サーバは、主に、画像信号を取得し、その画像信号の変化を分析し、圧縮し、送信するために用いられる。主にインターネット上のコンピュータ画像に関する表示制御のために、損失がない圧縮が通常使用される。インターネットのバンド幅制限を考慮すると、主目的は、圧縮比を改善することである。

公知の損失がない圧縮として、主に、ランレングス符号化（ＲＬＥ）、ハフマン符号化圧縮（huffmann coding compression）、辞書圧縮（dictionary compression）、算術圧縮（arithmetic compression）、ＭＰＥＧ圧縮（損失がある若しくは損失がない圧縮を利用できる）がある。

ランレングス符号化の原則は、横列において同じ色値を有する隣接画素を、列挙データ及び色値によって置換するものである。例えば、“ａａａｂｃｃｃｃｃｃｄｄｅｅｅ”は、“３ａｌｂ６ｃ２ｄ３ｅ”と表すことができる。画像が複数の同色の広域によって構成される場合、この方法の圧縮比は著しく高くなる。しかしながら、この方法は、全ての隣接点が異なる色を有する場合にはデータ量が２倍になるという、致命的な欠点を有する。

ハフマン符号化は、通常の圧縮符号化方法である。ハフマン符号化の原則は、頻繁に現れるデータを短い符号に置換し、逆にほとんど現れないデータは長い符号に置換するものである。よって、各データは異なる符号長を有する。ハフマン符号化の欠点は、オリジナル画像データを２回走査し、符号生成のために二分木（binary tree）と反二分木を構成する必要があることである。このため、データ圧縮と復元（recovery）の速度が比較的遅い。

辞書圧縮は、ハフマン符号化と類似している。辞書圧縮の原理は、オリジナルデータ内で繰り返された文字列が文字テーブルの作成に用いられ、その後、圧縮を実現するため、オリジナルデータを文字テーブル内の繰り返された文字列のインデックス値に置換するものである。辞書圧縮は、符号化率が高いが、復号（decoding）時の速度が低い。

算術圧縮も、ハフマン圧縮と類似している。データ圧縮を実現するため、画像データ内に頻繁に現れるデータは短い符号に置換され、ほとんど現れないデータは長い符号に置換される。一方、算術圧縮は、辞書圧縮の概念を採用しており、データ値とデータ値リストを有する。この方法は、高圧縮比を得ることができるが、算術が非常に複雑であるため、圧縮速度および復号速度が非常に影響を受ける。

ＭＰＥＧ圧縮は、狭バンド幅の環境におけるデータ転送を改善するために設計された方法である。この方法は、フレーム内圧縮及びフレーム間圧縮のタイプを含んでいる。フレーム内圧縮は、ＤＣＴ符号化技術に基づく。一方、フレーム間圧縮は、予測方法（forecasting method）、相違補正方法（difference compensation method）、運動補正方法（motion compensation method）等の技術を採用する。ＭＰＥＧ算術は、比較的複雑であり、狭バンド幅における伝送に非常に効果的である。しかし、ＣＰＵリソースの占有が高くなり、システムリソースを著しく消費する。

伝送バンド幅の大幅な改良に伴い、特に、ＬＡＮの通信速度はギガバイトのレベルに達しており、圧縮比に対してより多くの注意を払うことは不要である。このような状況下では、遠隔制御表示ウィンドウをほぼリアルタイム速度で表示することを許容する新規な表示処理方法は不要である。

本発明の目的は、ＬＡＮのクライアントでリモートコンピュータのデスクトップウィンドウの速い表示を実現する一方で、システムリソースの使用を大幅に減らし、コンピュータ速度を速くすることが可能なサーバ／クライアント構造に基づく遠隔表示処理方法を提供することである。

１．現在のデスクトップ信号が、データ源として用いられる。このデータ源からオリジナルフレームが抽出され保存される。

２．サーバコンピュータのメモリ内の領域は、３つのブロックに分割される。第１のブロックは、オリジナル画像データを保存するために用いられる。第２のブロックは、現在生成された画像データを保存するために用いられる。そして、第３のブロックは、比較後に送信されるデータを圧縮するために用いられる。

３．現在フレーム（current frame）及び先行フレーム（previous frame）の画素データ（pixel data）は、２番目のフレームから、１対１で比較される。データ変化が発生しない場合には、第１のブロックのデータは不変のままである。データ変化が発生する場合には、変化データが先行フレームのデータと置換される。そして、データ取得及び圧縮符号化を終えるために、フレーム内の隣接する２つの画素でそれぞれデータ比較が行われる。

４．第３ブロックに送信された全てのデータは、順番に圧縮され、パッケージ化されて、送信される。サーバとクライアントの間のデータ転送は、連続的な伝送を採用する（データが送信されてもされなくても、サーバとクライアントは伝送状態のままである）。クライアントコンピュータの主機能は、復号（decompression）及び表示（display）である。

５．クライアントは、圧縮データをサーバから受信する。そして、その圧縮データを復号し、復号データをコンピュータメモリに送信する。復号データを受信した後、コンピュータはその変化部分だけをリフレッシュすればよく、不変部分についてはいかなる動作も必要としない。リフレッシュ速度は、部分的なリフレッシュであるがゆえ非常に高速であり、コンピュータの画像表示性能を確実にする。

データ取得及び圧縮符号化について以下に説明する。
Ａ．比較の間、フレーム間変化が発生したか、データが黒データ又は白データ又は非黒データおよび非白データであるか、データが独立変化データであるか、２色間での規則的な変化であるかを判別するために、判別値（judgment values）が加えられる。符号化圧縮は、上記の判別結果に従って実行される；
Ｂ．比較の間、フレーム間で連続して変更された値の数、黒又は白データの数、非黒及び非白データの数、２つの規則的な色の数を判別するために、長さ識別子（length identifier）が用いられる。

本発明によるデータ圧縮では、独立であると判別された変化データが最適化される。上記の方法が採用される場合、明確な色変化を有するカラフルな画像のために更新を要するデータ量は巨大である。本発明は、高位ビット比較（high bit comparison）を更に使用することができる。すなわち、先行画素とその次の画素との間でデータが異なる場合、先ず高位ビット比較が、そのデータと先行画素との間で１個対１個又は数個対数個で実行される。高位ビットが同一である場合、高位ビットをプレセットすることができる。すなわち、高位ビットが“１”にセットされる。いくつかの連続した高位ビットが異なる独立データに関して、その異なる高位ビットを有する連続した独立データを表すために、その独立データの前に付加的な判別値及び長さ識別子を加えてもよい。

本発明によるデータ取得及び圧縮では、２色の変化が判別されたとき（すなわち、イメージの一部又は全体において２色のデータだけがあるとき）、送信されるデータ量を減らすために、色データは１バイトに設定される。

本発明のサーバは、フレーム内圧縮（inner-frame compression）及びフレーム間圧縮（inter-frame compression）を採用する。フレーム内圧縮は、非常に単純であり、主にフレーム内の隣接画素を比較する。このフレーム内圧縮は、ＭＰＥＧ算術のＤＣＴ符号化変換（DCT coding transform）が不要である。本発明のフレーム間圧縮は、増加比較（increment comparison）を採用する。すなわち、現在フレームが先行フレームと比較され、変化データだけが処理及び圧縮される。この比較圧縮は、予測符号化や運動補正等を要しないため、単純であり、圧縮速度が大幅に向上する。従来のフレーム間圧縮における複雑な算出方法を採用しないため、コンピュータリソースの使用が減少する。クライアントは、画像を表示するために、変化部分だけをリフレッシュする増加リフレッシュ（increment refreshing）を採用する。これにより、リモートデスクトップのリフレッシュ速度が大幅に増加し、コンピュータリソースの使用が減少する。

１．デスクトップ信号（desktop signal）は、１０２４ｘ７６８（１６ビット・カラー）である。そして、画像（image）が、オリジナルフレーム（original frame）として使われるために抽出される。

２．ディスプレイドライバ（display driver）は、システムのメモリの領域に申請する。その領域は、連続領域であってもよい。その領域は６メガバイトであり、３つのブロックに分けられている。１．５メガバイトの第１のブロックは、現在フレームデータ（current frame data）を保存するためのものである。１．５メガバイトの第２のブロックは、先行フレームデータ（previous frame data）を保存するためのものである。４メガバイトの第３のブロックは、送信することを望まれるデータを保存するためのものである。

３．データ取得（data acquisition）と圧縮符号化（compression coding）を終えるために、先行フレームと現在フレームの間で、及び、現在フレーム内の隣接画素の間で、１対１で画素が比較される。

４．データ圧縮符号化の方法について以下に説明する。
Ａ）比較の間、フレーム間変化が発生したか、データが黒又は白又は非黒及び非白のデータであるか、データが独立変化データ（independent changed data）であるか、そして、データが２色の規則的な変化であるかを判別するために、判別値（judgment value）が加えられる。そして、上記の判別結果に従って、符号化（coding）が実行される。フレーム間変化が発生していないときには、判別値は“０”にセットされる。データが白であるときには、判別値は“１”にセットされる。データが黒であるときには、判別値は“２”にセットされる。いくつかの連続した高位ビットが異なる独立データに対して、判別値は“３”にセットされる。データが白でも黒でもないときには、判別値は“４”にセットされる。データが独立変化データであるときには、判別値は“８”にセットされる。データが２色の規則的な変化であるときには、判別値は“７”にセットされる。
Ｂ）比較の間、フレーム間で連続して変化した値の数、黒又は白のデータの数、非黒及び非白のデータの数、規則的な２色の数を判別するために、長さ識別子（length identifier）が用いられる。例えば、詳細な符号化を、以下に説明する。ここで、カラー階調（color depth）を考慮せず、フレームバッファ（frame buffer）がオリジナルメモリ（original memory）として考慮され、Ｄｗｏｒｄ（４バイト、２つの１６ビット）の単位で各時刻に処理が実行される。
各フレームデータにつき、１つのスクリーンは１つのブロック（１０２４ｘ７６８）であり、符号化は左上隅から右下隅まで実行される。
圧縮端（compression end）及び復号端（decompression end）は、共に先行フレーム画像を保存する。そして、新しい画像が、先行画像に基づいて処理される。便宜上、全てのデータは、１６進数で表される。符号化の後、データは“０ｘ”を省略する。

（１）フレーム間で変化が無いと判別されると、フレーム間で同一データの符号化は、“０？”１バイト、又は、“０？５？？？”３バイトと表される。
１〜０ｘ１０のＤＷｏｒｄデータが比較したフレームと同じであるとき、符号化は、“０？”と表される。
例えば、５のＤＷｏｒｄデータが比較したフレームと同じであるとき、符号化は、“０４”と表される（０は判別値であり、４は長さ識別子の値である、以下同様）。
１のＤＷｏｒｄデータが比較したフレームと同じあるとき、符号化は、“００”と表される。数を表している符号は、１を減じなければならない点に留意する必要がある。その理由は、０のＤＷｏｒｄが比較したフレームと同じであることには、意味がないためである。
０ｘ１１〜０ｘｆｆｆｆのＤＷｏｒｄデータが同じであるとき、符号化は、“０？５？？？”と表される。
例えば、０ｘ１１のＤＷｏｒｄデータが同じであるとき、符号化は、“００５０１１”と表される。０ｘａｂ４ｄのＤＷｏｒｄデータが同じであるとき、符号化は、“０ａ５ｂ４ｄ”と表される。
上記の“０ｘ５”は、拡張可能な符号化の１手段である。０ｘ１１〜０ｘ１００００のＤＷｏｒｄデータだけ同じ符号化を実施する必要があるとき、この拡張可能な符号化が用いられる。その拡張方法は同じである。拡張時には、カウントされた数から１を減じなくてよい。

（２）データが白であるとき、０ｘ００００００００の符号化は、“１？”１バイト、又は、“１？５？？？”３バイトと表される。
例えば、５つの“０ｘ００００００００”は、“１４”と表される。１つの“０ｘ００００００００”は、“１０”と表される。拡張方法は、上記と同様である。

（３）データが黒であるとき、０ｘｆｆｆｆｆｆｆｆの符号化は、“２？”１バイト、又は、“２？５？？？”３バイトと表される。
例えば、５つの“０ｘｆｆｆｆｆｆｆｆ”は、“２４”と表される。１つの“０ｘｆｆｆｆｆｆｆｆ”は、“２０”と表される。拡張方法は、上記と同様である。

（４）データが黒でも白でもないとき、色は、“４？ｚｚｚｚｚｚｚｚ”５バイト、又は、“４？ｚｚｚｚｚｚｚｚ５？？？”７バイトと表される。ここで、“ｚｚｚｚｚｚｚｚ”は、オリジナルデータである。
１〜０ｘ１０の“ｚｚｚｚｚｚｚｚ”があるとき、その符号化は、“４？ｚｚｚｚｚｚｚｚ”と表される。
例えば、５つの“４８ｃｃ４８ｃｃ”があるとき、その符号化は、“４４４８ｃｃ４８ｃｃ”と表される。１つの“ｃ３ｆ８５５１３”があるとき、その符号化は、“４０ｃ３ｆ８５５１３”と表される。符号化を表すとき、数は１を減じなければならない。
０ｘ１１〜０ｘｆｆｆｆのデータ“ｚｚｚｚｚｚｚｚ”があるとき、その符号化は、“４？ｚｚｚｚｚｚｚｚ５？？？”と表される。
例えば、０ｘ１１のデータ“４７ｃｃ３８ｆｅ”があるとき、その符号化は、“４０４７ｃｃ３８ｆｅ５０１１”と表される。０ｘａｂ４ｄの“４７ｃｃ３８ｆｅ”があるとき、その符号化は、“４ａ４７ｃｃ３８ｆｅ５ｂ４ｄ”と表される。

（５）独立データであると判別されたとき、その独立データの符号化は、“［８０｜ｚｚ］ｚｚｚｚｚｚ”４バイトと表される。
単一のデータが独立し、かつ、先行データとその次のデータの両方と異なっているとき、上述した符号化方法を採用する場合には５バイトが必要とされ、データ量が増加してしまう。ほとんどの時間で画像が徐々に変化すると考えると、高位バイトの値が同じである可能性が高い。このため、独立データが、以下の符号化によって最適に処理される。
データの高位ビット（ビット３１）が先行ＤＷｏｒｄの高位ビット（ビット３１）と同じであるとき、この符号化を採用することができる。符号化するとき、３１番目のビットを“１”と処理する。
例えば、データ“７ｃ８２５５３ｆ６ｅ９ｆ２８３１”の場合、前から４バイトが処理される。その後、他に最適化方法がないときに（例えば、先行フレームと同じであるか、又は、後ろのデータと結合できるときに）、この符号化を、２つの４バイトのデータが両方とも１である１５ビットより高位のもののため使用することができる。
符号化の後、このデータは、“９ｆ６ｅ２８３１”となる。
それに加えて、異なる高位ビットを有する独立データは、“３？ｚｚｚｚｚｚｚｚ．．．．．．ｚｚｚｚｚｚｚｚ”又は“３？ｚｚｚｚｚｚｚｚ．．．．．．ｚｚｚｚｚｚｚｚ５？？？”と表される。ここで、“ｚｚｚｚｚｚｚｚ”は、オリジナルデータを表す。
例えば、７ｃ８２５５３ｆ６ｅ１ｆ２８３１に関して、判別値は“３”と表される。符号化の後、このデータは“３１７ｃ８２５５３ｆ６ｅ１ｆ２８３１”となる。

（６）２色の規則的な変化であると判別されたとき、フレーム画像の一部又は全部の２色は、次のように表される。
第１の色は、“７？００”２バイト、又は、“７？００５？？？”４バイトと表される。
第２の色は、“７？０１”２バイト、又は、“７？０１５？？？”４バイトと表される。
例えば、データ“７ｃ８２５５３ｆ７ｃ８２５５３ｆ７ｃ８２５５３ｆａｅ９ｆ２８３１ａｅ９ｆ２８３１７ｃ８２５５３ｆ７ｃ８２５５３ｆ７ｃ８２５５３ｆａｅ９ｆ２８３１”の場合、前から５画素の４バイトが処理され、６番目、７番目、８番目、９番目の画素をこの符号化を用いて処理することができる。
符号化の後、データは、“７３００７１０１”と表される。

５．送信されるよう望まれるデータは、パッケージ化され、圧縮され、その後、リアルタイムで送信される。通信プロトコルは、ネットワークプロトコル、ＵＳＢ、ｉ１３９４等にすることができる。

６．クライアントがそのデータを受信した後、対応する復号が実行される。その後、表示内容において増加リフレッシュが実行され、変化部分だけがリフレッシュされる。

上述した実施の形態において、ＤＷｏｒｄ（４バイト、３２ビット）を単位として用いて処理を実行してもよい。上述した実施の形態において、判別値と長さ識別子を組み合わせるときには、判別値を長さ識別子の前又は後にすることができる。これらの判別値及び長さ識別子は、分かれて表すことができる。

本発明の原理を示す図である。

Claims

サーバ／クライアント構造に基づく遠隔表示処理方法であって、
（１）現在のデスクトップ信号がデータ源として用いられ、前記データ源からオリジナル画像データを有するオリジナルフレームが抽出されると共に保存され、
（２）前記サーバのコンピュータのメモリ内の領域が３つのブロックに分けられ、第１のブロックは前記ステップ（１）で抽出された前記オリジナルフレームのオリジナル画像データを保存するために用いられ、第２のブロックは現在画像データを有する現在フレームを保存するために用いられ、第３のブロックは以下のステップ（３）における比較後に変化したデータを保存し圧縮するために用いられ、
（３）前記現在フレームと前記オリジナルフレームの画素データが前記現在フレームから１対１で比較され、データ変化がない場合には前記第１のブロックの前記オリジナル画像データが変化せずそのままにされ、データ変化がある場合には変化したデータが前記オリジナルフレームのオリジナルフレームデータと置換され、その後に、前記現在フレーム内の互いに隣接する２つの画素のペアのデータ比較が実行され、データ取得及び圧縮符号化を終了し、
（４）前記第３のブロックに送信される全ての前記変化したデータが順番に圧縮、パッケージ化及び圧縮データとして送信され、前記サーバと前記クライアント間のデータ転送として連続的な伝送が採用され、
（５）前記クライアントが前記サーバから前記圧縮データを受信した後、前記圧縮データを復号し、復号データを前記クライアントのコンピュータのメモリに送信し、前記復号データを受信した後、前記クライアントのコンピュータは前記変化したデータのみをリフレッシュすると共に表示し、
前記ステップ（３）における前記データ取得及び圧縮符号化について、
Ａ．前記現在フレーム内の互いに隣接する２つの画素の各ペアのデータ比較が実行される間、最初に成立した条件を適用して、フレーム間変化が発生したか、データが白データ又は黒データ又は非黒又は非白データであるか、データが独立データであるか、データ変化が規則的な２色の変化であるかを判別するための判別値が加えられ、その判別の結果に従って符号化圧縮が実行され、
Ｂ．前記現在フレーム内の互いに隣接する２つの画素の各ペアのデータ比較が実行される間、フレーム間で連続して変化した値の数、黒又は白データの数、非黒及び非白データの数、規則的な２色の変化をしたデータの数を判別するための長さ識別子が用いられることを特徴とするサーバ／クライアント構造に基づく遠隔表示処理方法。
請求項１に記載のサーバ／クライアント構造に基づく遠隔表示処理方法において、
前記判別値が、前記長さ識別子の前又は後にあり、
前記判別値及び長さ識別子が、分かれて表されるか、又は、結合して表されることを特徴とするサーバ／クライアント構造に基づく遠隔表示処理方法。
請求項１に記載のサーバ／クライアント構造に基づく遠隔表示処理方法において、
データ圧縮の間、前記独立変化データのために高位ビット比較が用いられ、
データが先行画素と次の画素と相違する場合には、前記高位ビット比較が、最初に前記データと前記先行画素との間で１対１又は数個対数個で実行され、
高位ビットが同一である場合、前記高位ビットが１にプリセットされ、
いくつかの連続する高位ビットが異なる独立データに関しては、連続する高位ビットが異なる独立データを表すために追加の判別値及び長さ識別子が独立データの前に付加されることを特徴とするサーバ／クライアント構造に基づく遠隔表示処理方法。
請求項１に記載のサーバ／クライアント構造に基づく遠隔表示処理方法において、
前記ステップ（３）におけるデータ取得及び圧縮符号化の間、前記画像の全部又は一部が２色のデータであるときには、色データが１バイトに設定されることを特徴とするサーバ／クライアント構造に基づく遠隔表示処理方法。