JP5319875B2 - アプリケーション・メタデータを用いるグラフィカル・ユーザ・インターフェースの適応ビデオ圧縮法 - Google Patents

アプリケーション・メタデータを用いるグラフィカル・ユーザ・インターフェースの適応ビデオ圧縮法 Download PDF

Info

Publication number
JP5319875B2
JP5319875B2 JP2006173574A JP2006173574A JP5319875B2 JP 5319875 B2 JP5319875 B2 JP 5319875B2 JP 2006173574 A JP2006173574 A JP 2006173574A JP 2006173574 A JP2006173574 A JP 2006173574A JP 5319875 B2 JP5319875 B2 JP 5319875B2
Authority
JP
Japan
Prior art keywords
metadata
data
compression
input data
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006173574A
Other languages
English (en)
Other versions
JP2007043673A (ja
Inventor
デイビッド・エム・ディーヴェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2007043673A publication Critical patent/JP2007043673A/ja
Application granted granted Critical
Publication of JP5319875B2 publication Critical patent/JP5319875B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、一般的に云えば、圧縮技術に関し、より具体的には、アプリケーション・メタデータに基づいて異なるやり方で異なるタイプのデータをコード化する領域ベースのコード化方式を使用して、ピクセル領域で動作する圧縮技術に関する。更に具体的には、本発明の画像圧縮技術では、圧縮すべき画像を評価して、その構成を決定し、そしてこの情報を使用して、所望の圧縮比を達成するために使用すべきコード化技術の最も効果的な組合せを決定する。
典型的な卓上パーソナル・コンピュータ(PC)又はワークステーションのようなコンピュータ・システムは、一般的に、表示モニタ(CRT又はLCD)上の各画素についての画像データを記憶するためのフレーム・バッファを使用している。近年ではネットワーク帯域幅の増大により、図形の多い高フレーム・レートの表示の場合でも遠隔のビデオ・フレーム・バッファが実現可能になっている。機能的には、表示画像上の各画素は、通常ピクセルと呼ばれる画像データの対応する実現値を有する。フレーム・バッファは、遠隔位置で使用されるとき、ローカル・エリア・ネットワーク(LAN)接続を介してビデオ表示システムの演算及びレンダリング・エンジンに接続される。現在、典型的なLANは、理論的最大値のほぼ毎秒100又は1000メガビットで動作するネットワーク・リンクによって接続されたノードで構成されている。全てのネットワーク・アプリケーションは該帯域幅を共用するので、この帯域幅の一部分のみが所与のアプリケーションにとって利用可能である。従って、遠隔のビデオ・フレーム・バッファに伝送されるデータは、利用可能なネットワーク帯域幅内に適合するように圧縮しなければならず、また総ネットワーク負荷が変化するにつれてネットワーク帯域幅の利用可能度を変更するように適応できるものでなければならない。
このような目的のために使用される圧縮アルゴリズムの効率は、圧縮後のデータの大きさと生のデータの大きさとの比と、圧縮及び解凍(又は展開)を行うことのできる速度とに左右される。典型的には、圧縮アルゴリズムは、画像内のピクセル勾配が小さいと云う仮定を使用する画像圧縮、画面上で同様なピクセル値の大きなブロックが極めて接近して位置していると云う仮定を使用する一体色で表現した画像のような特殊な目的の使用の場合に合わせて調整される。これらのアルゴリズムは一般的に入念に調整されたアプリケーションについては効率よいが、他のアプリケーションにとっては非常に効果が悪く、効率が良くなく且つ不適切である。例えば、JPEG及びMPEG画像圧縮は写真画像については効率が良いが、線画については悪い。これは、画像、線画及び一体色塗りつぶしで構成された混合ビデオ表示の場合に、JPEG又はMPEGのような単一の圧縮アルゴリズムは効率が良くないことを意味する。他方、簡単なベクトル・グラフィックス要素は効率よく線画をコード化することができるが、写真画像又はビデオをコード化するには効率が良くない。従って、画像の全ての空間的特性についての知識があれば、最適な圧縮アルゴリズムを選択することが可能になる。
ビデオ・ストリームは、順次に表示したときに動画映像を生成する連続した静止画像の列である。表示される画像のタイプに依存して、列内の互いに近接した画像の一般的な行動についての知識を使用することによって圧縮効率の更なる向上を図ることができる。この技術は「フレーム間圧縮」と呼ばれている。例えば、MPEGビデオ圧縮は、後続の画像が一画像フレームから次の画像フレームへのオブジェクトの増分的な動きのみ異なっているようなビデオ・ストリームを圧縮するのに効率が良い。しかしながら、MPEG圧縮は典型的には、圧縮アルゴリズムが画像内の動いている部分について徹底的な調査を行わなければならないと云うことに起因して演算費用の高い動作である。もしこれらの「動きベクトル」が前もって知られていれば、MPEG圧縮は実行する困難さが遥かに少なくなるであろう。要約すると、ビデオ・ストリームを生成した後、推論するのに演算費用の高い該ビデオ・ストリームの全ての時間的特性についての知識があれば、それは圧縮アルゴリズムの演算効率を非常に向上させることになる。
以上の理由のため、及び本明細書を読んで理解したときに当業者には明らかとなる他の理由のために、当該技術分野ではデータを圧縮する演算効率の良いシステムが必要である。また、通信チャンネルのスループットを増大させる改良システム及び方法も必要である。
米国特許第5422674号 米国特許第5467087号 米国特許第6057851号 米国特許第6167062号 米国特許第6275620号 米国特許第6501441号 米国特許第6624761号 米国特許第6748520号 米国特許第6754221号 米国特許第6324305号
本書では上述の欠点、不都合な点及び問題に対処する。このことは以下の説明を読み且つ検討することによって理解されよう。
本発明の一面では、1つ以上のメディア領域を持つデータを生成するソース装置とビデオ・フレーム・バッファとの間でデータを転送する方法を記述する。1つ以上のメディア領域は、所与のデータ領域に最も適したメタデータ依存性圧縮アルゴリズムを選択するために分析される。メタデータ記述は、環境設定ファイル・メタデータ、ソース基本メタデータ、及びアプリケーション高レベル・メタデータの内の1つである。本方法は、MPEG圧縮、JPEG画像圧縮、ベクトル・グラフィックス圧縮、ハフマン・コーディング、H.261圧縮、或いはユーザ定義又は関連の圧縮アルゴリズムを選択することができる。メタデータ記述が圧縮アルゴリズムの選択のために適当でないとき、システムはデフォールト圧縮を選択するか又は未圧縮のままでパケットを送る。
別の面では、混合メディア・ストリームを複数の領域に分割することによって遠隔のフレーム・バッファへデータを伝送するようにデータ処理装置に指令するための実行可能な命令を持つコンピュータ・アクセス可能な媒体を提供する。各々は、混合メディア・ストリーム・データの領域ための表示の機能及びタイプについて高レベルのメタデータによって記述することができ、基本動作からアプリケーション・メタデータ上のソース基本メタデータを識別し、混合メディア・ストリーム・データ領域の特別な時間的特性を定義する情報を識別する。次いで、処理装置がアプリケーション・メタデータに基づいて圧縮方法を選択する。
更に別の面では、データ圧縮システムを記述する。該データ圧縮システムは、処理装置と、記憶装置と、少なくとも1つのメタデータを識別し且つ該識別したメタデータに基づいて入力ストリームを圧縮するための、処理装置内で動作するソフトウエア手段とを持つ。
本書では、様々な範囲のシステム、クライアント、サーバー、方法及びコンピュータ読出し可能な媒体を記述する。この項で述べた様々な面及び長所に加えて、更なる面及び長所が図面を参照し且つ以下の詳しい説明を読むことによって明らかとなろう。
以下の詳しい説明では、その一部を形成する添付の図面を参照する。図面には、例として、実施することのできる特定の実施形態を図示する。これらの実施形態について当業者が実施形態を実施できるほどに充分詳しく説明するが、他の実施形態を利用できること、並びに実施形態の範囲から逸脱することなく論理的、機械的、電気的及びその他の変更をなし得ることを理解されたい。従って、以下の詳しい説明は本発明を制限するものとして解すべきではない。
以下の説明は5つのセクションに分けて行う。第1のセクションでは、システム全体の概要を説明する。第2のセクションでは、実施形態の方法を説明する。第3のセクションでは、ハードウエア、並びに実施形態を実施することのできる関連する動作環境を説明する。第4のセクションでは、特定の具現例を説明する。最後の第5のセクションでは、本説明の結論を示す。
[システム全体の概要]
図1は、レンダリング・エンジンと表示装置との間でデータを交換するためのシステムの全体の概要を表すブロック図である。システム100は、通信チャンネルのスループットを増大させると云う当該技術分野での要求を解決する。
図1は、レンダリング・エンジン104から情報を入力し、情報にアクセスし、且つ情報と相互作用するためのネットワーク構成100を示している。ユーザは、124で示すような端末装置を介してレンダリング・エンジン104にアクセスする。端末装置124はユーザに、レンダリング・エンジン104へのサイン−オン機能を提供すると共に、或る特定のユーザがレンダリング・エンジン104を変更又はカスタマイズするための能力を提供する。レンダリング・エンジン104からの情報は、後でコンピュータ・システム124によって観察するために、又はレンダリング・エンジン104によって更に処理するために、保存用サーバー110に保存することができる。更に、サーバー110内の情報は圧縮又は解凍したフォーマットで保存することができ、またシステム100で利用できる資源に依存する。例えば、他のユーザ又は用途のためにネットワーク102の帯域幅を保つために、情報を圧縮した状態で保存する方が有利であると考えられる。しかしながら、コンピュータ・システム124とサーバー110との間を直接接続した状態では、情報は解凍状態が好ましい。と云うのは、その状態では表示装置120における解凍手順116によって導入される遅延が減少するからである。システム100の好ましい実施形態では、端末装置124のユーザは、レンダリング・エンジン104に接続するためにネットワーク102にアクセスすることができる。他の実施形態では、レンダリング・エンジン104はイントラネット、エックストラネット、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、又は任意の他のタイプのネットワーク、或いはスタンドアロン・コンピュータ上に常駐することができる。レンダリング・エンジン104がネットワーク上に常駐している場合、コンピュータ又は端末装置(124)は該ネットワークに接続することのできる任意の機械又は装置である。レンダリング・エンジン104がインターネットによってアクセスすることができる場合、コンピュータ又は端末装置(124)はインターネットに接続することのできる任意の機械又は装置である。コンピュータ・システム(122)がスタンドアロン・コンピュータである場合、レンダリング・エンジンはコンピュータ(122)と同じ装置である。ユーザは光ファイバ・ケーブル、無線システムによって、ゲートウェイによって、ネットワーク、又はこれらの連結装置の組合せによって、レンダリング・エンジン104に連結することができる。
レンダリング・エンジン104は、1つ以上のビデオ、グラフィックス、又はコンピュータ124で再生するためのその他のメディアで構成されたデータのストリームを生成する装置である。データのストリームは、1つ以上のビデオ、グラフィックス、テキスト、アニメーション、或いはコンピュータによって生成される任意の他のデータ又は情報であるデータが持っている元々の概念から逸脱することなく、入力データとも、入力データ・ストリームとも、混合メディア・データとも、また混合メディア・データ・ストリームとも呼ぶことができる。データの流れはコンピュータ124で区分化して、表示装置の複数の部分で、或いは音声、ビデオ又はテキストの再生装置のようなデータを再生する他の装置によって表示することができる。レンダリング・エンジン104は、解像度のより高い医用イメージングにおいて、又はコンピュータ断層撮影(CT)及び磁気共鳴イメージング(MRI)のボリューム・レンダリングにおいて、回転及び拡縮が可能である3D視覚化において、又は物理界の理解に役立つ他の目的のために、使用することができる。
メタデータ抽出器106が入力データ・ストリームについてのデータを収集し、ストリーム・データを生成するためにレンダリング・エンジン104によって使用された1つ以上の環境設定ファイル・メタデータ、基本オブジェクト又はアプリケーションを指示する。メタデータ抽出器106は、レンダリング・エンジン104によって生成されたデータについてのデータを収集する。
圧縮エンジン108が、レンダリング・エンジン104によって生成されたストリーム・データを圧縮するために使用することのできた1つ以上の圧縮方式である。この圧縮はデータ・ストリームの複数の領域に又はストリーム全体に適用することができる。圧縮エンジン108は、レンダリング・エンジン104からストリーム・データを受け取ると共にメタデータ抽出器106からデータ・ストリームについてのデータを受け取って適切な圧縮アルゴリズムを選択するプロセス又は装置である。圧縮アルゴリズムは、MPEG(Moving Picture Experts Group)圧縮、JPEG(Joint Photograph Experts Group)圧縮、ウェーブレット圧縮、フラクタル圧縮、ベクトル・グラフィックス圧縮、ハフマン・コーディング、H261、及びその他のユーザ選択の圧縮技術の内の1つであってよい。これらの圧縮技術の目的は、ストリーム・データ又はデータ・ストリームの処理済み部分を表すために使用されるビットの数を減らすことである。これらの技術は一般に、伝送時間と、1チャンネル(帯域幅)当りのデータの量と、受け取ったデータ・ストリームの品質との間のバランスを取ろうとすることである。これらの技術の幾つかは無損失である。すなわち、それらの技術は、元のデータの全ての情報を保持していて、データを解凍したときに正確に再生するようになっている。他の技術は通常、損失が多いと云われており、視覚的に意味のない情報を廃棄している。このような損失の多い技術は、元のデータを(正確に再生するよりはむしろ)近似するだけによって、無損失の技術よりも一層高い圧縮率を生じることができる。現在利用できるものの中から適切な圧縮技術を選択する際、ユーザは、圧縮比をより高くすると伝送時間及び帯域幅の要件がより低くなるが、生成する画像を品質が低下すると云うこと理解した上で、伝送時間及び帯域幅の要件と共に、圧縮すべき特定のストリーム・データ、所望の圧縮比及び品質を考慮しなければならない。ここで、「伝送時間」はデータの流れがレンダリング・エンジン104から出てコンピュータ124に達するまでにかかる時間であることに留意されたい。チャンネルの帯域幅が伝送時間に加わるが、圧縮アルゴリズムの選択は伝送時間と圧縮の質とにかなりの影響を及ぼす。
解凍エンジン116が、表示装置120で表示するために、レンダリング・エンジン104によって生成されたデータ・ストリームを解凍する。1画面(領域)当りの混合メディア・データは、解凍エンジン116によってLAN102から読み出されて、適切な処理後にフレーム・バッファ118に転送される。次いで、フレーム・バッファ118は、各々がデータ母線(図示せず)を介して解凍エンジン回路116から転送された1画面に対応する混合メディア・データを書き込んで記憶する。表示装置120内の内部回路により、各々が解凍エンジン回路116から転送された1画面に対応する混合メディア・データから画像信号を発生し、従って、画像信号を表示装置120で表示できるようにする。
フレーム・バッファ118はデータ・ストリームを、それが表示できるようになるまで保持する。フレーム・バッファ118の各アドレスは表示端末装置120の一ピクセルに対応する。このように、フレーム・バッファは表示装置の表面を表すものであり、また表示装置の画像又はセグメントを形成する1クラスタ(1群)のピクセルは、フレーム・バッファ118上の一集まりのアドレスとして表すことができる。フレーム・バッファ118は、書込み可能な半導体メモリ(例えば、SDRAM(同期式ダイナミック・ランダム・アクセス・メモリ)、DRAM(ダイナミック・ランダム・アクセス・メモリ)、ランバスDRAMなど)で形成され、解凍エンジン116からデータ母線を介して転送された1画面(フレーム)当りの混合メディア・データを書き込んで記憶する。記憶した混合メディア・データは、ユーザによって観察するとき表示装置120によってフレーム・バッファ118から1画面ずつ読み出される。
図2は、レンダリング・エンジン104と表示装置120との間でデータを交換するためのメタデータ抽出器106のシステム全体の概要を表すブロック図である。システム106は、通信チャンネルのスループットを増大すると共にコンピュータ124での解凍されたストリームの品質を改善するという当該技術分野での要求を解決する。
環境設定ファイル・メタデータ202は、フレーム・バッファ118の幾何学的領域を定義し且つ該領域の全体の特別な時間的特性を宣言する環境設定ファイルに保存されているアプリケーション・メタデータについての情報又はデータを表す。圧縮エンジンはこの情報を使用して、各領域について適切なコーデック(codec) を係合することができる。この技術は、アプリケーション・ソース・コードを修正することなく任意のアプリケーションについて採用することができる。
基本メタデータ204は、局在化したモジュール型レンダリング・エンジンにより、システムについてのデータ又は情報をレンダリング基本動作の検査から直接に収集する。例えば、Xウィンドウ・サーバーは、表示装置120上の各ソフトウエア・アプリケーションに割り当てられたウィンドウ・オブジェクトについて、並びに該アプリケーションが行う時間につれてのレンダリング動作の分布について有益な情報を持つ。もし1つのアプリケーションが一体色塗りつぶし動作を使用して特定のウィンドウに対してレンダリングしていると判明した場合、Xサーバーは適切なコーデックを使用するように圧縮エンジンに指示するメタデータを作成することができ、またウィンドウが画面上の異なる場所へ再構成されるとき、サーバーはメタデータを直接更新することができる。この手法は、アプリケーション・ソース・コードを修正せずに、レンダリング・エンジン・ソース・コードを修正することによって採用することができる。
アプリケーション・メタデータ206は、ソフトウエア・アプリケーションがどんな機能を遂行しているか決定し且つアプリケーション・データを表示するためにどんなタイプの表示装置120を使用するか決定するための論理を含むことができると云うことを利用する。アプリケーションの論理的な流れに依存して、メタデータは、表示装置120の領域が画像、ビデオ、或いは色塗り又は線画のユーザ・インターフェースの表示に使用するために割り当てられているときに直接作成することができる。
環境設定メタデータ202、基本メタデータ204及びアプリケーション・メタデータ206は互いに協同して、圧縮エンジン108によって使用すべき組合せメタデータ・パケットを生成することができる。同様に、メタデータ成分からの個々のデータは圧縮エンジン108によって個々に処理して、データ・ストリームのビットの数を減らすことができる。
図3は、レンダリング・エンジン104と表示装置120との間でデータを交換するためのメタデータ抽出器106のシステム全体の概要を表し、特に各メタデータ・モジュールによって行われる機能を表すブロック線図である。システム106は、通信チャンネルのスループットを増大させると云う当該技術分野における要求を解決する。
環境設定ファイル・メタデータ202は、予め編集することができ且つ圧縮機能を遂行するときにソース・コードから呼び出すことのできるライブラリ機能である。この機能は、呼び出したとき、フレーム・バッファの幾何学的領域を定義し且つ該領域の全体の特定の時間的な特性を宣言する環境設定ファイルを検査する。この情報は、レンダリング・エンジン104のデータ・ストリームの各領域について適切なコーデックを選択するために使用される。
基本メタデータ204は、予め編集することができ且つ圧縮機能を遂行するときにソース・コードから呼び出すことのできるライブラリ機能である。この機能は、レンダリング・エンジン104によるレンダリング動作を行うように選択される割り当てられたオブジェクト306を決定する。更に、該機能は、圧縮エンジンで使用するための適切な圧縮アルゴリズムを決定するために時間につれてのレンダリング動作308の分布を調べる。
アプリケーション・メタデータ206は、予め編集することができ且つ圧縮機能を遂行するときにソース・コードから呼び出すことのできるライブラリ機能である。アプリケーション・メタデータは、ソースで遂行されている機能310及びコンピュータ124における表示のタイプ312を使用して、適切な圧縮アルゴリズムを選択するようにする。
圧縮エンジン108のパワーは、フレーム・バッファ118に割り当てられる領域の特性、レンダリング・エンジン104によって使用されているオブジェクト、及びレンダリング・エンジンによって選択されているアプリケーションを調べて、データ忠実性を保持し且つ演算資源を最適化するように適切な圧縮アルゴリズムを選択する能力である。
図4は、メディア・コンテンツ404,406,408,410、並びにデータ・ストリームを圧縮することを選ぶときに選択することができる異なる圧縮アルゴリズム402を表す図表を示す。レンダリング・エンジンからのデータ・ストリームが1つ以上のメディア・コンテンツを含むことができるので、圧縮エンジン106の目的は、図3について前に述べたようにメタデータの分析によって最も適切な圧縮アルゴリズムを選択することである。
JPEG(Joint Photograph Experts Group)圧縮は、画像コンテンツ404及びビデオ・コンテンツ410に適している。JPEG圧縮は、帯域幅を減少させ且つフレーム・レートを低くするという犠牲を払って画像品質を維持することができる穏やかな劣化に適しており、画像の複雑さに拘わらず画像品質が一定であり、標準的な圧縮及び解凍が利用でき、コード化及びデコードが低コストであり、コンテンツ探索を行い且つ画像操作を行うことがより高速且つより簡単であり、多数のチャンネルをデコードして表示モニタで表示することができるように演算集中が減少し、コード化及びデコードの待ち時間が短く、これは生のビデオ及び個々の明瞭な画像を得るのに好ましいものであり、またパケット損失が生じた場合に素早い画像ストリームの回復と同等である弾力性がある。しかしながら、JPEGは、毎秒5フレームよりも高いフレーム・レートでは必要とされる帯域幅消費及び記憶要件が高くなり、また音(音声など)を同期させることができない。
MPEG(Moving Picture Experts Group)圧縮アルゴリズムは、一定フレーム・レート、高圧縮に適しており、高圧縮により、毎秒5フレームよりも高いフレーム・レートでの帯域幅要件が低くなり、また毎秒5フレームよりも高いフレーム・レートでの記憶要件が低くなり、また、一定のビット・レートにより、ネットワーク設計が簡単になり、帯域幅条件を維持することができる。しかしながら、MPEGは、必要とされる処理要件が複雑であり、またそのロバスト性が低いことにより、帯域幅が或る特定の閾値以下になった場合は全てのビデオ映像が失われる。
ベクトル・グラフィックスは、一連の形状、線及び変形を使用して画像を再現する方法を詳述する命令のリストとして表される線画及び図面に一層よく適している。これは、ブラシのストローク、絵の具の選択及び混合を精密に記録し、次いで絵を描くために最初に使用した一連のブラシのストロークを再現することによって、絵を再生することと類似している。ベクトル・グラフィックスは通常、特に圧縮したとき、データ効率がよく、記憶及び帯域幅要件が最小になる。ベクトル・グラフィックスは、印刷又は拡縮するとき、また拡大又は引き伸ばしのときでさえ、ピクセル化することなくレンダリングされる。従って、ベクトル・グラフィックスは、精密な細部を制限したグラフィックスを再生することができ、それは基本的な形状及び曲線に分解することが可能である。
ハフマン・コーディングは、ルックアップ・テーブルを用いて実施できるので実現が容易であり、所与のブロック・サイズの場合、ハフマン・コーディングは最高のコーディング効率が得られる。しかしながら、ハフマン・コーディングはソースの統計値を得る必要があり、これは演算コストを高くする恐れがある。
他の圧縮アルゴリズムも圧縮エンジン106において可能である。上記のアルゴリズムに加えて、レンダリング・エンジン104のユーザは、システム100の主要な利点から逸脱することなく、より適切なアルゴリズムを選択することができる。他のアルゴリズムは、H261、ウェーブレット圧縮、フラクタル圧縮、及びマクロメディア・フラッシュである。
本書のこのセクションでは、一実施形態の動作についてシステム全体に関する概要を説明した。レンダリング・エンジン104とコンピュータ124のようなコンピュータとの間でデータを伝送するためのデータ圧縮構成を説明した。幾つかの実施形態は、図1及び図8におけるコンピュータ122のようなコンピュータ上で、多重処理マルチスレッド化(multi-threaded)動作環境内で動作する。
システム100はどのような特定のネットワークにも限定されないが、説明を明瞭にするために、簡単なローカル・エリア・ネットワークについて説明した。
[実施形態の方法]
前のセクションでは、一実施形態の動作についてシステム全体に関する概要を説明した。このセクションでは、このような実施形態のサーバー及びクライアントによって遂行される特定の方法を、一連の流れ図を参照して説明する。流れ図を参照した方法の説明により、当業者は、適当なクライアント・コンピュータで方法を遂行するための命令や、コンピュータ読出し可能な媒体からの命令を実行するクライアントの処理装置などを含めて、このようなプログラム、ファームウエア又はハードウエアを開発することが可能である。同様に、サーバーのコンピュータ・プログラム、ファームウエア又はハードウエアによって遂行される方法はまた、コンピュータ実行可能な命令で構成される。方法500、600、700及び900は図2のコンピュータ122のようなコンピュータで実行するクライアント・プログラムによって遂行され、或いはコンピュータの一部であるファームウエア又はハードウエアによって遂行され、また該方法はレンダリング・エンジン104、圧縮エンジン108及びメタデータ抽出器106によって行う必要のある段階を含む。
図5は、一実施形態に従ってクライアントによって遂行される方法500の流れ図である。本構成では、クライアントは、コンピュータ122、圧縮エンジン106又はレンダリング・エンジン104のような1つ以上のコンピュータである。方法500は、スループットを増大させ且つ総ネットワーク負荷が変化するときネットワーク帯域幅の利用可能度を変更するように適応させると云う当該技術分野での要求を解決する。
本方法は段階502で始まり、段階502では、レンダリング・エンジン104からの入力データ及びメタデータ抽出器106からのデータを受け取って、伝送チャンネルの帯域幅要件に対処するように分析する。レンダリング・エンジン104からのデータは、ビデオ、テキスト、グラフィックス、図面及び音声を表す混合メディア・ストリームである。混合ビデオは、適切な表示ドライバ、音声ドライバ又は他のドライバを呼び出すことによって、コンピュータ124で表示又は再生することができる。表示装置は、各々の個別のメディアを表示するためにタイル表示、枠あけ、又は分割することができる。一旦段階502で入力データを受け取ると、制御は更なる処理のために段階504へ進む。
段階504で、入力データ・ストリームについての属性を決定する。属性は、環境設定ファイル・メタデータ、基本メタデータ及びアプリケーション・メタデータの内の少なくとも1つである。これらの属性の各々は、メタデータ、すなわち、入力データ・ストリームを記述するデータを表し、これは、ローカル・エリア・ネットワーク102のような通信チャンネルの帯域幅要件に対処するように混合メディア・ストリームを効率よく凝縮するために、圧縮エンジン108によって使用可能である。一旦属性が決定されると、制御は更なる処理のために段階506へ進む。
段階506では、段階504において識別された属性に基づいて、入力データ・ストリームについての圧縮アルゴリズムを選択する。識別された属性を持つ圧縮エンジン108は、入力データ・ストリームを圧縮するための適切なアルゴリズムを選択する。選択された圧縮アルゴリズムは入力データ・ストリームの各領域について固有のものであるか、又は入力データ・ストリームの各領域について共通のものとすることができる。ストリームが混合メディア・ストリームであるとき、メディアの各領域は、その領域についての最も適切な圧縮アルゴリズムに基づいて圧縮される。画像が入力データ・ストリームの一部であるとき、JPEGアルゴリズムが選択される可能性が高く、線画及び図面の場合にはベクトル・グラフィックス圧縮又はことによるとハフマン・コーディングが選択される。ビデオの場合には、MPEG圧縮アルゴリズムが選択される。代替態様では、単一のアルゴリズムを入力ストリーム内のどのメディアについても選択する。帯域幅が増大する場合、圧縮が必要とされないことがあること、又は本質的に圧縮動作の遂行に伴って起こる遅延を減少させるように圧縮比が緩和されることが予想される。各メディア又は領域について圧縮アルゴリズムが選択された後、制御は更なる処理のために段階508へ進む。
段階508では、段階506において選択された圧縮アルゴリズムに従って入力データ・ストリームを圧縮する。圧縮後、入力ストリームはローカル・エリア・ネットワークに導入されて、表示装置120でレンダリングされるか、又は後で使用するためにファイル保管場所110に保存される。
図6は、一実施形態に従ってクライアントによって遂行される方法600の流れ図である。本構成では、クライアントは、コンピュータ122、圧縮エンジン106又はレンダリング・エンジン104のような1つ以上のコンピュータである。方法600は、スループットを増大させ且つ総ネットワーク負荷が変化するときネットワーク帯域幅の利用可能度を変更するように適応させると云う当該技術分野での要求を解決する。
方法600は段階602で始まり、段階602では、レンダリング・エンジン104からの入力データ及びメタデータ抽出器106からのデータを受け取る。レンダリング・エンジン104からのデータは、ビデオ、テキスト、グラフィックス、図面及び音声を表し、これらは包括的に「混合メディア・ストリーム」と呼ばれる。混合ビデオは、適切な表示ドライバ、音声ドライバ又は他のドライバを呼び出すことによって、コンピュータ124で表示又は再生することができる。表示装置は、各々の個別のメディアを表示するためにタイル表示、枠あけ、又は分割することができる。一旦段階602で入力データを受け取ると、制御は更なる処理のために段階604へ進む。
段階604で、混合メディア・データについてメタデータを取得する。属性は、環境設定ファイル・メタデータ、基本メタデータ及びアプリケーション・メタデータの内の少なくとも1つである。これらの属性の各々は、メタデータ、すなわち、入力データ・ストリームを記述するデータを表し、これは、ローカル・エリア・ネットワーク102のような通信チャンネルの帯域幅要件に対処するように混合メディア・ストリームを効率よく凝縮するために、圧縮エンジン108によって使用可能である。一旦メタデータが取得されると、制御は更なる処理のために段階606へ進む。
段階606で、混合メディア・データを複数の領域に分割する。混合メディア・データの各領域は、表示装置120及びフレーム・バッファ118にマッピングすることができるが、テキスト、ビデオ、画像、グラフィックス及びその他のメディアのようなそのカテゴリー成分に分割される。混合メディア・データが複数の領域に分割された後、制御は更なる処理のために段階608へ進む。
段階608で、取得されたメタデータ604及び分割された領域606に基づいて入力データ・ストリームについて圧縮アルゴリズムを選択する。各領域について取得されたメタデータを持つ圧縮エンジン108は、入力データ・ストリームを圧縮するための適切なアルゴリズムを選択する。ストリームが混合メディア・ストリームであるとき、メディアの各領域は、その領域についての最も適切な圧縮アルゴリズムに基づいて圧縮される。画像が入力データ・ストリームの一部であるときは、JPEGアルゴリズムが選択される可能性が高く、線画及び図面の場合にはベクトル・グラフィックス圧縮又はことによるとハフマン・コーディングが選択される。ビデオの場合には、MPEG圧縮アルゴリズムが選択される。帯域幅が増大する場合、圧縮が必要とされないことがあること、又は本質的に圧縮動作の遂行に伴って起こる遅延を減少させるように圧縮比が緩和されることが予想される。各メディア又は領域について圧縮アルゴリズムが選択された後、制御は更なる処理のために段階610へ進む。
段階610では、段階608において選択された圧縮アルゴリズムに従って入力データ・ストリームの各領域を圧縮する。圧縮後、入力ストリームは、表示装置120でレンダリングするか、又は後で使用するためにファイル保管場所110に保存するために、ローカル・エリア・ネットワークに導入される。
段階612で、入力データ・ストリームは、ネットワークの別の場所で再生し又は保存するために、ローカル・エリア・ネットワークに導入する。コンピュータ124で受け取ったとき、入力データ・ストリームは表示装置120で再生される。保存用サーバー110で受け取ったとき、後でレンダリング・エンジン104によって検索されるか又はコンピュータ124によって120で表示される。
図7は、一実施形態を形成する方法700の流れ図である。方法700は、ネットワークのスループットを増大させると云う当該技術分野での要求を解決する。
図7は、段階702で始まり、段階702では、入力データ・ストリームを受け取る。入力データ・ストリームは、レンダリング・エンジン104から供給されて、最終的に表示装置120でレンダリングされるデータ、すなわち、テキスト、ビデオ、画像又はその他のメディアである。一旦入力を受け取ると、制御は更なる処理のために段階704へ進む。
段階704で、入力データを分析して、メディア・ストリームの複数の領域の各々についてレンダリングしているメディアのタイプが何であるか決定する。前に述べたように、これらの領域は1つ以上のテキスト、ビデオ、画像又はその他のメディアであってよい。一旦入力データ・ストリームの領域が識別されると、制御は更なる処理のために段階704へ進む。
段階706で、入力ストリームをメタデータ依存性領域とメタデータ不依存性領域とに分割する。この分割の目的は、メタデータが存在する領域があればその領域を決定することであり、これにより、その領域内のメディアのタイプに合わせて厳格に調整された圧縮アルゴリズムの選択に進むことができる。一旦この弁別機能が遂行されると、メタデータ依存性である領域は、識別された領域についての最も適切なアルゴリズムを使用して圧縮される(段階708)。メタデータ不依存性領域はデフォルト(初期設定の)圧縮アルゴリズムを使用して圧縮される(段階710)。ここで、メタデータ依存性及び不依存性の両方について、何ら圧縮を行わない領域が選択される場合があることに留意されたい。領域についての圧縮が行われた後、制御は更なる処理のために段階712へ進む。
段階712では、入力データ・ストリームがチャンネルを介して伝送されて、表示装置120で表示されるか又は保存用サーバー110に保存される。
実施形態によっては、方法500〜700は、図8の処理装置804のような処理装置によって実行されたときに該処理装置にそれぞれの方法を遂行させる一連の命令を表している、搬送波で具現化されたコンピュータ・データ信号として具現される。他の実施形態では、方法500〜700は、図8の処理装置804のような処理装置にそれぞれの方法を遂行させるように指示することのできる実行可能な命令を持つコンピュータ・アクセス可能な媒体として具現される。様々な実施形態において、媒体は磁気的媒体、電子的媒体又は光学的媒体である。
[ハードウエア及び動作環境]
図8は、異なる実施形態を実施できるハードウエア及び動作環境800のブロック線図である。図8の説明は、コンピュータ・ハードウエアの概要と、幾つかの実施形態を実現できるような適当な演算環境とについて行う。実施形態は、コンピュータ実行可能な命令を実行するコンピュータに関連させて説明する。しかしながら、幾つかの実施形態はコンピュータ・ハードウエアで完全に具現化することでき、コンピュータ・ハードウエアでは、コンピュータ実行可能な命令が読出し専用メモリで具現される。幾つかの実施形態はまた、クライアント/サーバー演算環境内で具現され、この場合、タスクを遂行する遠隔の装置が通信ネットワークを介して連結される。プログラム・モジュールは、分散型演算環境内のローカル及び遠隔のメモリ記憶装置の両方に配置することができる。
コンピュータ124は、Intel 社、Motorola社、Cyrix 社などから市販されているような処理装置804を含む。コンピュータ124はまた、ランダム・アクセス・メモリ(RAM)806、圧縮及び解凍エンジン116、フレーム・バッファ118、読出し専用メモリ(ROM)808、及び1つ以上の大容量記憶装置810、並びに1つ以上のシステム母線812を含み、システム母線812は様々なシステム要素を処理装置810に動作結合させる。メモリ806,808及び大容量記憶装置810は、コンピュータ・アクセス可能な媒体のタイプである。大容量記憶装置810は、より特殊なタイプの非揮発性コンピュータ・アクセス可能な媒体であり、1つ以上のハードディスク・ドライブ、フロッピー・ディスク・ドライブ、光ディスク・ドライブ、及びテープ・カートリッジ・ドライブを含むことができる。処理装置804は、コンピュータ・アクセス可能な媒体上に保存されているコンピュータ・プログラムを実行する。
コンピュータ124は、通信装置816を介してインターネット814に通信可能に接続することができる。インターネット814の接続性は当該技術分野内でよく知られている。一実施形態では、通信装置816は、通信ドライバに応答して、当該技術分野で「ダイヤルアップ接続」として知られているものを介してインターネットに接続するモデムである。別の実施形態では、通信装置816は、ローカル・エリア・ネットワーク(LAN)に接続されたイーサーネット(商標)又は同様なハードウエア・ネットワーク・カードであり、ローカル・エリア・ネットワーク(LAN)はそれ自身が、当該技術分野で「直接接続」として知られているもの(例えば、T1線路など)を介してインターネットに接続される。
ユーザは、キーボード818及びポインティング装置820のような入力装置を介して、コンピュータ124に指令及び情報を入力する。キーボード818は、当該技術分野で知られているように、コンピュータ124へのテキスト情報の入力を可能にするが、実施形態はどんな特定のタイプのキーボードにも限定されない。ポインティング装置820は、マイクロソフト・ウィンドウズ(商標)のようなオペレーティング・システムのグラフィカル・ユーザ・インターフェース(GUI)によって提供される画面上のポインタの操作を可能にする。実施形態はどんな特定のタイプのポインティング装置820にも限定されない。このようなポインティング装置には、マウス、接触パッド、トラックボール、遠隔制御器及びポイント・スティックが含まれる。他の入力装置(図示せず)としては、マイクロフォン、ジョイスティック、ゲーム・パッド、サテライト・ディッシュ、スキャナなどが挙げられる。
実施形態によっては、コンピュータ124は表示装置822に作動結合される。表示装置822はシステム母線812に接続される。表示装置822は、コンピュータのユーザによる観察のために、コンピュータ、ビデオ及びその他の情報を含む情報の表示を可能にする。実施形態はどんな特定の表示装置822にも限定されない。このような表示装置には、陰極線管(CRT)表示装置(モニタ)と共に、液晶表示装置(LCD)のようなフラット・パネル表示装置が含まれる。モニタに加えて、コンピュータは典型的には、プリンタ(図示せず)のような他の周辺入力/出力装置を含む。拡声器824及び826が信号の音声出力を供給する。拡声器824及び826はまたシステム母線812に接続される。
コンピュータ124はまた、コンピュータ・アクセス可能な媒体RAM806、ROM808及び大容量記憶装置810上に記憶されて処理装置804によって実行されるオペレーティング・システム(図示せず)を含んでいる。オペレーティング・システムの例としては、マイクロソフト・ウィンドウズ(商標)、Apple MacOS(商標)、Linux(商標)、UNIX(商標)が挙げられる。しかしながら、実施態様はどんな特定のオペレーティング・システムにも限定されず、このようなオペレーティング・システムの構成及び使用法は当該技術分野でよく知られている。
コンピュータ124の実施形態はどんなタイプのコンピュータ124にも限定されない。様々な実施形態では、コンピュータ124は、PC互換性コンピュータ、MacOS(商標)互換性コンピュータ、Linux(商標)互換性コンピュータ、又はUNIX(商標)互換性コンピュータで構成される。このようなコンピュータの構成及び使用法は当該技術分野でよく知られている。
コンピュータ124は、ユーザ制御可能なポインターを含むグラフィカル・ユーザ・インターフェース(GUI)を提供するために少なくとも1つのオペレーティング・システムを使用して動作することができる。コンピュータ124は、コンピュータ124のユーザがURL(Universal Resource Locator)アドレスによって指定した通りにイントラネット又はインターネット・ワールドワイドウェブ・ページにアクセスできるようにするために、少なくとも1つのオペレーティング・システム内で実行する少なくとも1つのウェブ・ブラウザ・アプリケーション・プログラムを持つことができる。ブラウザ・アプリケーション・プログラムの例としては、ネットスケープ・ナビゲータ(商標)及びマイクロソフト・インターネット・エクスプローラ(商標)が挙げられる。
コンピュータ124は、遠隔のコンピュータ122のような1つ以上の遠隔のコンピュータへの論理的接続を使用してネットワーク接続の環境内で動作することができる。このような論理的接続はコンピュータ124に結合された又はその一部である通信装置によって達成される。実施形態は特定のタイプの通信装置に限定されない。遠隔のコンピュータ122は、別のコンピュータ、サーバー、ルーター、レンダリング・エンジン104、圧縮エンジン108、ネットワークPC、クライアント、ピア装置又は他の共通なネットワーク・ノードであってよい。図8に示されている論理的接続には、ローカル・エリア・ネットワーク(LAN)102及びワイド・エリア・ネットワーク(WAN)832が含まれる。このようなネットワーク接続環境は、事務所、企業内コンピュータ・ネットワーク、イントラネット及びインターネットにおいて当たり前である。
LANネットワーク接続環境で使用されるとき、コンピュータ124及び遠隔のコンピュータ122は、通信装置816の一タイプであるネットワーク・インターフェース又はアダプタ834を介してローカル・ネットワーク102に接続される。遠隔のコンピュータ122はまたネットワーク装置836を含む。従来のWANネットワーク接続環境で使用されるとき、コンピュータ124及び遠隔のコンピュータ122はモデム(図示せず)を介してWAN832と通信する。モデムは、内蔵でも外付けでもよいが、システム母線812に接続される。ネットワーク接続の環境では、コンピュータ124に対して又はその一部分に対して示されるたログラム・モジュールは、遠隔のコンピュータ122内に記憶させてもよい。
コンピュータ124はまた電源装置838も含む。各電源装置は蓄電池であってよい。
[具現例]
図9を参照して、特定の具現例900を、図8におけるシステムの概要と図5、6及び7に関して説明した方法とに関連して説明する。図では、ソフトウエア・システムのオブジェクト指向アーティファクトを指定し、視覚化し、構成し、且つ文書化するための業界標準語であるUML(Unified Modeling Language) を使用する。図中、クラス間の中空の矢印は、親クラスの下の子供クラスが該親クラスから属性及び方法を引き継ぐことを示すために使用される。更に、塗りつぶした菱形は、別のクラスのオブジェクトの上方に示されているクラスのオブジェクトが、下方に示されたオブジェクトで構成されることを示すために使用される。コンポジション(composition) は、一クラスの一インスタンスの属性を、構成中のオブジェクトがそれを構成するオブジェクト(1つ又は複数)から引き継ぎをしないような他のクラスの1つ以上の既存のインスタンスの内の一インスタンスを含むものとして定義する。
図9は、異なる実施形態を実施できるハードウエア及び動作環境800のブロック線図である。装置900は、スループットを増大させ且つ総ネットワーク負荷が変化するときネットワーク帯域幅の利用可能度を変更するように適応させると云う当該技術分野での要求を解決する。
装置900は、コンピュータ・アクセス可能な媒体からのソフトウエア912、及び装置900を動作させるための搬送波信号を受け取る。図10は、エラー検査のため及び正しいサーバー又は装置900へのペイロードの送出のためのヘッダを持つフレーム・リレーを使用した伝送を示す。図示のように、ペイロードは、装置900によって編集されたとき、選択された圧縮アルゴリズムによりデータ・ストリームの領域を圧縮するための段階を遂行するように処理装置804のような処理装置を作動する命令群から構成される。ソフトウエアは、入力メディア・ストリームを圧縮する方法を遂行するように装置を動作させる命令であってよく、代替例では、ソフトウエアは、該方法を遂行するため、且つデータ及び命令と、圧縮後のデータを通信チャンネルを介して送るために用いられるフォーマットとを生成するように、使用されているオペレーティング・システムに従って装置900を動作させるための命令群であってもよい。
装置900は入力データ・ストリームをメディア・ソース914から受け取る。前に述べたように、入力データ・ストリームは1つ以上のビデオ、テキスト、画像又はその他のメディアで構成される。ソフトウエア命令912を用いることによって方法を遂行するように装置を構成した後、装置は入力データ・ストリーム914を受け取って、該データ・ストリームを伝送のために処理する準備ができている。
段階902で、混合メディア・データについてメタデータを取得する。属性は、環境設定ファイル・メタデータ、基本メタデータ及びアプリケーション・メタデータの内の少なくとも1つである。これらの属性の各々は、メタデータ、すなわち、入力データ・ストリームを記述するデータを表し、これは、ローカル・エリア・ネットワーク102のような通信チャンネルの帯域幅要件に対処するように混合メディア・ストリームを効率よく凝縮するために、圧縮エンジン108によって使用可能である。一旦メタデータが取得されると、制御は更なる処理のために段階904へ進む。
段階904で、混合メディア・データを複数の領域に分割する。混合メディア・データの各領域は、表示装置120及びフレーム・バッファ118にマッピングすることができるが、テキスト、ビデオ、画像、グラフィックス及びその他のメディアのようなそのカテゴリー成分に分割される。混合メディア・データが複数の領域に分割された後、制御は更なる処理のために段階906へ進む。
段階906で、取得されたメタデータ902及び分割された領域904に基づいて入力データ・ストリームについて圧縮アルゴリズムを選択する。各領域について取得されたメタデータを持つ圧縮エンジン108は、入力データ・ストリームを圧縮するための適切なアルゴリズムを選択する。ストリームが混合メディア・ストリームであるとき、メディアの各領域は、その領域についての最も適切な圧縮アルゴリズムに基づいて圧縮される。画像が入力データ・ストリームの一部であるときは、JPEGアルゴリズムが選択される可能性が高く、線画及び図面の場合にはベクトル・グラフィックス圧縮又はことによるとハフマン・コーディングが選択される。ビデオの場合には、MPEG圧縮アルゴリズムが選択される。帯域幅が増大する場合、圧縮が必要とされないことがあること、又は本質的に圧縮動作の遂行に伴って起こる遅延を減少させるように圧縮比が緩和されることが予想される。各メディア又は領域について圧縮アルゴリズムが選択された後、制御は更なる処理のために段階908へ進む。
段階908では、段階906において選択された圧縮アルゴリズムに従って入力データ・ストリームの各領域を圧縮する。圧縮後、入力ストリームは、表示装置120でレンダリングするために、又は後で使用するためにファイル保管場所110に保存するために、ローカル・エリア・ネットワークに導入される。
段階910で、入力データ・ストリームは、ネットワークの別の場所で再生し又は保存するために、ローカル・エリア・ネットワークの流れに導入する。コンピュータ124で受け取ったとき、入力データ・ストリームは表示装置120で再生される。保存用サーバー110で受け取ったとき、後でレンダリング・エンジン104によって検索されるか又はコンピュータ124によって120で表示される。
装置900のコンポーネント(component) 902〜910はコンピュータ・ハードウエア回路として又はコンピュータ読出し可能なプログラムとして、或いはこれらの両者として具現化することができる。別の実施形態では、システム900はアプリケーション・サービス・プロバイダ(ASP)システムで具現化される。
更に詳しく述べると、コンピュータ読出し可能なプログラムによる実施形態では、プログラムはJava(商標)、Smalltalk(商標)、又はC++のようなオブジェクト指向言語を使用してオブジェクト指向で構成するすることができ、またCOBOL又はCのような手続向き言語を使用して手続向きに構成することもできる。ソフトウエア・コンポーネントの通信には当業者に周知の多数の手段のいずれかが用いられ、例えば、アプリケーション・プログラム・インターフェース(API)、又はプロセス間通信技術、例えば、遠隔手続き呼出し(RPC)、共通オブジェクト要求ブローカー・アーキテクチャ(CORBA)、コンポーネント・オブジェクト・モデル(COM)、分散コンポーネント・オブジェクト・モデル(DCOM)及び遠隔メソッド呼出し(RMI)が用いられる。コンポーネントは、図8中のコンピュータ122又は124のように僅か1つのコンピュータで実行するか、又は少なくともコンポーネントと同じ数のコンピュータで実行する。
[結論]
以上、データ圧縮のためのシステム及び方法を説明した。特定の実施形態を例示して説明したが、当業者には、同じ目的を達成すると考えられるどのような構成も上記の実施形態と置き換えることができることが理解されよう。本出願はいかなる改変や変形もカバーするものである。例えば、オブジェクト指向に関連して説明したが、当業者には、手続き向き設計環境又は所要の関係を与える任意の他の設計環境で具現化することができることが理解されよう。
特に、当業者なら直ぐ分かるように、方法及び装置の名称は実施形態を限定しようとするものではない。更に、付加的な方法及び装置をコンポーネントに追加することができ、またコンポーネントの間で機能を配置し直すことができ、また将来における改善及び実施形態で使用された物理的装置に対応する新しいコンポーネントを、実施形態の範囲から逸脱することなく導入することができる。当業者には、実施形態が将来の通信装置、異なるファイル・システム及び新規なデータ・タイプに適用可能であることが認められよう。
レンダリング・エンジンからの入力データを圧縮するための一実施形態とその後の表示のために解凍した入力データを保持するフレーム・バッファとを含むシステム全体の概要を例示する線図である。 入力データの圧縮のための一実施形態による環境設定、基本及びアプリケーション・メタデータの使用法を例示する線図である。 入力データの圧縮のための一実施形態による環境設定、基本及びアプリケーション・メタデータの詳細を例示する線図である。 入力データを圧縮するために使用することのできるコンテンツ及び圧縮方法を例示する図表である。 識別された属性に基づいて入力データを圧縮するための一実施形態による方法の流れ図である。 取得したメタデータに基づいて入力データを圧縮するための一実施形態による方法の流れ図である。 取得した独立又は従属メタデータに基づいて入力データを圧縮するための一実施形態による方法の流れ図である。 異なる実施形態を実施することのできるハードウエア及び動作環境のブロック図である。 入力データを圧縮するために処理装置によって遂行される動作を表すブロック図である。 処理装置によって実行されたときに入力データを圧縮する命令を持つデータ・フレームの図表である。
符号の説明
100 システム
102 LAN
110 保存用サーバー
122 コンピュータ・システム
124 端末装置(コンピュータ・システム)
500、600、700 方法
800 ハードウエア及び動作環境
812 システム母線
900 装置

Claims (8)

  1. ソース・データ装置(104)と遠隔ビデオ・フレーム・バッファ(118)との間でデータを圧縮する方法であって、
    遠隔ビデオ・フレーム・バッファ(118)位置に対応する1つ以上のメディア領域を持つソース・データをソース・データ装置(104)から受け取る段階と、
    遠隔ビデオ・フレーム・バッファ(118)位置に対応する1つ以上のメディア領域を記述するメタデータを識別(504)する段階と、
    前記領域のメタデータが識別された場合、前記領域についてメタデータ依存性データ圧縮(708)を遂行する段階と、
    メタデータが識別されない領域についてメタデータ不依存性データ圧縮(710)を選択する段階と、
    を有し、
    前記メタデータを識別する段階は更に、前記ソース・データを生成するためにソース・データ装置(104)によって使用された、環境設定ファイル・メタデータ、ソース基本メタデータ及びアプリケーション・高レベル・メタデータの内の1つを識別する段階を含む
    方法。
  2. 前記のメタデータ不依存性データ圧縮を選択する段階は更に、MPEG圧縮、JPEG画像圧縮、ベクトル・グラフィックス圧縮、ハフマン・コーディング、H.261及びユーザ選択圧縮法(402)のうちの1つを選択する段階を含んでいる、請求項1に記載の方法。
  3. 前記のメタデータを識別する段階は更に、
    入力データの領域についての表示の機能及びタイプについてアプリケーション高レベル・メタデータ(206)を識別する段階と、
    基本動作からアプリケーション・メタデータについてソース基本メタデータ(204)を識別する段階と、
    入力データの領域を定義する情報を識別(706)する段階と、
    入力データ領域の特定の時間的特性(302)を定義する情報を識別する段階と、
    の内の1つを含んでいる、請求項1に記載の方法。
  4. 表示のために通信リンクを介してデータ処理装置(900)から遠隔フレーム・バッファ(118)へ混合メディア・ストリーム・データを伝送する方法であって、
    前記混合メディア・ストリーム・データを、表示すべき混合メディア・ストリームを表す複数の領域に分割(606)する段階と、
    前記混合メディア・ストリーム・データの各領域を定義するメタデータ属性を、データ処理装置(106)から取得する段階と、
    前記混合メディア・ストリーム・データの各領域を定義する前記取得したメタデータ属性に基づいて、前記混合メディア・ストリーム・データの各領域についての圧縮方法(402)を選択する段階と、
    前記混合メディア・ストリーム・データの各領域について前記選択した圧縮方法(402,404,406,408,410)を適用する段階と、
    表示のために前記通信リンクを介して前記フレーム・バッファ(118)へ前記圧縮した混合メディア・ストリーム・データを伝送(712)する段階と、
    を有し、
    前記メタデータ属性はさらに、前記混合メディア・ストリーム・データを生成するために使用された、環境設定ファイル・メタデータ(202)、ソース基本メタデータ(204)及びアプリケーション高レベル・メタデータ(206)の内の1つを含む、
    方法。
  5. 少なくとも一組の入力データを圧縮するためのコンピュータ化システムであって、
    前記入力データのメタデータの属性を識別する(902,904)ための装置と、
    前記識別したメタデータの属性(892)に応じて少なくとも1つのデータ圧縮方法を選択する(906)ための装置と、
    前記選択した少なくとも1つのデータ圧縮方法により前記組の入力データを圧縮する(908,108)ための装置と、
    を有し、
    前記メタデータの属性は更に、前記入力データを生成するために使用された、環境設定ファイル・メタデータ(202)、ソース基本メタデータ(204)及びアプリケーション高レベル・メタデータ(206)の内の1つを含む
    コンピュータ化システム。
  6. 前記環境設定ファイル・メタデータの属性は更に、入力データの領域を定義する情報(904)と、前記入力データ領域の特定の時間的特性(302)を定義する情報との内の少なくとも1つを含んでいる、請求項5に記載のコンピュータ化システム。
  7. 前記ソース基本メタデータ(204)の属性は更に、基本動作からのアプリケーション・メタデータ(206)を含んでいる、請求項5に記載のコンピュータ化システム。
  8. 前記アプリケーション高レベル・メタデータの属性は更に、入力データの領域についての表示の機能及びタイプを記述する情報(120,118,206)を含んでいる、請求項5に記載のコンピュータ化システム。
JP2006173574A 2005-06-25 2006-06-23 アプリケーション・メタデータを用いるグラフィカル・ユーザ・インターフェースの適応ビデオ圧縮法 Expired - Fee Related JP5319875B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/165,768 US7548657B2 (en) 2005-06-25 2005-06-25 Adaptive video compression of graphical user interfaces using application metadata
US11/165,768 2005-06-25

Publications (2)

Publication Number Publication Date
JP2007043673A JP2007043673A (ja) 2007-02-15
JP5319875B2 true JP5319875B2 (ja) 2013-10-16

Family

ID=37562727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006173574A Expired - Fee Related JP5319875B2 (ja) 2005-06-25 2006-06-23 アプリケーション・メタデータを用いるグラフィカル・ユーザ・インターフェースの適応ビデオ圧縮法

Country Status (4)

Country Link
US (1) US7548657B2 (ja)
JP (1) JP5319875B2 (ja)
CN (1) CN1984330B (ja)
DE (1) DE102006029326A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758182B2 (en) 2020-11-25 2023-09-12 International Business Machines Corporation Video encoding through non-saliency compression for live streaming of high definition videos in low-bandwidth transmission
US12126828B2 (en) 2023-07-30 2024-10-22 International Business Machines Corporation Video encoding through non-saliency compression for live streaming of high definition videos in low-bandwidth transmission

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6624761B2 (en) 1998-12-11 2003-09-23 Realtime Data, Llc Content independent data compression method and system
US6601104B1 (en) 1999-03-11 2003-07-29 Realtime Data Llc System and methods for accelerated data storage and retrieval
US6748457B2 (en) 2000-02-03 2004-06-08 Realtime Data, Llc Data storewidth accelerator
US9143546B2 (en) 2000-10-03 2015-09-22 Realtime Data Llc System and method for data feed acceleration and encryption
US8692695B2 (en) 2000-10-03 2014-04-08 Realtime Data, Llc Methods for encoding and decoding data
US7386046B2 (en) 2001-02-13 2008-06-10 Realtime Data Llc Bandwidth sensitive data compression and decompression
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
WO2006081634A2 (en) * 2005-02-04 2006-08-10 Barco N.V. Method and device for image and video transmission over low-bandwidth and high-latency transmission channels
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
JP4871015B2 (ja) * 2006-04-27 2012-02-08 株式会社リコー 画像処理装置、および画像処理方法
GB2438004B (en) * 2006-05-08 2011-08-24 Snell & Wilcox Ltd Creation and compression of video data
US8127036B2 (en) * 2006-06-30 2012-02-28 Microsoft Corporation Remote session media data flow and playback
JP2008079760A (ja) * 2006-09-27 2008-04-10 Fujifilm Corp 画像圧縮処理方法及び画像圧縮処理装置並びに医用ネットワークシステム
US7984477B2 (en) * 2007-03-16 2011-07-19 At&T Intellectual Property I, L.P. Real-time video compression
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US8890874B2 (en) * 2007-12-14 2014-11-18 Microsoft Corporation Changing visual content communication
US9471996B2 (en) * 2008-02-29 2016-10-18 Autodesk, Inc. Method for creating graphical materials for universal rendering framework
US8571106B2 (en) * 2008-05-22 2013-10-29 Microsoft Corporation Digital video compression acceleration based on motion vectors produced by cameras
US8667404B2 (en) * 2008-08-06 2014-03-04 Autodesk, Inc. Predictive material editor
US8601398B2 (en) * 2008-10-13 2013-12-03 Autodesk, Inc. Data-driven interface for managing materials
US8560957B2 (en) * 2008-10-13 2013-10-15 Autodesk, Inc. Data-driven interface for managing materials
US9342901B2 (en) * 2008-10-27 2016-05-17 Autodesk, Inc. Material data processing pipeline
US8584084B2 (en) * 2008-11-12 2013-11-12 Autodesk, Inc. System for library content creation
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US8171154B2 (en) * 2009-09-29 2012-05-01 Net Power And Light, Inc. Method and system for low-latency transfer protocol
US9235452B2 (en) * 2010-02-05 2016-01-12 Microsoft Technology Licensing, Llc Graphics remoting using augmentation data
US20110314070A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Optimization of storage and transmission of data
KR101181977B1 (ko) 2011-01-06 2012-09-11 주식회사 이노와이어리스 계측기 화면 저장 방법
US20130039408A1 (en) * 2011-02-07 2013-02-14 Screenovate Technologies Ltd Method for enhancing compression and transmission process of a screen image
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US9111330B2 (en) * 2011-05-27 2015-08-18 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US9344528B2 (en) * 2011-08-31 2016-05-17 Microsoft Technology Licensing, Llc Data compressor using hints
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
JP5761007B2 (ja) 2011-12-20 2015-08-12 富士通株式会社 情報処理装置、画像送信方法及び画像送信プログラム
JP2013235191A (ja) * 2012-05-10 2013-11-21 Funai Electric Co Ltd 表示装置および表示システム
US8847797B1 (en) * 2012-05-31 2014-09-30 Google Inc. Byte-aligned dictionary-based compression and decompression
CN102722375A (zh) * 2012-06-08 2012-10-10 四川川大智胜软件股份有限公司 基于x协议的景象记录与回放的实现方法
JPWO2014030189A1 (ja) * 2012-08-23 2016-07-28 富士通株式会社 圧縮プログラム、圧縮方法、圧縮装置、伸張プログラム、伸張方法、伸張装置およびデータ転送システム
US10019457B1 (en) 2013-01-22 2018-07-10 Amazon Technologies, Inc. Multi-level compression for storing data in a data store
US9384204B2 (en) * 2013-05-22 2016-07-05 Amazon Technologies, Inc. Efficient data compression and analysis as a service
US20140355665A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Adaptive Video Reference Frame Compression with Control Elements
US9210434B2 (en) 2013-06-12 2015-12-08 Microsoft Technology Licensing, Llc Screen map and standards-based progressive codec for screen content coding
JP6327816B2 (ja) * 2013-09-13 2018-05-23 キヤノン株式会社 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム
WO2015055093A1 (en) * 2013-10-17 2015-04-23 Mediatek Inc. Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method
TWI594180B (zh) 2014-02-27 2017-08-01 萬國商業機器公司 在圖形使用者介面上利用動作輸入分割/合併檔案的方法與電腦系統
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
CN103997385B (zh) * 2014-05-23 2017-05-03 北京中和卓远科技有限公司 一种数据回放模拟方法及系统
US20150381994A1 (en) * 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
GB201414204D0 (en) * 2014-08-11 2014-09-24 Advanced Risc Mach Ltd Data processing systems
US10062405B2 (en) * 2015-05-06 2018-08-28 Samsung Electronics Co., Ltd. Electronic device and method for operating the same
US10313256B2 (en) * 2015-05-21 2019-06-04 Intel Corporation Apparatus and methods for adaptive data compression
US10255021B2 (en) * 2015-05-28 2019-04-09 Qualcomm Incorporated Low latency screen mirroring
KR102535825B1 (ko) 2015-06-03 2023-05-23 삼성전자주식회사 시스템 온 칩 및 시스템 온 칩의 동작 방법
US10511505B2 (en) * 2015-12-09 2019-12-17 Keysight Technologies Singapore (Sales) Pte. Ltd. Systems and methods to recreate real world application level test packets for network testing
CN107526533B (zh) * 2016-06-21 2020-08-11 伊姆西Ip控股有限责任公司 存储管理方法及设备
US10387425B1 (en) * 2016-06-30 2019-08-20 EMC IP Holding Company LLC Preserving temporal locality while multiplexing streams in a stream-informed segment layout (SISL) system
US20180316936A1 (en) * 2017-04-26 2018-11-01 Newgen Software Technologies Limited System and method for data compression
CN108174200A (zh) * 2017-11-28 2018-06-15 西安万像电子科技有限公司 图像传输方法及装置
KR102195239B1 (ko) * 2019-11-29 2020-12-24 숭실대학교산학협력단 대역폭을 고려한 하둡의 데이터 압축 전송 방법, 이를 수행하기 위한 기록 매체 및 장치
US20210304705A1 (en) * 2020-03-27 2021-09-30 Samsung Electronics Co., Ltd. Image display apparatus and method for managing data packet loss
CN114513583B (zh) * 2022-02-14 2023-12-19 平安科技(深圳)有限公司 影像数据的压缩上传方法、装置、设备及介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68928162T2 (de) * 1988-11-23 1998-01-29 Schlumberger Technologies Inc Verfahren und Gerät zum Verdichten von Bildern hoher Auflösung
US5467087A (en) 1992-12-18 1995-11-14 Apple Computer, Inc. High speed lossless data compression system
US5422674A (en) 1993-12-22 1995-06-06 Digital Equipment Corporation Remote display of an image by transmitting compressed video frames representing background and overlay portions thereof
US6057851A (en) 1995-10-06 2000-05-02 International Business Machines Corp. Computer graphics system having efficient texture mapping with perspective correction
JP4120711B2 (ja) * 1996-11-15 2008-07-16 株式会社日立製作所 映像表示システム
US5987183A (en) * 1997-07-31 1999-11-16 Sony Corporation Image activity data compression and decompression method and apparatus
US6167062A (en) 1998-02-02 2000-12-26 Tellabs Operations, Inc. System and associated method for the synchronization and control of multiplexed payloads over a telecommunications network
US6501441B1 (en) 1998-06-18 2002-12-31 Sony Corporation Method of and apparatus for partitioning, scaling and displaying video and/or graphics across several display devices
US6557001B1 (en) * 1998-11-23 2003-04-29 Moonlight Cordless Ltd. Method for enhancing video compression through automatic data analysis and profile selection
US6324305B1 (en) 1998-12-22 2001-11-27 Xerox Corporation Method and apparatus for segmenting a composite image into mixed raster content planes
JP2000175052A (ja) 1998-12-07 2000-06-23 Xerox Corp ピクセルマップ表現の処理方法及び装置
US6624761B2 (en) 1998-12-11 2003-09-23 Realtime Data, Llc Content independent data compression method and system
JP2000350040A (ja) * 1999-06-07 2000-12-15 Minolta Co Ltd 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP2001169120A (ja) * 1999-12-03 2001-06-22 Canon Inc 画像処理装置及びその方法、及び画像処理システム
JP2001186356A (ja) * 1999-12-27 2001-07-06 Canon Inc 画像圧縮装置及び画像圧縮方法及びコンピュータ読み取り可能な記憶媒体
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
US6748520B1 (en) 2000-05-02 2004-06-08 3Com Corporation System and method for compressing and decompressing a binary code image
US6965457B2 (en) * 2000-09-21 2005-11-15 Matsushita Electric Industrial Co., Ltd. Image processing apparatus, method, and program for image attribute determination based on orthogonal data
US6754221B1 (en) 2001-02-15 2004-06-22 General Bandwidth Inc. System and method for selecting a compression algorithm according to an available bandwidth
US7110608B2 (en) * 2001-07-02 2006-09-19 Canon Kabushiki Kaisha Digital image compression
EP1435738A1 (en) * 2002-12-05 2004-07-07 Samsung Electronics Co., Ltd. Method and system for generating input file using meta language regarding graphic data compression
JP2004312584A (ja) * 2003-04-10 2004-11-04 Matsushita Electric Ind Co Ltd 画像処理方法および画像表示システム
CN1301596C (zh) * 2003-06-24 2007-02-21 致伸科技股份有限公司 数字图像数据的压缩与解压缩方法
US6816093B1 (en) * 2003-12-03 2004-11-09 International Business Machines Corporation Apparatus method and system for increased digital media recording throughput
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758182B2 (en) 2020-11-25 2023-09-12 International Business Machines Corporation Video encoding through non-saliency compression for live streaming of high definition videos in low-bandwidth transmission
US12126828B2 (en) 2023-07-30 2024-10-22 International Business Machines Corporation Video encoding through non-saliency compression for live streaming of high definition videos in low-bandwidth transmission

Also Published As

Publication number Publication date
US20060294125A1 (en) 2006-12-28
DE102006029326A1 (de) 2007-01-11
CN1984330B (zh) 2010-11-03
CN1984330A (zh) 2007-06-20
JP2007043673A (ja) 2007-02-15
US7548657B2 (en) 2009-06-16

Similar Documents

Publication Publication Date Title
JP5319875B2 (ja) アプリケーション・メタデータを用いるグラフィカル・ユーザ・インターフェースの適応ビデオ圧縮法
EP1335561B1 (en) Method for document viewing
JP4165668B2 (ja) 連続的で分離されていないデータ・ストリームを圧縮する方法および装置
US8131816B2 (en) Methods and apparatus for generating graphical and media displays at a client
US7616821B2 (en) Methods for transitioning compression levels in a streaming image system
EP1413987A2 (en) Accessing rendered graphics over a computer network
US20070022217A1 (en) Systems, methods, and media for managing an interactive streaming image system
US7558430B2 (en) Apparatus method and computer-readable medium for processing hierarchical encoded image data
US20140010289A1 (en) Video stream
KR20140034603A (ko) 멀티 세션 관리 방법 및 장치
Stegmaier et al. Widening the remote visualization bottleneck
US9332277B2 (en) Transform space difference compression
CN110740352B (zh) 显卡透传环境下基于spice协议的差异图像显示方法
CN101411164B (zh) 用于呈现远程可视合成的方法
US8671213B2 (en) Methods and apparatus for generating graphical and media displays at a client
CN107318021B (zh) 一种远程显示的数据处理方法及系统
Gilbert Text/graphics and image transmission over bandlimited lossy links
CN107318020B (zh) 远程显示的数据处理方法及系统
Barnett et al. Motion-compensated visual pattern image sequence coding for full-motion multisession videoconferencing on multimedia workstations
CN110868614B (zh) 显卡透传环境下基于spice协议的差异图像显示系统
US11882169B1 (en) Adaptive media streaming
KR20220014669A (ko) 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
Rosenbaum et al. Raster image adaptation for mobile devices using profiles
Christiansen Data compression for thin client computing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090619

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees