JP4268934B2 - 3次元グラフィックスの奥行きを有する画像のストリーミング - Google Patents
3次元グラフィックスの奥行きを有する画像のストリーミング Download PDFInfo
- Publication number
- JP4268934B2 JP4268934B2 JP2004508099A JP2004508099A JP4268934B2 JP 4268934 B2 JP4268934 B2 JP 4268934B2 JP 2004508099 A JP2004508099 A JP 2004508099A JP 2004508099 A JP2004508099 A JP 2004508099A JP 4268934 B2 JP4268934 B2 JP 4268934B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- image data
- depth information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
従来のクライアント−サーバアーキテクチャでは、リモートサーバが、オブジェクトの3次元(3D)モデルを記憶することができ、接続されたクライアントに3Dモデルのさまざまなビューを配信することができる。
配信された3Dモデルのビューは、クライアントにおいて3Dモデルの2次元画像をレンダリングするのに必要なデータを含むことができる。
クライアントは、その後、2D画像をレンダリングして表示し、ユーザの3Dモデルとの対話をサポートする。
このようなユーザの対話には、3Dモデルの回転および平行移動(translate)が含まれ得る。
その結果、例えば、3Dモデルの異なる2D画像が表示される。
複雑なモデルの場合、クライアントにおいて画像をレンダリングできるように、大量のデータが、モデルの幾何学的特性を記述するのに必要とされることがある。
ユーザがオブジェクトのビューを変更したい(例えば、オブジェクトを右に90度回転する)場合、サーバは、新たな画像としてレンダリングして表示するために、新たな1組のモデルデータをクライアントに送信しなければならない。
サーバとクライアントとの間の帯域幅の制限、および、場合によってはクライアントにおける処理の制限のため、新たな画像のレンダリングおよび表示は、かなり遅れる場合がある。
その結果、対話型グラフィックスセッションのユーザの知覚が悪影響を受ける。
この米国特許では、サーバ側装置が、オブジェクトの選択された個数のビューをレンダリングし、選択されたビューを表示のためにクライアントに送信する。
クライアントは、選択されたビューをオブジェクトの面にマッピングし、次いで、レンダリングされたオブジェクトである1つまたは複数の面を同時に表示する。
このシステムに関する1つの制限は、ユーザが、クライアントに送信されてオブジェクトにマッピングされた正確なビューのみを観察することに制限されるということである。
したがって、例えば、ユーザは、正6面体オブジェクトの6つの面を中心とした各面の視点で、その正6面体の6つの側面を観察することに制限されることがある。
ユーザは、その後、オブジェクトを回転または平行移動することができず、例えばビューを左または右に30度変更することができない。
この米国特許では、凸状のグラフィックスプリミティブが再投影された要素となるプリミティブ再投影技法が使用される。
先行フレームにおいて見えることが判明している要素が、その要素の変換および奥行き比較ラスタライズによって最初に決定される。
新たに見えるようになった要素を含む可能性のある画像の領域が、奥行き(z)バッファにおけるオクルージョン露出遷移(occlusion-exposure transition)によって、インクリメンタルビューボリューム動作(incremental view volume motion)から突き止められる。
これらの領域では、空間レイキャスティング(spatial ray casting)の奥行き優先データアクセス方法が、ラスタライズ用に新たに特定されるプリミティブを特定するのに使用される。
サーバ−クライアントシステムは、新たに見えるようになったプリミティブおよび新たに見えなくなったプリミティブを表すデータを表示のためクライアントに送信する可視性事象符号化(visibility event encoding)を使用する。
サーバまたは同様のマシンおよびクライアントマシンにおいて実行される装置、ならびに、対応する方法は、3次元オブジェクトの2次元画像をレンダリングして、このようにレンダリングした画像をクライアントマシンにストリーミングするメカニズムを含む。
このメカニズムは、複数のピクセルを有する、第1の視点からの第1の画像をクライアントマシンにおける表示用の第1の画像データとして生成し、当該複数のピクセルの1つまたは複数の第1の奥行き情報を生成するレンダリングモジュールと、第1の画像データおよび第1の奥行き情報を圧縮する圧縮モジュールとを含む。
ここで、第1の画像データおよび第1の奥行き情報はクライアントマシンに提供される。
レンダリングモジュールに接続されたユーザ入力が、第1の視点から第2の視点に視点を変更するようにレンダリングモジュールにコマンドを提供する。
ここで、レンダリングモジュールは、第2の画像を、第2の視点からの第2の画像データとして生成し、この第2の画像は、当該第2の画像を構成する1つまたは複数のピクセルの第2の奥行き情報を含む。
第2の画像データおよび第2の奥行き情報は、その後、クライアントマシンに提供される。
コンピュータ可読媒体には、例えば、磁気データ記憶デバイスおよび光データ記憶デバイスが含まれる。
図面において、同じ番号は同じ要素を参照する。
クライアント−サーバアーキテクチャにおける機能強化された画像レンダリングを提供し、かつ、サーバにおいてレンダリングされてクライアントにおいて表示するための画像データのストリーミングを可能にする方法およびメカニズムを本明細書で説明する。
図1は、3次元(3D)オブジェクトがクライアント30における表示のためにサーバ20においてモデル化される一般的な従来技術のアーキテクチャ10を示している。
サーバ20およびクライアント30は、デジタルデータネットワーク40を使用して通信することができる。
サーバ20は、レンダリングモジュール22および圧縮モジュール24を含むことができる。
クライアント30は、伸張モジュール32および表示モジュール34を含むことができる。
表示モジュール34は、例えばフラットパネル表示装置および陰極線管を含めて、多数の既知の表示デバイスのうちのいずれをも含むことができる。
ユーザは、ユーザ入力デバイス50を使用して、クライアント30およびサーバ20とインターフェースすることができる。
ユーザ入力デバイスは、キーボード、ポインティングデバイス、他の既知のユーザ入力デバイス等のメカニズムを含むことができる。
3Dモデルを観察したいユーザは、クライアント30を使用してサーバ20と通信する。
あるいは、ユーザは、クライアント30を迂回する代替的なパスを使用してサーバ20と通信することもできる。
ユーザは、クライアント30において表示したかった3Dオブジェクトの特定の「ビュー」を指示することができる。
サーバ20は、続いて、所望のビューを構築(レンダリング)し、通常はその所望のビューを表すデータを圧縮し、そして、このようにレンダリングされた2Dビューをクライアント30に送信する。
クライアント30は、データを伸張し、表示装置34に2Dビューを表示する。
サーバ20は、続いて、新たな2Dビューをレンダリングして、その新たなビューに対応するデータをクライアント30に送信する。
あいにく、新たな2Dビューのレンダリングおよびこの新たな2Dビューに対応するデータの受信に要する時間は、新たなビューを要求する時間と比較して相対的に長くなることがあり、ユーザには変化が実時間で生じているとは見えないような長いものとなることがある。
多くのアプリケーションでは、レンダリングされた画像を視点の変更のために更新する際の待ち時間によって、観察経験がかなり損なわれる可能性がある。
このアーキテクチャ100は、サーバ120を含み、サーバ120は、レンダリングモジュール122および圧縮モジュール124を有する。
また、奥行き部128を含むことができるバッファ126も示されている。
バッファ126の使用については後に詳述する。
サーバ120は、デジタルデータ伝送ネットワーク140を使用して、クライアント130等の1つまたは複数のクライアントに接続される。
ネットワーク140は、例えばインターネットを含めて、デジタルデータを伝送できる任意のネットワークとすることができる。
クライアント130は、伸張モジュール132、表示モジュール134、およびワープモジュール133を含む。
伸張モジュール132、表示モジュール134、およびワープモジュール133は、コンピュータ可読媒体135上のプログラミングとして提供することができる。
このようなコンピュータ可読媒体135は、磁気記憶装置または光記憶装置であってもよいし、他の任意のコンピュータ可読媒体であってもよい。
表示モジュール134は、表示装置136に動作可能に接続することができる。
表示装置136は、例えば、フラットパネル表示装置とすることができ、表示装置136上に、3Dモデルの2次元表現が表示される。
伸張モジュール132は、サーバ120から送信されたデジタルファイルを伸張する。
ワープモジュール133の使用については後に詳述する。
ユーザは、ユーザ入力デバイス150を使用して、クライアント130およびサーバ120と通信することができる。
ユーザ入力デバイス150は、クライアント130と直接通信するメカニズムを含むことができ、このメカニズムには、例えば、キーボード、マウス等のポインティングデバイス、および発話認識ソフトウェアが含まれる。
サーバ120と通信する際に、ユーザ入力デバイス150は、クライアント130を使用することもできるし、図示するようなネットワーク140を使用して、サーバ120と直接通信することもできる。
続いて、このようにレンダリングされた2D画像を表すデータは、圧縮モジュール124で標準的な圧縮技法を使用して2D画像ファイルとして圧縮することができる。
この圧縮は、当該2D画像データファイルをクライアント130に送信する前に行うことができる。
伸張モジュール132は、最初の2D画像データファイルを受信すると、そのデータを伸張することができる。
このように伸張された2D画像データは、表示モジュール134に提供され、表示モジュール134は、2D表示を生成して、表示装置136上に提示する。
ピクセル奥行き情報は、バッファ126の奥行き部128に記憶することができる。
最も近時に生成された2Dビューのピクセル奥行き情報のみを記憶するように奥行き部128を制御することができる。
後続のビューが生成されるに伴い、奥行き部128のピクセル奥行き情報を更新することができる。
例えば、レンダリングモジュール122は、第1の視点を使用すると、3Dモデルの一部またはすべてのピクセルのピクセル位置、色、および他のピクセルの特徴を指定して2D画像を生成することができる。
このようなデータによって、クライアント130の表示モジュール134は、2D画像が表示装置136上で第1の視点から見えるように2D画像を再現(recreate)することが可能になる。
一方、レンダリングモジュール122は、生成された2D画像を提供できる付加ピクセル情報も決定する。
例えば、レンダリングモジュール122は、生成された2D画像のあらゆるピクセルの奥行き情報を生成することができる。
ワープモジュール133は、ピクセル奥行き情報を含む画像データを記憶する手段を含む。
このような手段は、クライアント130のメモリ161の一部として具体化することができる。
ワープモジュール133は、さらに、第1の視点のピクセルと第2の視点のピクセルとの間の変換を決定する変換器163も含むことができる。
この変換は、次に、位置訂正モジュール165に提供することができる。
位置訂正モジュール165は、この変換を最初の2D画像の1つまたは複数のピクセルに適用して、このように訂正されたピクセルを中間の2D画像内で突き止める。
また、ワープモジュール133には、誤差訂正モジュール167を含めることもできる。
誤差訂正モジュール167は、中間の2D画像が生成された時にさまざまな画像訂正ルーチンを実行する。
誤差訂正モジュール167は、包含サブモジュール169を含むことができる。
包含サブモジュール169は、最初の2D画像では見えなかったが、中間の2D画像では見えるようになった画像エリアの中間画像ピクセルデータを提供する。
少なくとも2つのルーチンが、包含サブモジュール169によって実行可能である。
レイヤ化ルーチン171は、レンダリングモジュール122によって提供された付加ピクセル情報に依拠する。
付加ピクセル情報は、第1の視点から提供された視野のため、最初の2D画像では見えなかった3Dモデルのピクセルに関係するものである。
例えば、レンダリングモジュール122は、特定の個数のピクセルのピクセル奥行き情報、ピクセル色、および他のピクセル情報を提供することができる。
この特定の個数のピクセルは、3Dオブジェクトが左または右に30度回転して見えるように、第1の視点が平行移動されると見えることになるピクセルである。
別法では、平均化ルーチン173が、中間の2D画像で見えるようになるエリアのピクセルに使用するために、最初の2D画像では見えないエリアに隣接するピクセルのピクセル情報を使用することができる。
例えば、平均化ルーチン173は、新たに見えるようになったエリアに隣接する特定の個数のピクセルのピクセル奥行き情報および色情報を使用でき、ピクセル奥行きおよび色情報を、新たに見えるようになったエリアに存在するピクセルに適用することができる。
ピクセル影響サブモジュール175は、視点が変化すると、中間の2D画像のピクセルの訂正を行う。
例えば、3Dオブジェクトが右に30度回転して見えるように視点が変化すると、最初の2D画像に存在し、かつ、中間の2D画像にも引き続き存在する一定のピクセルは、反射光の変化による影響を受けることがある。
このピクセルの影響および他のピクセルの影響は、ピクセル影響サブモジュール175が実行するさまざまなルーチンが考慮することができる。
図3Aは、3Dオブジェクト200(立方体)および220(球)の平面図である。
図3Bは、立方体200および球220の正面斜視図である。
立方体200は、中心211および角(頂点)212〜215(図3A)ならびに面216および217(図3B)を含む。
球220は、中心231および円周232(図3A)を含む。
PV1からは、視線201および202がPV1から生じて角212および213で終端し、図示するような正三角形を形成する状態で、立方体200のみが見える。
したがって、立方体200は、2D画像として表示装置136上にレンダリングされると、PV1から見えるように正方形(面216、図3B)として見えることになる。
立方体200の面216を表す2D画像を生成するために、レンダリングモジュール122は、面216を構成する一部またはすべてのピクセルのピクセル情報を含んだデジタルファイルを生成する。
このようなピクセル情報は、面216のピクセルの位置、ピクセル色、輝度、および2D画像をレンダリングするのに必要な他のピクセル情報を含むことができる。
レンダリングモジュール122は、奥行き情報、または、PV1以外の視点からの2D画像の再生を円滑にするためにクライアントにおいて使用できる他の情報を生成することもできる。
例えば、レンダリングモジュール122は、PV1からの各ピクセルの距離および角変位に関係したデジタルデータ(例えば、変換ベクトル)を提供することができる。
このように生成された奥行き情報は、バッファ126の奥行き部128に記憶される。
また、奥行き情報は、2D画像を構成する他のデジタルデータと共にクライアント130にも提供することができる。
PV2からは、立方体200および球220の双方が、少なくとも部分的に見える。
一方、立方体200は、PV1から見えるものとは異なる視野で見えることになる。
この相違は、部分的には、視点がPV1からPV2へシフトすることに伴う立方体200の見掛けの回転によるものである。
また、この相違は、部分的には、球220が存在することによるものである場合もある。
例えば、球220が存在しない場合には起こらないような形で、球220によって、光が立方体200に反射する場合がある。
さらに、PV1から見えるような2D画像の一定の特徴も、視点がシフトするに伴い変化する場合がある。
例えば、立方体200の表面が光沢を有する場合に、PV1からPV2への視点のシフトによって、視点の変化に伴い変化するように、光が立方体200の表面に反射する場合がある。
表示モジュール134は、続いて、立方体200および球220の新たな2D画像を生成する。
また、レンダリングモジュール122は、奥行き情報(例えば、PV2からの距離および角変位)等の付加情報も送信することができる。
しかしながら、オブジェクト(立方体200および球220)の2D画像が、PV2から生成されたデジタルデータのみに基づいてレンダリングされた場合には、帯域幅の制限および他の要因のため、顕著な遅れがクライアント130で観測される場合がある。
クライアント130における画像生成を向上させるために、クライアント130で受信され、かつ、最初の2D画像(すなわち、PV1から見えるような2D画像)に対応するデジタルデータファイルは、PV1からPV2への視点の位置の変化を考慮して調整することができる。
すなわち、面216の各ピクセルについて、2D画像を調整して、PV1からPV2へのピクセルの距離および各変位の相違を考慮することができる。
表示された2D画像のこの変化は、ワープモジュール133によって対応することができる。
すなわち、ワープモジュール133は、上述した調整を2D画像に対して行い、次いで、表示モジュール134は、調整された画像を表示装置136に「中間」の2D画像として表示する。
しかしながら、PV1からPV2への視点の移動は、中間の2D画像に誤差を生成する場合がある。
例えば、中間の2D画像は、球220のどの部分も含まない場合があり、球220の存在が立方体200に与え得るどの影響も含まない場合がある。
中間の2D画像の生成に続いて、クライアント130は、PV2から見えるような2D画像データをサーバ120から受信し、この2D画像データファイルを伸張し、中間の2D画像に対応する2D画像データを上書きして、PV2から見えるような2D画像の最終版を生成することができる。
レンダリングモジュール122が実行する3Dレンダリングプロセスのこの出力(すなわち、奥行き情報)は、クライアント130に保存されて、ワープモジュール133に入力することができる。
ワープモジュール133では、この奥行き情報がワープアルゴリズムに使用され、2D中間画像が生成される。
ワープアルゴリズムは、2D中間画像を生成するために、第1の視点(例えば、PV1)と次の視点(例えば、PV2)との間の相対的な変位を簡単に比較できるものである。
また、上述したように、ワープアルゴリズムの使用によって、2D中間画像に誤差が発生する場合がある。
このような誤差を克服するために、レンダリングモジュールが3Dモデルからデジタルデータを収集する形式に改良を行うことができ、ワープアルゴリズムがこのデジタルデータを適用して2D中間画像を生成するという点で改良を行うことができる。
例えば、レンダリングモジュール122は、ピクセル位置および色情報に加えて、例えば、3Dオブジェクトの特定の点が光の変化にどのように反応するか等、その特定の点における3Dオブジェクトの材料特性に関係した付加情報も生成することができる。
2D中間画像に対する別の訂正因子は、特定の視点からは通常見えないオブジェクトまたはオブジェクトの一部からのデータを使用することができる。
図3Aに示す例を使用すると、レンダリングモジュール122は、PV1から通常見えない球220の一部に対応する情報レイヤを生成することができる。
続いて、ユーザが別の視点を指定した場合に、ワープモジュール133は、このレイヤ化されたピクセル情報を使用して、2D中間画像を生成することができる。
特に、レンダリングモジュール122は、第1の視点に基づいて最初の2D画像を生成でき、次いで、ワープアルゴリズムにおけるレンダリングに依拠して、1人または複数の追加ユーザの視点に適合するように2D画像を調整することができる。
同様に、2D画像のピクセルに関係した奥行き情報は、圧縮してクライアント130に送信することができる。
この奥行き情報は、画像データと同じデータファイルに結合することもできるし、別個のファイルに設けることもできる。
図4は、このようなシナリオを示しており、このシナリオでは、PV3のユーザが、レンダリングモジュール122によって生成されたデジタル画像を表す無限の円柱300によって取り囲まれたように見える。
すなわち、レンダリングモジュール122は、平面(2D)画像を生成する代わりに、円柱300の形で画像を生成する。
PV3のユーザは、続いて、基準点301から半径方向変位φを指定することによって円柱300の部分302を観察することができる。
円柱300と同様に、レンダリングモジュール122は、ユーザを取り囲む球画像を生成することもできる。
予想できるように、円柱画像または球画像のいずれも、平面画像に関連したデータファイルよりもはるかに大きなデータファイルを構成する場合がある。
しかしながら、円柱画像または球画像を使用することによって、ユーザは、ワープモジュール133による追加計算の必要なく、視点を変更することが可能になる。
円柱画像または球画像に奥行き情報を追加することによって、ユーザは、続いて、単に視点を回転することに加えて、視点を平行移動することもできる。
すなわち、PV3の回転だけではなく、ユーザは、PV3から距離Xだけ平行移動された新たな視点PV4を指定することができる。
ワープモジュール133は、円柱300(または球)に関係した奥行き情報を使用して、表示用の新たな画像をレンダリングする。
円柱300(または球)は完成した画像であるので、クライアント130は、サーバ120から更新された画像データを受信する必要がなく、ワープモジュール133が生成した画像が最終画像となる。
その代わり、共通の特徴を有するピクセルを一緒にグループ化することができ、そのグループに関係したデータのみを生成する必要がある。
例えば、同じ奥行きを有するピクセルをグループ化することができ、そのグループについて単一の奥行き値を記憶することができる。
このようなグループ化プロセスによって、サーバ120からクライアント130に送信されるデータ量を削減することができる。
例えば、ピクセルグループ240は、立方体200(図3A)の面216の可動部を表すことができる。
移動の既知の方向および距離が既知であるか、または、正確に予測できると仮定すると、ピクセルグループ240の相対的な動きを示す移動ベクトル241をピクセルグループ240に関連付けることができる。
ピクセルグループ240は、ユーザがPV1に留まる場合、および/または、ユーザがPV2に視点をシフトする場合に移動するように示すことができる。
ピクセルグループ240の移動は、ワープモジュール133が生成した中間の2D画像の一部として表すことができる。
最終的な2D画像がレンダリングモジュール122によってレンダリングされると、ピクセルグループ240の実際の最終位置242を正確に表すことができる。
図5Aでは、オペレーション400がブロック405で開始する。
ブロック410において、クライアント130が、サーバ130がレンダリングしたベース画像を表示する。
ブロック415において、ユーザインターフェース150が、第1の視点選択をサーバ120およびワープモジュール133に送信する。
ブロック420において、クライアント130が、ピクセル奥行き情報を含めて、ピクセル情報を含んだサーバ120からの圧縮されたデジタル情報ファイルを受信する。
ブロック425において、伸張モジュール132が画像ファイルを伸張し、表示モジュール134が最初の2D画像を表示する。
ブロック430において、ユーザインターフェースが第2の視点選択をサーバ120およびワープモジュール133に提供する。
ブロック435において、ワープモジュールは、ワープアルゴリズムを適用し、最初の2D画像およびピクセル奥行き情報に基づいて中間の2D画像を生成する。
また、ワープモジュール133は、さまざまな訂正ルーチンを実行して、中間の2D画像の精度を高めることもできる。
ブロック440において、クライアント130は、サーバ120から2番目の2D画像を受信し、ブロック445において、伸張モジュール132が2番目の2D画像ファイルを伸張し、ワープモジュール133が、受信した2番目の2D画像を中間の2D画像に上書きし、表示モジュール134が2番目の2D画像を表示する。
ブロック510において、サーバ120は、ベース画像をクライアント130に提供する。
ブロック515において、サーバ120は、第1の視点選択をユーザインターフェース150から受信する。
ブロック520において、レンダリングモジュール122は、2D画像をレンダリングして、ピクセル奥行き情報を生成する。
このように生成されたデータは、バッファ126に記憶される。
ブロック525において、圧縮モジュール124は、画像データおよび奥行き情報を圧縮して、圧縮した画像ファイルをクライアント130に送信する。
ブロック530において、サーバ120は第2の視点選択を受信する。
オペレーション500は、その後、ブロック520に戻る。
130・・・クライアント,
122・・・レンダリング,
124・・・圧縮,
132・・・伸張,
134,136・・・表示,
150・・・ユーザ入力,
126・・・バッファ,
128・・・奥行き,
133・・・ワープ,
140・・・視点,
Claims (10)
- 3次元グラフィックスと共に使用されて、奥行きを有する画像をストリーミングする装置(100)であって、
複数のピクセルを有する、第1の視点からの第1の画像を、クライアントマシン(130)における表示用の第1の画像データとして生成し、前記複数のピクセルの1つまたは複数の第1の奥行き情報を生成するレンダリングモジュール(122)と、
前記第1の画像データおよび前記第1の奥行き情報を圧縮する圧縮モジュール(124)であって、前記第1の画像データおよび前記第1の奥行き情報が前記クライアントマシンに提供される、圧縮モジュール(124)と、
前記レンダリングモジュール(122)に接続されたユーザ入力(150)であって、前記レンダリングモジュールが前記第1の視点から第2の視点へ視点を変更する入力を受け取り、前記レンダリングモジュールが第2の画像を、前記第2の視点からの第2の画像データとして生成し、該第2の画像が該第2の画像を構成する1つまたは複数のピクセルの第2の奥行き情報を含み、前記第2の画像データおよび前記第2の奥行き情報が前記クライアントマシン(130)に提供されるユーザ入力(150)と、
前記第2の画像が提供されたときに置き換えられる少なくとも1つの中間画像を、前記第1の画像データと前記第1の奥行き情報と前記第2の視点に基づいて生成するワープモジュール(133)と
を備える装置。 - 前記クライアントマシン(130)は、
画像データおよび奥行き情報を受信して伸張する伸張モジュール(132)と、
該装置から受信した画像データに基づいて表示可能な画像を生成する表示モジュール(134)と、
前記画像データ、前記奥行き情報、および前記第1の視点のピクセルから前記第2の視点のピクセルへの変換を使用して新たな画像を近似する前記中間画像を生成するワープモジュール(133)と
を備える請求項1に記載の装置。 - 前記ユーザ入力は、前記ワープモジュール(133)に、視点情報を提供する
請求項2に記載の装置。 - 前記第1の画像および前記第2の画像は、平面画像である
請求項1に記載の装置。 - 前記第1の画像および前記第2の画像は、円柱、球、および立方体の1つを含む3次元画像の部分である
請求項1に記載の装置。 - 前記複数のピクセルは、複数のピクセルグループに配列され、ピクセルグループ内のピクセルのそれぞれは共通の特徴を有し、
前記共通の特徴は、
奥行き情報
を含む
請求項1に記載の装置。 - オブジェクトの3次元表現の第1の視点からの画像データに基づいて、表示用の画像を生成する装置(100)であって、
前記3次元表現を構成する1つまたは複数のピクセルに関係した奥行き情報を含む圧縮された画像データを受信し、該圧縮された画像データを伸張する伸張モジュール(132)と、
前記生成した画像を表示し、第1の画像が表示される、表示モジュール(134)と、
第2の視点からの第2の画像が提供されたときに置き換えられる表示用の中間画像を、前記奥行き情報を含む前記画像データおよび前記第2の視点に基づいて生成するワープモジュール(133)であって、
前記第1の視点のピクセルから前記第2の視点のピクセルへの変換(transformation)を導出する視点変換器(translator)(163)と、
前記1つまたは複数のピクセルのうちの1つまたは複数に前記変換を適用して、前記中間画像の生成に使用される中間ピクセルデータを生成する位置訂正モジュール(165)と
を備えるワープモジュール(133)と、
を備える装置。 - 3次元グラフィック用の画像をストリーミングする方法であって、
クライアント(130)に、前記グラフィックの第1の視点を表す圧縮された第1の画像データと第1の奥行き情報を提供する(510)ことであって、該第1の画像データが第1のピクセルデータを含むことと、
前記クライアントから第2の視点の要求を受信する(515)ことと、
前記第2の視点に関係した第2の画像データを生成する(520)ことであって、該第2の画像データが前記クライアントにおいて表示される中間画像を訂正し、該中間画像が前記第1の画像データと前記第1の奥行き情報と前記第2の視点に基づくものであることと、
前記中間画像と置き換えるために、前記クライアントに前記第2の画像データを提供することと
を含む方法。 - 前記第1の画像データを提供することは、
第1のピクセル奥行き情報を提供すること
を含み
前記第2の画像データを提供することは、
第2のピクセルデータを提供することと、
第2のピクセル奥行き情報を提供することと
を含む
請求項8に記載の方法。 - 3次元グラフィック用の奥行き情報を有する画像をストリーミングする方法であって、
前記3次元グラフィックの第1の表現を構成する1つまたは複数のピクセルに関係した奥行き情報を含む画像データを受信する(410)ことであって、前記第1の表現が前記3次元グラフィックの第1の視点に関係する、画像データを受信する(410)ことと、
前記第1の表現を表示することと、
第2の視点からの第2の画像が提供されたときに置き換えられる中間画像を、奥行き情報を含む前記画像データと前記3次元表現の前記第2の視点とに基づいて生成する(435)ことであって、
前記第1の表現を構成する前記1つまたは複数のピクセルから前記第2の視点を構成するピクセルへの変換を導出することと、
前記第1の表現を構成する前記1つまたは複数のピクセルに前記変換を適用することであって、それによって、前記中間画像を生成する、前記変換を適用すること、
前記中間画像を表示する(435)ことと、
を含む中間画像を生成すること、
を含む方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/152,901 US6956566B2 (en) | 2002-05-23 | 2002-05-23 | Streaming of images with depth for three-dimensional graphics |
PCT/US2003/015516 WO2003100727A2 (en) | 2002-05-23 | 2003-05-16 | Streaming of images with depth for three-dimensional graphics |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005527052A JP2005527052A (ja) | 2005-09-08 |
JP4268934B2 true JP4268934B2 (ja) | 2009-05-27 |
Family
ID=29548556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004508099A Expired - Fee Related JP4268934B2 (ja) | 2002-05-23 | 2003-05-16 | 3次元グラフィックスの奥行きを有する画像のストリーミング |
Country Status (5)
Country | Link |
---|---|
US (1) | US6956566B2 (ja) |
EP (1) | EP1506529B1 (ja) |
JP (1) | JP4268934B2 (ja) |
AU (1) | AU2003229306A1 (ja) |
WO (1) | WO2003100727A2 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040080533A1 (en) * | 2002-10-23 | 2004-04-29 | Sun Microsystems, Inc. | Accessing rendered graphics over the internet |
GB0622451D0 (en) * | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
US8059124B2 (en) * | 2006-11-28 | 2011-11-15 | Adobe Systems Incorporated | Temporary non-tiled rendering of 3D objects |
US8300050B2 (en) | 2006-11-28 | 2012-10-30 | Adobe Systems Incorporated | Temporary low resolution rendering of 3D objects |
CA2680724C (en) | 2007-03-16 | 2016-01-26 | Thomson Licensing | System and method for combining text with three-dimensional content |
DE102007048857A1 (de) * | 2007-10-11 | 2009-04-16 | Robert Bosch Gmbh | Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssystem zur Durchführung des Verfahrens sowie Computerprogramm |
KR100918862B1 (ko) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
JP5697989B2 (ja) | 2007-12-26 | 2015-04-08 | コーニンクレッカ フィリップス エヌ ヴェ | グラフィックスオブジェクトを重ね合わせるための画像プロセッサ |
US20100134494A1 (en) * | 2008-12-02 | 2010-06-03 | Electronics And Telecommunications Research Institute | Remote shading-based 3d streaming apparatus and method |
US9445072B2 (en) | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
US10095953B2 (en) | 2009-11-11 | 2018-10-09 | Disney Enterprises, Inc. | Depth modification for display applications |
US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
EP2616954B1 (en) * | 2010-09-18 | 2021-03-31 | Google LLC | A method and mechanism for rendering graphics remotely |
US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US9348141B2 (en) | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
KR101401380B1 (ko) * | 2010-11-04 | 2014-05-30 | 한국전자통신연구원 | 원격 렌더링 기반의 3d 응용프로그램 실행 장치 및 그 방법 |
JP2012128737A (ja) * | 2010-12-16 | 2012-07-05 | Samsung Yokohama Research Institute Co Ltd | 3d映像生成システム |
US8643703B1 (en) | 2011-03-30 | 2014-02-04 | Amazon Technologies, Inc. | Viewer tracking image display |
US9449427B1 (en) | 2011-05-13 | 2016-09-20 | Amazon Technologies, Inc. | Intensity modeling for rendering realistic images |
US9041734B2 (en) | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
US9351028B2 (en) * | 2011-07-14 | 2016-05-24 | Qualcomm Incorporated | Wireless 3D streaming server |
WO2013019517A1 (en) | 2011-08-02 | 2013-02-07 | Ciinow, Inc. | A method and mechanism for efficiently delivering visual data across a network |
US9852135B1 (en) | 2011-11-29 | 2017-12-26 | Amazon Technologies, Inc. | Context-aware caching |
CA2872130C (en) * | 2013-03-05 | 2020-01-14 | Square Enix Holdings Co., Ltd. | Information processing apparatus, rendering apparatus, method and program |
US9571812B2 (en) | 2013-04-12 | 2017-02-14 | Disney Enterprises, Inc. | Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding |
US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
US10055013B2 (en) | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
CN103942824B (zh) * | 2014-05-15 | 2017-01-11 | 厦门大学 | 一种三维点云直线特征提取方法 |
US9857869B1 (en) | 2014-06-17 | 2018-01-02 | Amazon Technologies, Inc. | Data optimization |
US20160094866A1 (en) * | 2014-09-29 | 2016-03-31 | Amazon Technologies, Inc. | User interaction analysis module |
CN104715496B (zh) * | 2015-03-23 | 2017-11-07 | 中国科学技术大学 | 云环境下基于三维点云模型的图像预测方法、系统及装置 |
US10416836B2 (en) * | 2016-07-11 | 2019-09-17 | The Boeing Company | Viewpoint navigation control for three-dimensional visualization using two-dimensional layouts |
US10650488B2 (en) | 2016-08-11 | 2020-05-12 | Teknologian Tutkimuskeskus Vtt Oy | Apparatus, method, and computer program code for producing composite image |
CN106560862A (zh) * | 2016-12-15 | 2017-04-12 | 天津冠睿霖科技发展有限公司 | 一种基于地理信息图像和小波的压缩方法 |
WO2024047652A1 (en) * | 2022-08-31 | 2024-03-07 | Mersivx Ltd | System and method of three-dimensional model interaction on low end devices with photorealistic visualization |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6111582A (en) | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
US6222551B1 (en) | 1999-01-13 | 2001-04-24 | International Business Machines Corporation | Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement |
US6628282B1 (en) * | 1999-10-22 | 2003-09-30 | New York University | Stateless remote environment navigation |
-
2002
- 2002-05-23 US US10/152,901 patent/US6956566B2/en not_active Expired - Lifetime
-
2003
- 2003-05-16 WO PCT/US2003/015516 patent/WO2003100727A2/en active Application Filing
- 2003-05-16 EP EP03726893.5A patent/EP1506529B1/en not_active Expired - Fee Related
- 2003-05-16 JP JP2004508099A patent/JP4268934B2/ja not_active Expired - Fee Related
- 2003-05-16 AU AU2003229306A patent/AU2003229306A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20030218615A1 (en) | 2003-11-27 |
JP2005527052A (ja) | 2005-09-08 |
US6956566B2 (en) | 2005-10-18 |
WO2003100727A2 (en) | 2003-12-04 |
EP1506529A2 (en) | 2005-02-16 |
WO2003100727A3 (en) | 2004-04-29 |
AU2003229306A1 (en) | 2003-12-12 |
EP1506529B1 (en) | 2019-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4268934B2 (ja) | 3次元グラフィックスの奥行きを有する画像のストリーミング | |
US10839591B2 (en) | Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering | |
US6222551B1 (en) | Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement | |
EP3953796B1 (en) | Hybrid rendering | |
US6031540A (en) | Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery | |
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
EP3643059B1 (en) | Processing of 3d image information based on texture maps and meshes | |
US6330281B1 (en) | Model-based view extrapolation for interactive virtual reality systems | |
US10237531B2 (en) | Discontinuity-aware reprojection | |
CN106973569A (zh) | 生成和回放虚拟现实多媒体的方法、系统和装置 | |
Lin et al. | Deep multi depth panoramas for view synthesis | |
JP2017532847A (ja) | 立体録画及び再生 | |
US5694531A (en) | Method and apparatus for simulating movement in multidimensional space with polygonal projections | |
JP2021520101A (ja) | ボリュメトリックビデオフォーマット用の方法、装置及びストリーム | |
JP6845490B2 (ja) | 自由動作fvvアプリケーションのためのマルチレイヤuvマップに基づくテクスチャレンダリング | |
Bonatto et al. | Real-time depth video-based rendering for 6-DoF HMD navigation and light field displays | |
JP6553184B2 (ja) | デジタルビデオのレンダリング | |
US6894690B2 (en) | Method and apparatus for capturing and viewing a sequence of 3-D images | |
US10818076B2 (en) | Immersive environment from video | |
CN114998559A (zh) | 混合现实双目立体视觉图像实时远程渲染方法 | |
US9401044B1 (en) | Method for conformal visualization | |
US20120147008A1 (en) | Non-uniformly sampled 3d information representation method | |
Smit et al. | A programmable display layer for virtual reality system architectures | |
US20230106679A1 (en) | Image Processing Systems and Methods | |
JP2001285074A (ja) | 画像合成方法および画像合成プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080612 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081111 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4268934 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |