JP7430411B2 - 3dオブジェクトのストリーミング方法、装置、及びプログラム - Google Patents
3dオブジェクトのストリーミング方法、装置、及びプログラム Download PDFInfo
- Publication number
- JP7430411B2 JP7430411B2 JP2022037172A JP2022037172A JP7430411B2 JP 7430411 B2 JP7430411 B2 JP 7430411B2 JP 2022037172 A JP2022037172 A JP 2022037172A JP 2022037172 A JP2022037172 A JP 2022037172A JP 7430411 B2 JP7430411 B2 JP 7430411B2
- Authority
- JP
- Japan
- Prior art keywords
- client
- information
- server
- data
- geometry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 239000004984 smart glass Substances 0.000 claims description 13
- 239000010454 slate Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 24
- 230000005540 biological transmission Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 239000000284 extract Substances 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/08—Bandwidth reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Information Transfer Between Computers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
図1は、本開示によるサーバ及びクライアントの機能ブロック図である。3Dストリーミングサーバ100は、3次元(3D)ストリーミングサーバ内の機能構成を含み、3Dストリーミングクライアント150は、3Dストリーミングクライアント内の機能構成を含む。ネットワーク120は、サーバ100とクライアント150との間にある有線又は無線のネットワークを表す。
図1の上半分は、3Dストリーミングサーバ100での処理を説明する機能ブロック図である。ネットワークパケット受信ユニット108は、有線又は無線のネットワーク120を介して、クライアント150から命令及び/又はデータを含むパケットを受信する。ネットワークパケット受信ユニット108は、クライアントから受信した命令及び/又はデータをパケットから抽出し、クライアントからの命令及び/又はデータを処理する受信データ処理ユニット101に抽出したデータを送信する。抽出されたクライアントから命令及び/又はデータを受信した受信データ処理ユニット101は、受信したデータから必要な命令及び/又はデータをさらに抽出し、それらを3Dシーンデータ生成ユニット102に送る。次に、3Dシーンデータ生成ユニット102は、クライアント150から送られてきた要求にしたがって、サーバが有するそのクライアントからの要求に対応する3Dシーン(又は3Dオブジェクト)のデータを加工・修正などする。次に、3Dシーンデータ生成ユニット102から命令及び/又はデータを受け取った抽出ユニット103は、クライアントからの命令に従って更新した3Dシーンデータから必要なデータを抽出し、それらを3Dストリーム変換/符号化ユニット104へ送る。3Dストリーム変換/符号化ユニット104は、抽出ユニット103から受け取ったデータを3Dストリームに変換し、符号化することによって3Dストリーム105を生成する。3Dストリーム105は、次にネットワークパケット構成ユニット106に送られ、ネットワークパケット構成ユニット106によってネットワークパケットが生成される。ネットワークパケットは、ネットワークパケット伝送ユニット107へ送信される。ネットワークパケット伝送ユニット107は、受信したネットワークパケットを有線又は無線ネットワーク120を介して、1つ以上のクライアント150へ送信する。
図1の下半分は、3Dストリーミングクライアント150での処理を説明する機能ブロック図である。有線又は無線ネットワーク120を介してサーバ100からパケットを受信したネットワークパケット受信ユニット152は、パケットから符号化された3Dストリームを抽出し、それを3Dストリーム復号ユニット154へ送る。符号化3Dストリームを受信した3Dストリーム復号ユニット154は、3Dストリームを復号し、復号された3Dストリームを3Dシーン再構成ユニット155へ送る。復号された3Dストリームを受信した3Dシーン再構成ユニット155は、サーバ100から受信して復号された3Dストリームから3Dシーン(又は3Dオブジェクト)を再構成し、再構成された3Dシーンを表示ユニット156へ送る。表示ユニット156は、再構成された3Dシーンを表示し、ユーザに提示する。
本開示による3Dストリームのフォーマットの特徴としては、主に以下のものがある。クライアント側で表示される3D画像の品質を落とさずに、限られたネットワークの帯域幅を使用して、これらを実現しているところに本開示の意義がある。
サーバ側で3Dストリームを生成する際に、UE4又はUnityなどの利用可能なエンジンを使用する。ここで、UEとは、Epic Games社によって開発されているゲームエンジン、アンリアル・エンジン(Unreal Engine)のことであり、2020年5月にはUE5がアナウンスされている。
従って、従来の方法に比べて、サーバからクライアントへ転送されるデータ量が少ない。これを実現するために、本開示では、コンテナストリームを使用する。
対象とする装置は、例えば、Unity(Android、Windows、iOS)、WebGL、UE4又は5(Android、iOS、Windows)が利用できる装置である。
すなわち、従来の方法と比べて、クライアント側での処理の負荷が小さい。これは、本開示のコンテナストリームの使用による。
すなわち、ストリーミングがインタラクティブである。これは、コマンドがクライアントとサーバ相互間で送受信可能であることによる。
図6は、本開示による、ジオメトリデータの符号化及び復号のプロセスを示す図である。図6において、201~205の処理は、サーバによって行われ、207~211の処理は、クライアントによって行われる。
ここでオブジェクトを有するシーンがあると仮定する。各オブジェクトは、1つ以上のデプスカメラで撮影されている。ここで、デプスカメラとは、奥行き情報を取得する深度(デプス)センサを内蔵したカメラのことを言う。デプスカメラを使用すると、通常のカメラが取得する2次元(2D)の画像に、奥行き情報を追加して、3Dの立体的な情報を取得することができる。ここでは、シーンの完全なジオメトリデータを取得するために、例えば6台のデプスカメラが使用される。撮影時のカメラの構成については、後述する。
クライアントは、サーバから送信された圧縮されたデータ、すなわちジオメトリデータを含むコンテナストリームを、ネットワーク120を介してサーバから受信する(207)。クライアントは、受信された圧縮されたデータを解凍し、頂点のアレイを抽出する(208)。
図7は、本開示による、カラー情報/テクスチャ情報の符号化及び復号のプロセスを示す図である。図7において、301~303の処理は、サーバによって行われ、305~308の処理は、クライアントによって行われる。
オブジェクトを有するシーンがあると仮定する。カメラからのビューを使用して、サーバは、シーンのカラーデータ、アルファデータ、及びデプスデータを抽出する(301)。ここで、アルファデータ(又はアルファ値)は、カラー情報とは別に、画素(ピクセル)ごとに設けられた付加情報を示す数値である。アルファデータは、特に透明度として利用されることが多い。また、アルファデータの集合は、アルファチャネルとも呼ばれる。
クライアントは、ネットワーク120を経由して圧縮されたカメラデータ・ストリームを含むコンテナストリームを受信する(305)。クライアントは、フレームのセットを準備するのと同様に、受信したカメラデータを解凍する(306)。次に、クライアントは、解凍したカメラデータからビデオストリームのカラーデータ、アルファデータ、及びデプスデータをそれぞれ処理する(306-1、306-2、306-3)。ここで、これらの生の特徴量データは、再構成された3Dシーンに適用するために準備され、キューに入れられる。カラーデータは、テクスチャを有する再構成された3Dシーンのメッシュをラップ(wrap:包む)するために使用される。
対象となるクラウド内のすべての三角形に対して、色の値を頂点に保存する。しかしながら、頂点の密度が低い場合、解像度の低いテクスチャリングとなり、ユーザ・エクスペリエンスが低下する。逆に、頂点の密度が高い場合、画面上のすべてのピクセルに色を送るのと同じことになり、サーバからクライアントへ転送するデータ量が増える。一方、これは追加/基本カラーリングのステップとして使用することができる。
正しいテクスチャをUVマッピングで設定するには、三角形の群のテクスチャを生成する必要がある。その後、現在のメッシュのUVマップを生成し、ストリームに追加する必要がある。モデルのオリジナルテクスチャは、シーンの雷などの情報が含まれておらず、高品質で詳細な3Dモデルのためには、大量のテクスチャが必要になるため、実質的に使用できない。この方法が採用されないもう一つの理由は、サーバ上でレンダリングされた3Dモデルで作成されたUVでオリジナルテクスチャが動作することである。一般的には、三角形の群を使い、異なるビューからカラーリングテクスチャを投影し、受信したUVテクスチャを保存して送信する。さらに、UVテクスチャと同じ頻度でメッシュのジオメトリやトポロジーを更新する必要があるため、サーバとクライアント間で送受信するデータ量が増える。
ストリームの特定の位置からのカラー/テクスチャが、その位置に関するメタ情報とともにサーバからクライアントに送信される。クライアントは、このテクスチャを指定された位置からメッシュに投影する。この場合、UVマップは不要である。この方法では、ストリーミングされた側(すなわち、クライアント側)にはUV生成がロードされない。このデカールによるアプローチは、データフローの最適化の余地を提供できる(例えば、ジオメトリとカラーの更新は、異なる頻度で連続して行うことができる)。
本開示の方法を用いた3Dストリーム・シーンのジオメトリ再構成の利点は以下の通りである。本開示の方法は、「三角形の群(cloud of triangles)」を用いてシーンを再構成することによって、クライアント側で各シーンを再構成する。この革新的なアイデアの重要な点は、クライアント側で大量の三角形を使用する準備ができていることである。この場合、三角形の群に含まれる三角形の数は、数十万個でもよい。
本開示の3Dストリーミングの利点は、6つの自由度(DoF:Degree of Freedom)でもネットワークの遅延がより少ないことである。3Dストリーミング・フォーマットの利点の一つは、クライアント側にも3Dシーンがあることである。ミックス・リアリティ(MR)でナビゲートし、又は画像内を見て回るとき、重要な部分は、どのように3Dコンテンツが現実世界と接続されているか、そしてどのように「それに実際の位置が感じられる」である。言い換えれば、ユーザがいくつかの表示されたオブジェクトの周りを回っているときに、デバイスによる位置更新の遅れを認識しない場合、人間の脳はこのオブジェクトが本当にその場所にあると錯覚する。
以下に本開示のまとめとしていくつかの実施例を付記する。
101 受信データ処理ユニット
102 3Dシーンデータ生成ユニット
103 抽出ユニット
104 3Dストリーム変換/符号化ユニット
105 3Dストリーム
106 ネットワークパケット構成ユニット
107 ネットワークパケット伝送ユニット
108 ネットワークパケット受信ユニット
120 有線又は無線ネットワーク
150 クライアント
150-1 クライアント
150-2 クライアント
151 ネットワークパケット伝送ユニット
152 ネットワークパケット受信ユニット
153 アプリデータ出力ユニット
154 3Dストリーム復号ユニット
155 3Dシーン再構成ユニット
156 表示ユニット
602 表示部
603 入出力部
604 メモリ
605 ネットワークインタフェース
606 記憶装置
607 バス
703 入出力部
704 メモリ
705 ネットワークインタフェース
706 記憶装置
707 バス
1201 画面
1202 人
1203 コンテナストリーム
1210 スマートグラス
1211-1 人
1211-2 人
1212-1 カーソル
1212-2 カーソル
1213 コマンド
1214 人
1221 端末装置
1521~1526 デプスカメラ
1530 RGBカメラ
Claims (4)
- サーバに、前記サーバ上の1つの仮想3Dオブジェクトに対するコマンドを送信し、
前記サーバから、前記コマンドに従って修正された前記1つの仮想3Dオブジェクトのカラー情報、アルファ情報及びジオメトリ情報を受信することにより、前記サーバ上の仮想3Dオブジェクトをクライアント上でインタラクティブに再現する方法であって、
前記サーバから前記仮想3Dオブジェクトのカラー情報、アルファ情報及びジオメトリ情報を含む符号化されたストリームを受信することと、
前記ストリームを復号して、前記カラー情報、前記アルファ情報及び前記ジオメトリ情報を抽出することと、
前記ジオメトリ情報に基づいて前記仮想3Dオブジェクトの形状を再現することと、
前記再現された仮想3Dオブジェクトの形状の上に、前記カラー情報を投影し、その上に前記アルファ情報を用いてシェーダーを適用して、前記仮想3Dオブジェクトを再現することと、
前記再現された仮想3Dオブジェクトを前記クライアントの表示装置上に表示することと、
を含む方法。 - 前記クライアントが、スマホ、携帯、タブレット、ノートパソコン、スマートグラス、ヘッドマウントディスプレイ、ヘッドセット、スレートPC、ゲーム端末又はARデバイスである、
請求項1に記載の方法。 - 1つ以上のプロセッサ及びメモリを含むクライアントであって、
前記1つ以上のプロセッサが、前記メモリに記憶された命令を実行することによって、
サーバに、前記サーバ上の1つの仮想3Dオブジェクトに対する操作コマンドを送信し、
前記サーバから、前記操作コマンドに従って修正された前記1つの仮想3Dオブジェクトのカラー情報、アルファ情報及びジオメトリ情報を含む符号化されたストリームを受信し、
前記ストリームを復号して、前記カラー情報、前記アルファ情報及び前記ジオメトリ情報を抽出し、
前記ジオメトリ情報に基づいて前記仮想3Dオブジェクトの形状を再現し、
前記再現された仮想3Dオブジェクトの形状の上に、前記カラー情報を投影し、その上に前記アルファ情報を用いてシェーダーを適用し、
前記再現された仮想3Dオブジェクトを表示装置上に表示する、
クライアント。 - 請求項1又は2に記載の方法をプロセッサに実行させるための命令を含む、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022037172A JP7430411B2 (ja) | 2021-03-09 | 2022-03-10 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
JP2024006082A JP2024045258A (ja) | 2021-03-09 | 2024-01-18 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021037507A JP2022137826A (ja) | 2021-03-09 | 2021-03-09 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
JP2022037172A JP7430411B2 (ja) | 2021-03-09 | 2022-03-10 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021037507A Division JP2022137826A (ja) | 2021-03-09 | 2021-03-09 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024006082A Division JP2024045258A (ja) | 2021-03-09 | 2024-01-18 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022138158A JP2022138158A (ja) | 2022-09-22 |
JP2022138158A5 JP2022138158A5 (ja) | 2023-05-16 |
JP7430411B2 true JP7430411B2 (ja) | 2024-02-13 |
Family
ID=83226770
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021037507A Pending JP2022137826A (ja) | 2021-03-09 | 2021-03-09 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
JP2022037172A Active JP7430411B2 (ja) | 2021-03-09 | 2022-03-10 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
JP2024006082A Pending JP2024045258A (ja) | 2021-03-09 | 2024-01-18 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021037507A Pending JP2022137826A (ja) | 2021-03-09 | 2021-03-09 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024006082A Pending JP2024045258A (ja) | 2021-03-09 | 2024-01-18 | 3dオブジェクトのストリーミング方法、装置、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (3) | US20230401785A1 (ja) |
EP (3) | EP4290465A1 (ja) |
JP (3) | JP2022137826A (ja) |
KR (3) | KR20230153467A (ja) |
CN (3) | CN117043824A (ja) |
WO (3) | WO2022190398A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014219739A (ja) | 2013-05-01 | 2014-11-20 | 株式会社ディジタルメディアプロフェッショナル | 空間を分割してグラフィックスを処理する画像処理装置及び画像処理方法 |
US20190069000A1 (en) | 2017-08-30 | 2019-02-28 | Samsung Electronics Co., Ltd. | Method and apparatus of point-cloud streaming |
WO2019039282A1 (ja) | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2019046077A (ja) | 2017-08-31 | 2019-03-22 | Kddi株式会社 | オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法 |
WO2019082958A1 (ja) | 2017-10-27 | 2019-05-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法 |
US20190325646A1 (en) | 2018-04-20 | 2019-10-24 | Hulu, LLC | Dynamic Selection Mechanism For Interactive Video |
US10497180B1 (en) | 2018-07-03 | 2019-12-03 | Ooo “Ai-Eksp” | System and method for display of augmented reality |
JP2020523691A (ja) | 2017-06-09 | 2020-08-06 | 株式会社ソニー・インタラクティブエンタテインメント | 中心窩レンダリングシステムにおける、遅延ライティングの最適化、パーティクルの中心窩適応、及びシミュレーションモデル |
JP2020536300A (ja) | 2017-09-29 | 2020-12-10 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 3dシーンの点の属性を修正するための方法及び装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200599A (ja) * | 1996-01-22 | 1997-07-31 | Sanyo Electric Co Ltd | 画像撮影方法 |
JP4229398B2 (ja) * | 2003-03-28 | 2009-02-25 | 財団法人北九州産業学術推進機構 | 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法 |
JP2005259097A (ja) | 2004-03-15 | 2005-09-22 | Katsunori Kondo | 3次元cgインタラクティブバナー |
JP5103590B2 (ja) | 2007-12-05 | 2012-12-19 | 倫也 佐藤 | 情報処理装置および情報処理方法 |
US20100134494A1 (en) | 2008-12-02 | 2010-06-03 | Electronics And Telecommunications Research Institute | Remote shading-based 3d streaming apparatus and method |
KR101660721B1 (ko) | 2009-06-15 | 2016-09-29 | 엘지전자 주식회사 | 발광 다이오드 패키지 및 이를 포함하는 백라이트 유닛과 디스플레이장치 |
EP2461587A1 (en) * | 2010-12-01 | 2012-06-06 | Alcatel Lucent | Method and devices for transmitting 3D video information from a server to a client |
US8860717B1 (en) * | 2011-03-29 | 2014-10-14 | Google Inc. | Web browser for viewing a three-dimensional object responsive to a search query |
JP7205471B2 (ja) * | 2017-06-29 | 2023-01-17 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
WO2020050222A1 (ja) * | 2018-09-07 | 2020-03-12 | シャープ株式会社 | 画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体 |
EP3734970B1 (en) * | 2019-01-08 | 2023-07-05 | Samsung Electronics Co., Ltd. | Method for processing and transmitting three-dimensional content |
JP2020113094A (ja) * | 2019-01-15 | 2020-07-27 | 株式会社シーエスレポーターズ | 拡張現実空間に配置される3dオブジェクトを生成する方法 |
JP6647433B1 (ja) * | 2019-02-19 | 2020-02-14 | 株式会社メディア工房 | 点群データ通信システム、点群データ送信装置および点群データ送信方法 |
JP7500896B2 (ja) | 2019-08-29 | 2024-06-18 | 日本国土開発株式会社 | 濾過用カートリッジ |
-
2021
- 2021-03-09 JP JP2021037507A patent/JP2022137826A/ja active Pending
- 2021-04-21 KR KR1020237034135A patent/KR20230153467A/ko unknown
- 2021-04-21 US US17/413,135 patent/US20230401785A1/en active Pending
- 2021-04-21 EP EP21930248.6A patent/EP4290465A1/en active Pending
- 2021-04-21 CN CN202180095336.9A patent/CN117043824A/zh active Pending
- 2021-04-21 WO PCT/JP2021/016202 patent/WO2022190398A1/ja active Application Filing
-
2022
- 2022-03-04 CN CN202280019625.5A patent/CN117063473A/zh active Pending
- 2022-03-04 WO PCT/JP2022/009411 patent/WO2022191070A1/ja active Application Filing
- 2022-03-04 US US18/549,458 patent/US20240177354A1/en active Pending
- 2022-03-04 EP EP22767027.0A patent/EP4290868A1/en active Pending
- 2022-03-04 KR KR1020237034136A patent/KR20230153468A/ko unknown
- 2022-03-08 WO PCT/JP2022/010053 patent/WO2022191200A1/ja active Application Filing
- 2022-03-08 KR KR1020237034137A patent/KR20230153469A/ko unknown
- 2022-03-08 CN CN202280019626.XA patent/CN117121493A/zh active Pending
- 2022-03-08 EP EP22767154.2A patent/EP4290869A1/en active Pending
- 2022-03-08 US US18/549,431 patent/US20240169595A1/en active Pending
- 2022-03-10 JP JP2022037172A patent/JP7430411B2/ja active Active
-
2024
- 2024-01-18 JP JP2024006082A patent/JP2024045258A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014219739A (ja) | 2013-05-01 | 2014-11-20 | 株式会社ディジタルメディアプロフェッショナル | 空間を分割してグラフィックスを処理する画像処理装置及び画像処理方法 |
JP2020523691A (ja) | 2017-06-09 | 2020-08-06 | 株式会社ソニー・インタラクティブエンタテインメント | 中心窩レンダリングシステムにおける、遅延ライティングの最適化、パーティクルの中心窩適応、及びシミュレーションモデル |
WO2019039282A1 (ja) | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US20190069000A1 (en) | 2017-08-30 | 2019-02-28 | Samsung Electronics Co., Ltd. | Method and apparatus of point-cloud streaming |
JP2019046077A (ja) | 2017-08-31 | 2019-03-22 | Kddi株式会社 | オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法 |
JP2020536300A (ja) | 2017-09-29 | 2020-12-10 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 3dシーンの点の属性を修正するための方法及び装置 |
WO2019082958A1 (ja) | 2017-10-27 | 2019-05-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法 |
US20190325646A1 (en) | 2018-04-20 | 2019-10-24 | Hulu, LLC | Dynamic Selection Mechanism For Interactive Video |
US10497180B1 (en) | 2018-07-03 | 2019-12-03 | Ooo “Ai-Eksp” | System and method for display of augmented reality |
Also Published As
Publication number | Publication date |
---|---|
EP4290465A1 (en) | 2023-12-13 |
EP4290868A1 (en) | 2023-12-13 |
WO2022191070A1 (ja) | 2022-09-15 |
KR20230153467A (ko) | 2023-11-06 |
US20240169595A1 (en) | 2024-05-23 |
JP2022138158A (ja) | 2022-09-22 |
EP4290869A1 (en) | 2023-12-13 |
JP2022137826A (ja) | 2022-09-22 |
KR20230153469A (ko) | 2023-11-06 |
KR20230153468A (ko) | 2023-11-06 |
CN117043824A (zh) | 2023-11-10 |
WO2022190398A1 (ja) | 2022-09-15 |
JP2024045258A (ja) | 2024-04-02 |
US20230401785A1 (en) | 2023-12-14 |
CN117063473A (zh) | 2023-11-14 |
US20240177354A1 (en) | 2024-05-30 |
WO2022191200A1 (ja) | 2022-09-15 |
CN117121493A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3695383B1 (en) | Method and apparatus for rendering three-dimensional content | |
US10497180B1 (en) | System and method for display of augmented reality | |
CN113099204B (zh) | 一种基于vr头戴显示设备的远程实景增强现实方法 | |
WO2019127369A1 (zh) | 一种直播分享的方法、相关设备及系统 | |
CN111355944B (zh) | 生成并用信号传递全景图像之间的转换 | |
CN113891117B (zh) | 沉浸媒体的数据处理方法、装置、设备及可读存储介质 | |
US20240179203A1 (en) | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points | |
KR102598603B1 (ko) | 이기종 클라이언트 종단점에 대한 스트리밍을 위한 2d 비디오의 적응 | |
WO2022024780A1 (ja) | 情報処理装置、情報処理方法、映像配信方法及び情報処理システム | |
WO2024027611A1 (zh) | 视频直播方法、装置、电子设备以及存储介质 | |
JP7430411B2 (ja) | 3dオブジェクトのストリーミング方法、装置、及びプログラム | |
JP7472298B2 (ja) | 没入型メディアの設置、及び没入型メディアから異種クライアントエンドポイントへの配信 | |
WO2024152959A1 (zh) | 端云协同系统、编解码方法及电子设备 | |
TWI817273B (zh) | 即時多視像視訊轉換方法和系統 | |
Sun et al. | Combining 360◦ video and camera mapping for virtual reality: an innovative solution | |
Aumüller | D5. 3.4–Remote hybrid rendering: revision of system and protocol definition for exascale systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230508 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7430411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |