JP7177034B2 - レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム - Google Patents
レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム Download PDFInfo
- Publication number
- JP7177034B2 JP7177034B2 JP2019500729A JP2019500729A JP7177034B2 JP 7177034 B2 JP7177034 B2 JP 7177034B2 JP 2019500729 A JP2019500729 A JP 2019500729A JP 2019500729 A JP2019500729 A JP 2019500729A JP 7177034 B2 JP7177034 B2 JP 7177034B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- stream
- immersive
- syntax element
- mapping surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000009877 rendering Methods 0.000 title claims description 57
- 238000013507 mapping Methods 0.000 claims description 110
- 230000015654 memory Effects 0.000 claims description 24
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
- H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Circuits (AREA)
Description
本開示は、没入型ビデオを表す下位互換ストリームを、例えばこのようなストリームが異種クライアントデバイスの集合に配信される場合にフォーマットする分野に関し、クライアントデバイスの幾つかはレガシー矩形ビデオを表示するように構成され、また別の幾つかは没入型ビデオを表示するように構成される。
没入型ビデオは、これらがユーザの周囲に表示され、その正面の長方形のスクリーン上に投影されるのではないという点でレガシービデオとは異なる。幾つかのデバイスは、レガシービデオだけをレンダリングするように構成され(例えば、テレビ、ビデオプロジェクタ)、幾つかは没入型ビデオだけをレンダリングするように構成され(例えば、CAVE、Geode)、また幾つかはそれらが含むデコーダに応じて両方のタイプのビデオをレンダリングしてもよい(例えば、頭部装着型表示デバイス(HMD)、タブレット、スマートフォン)。本書では、没入型ビデオをレンダリングするように構成され、そのようになされたデコーダを含むデバイスを没入型ビデオレンダリングデバイスと呼び、没入型ビデオをレンダリングするように構成されていないか、そのようになされたデコーダを含まないものをレガシービデオレンダリングデバイスと呼ぶ。
本開示の目的は、レガシー及び没入型ビデオレンダリングデバイスのどちらによっても適正に表示できる下位互換没入型ビデオストリームのためのフォーマットの欠如を克服することである。本開示は、没入型ビデオからストリームを生成する方法に関し、この方法は、
- 各々が没入型ビデオの一部を表す少なくとも1つの第一のビデオを生成することと、
- 前記少なくとも1つの部分が取り除かれている没入型ビデオから第二のビデオを生成することと、
- 少なくとも1つの第一のビデオに関する第一のシンタックス要素と前記第二のビデオに関する第二のシンタックス要素を組み合わせることによってストリームを生成することと、
を含む。
- 各々が没入型ビデオの一部を表す少なくとも1つの第一のビデオを生成するビデオ生成器と、
- 前記少なくとも1つの部分が取り除かれている没入型ビデオから第二のビデオを生成するビデオ生成器と、
- 少なくとも1つの第一のビデオに関する第一のシンタックス要素と前記第二のビデオに関する第二のシンタックス要素を組み合わせることによってストリームを生成するストーム生成器と、
を含む。
- 各々が没入型ビデオの一部を表す少なくとも1つの第一のビデオを生成し、
- 前記少なくとも1つの部分が取り除かれている没入型ビデオから第二のビデオを生成することと、
- 少なくとも1つの第一のビデオに関する第一のシンタックス要素と前記第二のビデオに関する第二のシンタックス要素を組み合わせることによってストリームを生成することと、
を行うように構成された少なくとも1つのプロセッサを含む。
- 少なくとも1つの第一のビデオに関する第一のシンタックス要素であって、前記少なくとも1つの第一のビデオの各々は没入型ビデオの一部を表す第一のシンタックス要素と、
- 前記少なくとも1つの部分が取り除かれている没入型ビデオから生成された第二のビデオに関する第二のシンタックス要素と、
を含む。
- デバイスがレガシービデオレンダリングデバイスである場合、
・ストリームの、少なくとも1つの第一のビデオに関する第一のシンタックス要素からビデオを取得することであって、前記少なくとも1つの第一のビデオの各々は没入型ビデオの一部を表すような、取得することと、
- デバイスが没入型ビデオレンダリングデバイスである場合、
・ストリームの第一のシンタックス要素から少なくとも1つの第一のビデオを取得することであって、前記少なくとも1つの第一のビデオは没入型ビデオの一部を表すような、取得することと、
・ストリームの第二のシンタックス要素から第二のビデオを取得することであって、前記第二のビデオは、各々の前記少なくとも1つの部分が取り除かれている没入型ビデオを表すような、取得することと、
・前記少なくとも1つの第一のビデオの各々を第二のビデオに重畳することによってビデオを構成することと、
を含む。
- デバイスがレガシービデオレンダリングデバイスである場合、
・ストリームの、少なくとも1つの第一のビデオに関する第一のシンタックス要素からビデオを取得する手段であって、前記少なくとも1つの第一のビデオの各々は没入型ビデオの一部を表すような手段と、
- デバイスが没入型ビデオレンダリングデバイスである場合、
・ストリームの第一のシンタックス要素から少なくとも1つの第一のビデオを取得する手段であって、前記少なくとも1つの第一のビデオは没入型ビデオの一部を表すような手段と、
・ストリームの第二のシンタックス要素から第二のビデオを取得する手段であって、前記第二のビデオは、各々の前記少なくとも1つの部分が取り除かれている没入型ビデオを表すような手段と、
・前記少なくとも1つの第一のビデオの各々を第二のビデオに重畳することによってビデオを構成する手段と、
を含む。
以下の説明を読むことにより、本開示はよりよく理解され、その他の具体的な特徴と利点が明らかになるが、この説明は下記のような添付の図面に関して行われる。
ここで、図面を参照しながら主旨を説明するが、図中、全体を通じて同様の参照番号は同様の要素を指すために使用される。以下の説明において、説明を目的として、主旨を完全に理解できるようにするために、多数の具体的な詳細事項が示されている。当然のことながら、主旨の実施形態はこれらの具体的な詳細事項がなくても実施できる。
- 例えばDSP(すなわち、デジタル信号プロセッサ)であるマイクロプロセッサ72(又はCPU)、
- ROM(リードオンリメモリ)タイプの不揮発性メモリ73、
- ランダムアクセスメモリ、すなわちRAM(74)、
- アプリケーションから、送信するデータを受けるためのI/Oインタフェース75、
- ランダムアクセスメモリのレジスタを埋め込んでもよいグラフィックカード76、
- 電源77
を含み、これらはクロック信号も輸送するアドレス及びデータのバス71により相互に接続される。
- ローカルメモリ(73、74、又は76)、例えば、ビデオメモリ又はRAM(すなわち、ランダムアクセスメモリ)、フラッシュメモリ、ROM(すなわち、リードオンリメモリ)、ハードディスク、
- ストレージインタフェース(75)、例えば、マスストレージ、RAM、フラッシュメモリ、ROM、光ディスク又は磁気サポートとのインタフェース、及び
- 通信インタフェース(75)、例えば、ワイヤラインインタフェース(例えば、バスインタフェース、ワイドエリアネットワークインタフェース、ローカルエリアネットワークインタフェース)、又はワイヤレスインタフェース(IEEE 802.11インタフェース又はBluetooth(登録商標)インタフェース)
からなる群に属する。
- モバイルデバイス、
- 通信デバイス、
- ゲーム機、
- タブレット(又はタブレットコンピュータ)、
- ラップトップ、
- 符号化チップ、
- 静止画サーバ、
- ビデオサーバ(例えば、放送サーバ、ビデオオンデマンドサーバ、又はウェブサーバ)
を含む群に属する。
- モバイルデバイス、
- 通信デバイス、
- ゲーム機、
- セットトップボックス、
- TVセット
- タブレット(又はタブレットコンピュータ)、
- ラップトップ、
- ディスプレイ、
- 復号チップ
を含む群に属する送信先に送信される。
(付記1)
凸状マッピング面のために作成されたビデオ(20、30)からストリーム(100)を生成する方法(80)であって、
- 前記凸状マッピング面の中心における視点から捕捉された少なくとも1つの第一のビデオ(61、63)を生成すること(82)であって、各第一のビデオは前記没入型ビデオ(20、30)の一部を表す、生成すること(82)と、
- 前記少なくとも1つの部分が取り除かれている前記没入型ビデオ(20、30)から第二のビデオ(60)を生成すること(83)と、
- 前記少なくとも1つの第一のビデオ(61、63)に関する第一のシンタックス要素(102、103)と前記第二のビデオ(60)に関する第二のシンタックス要素(104)とを組み合わせることによって前記ストリーム(100)を生成すること(85)と、
を含む方法(80)。
(付記2)
第三のシンタックス要素(105)を前記ストリーム(100)の中に追加することであって、前記第三のシンタックス要素は前記少なくとも1つの部分の記述を表す情報データに関する、追加することをさらに含む、付記1に記載の方法。
(付記3)
前記情報データは時間と共に変化する、付記2に記載の方法。
(付記4)
前記少なくとも1つの第一のビデオを生成すること(82)は、前記(仮想)カメラにより捕捉された前記画像を修正することをさらに含む、付記2に記載の方法。
(付記5)
前記少なくとも1つの第一のビデオを生成すること(82)は、前記情報データに応じて前記マッピング面の向きを変更することをさらに含む、付記2又は4に記載の方法。
(付記6)
凸状マッピング面のために作成されたビデオ(20、30)からストリーム(100)を生成するように構成されたデバイスであって、
- 前記凸状マッピング面の中心における視点から捕捉された少なくとも1つの第一のビデオ(61、63)を生成する(82)ためのビデオ生成器であって、各第一のビデオは前記没入型ビデオ(20、30)の一部を表す、ビデオ生成器と、
- 前記少なくとも1つの部分が取り除かれている前記没入型ビデオ(20、30)から第二のビデオを生成する(83)ためのビデオ生成器と、
- 前記少なくとも1つの第一のビデオに関する第一のシンタックス要素(102、103)と前記第二のビデオに関する第二のシンタックス要素(104)を組み合わせることによって前記ストリーム(100)を生成する(85)ためのストリーム生成器と、
を含むデバイス。
(付記7)
前記ストリーム生成器は、第三のシンタックス要素(105)を前記ストリーム(100)の中に追加するようにさらに構成され、前記第三のシンタックス要素は前記少なくとも1つの部分の記述を表す情報データに関する、付記6に記載のデバイス。
(付記8)
前記情報データは時間と共に変化する、付記7に記載のデバイス。
(付記9)
凸状マッピング面のために作成されたビデオ(20、30)を表すデータを搬送するストリーム(100)であって、前記データは、
- 前記凸状マッピング面の中心における視点から捕捉された少なくとも1つの第一のビデオ(61、63)に関する第一のシンタックス要素(102、103)であって、前記少なくとも1つの第一のビデオの各々は前記没入型ビデオの一部を表す第一のシンタックス要素(102、103)と、
- 前記少なくとも1つの部分が取り除かれている前記没入型ビデオから生成された第二のビデオ(60)に関する第二のシンタックス要素(104)と、
を含むストリーム(100)。
(付記10)
前記少なくとも1つの部分の記述を表す情報データに関する第三のシンタックス要素(105)をさらに含む、付記9に記載のストリーム。
(付記11)
前記情報データは時間と共に変化する、付記10に記載のストリーム。
(付記12)
凸状マッピング面のために作成されたビデオ(20、30)を表すデータを搬送するストリーム(100)からレンダリングデバイスのためのビデオを構成する方法(90)であって、
- 前記デバイスが没入型ビデオレンダリングデバイスである場合、
・前記ストリームの第一のシンタックス要素(102、103)から、前記凸状マッピング面の中心における視点から捕捉された少なくとも1つの第一のビデオ(61、63)を取得することであって、前記少なくとも1つの第一のビデオは前記没入型ビデオの一部を表す、取得することと、
・前記ストリームの第二のシンタックス要素から第二のビデオ(104)を取得することであって、前記第二のビデオは、各々の前記少なくとも1つの部分が取り除かれている前記没入型ビデオを表す、取得することと、
・前記少なくとも1つの第一のビデオの各々を前記第二のビデオに重畳することによってビデオを構成することと、
を含む方法(90)。
(付記13)
- 前記デバイスがレガシービデオレンダリングデバイスである場合、
・前記ストリームの、前記凸状マッピング面の中心における視点から捕捉された少なくとも1つの第一のビデオ(61、63)に関する第一のシンタックス要素(102、103)から前記ビデオを取得することであって、前記少なくとも1つの第一のビデオの各々は前記没入型ビデオの一部を表す、取得することを含む、付記12に記載の方法。
(付記14)
前記ストリームは、前記少なくとも1つの部分の記述を表す情報データに関する第三のシンタックス要素(105)をさらに含む、付記12又は13に記載の方法。
(付記15)
前記デバイスが没入型ビデオレンダリングデバイスである場合、前記ビデオを前記構成することは、前記第二のビデオに重畳するために前記第一のビデオに関連する前記部分の前記記述に応じて各第一のビデオを歪めること、サイズ変更すること、及び変換することを含む、付記14に記載の方法。
(付記16)
レンダリングデバイスのために、凸状マッピング面のために作成されたビデオ(20、30)を表すデータを搬送するストリーム(100)からビデオを構成するように構成されたデバイスであって、
- 前記デバイスが没入型ビデオレンダリングデバイスである場合、
・前記ストリームの第一のシンタックス要素(102、103)から前記凸状マッピング面の中心における視点から捕捉された少なくとも1つの第一のビデオ(61、63)を取得し、前記少なくとも1つの第一のビデオは前記没入型ビデオの一部を表すことと、
・前記ストリームの第二のシンタックス要素(104)から第二のビデオ(60)を取得し、前記第二のビデオは、各々の前記少なくとも1つの部分が取り除かれている前記没入型ビデオを表すことと、
・前記少なくとも1つの第一のビデオの各々を前記第二のビデオに重畳することによって前記ビデオを構成することと、
を行うように構成されたプロセッサに関連するメモリを含むデバイス。
(付記17)
前記プロセッサは、
- 前記デバイスがレガシービデオレンダリングデバイスである場合、
・前記ストリームの、前記凸状マッピング面の中心における視点から捕捉された少なくとも1つの第一のビデオ(61、63)に関する第一のシンタックス要素(102、103)から前記ビデオを取得し、前記少なくとも1つの第一のビデオの各々は前記没入型ビデオの一部を表すこと
を行うように構成される、付記16に記載のデバイス。
(付記18)
前記ストリームは、前記少なくとも1つの部分の記述を表す情報データに関する第三のシンタックス要素(105)をさらに含む、付記16又は17に記載のデバイス。
(付記19)
前記デバイスが没入型ビデオレンダリングデバイスである場合、前記ビデオを前記構成することは、前記第二のビデオに重畳するために前記第一のビデオに関連する前記部分の前記記述に応じて各第一のビデオ(61、63)を歪めること、サイズ変更すること、及び変換することを含む、付記18に記載のデバイス。
Claims (13)
- 凸状マッピング面のために作成されたビデオからストリームを生成する方法であって、
- 少なくとも1つの第一のビデオを生成することであって、第一のビデオのフレームは前記ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、生成することと、
- 当該少なくとも1つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記ビデオである第二のビデオを生成することと、
- 前記少なくとも1つの第一のビデオに関する第一のシンタックス要素と当該第二のビデオに関する第二のシンタックス要素とを含む前記ストリームを生成することと、
を含む方法。 - 前記ストリームは、当該少なくとも1つの第一のビデオに対応する前記一部の記述を表すデータを含む第三のシンタックス要素をさらに含む、請求項1に記載の方法。
- 当該データは時間と共に変化する、請求項2に記載の方法。
- 当該少なくとも1つの第一のビデオを生成することは、当該データに応じて当該マッピング面の向きを変更することをさらに含む、請求項2に記載の方法。
- 凸状マッピング面のために作成されたビデオからストリームを生成するように構成されたデバイスであって、
- 少なくとも1つの第一のビデオを生成するためのビデオ生成器であって、第一のビデオのフレームは前記ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、ビデオ生成器と、
- 当該少なくとも1つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記ビデオから第二のビデオを生成するためのビデオ生成器と、
- 前記少なくとも1つの第一のビデオに関する第一のシンタックス要素と当該第二のビデオに関する第二のシンタックス要素を含む前記ストリームを生成するためのストリーム生成器と、
を含むデバイス。 - 前記ストリーム生成器は、第三のシンタックス要素を前記ストリームの中に追加するようにさらに構成され、当該第三のシンタックス要素は当該少なくとも1つの第一のビデオに対応する一部の記述を表すデータに関する、請求項5に記載のデバイス。
- 当該データは時間と共に変化する、請求項6に記載のデバイス。
- 凸状マッピング面のために作成されたビデオを表すデータを搬送するストリームからレンダリングデバイスのためのビデオを構成する方法であって、
・前記ストリームの第一のシンタックス要素から、少なくとも1つの第一のビデオを取得することであって、第一のビデオのフレームは前記ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、取得することと、
・前記ストリームの第二のシンタックス要素から第二のビデオを取得することであって、当該第二のビデオは、当該少なくとも1つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記ビデオである、取得することと、
・当該少なくとも1つの第一のビデオを前記第二のビデオに重畳することによって前記ビデオを構成することと、
を含む方法。 - 当該ストリームは、当該少なくとも1つの第一のビデオに対応する前記一部の記述を表すデータを含む第三のシンタックス要素をさらに含む、請求項8に記載の方法。
- 前記ビデオを前記構成することは、前記第二のビデオに重畳するために当該第一のビデオに関連する前記一部の前記記述に応じて各第一のビデオを歪めること、サイズ変更すること、及び変換することを含む、請求項9に記載の方法。
- レンダリングデバイスのために、凸状マッピング面のために作成された没入型ビデオを表すデータを搬送するストリームからビデオを構成するように構成されたデバイスであって、
・前記ストリームの第一のシンタックス要素から、少なくとも1つの第一のビデオを取得することであって、第一のビデオのフレームは前記没入型ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、取得することと、
・前記ストリームの第二のシンタックス要素から第二のビデオを取得することであって、当該第二のビデオは、当該少なくとも1つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記没入型ビデオである、取得することと、
・当該少なくとも1つの第一のビデオの各々を前記第二のビデオに重畳することによって前記ビデオを構成することと、
を行うように構成されたプロセッサに関連するメモリを含むデバイス。 - 当該ストリームは、当該少なくとも1つの第一のビデオに対応する前記一部の記述を表すデータを含む第三のシンタックス要素をさらに含む、請求項11に記載のデバイス。
- 前記ビデオを前記構成することは、前記第二のビデオに重畳するために当該少なくとも1つの第一のビデオに対応する前記一部の前記記述に応じて各第一のビデオを歪めること、サイズ変更すること、及び変換することを含む、請求項12に記載のデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16305321.8A EP3223524A1 (en) | 2016-03-22 | 2016-03-22 | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
EP16305321.8 | 2016-03-22 | ||
PCT/EP2017/055952 WO2017162479A1 (en) | 2016-03-22 | 2017-03-14 | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019514313A JP2019514313A (ja) | 2019-05-30 |
JP2019514313A5 JP2019514313A5 (ja) | 2020-04-16 |
JP7177034B2 true JP7177034B2 (ja) | 2022-11-22 |
Family
ID=55646505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019500729A Active JP7177034B2 (ja) | 2016-03-22 | 2017-03-14 | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム |
Country Status (11)
Country | Link |
---|---|
US (1) | US10958950B2 (ja) |
EP (2) | EP3223524A1 (ja) |
JP (1) | JP7177034B2 (ja) |
KR (1) | KR102308604B1 (ja) |
CN (1) | CN109314791B (ja) |
BR (1) | BR112018069211A2 (ja) |
CA (1) | CA3018600C (ja) |
MX (1) | MX2018011498A (ja) |
RU (1) | RU2733218C2 (ja) |
TW (1) | TWI735552B (ja) |
WO (1) | WO2017162479A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10735774B2 (en) | 2016-05-13 | 2020-08-04 | Interdigital Vc Holdings, Inc. | Method and apparatus for video coding with adaptive clipping |
EP3249928A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
WO2018025660A1 (ja) * | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
EP3297282A1 (en) | 2016-09-15 | 2018-03-21 | Thomson Licensing | Method and apparatus for video coding with adaptive clipping |
EP3724858A4 (en) * | 2017-12-14 | 2021-01-13 | Samsung Electronics Co., Ltd. | PROCEDURE AND DEVICE FOR MANAGING IMMERSIVE DATA |
CN110910485B (zh) * | 2019-12-16 | 2023-07-25 | 山东东艺数字科技有限公司 | 一种沉浸式cave影像制作方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333552A (ja) | 2004-05-21 | 2005-12-02 | Viewplus Inc | パノラマ映像配信システム |
US20120092348A1 (en) | 2010-10-14 | 2012-04-19 | Immersive Media Company | Semi-automatic navigation with an immersive image |
WO2015197818A1 (en) | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7336299B2 (en) * | 2003-07-03 | 2008-02-26 | Physical Optics Corporation | Panoramic video system with real-time distortion-free imaging |
WO2008047054A2 (fr) | 2006-10-18 | 2008-04-24 | France Telecom | Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias |
US7982733B2 (en) * | 2007-01-05 | 2011-07-19 | Qualcomm Incorporated | Rendering 3D video images on a stereo-enabled display |
CN101453639B (zh) | 2007-11-29 | 2012-05-30 | 展讯通信(上海)有限公司 | 支持roi区域的多路视频流的编码、解码方法和系统 |
WO2010075726A1 (zh) | 2008-12-30 | 2010-07-08 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
EP2409494A4 (en) * | 2009-03-19 | 2013-05-15 | Lg Electronics Inc | METHOD FOR PROCESSING A THREE-DIMENSIONAL (3D) VIDEO SIGNAL AND MULTICAST DIGITAL RECEIVER DESIGNED TO PERFORM THE PROCESSING METHOD |
WO2010134316A1 (ja) | 2009-05-19 | 2010-11-25 | パナソニック株式会社 | 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置 |
US8537200B2 (en) * | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
CN101771878B (zh) * | 2010-01-14 | 2011-05-25 | 广西大学 | 面向全景视频编码的自适应选择全局运动估计方法 |
US9491432B2 (en) * | 2010-01-27 | 2016-11-08 | Mediatek Inc. | Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof |
KR101694821B1 (ko) * | 2010-01-28 | 2017-01-11 | 삼성전자주식회사 | 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치 |
JPWO2012017643A1 (ja) | 2010-08-06 | 2013-10-03 | パナソニック株式会社 | 符号化方法、表示装置、及び復号方法 |
JP2012199897A (ja) | 2011-03-04 | 2012-10-18 | Sony Corp | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
US8600194B2 (en) * | 2011-05-17 | 2013-12-03 | Apple Inc. | Positional sensor-assisted image registration for panoramic photography |
EP2530642A1 (en) | 2011-05-31 | 2012-12-05 | Thomson Licensing | Method of cropping a 3D content |
US9860572B2 (en) * | 2011-06-08 | 2018-01-02 | Koninklijke Kpn N.V. | Spatially segmented content delivery |
KR101282955B1 (ko) | 2011-08-31 | 2013-07-17 | 한국과학기술연구원 | 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법 |
CN103947192A (zh) | 2011-11-14 | 2014-07-23 | 英特尔公司 | 视频分析编码 |
US20130141526A1 (en) | 2011-12-02 | 2013-06-06 | Stealth HD Corp. | Apparatus and Method for Video Image Stitching |
WO2014005301A1 (en) | 2012-07-04 | 2014-01-09 | Intel Corporation | A region of interest based framework for 3d video coding |
EP2824883A1 (en) | 2013-07-12 | 2015-01-14 | Alcatel Lucent | A video client and video server for panoramic video consumption |
KR20200045012A (ko) * | 2013-07-15 | 2020-04-29 | 소니 주식회사 | 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들 |
CN104680505A (zh) * | 2013-11-29 | 2015-06-03 | 陆婷 | 一种鱼眼镜头校正的全景视图算法 |
US20150373341A1 (en) | 2014-06-23 | 2015-12-24 | Cisco Technology, Inc. | Techniques for Interactive Region-Based Scalability |
US9883101B1 (en) | 2014-07-23 | 2018-01-30 | Hoyos Integrity Corporation | Providing a real-time via a wireless communication channel associated with a panoramic video capture device |
CN104539893B (zh) | 2014-12-23 | 2017-12-01 | 福建星网视易信息系统有限公司 | 实现虚拟云台监控效果的方法、装置及系统 |
US9843725B2 (en) * | 2015-12-29 | 2017-12-12 | VideoStitch Inc. | Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor |
-
2016
- 2016-03-22 EP EP16305321.8A patent/EP3223524A1/en not_active Withdrawn
-
2017
- 2017-03-14 MX MX2018011498A patent/MX2018011498A/es unknown
- 2017-03-14 WO PCT/EP2017/055952 patent/WO2017162479A1/en active Application Filing
- 2017-03-14 KR KR1020187030134A patent/KR102308604B1/ko active IP Right Grant
- 2017-03-14 US US16/087,636 patent/US10958950B2/en active Active
- 2017-03-14 EP EP17709721.9A patent/EP3434021B1/en active Active
- 2017-03-14 CA CA3018600A patent/CA3018600C/en active Active
- 2017-03-14 BR BR112018069211A patent/BR112018069211A2/pt unknown
- 2017-03-14 CN CN201780024150.8A patent/CN109314791B/zh active Active
- 2017-03-14 RU RU2018136879A patent/RU2733218C2/ru active
- 2017-03-14 JP JP2019500729A patent/JP7177034B2/ja active Active
- 2017-03-17 TW TW106108808A patent/TWI735552B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333552A (ja) | 2004-05-21 | 2005-12-02 | Viewplus Inc | パノラマ映像配信システム |
US20120092348A1 (en) | 2010-10-14 | 2012-04-19 | Immersive Media Company | Semi-automatic navigation with an immersive image |
WO2015197818A1 (en) | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
Also Published As
Publication number | Publication date |
---|---|
RU2018136879A (ru) | 2020-04-22 |
CA3018600C (en) | 2022-07-12 |
EP3434021A1 (en) | 2019-01-30 |
KR20190029505A (ko) | 2019-03-20 |
JP2019514313A (ja) | 2019-05-30 |
EP3223524A1 (en) | 2017-09-27 |
EP3434021B1 (en) | 2021-05-05 |
TW201803358A (zh) | 2018-01-16 |
CN109314791A (zh) | 2019-02-05 |
MX2018011498A (es) | 2019-07-04 |
CN109314791B (zh) | 2021-07-20 |
US20190104330A1 (en) | 2019-04-04 |
KR102308604B1 (ko) | 2021-10-06 |
BR112018069211A2 (pt) | 2019-01-22 |
CA3018600A1 (en) | 2017-09-28 |
TWI735552B (zh) | 2021-08-11 |
WO2017162479A1 (en) | 2017-09-28 |
RU2733218C2 (ru) | 2020-09-30 |
US10958950B2 (en) | 2021-03-23 |
RU2018136879A3 (ja) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11700352B2 (en) | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission | |
RU2742344C2 (ru) | Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга | |
JP7177034B2 (ja) | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム | |
US11430156B2 (en) | Apparatus, a method and a computer program for volumetric video | |
US11699211B2 (en) | Spherical rotation for encoding wide view video | |
US11202086B2 (en) | Apparatus, a method and a computer program for volumetric video | |
TW201840178A (zh) | 適應性擾動立方體之地圖投影 | |
CN111355954A (zh) | 为视频播放器装置处理视频数据 | |
WO2019115867A1 (en) | An apparatus, a method and a computer program for volumetric video | |
JP2022541908A (ja) | ボリュメトリックビデオコンテンツを配信するための方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181121 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211215 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7177034 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |