JP2023519512A - ビデオ復号エラーを識別する方法及び機器 - Google Patents

ビデオ復号エラーを識別する方法及び機器 Download PDF

Info

Publication number
JP2023519512A
JP2023519512A JP2022552873A JP2022552873A JP2023519512A JP 2023519512 A JP2023519512 A JP 2023519512A JP 2022552873 A JP2022552873 A JP 2022552873A JP 2022552873 A JP2022552873 A JP 2022552873A JP 2023519512 A JP2023519512 A JP 2023519512A
Authority
JP
Japan
Prior art keywords
atlas
data
hash
atlas data
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022552873A
Other languages
English (en)
Inventor
ボイス,ジル
サラヒエー,バセル
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2023519512A publication Critical patent/JP2023519512A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオ復号エラーを識別する方法、機器、システム、及び製品が開示される。例示的な機器は、ビデオの入力ビューから生成された1つ以上のアトラスについて、アトラスデータを生成するアトラス生成器と、ハッシュ生成器であって、前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成し、前記ハッシュ値をメッセージに含める、ハッシュ生成器と、前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成するマルチプレクサと、を含む。

Description

[関連出願]
本特許は、2020年4月3日に出願された米国仮出願番号第63/004,741号の利益を請求する。米国仮出願番号第63/004,741号は、参照によりその全体がここに組み込まれる。米国仮出願番号第63/004,741号の優先権がここに主張される。
[技術分野]
本開示は、概して、ビデオ処理に関し、特に、ビデオ復号エラーを識別する方法及び機器に関する。
ビデオ圧縮/伸長(compression/decompression (codec))システムでは、圧縮効率及びビデオ品質は重要な性能基準である。例えば、視覚的品質は、多くのビデオアプリケーションにおいて、ユーザ経験の重要な側面である。圧縮効率は、ビデオファイルを格納するために必要なメモリ容量、及び/又はビデオコンテンツを送信し及び/又はストリーミングするために必要な帯域幅容量に影響を与える。ビデオエンコーダは、標準的に、ビデオ情報を圧縮して、より多くの情報が所与の帯域幅で送信できる、又は所与のメモリ空間に格納できる、等のようにする。圧縮信号又はデータは、次に、ユーザへの表示のために信号又はデータを復号又は伸長するデコーダにより復号される。多くの例では、視覚的品質が高いほど、より多くの圧縮が望まれる。
現在、ビデオベースポイントクラウド圧縮(Video-based Point Cloud Compression (V-PCC))及びMPEG没入型ビデオコーディング(MPEG Immersive Video Coding (MIV))を含む没入型ビデオコーディング及びポイントのクラウドコーディングのために規格が開発されている。そのような規格は、没入型ビデオ及びポイントクラウドコーディングの状況で圧縮効率及び再構成品質を確立し及び向上することを追究している。
本願明細書に開示される例と関連する、ビデオを符号化及び/又は復号するための例示的な環境である。
図1の例示的な符号化システムを実装するために実行され得る機械可読命令を表すフローチャートである。
図1の例示的な復号システムを実装するために実行され得る機械可読命令を表すフローチャートである。
図1の符号化システムを実装するために図3の命令を実行するよう構造化された例示的な処理プラットフォームのブロック図である。
図1の復号システムを実装するために図3の命令を実行するよう構造化された例示的な処理プラットフォームのブロック図である。
図は縮尺通りではない。代わりに、レイヤ又は領域の厚さは、図中で拡大されている場合がある。概して、同じ参照符号が、図面、及び図面又はその部分を参照する添付の記載を通じて使用される。本特許において使用されるとき、任意の部分(例えば、レイヤ、フィルム、エリア、領域、又は平面)が任意の方法で別の部分の上にある(例えば、位置付けられる、位置する、配置される、又は形成される、等)ことは、言及された部分が他の部分と接触していること、又は言及された部分が間に配置された1つ以上の中間部分を伴い他の部分の上方にあること、を示す。接続の参照(例えば、取り付けられる、結合される、接続される、接合される)は、広義に考えられるべきであり、特に断りのない限り、要素の集合の間の中間的部材、及び要素間の相対的動きを含んでよい。このように、接続の参照は、必ずしも、2つの要素が直接接続され、互いに固定的関係であることを推定するものではない。任意の部分が別の部分に「接する(contact)」という記載は、2つの部分の間に中間部分が存在しないことを意味する。図は明確な線及び境界でレイヤ及び領域を示すが、これらの線及び/又は境界の一部又は全部は理想化されたものであってよい。現実には、線及び/又は境界は、観察できない、混ざっている、及び/又は不規則であってよい。
記述子「第1」、「第2」、「第3」等は、本願明細書において、別個に参照され得る複数の要素又はコンポーネントを識別するとき、使用される。特に断りがなく、それらの使用される文脈に基づき理解される限り、そのような記述子は、優先度、物理的順序又はリスト内の配置、又は時間的順序のいずれの意味も負わず、単に開示された例の理解を容易にするために、複数の要素又はコンポーネントを個別に参照するためのラベルとして使用される。幾つかの例では、記述子「第1」は、詳細な説明における要素を表すために使用され得るが、同じ要素が、請求項では「第2」又は「第3」のような異なる記述子により表されることがある。そのような例では、そのような記述子は単に複数の要素又はコンポーネントを参照するのを容易にするために使用されることが理解されるべきである。
没入型ビデオコーディング及びポイントクラウドコーディングの文脈では、ビジュアルボリュメトリックビデオベースのコーディング(Visual Volumetric Video-based Coding (V3C))及びビデオベースのポイントクラウド圧縮(Video-based Point Cloud Compression (V-PCC))及びMPEG没入型ビデオコーディング(MPEG Immersive Video Coding (MIV))のようなビデオ規格が利用されてよい。そのような規格については、デコーダがそのような規格に準拠していることを確認することが要求され得る。例えば、デコーダが変更されていない及び/又は壊れていないビットストリームを取得していること、及び/又はデコーダが取得したビットストリームを正しく復号しているという1つ以上の要求があってよい。
V3C/V-PCCでは、動的ポイントクラウドは、色のようなテクスチャの及び深さのような幾何学の平面上のポイントクラウドの複数の投影を使用して圧縮される。動的ポイントクラウドが圧縮された後、圧縮された動的ポイントクラウドは、投影面から同じ深さのパッチと呼ばれる長方形領域を抽出するためにセグメント化される。パッチは、アトラス又はアトラスタイルに、占有マップとともにパックされる。占有マップは、使用されるべきアトラスの一部を示す(例えば、アトラスにパックされたパッチ内の占有領域)。さらに、パッチ情報メタデータは、投影プランとキャンバス間(例えば、アトラス又はアトラスタイル)でパッチがどのようにマッピングされるかを示すために使用される。高効率ビデオコーディング(high efficiency video coding (HEVC))などの2次元(2-D)ビデオコーデックは、キャンバスのジオメトリ及びテクスチャコンポーネントの空間的及び時間的な冗長性を活用するために使用される。元の投影とアトラス又はアトラスタイルのパッチのサイズと位置に関する情報は、コーディングアトラスタイルデータとしてシグナリングされる。占有情報もシグナリングされる。アトラスは、オーバラップしないデータブロックのグリッドに分割でき、ブロックサイズをビットストリームに含めることができる。アトラスデータには、ブロック指示(例えば、データのブロックのパッチ識別及び/又はインデックス)ごとのパッチ値が含まれる。ブロックはパッチに対応する場合もあれば、パッチのサブセットである場合もある。一部の例では、パッチが他のパッチとオーバラップしている。ビットストリーム内でパッチデータがシグナリングされる順序(例えば、これはパッチ識別子に対応する)は、特定のブロック位置でのパッチの優先順位を決定するために使用され、例えば、より高いパッチ識別子値のパッチが優先されてよい。
V3C/V-PCC及びMIV標準によるコーディングでは、投影ビューから長方形のパッチが形成され、アトラスに配置される。パッチはアトラス内でオーバラップする場合があり、最後にシグナリングされたパッチがオーバラップを解決するために優先される。標準では、アトラス内の各パッチに対して、対応する投影ビュー内のパッチのサイズと位置を含む情報及び/又はパッチ識別子を含むコーディングアトラスデータを送信するためのシグナリングメカニズムが定義されている。アトラスデータは、データブロックの各アトラス内のパッチへのマッピングである。幾つかの例では、このような情報がコーディングアトラスタイルデータシンタックス構造に含まれている。コーディングアトラスデータは、パッチごとのシグナリングである。コーディングアトラスデータは、デコーダによって復号され、アトラスデータを取得できる。幾つかの例では、コーディングアトラスタイルデータシンタックス構造が各フレーム時間又はインスタンスでシグナリングされる。幾つかの例では、コーディングアトラスタイルデータシンタックス構造が複数の連続するフレーム時間又はインスタンスに対して保持される。異なるアトラス又はアトラスタイルに対応する複数のコーディングアトラスタイルデータシンタックス構造は、同じアクセスユニット(同じ復号順序カウント(例えば、特定の時間インスタンスに対応するV-PCC/MIVビットストリームのデータ)を持つビットストリームのコンポーネントの一部(例えば、アトラスデータ、テクスチャビデオ、ジオメトリビデオ、占有ビデオなど))内でシグナリングされる場合があり、そのすべてが同じフレーム時間、インスタンス、又はPictureOrderCount(POC)値に対応する。例えば、標準では、アトラスデータ(例えば、変数2次元配列BlockToPatchMap[y][x](DecoderToPatchMap[y][x]とも呼ばれる))を計算する演算を定義できる。これは、アトラス空間内のブロックと対応するパッチのマッピングを表する。ここで、xとyはブロックサイズの粒度でのブロックの座標である。コーディングアトラスデータは、エンコーダからデコーダへのビットストリームに含まれる。
MIV標準は、V3C/V-PCCがその複数の投影に使用する複数の画像ビューをコーディングするために同様のアプローチを使用する。例えば、複数のアトラスをMIVに使用できる。MIVでは、アトラスへのパッチの配置が複数のフレーム時間にわたって保持されてよい。適合性チェックは、複数のアトラスや、アトラスの持続性のために利用できる。持続性は、データが追加データにより置き換えられるまで、アトラスに対応するデータをどれだけ長く保持できるかに対応する。
ここで開示される例では、アトラスデータハッシュを含む補足強化情報(supplemental enhancement information (SEI))メッセージが提供される。このようなメッセージは、MIV標準、V3C/V-PCC標準、及び/又はビットストリームに含まれるメッセージを生成するその他の標準で実装できる。アトラスデータハッシュ(ハッシュドアトラスデータとも呼ばれる)は、アトラスデータに対して実行されたハッシュ演算の結果である。ここで開示される例は、アトラスデータハッシュをSEIメッセージに含め、SEIメッセージをコーディングアトラスデータと共にビットストリームに含める。デコーダは、後述するように、SEIメッセージのハッシュアトラス値を使用して、デコーダが伝送エラー及び/又は復号エラーを識別するのを助ける。
上述のように、ここで開示される例は、ハッシュドアトラスデータ(例えば、そのブロックに対して優先されるパッチのブロック指示毎のアトラス毎の、又はパッチが表すビュー又は投影方向のアトラス毎のハッシュ値)を、対応するコーディングアトラスデータとともに、ビットストリーム内の補足強化情報(SEI)メッセージに含める。ハッシュドアトラスデータは、2次元配列変数BlockToPatchMap[y][x]のアトラスごとのハッシュを含んでよい。例えば、スキャンされた(例えば、ラスタスキャンされた)アトラスデータにハッシュ関数を適用して、アトラスデータが、特定のサンプルが対応するパッチ識別子(例えば数字)又はビュー識別子を示す数値の2次元データ構造であるようにすることができる。幾つかの例では、エンコーダは、コーディングアトラスタイルデータ内でパッチデータがシグナリングされる各アクセスユニットで、各アトラスのBlockToPatchMap[y][x]の値を決定する。ハッシュ関数は、1つ以上のハッシュ演算として実装できる。幾つかの例では、エンコーダが2次元配列全体のハッシュ値を生成し、アトラスデータのハッシュ値をSEIメッセージ内でシグナリングする。
ここに開示された例では、デコーダがコーディングビットストリームを受信すると、デコーダはSEIメッセージをビットストリームから分離する。デコーダは、SEIメッセージからアトラスハッシュ値を決定する。さらに、デコーダは、各アクセスユニット内のコーディングアトラスごとに、コーディングアトラスデータ(例えば、BlockToPatchMap[y][x]2次元配列の値)を復号して、復号されたアトラスデータを生成する。デコーダがコーディングアトラスデータを復号した後、デコーダは、デコーダ側のハッシュ値を生成するためにエンコーダによって実施されたのと同じハッシュ技術を使用して、デコードされたアトラスデータのハッシュ値(例えば、BlockToPatchMap[y][x]2次元配列)を生成する。この方法で、デコーダはデコーダ側のハッシュ値とSEIメッセージ内でシグナリングされたハッシュ値を比較する。値が一致した場合、デコーダはビットストリームが破損していないことを高い信頼度で検証し、コーディングアトラスタイルデータを復号するデコーダの動作が仕様に準拠していることを確認する(例えば、デコーダが正しく復号していることを検証する)。値が一致しない場合、デコーダは復号エラーが発生したと判断できる(例えば、ビットストリームが破損していた、及び/又はデコーダ動作が、コーディングアトラスタイルデータの復号に関して仕様に準拠していなかった)。
ここで提供されるように、復号されたアトラスデータハッシュとアトラスデータハッシュは、ビデオコーディングで使用したり、V3C/V-PCC標準及び/又はMIV標準などの標準化されたコーデックで使用したりするために生成される。SEIメッセージは、アトラスデータインスタンスごとに(例えば、一意の2次元アトラス配列ごとに)ハッシュ値をシグナリングしてよい。
図1は、例示的な符号化システム101及び例示的な復号システム110の例示的なブロック図を含む例示的な環境100である。例示的な符号化システム101は、例示的なアトラス生成器102、例示的なボリュメトリックビデオエンコーダ104、例示的なハッシュ生成器106、例示的なマルチプレクサ108を含む。例示的な復号システム110は、例示的なデマルチプレクサ112、例示的なボリュメトリックビデオデコーダ114、例示的なデータ再構成器116、例示的なハッシュ生成器118、例示的な比較器120を含む。
図1の例示的な符号化システム101(エンコーダ、符号化装置などとも呼ばれる)、及び例示的な復号システム110は、サーバコンピュータ、クラウドコンピューティング環境、パーソナルコンピュータ、ラップトップコンピュータ、タブレット、ファブレット、スマートフォン、ゲーム端末、ウェアラブル装置、ディスプレイ装置、オールインワン装置、ツーインワン装置、等を含む任意の適切な形状因子の装置又はそのような装置のうちの1つ以上で実装されてよい。図1の例示的な符号化システム101と例示的な復号システム110は異なるコンピューティング装置に実装されているが、例示的な符号化システム101と復号システム110は同じ装置に実装することができる。
図1の符号化システム101のアトラス生成器102は、符号化すべき入力ビデオの複数のビューを受信する。シーンの任意の数のビューが存在してよく、各ビューは、対応するテクスチャピクチャ又はフレーム(又はテクスチャビデオ)、及び対応するジオメトリピクチャア又はフレーム(又はジオメトリビデオ)を含んでよい。各時間インスタンスについて、シーンの1つ以上のビューのビデオデータが提供され、その結果、複数のテクスチャフレーム及び複数の深さ又はジオメトリフレームが生成されてよい。例えば、各テクスチャフレームは、明るさ/色(YUV)データ、赤緑青(RGB)データ、又は同様のデータのようなピクセル毎色情報を含んでよく、各ジオメトリ又は深さフレームは、ピクセル毎深さデータ又は同様のデータを含んでよい。テクスチャ及びジオメトリフレームは、同じ又は異なる解像度を有してよい。例えば、テクスチャフレームは、ビデオグラフィックアレイ(video graphics array (VGA))、高解像度(high definition (HD))、Full-HD(例えば、1080p)、4K解像度ビデオ、8K解像度ビデオ、等であってよい。ここで開示される例は、フレーム及びピクチャ(これらは同義的に使用される)に関して説明される。
図1の例示的なアトラス生成器102は、特定のフレームインデックス又はインスタンスに対して、テクスチャアトラス及びジオメトリ又は深さアトラスを生成する(例えば、入力ビューから変換する)。例えば、アトラス生成器102は、複数のビューの各々をパッチ(例えば長方形領域)に分解し、それらを配置してアトラスを形成する。アトラス生成器102は、複数のビュー間の冗長性を減らすために、アトラスをフォーマットすることができる。例示的なアトラス生成器102は、テクスチャアトラス(テクスチャ情報を含む)とジオメトリ又は深さアトラス(ジオメトリ又は深さ情報を含む)を形成し、符号化システム101のボリュメトリックビデオエンコーダ104にデータを提供する。
図1の例示的なアトラス生成器102は、特定のフレームインデックス又はインスタンスについて、テクスチャ内の各パッチのソース(例えば、そのパッチに関連付けられた対応するビュー)を示すメタデータと深さアトラスを含むアトラスデータを決定する。幾つかの例では、アトラス生成器102は、深さアトラスのパッチがテクスチャアトラスのパッチに従うか一致するように、テクスチャ及び深さアトラスのアトラスデータの単一のインスタンスを生成する。その逆も同様である。アトラスデータは、アトラス内のテクスチャ及び深さパッチデータを使用して、複数のビュー(又はその一部)を再構成するためのメタデータを提供する。ここで使用されるように、アトラスデータという用語は、テクスチャのパッチのソース及び深さアトラスを示す、そのようなパッチのソースを示す数値の2次元配列のような任意のデータ構造を示す。幾つかの例では、ピクセルがパッチに対応しない場合、アトラスデータには、各々がパッチ識別子を表すピクセル単位の数値の2次元配列(又はデフォルト値(例えば、データ構造で利用可能な最大値として))が含まれている。幾つかの例では、アトラス生成器102は、ピクセルのソースビューを各々示すピクセル毎の数値の2次元配列(又はピクセルがソースビューに対応しない場合は、デフォルト値)を含むよう、アトラスデータを生成する。幾つかの例では、アトラス生成器102は、ピクセルのソースビュー及びパッチ番号を各々示すピクセル毎の数値の2次元配列(又はピクセルがソースビューに対応しない場合は、デフォルト値)を含むよう、アトラスデータを生成する。幾つかの例では、データの2次元配列は、(例えば、2次元配列のすべてのデータを1次元ベクトルにリストすることで)ラスタスキャン操作で作成されるような1次元形式で表すことができる。幾つかの例では、アトラス生成器102は、以下でさらに説明するように、DecoderToPatchMap[y][x]シンタックス要素を使用してアトラスデータを生成する。
幾つかの例では、次の表1に示す擬似コードに関して示すように、アトラス生成器102はアトラスデータインスタンスを生成する。表1の擬似コードでは、アトラスデータはDecoderToPatchMap[y][x](BlockToPatchMap[y][x]とも呼ばれる)である。
Figure 2023519512000002
表1の上記の擬似コード(1)では、コードの最初のセクションで、コーディングアトラスタイルのサイズとブロックサイズに基づいてBlockToPatchMap2D配列の幅と高さを定義している。擬似コード(1)の2番目のセクションは、ブロックが占有されていないことを示すブロックの初期値(例えば、-1)を設定する。擬似コード(1)の3番目のセクションは、コーディングアトラスデータ内のパッチに対して、ブロックのx位置とy位置、及びパッチの幅とパッチの高さを使用して、パッチによってカバーされるBlockToPatchMap2D配列内のブロックのパッチインデックス値を設定する。
幾つかの例では、アトラス生成器102は、表2に示されている擬似コードに関して示されているように、アトラスデータインスタンス(例えば、ブロックごとのパッチインデックス)を生成する。表2の擬似コードでは、アトラスデータは再びDecoderToPatchMap[y][x]である。幾つかの例では、BlockToPatchMapの形式は16ビット符号なしに割り当てられ、BlockToPatchMap[y][x]の各サンプルのデフォルト値は、値を上書きするパッチがない場合に維持され、表1の擬似コードを基準にして-1から0xFFFF(又は65535)に変更される。
Figure 2023519512000003
表2の上記の擬似コード(2)では、コードの最初のセクションで、コーディングされたアトラスタイルのサイズとブロックサイズに基づいてBlockToPatchMap2D配列の幅と高さを定義している。擬似コード(2)の2番目のセクションは、ブロックが占有されていないことを示すブロックの初期値(例えば、0xFFFF)を設定する。擬似コード(2)の3番目のセクションは、コーディングされたアトラスデータ内のパッチに対して、ブロックのx位置とy位置、及びパッチの幅とパッチの高さを使用して、パッチによってカバーされるBlockToPatchMap2D配列内のブロックのパッチインデックス値を設定する。
例示的なアトラス生成器102は、アトラスデータを符号化システム101の例示的なボリュメトリックビデオエンコーダ104と例示的なハッシュ生成器106に出力する。
図1の符号化システム101のボリュメトリックビデオエンコーダ104は、テクスチャ及び深さアトラスをアトラスを表すコーディングテクスチャ及び深さビットストリームに符号化し、符号化データを符号化システム101の例示的なマルチプレクサ108に出力する。幾つかの例では、ボリュメトリックビデオエンコーダ104は、標準準拠のビットストリームを生成するために、HEVCなどの標準準拠のコーディングに基づいてテクスチャ及び深さのアトラスを符号化する。図の例では、ボリュメトリックビデオエンコーダ104は、アトラスデータを符号化して符号化アトラスデータを生成し、符号化アトラスデータをアトラスデータを表すコーディングアトラスデータビットストリームに含め、コーディングアトラスデータビットストリームを例示的なマルチプレクサ108に出力する。幾つかの例では、ボリュメトリックビデオエンコーダ104は、標準準拠のビットストリームを生成するために、HEVCなどの標準準拠のコーディングに基づいてアトラスデータを符号化する。
図1の符号化システム101のハッシュ生成器106は、アトラスデータを使用して、16バイトのメッセージダイジェストアルゴリズム5(MD5)ハッシュ、巡回冗長検査(CRC)ハッシュ、チェックサムハッシュなどの任意の1つ以上の適切なハッシュ演算を使用してハッシュ値を生成する。ハッシュ生成器106がアトラスデータをハッシュした後、ハッシュ生成器106は、ハッシュドアトラスデータを1つ以上のSEIメッセージに内でシグナリングする(例えば、含める、又は埋め込む)。ハッシュ生成器106は、ハッシュドアトラスデータを含むようSEIメッセージを生成してよく、又は別のコンポーネントから生成されたSEIメッセージを受信し、既に生成されたSEIメッセージにハッシュドアトラスデータを含めてもよい。例示的なハッシュ生成器106は、ハッシュドアトラスデータを含むSEIメッセージを符号化システム101のマルチプレクサ108に出力する。幾つかの例では、ハッシュ生成器106は、単一のアトラスデータインスタンスに対する単一のハッシュ値をアトラスデータハッシュSEIメッセージに含める。幾つかの例では、ハッシュ生成器106は、アトラスデータハッシュSEIメッセージに、複数のアトラスデータインスタンスについて複数のハッシュ値を含める(例えば、各々のハッシュ値が特定のアトラスデータインスタンスにインデックス付けされている)。幾つかの例では、ハッシュ生成器106は、後述するように、SEIメッセージに、アトラスデータインスタンスに対応する持続性データを含める。幾つかの例では、ハッシュ生成器106は各アトラスデータインスタンスのハッシュ値を生成する。幾つかの例では、ハッシュ生成器106は、送信されたビットストリームに関してハッシュ値検証が断続的に提供されるように、ピクチャグループ(group of pictures (GOP))内の単一インスタンスのように、幾つかのアトラスデータインスタンスに対してハッシュ値を生成する。
図1の符号化システム101のマルチプレクサ108は、コーディングテクスチャ及び深さビットストリーム、コーディングアトラスデータのビットストリーム、及びアトラスデータのハッシュSEIメッセージを結合又は多重化する。符号化システム101は、復号システム110で最終的に使用するために、結果として生じたビットストリームを復号システム110又はメモリに送信する。幾つかの例では、マルチプレクサ108は結果として生じたビットストリームをインタフェース(例えば、図4のインタフェース420)を使用して復号システム110に送信する。このような例では、インタフェース420は、結果として生じたビットストリームを有線又は無線結合を介して(例えば、Bluetooth経由、インターネット経由、ローカルネットワーク経由、Wi-Fi経由など)復号システム110に送信することができる。
図1の復号システム110(デコーダ、復号装置などとも呼ばれる)は、復号システム110のデマルチプレクサ112を介してビットストリームを取得する。幾つかの例では、デマルチプレクサ112はインタフェース(例えば、図5のインタフェース520)を介してビットストリームを取得する。復号システム110はクライアントシステムを介して実装されてよく、符号化システム101はサーバ又はソースシステムを介して実装されてよい。復号システム110のデマルチプレクサ112は、受信したビットストリームを逆多重化又はパースして、(a)テクスチャ及び深さビデオのコーディング表現を含み、符号化システム101に関して記述されたコーディングテクスチャ及び深さビットストリームと一致することが期待される、コーディングテクスチャ及び深さビットストリーム、(b)符号化システム101によって生成されたアトラスデータと一致することが期待される、コーディングアトラスデータビットストリーム、及び(c)取得したビットストリームデータからの一つ以上のアトラスデータハッシュSEIメッセージ、を生成する(例えば、抽出する)。コーディングテクスチャ及び深さビットストリーム、コーディングアトラスデータビットストリーム、及びアトラスハッシュSEIメッセージは、デコーダ側コーディングテクスチャ及び深さビットストリーム、コーディングアトラスデータビットストリーム、及びアトラスデータハッシュSEIメッセージとして特徴付けられる。コーディングテクスチャ及び深さビットストリーム、コーディングアトラスデータビットストリーム、及びアトラスデータハッシュSEIメッセージは、ビットストリームの復号及び/又は送信に対応するビットストリームエラーがない場合に、エンコーダシステム101における対応するものを複製する。ただし、ビットストリームの破損、伝送の失敗、及び/又はその他の理由により、不一致が発生することがある。
図1の復号システム110の例示的なボリュメトリックビデオデコーダ114は、(例えば、復号テクスチャアトラス、深さアトラス、及び/又は対応するアトラスデータインスタンスを生成するために、)コーディングテクスチャ、深さビットストリーム、コーディングアトラスデータビットストリームを受信し(例えば、取得し)復号する。ボリュメトリックビデオデコーダ114は、復号データを復号システム110のデータ再構成器116に送信する。ボリュメトリックビデオデコーダ114は、ボリュメトリックビデオエンコーダ104で使用された符号化技術に基づいて、コーディングテクスチャを復号して復号テクスチャ値を生成し、コーディング深さ値を復号して復号深さ値を生成し、コーディングアトラスデータビットストリームを復号して復号アトラスデータビットストリーム、深さアトラス、及び/又は対応するアトラスデータインスタンスを生成する。
図1のデータ再構成器116は、復号テクスチャアトラス、復号深さアトラス、及び復号アトラスデータを使用して、符号化システム101に提供される入力ビューの復号バージョンを再構成する。例えば、復号システム110のデータ再構成器116は、符号化システム101のアトラス生成器102の逆演算を実行して再構成ビューを生成し、これを使用してユーザのビューポートビューを生成することができる。
図1の例示的なハッシュ生成器118は、ボリュメトリックビデオデコーダ114から復号アトラスデータを取得する。復号システム110は、符号化システム101で生成されたアトラスデータを複製しようとする。これは、復号システム110において復号されて、(例えば、復号エラーがない場合に)エンコーダ側のハッシュドアトラスデータ及びデコーダ側のハッシュドアトラスデータが一致するようにする。ただし、前述のように、ビットストリームの破損及び/又は伝送の失敗、及び/又は復号システム110のボリュメトリックビデオデコーダ114の障害によって、エンコーダ側のアトラスデータとデコーダ側のアトラスデータが一致しない場合がある。後述するように、比較器120は、エンコーダ側のハッシュ値とデコーダ側のハッシュ値を比較して、不一致を判断することができる。
図1のハッシュ生成器118は、符号化システム101のハッシュ生成器と同じハッシュ演算を同じアトラスデータ(例えば、復号/伝送エラーがない場合に一致する、又は復号/伝送エラーがある場合に一致しない)に適用して、アトラスデータのインスタンスに対してハッシュ値を生成する。適用可能なハッシュ演算は、コーディング標準に対応するデフォルトのハッシュ演算、アトラスデータハッシュSEIメッセージでシグナリングされる適用可能なハッシュ演算などである。復号システム110のハッシュ生成器によって生成されたハッシュ値ごとに、デコーダ側のハッシュ値(例えば、デコーダで生成されるハッシュ値)とエンコーダ側のハッシュ値(例えば、ハッシュSEIメッセージで受信したハッシュ値)が(比較器120によって)比較される。
図1の例示的な比較器120は、デコーダ側のハッシュ(例えば、ハッシュ生成器118から)とエンコーダ側のハッシュ(例えば、デマルチプレクサ112から)を比較する。比較器120が2つのハッシュ値が一致すると判断した場合、復号システム110(例えば、クライアントシステム)は、受信したビットストリームが破損していないこと、及びアトラスデータ(例えば、メタデータ)に対するボリュメトリックビデオデコーダ114の動作がビットストリーム及び/又はV3C/V-PCC又はMIVなどの適用可能なビデオコーディング標準に準拠していたことを高い確実性で判断する。比較器120が任意の2つのハッシュ値が一致しないと判断した場合、比較器120は破損したビットストリーム又は不適合のデコーダ動作を示すエラーフラグを出力する。幾つかの例では、比較器120は、アトラスデータインスタンスごとにエラーフラグを出力する。アトラスデータインスタンスごとのエラーフラグは、ハッシュ値の一致又は不一致を識別する値である(例えば、一致の場合は「1」、不一致の場合は「0」、又はその逆)。幾つかの例では、不一致が検出された場合、比較器120はアトラスデータインスタンスの障害ごとにエラーフラグを出力する(その他の場合、一致が推定される)。
次に、アトラスデータハッシュ値に基づく検証を実装するための例示的なシンタックスとセマンティクスを示す。幾つかの例では、アトラス(例えば、アトラスデータインスタンス)の数をシグナリングするシンタックス要素がSEIメッセージに含まれる。幾つかの例では、アトラスごとにハッシュ値がシグナリングされる。例示的なハッシュ生成器106、118は各々、16バイトのMD5サム、CRC、チェックサム、又は別の種類のハッシュ値を使用してハッシュ値を生成する。ハッシュ値の決定については後述するが、幾つかの例では、16ビット符号なしBlockToPatchMap[y][x]値の2バイトの各々が順にハッシュ計算に入力される。パッチの数が216(例えば、パッチ識別子を表すには16ビット又は2バイトで十分である)に制限されている場合に、パッチ識別子を表すために2バイトが使用できる。このような例では、バイトに対してハッシュ計算を実行できる。
幾つかの例では、MIV及びVPCCのビットストリームにVPCCユニットが含まれている。VPCCユニットには、ヘッダとペイロードの情報が含まれる。ヘッダには、ペイロードが適用されるアトラスIDを示すvuh_atlas_idシンタックス要素が含まれている。MIV標準は、すべてのアトラスに適用できるデータを含む「共通アトラス(common atlas)」をサポートしている。幾つかの例では、SEIメッセージが「共通アトラス」に存在する場合、複数のアトラスのハッシュデータが含まれている可能性がある。幾つかの例では、関連するアトラスと同じvuh_atlas_idの値を持つ別々のSEIメッセージが各アトラスに使用される場合がある。ハッシュデータが1つより多くのアトラスに対してシグナリングされる場合、各ハッシュが適用されるatlas_id値が明示的にシグナリングされる。
幾つかの例では、アトラスデータは複数のアクセスユニットにわたって一貫しており、提案されるSEIハッシュデータはキャンセルされるまで保持されてよい。持続性は、複数のアトラスのデータを含むSEIメッセージ全体に対して、又はアトラスごとに個別にシグナリングされてよい。一部の例では、持続性フラグ値が1(又はその他の値)に設定されている場合、キャンセルフラグ値が1(又は何らかの他の値)に設定されるまで、又は瞬間的なランダムアクセスポイント(instantaneous random access point (IRAP))アトラスが(例えば、ランダムアクセス復号がIRAPアトラス内に存在するために)ビットストリーム内に存在するまで、ハッシュ値は、ビットストリーム内の将来のアクセスユニットについて保持される。前述のように、アクセスユニットは、同じ復号順序カウント(例えば、特定の時間インスタンスに対応するV-PCC/MIVビットストリームのデータ)を有するビットストリームのコンポーネントの一部である(例えば、アトラスデータ、テクスチャビデオ、ジオメトリビデオ、占有ビデオなど)。一部の例では、全体的な持続性フラグと全体的なキャンセルフラグがSEIメッセージに含まれており、これはすべてのアトラスに適用される。幾つかの例では、1つより多くのアトラスが示されている場合、アトラスごとに個別の持続性フラグとキャンセルフラグが提供される。したがって、比較器120(又は別のデバイス)がビットストリーム内の第1アクセスユニットに対応するフラグを生成する場合、ビットストリームに対応するメッセージが持続性を示すときに、比較器はビットストリーム内の第2(例えば、後続の)アクセスユニットに対して追加のフラグを生成することがある。
次の表3は、アトラスデータハッシュ値と、アトラス指示子及び持続性フラグなどの関連データをシグナリングするために、例示的なハッシュ生成器106,118が使用する例示的なシンタックスを示している。
Figure 2023519512000004
表3に示すシンタックスと意味の例は、復号アトラスデータブロックのアトラスデータハッシュ値を1つ以上のアトラスのパッチマップにシグナリングする。
シンタックス要素dadh_cancel_flagは、SEIメッセージが、現在のレイヤに適用されるコーディング順序で、以前に復号されたアトラスデータハッシュSEIメッセージの持続性をキャンセルすることを示すために、1に設定される。シンタックス要素dadh_cancel_flagは、復号されたアトラスデータのハッシュ情報が続くことを示すために0に設定される。シンタックス要素dadh_persistence_flagは、SEIメッセージが復号されたアトラスデータハッシュSEIメッセージの持続性を指定することを示すために1に設定される。シンタックス要素dadh_persistence_flagは、復号されたアトラスデータハッシュSEIメッセージが現在の復号されたアクセスユニットにのみ適用されることを指定するために0に設定される。
幾つかの例では、auAを現在のアクセスユニットとし、dadh_persistence_flagが1に等しい場合、次のいずれかの条件が満たされるまで、復号されたアトラスデータハッシュSEIメッセージが出力順に保持されることを指定する。(1)現在のレイヤの新しいコーディングビデオシーケンス(CVS)が開始される、(2)ビットストリームが終了する、又は(3)FrameOrderCnt(auB)がFrameOrderCnt(auA)より大きい場合に(例えば、より高いカウントがビデオシーケンス内の後の時間に対応するため、どのアクセスユニットが後のビデオシーケンスに対応するかを判断するために)、復号アトラスデータハッシュSEIメッセージを含むアクセスユニット内の現在のレイヤのアクセスユニットauBが出力され、ここで、FrameOrderCnt(auB)及びFrameOrderCnt(auA)は、各々、auBのピクチャオーダカウントの復号処理の実施直後のauB及びauAのFrameOrderCntVal値である。FrameOrderCntは、フレームがコーディングされる、及び/又は表示されることを意図している順序である。FrameOrderCntが使用されるのは、フレームがコーディングされる及び/又は表示される順序が、ビットストリームに存在する順序と異なる場合があるからである(例えば、符号化システム101はフレームを順不同にコーディングすることを選択できるからである)。アトラスが後のフレームに対して明示的にシグナリングされない場合、ハッシュ値は追加のフレームに対して持続してよい。シンタックス要素dadh_num_atlases_minus1に1を加えたものは、ハッシュ値が存在するアトラス又はアトラスタイルの数を指定する。
シンタックス要素dadh_atlas_id[a]はi番目のシグナリングハッシュデータのアトラスIDを指定する。幾つかの例では、dadh_atlas_id[a]の値は、存在しない場合、vuh_atlas_idと等しいと推定される。
シンタックス要素dadh_atlas_cancel_flag[dadh_atlas_id[a]が1に等しいことは、SEIメッセージがdadh_atlas_id[a]番目のアトラスに適用されるコーディング順序で、以前に復号されたアトラスデータハッシュの持続性をキャンセルすることを示す。シンタックス要素dadh_atlas_cancel_flag[dadh_atlas_id[a]]が0に等しいことは、復号アトラスデータハッシュ情報が続くことを示す。dadh_atlas_id[a]番目のアトラスの場合。幾つかの例では、dadh_atlas_cancel_flag[dadh_atlas_id[a]の値は、存在しない場合、0と等しいと推定される。
シンタックス要素dadh_atlas_persistence_flag[dadh_atlas_id[a]]は、dadh_atlas_id[a]番目のアトラスの復号アトラスデータハッシュSEIメッセージの持続性を指定する。シンタックス要素dadh_atlas_persistence_flag[dadh_atlas_id[a]]が0に等しいことは、復号アトラスデータが現在のアクセスユニットの[dadh_atlas_id[a]]番目のアトラスにのみ適用されることを指定する。
幾つかの例では、auAを現在のピクチャユニットとすると、dadh_atlas_persistence_flag[dadh_atlas_id[a]]が1に等しいことは、次のいずれかの条件が真になるまで、復号アトラスデータハッシュSEIメッセージが出力順で[dadh_atlas_id[a]]番目のアトラスについて保持されることを指定する。(1)新しいCLVSの開始、(2)ビットストリームが終了する、又はdadh_atlasI-d[a]番目のアトラスに適用される復号アトラスデータハッシュSEIメッセージを含むアクセスユニット内のアトラスデータユニットBが、FrameOrderCnt(auB)がFrameOrderCnt(aauA)よりも大きい場合に出力される。ここで、FrameOrderCnt(auB)及びFrameOrderCnt(auA)は、各々、auBのアトラスフレームオーダカウントでアトラスデータ復号処理の実施の直後のauB及びauAのFrameOrderCntVal値である。
幾つかの例では、ハッシュ値を計算する前に、ハッシュ生成器106、118は、擬似コード(3)で次のように、アトラスブロックパッチマップデータを長さdataLenのbtpmDataと呼ばれるバイト列に配置する。
Figure 2023519512000005
シンタックス要素dadh_patch_map_md5[i]は、vuh_atlas_idの値がdadh_atlas_idと等しい現在のアクセスユニットのアトラスのBlockToPatchMap[][]変数の16バイトMD5ハッシュである。dadh_patch_map_md5[i]の値は、IETF RFC1321で定義されたMD5関数を使用して、擬似コード(4)で次のように取得されたdigestValの値と等しいものとする。
Figure 2023519512000006
16バイトMD5ハッシュに関して示されているが、(例えば、巡回冗長検査、及びチェックサムのような)任意の適切なハッシュ演算と値を実装することができる。
運用上、符号化システム101において、アトラス生成器102は、アトラスデータが対応するテクスチャアトラス及び/又は深さアトラスのパッチのパッチソースデータを示すように、複数の入力ビューに基づいてアトラスデータ(例えば、アトラスデータインスタンス、ファイル、マッピング)を生成することができる。例えば、アトラス生成器102は、ソースパッチ、ソースビュー、及びソース位置が複数のビューのソースビューに対して相対的であるように、ピクセルのソースパッチ、ソースビュー、及び/又はソース位置を示すテクスチャアトラス及び/又は深さアトラスの各ピクセルの指示子を含むアトラスデータを生成することができる。ハッシュ生成器106は、1つ以上の対応するハッシュ演算を使用して、アトラスデータに基づいてハッシュ値を生成することができる。例えば、アトラスデータは2次元配列から1次元配列にスキャンされ、ハッシュ生成器106は、スキャンされた1次元配列に1つ以上のハッシュ演算を適用することができる。ハッシュ生成器106は、ハッシュ値と、任意で、他のアトラスデータの追加のハッシュ値を、復号システム110に送信するためのアトラスデータハッシュSEIメッセージなどのハッシュ値メッセージへとコーディングすることができる。幾つかの例では、マルチプレクサ108は、アトラスデータハッシュSEIメッセージを、コーディングテクスチャアトラス、コーディング深さアトラス、及びアトラスデータのコーディングバージョンに対応するビットストリーム部分も含むビットストリームに含める(例えば、結合する)。コーディングテクスチャアトラス、コーディング深さアトラス、及びコーディングアトラスデータは、ボリュメトリックビデオエンコーダ104によってコーディングされてよい。コーディングテクスチャアトラス、コーディング深さアトラス、及びコーディングアトラスデータは、ボリュメトリックビデオエンコーダ104によってコーディングされてよく、複数の入力ビューを再構成するための構造を提供する。幾つかの例では、ハッシュ生成器106は、アトラスデータハッシュSEIメッセージに、ハッシュ値を生成するために使用される1つ以上のハッシュ演算を示すハッシュ演算指示子を含む。幾つかの例では、ハッシュ生成器は、以前のアトラスデータの持続性をキャンセルするか、又はアトラスデータハッシュSEIメッセージ内の現在のアトラスデータの持続性を開始するための指示子を含む。幾つかの例では、ハッシュ生成器106は、提供されたアトラスとハッシュ値の数の指示子と、アトラスデータハッシュSEIメッセージ内のハッシュ値とアトラスをインデックス付けするための1つ以上のインデックスを含む。
復号システム110では、復号システム110のインタフェースが、コーディングテクスチャアトラス、コーディング深さアトラス、及びコーディングアトラスデータを表すビットストリーム部分を含むビットストリームと、エンコーダに対応する任意のデータを含むことができるアトラスデータハッシュSEIメッセージなどのアトラスデータハッシュ値メッセージと、を取得する。ボリュメトリックビデオデコーダ114は、ビットストリーム部分を復号して、復号テクスチャアトラス、復号深さアトラス、及び復号アトラスデータ(例えば、アトラスデータのインスタンス、ファイル、マッピング)を生成する。ボリュメトリックビデオデコーダ114は、復号アトラスデータにエンコーダと同じハッシュ演算(例えば、アトラスデータハッシュSEIメッセージでシグナリングされたハッシュ演算指示子に基づいて選択される)を適用して、デコーダ側ハッシュ値を生成する。比較器120は、アトラスデータハッシュSEIメッセージで得られたエンコーダ側ハッシュ値とデコーダ側ハッシュ値を比較する。比較器120が、エンコーダ側ハッシュ値がデコーダ側ハッシュ値(ハッシュ生成器118で生成されたもの)と一致すると判断した場合、比較器120は、データ再構成器116に指示子を出力して、復号テクスチャアトラス、復号深さアトラス、及び復号アトラスデータを使用してユーザに提示するためのビュー(例えば、再構成マルチビューでのビューポートを表す)を生成する際に使用するために、復号アトラスデータをリリースできる。比較器120がエンコーダ側ハッシュ値がデコーダ側ハッシュ値と一致しないと判断した場合、比較器120は不一致を示す指示子(例えば、エラーフラグ)を出力し、デコーダはビューの提示を妨げたり、関連するビットストリームの新しいコピーを要求したり、受信したビットストリームの修正された復号を試みたり、取得したデータを破棄したり、ユーザに指示を送信したりすることができる。
図1の符号化システム101及び/又は復号システム110を実装する例示的な方法が図1に示されているが、図1に示されている1つ以上の要素、プロセス及び/又はデバイスは、他の方法で結合、分割、再配置、省略、削除及び/又は実装することができる。さらに、例示的なアトラス生成器102、例示的なボリュメトリックビデオエンコーダ104、例示的なハッシュ生成器106、例示的なマルチプレクサ108、及び/又はより一般的には、図1の例示的な符号化システム101及び/又は図1の例示的なデマルチプレクサ112、例示的なボリュメトリックビデオデコーダ114、例示的なハッシュ生成器118、例示的なデータ再構成器116、例示的な比較器120、及び/又はより一般的には例示的な復号システム110は、ハードウェア、ソフトウェア、ファームウェア、及び/又はハードウェア、ソフトウェア、及び/又はファームウェアの任意の組み合わせによって実装することができる。従って、例えば、図1の例示的なアトラス生成器102、例示的なボリュメトリックビデオエンコーダ104、例示的なハッシュ生成器106、例示的なマルチプレクサ108、及び/又はより一般的には例示的な符号化システム101及び/又は図1の例示的なデマルチプレクサ112、例示的なボリュメトリックビデオデコーダ114、例示的なハッシュ生成器118、例示的なデータ再構成器116、例示的な比較器120、及び/又はより一般的には例示的な復号システム110は、1つ以上のアナログ又はデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィックス処理ユニット(GPU)、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、プログラマブルロジックデバイス(PLD)及び/又はフィールドプログラマブルロジックデバイス(FPLD)により実装され得る。本特許の機器又はシステムの請求項のいずれかを読んで純粋なソフトウェア及び/又はファームウェアの実装をカバーする場合、図1の例示的なアトラス生成器102、例示的なボリュメトリックビデオエンコーダ104、例示的なハッシュ生成器106、例示的なマルチプレクサ108、及び/又はより一般的には例示的な符号化システム101及び/又は図1の例示的なデマルチプレクサ112、例示的なボリュメトリックビデオデコーダ114、例示的なハッシュ生成器118、例示的なデータ再構成器116、例示的な比較器120、及び/又はより一般的には例示的な復号システム110は、ここに明示的に、ソフトウェア及び/又はファームウェアを含むメモリ、デジタルバーサタイルディスク(DVD)、コンパクトディスク(CD)、ブルーレイディスク等のような非一的なコンピュータ可読記憶装置又は記憶ディスクを含むと定義される。また更に、図1の例示的な符号化システム及び/又は例示的な復号システム110は、1つ以上の要素、処理、及び/又は装置を、図1に示されたものに加えて又はその代わりに含んでよく、及び/又は図示された要素、処理、及び装置のうちの1つより多くの任意の又は全部を含んでよい。ここで使用されるとき、語句「通信する(in communication)」及びその変形は、直接通信及び/又は1つ以上の中間コンポーネントを通じる間接通信を包含し、直接物理(例えば有線)通信及び/又は一定の通信を必要としないが、むしろ更に、周期的間隔、スケジューリングされた間隔、非周期的間隔、及び/又は単発的の選択的通信を含む。
図1の符号化システム101及び/又は復号システム110を実装するための例示的なハードウェアロジック、機械可読命令、ハードウェア実装状態機械、及び/又はそれらの任意の組み合わせを表すフローチャートを図2及び図3に示す。機械可読命令は、図4、5と関連して後述する例示的なプロセッサプラットフォーム400、500内に示されるプロセッサ412、512のようなコンピュータプロセッサによる実行のための1つ以上の実行プログラム又は実行プログラムの一部であってよい。45。プログラムは、CD-ROM、フロッピーディスク、ハードドライブ、DVD、ブルーレイディスク、又はプロセッサ412、512に関連付けられたメモリのような非一時的コンピュータ可読記憶媒体に格納されたソフトウェア内に具現化されてよいが、プログラム全体及び/又はその部分は、代替として、プロセッサ412、512以外の装置により実行され、及び/又はファームウェア又は専用ハードウェアで具現化されてよい。更に、例示的なプログラムは図4及び図5に示されるフローチャートを参照して説明されるが、例示的な符号化システム110及び/又は復号システム110を実装する多くの他の方法が代替として使用されてよい。例えば、ブロックの実行順序は変更されてよく、記載されたブロックのうちの幾つかは、変更され、削除され、又は結合されてよい。追加又は代替として、任意の又は全部のブロックは、ソフトウェア又はファームウェアを実行することなく対応する動作を実行するよう構成された1つ以上のハードウェア回路(例えば、個別及び/又は集積アナログ及び/又はデジタル回路、FPGA、ASIC、比較器、演算増幅器(op-amp)、論理回路、等)により実装されてよい。
本願明細書に記載される機械可読命令は、圧縮形式、暗号化形式、フラグメント形式、コンパイル形式、実行可能形式、パッケージ形式、等のうちの1つ以上で格納されてよい。本願明細書に記載される機械可読命令は、機械実行可能命令を生成し、製造し、及び/又は生産するために利用され得るデータ(例えば、命令の部分、コード、コードの表現、等)として格納されてよい。例えば、機械可読命令はフラグメント化され、1つ以上の記憶装置及び/又は計算装置(例えば、サーバ)に格納されてよい。機械可読命令は、コンピューティング装置及び/又は他の機械によりそれらを直接読み取り可能、解釈可能、及び/又は実行可能にするために、インストール、変更、適応、更新、結合、補強、構成、複合、伸長、パッケージ解除、分散、再割り当て、コンパイル、等のうちの1つ以上を要求してよい。例えば、機械可読命令は、個別に圧縮され、暗号化され、及び別個のコンピューティング装置に格納された複数の部分に格納されてよく、部分は、復号され、伸長され、結合されると本願明細書に記載されたようなプログラムを実施する実行可能命令のセットを形成する。
別の例では、機械可読命令は、特定のコンピューティング装置又は他の装置で命令を実行するためにライブラリ(例えば、DLL(dynamic link library))、SDK(software development kit)、API(application programming interface)等の追加を必要とするが、コンピュータにより読み取られる状態で格納されてよい。別の例では、機械可読命令は、機械可読命令及び/又は対応するプログラムが全体又は部分的に実行できるようになる前に、構成される必要があってよい(例えば、格納された設定、入力されたデータ、記録されたネットワークアドレス、等)。従って、開示の機械可読命令及び/又は対応するプログラムは、格納されるとき又は静止中若しくは輸送中の機械可読命令の特定のフォーマット又は状態に関わらず、そのような機械可読命令及び/又はプログラムを含み得る。
本願明細書に記載される機械可読命令は、任意の過去、現在、又は将来の命令言語、スクリプト言語、プログラミング言語、等により表現できる。例えば、機械可読命令は、以下の言語:C、C++、Java、C#、Perl、Python、JavaScript、HyperText Markup Language(HTML),、Structured Query Language(SQL)、のうちのいずれかを用いて表現されてよい。
上述のように、図2及び3の例示的な処理は、ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ、コンパクトディスク、デジタルバーサタイルディスク、キャッシュ、ランダムアクセスメモリ、及び/又は任意の期間の間(例えば、拡張時間期間の間、永久的に、短い瞬間、一時的バッファリングの間、及び/又は情報のキャッシュの間)情報が格納される任意の他の記憶装置又は記憶ディスクのような非一時的コンピュータ及び/又は機械可読媒体に格納された実行可能命令(例えば、コンピュータ及び/又は機械可読命令)を用いて実装されてよい。ここで使用されるとき、用語「非一時的コンピュータ可読媒体」は、任意の種類のコンピュータ可読記憶装置及び/又は記憶ディスクを含み、伝搬する信号を除外し、及び伝送媒体を除外するものと、明示的に定められる。
「含む」及び「有する」(including、comprising)(及びそれらの全ての形式及び時制)は、ここで、広義の用語として使用される。従って、請求項がプリアンブルとして又は任意の種類の請求項の記載の中に「含む」又は「有する」の任意の形式(例えば、comprises、includes、comprising、including、having、等)を利用するときはいつでも、対応する請求項又は記載の範囲から逸脱することなく、追加の要素、用語、等が存在、し得ることが理解されるべきである。ここで使用されるとき、語句「少なくとも」が例えば請求項のプリアンブルで変化の用語として使用されるとき、それは、用語「有する」及び「含む」と同様に広義である。用語「及び/又は」は、例えばA、B、及び/又はCのような形式で使用されるとき、A、B、Cのうちの任意の組み合わせ又は部分集合、例えば(1)Aのみ、(2)Bのみ、(3)Cのみ、(4)AとB、(5)AとC、(6)BとC、(7)AとB及びC、を表す。構造、コンポーネント、アイテム、オブジェクト、及び/又は事物を記述する文脈において本願明細書で使用されるとき、語句「A及びBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。同様に、構造、コンポーネント、アイテム、オブジェクト、及び/又は事物を記述する文脈において本願明細書で使用されるとき、語句「A又はBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。処理、命令、アクション、アクティビティ、及び/又はステップの実行を記述する文脈において本願明細書で使用されるとき、語句「A及びBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。同様に、命令、アクション、アクティビティ、及び/又はステップの実行を記述する文脈において本願明細書で使用されるとき、語句「A又はBのうちの少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのA及び少なくとも1つのB、のうちのいずれかを含む実装を表すことを意図する。
本願明細書で使用されるとき、単数表現(例えば、“a”、“an”、“first(第1)”、“second(第2)”)は、複数を排除しない。用語(「a」又は「an」)エンティティは、本願明細書で使用されるとき、1つ以上のエンティティを表す。用語「a」(又は「an」)、「1つ以上」、及び「少なくとも1つ」は、本願明細書において同義的に使用できる。更に、個別にリストされたが、複数の手段、要素、又は方法のアクションは、例えば単一のユニット又はプロセッサにより実施されてよい。更に、個々の特徴は異なる例又は請求項に含まれることがあるが、これらは、結合可能であってよく、異なる例又は請求項への包含は、特徴の組合せが実現可能及び/又は有利ではないことを意味しない。
図2は、符号化システム101が適切に復号していることを保証するために符号化システム101によって使用できるハッシュドアトラスデータを含むSEIメッセージを有するビットストリームを生成するために、例示的な符号化システム101を実装するために実行することができる、機械可読命令200の例を表すフローチャートである。命令200は、図2の符号化システム101の例と組み合わせて説明されるが、命令200は、任意のタイプの符号化システムと組み合わせて説明することができる。
ブロック202で、アトラス生成器102は、入力データが受信されたか又は取得されたかを決定する。入力データは、ビデオの一部として表示される画像の1つ以上のビューに対応する画像データである。入力データは、プロセッサ、記憶装置、センサ、ビデオ生成装置などから取得できる。入力データが受信されていないと例示的なアトラス生成器102が判断した場合(ブロック202、NO)、入力データが受信される(例えば取得される)まで、制御はブロック202に戻る。例示的なアトラス生成器102が入力データを受信したと判断した場合(ブロック202、YES)、例示的なアトラス生成器102は、受信した入力データに基づいて、アトラスデータ、テクスチャアトラスデータ、深さアトラスデータなどを(例えば、V3C又はMIVエンコーダを使用して)生成する(ブロック204)。例えば、アトラス生成器102は、2次元配列変数(例えば、上で定義したBlockToPatchMap[y][x])を使用してアトラスデータを生成することができる。
ブロック206で、例示的なハッシュ生成器106は、アトラスデータをハッシュし、ハッシュドアトラスデータをSEIメッセージに含める。幾つかの例では、ハッシュ生成器106はSEIメッセージにハッシュプロトコルも含める(例えば、従って、復号システム110は同じハッシュプロトコルを使用してビットストリームをハッシュすることができる)。前述のように、ハッシュ生成器106はSEIメッセージを生成でき、及び/又は別のコンポーネントからSEIメッセージを取得してハッシュドアトラスデータをSEIメッセージに含める(例えば、埋め込う)こともできる。ハッシュ生成器106は、16バイトのMD5ハッシュ、巡回冗長検査(CRC)ハッシュ、チェックサムハッシュ、及び/又は他の任意のタイプのハッシュプロトコルを使用して、アトラスデータのハッシュを生成することができる。ブロック208で、例示的なボリュメトリックビデオエンコーダ104は、アトラスデータ、テクスチャアトラスデータ、及び/又は深さアトラスデータを符号化及び/又は圧縮することによって、アトラスデータ、テクスチャアトラスデータ、及び/又は深さアトラスデータに基づいて、符号化ビットストリーム(例えば、符号化ビットストリームデータ)を生成する。ボリュメトリックビデオエンコーダ104は、任意のタイプのアトラス符号化、ビデオ符号化技術、アトラス圧縮、及び/又はビデオ圧縮技術を使用することができる。
ブロック210で、例示的なマルチプレクサ108は、例示的なボリュメトリックビデオエンコーダ104の符号化ビットストリームと、例示的なハッシュ生成器106からのハッシュドアトラスデータを含むSEIメッセージを組み合わせることによって、ビットストリームデータを生成する。例示的なマルチプレクサ108は、任意のタイプの多重化プロトコルを使用して2つの信号を結合できる。ブロック212で、例示的なマルチプレクサ108はビットストリームデータを復号システム110に送信する。例えば、マルチプレクサ108はビットストリームデータ信号をインタフェース(例えば、図4のインタフェース420の例)に出力し、有線又は無線接続を介して復号システム110に出力することができる。
図3は、復号システム110が正しく復号していること、及び/又はビットストリームにエラーが含まれていないことを保証するために、復号システム110で使用できるハッシュドアトラスデータを含むSEIメッセージを含むビットストリームを生成するために、例示的な復号システム110を実装するために実行できる、機械可読命令300の例を表すフローチャートである。命令300は、図1の復号システム110の例と組み合わせて説明されるが、命令300は、任意のタイプの復号システムと組み合わせて説明することができる。
ブロック302で、デマルチプレクサ112は、ビットストリームデータが符号化システム101から受信されたか又は取得されたかを判断する。前述のように、ビットストリームデータには、符号化ビデオデータと対応するSEIメッセージが含まれていた。マルチプレクサ112は、有線又は無線接続を介してビットストリームを受信するインタフェース(例えば、図5のインタフェース520)から、ビットストリームデータを取得できる。ビットストリームデータが受信されていないと例示的なデマルチプレクサ112が判断した場合(ブロック302、NO)、ビットストリームデータが受信される(例えば取得される)まで、制御はブロック302に戻る。例示的なデマルチプレクサ112がビットストリームデータが受信されたと判断した場合(ブロック302、YES)、例示的なデマルチプレクサ112はビットストリームデータを逆多重化(例えば、分離/パース)して、データビットストリームとSEIメッセージをビットストリームデータから分離する(ブロック304)。
ブロック306で、例示的なボリュメトリックビデオデコーダ114は、ビットストリームデータを復号し、ビットストリームデータを使用して、復号アトラスデータ、復号テクスチャアトラスデータ、復号深さアトラスデータなどを生成する(例えば、V3C又はMIVデコーダを使用して)。例示的なボリュメトリックビデオデコーダ114は、データを符号化するために使用される技術(例えば、ボリュメトリックビデオエンコーダ104により使用される技術)に対応する復号技術を使用してデータを復号する。ブロック308で、例示的なハッシュ生成器118は、復号アトラスデータをハッシュして、デコーダ側アトラスハッシュ値を生成する。例示的なハッシュ生成器118は、符号化システム101でアトラスデータをハッシュするのに使用されるのと同じ技術を使用して、復号アトラスデータをハッシュする。このように、デコーダ側ハッシュ値が(例えば、取得したSEIメッセージからの)エンコーダ側ハッシュ値と一致した場合、復号システム110は復号エラーが発生したと判断する。幾つかの例では、ハッシュ生成器118はSEIメッセージからハッシュプロトコルを抽出する。
ブロック310で、例示的な比較器120は、SEIメッセージからエンコーダ側アトラスハッシュ値を抽出するか、又は取得する。前述のように、符号化システム101は、符号化処理中にアトラスデータに対して1つ以上のハッシュ演算を実行し、SEIメッセージの一部としてエンコーダ側ハッシュドアトラスを送信する。ブロック312で、例示的な比較器120は、(例えば、符号化システム101で決定され、SEIメッセージから抽出された)エンコーダ側アトラスハッシュ値とデコーダ側のアトラスハッシュ値(例えば、復号システム110でハッシュ生成器118によって生成されたハッシュ値)を比較する。上記のように、例示的な比較器120は、エンコーダ側アトラスハッシュ値とデコーダ側アトラス値を比較して、ビットストリームの正確な転送及び/又はビットストリームの復号が行われたかどうかを判断する。
ブロック314で、例示的な比較器120は、エンコーダ側アトラスハッシュ値がデコーダ側アトラスハッシュ値と異なるかどうかを判断する。エンコーダ側アトラスハッシュ値とデコーダ側アトラスハッシュ値は同じハッシュプロトコルを使用してハッシュされ、アトラスデータは同じであることになっているため、送信エラー又は復号エラーがない限り、エンコーダ側ハッシュ値とデコーダ側ハッシュ値は同じになる。したがって、例示的な比較器120が、エンコーダ側アトラスハッシュ値がデコーダ側アトラスハッシュ値と異なると判断した場合(ブロック314、YES)、例示的な比較器120は、2つのハッシュドアトラス値が異なるときに、復号システム110が伝送及び/又は復号エラーがあったと判断するため、不一致にフラグを立て(例えば、不一致を示す値を出力する)及び/又は不一致に基づく命令を実行する(ブロック316)。例えば、比較器120の出力により、ユーザインタフェースに不一致が反映され、ユーザに復号エラーを知らせることができる。エラーフラグは、不一致に対応するアクションを実行するために別のプロセッサ又はコンポーネントに送信される場合がある。幾つかの例では、エラーフラグがデータ再構成器116及び/又は別の装置に出力され、対応するデータが破棄させてよい。幾つかの例では、比較器120、データ再構成器115、及び/又は別の装置は、取得されたビットストリームデータ及び/又はSEIメッセージが持続性を示す値を含むかどうかを判断してよい。例として、比較器120、データ再構成器115、及び/又は他の装置は、取得したビットストリームデータに持続性を示す値が含まれていると判断した場合、比較器120装置は、ビットストリームに対応する対応するアクセスユニットにエラーがあるとフラグを立てる。
エンコーダ側アトラスハッシュ値がデコーダ側アトラスハッシュ値と異ならないと比較器120が判断した場合(ブロック314、NO)、復号システム110はビットストリームが正確に復号されたと判断するため、制御は終了する。幾つかの例では、比較器120の出力はデータ再構成器116に送られる。このように、データ再構成器116は、比較器120の結果(例えば、一致又は不一致の開始)に基づいて、復号アトラスデータを破棄するか、及び/又は復号アトラスデータを再構成ビューに再構成するかを決定することができる。
図4は、図1の符号化システム101を実装するために図2の命令を実行するよう構造化された例示的なプロセッサプラットフォーム400のブロック図である。プロセッサプラットフォーム400は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習機械(例えば、ニューラルネットワーク)、モバイル装置(例えば、携帯電話機、スマートフォン、iPad(登録商標)のようなタブレット)、パーソナルデジタルアシスタント(PDA)、インターネット機器、DVDプレイヤ、CDプレイヤ、デジタルビデオレコーダ、ブルーレイプレイヤ、ゲーム端末、パーソナルビデオレコーダ、セットトップボックス、ヘッドセット、又は他のウェアラブル装置、又は任意の他の種類のコンピューティング装置であり得る。
図示の例のプロセッサプラットフォーム400は、プロセッサ412を含む。図示の例のプロセッサ412は、ハードウェアである。例えば、プロセッサ412は、1つ以上の集積回路、論理回路、マイクロプロセッサ、GPU、DSP、又は任意の所望のファミリ又は製造者からの制御部により実装できる。ハードウェアプロセッサは、半導体に基づく(シリコンに基づく)装置であってよい。この例では、プロセッサは図1のアトラス生成器102、ボリュメトリックビデオエンコーダ104、ハッシュ生成器106、マルチプレクサ108を実装している。
図示の例のプロセッサ412は、ローカルメモリ413(例えば、キャッシュ)を含む。図示の例のプロセッサ412は、揮発性メモリ414及び不揮発性メモリ416を含むメインメモリと、バス418を介して通信する。揮発性メモリ414は、同期ダイナミックランダムアクセスメモリ(Synchronous Dynamic Random Access Memory(SDRAM))、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory(DRAM))、RAMBUS(登録商標)、ダイナミックランダムアクセスメモリ(RDRAM(登録商標))、及び/又は任意の他の種類のランダムアクセスメモリ素子により実装されてよい。不揮発性メモリ416は、フラッシュメモリ及び/又は任意の他の所望の種類のメモリ素子により実装されてよい。メインメモリ414、416へのアクセスは、メモリ制御部により制御される。
図示の例のプロセッサプラットフォーム400は、インタフェース回路420も含む。インタフェース回路420は、Ethernetインタフェース、ユニバーサルシリアルバス(USB)、Bluetooth(登録商標)インタフェース、近距離通信(near field communication(NFC))インタフェース、及び/又はPCI Expressインタフェースのような、任意の種類のインタフェース規格により実装されてよい。
図示の例では、1つ以上の入力装置422は、インタフェース回路420に接続される。入力装置422は、ユーザがデータ及び/又はコマンドをプロセッサ412に入力できるようにする。入力装置は、例えば、オーディオセンサ、マイクロフォン、カメラ(静止又はビデオ)、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、イソポイント、及び/又は音声認識システムにより実装できる。
1つ以上の出力装置424は、図示の例のインタフェース回路420にも接続される。出力装置424は、例えば、ディスプレイ装置(例えば、発光ダイオード(LED)、有機発光ダイオード(OLED)、液晶ディスプレイ(LCD)、陰極線管ディスプレイ(CRT)、IPS(in-place switching)ディスプレイ、タッチスクリーン、等)、触覚出力装置、プリンタ、及び/又はスピーカにより実装できる。図示の例のインタフェース回路420は、従って、標準的に、グラフィックドライバカード、グラフィックドライバチップ、及び/又はグラフィックドライバプロセッサを含む。
図示の例のインタフェース回路420は、ネットワーク426を介して外部装置(例えば、任意の種類のコンピューティング装置)とのデータ交換を実現するために、送信機、受信機、トランシーバ、モデム、ホームゲートウェイ、無線アクセスポイント、及び/又はネットワークインタフェースのような通信装置も含む。通信は、例えば、Ethernet接続、デジタル加入者線(DSL)接続、電話線接続、同軸ケーブルシステム、衛星システム、高低線無線システム、セルラ電話システム、等により可能である。
図示の例のプロセッサプラットフォーム400は、ソフトウェア及び/又はデータを格納する1つ以上の大容量記憶装置428も含む。このような大容量記憶装置428の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、RAID(redundant array of independent disks)システム、及びデジタルバーサタイルディスク(DVD)ドライブを含む。
図2の機械実行可能命令432は、大容量記憶装置428に、揮発性メモリ414に、不揮発性メモリ416に、及び/又はCD又はDVDのような取り外し可能な非一時的コンピュータ可読記憶媒体に、格納されてよい。
図5は、図1の復号システム110を実装するために図3の命令を実行するよう構造化された例示的なプロセッサプラットフォーム500のブロック図である。プロセッサプラットフォーム500は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習機械(例えば、ニューラルネットワーク)、モバイル装置(例えば、携帯電話機、スマートフォン、iPad(登録商標)のようなタブレット)、パーソナルデジタルアシスタント(PDA)、インターネット機器、DVDプレイヤ、CDプレイヤ、デジタルビデオレコーダ、ブルーレイプレイヤ、ゲーム端末、パーソナルビデオレコーダ、セットトップボックス、ヘッドセット、又は他のウェアラブル装置、又は任意の他の種類のコンピューティング装置であり得る。
図示の例のプロセッサプラットフォーム500は、プロセッサ512を含む。図示の例のプロセッサ512は、ハードウェアである。例えば、プロセッサ512は、1つ以上の集積回路、論理回路、マイクロプロセッサ、GPU、DSP、又は任意の所望のファミリ又は製造者からの制御部により実装できる。ハードウェアプロセッサは、半導体に基づく(シリコンに基づく)装置であってよい。この例では、プロセッサは、図1の例のデマルチプレクサ112、例示的なボリュメトリックビデオデコーダ114、例のデータ再構成器116、例示的なハッシュ生成器118、及び例示的な比較器120を実装している。
図示の例のプロセッサ512は、ローカルメモリ513(例えば、キャッシュ)を含む。図示の例のプロセッサ512は、揮発性メモリ514及び不揮発性メモリ516を含むメインメモリと、バス518を介して通信する。揮発性メモリ514は、同期ダイナミックランダムアクセスメモリ(Synchronous Dynamic Random Access Memory(SDRAM))、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory(DRAM))、RAMBUS(登録商標)、ダイナミックランダムアクセスメモリ(RDRAM(登録商標))、及び/又は任意の他の種類のランダムアクセスメモリ素子により実装されてよい。不揮発性メモリ516は、フラッシュメモリ及び/又は任意の他の所望の種類のメモリ素子により実装されてよい。メインメモリ514、516へのアクセスは、メモリ制御部により制御される。
図示の例のプロセッサプラットフォーム500は、インタフェース回路520も含む。インタフェース回路520は、Ethernetインタフェース、ユニバーサルシリアルバス(USB)、Bluetooth(登録商標)インタフェース、近距離通信(near field communication(NFC))インタフェース、及び/又はPCI Expressインタフェースのような、任意の種類のインタフェース規格により実装されてよい。
図示の例では、1つ以上の入力装置522は、インタフェース回路520に接続される。入力装置522は、ユーザがデータ及び/又はコマンドをプロセッサ512に入力できるようにする。入力装置は、例えば、オーディオセンサ、マイクロフォン、カメラ(静止又はビデオ)、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、イソポイント、及び/又は音声認識システムにより実装できる。
1つ以上の出力装置524は、図示の例のインタフェース回路520にも接続される。出力装置524は、例えば、ディスプレイ装置(例えば、発光ダイオード(LED)、有機発光ダイオード(OLED)、液晶ディスプレイ(LCD)、陰極線管ディスプレイ(CRT)、IPS(in-place switching)ディスプレイ、タッチスクリーン、等)、触覚出力装置、プリンタ、及び/又はスピーカにより実装できる。図示の例のインタフェース回路520は、従って、標準的に、グラフィックドライバカード、グラフィックドライバチップ、及び/又はグラフィックドライバプロセッサを含む。
図示の例のインタフェース回路520は、ネットワーク526を介して外部装置(例えば、任意の種類のコンピューティング装置)とのデータ交換を実現するために、送信機、受信機、トランシーバ、モデム、ホームゲートウェイ、無線アクセスポイント、及び/又はネットワークインタフェースのような通信装置も含む。通信は、例えば、Ethernet接続、デジタル加入者線(DSL)接続、電話線接続、同軸ケーブルシステム、衛星システム、高低線無線システム、セルラ電話システム、等により可能である。
図示の例のプロセッサプラットフォーム500は、ソフトウェア及び/又はデータを格納する1つ以上の大容量記憶装置528も含む。このような大容量記憶装置528の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、RAID(redundant array of independent disks)システム、及びデジタルバーサタイルディスク(DVD)ドライブを含む。
図3の機械実行可能命令532は、大容量記憶装置528に、揮発性メモリ514に、不揮発性メモリ516に、及び/又はCD又はDVDのような取り外し可能な非一時的コンピュータ可読記憶媒体に、格納されてよい。
ビデオ復号エラーを識別する例示的な方法、機器、システム、及び製品がここに開示された。更なる例及びその組合せは、以下を含む。例1は、ビデオ符号化機器であって、
ビデオの入力ビューから生成された1つ以上のアトラスについて、アトラスデータを生成するアトラス生成器と、
ハッシュ生成器であって、
前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成し、
前記ハッシュ値をメッセージに含める、ハッシュ生成器と、
前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成するマルチプレクサと、
を含む機器を含む。
例2は、前記ビットストリームデータを復号装置へ送信するインタフェース、を更に含む例1に記載の機器を含む。
例3は、前記アトラスデータは、前記入力ビューのブロックからパッチへのマップに対応する可変2次元アレイを含む、例1に記載の機器を含む。
例4は、前記アトラスデータは、ブロックの対応するパッチへのマッピングに対応する、例1に記載の機器を含む。
例5は、前記アトラス生成器は、
前記ビデオの前記入力ビューを、テクスチャアトラス又は深さアトラスのうちの少なくとも1つに変換し、
前記テクスチャアトラス、前記深さアトラス、又は前記アトラスデータのうちの少なくとも1つを符号化して、符号化ビットストリームデータを生成する、例1に記載の機器を含む。
例6は、前記ハッシュ生成器は、前記メッセージを生成する、又は前記メッセージを別の装置から取得する、のうちの少なくとも1つを行う、例1に記載の機器を含む。
例7は、前記ハッシュ生成器は、16バイトメッセージダイジェストアルゴリズム5(MD5)サムを使用して、前記アトラスデータをハッシングする、例1に記載の機器を含む。
例8は、命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、1つ以上のプロセッサに、少なくとも、
ビデオの入力ビューから生成された1つ以上のアトラスについて、アトラスデータを生成させ、
前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成させ、
前記ハッシュ値をメッセージに含めさせ、
前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成させる、
コンピュータ可読記憶媒体を含む。
例9は、前記命令は、前記1つ以上のプロセッサに、前記ビットストリームデータを復号装置へ送信させる、例8に記載のコンピュータ可読記憶媒体を含む。
例10は、前記アトラスデータは、前記入力ビューのブロックからパッチへのマップに対応する可変2次元アレイである、例8に記載のコンピュータ可読記憶媒体を含む。
例11は、前記アトラスデータは、アトラス空間内のブロックの対応するパッチへのマッピングに対応する、例8に記載のコンピュータ可読記憶媒体を含む。
例12は、前記命令は、前記1つ以上のプロセッサに、
前記ビデオの前記入力ビューを、テクスチャアトラス又は深さアトラスのうちの少なくとも1つに変換させ、
前記テクスチャアトラス、前記深さアトラス、又は前記アトラスデータのうちの少なくとも1つを符号化して、符号化ビットストリームデータを生成させる、例8に記載のコンピュータ可読記憶媒体を含む。
例13は、前記命令は、前記1つ以上のプロセッサに、
前記メッセージを生成する、又は前記メッセージを別の装置から取得する、のうちの少なくとも1つを実行させる、例8に記載のコンピュータ可読記憶媒体を含む。
例14は、前記命令は、前記1つ以上のプロセッサに、
16バイトメッセージダイジェストアルゴリズム5(MD5)サムを使用して、前記アトラスデータをハッシングさせる、例8に記載のコンピュータ可読記憶媒体を含む。
例15は、ビデオ符号化方法であって、
プロセッサにより命令を実行することにより、ビデオの入力ビューから生成された1つ以上のアトラスについてアトラスデータを生成するステップと、
前記プロセッサにより命令を実行することにより、前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成するステップと、
前記プロセッサにより命令を実行することにより、前記ハッシュ値をメッセージに含めるステップと、
前記プロセッサにより命令を実行することにより、前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成するステップと、
を含む方法を含む。
例16は、前記ビットストリームデータを復号装置へ送信するステップ、を更に含む例15に記載の方法を含む。
例17は、前記アトラスデータは、前記入力ビューのブロックからパッチへのマップに対応する可変2次元アレイである、例15に記載の方法を含む。
例18は、前記アトラスデータは、ブロックの対応するパッチへのマッピングに対応する、例15に記載の方法を含む。
例19は、前記ビデオの前記入力ビューを、テクスチャアトラス又は深さアトラスのうちの少なくとも1つに変換するステップと、
前記テクスチャアトラス、前記深さアトラス、又は前記アトラスデータのうちの少なくとも1つを符号化して、符号化ビットストリームデータを生成するステップと、
を更に含む例15に記載の方法を含む。
例20は、前記メッセージを生成するステップ、又は前記メッセージを別の装置から取得するステップ、のうちの少なくとも1つを更に含む例15に記載の方法を含む。
例21は、16バイトメッセージダイジェストアルゴリズム5(MD5)サムを使用して、前記アトラスデータをハッシングするステップ、を更に含む例15に記載の機器を含む。
例22は、ビデオ復号機器であって、
アトラスデータに対してハッシュ演算を実行して、前記アトラスデータの第1ハッシュ値を決定するハッシュ生成器であって、前記アトラスデータはボリュメトリックビデオビットストリームから復号される、ハッシュ生成器と、
前記第1ハッシュ値を前記アトラスデータの第2ハッシュ値と比較する比較器であって、前記第2ハッシュ値は前記ビデオビットストリームに含まれ、前記第1ハッシュ値が前記第2ハッシュ値と一致しないとき、エラーフラグを生成する比較器と、を含む機器を含む。
例23は、前記ビデオビットストリームを取得し、前記アトラスデータとメッセージを前記ビットストリームから分離するデマルチプレクサ、を更に含む例22に記載の機器を含む。
例24は、前記メッセージが前記第2ハッシュ値を含む、例23に記載の機器を含む。
例25は、前記ハッシュ生成器は、前記第2ハッシュ値を生成するために使用されたのと同じハッシュ演算を使用して、前記第1ハッシュ値を生成する、例22に記載の機器を含む。
例26は、前記デマルチプレクサは、ネットワークインタフェースを介して、エンコーダから前記ビットストリームを取得する、例22に記載の機器を含む。
例27は、前記エラーフラグは、前記ビデオビットストリームの送信、又は前記ビットストリームの復号、のうちの少なくとも1つにおいてエラーが生じたことを識別するためのものである、例22に記載の機器を含む。
例28は、前記エラーフラグは、第1アクセスユニットに対応する第1エラーフラグであり、前記比較器は、前記メッセージが存続を示すとき、前記ビットストリーム内の第二アクセスユニットについての第2エラーフラグを生成する、例22に記載の機器を含む。
例29は、前記エラーフラグは、ユーザインタフェース上に表示されるべきエラー、破棄されるべきビデオビットストリーム、又は要求されるビデオビットストリームの新しいコピー、のうちの少なくとも1つを生じさせる、例22に記載の機器を含む。
例30は、前記アトラスデータは、データのブロックのパッチインデックスを含む、例22に記載の機器を含む。
例31は、命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、1つ以上のプロセッサに、
アトラスデータに対してハッシュ演算を実行して、前記アトラスデータの第1ハッシュ値を決定させ、前記アトラスデータはボリュメトリックビデオビットストリームから復号され、
前記第1ハッシュ値を前記アトラスデータの第2ハッシュ値と比較させ、前記第2ハッシュ値は前記ビデオビットストリームに含まれ、前記第1ハッシュ値が前記第2ハッシュ値と一致しないとき、エラーフラグを生成させうる、コンピュータ可読記憶媒体を含む。
例32は、前記命令は、前記1つ以上のプロセッサに、
前記ビデオビットストリームを取得する、前記ビットストリームから前記アトラスデータ及びメッセージを分離する、のうちの少なくとも1つを実行させる、例31に記載のコンピュータ可読記憶媒体を含む。
例33は、前記メッセージが前記第2ハッシュ値を含む、例32に記載のコンピュータ可読記憶媒体を含む。
例34は、前記命令は、前記1つ以上のプロセッサに、少なくとも、前記第2ハッシュ値を生成するために使用されたのと同じハッシュ演算を使用して、前記第1ハッシュ値を生成させる、例31に記載のコンピュータ可読記憶媒体を含む。
例35は、前記命令は、前記1つ以上のプロセッサに、少なくとも、ネットワークインタフェースを介してエンコーダから前記ビットストリームを取得させる、例31に記載のコンピュータ可読記憶媒体を含む。
例36は、前記エラーフラグは、前記ビデオビットストリームの送信、又は前記ビットストリームの復号、のうちの少なくとも1つにおいてエラーが生じたことを識別するためのものである、例31に記載のコンピュータ可読記憶媒体を含む。
例37は、前記エラーフラグは、第1アクセスユニットに対応する第1エラーフラグであり、前記命令は、前記1つ以上のプロセッサに、前記メッセージが存続を示すとき、前記ビットストリーム内の第二アクセスユニットについての第2エラーフラグを生成させる、例31に記載のコンピュータ可読記憶媒体を含む。
例38は、前記エラーフラグは、ユーザインタフェース上に表示されるべきエラー、破棄されるべきビデオビットストリーム、又は要求されるビデオビットストリームの新しいコピー、のうちの少なくとも1つを生じさせる、例31に記載のコンピュータ可読記憶媒体を含む。
例39は、前記アトラスデータは、データのブロックのパッチインデックスを含む、例31に記載のコンピュータ可読記憶媒体を含む。
例40は、ビデオ復号方法であって、
プロセッサにより命令を実行することにより、アトラスデータに対してハッシュ演算を実行して、前記アトラスデータの第1ハッシュ値を決定するステップであって、前記アトラスデータはビデオビットストリームから復号される、ステップと、
前記プロセッサにより命令を実行することにより、前記第1ハッシュ値を前記アトラスデータの第2ハッシュ値と比較するステップであって、前記第2ハッシュ値は前記ビデオビットストリームに含まれる、ステップと、
前記プロセッサにより命令を実行することにより、前記第1ハッシュ値が前記第2ハッシュ値と一致しないとき、エラーフラグを生成するステップと、を含む方法を含む。
例41は、前記ビデオビットストリームを取得し、前記アトラスデータとメッセージを前記ビットストリームから分離するステップ、を更に含む例40に記載の方法を含む。
例42は、前記メッセージが前記第2ハッシュ値を含む、例41に記載の方法を含む。
例43は、前記第2ハッシュ値を生成するために使用されたのと同じハッシュ演算を使用して、前記第1ハッシュ値を生成するステップ、を更に含む例40に記載の方法を含む。
例44は、ネットワークインタフェースを介して、エンコーダから前記ビットストリームを取得するステップ、を更に含む例40に記載の方法を含む。
例45は、前記エラーフラグは、前記ビデオビットストリームの送信、又は前記ビットストリームの復号、のうちの少なくとも1つにおいてエラーが生じたことを識別するためのものである、例40に記載の方法を含む。
例46は、前記エラーフラグは、第1アクセスユニットに対応する第1エラーフラグであり、前記メッセージが存続を示すとき、前記ビットストリーム内の第二アクセスユニットについての第2エラーフラグを生成するステップ、を更に含む例40に記載の方法を含む。
例47は、前記エラーフラグは、ユーザインタフェース上に表示されるべきエラー、破棄されるべきビデオビットストリーム、又は要求されるビデオビットストリームの新しいコピー、のうちの少なくとも1つを生じさせる、例40に記載の方法を含む。
例48は、前記アトラスデータは、データのブロックのパッチインデックスを含む、例40に記載の方法を含む。
以上から、ビデオ復号エラーを識別する例示的な方法、機器、及び製品が開示されることが理解される。開示の方法、機器、及び製品は、ビデオビットストリームデータの送信及び/又は復号に対応する送信及び/又は復号エラーを識別することにより、コンピューティング装置を使用する効率を向上する。この方法では、エラーは、ユーザの選好に基づき扱うことができる。開示の方法、機器、及び製品は、従って、コンピュータの機能において1つ以上の改良のためである。
特定の例示的な方法、機器、及び製品がここに開示されたが、本特許のカバー範囲はそれに限定されない。反対に、本特許は、本特許の特許請求の範囲内に公正に包含される全ての方法、機器、及び製品をカバーする。

Claims (25)

  1. ビデオ符号化機器であって、
    ビデオの入力ビューから生成された1つ以上のアトラスについて、アトラスデータを生成するアトラス生成器と、
    ハッシュ生成器であって、
    前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成し、
    前記ハッシュ値をメッセージに含める、ハッシュ生成器と、
    前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成するマルチプレクサと、
    を含む機器。
  2. 前記ビットストリームデータを復号装置へ送信するインタフェース、を更に含む請求項1に記載の機器。
  3. 前記アトラスデータは、前記入力ビューのブロックからパッチへのマップに対応する可変2次元アレイを含む、請求項1~2のいずれか一項に記載の機器。
  4. 前記アトラスデータは、ブロックの対応するパッチへのマッピングに対応する、請求項1~3のいずれか一項に記載の機器。
  5. 前記アトラス生成器は、
    前記ビデオの前記入力ビューを、テクスチャアトラス又は深さアトラスのうちの少なくとも1つに変換し、
    前記テクスチャアトラス、前記深さアトラス、又は前記アトラスデータのうちの少なくとも1つを符号化して、符号化ビットストリームデータを生成する、請求項1~4のいずれか一項に記載の機器。
  6. 前記ハッシュ生成器は、前記メッセージを生成する、又は前記メッセージを別の装置から取得する、のうちの少なくとも1つを行う、請求項1~5のいずれか一項に記載の機器。
  7. 前記ハッシュ生成器は、16バイトメッセージダイジェストアルゴリズム5(MD5)サムを使用して、前記アトラスデータをハッシングする、請求項1~6のいずれか一項に記載の機器。
  8. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、1つ以上のプロセッサに、少なくとも、
    ビデオの入力ビューから生成された1つ以上のアトラスについて、アトラスデータを生成させ、
    前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成させ、
    前記ハッシュ値をメッセージに含めさせ、
    前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成させる、
    コンピュータ可読記憶媒体。
  9. 前記命令は、前記1つ以上のプロセッサに、前記ビットストリームデータを復号装置へ送信させる、請求項8に記載のコンピュータ可読記憶媒体。
  10. 前記アトラスデータは、前記入力ビューのブロックからパッチへのマップに対応する可変2次元アレイである、請求項8~9のいずれか一項に記載のコンピュータ可読記憶媒体。
  11. 前記アトラスデータは、アトラス空間内のブロックの対応するパッチへのマッピングに対応する、請求項8~10のいずれか一項に記載のコンピュータ可読記憶媒体。
  12. 前記命令は、前記1つ以上のプロセッサに、
    前記ビデオの前記入力ビューを、テクスチャアトラス又は深さアトラスのうちの少なくとも1つに変換させ、
    前記テクスチャアトラス、前記深さアトラス、又は前記アトラスデータのうちの少なくとも1つを符号化して、符号化ビットストリームデータを生成させる、請求項8~11のいずれか一項に記載のコンピュータ可読記憶媒体。
  13. 前記命令は、前記1つ以上のプロセッサに、
    前記メッセージを生成する、又は前記メッセージを別の装置から取得する、のうちの少なくとも1つを実行させる、請求項8~12のいずれか一項に記載のコンピュータ可読記憶媒体。
  14. 前記命令は、前記1つ以上のプロセッサに、
    16バイトメッセージダイジェストアルゴリズム5(MD5)サムを使用して、前記アトラスデータをハッシングさせる、請求項8~13のいずれか一項に記載のコンピュータ可読記憶媒体。
  15. ビデオ符号化方法であって、
    プロセッサにより命令を実行することにより、ビデオの入力ビューから生成された1つ以上のアトラスについてアトラスデータを生成するステップと、
    前記プロセッサにより命令を実行することにより、前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成するステップと、
    前記プロセッサにより命令を実行することにより、前記ハッシュ値をメッセージに含めるステップと、
    前記プロセッサにより命令を実行することにより、前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成するステップと、
    を含む方法。
  16. 前記ビットストリームデータを復号装置へ送信するステップ、を更に含む請求項15に記載の方法。
  17. 前記アトラスデータは、前記入力ビューのブロックからパッチへのマップに対応する可変2次元アレイである、請求項15~16のいずれか一項に記載の方法。
  18. 前記アトラスデータは、ブロックの対応するパッチへのマッピングに対応する、請求項15~17のいずれか一項に記載の方法。
  19. 前記ビデオの前記入力ビューを、テクスチャアトラス又は深さアトラスのうちの少なくとも1つに変換するステップと、
    前記テクスチャアトラス、前記深さアトラス、又は前記アトラスデータのうちの少なくとも1つを符号化して、符号化ビットストリームデータを生成するステップと、
    を更に含む請求項15~18のいずれか一項に記載の方法。
  20. 前記メッセージを生成するステップ、又は前記メッセージを別の装置から取得するステップ、のうちの少なくとも1つを更に含む請求項15~19のいずれか一項に記載の方法。
  21. 16バイトメッセージダイジェストアルゴリズム5(MD5)サムを使用して、前記アトラスデータをハッシングするステップ、を更に含む請求項15~20のいずれか一項に記載の方法。
  22. ビデオ符号化機器であって、
    メモリと、
    命令と、
    プロセッサ回路であって、前記命令を実行して、
    ビデオの入力ビューから生成された1つ以上のアトラスについて、アトラスデータを生成し、
    前記アトラスデータに対してハッシュ演算を実行してハッシュ値を生成し、
    前記ハッシュ値をメッセージに含める、プロセッサ回路と、
    前記1つ以上のアトラス、前記アトラスデータに対応するコーディングアトラスデータ、及び前記メッセージを結合して、ビデオビットストリームを生成するマルチプレクサと、
    を含む機器。
  23. 前記ビットストリームデータを復号装置へ送信するインタフェース、を更に含む請求項22に記載の機器。
  24. 前記アトラスデータは、前記入力ビューのブロックからパッチへのマップに対応する可変2次元アレイを含む、請求項22~23のいずれか一項に記載の機器。
  25. 前記アトラスデータは、ブロックの対応するパッチへのマッピングに対応する、請求項22~24のいずれか一項に記載の機器。
JP2022552873A 2020-04-03 2020-12-11 ビデオ復号エラーを識別する方法及び機器 Pending JP2023519512A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063004741P 2020-04-03 2020-04-03
US63/004,741 2020-04-03
PCT/US2020/064438 WO2021201928A1 (en) 2020-04-03 2020-12-11 Methods and apparatus to identify a video decoding error

Publications (1)

Publication Number Publication Date
JP2023519512A true JP2023519512A (ja) 2023-05-11

Family

ID=77930100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552873A Pending JP2023519512A (ja) 2020-04-03 2020-12-11 ビデオ復号エラーを識別する方法及び機器

Country Status (7)

Country Link
US (1) US20230239508A1 (ja)
EP (1) EP4128783A4 (ja)
JP (1) JP2023519512A (ja)
KR (1) KR20220162691A (ja)
CN (1) CN115244931A (ja)
BR (1) BR112022017804A2 (ja)
WO (1) WO2021201928A1 (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7827467B2 (en) * 2006-01-04 2010-11-02 Nokia Corporation Method for checking of video encoder and decoder state integrity
KR20110064487A (ko) * 2009-12-08 2011-06-15 한국전자통신연구원 미디어 데이터의 무결성 검증 방법 및 장치
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US11010928B2 (en) * 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
EP3595319A1 (en) * 2018-07-12 2020-01-15 InterDigital VC Holdings, Inc. Methods and apparatus for volumetric video transport
EP3900363A1 (en) * 2018-12-21 2021-10-27 Koninklijke KPN N.V. Streaming volumetric and non-volumetric video
US11711544B2 (en) * 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) * 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
WO2021176133A1 (en) * 2020-03-04 2021-09-10 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video

Also Published As

Publication number Publication date
EP4128783A1 (en) 2023-02-08
BR112022017804A2 (pt) 2022-10-25
WO2021201928A1 (en) 2021-10-07
US20230239508A1 (en) 2023-07-27
EP4128783A4 (en) 2024-01-10
CN115244931A (zh) 2022-10-25
KR20220162691A (ko) 2022-12-08

Similar Documents

Publication Publication Date Title
CN107147942B (zh) 视频信号传输方法、设备、装置以及存储介质
CN112019857A (zh) 用于压缩点云的存储和信号发送的方法和装置
JP7444872B2 (ja) メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム
CN109922344B (zh) 用于对高动态范围图像进行编码、解码和表示的技术
CN112188209B (zh) 视频流解码方法、装置、计算机设备和存储介质
CN113557729B (zh) 视频码流解码方法、系统、装置和电子设备
US12003742B2 (en) Methods, apparatuses, computer programs and computer-readable media for scalable image coding
US20180255317A1 (en) Method for reconstructing video stream
JP2023533680A (ja) V3c/v-pccのための復号タイルハッシュseiメッセージ
CN114009054B (zh) 信息处理装置和方法、再现处理装置和方法
JP2023519512A (ja) ビデオ復号エラーを識別する方法及び機器
US11889093B2 (en) Methods, apparatuses, computer programs and computer-readable media for scalable video coding and transmission
US20230108426A1 (en) Method and apparatus for dynamic dash picture-in-picture streaming
JP2023519660A (ja) 没入型ビデオにおいてアトラスごとに有効なビューをシグナリングする方法及び装置
KR102482702B1 (ko) 움직임 제한 타일 집합 기반 360도 영상 스트리밍 방법 및 장치
WO2017044513A1 (en) Verification of error recovery with long term reference pictures for video coding
US20240129537A1 (en) Method and apparatus for signaling cmaf switching sets in isobmff
JP7477645B2 (ja) Process@appendおよびprocess@playモードを使用してメディアと共にdashおよびcmafインバンドイベントを処理するためのw3cメディア拡張
CN116648904B (zh) 视频编码的方法、视频解码的方法、装置及存储介质
CN112188201B (zh) 对视频流进行编码的方法、装置、电子设备及存储介质
KR20210132997A (ko) V-pcc 비트스트림 기반 3차원 영상 제공 장치 및 방법
JP2023550940A (ja) クライアントデバイス上でビデオストリームを復号化すること
WO2023136907A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
KR20230101907A (ko) 미디어 플레이백 동안 프리롤 및 미드롤 콘텐츠를 지원하기 위한 mpeg dash를 위한 방법 및 장치
CN114667738A (zh) Mpd有效期到期处理模型

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231206