JP2023522456A - マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス - Google Patents

マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス Download PDF

Info

Publication number
JP2023522456A
JP2023522456A JP2022564436A JP2022564436A JP2023522456A JP 2023522456 A JP2023522456 A JP 2023522456A JP 2022564436 A JP2022564436 A JP 2022564436A JP 2022564436 A JP2022564436 A JP 2022564436A JP 2023522456 A JP2023522456 A JP 2023522456A
Authority
JP
Japan
Prior art keywords
patch
atlas
transform
data stream
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022564436A
Other languages
English (en)
Inventor
フェリックス・アンリ
ジョエル・ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2023522456A publication Critical patent/JP2023522456A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

コード化されたデータストリームは、アトラスを表すコード化されたデータを含み、前記アトラスは、パッチを含む画像に対応し、前記パッチは、マルチビュービデオのビューの成分から抽出された画素のセットに対応し、前記ビューは、前記コード化されたデータストリーム内にコード化されていない。方法は、前記コード化されたデータストリームから前記パッチを復号することを含めて、前記アトラスを復号すること、前記復号されたパッチについて、前記復号されたパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定することであって、前記変換が、パッチのオーバーサンプリングまたはパッチの画素値の修正を含む変換のグループに属する、決定すること、ならびに、決定された変換を前記復号されたパッチに適用することを含む。

Description

本発明は、1つまたは複数のカメラによって捕捉されたシーンを表す没入型ビデオに関する。より詳細には、本発明は、そのようなビデオのコード化および復号に関する。
没入型ビデオのコンテキスト、すなわち、視聴者がシーンに没入しているという感覚を有する場合において、シーンは、一般に、図1に示すようなカメラのセットによって捕捉される。これらのカメラは、タイプ2Dのもの(図1のカメラC1、C2、C3、C4)またはタイプ360のもの、すなわち、カメラの周囲360度のシーン全体を捕捉するもの(図1のカメラC5)とすることができる。
これらの捕捉されたビューは全て、従来は、コード化され、次いで視聴者の端末によって復号される。しかし、十分な体感品質をもたらし、したがって視聴者に対して表示されるシーンの視覚的品質およびそのシーンへの良好な没入をもたらすには、捕捉されたビューのみを表示することでは不十分である。
シーンへの没入感を向上させるには、通常、中間ビュー(intermediate views)と呼ばれる1つまたは複数のビューが、復号されたビューから計算される。
これらの中間ビューは、ビュー合成アルゴリズムによって計算することができる。
一般に、例えば現在標準化されつつあるMIVシステム(Metadata for Immersive Video)では、オリジナルビューが全て、すなわちカメラによって捕捉されたものが全て、デコーダに送信されるとは限らない。オリジナルビューの少なくとも一部から、中間視点を合成するために使用することのできるデータの、「プルーニング(pruning)」とも呼ばれる選択が行われる。
図2は、マルチビュービデオのそのようなデータ選択を使用してデコーダ側で中間ビューを合成する、コード化-復号システムの一例を示す。
この方法によれば、1つまたは複数の基本ビュー(basic view)(図2のTb、Db)が、2Dエンコーダ、例えばHEVCエンコーダによって、またはマルチビューエンコーダによってコード化される。
残りのビュー(Ts、Ds)は、これらのビューのそれぞれからある特定のゾーンを抽出するように処理される。以後パッチとも呼ばれる抽出されたゾーンが、アトラス(atlas)と呼ばれる画像内に収集される。アトラスは、例えば、従来の2Dビデオエンコーダ、例えばHEVCエンコーダによってコード化される。デコーダ側では、アトラスが復号され、それによって、復号されたパッチがビュー合成アルゴリズムに供給されて、基本ビューと復号されたパッチとから中間ビューが生成される。全体として、パッチにより、同一ゾーンが別の視点から送信されることが可能になる。具体的には、パッチにより、オクルージョンを、すなわちシーンの所与のビューから不可視の部分を、送信することが可能になる。
MIVシステム(MPEG-Iパート12)は、そのリファレンス実装(「Test Model for Immersive Video」を表すTMIV)において、パッチのセットによって形成されるアトラスを生成する。
図3は、ビュー(V0、V1、V2)からパッチ(パッチ2、パッチ5、パッチ8、パッチ3、パッチ7)を抽出し、関連するアトラス、例えば2つのアトラスA0およびA1を作成する一例を示す。これらのアトラスA0およびA1はそれぞれ、テクスチャ画像T0、T1および対応する深度マップD0、D1を含む。アトラスA0はテクスチャT0および深度D0を有し、アトラスA1はテクスチャT1および深度D1を有する。
図2において説明したように、パッチは画像内に収集され、従来の2Dビデオエンコーダによってコード化される。抽出されたパッチの信号伝達およびコード化の余分なコストを回避するには、アトラス内にパッチの最適な配置を行う必要がある。さらに、マルチビュービデオのビューを再構築するためにデコーダによって処理すべき大量の情報があるとすれば、そのようなパッチを圧縮するコストを低減させるのみならず、デコーダが処理する必要のある画素の数を低減させることも必要になる。実際のところ、多くの適用分野では、そのようなビデオを再生するためのデバイスは、そのようなビデオをコード化するためのデバイスよりも限られたリソースを有する。
Basel Salahieh、Bart Kroon、Joel Jung、Marek Domanski、Test Model 4 for Immersive Video、ISO/IEC JTC 1/SC 29/WG 11 N19002、Brussels、BE - 2020年1月
したがって、従来技術を改善する必要がある。
本発明は、先行技術を改善するものである。このために、本発明は、マルチビュービデオを表すコード化されたデータストリームを復号するための方法であって、前記コード化されたデータストリームが、少なくとも1つのアトラスを表すコード化されたデータを含み、前記少なくとも1つのアトラスが、少なくとも1つのパッチを含む画像に対応し、前記少なくとも1つのパッチが、マルチビュービデオのビューの少なくとも1つの成分から抽出された画素のセットに対応し、前記ビューが、前記コード化されたデータストリーム内にコード化されていない、方法に関する。この復号方法は、
- 前記コード化されたデータストリームから、前記少なくとも1つのパッチを復号することを含めて、前記少なくとも1つのアトラスを復号することと、
- 前記少なくとも1つの復号されたパッチについて、前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定することであって、前記変換が、パッチの少なくとも1回のオーバーサンプリングまたはパッチの画素値の修正を含む変換のグループに属する、決定することと、
- 決定された変換を前記復号されたパッチに適用することと
を含む。
これに関連して、本発明は、マルチビュービデオを表すデータストリームをコード化するための方法であって、このコード化方法は、
- マルチビュービデオの、前記データストリーム内にコード化されていないビューの少なくとも1つの成分から、前記成分の画素のセットに対応する少なくとも1つのパッチを抽出することと、
- 前記少なくとも1つの抽出されたパッチについて、前記少なくとも1つのパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定することであって、前記変換が、パッチの少なくとも1回のサブサンプリングまたはパッチの画素値の修正を含む変換のグループに属する、決定することと、
- 決定された変換を前記少なくとも1つのパッチに適用することと、
- 前記データストリーム内に少なくとも1つのアトラスをコード化することであって、前記少なくとも1つのアトラスが、前記少なくとも1つのパッチを少なくとも含む画像に対応する、コード化することと
を含む、方法にも関する。
したがって、本発明により、復号されたアトラスのどのパッチが再構築中に変換されなければならないかを識別することが可能となる。そのような変換は、アトラスのコード化中に適用された変換の逆変換に対応する。
本発明は、アトラスのパッチに、パッチごとに異なる変換、または異なるパラメータを有することのある変換を、適用することもできる。
したがって、アトラス内のパッチの配置が、圧縮に合わせて最適化される。実際のところ、アトラスのパッチに使用される変換は、一方では、アトラス画像内にパッチを配置するように、回転、サブサンプリング、コード化などの変換を使用することによって、アトラスの画素の占有率を最適化することができる。
他方では、変換は、パッチを圧縮するコストを、特にこれらのパッチの画素値を例えば画素のダイナミックレンジを低減させることにより修正することによって、より少ない画素のコード化をもたらすサブサンプリングによって、またはコード化すべき可能な最も少ない画素が得られることを可能にする、アトラスの画像内のパッチの最適な配置を使用することによって、最適化することができる。アトラスの画素の占有率を低減させると、デコーダによって処理すべき画素の比率も低減し、したがって、復号の計算量が低減する。
本発明の特定の一実施形態によれば、前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうかが、前記少なくとも1つのパッチについての、前記コード化されたデータストリームから復号された少なくとも1つの構文要素(syntax element)から決定される。本発明のこの特定の実施形態によれば、復号されたパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを示すために、構文要素がデータストリーム内に明示的にコード化される。
本発明の別の特定の実施形態によれば、前記少なくとも1つの復号された構文要素が、前記少なくとも1つのパッチに変換が適用されなければならないかどうかを示す少なくとも1つのインジケータを含み、前記少なくとも1つのパッチに変換が適用されなければならないことをインジケータが示す場合、前記少なくとも1つの構文要素が、任意選択で、前記変換の少なくとも1つのパラメータを含む。本発明のこの特定の実施形態によれば、パッチに適用すべき変換は、パッチに変換が適用されなければならないか否かを示すインジケータ、および適用されなければならないケースでは、おそらくは、適用すべき変換の1つまたは複数のパラメータの形態で、コード化される。例えば、バイナリインジケータが、パッチに変換が適用されなければならないかどうかを示すことができ、適用されなければならない場合、コードが、どの変換が使用されるかと、おそらくは、倍率、画素ダイナミックレンジの修正関数、回転角度など、変換の1つまたは複数のパラメータとを示す。
他の実施形態では、変換のパラメータをデフォルトでエンコーダにおいて設定することができる。
本発明の別の特定の実施形態によれば、前記パッチに適用すべき前記変換の前記少なくとも1つのパラメータは、予測値に関して予測コード化される値を有する。したがって、本発明のこの特定の実施形態は、変換のパラメータの信号伝達コストを節約することができる。
本発明の別の特定の実施形態によれば、予測値は、ビューのヘッダ内、またはアトラスの成分のヘッダ内、またはアトラスのヘッダ内にコード化される。
本発明の別の特定の実施形態によれば、予測値は、
- アトラスのパッチの処理順序に従って以前に処理されたパッチ、
- マルチビュービデオのビューの、少なくとも1つのパッチが属する成分と同じ成分から抽出された、以前に処理されたパッチ、
- 前記データストリーム内にコード化されたインデックスを使用して候補パッチのセットから選択されたパッチ、
- 基準を使用して候補パッチのセットから選択されたパッチ
を含むグループに属するパッチに適用された、変換のパラメータの値に対応する。
本発明の別の特定の実施形態によれば、前記少なくとも1つの復号されたパッチについての、前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうかの決定が、データストリーム内にコード化されたパッチへの変換の適用のアクティブ化をデータストリームのヘッダから復号された構文要素が示す場合に実施され、前記構文要素が、ビューのヘッダ内、またはビューの成分のヘッダ内、または前記アトラスのヘッダ内にコード化される。本発明のこの特定の実施形態によれば、マルチビュービデオのパッチに適用すべき変換の使用を信号伝達するために、高レベル構文要素がデータストリーム内にコード化される。したがって、変換のパラメータをパッチレベルでコード化することによって生じる追加のコストが、これらの変換が使用されないときに回避される。加えて、本発明のこの特定の実施形態は、復号の計算量を、これらの変換が使用されないときに限定することができる。
本発明の別の特定の実施形態によれば、前記少なくとも1つの復号されたパッチの特性が基準を満たす場合、前記復号されたパッチに変換が適用されなければならないと決定される。本発明のこの特定の実施形態によれば、パッチに適用すべき変換の使用を示す指示は、データストリーム内に明示的にコード化されない。そのような指示は、復号されたパッチの特徴から推論される。本発明のこの特定の実施形態では、変換の使用を信号伝達するためのコード化の追加のコストを必要とすることなく、パッチ変換を使用することができる。
本発明の別の特定の実施形態によれば、特性が比R=H/Wに対応し、ただしHは前記少なくとも1つの復号されたパッチの高さに対応し、Wは前記少なくとも1つの復号されたパッチの幅に対応し、前記比が、決定された区間内に含まれるとき、前記少なくとも1つのパッチに適用すべき変換が、所定の倍率での垂直方向オーバーサンプリングに対応する。したがって、本発明のこの特定の実装モードによれば、サブサンプリングをそれらに対して行うことが関心の対象ではない「長い」パッチと、サブサンプリングがそれらに対して実行されることを信号伝達する必要なくサブサンプリングがそれらに対して実行される「長い」パッチとを、同一アトラス内に混合することが可能である。
本発明の別の特定の実装モードによれば、特性が、前記少なくとも1つの復号されたパッチの画素の値から計算されるエネルギーEに対応し、エネルギーEがしきい値よりも低いとき、前記少なくとも1つのパッチに適用すべき変換が、前記画素の値と決定された倍率との乗算に対応する。
本発明の別の特定の実施形態によれば、同一パッチにいくつかの変換が適用されなければならないとき、前記変換が適用されなければならない順序が事前に定められる。本発明のこの特定の実施形態では、変換が適用される順序を示すための信号伝達が不要である。この順序は、エンコーダおよびデコーダにおいて定められ、これらの変換が適用される全てのパッチについて変わらない。
本発明は、マルチビュービデオを表すコード化されたデータストリームを復号するためのデバイスであって、前記コード化されたデータストリームが、少なくとも1つのアトラスを表すコード化されたデータを含み、前記少なくとも1つのアトラスが、少なくとも1つのパッチを含む画像に対応し、前記少なくとも1つのパッチが、マルチビュービデオのビューの少なくとも1つの成分から抽出された画素のセットに対応し、前記ビューが、前記コード化されたデータストリーム内にコード化されておらず、復号デバイスが、
- 前記コード化されたデータストリームから、前記少なくとも1つのパッチを復号することを含めて、前記少なくとも1つのアトラスを復号すること、
- 前記少なくとも1つの復号されたパッチについて、前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定することであって、前記変換が、パッチの少なくとも1回のオーバーサンプリングまたはパッチの画素値の修正を含むグループに属する、決定すること、
- 決定された変換を前記復号されたパッチに適用すること
を行うように構成されたプロセッサおよびメモリを備える、デバイスにも関する。
本発明の特定の一実施形態によれば、そのようなデバイスは端末内に含まれる。
本発明は、マルチビュービデオを表すデータストリームをコード化するためのデバイスであって、
- マルチビュービデオの、前記データストリーム内にコード化されていないビューの少なくとも1つの成分から、前記成分の画素のセットに対応する少なくとも1つのパッチを抽出すること、
- 前記少なくとも1つの抽出されたパッチについて、前記少なくとも1つのパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定することであって、前記変換が、パッチの少なくとも1回のサブサンプリングまたはパッチの画素値の修正を含む変換のグループに属する、決定すること、
- 決定された変換を前記少なくとも1つのパッチに適用すること、
- 前記データストリーム内に少なくとも1つのアトラスをコード化することであって、前記少なくとも1つのアトラスが、前記少なくとも1つのパッチを少なくとも含む画像に対応する、コード化すること
を行うように構成されたプロセッサおよびメモリを備える、デバイスにも関する。
本発明の特定の一実施形態によれば、そのようなデバイスは端末内に含まれる。
本発明によるコード化方法または復号方法はそれぞれ、さまざまな手法で、とりわけ、有線の形態またはソフトウェアの形態で、実施することができる。本発明の特定の一実施形態によれば、コード化方法または復号方法は、コンピュータプログラムによって実施される。本発明は、コンピュータプログラムであって、前記プログラムがプロセッサによって実行されたときに、先に説明した特定の実施形態のいずれか1つによるコード化方法または復号方法を実施するための命令を含む、コンピュータプログラムにも関する。そのようなプログラムは、任意のプログラミング言語を使用することができる。そのようなプログラムは、通信ネットワークからダウンロードすることができ、かつ/またはコンピュータ可読媒体上に記録することができる。
このプログラムは、任意のプログラミング言語を使用することができ、ソースコードの形態、オブジェクトコードの形態、または部分的にコンパイルされた形態や他の任意の望ましい形態などをとるソースコードとオブジェクトコードとの間の中間コードの形態をとることができる。
本発明は、上述したコンピュータプログラムの命令を含むコンピュータ可読記憶媒体またはデータ媒体にも関する。上述した記録媒体は、プログラムを記憶することのできる任意のエンティティまたはデバイスとすることができる。例えば、媒体は、ROM、例えばCD-ROMもしくは超小型電子回路ROMなどの記憶手段、USBフラッシュドライブ、または磁気記録手段、例えばハードドライブを含むことができる。他方では、記録媒体は、電気ケーブルもしくは光ケーブルを通じて、無線によって、または他の手段によって搬送することのできる、電気信号や光信号などの送信可能媒体に対応することができる。本発明によるプログラムは、特に、インターネットタイプのネットワーク上でダウンロードすることができる。
あるいは、記録媒体は、プログラムが埋め込まれている集積回路に対応することができ、この回路は、当該の方法を実行するように、または当該の方法の実行に使用されるように、適合される。
本発明の他の特徴および利点は、単純で、例示的な、非制限的な例として提供される特定の一実施形態の以下の説明、および添付の図面を読めば、より明確に分かるであろう。
マルチビューシーン捕捉システムの一例を概略的に示す図である。 パッチのコード化に基づくマルチビューエンコーダの一例を概略的に示す図である。 パッチ抽出およびアトラス作成の一例を示す図である。 本発明の特定の一実施形態によるコード化方法のステップを示す図である。 本発明の特定の一実施形態による復号方法のステップを示す図である。 本発明の特定の一実施形態によるデータストリーム例を示す図である。 本発明の特定の一実施形態によるコード化デバイスのアーキテクチャの一例を示す図である。 本発明の特定の一実施形態による復号デバイスのアーキテクチャの一例を示す図である。
図4は、本発明の特定の一実施形態による、少なくとも1つのコード化されたデータストリームにおけるマルチビュービデオコード化方法のステップを示す。
本発明によれば、マルチビュービデオは、図2に関して示したコード化方式に従ってコード化され、1つまたは複数の基本ビューがデータストリーム内にコード化され、テクスチャおよび深度データを含むサブ画像またはパッチもデータストリーム内にコード化される。これらのパッチは、データストリーム内に完全に符号化されるとは限らない追加のビューに由来する。そのようなパッチおよび1つまたは複数の基本ビューにより、デコーダが、以後仮想ビューとも、または合成されたビューとも、あるいは中間ビューとさえ呼ばれる、シーンの他のビューを合成することが可能になる。これらの合成されたビューは、データストリーム内にコード化されていない。本発明の特定の一実施形態に関するそのようなコード化方式のステップについて、下で説明する。
例えば、ここで、シーンは図1に示すようにカメラC1、C2、...、CNのセットによって捕捉される、と考える。各カメラが、時間にわたって変化する少なくとも1つのいわゆるテクスチャ成分を含む、ビューを生成する。換言すれば、ビューのテクスチャ成分は、そのビューの視点に配置されたカメラによって捕捉された画像に対応する2D画像のシーケンスである。各ビューは、深度マップと呼ばれる深度成分も含み、これはビュー内の各画像について決定される。
深度マップは、テクスチャを使用して深度を推定することによって、または光検出および測距(Lidar)技術を使用してシーンからボリュメトリックデータを捕捉することによって、知られている手法で生成することができる。
以後、「ビュー」という用語は、ある視点から捕捉されたシーンを表すテクスチャ画像および深度マップのシーケンスを示すために使用される。言語の誤用によって、「ビュー」という用語は、所与の時間におけるビューのテクスチャ画像および深度マップを意味することもある。
マルチビュービデオのビューが捕捉されると、次いでエンコーダが、例えばBasel Salahieh、Bart Kroon、Joel Jung、Marek Domanski、Test Model 4 for Immersive Video、ISO/IEC JTC 1/SC 29/WG 11 N19002、Brussels、BE - 2020年1月の中で定められたコード化方式による、下で説明するステップを進める。
ステップE40において、マルチビュービデオの捕捉されたビューから1つまたは複数の基本ビューが選択される。
基本ビューは、マルチビュービデオの捕捉されたビューのセットから、知られている手法で選択される。例えば、空間サブサンプリングを行って、2つのビューから1つのビューを選択することができる。別の例では、ビューのコンテンツを使用して、どのビューが基本ビューとして保持されるべきかを決定することができる。さらに別の例では、カメラパラメータ(位置、配向、フォーカス)を使用して、基本ビューとして選択されなければならないビューを決定することができる。ステップE40の終わりに、基本ビューとなるべき一定数のビューが選択される。
基本ビューとして選択されない残りのビューは、「追加のビュー」と呼ばれる。
ステップE41において、追加のビューにプルーニング方法を適用して、各追加のビューについてデコーダに送信すべき1つまたは複数のパッチを識別する。このステップでは、追加のビュー画像から中間ビュー合成に必要となるゾーンを抽出することによって、送信すべきパッチが決定する。例えば、そのようなゾーンは、基本ビュー内に不可視のオクルージョンゾーン、または基本ビュー内に可視の、照明の変化を受けたもしくは品質がより低いゾーンに対応する。抽出されたゾーンは、任意のサイズおよび形状のものである。近傍に連結された画素(pixels connected to their neighbours)のクラスタリングを実施して、同一ビューの抽出されたゾーンから、コード化および配置がより容易な1つまたは複数の矩形パッチを作成する。
ステップE42において、各パッチについて、エンコーダが、パッチがアトラス内に配置されるときにパッチに適用される1つまたは複数の変換を決定する。
パッチはテクスチャ成分および/または深度成分を有するパッチとすることができることが、思い出されよう。
パッチは、アトラスのコード化コストを最小限に抑えるように、かつ/またはデコーダによって処理すべき画素の数を低減させるように、アトラス内に配置される。これを達成するために、パッチは、
・垂直方向寸法におけるNv分の1のサブサンプリング
・水平方向寸法におけるNh分の1のサブサンプリング
・各寸法におけるNe分の1のサブサンプリング
・パッチ内に含まれる画素値の修正
・パッチの角度i*90°、ただしi=0、1、2、または3である、の回転
を含む変換を受けることができる。
次いで、エンコーダは、各パッチを一通り確認し、パッチに適用すべき1つまたは複数の変換を決定する。
一変形形態では、パッチについてテストすべき変換のリスト内に、「恒等」変換、換言すればゼロ変換(no transformation)も含まれてよい。
可能な変換の中からの変換の選択は、レート-歪み基準を評価することによって行うことができ、このレート-歪み基準は、再構築された信号に対して、変換されたパッチを符号化するのに必要となるレート、およびオリジナルパッチと、コード化され、次いで再構築された、変換されたパッチとの間で計算される歪みを使用して計算されるものである。選択は、処理されているパッチを使用して合成された追加のビューの品質のアセスメントに基づいて行うこともできる。
各変換について、1つまたは複数のパラメータをテストすることができる。
例えば、サブサンプリングのケースでは、さまざまな倍率Nv、Nh、およびNeをテストすることができる。好ましい一実施形態では、倍率Nv、Nh、およびNeは2に等しい。他の実施形態では、4、8、または16など、他の値が可能である。
画素値の変更に対応する変換は、「マッピング」とも呼ばれる。そのようなマッピング変換は、例えば、パッチの全ての画素値を所与の値Dvで除算することからなることができる。例えばDvは2に等しい。しかし、4、8、または16など、他の値が可能である。
別の例では、マッピングは、パラメータ化された関数fP(x)=yを使用して画素のx値を新たなy値に変換することにあってもよい。そのような関数は、例えば、部分ごとの一次関数(linear function per part)であり、各部分は、その開始横座標x1、ならびに一次関数y=ax+bのパラメータaおよびbによってパラメータ化される。その場合、変換のパラメータPは、マッピングの各線形部分について3つ組リスト(x1、a、b)となる。
別の例では、マッピングは、値yを入力xに関連付けるテーブルであるルックアップテーブル(LUT)とすることもできる。
回転変換の場合、回転変換は、垂直方向反転としても知られる180°垂直方向回転とすることができる。他の回転パラメータ値、例えば、i*90°、ただしi=0、1、2、または3である、によって定められる角度値をテストすることもできる。
パッチに関連付けられる変換の決定では、アトラスの符号化のレート/歪みコスト、または中間ビュー合成の品質を全体的に最適化するために、マルチビュービデオの符号化に利用可能なアトラスの数を考慮に入れ、アトラス内のパッチの配置を模擬することもできる。
ステップE42の終わりに、変換されたパッチのリストが利用可能になる。各パッチには、そのパッチについて決定された変換、および関連するパラメータが関連付けられている。
ステップE43の間に、これらのパッチが1つまたは複数のアトラス内に配置される。アトラスの数は、例えば、アトラスのサイズ(長さおよび高さ)や、所与の時間または画像当たりの全てのアトラスの、テクスチャおよび深度のための画素の最大数Mなど、エンコーダへの入力として定められたパラメータに応じて決まる。この最大数Mは、マルチビュービデオの、デコーダによって一度に処理すべき画素の数に対応する。
ここで説明する特定の実施形態では、各基本ビューは、その基本ビューの所与の時間におけるテクスチャ成分および深度成分を含むパッチを構成して、アトラス内にコード化されるものと考える。この特定の実施形態では、基本ビューがあるのと同数のアトラス、および追加のビューから抽出された全てのパッチを移すのに必要となるだけの数のアトラスがある。
入力として与えられるアトラスのサイズに応じて、アトラスは、基本ビューおよびパッチからなることもでき、または基本ビューを、ビューのサイズがアトラスのサイズよりも大きい場合は、分割していくつかのアトラス上に表現することもできる。
ここで説明する特定の実施形態によれば、アトラスのパッチはその場合、基本ビューの画像全体に対応することもでき、または基本ビューの部分に対応することもでき、または追加のビューから抽出されたゾーンに対応することもできる。
パッチのテクスチャ画素は、アトラスのテクスチャ成分内に配置され、パッチの深度画素は、アトラスの深度成分内に配置される。
アトラスは、ただ1つのテクスチャ成分または深度成分を含むこともでき、あるいはテクスチャ成分と深度成分とを含むこともできる。他の例では、アトラスは、中間ビュー合成にとって有用な情報を含む他のタイプの成分を含むこともできる。例えば、他のタイプの成分は、対応するゾーンがいかに透過であるかを示すための反射率インデックス(reflectance index)や、そのロケーションにおける深度値についての信頼情報などの情報を含むことができる。
ステップE43の間、エンコーダは、パッチリスト内の全てのパッチをスキャンする。各パッチについて、エンコーダは、どのアトラス内にこのパッチがコード化されるかを決定する。このリストは、変換されたパッチと変換されていないパッチをどちらも含む。変換されていないパッチは、ゼロ変換もしくは恒等変換を受けた、追加のビューから抽出されたゾーンを含むパッチ、または基本ビューの画像を含むパッチである。ここで、パッチが変換されなければならないとき、パッチはすでに変換されている、と考える。
アトラスは、画像内に空間的に再配置されたパッチのセットである。この画像は、コード化されることが意図されている。この配置の目的は、コード化すべきアトラス画像内の空間を最大限に利用することである。実際のところ、ビデオコード化の目的の1つは、ビューを合成することができる前に、復号すべき画素の数を最小限に抑えることである。このために、パッチはアトラス内に、アトラス内のパッチの数が最大になるように配置される。そのような方法は、Basel Salahieh、Bart Kroon、Joel Jung、Marek Domanski、Test Model 4 for Immersive Video、ISO/IEC JTC 1/SC 29/WG 11 N19002、Brussels、BE - 2020年1月に記載されている。
ステップE43を受けて、各アトラスについてのパッチのリストが生成される。この配置により、所与の時間についてコード化すべきアトラスの数も決まることに留意されたい。
ステップE44の間、アトラスがデータストリーム内にコード化される。このステップでは、2D画像の形態をとるテクスチャ成分および/または深度成分を含む各アトラスが、HEVC、VVC、MV-HEVC、3D-HEVCなどの従来のビデオエンコーダを使用してコード化される。上で説明したように、基本ビューはここではパッチとして考える。したがって、アトラスのコード化には基本ビューのコード化が関与する。
ステップE45の間、各アトラスに関連する情報が、データストリーム内にコード化される。この情報は一般に、エントロピーエンコーダによってコード化される。
各アトラスについて、パッチのリストは、リスト内のパッチごとに以下のアイテムを含む。
・アトラス内での、パッチの、2D座標の形態をとるロケーション、例えば、パッチを表す矩形の左上隅の位置、
・パッチのオリジナルビュー内での、パッチの、2D座標の形態をとるロケーション、すなわち、パッチの抽出元のビューの画像内でのパッチの位置、例えば、画像内での、パッチを表す矩形の左上隅の位置、
・パッチの寸法(長さおよび高さ)、
・パッチのオリジナルビューの識別子、
・パッチに適用された変換に関する情報。
ステップE45において、アトラスの少なくともいくつかのパッチについて、復号中にパッチに適用すべき変換に関する情報が、データストリーム内にコード化される。復号中にパッチに適用すべき変換は、アトラスのパッチを配置するときにパッチに適用された、上で決定された逆変換に対応する。
本発明の特定の一実施形態では、各パッチについて、適用すべき変換を示す情報が送信される。
ここで説明する特定の実施形態では、(復号の逆変換に対応する)符号化に適用された変換ではなく、復号に適用すべき変換こそが示される、と考える。例えば、符号化中にサブサンプリングが適用されるとき、復号中にオーバーサンプリングが適用される。本発明の他の特定の実施形態では、適用すべき変換に関する送信される情報は、コード化に適用された変換を示す情報に対応してよく、デコーダはその場合、適用すべき変換をこの情報から推定する、ということが明確に理解されよう。
例えば、適用すべき変換を示す情報は、可能な変換のリスト内の適用すべき変換を示すインデックスとすることができる。そのようなリストは、恒等変換をさらに含むことができる。したがって、ゼロ変換がパッチに適用されるケースでは、恒等変換を示すインデックスをコード化することができる。
別の実施形態では、パッチが変換されるか否かを示すために、バイナリインジケータをコード化することができ、パッチが変換されたことをバイナリインジケータが示す場合、可能な変換のリストからのどの変換を適用すべきかを示すインデックスがコード化される。
適用すべきただ1つの変換が可能である一実施形態では、パッチが変換されるか否かを示すために、バイナリインジケータのみをコード化することができる。
可能な変換のリストは、デコーダに既知とすることができ、したがって、データストリーム内で送信される必要がない。他の実施形態では、可能な変換のリストは、データストリーム内の例えばビューのヘッダ内またはマルチビュービデオのヘッダ内にコード化することができる。
適用すべき変換に関連付けられたパラメータも、デフォルトで定めることができ、デコーダに既知とすることができる。本発明の別の特定の実施形態では、パッチに適用される変換に関連付けられたパラメータは、各パッチについてデータストリーム内に符号化される。
変換が、(コード化中の同一サブサンプリングに等価な)一方または両方の寸法におけるオーバーサンプリングに対応するとき、変換に関連付けられたパラメータは、全ての寸法について適用すべき補間の値または各寸法について適用すべき補間の値に対応することができる。
変換が、パラメータを使用してマッピングすることによる、コード化すべきパッチの画素値の修正に対応するとき、この変換のパラメータは、適用すべきマッピングの特性、すなわち、部分的に線形な(linear by parts)一次関数のパラメータ、ルックアップテーブル(LUT)などに対応する。特に、可能なLUTは、デコーダに既知とすることができる。
変換が回転に対応するとき、パラメータは、可能な回転の中から選択される回転角度に対応する。
変換に関連付けられたパラメータは、そのままでコード化するか、または予測値に対する予測によってコード化することができる。
一変形形態による一実施形態では、パラメータの値を予測するために、予測値を定め、データストリーム内の、現在のパッチを含むビューのヘッダ内、または成分のヘッダ内、またはビューの画像のヘッダ内、あるいはアトラスのヘッダ内にさえ、それをコード化することができる。
したがって、所与のアトラスについて、パラメータの値Pが、アトラスのレベルでコード化された値Ppredによって予測される。その場合、PpredとPとの間の差が、アトラスの各パッチについてコード化される。
別の実施形態では、パラメータの値を予測するために、予測値Ppredが、以前に処理されたパッチに使用されたパラメータの値に対応してよい。例えば、以前に処理されたパッチは、パッチ処理順序内の以前のパッチとすることもでき、または現在のパッチと同一ビューに属する以前のパッチとすることもできる。
パラメータの予測値は、HEVCエンコーダの「マージ」モードに類似のメカニズムによって得ることもできる。各パッチについて、候補パッチのリストが定められ、これらの候補パッチのうちの1つを指し示すインデックスが、そのパッチについてコード化される。
別の実施形態では、インデックスが送信される必要がなく、というのも、基準を使用して、候補パッチのリストからパッチを識別することができるためである。したがって、例えば、現在のパッチとの類似の程度を最大にするパッチを選択することができ、または現在のパッチにその寸法が最も近いパッチでさえ選択することができる。
他の変形実施形態では、変換の使用がイネーブルにされた場合、パッチが変換を受けなければならないかどうかを示す情報を、変換の使用を示す部分(例えばバイナリインジケータ)と、変換のパラメータを示す部分とに分解することができる。この信号伝達メカニズムは、パッチについての可能な変換ごとに独立に使用することができる。
本発明の特定の一実施形態では、決定された変換の、アトラスのパッチへの、ビューのパッチへの、または成分のパッチへの使用をアクティブ化するために、バイナリインジケータを、そのアトラスのヘッダ、またはそのビューのヘッダ、またはその成分のヘッダのレベルでコード化することができる。その場合、決定された変換のパッチへの適用は、このバイナリインジケータの値に応じて決まる。
例えば、変換Aのアクティブ化および変換Bのアクティブ化にそれぞれ関連付けられた2つのバイナリインジケータIAおよびIBが、アトラスのヘッダ内にコード化される。バイナリインジケータIAの値は、変換Aの使用が可能であることを示しており、一方、バイナリインジケータIBの値は、変換Bの使用が不可能であることを示している。この例では、各パッチについて、バイナリインジケータが、変換Aがそのパッチに適用されるかどうかと、おそらくは関連付けられたパラメータとを示す。この例では、各パッチについて、バイナリインジケータを、変換Bがそのパッチに適用されるかどうかを示すためにコード化する必要はない。
変換の使用をパッチレベルでまたはより上位レベルでアクティブ化するこの特定の実施形態は、特に、どのパッチもこの変換を使用しないとき、信号伝達のコストを節約することができる。
このバイナリアクティブ化インジケータが、ビューまたは成分のレベルでコード化される場合、その値は、パッチがどのアトラス内にコード化されているかにかかわらず、そのビューまたは成分に属する全てのパッチに適用される。したがって、アトラスは、そのパッチについてコード化されたインジケータに従ってある特定の変換を適用することのできるパッチ、およびそれと同じ変換を適用することのできないパッチを含むことがある。この後者のパッチの場合、この変換についてのインジケータは、パッチ情報内に符号化されない。
本発明の別の特定の実施形態では、変換を示す情報がパッチレベルで符号化されない。変換はデコーダにおいてパッチの特性から推定される。次いで、変換は、ある特定の基準を満たすとすぐにパッチに適用される。この特定のモードについては、下で復号プロセスに関してより詳細に説明する。
図5は、本発明の特定の一実施形態による、マルチビュービデオを表すコード化されたデータストリームを復号するための方法のステップを示す。例えば、コード化されたデータストリームは、図4に関して説明したコード化方法によって生成されたものである。
ステップE50の間、アトラス情報が復号される。この情報は一般に、適切なエントロピーデコーダによって復号される。
情報は、パッチのリストと、各パッチについて以下の要素とを含む。
- アトラス内での、パッチの、座標の形態をとるロケーション、
- パッチのオリジナルビュー内での、パッチの、座標の形態をとるロケーション、
- パッチの寸法、
- パッチのオリジナルビューの識別子、
- パッチに変換が適用されなければならないかどうかを示す情報。
コード化方法と同様に、この情報は、可能な変換のリストからの変換を示すインデックスとするか、または可能な各変換について、パッチに変換が適用されなければならないかどうかを示すインジケータとすることができる。
両方の寸法における同一オーバーサンプリングに対応する変換の場合、情報は、変換の使用を示すバイナリインジケータとするか、または全ての寸法に適用すべき補間の値とすることができる。
2つの寸法における別個のオーバーサンプリングに対応する変換の場合、情報は、変換の使用を示すバイナリインジケータに対応するか、または各寸法について、適用すべき補間の値に対応することができる。
パラメータを使用してマッピングすることによる、復号すべきパッチの画素の修正に対応する変換の場合、情報は、マッピングの使用を示す情報アイテムと、おそらくは、適用すべきマッピングの特性(部分的に線形な一次関数のパラメータ、ルックアップテーブルなど)を表す情報を含むことができる。
回転に対応する変換の場合、パラメータは、可能な回転の中からどの回転が選択されたかを示す。
パッチに適用すべき変換を識別することのできる送信された情報は、適用されたコード化に適した様式で復号される。したがって、情報は、エンコーダと同様の様式で、そのままで復号する(直接復号)か、または予測復号することができる。
本発明の特定の一実施形態によれば、変換の使用がアクティブ化された場合、パッチに適用すべき変換を識別するための情報は、変換の使用を示す部分(バイナリインジケータ)と、変換のパラメータを示す部分とを含むことができる。
コード化方法の場合と同様に、本発明の特定の一実施形態によれば、所与のパッチについての、パッチに適用すべき変換を識別する情報のアイテムの復号は、そのパッチが属するアトラスのヘッダ内、ビューのヘッダ内、または成分のヘッダ内にコード化されたアクティブ化バイナリインジケータに応じて決まり得る。
本発明の別の特定の実施形態によれば、パッチに適用すべき変換を識別する情報は、パッチ情報とともにコード化されるのではなく、復号されたパッチの特性から得られる。
例えば、一実施形態では、パッチ内の復号された画素のエネルギーが、パッチの二乗平均平方根誤差を計算することによって測定される。このエネルギーが、所与のしきい値を下回る場合、例えば100未満の二乗平均平方根誤差である場合、パッチの画素値は、パッチの全ての値に指定の倍率Dvを乗算することによって変換される。例えばDv=2である。他のしきい値ならびに他のパッチ値修正倍率が可能である。
別の変形形態によれば、Hがパッチの高さであり、Wがパッチの長さである、パッチのH/W復号された寸法の比が、所与の範囲内にある、例えば0.75<H/W<1.5である場合、パッチは、垂直方向寸法において、所与の倍率、例えば倍率2で補間される。ここで考慮するパッチ寸法は、パッチがその中にコード化されたアトラス情報から復号されたパッチ寸法である。これらは、デコーダに対する変換前(したがってエンコーダに対する変換後)のパッチの寸法である。H/W比が決定された範囲内にあると決定されるとき、パッチはオーバーサンプリングされ、その寸法がその結果として再計算される。
この変形形態により、サブサンプリングをそれらに対して行うことが関心の対象ではない「長い」パッチと、デコーダにおいてそれらが補間されることを可能にする基準をそれらに順守させる信号伝達をすることなくサブサンプリングがそれらに対して行われる「長い」パッチとを、同一アトラス内に混合することが可能になる。他のしきい値、例えば0.9<H/W<1.1などのより制限的な値を使用することができる。
ステップE51の間、アトラスの成分が復号される。2Dテクスチャ成分および/または2D深度成分を含む各アトラスが、AVCまたはHEVC、VVC、MV-HEVC、3D-HEVCなどの従来のビデオデコーダを使用して復号される。
ステップE52の間、ステップE50において識別された変換を、変換がテクスチャ成分に適用されるか、それとも深度成分に適用されるか、それとも両方の成分に適用されるかに応じて、各パッチのアトラス内の各パッチのテクスチャ成分および/または深度成分に適用することによって、復号されたパッチが再構築される。
追加のビューの場合、このステップは、各パッチを個別に、このパッチについて識別された変換を適用することによって修正することからなる。これは、いくつかの手法で、例えば、パッチを含むアトラス内のそのパッチの画素を修正することによって、修正されたパッチをバッファメモリゾーン内にコピーすることによって、または変換されたパッチをその関連するビュー内にコピーすることによって、行うことができる。
先に復号された情報に応じて、再構築すべき各パッチには、以下の変換のうちの1つが適用されることが可能である。
・垂直方向寸法におけるNv分の1のサブサンプリング、
・水平方向寸法におけるNh分の1のサブサンプリング、
・各寸法におけるNe分の1のサブサンプリング、
・パッチ内に含まれる画素値の修正、
・パッチの回転。
画素値の修正は、コード化および復号と類似している。送信されるマッピングパラメータは、エンコーダマッピングのパラメータ(その場合、デコーダはそのマッピングの逆関数を適用しなければならない)またはデコーダマッピングのパラメータ(その場合、エンコーダはそのマッピングの逆関数を適用しなければならない)とすることができることに留意されたい。
本発明の特定の一実施形態によれば、エンコーダに、パッチへのいくつかの変換を適用することが可能である。これらの変換は、ストリーム内の、そのパッチについてコード化された情報内で信号伝達されるか、そうでなければ、復号されたパッチの特性から推定される。例えば、エンコーダは、パッチの各寸法において2分の1にサブサンプリングされ、その後に、パッチの画素値のマッピングと、次いで回転が続いてよい。
本発明のこの特定の実施形態によれば、適用すべき変換の順序は、事前に定められ、エンコーダおよびデコーダに既知である。例えば、エンコーダにおいて順序は次の通りである:回転、次いでサブサンプリング、次いでマッピング。
デコーダにおいてパッチを再構築する際、パッチにいくつかの変換が適用されなければならないとき、パッチには逆順が適用される(マッピング、オーバーサンプリング、次いで回転)。したがって、デコーダとエンコーダはどちらも、同じ結果を生成するためにどの順序で変換を適用すべきかが分かっている。
ステップE52の終わりに、再構築されたパッチのセットが利用可能になる。
ステップE53の間、少なくとも1つの基本ビューおよび少なくとも1つの先に再構築されたパッチを使用して、少なくとも1つの中間ビューが合成される。選択された仮想ビュー合成アルゴリズムが、デコーダに送信されたマルチビュービデオの復号および再構築されたデータに適用される。先に説明したように、このアルゴリズムは、基本ビュー成分およびパッチビュー成分の画素を用いて、カメラ間の視点からのビューを生成するものである。
例えば、合成アルゴリズムは、基本ビューおよび/または追加のビューからの少なくとも2つのテクスチャおよび2つの深度マップを使用して、中間ビューを生成する。シンセサイザが知られており、シンセサイザは、例えば、DIBRカテゴリー(深度画像ベースのレンダリング(Depth Image Based Rendering))に属する。例えば、標準機構によって使用される頻度の高いアルゴリズムは、次の通りである。
- Nagoya Universityによって着手され、MPEGによって強化された、View Synthesis Reference Softwareを表すVSRSでは、リファレンスビューと中間ビューとの間のホモグラフィを使用して深度マップの順投影を適用し、その後に、順方向ワーピングのアーチファクトを取り除くためのフィリングステップが続く。
- the University of Brusselsによって着手され、Philipsによって改良された、Reference View Synthesizerを表すRVSでは、計算された視差を使用してリファレンスビューを投影することから開始する。リファレンスは三角形にパーティショニングされ、歪められる。次いで、各リファレンスの変形したビュー同士をブレンディングし、基本修復フィリングを適用してディスオクルージョンをフィリングする。
- Orangeによって開発された、Versatile View Synthesizerを表すVVSでは、リファレンスをソートし、ある特定の深度マップ情報の変形を適用し、次いで、これらの深度を条件付きでマージする。次いで、テクスチャの逆方向ワーピングを適用し、その後に、さまざまなテクスチャと深度のマージが続く。最後に、時空間修復を適用してから、中間画像の空間フィルタリングをかける。
図6は、本発明の特定の一実施形態によるデータストリームの一例を示し、とりわけ、ストリーム内にコード化され、アトラスのパッチに適用すべき1つまたは複数の変換を識別するために使用される、アトラス情報を示す。例えば、このデータストリームは、図4に関して説明した特定の実施形態のいずれか1つによるコード化方法によって生成されたものであり、図5に関して説明した特定の実施形態のいずれか1つによる復号方法によって復号されるのに適している。
本発明のこの特定の実施形態によれば、そのようなストリームはとりわけ、以下を含む。
- 所与の変換がアクティブ化されるか否かを示すためにアトラスのヘッダ内にコード化されたActTrfインジケータ、
- 変換パラメータ値のための予測値としての役割を果たす予測値Ppred、
- アトラス内のコード化されたパッチの数Np、
- アトラスの各パッチについて、パッチ情報、とりわけ、パッチに変換が使用されるか否かを示すTrfインジケータ、
- パッチへの変換の使用をTrfインジケータが示すとき、例えば予測値Ppredがコード化されている場合にそれに関して得られた残差の形態をとる、変換のパラメータPar。
上述したコード化方法および復号方法に関して説明したように、パッチについてコード化される変換関連情報の点で、本発明のさらなる特定の実施形態が可能である。
図7は、本発明の特定の実施形態のいずれか1つによるコード化方法を実施するように適合されたコード化デバイスCODの簡略化された構造を示す。
本発明の特定の一実施形態によれば、コード化方法のステップは、コンピュータプログラム命令によって実施される。この目的のために、コード化デバイスCODは、コンピュータの標準的なアーキテクチャを有し、とりわけメモリMEMと、例えばプロセッサPROCを備え、メモリMEM内に記憶されたコンピュータプログラムPGによって駆動される処理装置UTとを備える。コンピュータプログラムPGは、プログラムがプロセッサPROCによって実行されたときに上述したコード化方法のステップを実施するための命令を含む。
初期化時に、コンピュータプログラムPGのコード命令が、例えばRAMメモリ(図示せず)内にロードされてから、プロセッサPROCによって実行される。具体的には、処理装置UTのプロセッサPROCは、コンピュータプログラムPGの命令に従って、上述したコード化方法のステップを実施する。
図8は、本発明の特定の実施形態のいずれか1つによる復号方法を実施するように適合された復号デバイスDECの簡略化された構造を示す。
本発明の特定の一実施形態によれば、復号デバイスDECは、コンピュータの標準的なアーキテクチャを有し、とりわけメモリMEM0と、例えばプロセッサPROC0を備え、メモリMEM0内に記憶されたコンピュータプログラムPG0によって駆動される処理装置UT0とを備える。コンピュータプログラムPG0は、プログラムがプロセッサPROC0によって実行されたときに上述した復号方法のステップを実施するための命令を含む。
初期化時に、コンピュータプログラムPG0のコード命令が、例えばRAMメモリ(図示せず)内にロードされてから、プロセッサPROC0によって実行される。具体的には、処理装置UT0のプロセッサPROC0は、コンピュータプログラムPG0の命令に従って、上述した復号方法のステップを実施する。
A0 アトラス
A1 アトラス
COD コード化デバイス
C1 カメラ
C2 カメラ
C3 カメラ
C4 カメラ
C5 カメラ
DEC 復号デバイス
Db 基本ビュー
Ds 残りのビュー
D0 深度マップ、深度
D1 深度マップ、深度
MEM メモリ
MEM0 メモリ
PG コンピュータプログラム
PG0 コンピュータプログラム
PROC プロセッサ
PROC0 プロセッサ
Tb 基本ビュー
Ts 残りのビュー
T0 テクスチャ画像、テクスチャ
T1 テクスチャ画像、テクスチャ
UT 処理装置
UT0 処理装置
V0 ビュー
V1 ビュー
V2 ビュー

Claims (15)

  1. マルチビュービデオを表すコード化されたデータストリームを復号するための方法であって、前記コード化されたデータストリームが、少なくとも1つのアトラスを表すコード化されたデータを含み、前記少なくとも1つのアトラスが、少なくとも1つのパッチを含む画像に対応し、前記少なくとも1つのパッチが、前記マルチビュービデオのビューの少なくとも1つの成分から抽出された画素のセットに対応し、前記ビューが、前記コード化されたデータ内にコード化されておらず、前記復号方法が、
    - 前記コード化されたデータストリームから、前記少なくとも1つのパッチを復号することを含めて、前記少なくとも1つのアトラスを復号するステップと、
    - 前記少なくとも1つの復号されたパッチについて、前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定するステップであって、前記変換が、前記パッチの少なくとも1回のオーバーサンプリングまたは前記パッチの画素値の修正を含む変換のグループに属する、ステップと、
    - 前記決定された変換を前記復号されたパッチに適用するステップと
    を含む、方法。
  2. 前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうかが、前記少なくとも1つのパッチについての、前記コード化されたデータストリームから復号された少なくとも1つの構文要素から決定される、請求項1に記載の方法。
  3. 前記少なくとも1つの復号された構文要素が、前記少なくとも1つのパッチに変換が適用されなければならないかどうかを示す少なくとも1つのインジケータを含み、前記少なくとも1つのパッチに変換が適用されなければならないことを前記インジケータが示す場合、前記少なくとも1つの構文要素が、任意選択で、前記変換の少なくとも1つのパラメータを含む、請求項2に記載の方法。
  4. 前記パッチに適用すべき前記変換の前記少なくとも1つのパラメータが、予測値に関して予測コード化される値を有する、請求項3に記載の方法。
  5. 前記予測値が、ビューのヘッダ内、または前記アトラスの成分のヘッダ内、または前記アトラスのヘッダ内にコード化される、請求項4に記載の方法。
  6. 前記予測値が、
    - 前記アトラスの前記パッチの処理順序に従って以前に処理されたパッチ、
    - 前記マルチビュービデオのビューの、前記少なくとも1つのパッチが属する成分と同じ成分から抽出された、以前に処理されたパッチ、
    - 前記データストリーム内にコード化されたインデックスを使用して候補パッチのセットから選択されたパッチ、
    - 選択基準を使用して候補パッチのセットから選択されたパッチ
    を含むグループに属するパッチに適用された、変換のパラメータの値に対応する、請求項4に記載の方法。
  7. 前記少なくとも1つの復号されたパッチについての、前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうかの前記決定が、前記データストリーム内にコード化された前記パッチへの変換の前記適用のアクティブ化を前記データストリームのヘッダから復号された構文要素が示す場合に実施され、前記構文要素が、ビューのヘッダ内、またはビューの成分のヘッダ内、または前記アトラスのヘッダ内にコード化される、請求項1に記載の方法。
  8. 前記少なくとも1つの復号されたパッチの特性が基準を満たす場合、前記復号されたパッチに変換が適用されなければならないと決定される、請求項1に記載の方法。
  9. 前記特性が、比R=H/Wに対応し、Hは、前記少なくとも1つの復号されたパッチの高さに対応し、Wは、前記少なくとも1つの復号されたパッチの幅に対応し、前記比が、決定された区間内に含まれるとき、前記少なくとも1つのパッチに適用すべき前記変換が、所定の倍率での垂直方向オーバーサンプリングに対応する、請求項8に記載の方法。
  10. 前記特性が、前記少なくとも1つの復号されたパッチの前記画素の値から計算されるエネルギーEに対応し、前記エネルギーEがしきい値よりも低いとき、前記少なくとも1つのパッチに適用すべき前記変換が、前記画素の前記値と決定された倍率との乗算に対応する、請求項8に記載の方法。
  11. マルチビュービデオを表すデータストリームをコード化するための方法であって、前記コード化方法は、
    - 前記データストリーム内にコード化されていない、前記マルチビュービデオのビューの少なくとも1つの成分から、前記成分の画素のセットに対応する少なくとも1つのパッチを抽出するステップと、
    - 前記少なくとも1つの抽出されたパッチについて、前記少なくとも1つのパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定するステップであって、前記変換が、前記パッチの少なくとも1回のサブサンプリングまたは前記パッチの画素値の修正を含む変換のグループに属する、ステップと、
    - 前記決定された変換を前記少なくとも1つのパッチに適用するステップと、
    - 前記データストリーム内に少なくとも1つのアトラスをコード化するステップであって、前記少なくとも1つのアトラスが、前記少なくとも1つのパッチを少なくとも含む画像に対応する、ステップと
    を含む、方法。
  12. 同一パッチにいくつかの変換が適用されなければならないとき、前記変換が適用されなければならない順序が事前に定められる、請求項1または11に記載の方法。
  13. マルチビュービデオを表すコード化されたデータストリームを復号するためのデバイスであって、前記コード化されたデータストリームが、少なくとも1つのアトラスを表すコード化されたデータを含み、前記少なくとも1つのアトラスが、少なくとも1つのパッチを含む画像に対応し、前記少なくとも1つのパッチが、前記マルチビュービデオのビューの少なくとも1つの成分から抽出された画素のセットに対応し、前記ビューが、前記コード化されたデータストリーム内にコード化されておらず、前記復号デバイスが、
    - 前記コード化されたデータストリームから、前記少なくとも1つのパッチを復号することを含めて、前記少なくとも1つのアトラスを復号すること、
    - 前記少なくとも1つの復号されたパッチについて、前記少なくとも1つの復号されたパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定することであって、前記変換が、前記パッチの少なくとも1回のオーバーサンプリングまたは前記パッチの画素値の修正を含むグループに属する、決定すること、
    - 前記決定された変換を前記復号されたパッチに適用すること
    を行うように構成されたプロセッサおよびメモリを備える、デバイス。
  14. マルチビュービデオを表すデータストリームをコード化するためのデバイスであって、
    - 前記データストリーム内にコード化されていない、前記マルチビュービデオのビューの少なくとも1つの成分から、前記成分の画素のセットに対応する少なくとも1つのパッチを抽出すること、
    - 前記少なくとも1つの抽出されたパッチについて、前記少なくとも1つのパッチに変換が適用されなければならないかどうか、および、どの変換が適用されなければならないかを決定することであって、前記変換が、前記パッチの少なくとも1回のサブサンプリングまたは前記パッチの画素値の修正を含む変換のグループに属する、決定すること、
    - 前記決定された変換を前記少なくとも1つのパッチに適用すること、
    - 前記データストリーム内に少なくとも1つのアトラスをコード化することであって、前記少なくとも1つのアトラスが、前記少なくとも1つのパッチを少なくとも含む画像に対応する、コード化すること
    を行うように構成されたプロセッサおよびメモリを備える、デバイス。
  15. コンピュータプログラムであって、前記プログラムがプロセッサによって実行されたときに、請求項1から10および12のいずれか一項に記載の復号方法を実施するための命令ならびに/または請求項11もしくは12に記載のコード化方法を実施するための命令を含む、コンピュータプログラム。
JP2022564436A 2020-04-22 2021-03-29 マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス Pending JP2023522456A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2003994A FR3109685A1 (fr) 2020-04-22 2020-04-22 Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
FR2003994 2020-04-22
PCT/FR2021/050551 WO2021214395A1 (fr) 2020-04-22 2021-03-29 Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues

Publications (1)

Publication Number Publication Date
JP2023522456A true JP2023522456A (ja) 2023-05-30

Family

ID=71452477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022564436A Pending JP2023522456A (ja) 2020-04-22 2021-03-29 マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス

Country Status (8)

Country Link
US (1) US20230164352A1 (ja)
EP (1) EP4140136A1 (ja)
JP (1) JP2023522456A (ja)
KR (1) KR20230002802A (ja)
CN (1) CN115428456A (ja)
BR (1) BR112022020642A2 (ja)
FR (1) FR3109685A1 (ja)
WO (1) WO2021214395A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457199B2 (en) * 2020-06-22 2022-09-27 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immversive video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005016827A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US20210006830A1 (en) * 2019-03-19 2021-01-07 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
KR20210155386A (ko) * 2019-05-14 2021-12-22 인텔 코포레이션 3DoF+/MIV 및 V-PCC에 대한 몰입형 비디오 코딩 기술
KR102292195B1 (ko) * 2019-07-04 2021-08-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115004230A (zh) * 2020-01-14 2022-09-02 华为技术有限公司 用于v-pcc的缩放参数

Also Published As

Publication number Publication date
CN115428456A (zh) 2022-12-02
KR20230002802A (ko) 2023-01-05
WO2021214395A1 (fr) 2021-10-28
BR112022020642A2 (pt) 2022-11-29
EP4140136A1 (fr) 2023-03-01
FR3109685A1 (fr) 2021-10-29
US20230164352A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US11115681B2 (en) Hybrid video coding supporting intermediate view synthesis
TWI743467B (zh) 用於以多參考深度影像為基礎演顯像差圖合併及像差臨限值判定之方法
CN106134191B (zh) 用于低延迟亮度补偿处理以及基于深度查找表的编码的方法
TW201215160A (en) Generation of high dynamic range images from low dynamic range images
EP2476096A1 (en) Rendering multiview content in a 3d video system
US20150110170A1 (en) Method and Apparatus for Simplified Depth Coding with Extended Prediction Modes
CN113853796A (zh) 用于体积视频编码和解码的方法、装置和计算机程序产品
JP2023522456A (ja) マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス
US20230308682A1 (en) Methods and devices for coding and decoding a multi-view video sequence
Ince et al. Depth estimation for view synthesis in multiview video coding
US20210400295A1 (en) Null tile coding in video coding
WO2019185983A1 (en) A method, an apparatus and a computer program product for encoding and decoding digital volumetric video
Lim et al. Adaptive Patch-Wise Depth Range Linear Scaling Method for MPEG Immersive Video Coding
KR20230078669A (ko) 다시점 비디오의 인코딩 및 디코딩 방법
WO2023198426A1 (en) Dynamic block decimation in v-pcc decoder
Zhang et al. Block-based in-loop view synthesis for 3-D video coding
RU2587986C2 (ru) Создание изображений с расширенным динамическим диапазоном из изображений с суженным динамическим диапазоном

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240222