JP7343487B2 - 360度ビデオ符号化におけるフェイス不連続の処理 - Google Patents

360度ビデオ符号化におけるフェイス不連続の処理 Download PDF

Info

Publication number
JP7343487B2
JP7343487B2 JP2020516423A JP2020516423A JP7343487B2 JP 7343487 B2 JP7343487 B2 JP 7343487B2 JP 2020516423 A JP2020516423 A JP 2020516423A JP 2020516423 A JP2020516423 A JP 2020516423A JP 7343487 B2 JP7343487 B2 JP 7343487B2
Authority
JP
Japan
Prior art keywords
virtual boundary
picture
vertical
virtual
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020516423A
Other languages
English (en)
Other versions
JP2020534750A (ja
Inventor
フィリップ・ハンハルト
ユウェン・ヘ
ヤン・イェ
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2020534750A publication Critical patent/JP2020534750A/ja
Priority to JP2023141231A priority Critical patent/JP2023159440A/ja
Application granted granted Critical
Publication of JP7343487B2 publication Critical patent/JP7343487B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G06T3/047
    • G06T3/067
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、360度ビデオ符号化におけるフェイス不連続の処理に関する。
関連出願の相互参照
本出願は、2017年9月20日に出願された米国仮出願第62/560992号、2018年1月26日に出願された米国仮出願第62/622551号、2018年2月2日に出願された米国仮出願第62/625575号、および2018年2月9日に出願された米国仮出願第62/628752号の利益を主張し、それらの内容は、参照によって本明細書に組み込まれる。
バーチャルリアリティ(VR)は、多くの応用分野に適用されており、それらは、限定することなく、ヘルスケア、教育、ソーシャルネットワーキング、工業デザイン/トレーニング、ゲーム、映画、ショッピング、および/またはエンターテイメントなどを含む。VRは、例えば、視聴者を取り囲むバーチャル環境を作り出し、視聴者の本当に「そこにいる」ような感覚を生み出すことによって、視聴者の体験を高めることができる。VRシステムは、姿勢、ジェスチャ、視線、音声などを通した対話をサポートすることができる。システムは、ユーザがVR環境内のオブジェクトと自然な方法で対話することができるように、触覚フィードバックをユーザに提供することができる。
フェイス不連続を越えた空間的近隣者からの再構成されたサンプルおよび/または符号化情報を無視する(discount)ための、システム、方法、および手段を提供する。
フェイス不連続(face discontinuities)を越えた空間的近隣者(空間的ネイバースspatial neighbors)からの再構成されたサンプルおよび/または符号化情報を無視する(discount:考慮に入れない)ための、システム、方法、および手段を提供することができる。現在ブロックがフェイス不連続に位置しているかどうかを決定することができる。フェイス不連続は、球面的近隣者(spherical neighbor)ではない2つ以上の隣接ブロック間のフェイス境界であることができる。現在ブロックの近隣ブロックの符号化利用可能性は、例えば、近隣ブロックがフェイス不連続を境にして現在ブロックと同じ側にあるかどうかに基づいて、決定することができる。例えば、近隣ブロックは、それがフェイス不連続を境にして現在ブロックと同じ側にある場合は、現在ブロックをデコードするために利用可能であり、それがフェイス不連続を境にして同じ側にない場合は、利用不可能であると決定することができる。近隣ブロックは、空間的近隣ブロック(spatial neighboring block)または時間的近隣ブロック(temporal neighboring block)であることができる。
現在ブロックがフェイス不連続に位置していると決定することは、ビットストリーム内のフェイス不連続インジケーションに基づくことができる。フェイス不連続インジケーションは、フェイス境界が不連続なフェイス境界であることを示すインジケーションであることができる。フェイス不連続インジケーションは、フェイス不連続の2つ以上の端点(end point)についてのインジケーションであることができる。フェイス不連続インジケーションは、フレームパッキング情報についてのインジケーションであることができる。
例えば、近隣ブロックの符号化利用可能性(coding availability)に基づいて、現在ブロックに対して、デコーディング機能(decoding functions)を実行することができる。デコーディング機能は、現在ブロックについてのマージモードを導出することを含むことができる。例えば、近隣ブロックが利用可能であると決定された場合、近隣ブロックをマージ候補リスト(例えば、候補ブロックのリスト)に追加することができる。近隣ブロックが利用不可能であると決定された場合、近隣ブロックをマージ候補リストから排除することができる。デコーディング機能は、例えば、インター予測、イントラ予測、クロスコンポーネント線形モデル予測、オーバラップブロック動き補償、デブロッキングフィルタ、サンプル適応オフセットフィルタ、または適応ループフィルタであることができる。
再構成されたサンプルの符号化利用可能性は、例えば、再構成されたサンプルがフェイス不連続を境にして現在ブロックと同じ側にあるかどうかに基づいて、決定することができる。例えば、再構成されたサンプルは、それがフェイス不連続を境にして現在ブロックと同じ側にある場合は、現在ブロックをデコードするために利用可能であり、それがフェイス不連続を境にして同じ側にない場合は、利用不可能であると決定することができる。利用不可能な再構成されたサンプルは、1つまたは複数の利用可能な再構成されたサンプルで置き換えることができる。利用不可能な再構成されたサンプルを含むテンプレートは、利用不可能であるとして標識付け(marked:マーク付け)することができる。
現在ブロックは、フェイス不連続によって横断される(横切られるcrossed)ことができる。現在ブロックは、2つ以上の予測ユニット(PU)に分割することができる。PUは、フェイス不連続によって分離することができる。各PUに対して別々に、動き補償を実行することができる。
再構成されたサンプルの符号化利用可能性に基づいて、現在ブロックに対してデコーディング機能を実行することは、クロスコンポーネント線形モデル予測、オーバラップブロック動き補償(OBMC)、デブロッキングフィルタ(DBF)、サンプル適応オフセット(SAO)フィルタ、および/または適応ループフィルタ(ALF)のうちの1つまたは複数を適用することを含むことができる。
フレームパッキングされたピクチャ内のフェイス不連続は、例えば、ビットストリームでシグナリングされたフェイス不連続インジケーションに基づいて、識別することができる。例においては、フェイス不連続インジケーションは、フェイス不連続に対応するエッジを識別するフレームパッキング情報を含むことができる。例においては、フェイス不連続インジケーションは、2つのフェイスの間の境界が連続か、それとも不連続かについてのインジケーションを含むことができる。例においては、フェイス不連続インジケーションは、フェイス不連続の端点座標(endpoint coordinates)についてのインジケーションを含むことができる。フェイス不連続の決定および/またはシグナリングを実行することができる。
イントラ予測およびインター予測については、ブロックが、フェイス不連続の右側に位置している場合、左、左上、および左下のフレームパッキングされた近隣者ブロック(ネイバーズブロック)は、フェイス不連続の他の側に配置することができ、属性を推測するために、例えば、イントラ角度プロセスにおいて最確モード(most probable mode)を導出するために、インター予測においてマージモードを導出するために、および/または動きベクトル予測のために、利用不可能と見なすことができる。同様の考察を、フェイス不連続の左側、上、および/または下に配置することができる現在ブロックに適用することができる。フェイス不連続における空間的候補の符号化利用可能性を決定することができる。
イントラ予測およびインター予測については、ブロックが、フェイス不連続の右側に位置している場合、ブロックの左側に位置している再構成されたサンプルは、フェイス不連続の他の側に配置することができ、現在ブロックのサンプルと相関がないことがある。このケースにおいては、再構成されたサンプルは、1つまたは複数の予測手法、例えばイントラ予測におけるDC、平面、および/または角度モード、インター予測におけるフレームレートアップコンバージョン(FRUC)テンプレートモード、および局所照明補償(LIC:Local illumination compensation)モードにおいて、利用不可能と見なすことができる。同様の考察を、フェイス不連続の左側、上、および/または下に位置している現在ブロックに適用できる。フェイス不連続における再構成されたサンプルの符号化利用可能性を決定することができる。
クロスコンポーネント線形モデル予測については、フェイス不連続における再構成されたサンプルは、それらがフェイス不連続を境にして現在ブロックと同じ側に位置していない場合は、廃棄することができる。例えば、ブロックが、フェイス不連続の右側(または下)に位置している場合、フェイス不連続の左側(または上)に位置している再構成されたサンプルは、線形モデルのパラメータを推定するためには、廃棄することができる。線形モデルパラメータの導出を実行することができる。
フェイス不連続のある側のテンプレートは、DIMD探索のためには、廃棄することができる。例えば、ブロックが、フェイス不連続の右側(例えば、下)または右側(例えば、下)の近くに位置しており、左(例えば、上)テンプレートからのサンプルの一部もしくはすべて、および/または左(例えば、上)テンプレートを予測するために使用された左(例えば、上)基準サンプルからのサンプルの一部もしくはすべてが、フェイス不連続の他の側に位置している場合、フェイス不連続の他の側にあるテンプレートは、DIMD探索のためには、廃棄することができる。DIMDにおけるフェイス不連続の近くの上および左テンプレートの使用を決定することができる。
OBMCについては、現在ブロック(またはサブブロック)が、フェイス不連続の右側に位置している場合、フェイス不連続の他の側に位置している、右ブロック(またはサブブロック)の動きベクトルを使用する、現在ブロック(またはサブブロック)の第1の列の調整をスキップすることができる。同様の考察を、フェイス不連続の左側、上、および/または下に位置している現在ブロック(またはサブブロック)に適用することができる。フェイス不連続におけるブロック(またはサブブロック)のOBMCベースの調整を実行することができる。
DBFについては、DBFフィルタにおいて使用される1つまたは複数(例えば、すべて)のサンプルが、フェイス不連続の同じ側に配置されないように、垂直(または水平)ブロック境界が、垂直(または水平)フェイス不連続の付近内にある場合、ブロック境界を越えてのDBFを無効にする(disabled)ことができる。フェイス不連続を越えてのデブロッキングを実行することができる。
SAOについては、現在サンプルが、フェイス不連続の右側に位置している場合、勾配ベースの分類(gradient based classification)において使用されるサンプルは、フェイス不連続の他の側に配置することができ、現在サンプルと相関がないことがあるので、エッジオフセットモードにおける水平カテゴリおよび2つの対角カテゴリは、そのサンプル位置については、無効することができる。同様の考察を、フェイス不連続の左側、上、および/または下に位置している現在サンプルに適用することができる。フェイス不連続におけるSAOプロセスを実行することができる。
ALFについては、現在のルーマ(またはクロマ)サンプルが、フェイス不連続から4つ(または2つ)のサンプル内に位置している場合、9×9(または5×5)ダイアモンドフィルタにおいて使用される1つまたは複数のサンプルは、フェイス不連続の他の側に配置することができ、現在サンプルと相関がないことがあるので、ALFは、そのサンプル位置については、無効にすることができる。フェイス不連続において、ALFを実行することができる。
正距円筒図法(ERP)における、経度方向および緯度方向に沿った、例示的な球面サンプリングを示す図である。 ERPにおける例示的な2D平面を示す図である。 ERPを使用して生成された例示的なピクチャを示す図である。 キューブマッププロジェクション(CMP)における例示的な3Dジオメトリ構造を示す図である。 3×2フレームパッキングした6つのフェイスを有する、例示的な2D平面を示す図である。 キューブマッププロジェクションを使用して生成された例示的なピクチャを示す図である。 例示的な360度ビデオ処理を示す図である。 例示的なブロックベースのエンコーダのブロック図である。 例示的なブロックベースのデコーダのブロック図である。 高効率ビデオ符号化(HEVC)イントラ予測において基準サンプルを使用する例を示す図である。 HEVCにおけるイントラ予測方向の例示的インジケーションの図である。 HEVCイントラ角度プロセスにおいて最確モードを導出するために使用される、空間的近隣者の例を示す図である。 1つの動きベクトルを用いる例示的インター予測(単予測)の図である。 HEVCマージプロセスにおいて空間的マージ候補を導出する際に使用される、空間的近隣者の例の図である。 デブロッキングフィルタ(DBF)オン/オフ決定、フィルタ選択、およびフィルタリングに含まれる、サンプルの例を示す図である。 デブロッキングフィルタ(DBF)オン/オフ決定、フィルタ選択、およびフィルタリングに含まれる、サンプルの例を示す図である。 サンプル適応オフセット(SAO)で使用される勾配パターンの例、(a)水平、(b)垂直、(c)対角、および(d)45°対角勾配パターンを示す図である。 クロスコンポーネント線形モデル予測におけるαおよびβの導出のため使用されるサンプルの例示的なロケーションを示す図である。 例示的なオーバラップブロック動き補償を示す図である。 局所照明補償と関連付けられた例を示す図である。 適応ループフィルタ(ALF)形状の例、(a)5×5ダイアモンド、(b)7×7ダイアモンド、および(c)9×9ダイアモンドフィルタ形状を示す図である。 デコーダサイドイントラモード導出(DIMD)におけるターゲット、テンプレート、および基準サンプルを有する例を示す図である。 例示的なCMP、(a)3D表現、および(b)3×2フレームパッキング構成を示す図である。 フェイス不連続が、現在ブロックの(a)上、(b)下、(c)左、または(d)右に位置しているときの、空間的近隣者の例示的な利用可能性を示す図である。 フェイス不連続が、現在ブロックの(a)上に位置しているときの再構成されたサンプルの例示的利用可能性を示す図である。 フェイス不連続が、現在ブロックの(b)下に位置しているときの再構成されたサンプルの例示的利用可能性を示す図である。 フェイス不連続が、現在ブロックの(c)左に位置しているときの再構成されたサンプルの例示的利用可能性を示す図である。 フェイス不連続が、現在ブロックの(d)右に位置しているときの再構成されたサンプルの例示的利用可能性を示す図である。 (a)サブブロックベースの動き補償の例示的な比較を示す図である。 (b)サブブロックマージングを伴うサブブロックベースの動き補償の例示的な比較を示す図である。 (c)フェイス不連続の近くにおけるサブブロックマージングを伴うサブブロックベースの動き補償の例示的な比較を示す図である。 (a)動き補償の例示的な比較を示す図である。 (b)フェイス不連続の近くにおける動き補償の例示的な比較を示す図である。 フェイス不連続が、現在ブロックの(a)上に位置しているときの、クロスコンポーネント線形モデル予測に使用される再構成されたサンプルの例示的な利用可能性を示す図である。 フェイス不連続が、現在ブロックの(b)左に位置しているときの、クロスコンポーネント線形モデル予測に使用される再構成されたサンプルの例示的な利用可能性を示す図である。 (a)OBMC設計に基づいた、外部オーバラップブロック動き補償(OBMC)ベースの動き補償の例示的な比較を示す図である。 (b)行/列ベースのサブブロックマージングに基づいた、外部オーバラップブロック動き補償(OBMC)ベースの動き補償の例示的な比較を示す図である。 (c)フェイス不連続の近くにおけるサブブロックマージングに基づいた、外部オーバラップブロック動き補償(OBMC)ベースの動き補償の例示的な比較を示す図である。 1つまたは複数の開示される実施形態を実施することができる、例示的な通信システムを例示するシステム図である。 実施形態による図25Aに例示される通信システム内で使用できる、例示的な無線送受信ユニット(WTRU)のシステム図である。 実施形態による図25Aの通信システム内で使用できる、例示的な無線アクセスネットワーク(RAN)およびコアネットワーク(CN)のシステム図である。 実施形態による図25Aに例示される通信システム内で使用できる、さらなる例示的なRANおよびCNのシステム図である。
説明的な実施形態についての詳細な説明が、様々な図を参照して、今から行われる。この説明は、可能な実施の詳細な例を提供するが、細部は例示的であることが意図されており、決して本出願の範囲を限定しないことが留意されるべきである。
VRシステムは、1つまたは複数の全方位ビデオを使用することができる。例えば、1つまたは複数の全方位ビデオは、1つまたは複数の360度ビデオを含むことができる。360度ビデオは、水平方向においては360度の角度から、また垂直方向においては180度の角度から見ることができる。VRシステムおよび360度ビデオは、超高精細(UHD)サービスを超える、メディア消費のために使用することができる。自由視点TV(FTV)は、ソリューションの性能をテストすることができる。例えば、FTVは、360度ビデオ(もしくは、例えば、全方位ビデオ)ベースのシステム、および/またはマルチビューベースのシステムの性能をテストすることができる。
VRシステムは、処理チェーンを含むことができる。処理チェーンは、キャプチャリング、処理、表示、および/または適用を含むことができる。キャプチャリングに関して、VRシステムは、1つまたは複数のカメラを使用して、異なる多岐にわたったビュー(例えば、6~12個のビュー)からシーンをキャプチャすることができる。ビューは、一緒につなぎ合わされて、(例えば、4Kまたは8Kなどの高解像度で)360度ビデオを形成することができる。VRシステムのクライアントおよび/またはユーザサイドは、計算プラットフォーム、ヘッドマウントディスプレイ(HMD)、および/または1つもしくは複数のヘッドトラッキングセンサを含むことができる。計算プラットフォームは、360度ビデオを受信および/またはデコードすることができる。計算プラットフォームは、表示のためのビューポートを生成することができる。ビューポートに対して、2つのピクチャ(例えば、各眼に対して1つ)をレンダリングすることができる。2つのピクチャは、立体視のためにHMD内に表示することができる。1つまたは複数のレンズを使用して、HMD内に表示される映像を(例えば、より良く見えるように)拡大することができる。ヘッドトラッキングセンサは、視聴者の頭部の向きを追跡し続ける(例えば、常に追跡し続ける)ことができる。向き情報をVRシステムに供給して、その向きのためのビューポートピクチャを表示することができる。VRシステムは、専用のタッチデバイスを提供することができる。例えば、専用のタッチデバイスは、視聴者が、仮想世界内のオブジェクトと対話することを可能にすることができる。VRシステムは、グラフィック処理ユニット(GPU)サポートを備えるワークステーションによって駆動することができる。VRシステムは、モバイルデバイス(例えば、スマートフォン)を、計算プラットフォームとして、HMDディスプレイとして、および/またはヘッドトラッキングセンサとして使用することができる。HMDの空間解像度は、例えば、2160×1200であることができる。リフレッシュレートは、例えば、90Hzであることができる。視野(FOV)は、例えば、約110度であることができる。ヘッドトラッキングセンサのためのサンプリングレートは、速い運動をキャプチャするために、例えば、1000Hzであることができる。VRシステムは、レンズおよびボール紙を備えることができ、スマートフォンによって駆動することができる。VRシステムは、ゲームを行うために使用することができる。1つまたは複数の360度ビデオストリーミングサービスを提供することができる。
VRシステムは、対話性および/または触覚フィードバックを提供することが可能であることがある。大きいHMDは、人が装着するには便利でないことがある。(例えば、あるHMDによって提供されるような)立体視用の2160×1200の解像度は、十分でないことがあり、ユーザによっては目まいおよび不快感を催すことがある。解像度の増加が、望ましいことがある。VR体験は、VRシステムの視覚効果を現実世界の力フィードバックと組み合わせることによって、高めることができる。VRジェットコースタアプリケーションは、VRシステムの視覚効果を現実世界の力フィードバックと組み合わせた例とすることができる。
360度ビデオは、例えば、動的適応ストリーミングオーバHTTP(DASH)ベースのビデオストリーミング技法を使用して、圧縮および配信することができる。360度ビデオコンテンツは、球面ジオメトリ構造を使用して表すことができる。例えば、同期が取られた複数のビューを、複数のカメラによってキャプチャすることができ、球面上においてつなぎ合わせることができる。同期が取られた複数のビューは、(例えば、1つの)一体構造として、球面上においてつなぎ合わせることができる。球面情報は、ジオメトリ変換プロセスを介して、2D平面上に投影することができる。例えば、球面情報は、正距円筒図法(ERP)を使用して、2D平面上に投影することができる。図1aは、経度(φ)および緯度(θ)における例示的な球面サンプリングを示している。図1bは、ERPを使用して2D平面上に投影された、例示的な球面を示している。範囲[-π,π]内の経度φは、(例えば、航空学において)偏揺れと呼ばれることがあり、範囲[-π/2,π/2]内の緯度θは、縦揺れと呼ばれることがある。πは、円の円周のそれの直径に対する比であることができる。(x,y,z)は、3D空間内の点の座標を表すことができる。(ue,ve)は、ERP後の2D平面内の点の座標を表すことができる。ERPは、例えば、式(1)および/または式(2)に示されるように、数学的に表すことができる。
ue=(φ/(2×π)+0.5)×W (1)
ve=(0.5-θ/π)×H (2)
ここで、WおよびHは、それぞれ、2D平面ピクチャの幅および高さであることができる。図1aに示されるように、点Pは、球面上における経度L4と緯度A1との間の交点であることができる。点Pは、式(1)および/または式(2)を使用して、図1bにおける2D平面内の一意的な点qにマッピングすることができる。図1bに示される2D平面内の点qは、例えば逆投影を介して、図に示される球面上の点Pに投影し戻すことができる。図1bにおける視野(FOV)は、X軸沿いの視野角が約110度になるように、2D平面にマッピングされた球面におけるFOVの例を示している。
1つまたは複数の360度ビデオを、2Dビデオにマッピングすることができる。例えば、360度ビデオは、ERPを使用して、2Dビデオにマッピングすることができる。360度ビデオは、H.264または高効率ビデオ符号化(HEVC)などのビデオコーデックを用いて、エンコードすることができ、クライアントに配信することができる。例えば、360度ビデオは、2Dビデオにマッピングすることができ、2Dビデオは、エンコードし、クライアントに配信することができる。クライアントサイドにおいては、ビデオは、(例えば、正距円筒図フォーマットで)デコードし、例えば、正距円筒図ピクチャにおけるFOVに属する部分をHMD上に投影および表示することによって、ユーザのビューポイントに基づいてレンダリングすることができる。正距円筒図2Dピクチャの特性は、非正距円筒図2Dピクチャ(例えば、レクティリニアビデオピクチャ)と異なることができる。図1cは、例示的な正距円筒図ピクチャを示している。図1cに示されるピクチャの上部は、北極に対応することができ、下部は、南極に対応することができる。図1cに示されるように、上部および/または下部は、引き延ばされることができる。例えば、赤道に対応するピクチャの中央部と比較して、上部および/または下部は、引き延ばされることができる。上部および/または下部における引き延ばしは、2D空間領域における正距円筒図法サンプリングが不均一であることを示すことができる。
図1cに示されるように、北極および南極にそれぞれ対応することができるERPピクチャの上部および下部は、ピクチャの中央部と比較して、引き延ばされことができる。ERPフォーマットについては、球面サンプリング密度が、不均一であることができる。様々なジオメトリ投影フォーマットを使用して、360度ビデオを複数のフェイス上にマッピングすることができる。図2Aは、キューブマッププロジェクション(CMP)ジオメトリの例を示している。CMPは、PX、PY、PZ、NX、NY、NZというラベルを付けることができる、6つの正方形フェイスを含むことができ、Pは、正を表すことができ、Nは、負を表すことができ、X、Y、Zは、軸を指すことができる。これらのフェイスは、番号0~5を使用して、ラベルを付けることもでき、したがって、例えば、PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)である。例えば、内接球の半径が、1である場合、各フェイスの横の長さは、2であることができる。CMPフォーマットの6つのフェイスは、単一のピクチャ内に一緒にパッキングすることができる。いくつかのフェイスは、例えば、近隣フェイス間の連続性を最大化するために、ある角度だけ回転させることができる。図2Bは、6つのフェイスを長方形ピクチャ内に配置するための例示的なパッキング方法を示しており、(例えば、より良い視覚化のために)フェイスインデックス(例えば、各フェイスインデックス)は、フェイスの対応する回転と揃った方向を向いて置かれている。例えば、フェイス#3およびフェイス#1は、それぞれ、反時計回りに270度および180度だけ回転させることができ、一方、他のフェイスは、回転させないことができる。CMPを用いた例示的なピクチャが、図2Cに与えられている。図2Cに示されるように、3つのフェイスからなる上側行は、3Dジオメトリにおいて、空間的に近隣フェイスであることができ、連続したテクスチャを有することができ、3つのフェイスからなる下側行は、3Dジオメトリにおいて、空間的に近隣フェイスであることができ、したがって、連続したテクスチャを有することができる。上側フェイス行と下側フェイス行は、3Dジオメトリにおいて、空間的に連続していないことがあり、2つのフェイス行の間に、継ぎ目(例えば、不連続な境界)が存在することがある。球面的近隣者ではない2つ以上の隣接ブロック間のフェイス境界は、フェイス不連続と呼ばれることがある。
CMPにおいては、フェイス(例えば、各フェイス)の中央において、サンプリング密度が1に等しいと仮定すると、サンプリング密度は、エッジに向かうほど増加することがあり、それは、エッジ周囲のテクスチャが、中央のそれと比較して、引き延ばされることがあることを意味する。異なるキューブマップベースの投影、例えば、等角キューブマッププロジェクション(EAC)、および/または調整されたキューブマッププロジェクション(ACP)においては、フェイス(例えば、各フェイス)は、より均一なサンプリング密度を達成するために、垂直および/または水平方向において、非線形ゆがみ関数を使用して、調整することができる。EACにおいては、調整は、正接関数を使用して実行することができ、一方、ACPにおいては、調整は、2次多項式関数を使用して実行することができる。ハイブリッドキューブマッププロジェクション(HCP)と呼ばれることがある、EACおよびACPの一般化を、使用することができる。HCPにおいては、調整関数およびそれのパラメータは、フェイス(例えば、各フェイス)および方向に対して個々に調整され、より良い符号化効率を提供することができる。キューブベースの投影は、CMP用のものと類似した方式で、パッキングすることができる。
図3は、360度ビデオ処理についての例示的なワークフローを例示している。360度ビデオキャプチャは、1つまたは複数のカメラを使用して、キャプチャすることができる。例えば、1つまたは複数のカメラを使用して、球面空間をカバーする360度ビデオをキャプチャすることができる。ビデオは、一緒につなぎ合わせることができる。例えば、ビデオは、正距円筒図のジオメトリ構造を使用して、一緒につなぎ合わせることができる。正距円筒図のジオメトリ構造は、エンコーディング(例えば、ビデオコーデックを用いたエンコーディング)のために、キューブマップジオメトリなど、別のジオメトリ構造に変換することができる。符号化されたビデオは、例えば、動的ストリーミングおよび/またはブロードキャスティングを介して、クライアントに配信することができる。ビデオは、例えば、受信機において、デコードすることができる。圧縮解除されたフレームは、表示ジオメトリなどの表示に、アンパッキングすることができる。例えば、表示ジオメトリは、正距円筒図ジオメトリであることができる。レンダリングのために、ジオメトリを使用することができる。例えば、ユーザの視野角に従ったビューポート投影を介したレンダリングのために、ジオメトリを使用することができる。
図4は、例示的なブロックベースのハイブリッドビデオエンコーディングシステム600のブロック図を示している。入力ビデオ信号602は、ブロックごとに処理することができる。(例えば、符号化ユニットまたはCUと呼ばれる)拡張されたブロックサイズを(例えば、HEVCにおいて)使用して、高解像度(例えば、1080pおよび/またはそれ以上)のビデオ信号を圧縮することができる。CUは、(例えば、HEVCにおいて)最大で64×64ピクセルを有することができる。CUは、予測ユニットまたはPUに区分化することができ、それらに対して、別個の予測を適用することができる。入力ビデオブロック(例えば、マクロブロック(MB)またはCU)に対して、空間予測660または時間予測662を実行することができる。空間予測(または、例えば、イントラ予測)は、同じビデオピクチャおよび/またはスライス内のすでに符号化された近隣ブロックに属するピクセルを使用して、現在のビデオブロックを予測することができる。空間予測は、ビデオ信号に内在する空間冗長性を低減させることができる。(例えば、インター予測または動き補償予測と呼ばれる)時間予測は、すでに符号化されたビデオピクチャに属するピクセルを使用して、現在のビデオブロックを予測することができる。時間予測は、ビデオ信号に内在する時間冗長性を低減させることができる。与えられたビデオブロックについての時間予測信号は、現在ブロックとそれの基準ブロックとの間の動きの量および/または方向を示す、動きベクトルによって伝達することができる。(例えば、H.264/AVCまたはHEVCにおいて)複数の基準ピクチャが、サポートされる場合、ビデオブロックの基準ピクチャインデックスを、デコーダに伝達することができる。基準インデックスを使用して、基準ピクチャストア664内のどの基準ピクチャから時間予測信号がもたらされることができるかを識別することができる。
空間および/または時間予測の後、エンコーダ内のモード決定680は、例えば、レート-歪み最適化に基づいて、予測モードを選択することができる。616において、現在のビデオブロックから予測ブロックを減算することができる。目標ビットレートを達成するために、変換モジュール604および量子化モジュール606を使用して、予測残差を脱相関化することができる。量子化された残差係数を、610において逆量子化し、612において逆変換して、再構成された残差を形成できる。626において、再構成された残差を予測ブロックに加算し戻して、再構成されたビデオブロックを形成することができる。666において、デブロッキングフィルタおよび/または適応ループフィルタなどのインループフィルタを、再構成されたビデオブロックに適用でき、その後、それは、基準ピクチャストア664内に置かれる。基準ピクチャストア664内の基準ピクチャは、将来のビデオブロックを符号化するために、使用できる。出力ビデオビットストリーム620を形成できる。符号化モード(例えば、インターもしくはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数は、エントロピ符号化ユニット608に送信されて、圧縮およびパッキングされ、ビットストリーム620を形成できる。
図5は、例示的なブロックベースのビデオデコーダの一般的なブロック図を示している。ビデオビットストリーム202は、エントロピデコーディングユニット208において、受信し、アンパッキングし、および/またはエントロピデコードすることができる。符号化モードおよび/または予測情報を、(例えば、イントラ符号化された場合は)空間予測ユニット260に、および/または(例えば、インター符号化された場合は)時間予測ユニット262に送信することができる。空間予測ユニット260および/または時間予測ユニット262において、予測ブロックを形成することができる。残差変換係数を、逆量子化ユニット210および逆変換ユニット212に送信して、残差ブロックを再構成することができる。226において、予測ブロックと残差ブロックを合算することができる。再構成されたブロックは、インループフィルタリング266を通過することができ、基準ピクチャストア264内に記憶することができる。基準ピクチャストア264内の再構成されたビデオは、表示デバイスを駆動するために、および/または将来のビデオブロックを予測するために、使用することができる。
ビデオ符号化においては、イントラ予測および/またはインター予測を実行することができる。イントラ予測は、近隣する再構成されたサンプルを用いてサンプル値を予測するために、使用することができる。例えば、現在の変換ユニット(TU)のイントラ予測のために使用される基準サンプルが、図6に示されている。基準サンプルは、図6において影付きボックスで示されるような、左および/または上の近隣する再構成されたサンプルからのものであることができる。
図7は、角度イントラ予測モードの例示的なインジケーションを例示している。HEVCは、DCモード(例えば、モード1)、平面モード(例えば、モード0)、および33個の方向性または角度イントラ予測モードなど、様々な(例えば、35個の)イントラ予測モードをサポートすることができる。平面予測モードは、例えば、上および左の再構成されたサンプルを使用して、現在ブロックのための1次近似を生成することができる。方向性テクスチャを予測するように、角度予測モードを設計(例えば、特別に設計)することができる。(例えば、エンコーダサイドにおいて)イントラ予測モードを選択することができる。例えば、イントラ予測モードは、イントラ予測モード(例えば、各イントラ予測モード)によって生成された予測と、1つまたは複数の元のサンプルとの間の歪みを最小化することによって、エンコーダサイドにおいて選択することができる。イントラ予測モードは、レート歪み最適化を使用して、レート歪みコストを最小化することに基づいて、選択できる。イントラ予測モードは、例えば、イントラ符号化のための最確モード(MPM)を使用して、エンコードできる。MPMは、空間的近隣PUのイントラ角度モードを再使用できる。図8は、HEVCイントラ角度プロセスにおいてMPMを導出するために使用される、空間的近隣者(空間的ネイバーズ)の例を例示している。図8は、HEVCにおけるMPM候補導出のために使用される、空間的近隣者(例えば、左下、左、右上、上、および/または左上)を示すことができる。選択されたMPM候補インデックスは、符号化することができる。MPM候補リストは、デコーダサイドにおいて(例えばエンコーダにおけるのと同じ方法で)構成することができる。シグナリングされたMPM候補インデックスを有するエントリを、現在のPUのイントラ角度モードとして使用できる。
図9は、1つの動きベクトル(MV)を用いる例示的なインター予測(例えば、単予測)を例示している。図9の基準ピクチャ内のブロックB0’およびB1’は、それぞれ、ブロックB0およびB1の基準ブロックであることができる。動きベクトル情報は、例えば、インター符号化のための動きベクトル予測および/またはマージモードを使用することによって、符号化することができる。動きベクトル予測は、空間的近隣PUまたは時間的併置PUからの動きベクトルを、現在のMVのプレディクタとして使用することができる。エンコーダおよび/またはデコーダは、同じ方式で、動きベクトルプレディクタ候補リストを形成できる。候補リストから選択されたMVプレディクタのインデックスは、符号化すること、および/またはデコーダに伝達することができる。デコーダは、MVプレディクタリストを構成することができ、伝達されシグナリングされたインデックスを有するエントリを、現在のPUのMVのプレディクタとして使用できる。マージモードは、空間的および/または時間的近隣のMV情報を再使用できる。エンコーダおよび/またはデコーダは、同じ方式で、動きベクトルマージ候補リストを形成することができる。図10は、HEVCマージプロセスにおいて空間的マージ候補を導出する際に使用される、空間的近隣者(空間的ネイバーズ)の例を例示している。図10に示されるように、HEVCにおけるマージ候補導出のために、空間的近隣者(例えば、左下、左、右上、上、および/または左上)を使用することができる。選択されたマージ候補インデックスは、符号化することができる。マージ候補リストは、(例えば、エンコーダにおけるのと同じ方法で)デコーダサイドにおいて構成することができる。シグナリングされたマージ候補インデックスを有するエントリは、現在のPUのMVとして使用することができる。
HEVCにおいては、1つまたは複数(例えば、2つ)のインループフィルタ(例えば、サンプル適応オフセット(SAO)フィルタが後続するデブロッキングフィルタ(DBF))を、1つまたは複数の再構成されたサンプルに適用することができる。DBFは、ブロックベースの符号化に起因するブロッキングアーチファクトを低減させるように構成することができる。DBFは、ピクチャ境界を除いて、または、スライスおよび/またはタイル境界において無効にされているときを除いて、PUおよび/またはTU境界に位置しているサンプルに適用する(例えば、それだけに適用する)ことができる。垂直境界に対して、水平フィルタリングを適用する(例えば、最初に適用する)ことができ、水平境界に対して、垂直フィルタリングを適用することができる。図11a、図11bは、DBFオン/オフ決定、フィルタ選択、およびフィルタリングに含まれる、サンプルの例を例示している。2つの隣り合うブロックPおよびQが与えられると、図11a、図11bに示されるように、フィルタ強度に応じて、境界の各側の最大で3つのサンプル列(または行)を、水平(または垂直)フィルタリングでフィルタリングすることができる。SAOは、エンコーダによって送信されたルックアップテーブル内の値に基づいて、条件付きでオフセット値をサンプル(例えば、各サンプル)に加算することによって、デコードされたサンプルを変更する、別のインループフィルタリングプロセスであることができる。SAOは、1つまたは複数(例えば、2つ)の動作モード、すなわち、バンドオフセットモードおよびエッジオフセットモードを有することができる。バンドオフセットモードにおいては、サンプル振幅に応じて、オフセットをサンプル値に加算することができる。全サンプル振幅範囲は、32個のバンドに分割することができ、これらのバンドのうちの4つに属するサンプル値を、各符号化ツリーユニット(CTU)のために伝達できる、正オフセットまたは負オフセットを加算することによって、変更できる。エッジオフセットモードにおいては、図12に示されるように、分類のために、水平勾配、垂直勾配、および2つの対角勾配を使用できる。図12は、SAOにおいて使用される、4つの勾配パターンの例を例示している。各エッジカテゴリについて、CTUレベルで、オフセットを伝達できる。
クロスコンポーネント線形モデル予測を実行することができる。RGBからYUVへの色変換を、(例えば、異なるチャネル間の相関を低減させるために)実行できる。クロスコンポーネント線形モデル予測は、線形モデルを使用して、対応するルーマサンプルからクロマサンプルを予測するために、使用できる。(例えば、N×Nサンプルからなるクロマブロックを仮定すると)与えられたクロマサンプルの値pi,jは、式(3)に示されるように、(例えば、ビデオが420または422クロマフォーマットである場合は)対応するダウンサンプリングされた再構成されたルーマサンプル値L’i,jから予測できる。
i,j=α・L’i,j+β (3)
ダウンサンプリングされたルーマサンプルは、式(4)に示されるように計算することができる。
線形モデルのパラメータは、上と左の近隣する再構成されたサンプルの間の回帰誤差を最小化することによって、導出することができ、式(5)および式(6)に示されるように、計算することができる。
図13は、クロスコンポーネント線形モデル予測におけるαおよびβの導出のために使用されるサンプルの例示的なロケーションを例示している。例えば、図13は、αおよびβの導出のために使用される上および左の近隣する再構成されたサンプルのロケーションを提供している。近隣する再構成されたサンプルは、エンコーダおよび/またはデコーダにおいて、利用可能であることができる。αおよびβの値は、エンコーダおよび/またはデコーダにおいて、同じ方法で導出することができる。
オーバラップブロック動き補償を実行することができる。
オーバラップブロック動き補償(OBMC)を使用して、動き補償ステージにおける1つまたは複数のブロッキングアーチファクトを取り除くことができる。OBMCは、1つのブロックの右および下境界を除く、1つまたは複数(例えば、すべて)のインターブロック境界に対して、実行することができる。ビデオブロックが、サブブロックモード(例えば、高度時間的動きベクトル予測(ATMVP)、および/または空間的-時間的動きベクトル予測(STMVP))で符号化されるとき、OBMCは、サブブロックの境界(例えば、サブブロックの境界の各々)に対して、実行することができる。図14は、OBMCの例示的な概念を例示している。OBMCが、サブブロック(例えば、図14におけるサブブロックA)に適用されるとき、現在のサブブロックの動きベクトルに加えて、最大で4つの近隣サブブロックの動きベクトルを使用して、現在のサブブロックの予測信号を導出することができる。近隣サブブロックの動きベクトルを使用する複数の予測ブロックを平均して、現在のサブブロックの最終的な予測信号を生成することができる。
OBMCにおいて、加重平均を使用して、ブロックの予測信号を生成することができる。近隣サブブロックの動きベクトルを使用する予測信号は、PNと表記されることがあり、現在のサブブロックの動きベクトルを使用する予測信号は、PCと表記されることがある。OBMCが適用されるとき、PNの最初/最後の4つの行/列におけるサンプルは、PCにおける同じ位置のサンプルと加重平均をとることができる。加重平均が適用されるサンプルは、例えば、対応する近隣サブブロックのロケーションに従って、決定することができる。例えば、近隣サブブロックが、上近隣者(上ネイバーズ)(例えば、図14におけるサブブロックb)であるとき、現在のサブブロックの最初の4つの行におけるサンプルを調整することができる。近隣サブブロックが、下近隣者(下ネイバーズ)(例えば、図14におけるサブブロックd)であるとき、現在のサブブロックの最後の4つの行におけるサンプルを調整することができる。近隣サブブロックが、左近隣者(左ネイバーズ)(例えば、図14におけるサブブロックa)であるとき、現在のブロックの最初の4つの列におけるサンプルを調整することができる。近隣サブブロックが、右近隣者(右ネイバーズ)(例えば、図14におけるサブブロックc)であるとき、現在のサブブロックの最後の4つの列におけるサンプルを調整できる。現在ブロックが、サブブロックモードで符号化されないとき、PNの最初の4つの行/列に対して、1つまたは複数の加重係数(例えば、{1/4,1/8,1/16,1/32})を使用することができ、PCの最初の4つの行/列に対して、1つまたは複数の加重係数(例えば、{3/4,7/8,15/16,31/32})を使用できる。現在ブロックが、サブブロックモードで符号化されるとき、PNとPCの最初の2つの行/列を平均することができる。このケースにおいては、PNに対して、1つまたは複数の加重係数(例えば、{1/4,1/8})を使用することができ、PCに対して、1つまたは複数の加重係数(例えば、{3/4,7/8})を使用することができる。
局所照明補償を実行することができる。
照明補償(IC)は、例えば、スケーリング係数aおよび/またはオフセットbを使用する、照明変化のための線形モデルに基づくことができる。ICは、インター符号化されるブロック(例えば、インター符号化される各ブロック)に対して、適応的に有効/無効にすることができる。図15は、ICの例を例示している。図15に例示されるように、ICがブロックに対して適用されるとき、(例えば、パラメータaおよびbを導出するために)最小平均2乗誤差(LMSE)法を利用することができる。例えば、パラメータaおよびbは、現在ブロックの近隣サンプル(例えば、テンプレート)と、時間的基準ピクチャ内のそれらの対応する基準サンプルとの間の歪みを最小化することによって、導出することができる。図15に例示されるように、テンプレートは、サブサンプリングすることができ(例えば、2:1サブサンプリング)、それは、複雑さを低減させることができる。図15に示されるように、影付きサンプル(例えば、影付きサンプルだけ)を使用して、aおよびbを導出することができる。
適応ループフィルタ(ALF)を使用することができる。ルーマ成分については、1つまたは複数(例えば、最大で3つ)のダイアモンドフィルタ形状を、例えば、図16(a)、図16(b)、および図16(c)にそれぞれ示されるような、5×5、7×7、および9×9を選択することができる。図16は、例示的なALFフィルタ形状を例示している。選択されたフィルタは、ピクチャレベルで伝達することができる。クロマ成分については、5×5ダイアモンド形状を使用する(例えば、常に使用する)ことができる。ルーマ成分については、2×2ブロック(例えば、各2×2ブロック)を、25個のカテゴリのうちの1つに分類して、そのブロックにとって適切なフィルタ係数を選択することができる。クロマ成分については、分類は実行されないことがあり、例えば、1つまたは複数(例えば、すべて)のクロマサンプルに対して、係数の1つのセットを使用することができる。分類は、各2×2ブロックの周りの付近における勾配の活動および方向性を分析することによって、実行することができる。水平勾配、勾配、および2つの対角勾配を、6×6サンプルの付近における1-Dラプラシアンを使用して、計算することができる。(例えば、ブロックの勾配値に応じて)フィルタ係数についての1つまたは複数(例えば、3つ)のジオメトリ変換、例えば、対角、上下反転、および/または回転を、各2×2ブロックに対して適用することができる。ルーマ成分については、フィルタリングは、CUレベルで、例えば、ALFが適用されるかどうかを伝達するためのフラグを使用することによって、制御することができる。クロマ成分については、ALFは、全ピクチャに対して、有効または無効にすることができる。
デコーダサイドイントラモード導出(DIMD)を実行することができる。DIMDは、ブロックの近隣サンプル(例えば、1つのブロックの近隣する再構成されたサンプル)から、(例えば、エンコーダおよび/またはデコーダにおいて)情報を導出することができる。図17は、DIMDを使用して、イントラモードを(例えば、シグナリングなしに)導出する例を例示している。図17に見られるように、ターゲットは、ブロックを(例えば、ブロックサイズNの)現在ブロックとして示すことができる。現在ブロックのイントラモードを推定することができる。(例えば、図17において斜線パターン領域によって示されるような)テンプレートは、サンプル(例えば、すでに再構成されたサンプル)のセットを示すことができる。サンプルを使用して、イントラモードを導出できる。テンプレートのサイズは、ターゲットブロックの上および左に広がるテンプレート内のサンプルの数、例えば、図17に見られるようなLによって、示すことができる。(例えば、図17においてドット領域によって示されるような)テンプレートの基準は、近隣サンプルのセットであることができる。近隣サンプルは、テンプレートの上および左に配置できる。イントラ予測モード(例えば、各イントラ予測モード)については、DIMDは、再構成されたテンプレートサンプルとそれの予測サンプルとの間の絶対差の和(SAD)を算出することができる。予測サンプルは、テンプレートの基準サンプルから獲得することができる。最小SADを生み出すイントラ予測モードを、ブロックのイントラ予測モード(例えば、ターゲットブロックの最終的なイントラ予測モード)として、選択することができる。
異なるフェイスから構成されるジオメトリ(例えば、CMP、8面体投影(OHP)、および/または20面体投影(ISP)など)については、(例えば、コンパクトなフェイス配置であるにもかかわらず)1つまたは複数の不連続が、フレームパッキングされたピクチャ内の2つ以上の隣り合うフェイス間に出現することがある。例えば、図2Cは、3×2CMPの例を例示している。図2Cにおいては、上半分の3つのフェイスは、3Dジオメトリにおいて、水平に連続であることができる。下半分の3つのフェイスは、3Dジオメトリにおいて、水平に連続であることができる。上半分と下半分は、3Dジオメトリにおいて、不連続であることができる。360度ビデオについては、不連続のために、フレームパッキングされたピクチャ内の近隣ブロックは、必ずしも関係があるとは限らないことがある。
図18は、CMPの例を例示している。図18(a)は、CMPの例示的な3D表現を例示している。図18(b)は、CMPの例示的な3×2フレームパッキング構成を例示している。図18(a)および/または図18(b)に示されるように、ブロックDは、ブロックAの上に位置しているフレームパッキングされた近隣者(ネイバーズ)であることができる。フレームパッキングされた近隣者は、フレームパッキングされたピクチャ内の現在ブロックに近隣するブロックであることができ、またはそれを含むことができる。球面的近隣者は、3Dジオメトリにおいて現在ブロックに近隣するブロックであることができ、またはそれを含むことができる。フレームパッキングされた近隣者は、球面的近隣者であることもできる。3Dジオメトリを考慮すると、ブロックEは、ブロックAの上に位置している球面的近隣者であることができる。2Dビデオのために設計されたビデオコーデックが使用される場合、フレームパッキングされた近隣者Dを使用して、例えば、イントラ予測、イントラMPM、マージモード、および/または動きベクトル予測などの形態で、現在ブロックAを予測することができる。Dからの情報は、(例えば、DとAとの間の本来的な不連続性のせいで)Aを予測するのに適切でないことがあり、符号化効率を悪化させることがある。現在ブロック(例えば、ブロックA)を予測するために、関連する符号化情報(例えば、イントラモード、動きベクトル、および/または基準サンプルなど)を導出するとき、球面的近隣者(例えば、ブロックE)を使用することができる。
球面的近隣者を導出することができる。例えば、球面的近隣者は、(例えば、イントラ予測のための、および/またはクロスコンポーネント線形モデルのための基準サンプルを導出するために)サンプルレベルで導出することができる。球面的近隣者を導出するために、2Dジオメトリから3Dジオメトリへの変換、および/または3Dジオメトリから2Dジオメトリへの変換を適用することができる。ルックアップテーブル(LUT)を使用して、球面的近隣者のロケーションを事前記憶することができる。
現在のピクチャ/スライス/タイル内のCTUは、ラスタスキャン順に処理することができる。限られた数のフレームパッキングされた近隣ブロックからの情報は、(例えば、キャッシュを使用して)バッファすることができる。球面的近隣者が考慮されるとき、基準サンプルおよび/または符号化情報は、ラスタスキャン順では、現在ブロックから遠いことがある。例えば、図18(b)のブロックEは、ラスタスキャン順では、ブロックB、C、およびDよりも、Aから遠いことがある。ブロックEからの情報は、ブロックAが符号化される前に、キャッシュから削除されることがある。
360度ビデオ符号化においては、フレームパッキングされた近隣者(ネイバーズ)ブロックが、現在ブロックの球面的近隣者ブロックであるとき(例えば、そのときだけ)、フレームパッキングされた近隣者ブロックを使用して、現在ブロックを予測することができる。図18(a)~図18(b)に示される例については、ブロックBは、ブロックAに対して、フレームパッキングされた球面的近隣者であることができ、一方、ブロックCおよびブロックDは、ブロックAに対して、フレームパッキングされた近隣者であることができるが、ブロックAの球面的近隣者であることはできない。フェイス不連続を越えた情報を推測することを無効にすることができる。
2Dビデオ符号化においては(例えば、ラスタスキャン処理のために)、左(L)、上(A)、右上(AR)、左上(AL)、および左下(BL)近隣者を使用して、情報を推測することができる(例えば、図8および図10を参照)。現在ブロックが、フェイス不連続の右側に位置している場合、左、左上、および/または左下のフレームパッキングされた近隣者ブロックは、フェイス不連続の他の側に配置することができ、属性を推測するために、例えば、イントラ予測において最確モードのリストを導出するために、動きベクトル予測および/もしくはマージモードにおける動きベクトル候補を導出するために、ならびに/またはOBMCのためなどに、利用不可能と見なすことができる。同様の考察を、フェイス不連続の左側、上、および/または下に配置することができる現在ブロックに適用することができる。このようにして、近隣ブロックから属性を推測するときに、関係のない空間的候補を排除することができる。
2Dビデオ符号化においては(例えば、ラスタスキャン処理のために)、現在ブロックを予測するために、現在ブロックの上および/または左に位置している再構成されたサンプルを使用することができる(例えば、図6および図13を参照)。現在ブロックが、フェイス不連続の右側に位置している場合、ブロックの左側に位置している再構成されたサンプル、例えば、R0,0、...、R0,2N(例えば、図6および図13を参照)は、フェイス不連続の他の側に配置することができ、現在ブロックのサンプルと相関がないことがある。このケースにおいては、再構成されたサンプルは、1つまたは複数の予測手法、例えば、イントラ予測におけるDC、平面、および/もしくは角度モード、クロスコンポーネント線形モデル予測、OBMC、ならびに/またはインループフィルタリングにおいては、利用不可能と見なすことができる。このようにして、近隣する再構成されたサンプルを使用して、現在ブロックを予測および/またはフィルタリングするとき、相関が貧弱な再構成されたサンプルを排除することができる。
フェイス不連続を越えた空間的近隣者(空間的ネイバーズ)からの再構成されたサンプルおよび/または符号化情報は、無視することができる。
本明細書において説明される技法は、フェイス不連続に、および/またはフェイス連続、例えば、3Dジオメトリにおいても近隣フェイスである、フレームパッキングされたピクチャ内の2つのフェイス間の境界に、適用することができる。
フレームパッキングされたピクチャ内のフェイス不連続を決定することができる。例においては、フレームパッキングされたピクチャ内の1つまたは複数のフェイス(例えば、各フェイス)を識別するために、フレームパッキング情報をビットストリームで伝達することができる。フレームパッキングされたピクチャ内の近隣フェイスの1つまたは複数の(例えば、あらゆる)ペアについて、2つのフェイスが、3Dジオメトリにおいて同じエッジを共有する場合、共有されるエッジは、連続と定義することができる。2つのフェイスが、3Dジオメトリにおいて同じエッジを共有しない場合、このエッジは、不連続と定義することができる。
例えば、フレームパッキングされたピクチャは、M×Nのフェイスを含むことができ(例えば、図2Bにおいては、M=3、N=2)、(M-1)×Nの垂直エッジが、ピクチャ内のフェイス間に存在することができ、M×(N-1)の水平エッジが、ピクチャ内のフェイス間に存在することができる。表1に示されるように、例えば、エッジが連続かどうかを指定するために、全部で(M-1)×N+M×(N-1)個のフラグを伝達することができる。エッジは、特定の順序で、例えば、上から下、および左から右に、スキャンすることができる。表1は、ビデオパラメータセット内に配置される、シンタックス要素のこのセットを例示することができる。ピクチャパラメータセット(PPS)またはシーケンスパラメータセット(SPS)など、他のシーケンスレベルのパラメータセットを使用して、この情報を搬送することができる。
表1において、パラメータface_discontinuity_param_present_flagは、シンタックス要素num_face_rows、num_face_columns、およびface_discontinuity_flag[i]のうちの1つまたは複数が、存在するかどうかを指定することができる。パラメータface_discontinuity_param_present_flagが、ビットストリーム内に存在しないとき、パラメータの値は、フェイス不連続パラメータが存在しないことを示す値(例えば、0)であると推測することができる。
パラメータnum_face_rowsは、フレームパッキングされたピクチャ内のフェイスの行の数を指定することができる。パラメータnum_face_rowsが、ビットストリーム内に存在しないとき、パラメータの値は、デフォルト値(例えば、1)に設定することができる。
パラメータnum_face_columnsは、フレームパッキングされたピクチャ内のフェイスの列の数を指定することができる。パラメータnum_face_columnsが、ビットストリーム内に存在しないとき、パラメータの値は、デフォルト値(例えば、1)に設定することができる。
シンタックス要素を符号化するためのビットの数を低減させるために、(例えば、num_face_rowsおよびnum_face_columnsを伝達する代わりに、および/または伝達するのに加えて)パラメータnum_face_rows_minus1および/またはnum_face_columns_minus1を伝達することができる。
パラメータface_discontinuity_flag[i]は、第iのフェイスエッジが不連続かどうかを指定することができる。
例においては、フレームパッキングされたピクチャ内の1つまたは複数のフェイス不連続(例えば、各フェイス不連続)の2つの端点の座標を、伝達する(例えば、明示的に伝達する)ことができる。水平および/または垂直不連続についての端点を伝達することができる。対角不連続についての端点を伝達することができる。対角不連続は、例えば、三角形ベースのジオメトリ(例えば、OHPおよび/またはISP)のために使用することができる。表2は、ビデオレベルにおける例示的なシンタックス要素を例示している。
表2において、パラメータface_discontinuity_param_present_flagは、シンタックス要素num_face_discontinuities、face_discontinuity_start_point_x、face_discontinuity_start_point_y、face_discontinuity_end_point_x、および/またはface_discontinuity_end_point_yのうちの1つまたは複数が、存在するかどうかを指定することができる。パラメータface_discontinuity_param_present_flagが、ビットストリーム内に存在しないとき、パラメータの値は、フェイス不連続パラメータが存在しないことを示す値(例えば、0)であると推測することができる。
パラメータnum_face_discontinuitiesは、フレームパッキングされたピクチャ内のフェイス不連続の数を指定することができる。パラメータnum_face_discontinuitiesが、ビットストリーム内に存在しないとき、パラメータの値は、デフォルト値(例えば、1)に設定することができる。(例えば、num_face_discontinuitiesを伝達する代わりに、および/または伝達するのに加えて)パラメータnum_face_discontinuities_minus1を伝達することができる。パラメータnum_face_discontinuities_minus1の値は、フレームパッキングされたピクチャ内のフェイス不連続の数マイナス1であることができる。
パラメータface_discontinuity_start_point_x[i]は、第iのフェイス不連続の始点のフレームパッキングされたピクチャ内におけるx座標を指定することができる。パラメータface_discontinuity_start_point_x[i]の値は、0からpicture_width-1までの範囲内(例えば、両端を含む)にあることができる。
パラメータface_discontinuity_start_point_y[i]は、第iのフェイス不連続の始点のフレームパッキングされたピクチャ内におけるy座標を指定することができる。パラメータface_discontinuity_start_point_x[i]の値は、0からpicture_height-1までの範囲内(例えば、両端を含む)にあることができる。
パラメータface_discontinuity_end_point_x[i]は、第iのフェイス不連続の終点のフレームパッキングされたピクチャ内におけるx座標を指定することができる。パラメータface_discontinuity_start_point_x[i]の値は、0からpicture_width-1までの範囲内(例えば、両端を含む)にあることができる。
パラメータface_discontinuity_end_point_y[i]は、第iのフェイス不連続の終点のフレームパッキングされたピクチャ内におけるy座標を指定することができる。パラメータface_discontinuity_start_point_x[i]の値は、0からpicture_height-1までの範囲内(例えば、両端を含む)にあることができる。
例えば、投影ジオメトリおよび/またはフレームパッキングが、ビデオエンコーディング中に変更された場合、ビデオレベルにおいて定義されるパラメータのうちの1つまたは複数を、シーケンスおよび/またはピクチャレベルで伝達する(例えば、代わりに伝達する、および/またはさらに伝達する)ことができる。シンタックス要素の固定長の符号化を、(例えば、ue(v)の代わりに)使用することができる。シンタックス要素のビット長を、ceil(log2(picture_width))、またはceil(log2(picture_height))によって決定することができる。
本明細書において説明される1つまたは複数の例示的な手法が使用される場合、フェイス不連続のリストを生成することができる。例えば、K個の垂直フェイス不連続およびL個の水平フェイス不連続を、識別することができる。(K+L)個のフェイス不連続からなるリストは、2つのリストに、すなわち、Dvと表記することができる、K個の垂直フェイス不連続からなるリストと、Dhと表記することができる、L個の水平フェイス不連続からなるリストとに分割することができる。フェイス不連続dについて、AdおよびBdと表記することができる、フレームパッキングされたピクチャ内の2つの端点を、決定することができる。ブロックは、Cと表記することができる、それの左上座標と、Wと表記することができる、それの幅と、Hと表記することができる、それの高さとによって識別することができる。水平不連続がブロックの上に位置しているかどうかをチェックするために、表3に示されるように、水平フェイス不連続チェックを実行することができる。
同様の手法を使用して、不連続がブロックの下、左側、および/または右側に位置しているかどうかを、決定することができる。同様の手法を使用して、不連続が特定のサンプル位置の近くに位置しているかどうかを、決定することができる。
フレームパッキング配置は、高いレベル(例えば、シーケンスレベルまたはピクチャレベル)で決定することができる。フェイス不連続は、高いレベルで決定することができ、複数のピクチャにわたって同じに保つことができる。ブロックについて不連続が存在するかどうかを記憶するために、与えられた粒度で、配列を事前算出しておくことができる。例えば、配列が、ブロックレベルで定義される場合、フェイス不連続フラグを、各ブロックについて算出することができ、配列内に記憶することができる。ブロックは、事前決定されたサイズ、例えば、4×4であることができる。現在ブロックのためのエンコーディング/デコーディング中に、不連続が存在するかどうかを、決定することができる。
図2Bは、例示的な3×2キューブマップフレームパッキングを例示している。図2Cにおいては、水平不連続が、ピクチャの中央において発生することができ、垂直不連続は、存在しないことができる。不連続線に接するブロック、および/または不連続線の上に位置するサンプルは、真に設定された不連続フラグを有することができる。1つまたは複数の他のブロック(例えば、他のすべてのブロック)および/またはサンプルは、偽に設定された不連続フラグを有することができる。
フェイス境界の位置(例えば、フレームパッキングされたピクチャ内のすべてのフェイス境界の位置)を、伝達することができる。フレームパッキングされたピクチャ内の不連続フェイス境界の位置を、伝達する(例えば、それだけを伝達する)ことができる。フェイス境界(例えば、各フェイス境界)について、フラグを伝達することができる。フラグは、フェイス境界が連続か、それとも不連続かを示すことができる。
フェイス不連続における空間的候補を識別することができる。
例えば、イントラ予測における最確モード、空間-時間動きベクトル予測(STMVP)、OBMC、および/またはインター予測におけるマージモードについての情報を、近隣ブロックから推測することができる。近隣ブロックは、空間的近隣ブロックまたは時間的近隣ブロックであることができる。現在ブロックがフェイス不連続に位置しているかどうかを、例えば、現在ブロックのロケーションに基づいて、決定することができる。近隣ブロックの符号化利用可能性は、例えば、近隣ブロックがフェイス不連続を境にして現在ブロックと同じ側にあるかどうかに基づいて、決定することができる。現在ブロックの球面的近隣者ではないフレームパッキングされた近隣者(例えば、フェイス不連続を境にして現在ブロックと同じ側にない近隣ブロック)は、現在ブロックをデコードするために利用不可能と見なすことができる。現在ブロックの球面的近隣者であるフレームパッキングされた近隣者(例えば、フェイス不連続を境にして現在ブロックと同じ側にある近隣ブロック)は、現在ブロックをデコードするために利用可能と見なすことができる。
例えば、近隣ブロックの符号化利用可能性に基づいて、現在ブロックに対して、デコーディング機能を実行することができる。デコーディング機能は、現在ブロックについてのマージモードを導出することを含むことができる。例えば、近隣ブロックが利用可能であると決定された場合、近隣ブロックをマージ候補リスト(例えば、候補ブロックのリスト)に追加することができる。近隣ブロックが利用不可能であると決定された場合、近隣ブロックをマージ候補リストから排除することができる。
図19は、フェイス不連続が、現在ブロックの上(例えば、図19(a))、下(例えば、図19(b))、左(例えば、図19(c))、および/または右(例えば、図19(d))に位置しているときの、空間的近隣者の例示的な利用可能性を例示している。図19(a)~図19(d)において斜線パターンを使用して示されたブロックは、フェイス不連続の他の側に配置することができ、利用不可能と見なす(例えば、現在ブロックをデコードするのに利用不可能と決定する)ことができる。例えば、図19(a)に示されるように、フェイス不連続が、現在ブロックの上に位置している場合、左上、上、および/または右上の近隣ブロックは、利用不可能と見なすことができる。図19(b)に示されるように、フェイス不連続が、現在ブロックの下に位置している場合、左下の近隣ブロックは、利用不可能と見なすことができる。図19(c)に示されるように、フェイス不連続が、現在ブロックの左側に位置している場合、左上、左、および/または左下の近隣ブロックは、利用不可能と見なすことができる。図19(d)に示されるように、フェイス不連続が、現在ブロックの右側に位置している場合、右上の近隣ブロックは、利用不可能と見なすことができる。
現在ブロックを予測するために、フェイス不連続における再構成されたサンプルを使用することができるかどうかは、例えば、現在ブロックのロケーションに基づいて、決定することができる。現在ブロックがフェイス不連続に位置しているかどうかを、決定することができる。再構成されたサンプルの符号化利用可能性は、例えば、再構成されたサンプルがフェイス不連続を境にして現在ブロックと同じ側にあるかどうかに基づいて、決定することができる。現在ブロックが接するフェイス不連続の他の側に位置している1つまたは複数の再構成されたサンプルは、利用不可能(例えば、現在ブロックをデコードするために利用不可能)と見なすことができる。現在ブロックが接するフェイス不連続の同じ側に位置している1つまたは複数の再構成されたサンプルは、利用可能(例えば、現在ブロックをデコードするために利用可能)と見なすことができる。利用不可能と見なされた再構成されたサンプルは、利用可能な再構成されたサンプルを使用して、パディングすることができる。例えば、利用不可能と見なされた再構成されたサンプルは、1つまたは複数の利用可能な再構成されたサンプルで置き換えることができる。
図20a~図20dは、フェイス不連続が、現在ブロックの上(例えば、図20a)、下(例えば、図20b)、左(例えば、図20c)、および/または右(例えば、図20d)に位置しているときの、再構成されたサンプルの例示的な利用可能性を例示している。図20a~図20dにおいて斜線パターンを使用して示された再構成されたサンプルは、フェイス不連続の他の側に配置することができ、利用不可能と見なす(例えば、現在ブロックをデコードするために利用不可能と決定する)ことができる。例えば、図20aに示されるように、フェイス不連続が、現在ブロックの上に位置している場合、現在ブロックの上に位置している再構成されたサンプル(例えば、R0,0...R2N,0)は、利用不可能と見なすことができる。図20bに示されるように、フェイス不連続が、現在ブロックの下に位置している場合、現在ブロックの下に位置している再構成されたサンプル(例えば、R0,N+1...R0,2N)は、利用不可能と見なすことができる。図20cに示されるように、フェイス不連続が、現在ブロックの左側に位置している場合、現在ブロックの左側に位置している再構成されたサンプル(例えば、R0,0...R0,2N)は、利用不可能と見なすことができる。図20dに示されるように、フェイス不連続が、現在ブロックの右側に位置している場合、現在ブロックの右側に位置している再構成されたサンプル(例えば、RN+1,0...R2N,0)は、利用不可能と見なすことができる。
本明細書において説明される1つまたは複数のケースにおいては、2つ以上の基準サンプルラインを使用することができ、長方形ブロックに対して、同じ手法を適用できる。
使用される再構成されたサンプル(例えば、すべての再構成されたサンプル)が、同じフェイスに属さない場合、ある実施(例えば、クロスコンポーネント線形モデル予測、ICなど)を無効にする(例えば、完全に無効にする)ことができる。例えば、フェイス不連続が、現在ブロックを横断する(横切る)場合、および/または現在ブロックの1つもしくは複数のサンプルが、テンプレートのそれとは異なるフェイスに属する場合、ICを無効にする(例えば、完全に無効にする)ことができる。ICを無効にすることは、異なるフェイスに位置している再構成されたサンプルを使用して、ブロックをスケーリングおよび/またはオフセッティングすることを回避することができる。
フェイス不連続において、動き補償を実行することができる。インター予測モード(例えば、FRUC、代替時間的動きベクトル予測(ATMVP)、空間的-時間的動きベクトル予測(STMVP)、および/またはアフィン動き補償予測)は、サブブロックベースの動きベクトル予測を利用することができる。例えば、サブブロックのグループが、同じ動き情報を有する場合、サブブロックのグループ(例えば、サブブロックのグループ全体)に、動き補償を(例えば、直接的に)適用することができる。1つまたは複数のサブブロックが、(例えば、動き補償ユニットとしての)より大きいサブブロックグループにマージされる場合、同じフェイスに属するサブブロックは、一緒にマージすることができる。
動き補償は、(例えば、フェイス不連続の各側で)別々に、および/または一緒に適用することができる。図21a~図21cに例示されるように、符号化ブロックが、フェイス不連続によって横断され、ブロックの一方の側の1つまたは複数のサブブロック(例えば、すべてのサブブロック)が、同じ動き情報を有する場合、動き補償は、別々に適用することができる(例えば、図21cにおけるMC0およびMC1に対応)。例えば、動き補償は、フェイス不連続の各側の1つまたは複数のグループに別々に適用することができる。図21a~図21cに例示されるように、符号化ブロックが、フェイス不連続によって横断されず、ブロックの一方の側の1つまたは複数のサブブロック(例えば、すべてのサブブロック)が、同じ動き情報を有する場合、動き補償は、一緒に適用することができる(例えば、図21bにおけるMC0に対応)。例えば、動き補償は、符号化ブロックの各側に対して一緒に適用することができる。
動き補償は、マージされたサブブロックが属するフェイスを考慮して、適用することができる。例えば、ジオメトリパディングが使用される場合、対応するパディングされたフェイスを使用して、動き補償を適用できる。対応するパディングされたフェイスを使用する動き補償は、補間のための1つまたは複数の基準サンプルを導出できる。
フェイス不連続が、ブロック/サブブロックを横断し、そのブロック/サブブロックが、1つの動きベクトルを有する場合、動き補償は、2つ以上の動き補償プロセスに分割することができる。例えば、フェイスベースのジオメトリパディングが適用されるとき、フェイス不連続のある側(例えば、各側)に対して、動き補償を実行することができる。この技法は、符号化ユニットおよび/または予測ユニットのために使用される概念に類似することができる。例えば、フェイス不連続が、現在の符号化ユニット(例えば、現在ブロック)を横断しているかどうかを、決定することができる。現在の符号化ユニットは、1つまたは複数の予測ユニットに分割することができる(例えば、フェイス不連続の各側に1つ)。予測ユニットを使用して、動き補償予測を実行することができる。例えば、各予測ユニットに対して別々に、動き補償を実行することができる。図22aおよび図22bに例示されるように、符号化ユニットが、フェイス不連続によって横断される場合、動き補償は、別々に適用することができる(例えば、図22bにおけるMC0およびMC1に対応)。例えば、動き補償は、フェイス不連続の各側の予測ユニットに別々に適用することができる。図22aおよび図22bに例示されるように、符号化ユニットが、垂直および/または水平フェイス不連続によって横断されていない場合、動き補償は、一緒に適用することができる(例えば、図22aにおけるMC0に対応)。例えば、動き補償は、予測ユニットの各側に対して一緒に適用することができる。
フェイス不連続に基づいて、パーティショニングを適用することができる。例えば、パーティショニングは、暗黙的および/または明示的であることができる。パーティショニングは、ブロック境界をフェイス不連続と揃えることができ、それは、ブロックがフェイス不連続によって横断されることを回避することができる。
フェイス不連続におけるクロスコンポーネント線形モデル予測(CCLMP)を実行することができる。ブロックに対してCCLMPを有効にするか、それとも無効にするかは、例えば、ブロックのロケーションに基づいて、決定することができる。クロスコンポーネント線形モデル予測については、再構成されたサンプルと現在ブロックのサンプルとの間の相関を、改善することができる。例えば、線形モデルのパラメータを推定するために、1つまたは複数の再構成されたサンプルを使用することができる。現在ブロックが接するフェイス不連続の他の側に位置している再構成されたサンプルは、廃棄することができる。
図23a~図23bは、フェイス不連続が、現在ブロックの上(例えば、図23a)または左(例えば、図23b)に位置しているときの、クロスコンポーネント線形モデル予測のために使用される再構成されたサンプルの例示的な利用可能性を例示している。斜線パターンを使用して示された再構成されたサンプルは、フェイス不連続の他の側に配置することができ、利用不可能と見なす(例えば、現在ブロックをデコードするために利用不可能と決定する)ことができる。例えば、図23aに示されるように、フェイス不連続が、現在ブロックの上に位置している場合、現在ブロックの上に位置している再構成されたサンプルは、廃棄する(例えば、線形モデルのパラメータを予測するために使用しない)ことができる。このケースにおいては、線形モデルパラメータは、式(7)および式(8)に示されるように、計算することができる。
図23bに示されるように、フェイス不連続が、現在ブロックの左側に位置している場合、現在ブロックの左側に位置している再構成されたサンプルは、廃棄する(例えば、線形モデルのパラメータを予測するために使用しない)ことができる。このケースにおいては、線形モデルパラメータは、式(9)および式(10)に示されるように、計算することができる。
フェイス不連続が、現在ブロックの上および/または左側に位置している場合、現在ブロックの上および/または左側に位置している再構成されたサンプルは、フェイス不連続の他の側に配置することができ、そのブロックに対しては、クロスコンポーネント線形モデル予測を無効にすることができる。
本明細書において説明されるのと同じ原理を、(例えば、より短い境界と同じ数のサンプルを有するように、より長い境界をサブサンプリングする必要なしに)長方形ブロックに対して適用することができる。本明細書において説明されるクロスコンポーネント線形モデル予測は、2つのクロマ成分間で(例えば、サンプル領域または残差領域において)予測するために、使用することができる。1つまたは複数のクロスコンポーネント線形モデルを使用することができ、クロスコンポーネント線形モデル予測は、サンプル値の特定の範囲に対して定義し、本明細書において説明されるように適用することができる。
現在ブロックが接するフェイス不連続の他の側に位置している再構成されたサンプルは、(例えば、廃棄する代わりに)利用不可能と見なすことができ、1つまたは複数の利用可能な再構成されたサンプルを使用して、パディングすることができる。
フェイス不連続において、デコーダサイドイントラモード導出(DIMD)を実行することができる。テンプレートは、テンプレートからのサンプル(例えば、再構成されたサンプル)の一部もしくはすべて、および/またはテンプレートを予測するために使用された基準サンプルの一部もしくはすべてが、現在ブロックが接するフェイス不連続の他の側に位置している(例えば、サンプルが、現在ブロックをデコードするのに利用不可能である)場合、DIMD探索において、廃棄する(例えば、利用不可能として標識付けする)ことができる。
例えば、フェイス不連続が、現在ブロックの上に位置している場合、上テンプレートからの再構成されたサンプルの1つもしくは複数、および/または上テンプレートの上に位置している基準サンプルの1つもしくは複数は、現在ブロックが接するフェイス不連続の他の側に配置することができる。上テンプレートは、DIMD探索においては、廃棄することができる。
例えば、フェイス不連続が、現在ブロックの左側に位置している場合、左テンプレートからの再構成されたサンプルの1つもしくは複数、および/または左テンプレートの左側に位置している基準サンプルの1つもしくは複数は、現在ブロックが接するフェイス不連続の他の側に配置することができる。左テンプレートは、DIMD探索においては、廃棄することができる。
テンプレートを予測するために使用することができ、現在ブロックが接するフェイス不連続の他の側に配置することができる再構成されたサンプルは、利用不可能と見なすことができる。このインジケーションは、テンプレートおよび/または基準サンプルに適用することができ、テンプレートを予測するために使用することができる。利用不可能と見なされた再構成されたサンプルは、パディングする(例えば、利用可能な再構成されたサンプルを使用してパディングする)ことができる。
再構成されたサンプルは、現在ブロックが接するフェイス不連続の他の側に配置することができる。フレームパッキングされた近隣者の代わりに、1つまたは複数の球面的近隣者を使用することができる。球面的近隣者は、ジオメトリを展開し、隣り合うフェイスからのサンプルを使用することによって、導出することができる。これは、フェイスベースのパディングと呼ばれることがある。例えば、図18Aおよび図18Bに示されるように、ブロックAの上テンプレートは、それの球面的近隣者ブロックEから導出することができる。例えば、ブロックAとブロックDとの間にフェイス不連続が存在する場合、パディングのために、ブロックDを使用しないことができる。
DIMDは、フェイス不連続に関するブロックのロケーションに基づいて、ブロックに対して無効にすることができる。例えば、DIMDは、以下のうちの1つまたは複数、すなわち、上および左テンプレート内のそれのサンプルが、現在ブロックが属するのと同じフェイス内に位置していないブロック、ならびに/または上および左テンプレートを予測するために使用されるそれの基準サンプルが、現在ブロックが属するのと同じフェイス内に位置していないブロックに対して、無効にすることができる。
フェイス不連続におけるオーバラップブロック動き補償を実行することができる。OBMCにおける不適切なサンプルを使用した調整を回避するために、現在ブロック(またはサブブロック)が接するフェイス不連続の他の側に位置している近隣ブロック(またはサブブロック)に基づいた調整は、スキップすることができる。フェイス不連続が、現在ブロック(またはサブブロック)の上に位置している場合、フェイス不連続の他の側に位置している上ブロック(またはサブブロック)の動きベクトルを使用する、現在ブロック(またはサブブロック)の第1の行の調整は、スキップすることができる。フェイス不連続が、現在ブロック(またはサブブロック)の下に位置している場合、フェイス不連続の他の側に位置している下ブロック(またはサブブロック)の動きベクトルを使用する、現在ブロック(またはサブブロック)の最後の行の調整は、スキップすることができる。フェイス不連続が、現在ブロック(またはサブブロック)の左側に位置している場合、フェイス不連続の他の側に位置している左ブロック(またはサブブロック)の動きベクトルを使用する、現在ブロック(またはサブブロック)の第1の列の調整は、スキップすることができる。フェイス不連続が、現在ブロック(またはサブブロック)の右側に位置している場合、フェイス不連続の他の側に位置している右ブロック(またはサブブロック)の動きベクトルを使用する、現在ブロック(またはサブブロック)の最後の列の調整は、スキップすることができる。
ブロックまたはサブブロックの調整は、ブロックまたはサブブロックを横断する(横切る)フェイス不連続に基づいて、スキップすることができる。例えば、フェイス不連続が、現在ブロックまたはサブブロックを横断する(横切る)場合、フェイス不連続によって横断されるブロックまたはサブブロック境界の調整は、スキップすることができる。水平フェイス不連続が、現在ブロックまたはサブブロックを横断する(横切る)とき、現在ブロックまたはサブブロックの第1および/または最後の列の調整は、スキップすることができる。垂直フェイス不連続が、現在ブロックまたはサブブロックを横断する(横切る)とき、現在ブロックまたはサブブロックの第1および/または最後の行の調整は、スキップすることができる。
ブロックまたはサブブロックの境界は、フェイス不連続によって横断されることができる。現在ブロックまたはサブブロックの境界が、フェイス不連続によって横断される場合、OBMCを適用することができる。例えば、OBMCは、例えば、境界セグメント(例えば、各境界セグメント)と同じフェイス内に位置している対応する近隣MVを考慮して、フェイス不連続のある側(例えば、各側)に配置することができる、ブロック境界の部分(例えば、各部分)に対して別々に適用することができる。
サブブロックのグループは、類似の(例えば、同じ)動き情報を提示することができる。例えば、図21a~図21bに例示されるように、サブブロックが、同じ動き情報を提示する場合、OBMCは、サブブロックのグループ(例えば、サブブロックのグループ全体)に(例えば、直接的に)適用することができる。
サブブロックは、フェイス不連続に関するそれらのロケーションに基づいて、1つまたは複数のより大きいサブブロックグループにマージすることができる。1つまたは複数のサブブロックが、より大きいサブブロックグループにマージされる場合、同じフェイスに属するサブブロック(例えば、サブブロックだけ)を、一緒にマージすることができる。例えば、ブロックが、水平フェイス不連続によって横断され、ブロックの左側のサブブロック(例えば、すべてのサブブロック)が、同じ動き情報を有する場合、隣り合うサブブロックを一緒に(例えば、2つのグループに)グループ化することができる。一緒にグループ化された隣り合うサブブロックを使用して、外部OBMCベースの動き補償を実行することができる。図24cに見られるように、これらのサブブロックグループは、動き補償(例えば、図24cにおけるMC2およびMC3)に対応することができる。図24cに見られるように、グループは、フェイス不連続のある側に配置できる。
OBMCベースの動き補償は、サブブロックが属するフェイスを考慮して、適用することができる。例えば、ジオメトリパディングが実行される場合、対応するパディングされたフェイスを使用して、OBMCベースの動き補償を適用することができる。フェイス不連続に関するそれらのロケーションに基づいて、グループおよび/またはサブブロックに対して、OBMCを無効にすることができる。例えば、現在ブロックの左上位置のそれとは異なるフェイスに属するグループおよび/またはサブブロックに対して、OBMCを無効にすることができる。図24cに示される例においては、OBMCベースの動き補償(例えば、図24cにおけるMC3)を無効にすることができる。
OBMCは、近隣ブロックまたはサブブロックのMVを使用して、現在ブロックまたはサブブロックに対して動き補償を実行することができる。近隣MVが、現在ブロックまたはサブブロックとは異なるフェイスからもたらされるとき、そのMVに対して、OBMCを無効にすることができる。OBMCは、近隣MVを使用して、1つまたは複数の予測信号を組み合わせて、現在ブロックの最終的な予測信号を生成することができる。近隣MVを使用して生成された予測信号が、現在ブロックまたはサブブロックのそれとは異なるフェイスからのサンプルを使用する場合、そのMVに対して、OBMCを無効にすることができる。
例えば、ブロックまたはサブブロックは、フェイス不連続の下に配置することができる。ブロックまたはサブブロックの左境界を調整することができる。予測信号が、(例えば、現在ブロックまたはサブブロックと同じフェイスからもたらされることができる)左近隣動きベクトルを使用して生成され、および/またはフェイス不連続の上からのサンプルを使用する場合、左ブロックまたはサブブロック境界に対して、OBMCを無効にすることができる。
例においては、フェイス不連続の隣に位置しているブロック(またはサブブロック)に対するOBMCは、無効にする(例えば、完全に無効にする)ことができる。例においては、フェイス不連続によって横断されるブロック(またはサブブロック)に対するOBMCは、無効にする(例えば、完全に無効にする)ことができる。
フェイス不連続において、デブロッキングフィルタを適用することができる。
フェイス不連続の付近内にあるブロック境界のデブロッキングは、デブロッキングフィルタにおいて使用される1つまたは複数(例えば、すべて)のサンプルが、フェイス不連続の同じ側に位置してないとき、スキップすることができる。例えば、デブロッキングフィルタにおいて使用される1つまたは複数(例えば、すべて)のサンプルが、フェイス不連続の同じ側に配置されないように、垂直フェイス不連続の付近内に、垂直ブロック境界がある場合、このブロック境界を越えたデブロッキングフィルタは、無効にすることができる。デブロッキングフィルタにおいて使用される1つまたは複数(例えば、すべて)のサンプルが、フェイス不連続の同じ側に配置されないように、水平フェイス不連続の付近内に、水平ブロック境界がある場合、このブロック境界を越えたデブロッキングフィルタは、無効にすることができる。
フェイス不連続において、サンプル適応オフセット(SAO)フィルタを適用することができる。勾配計算において使用されるサンプルがフェイス不連続の2つの異なる側にある、SAOにおけるエッジオフセットモードの1つまたは複数のカテゴリを、無効にすることができる。例えば、フェイス不連続が、現在サンプル位置の上または下に位置している場合、そのサンプル位置に対して、垂直および2つの対角カテゴリを、無効にすることができる。フェイス不連続が、現在サンプル位置の左側または右側に位置している場合、そのサンプル位置に対して、水平および2つの対角カテゴリを、無効にすることができる。例においては、フェイス不連続の隣に位置しているサンプルに対して、SAOにおけるエッジオフセットモードを、無効にする(例えば、完全に無効にする)ことができる。
フェイス不連続において、適応ループフィルタ(ALF)を適用することができる。ALFは、最大のフィルタがフェイス不連続を横断するサンプルロケーションをスキップすることができる。例えば、ALFは、フィルタリングプロセスにおいて使用されるサンプルが、フェイス不連続の2つの異なる側にある、サンプルロケーションをスキップすることができる。最大で9×9ダイアモンドフィルタ(例えば、図16(c)を参照)を使用することができるルーマ成分について、フェイス不連続の4つのサンプル内に位置しているサンプルに対して、ALFを無効にすることができる。5×5ダイアモンドフィルタ(例えば、図16(a)を参照)を使用する(例えば、それだけを使用する)ことができるクロマ成分について、フェイス不連続の2つのサンプル内に位置しているサンプルに対して、ALFを無効にすることができる。
例においては、フェイス不連続の隣に位置しているブロックに対して、および/またはフェイス不連続を含むブロックに対して、ALFを無効にする(例えば、完全に無効にする)ことができる。ALFを無効にすることは、デコーダが、ブロックレベルにおける(例えば、ALFがオンか、それともオフかについての)決定を実行することを可能にすることができる。ALFは、ピクチャレベルおよび/またはブロックレベルで適応させる(例えば、オンにする/オフにする)ことができる。例えば、ブロックがフェイス不連続によって影響を受ける(例えば、ブロックがフェイス不連続によって横断される、またはフェイス不連続に隣り合う)とき、与えられたブロックに対して、ALFをオフにすることができる。ブロックに対して、ブロックレベルシグナリングをスキップすることができ、そのブロックに対して、ALFはオフであると推測することができる。
ALF分類プロセスは、ALFフィルタリングを無効にすることができる、1つもしくは複数のサンプルロケーション、および/またはサンプルロケーションのブロックをスキップすることができる。例えば、ALF分類は、サンプルロケーションが、フェイス不連続によって影響を受ける(例えば、そのサンプルロケーションにおける分類プロセスにおいて使用されるサンプルが、フェイス不連続の2つの異なる側にある)ので、サンプルロケーションをスキップすることができる。ALF分類は、ブロック内の1つまたは複数のサンプルが、フェイス不連続によって影響を受ける場合、ブロックをスキップすることができる。2×2ブロックユニットに対して、ALF分類を実行することができる。
図25Aは、1つまたは複数の開示される実施形態を実施することができる、例示的な通信システム100を例示する図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであることができる。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS-s OFDM)、ユニークワードOFDM(UW-OFDM)、リソースブロックフィルタードOFDM、およびフィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用することができる。
図25Aに示されるように、通信システム100は、無線送受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(PSTN)108と、インターネット110と、他のネットワーク112とを含むことができるが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスであることができる。例として、それのどれもが、「局」および/または「STA」と呼ばれることがある、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成することができ、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはMi-Fiデバイス、モノのインターネット(IoT)デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ(HMD)、乗物、ドローン、医療用デバイスおよびアプリケーション(例えば、遠隔手術)、工業用デバイスおよびアプリケーション(例えば、工業用および/または自動化された処理チェーン状況において動作するロボットおよび/または他の無線デバイス)、家電デバイス、ならびに商業用および/または工業用無線ネットワーク上において動作するデバイスなどを含むことができる。WTRU102a、102b、102c、102dのいずれも、交換可能に、UEと呼ばれることがある。
通信システム100は、基地局114aおよび/または基地局114bも含むことができる。基地局114a、114bの各々は、CN106/115、インターネット110、および/または他のネットワーク112など、1つまたは複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェースをとるように構成された任意のタイプのデバイスであることができる。例として、基地局114a、114bは、基地送受信機局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、NRノードB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどであることができる。基地局114a、114bは、各々が、単一の要素として描かれているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことができることが理解されよう。
基地局114aは、RAN104/113の一部であることができ、RAN104/113は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含むことができる。基地局114aおよび/または基地局114bは、セル(図示されず)と呼ばれることがある、1つまたは複数のキャリア周波数上において、無線信号を送信および/または受信するように構成することができる。これらの周波数は、免許要スペクトル、免許不要スペクトル、または免許要スペクトルと免許不要スペクトルとの組み合わせの中にあることができる。セルは、相対的に一定であることができる、または時間とともに変化することができる特定の地理的エリアに、無線サービス用のカバレージを提供することができる。セルは、さらに、セルセクタに分割することができる。例えば、基地局114aと関連付けられたセルは、3つのセクタに分割することができる。したがって、一実施形態においては、基地局114aは、送受信機を3つ、すなわち、セルの各セクタに対して1つずつ含むことができる。実施形態においては、基地局114aは、多入力多出力(MIMO)技術を利用することができ、セルの各セクタに対して複数の送受信機を利用することができる。例えば、所望の空間方向において信号を送信および/または受信するために、ビームフォーミングを使用することができる。
基地局114a、114bは、エアインターフェース116上において、WTRU102a、102b、102c、102dのうちの1つまたは複数と通信することができ、エアインターフェース116は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であることができる。エアインターフェース116は、任意の適切な無線アクセス技術(RAT)を使用して、確立することができる。
より具体的には、上で言及されたように、通信システム100は、多元接続システムであることができ、CDMA、TDMA、FDMA、OFDMA、およびSC-FDMAなど、1つまたは複数のチャネルアクセス方式を利用することができる。例えば、RAN104/113内の基地局114aと、WTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用して、エアインターフェース115/116/117を確立することができる、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施することができる。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)、および/または高速アップリンク(UL)パケットアクセス(HSUPA)を含むことができる。
実施形態においては、基地局114aと、WTRU102a、102b、102cは、ロングタームエボリューション(LTE)、および/またはLTEアドバンスト(LTE-A)、および/またはLTEアドバンストプロ(LTE-A Pro)を使用して、エアインターフェース116を確立することができる、進化型UMTS地上無線アクセス(E-UTRA)などの無線技術を実施することができる。
実施形態においては、基地局114aと、WTRU102a、102b、102cは、ニューラジオ(NR)を使用して、エアインターフェース116を確立することができる、NR無線アクセスなどの無線技術を実施することができる。
実施形態においては、基地局114aと、WTRU102a、102b、102cは、複数の無線アクセス技術を実施することができる。例えば、基地局114aと、WTRU102a、102b、102cは、例えば、デュアルコネクティビティ(DC)原理を使用して、LTE無線アクセスと、NR無線アクセスとを一緒に実施することができる。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、ならびに/または複数のタイプの基地局(例えば、eNBおよびgNB)に/から送信される送信によって特徴付けることができる。
他の実施形態においては、基地局114aと、WTRU102a、102b、102cは、IEEE802.11(すなわち、無線フィデリティ(WiFi))、IEEE802.16(すなわち、マイクロ波アクセス用世界的相互運用性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実施することができる。
図25Aにおける基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントであることができ、事業所、自宅、乗物、キャンパス、産業用施設、(例えば、ドローンによって使用される)エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なRATを利用することができる。一実施形態においては、基地局114bと、WTRU102c、102dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立することができる。実施形態においては、基地局114bと、WTRU102c、102dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。また別の実施形態においては、基地局114bと、WTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセルまたはフェムトセルを確立することができる。図25Aに示されるように、基地局114bは、インターネット110への直接的な接続を有することができる。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がないことがある。
RAN104/113は、CN106/115と通信することができ、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された任意のタイプのネットワークであることができる。データは、異なるスループット要件、遅延要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質(QoS)要件を有することができる。CN106/115は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供することができ、および/またはユーザ認証など、高レベルセキュリティ機能を実行することができる。図25Aには示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを利用する他のRANと直接的または間接的通信を行うことができることが理解されよう。例えば、NR無線技術を利用していることがあるRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、またはWiFi無線技術を利用する別のRAN(図示されず)とも通信することができる。
CN106/115は、WTRU102a、102b、102c、102dが、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとしての役割も果たすことができる。PSTN108は、基本電話サービス(POTS)を提供する、回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイート内の伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、および/またはインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなる地球規模のシステムを含むことができる。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される、有線および/または無線通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを利用することができる1つまたは複数のRANに接続された、別のCNを含むことができる。
通信システム100内のWTRU102a、102b、102c、102dのうちのいくつかまたはすべては、マルチモード機能を含むことができる(例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含むことができる)。例えば、図25Aに示されるWTRU102cは、セルラベースの無線技術を利用することができる基地局114aと通信するように、またIEEE802無線技術を利用することができる基地局114bと通信するように構成することができる。
図25Bは、例示的なWTRU102を例示するシステム図である。図25Bに示されるように、WTRU102は、とりわけ、プロセッサ118、送受信機120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含むことができる。WTRU102は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などであることができる。プロセッサ118は、信号符号化、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境において動作することを可能にする他の任意の機能性を実行することができる。プロセッサ118は、送受信機120に結合することができ、送受信機120は、送信/受信要素122に結合することができる。図25Bは、プロセッサ118と送受信機120を別個の構成要素として描いているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合することができることが理解されよう。
送信/受信要素122は、エアインターフェース116上において、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態においては、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであることができる。実施形態においては、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器であることができる。また別の実施形態においては、送信/受信要素122は、RF信号および光信号の両方を送信および/または受信するように構成することができる。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成することができることが理解されよう。
図25Bにおいては、送信/受信要素122は、単一の要素として描かれているが、WTRU102は、任意の数の送信/受信要素122を含むことができる。より具体的には、WTRU102は、MIMO技術を利用することができる。したがって、一実施形態においては、WTRU102は、エアインターフェース116上において無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含むことができる。
送受信機120は、送信/受信要素122によって送信されることになる信号を変調し、送信/受信要素122によって受信された信号を復調するように構成することができる。上で言及されたように、WTRU102は、マルチモード機能を有することができる。したがって、送受信機120は、WTRU102が、例えば、NRおよびIEEE802.11など、複数のRATを介して通信することを可能にするための、複数の送受信機を含むことができる。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力することもできる。加えて、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態においては、プロセッサ118は、サーバまたはホームコンピュータ(図示されず)上などに位置している、WTRU102上に物理的に位置していないメモリから情報を入手することができ、それらにデータを記憶することができる。
プロセッサ118は、電源134から電力を受け取ることができ、WTRU102内の他の構成要素に電力を分配するように、および/またはそれらへの電力を制御するように構成することができる。電源134は、WTRU102に給電するための任意の適切なデバイスであることができる。例えば、電源134は、1つまたは複数の乾電池(例えば、ニッケル-カドミウム(NiCd)、ニッケル-亜鉛(NiZn)、ニッケル水素(NiMH)、リチウム-イオン(Li-ion)など)、太陽電池、および燃料電池などを含むことができる。
プロセッサ118は、GPSチップセット136にも結合することができ、GPSチップセット136は、WTRU102の現在ロケーションに関するロケーション情報(例えば、経度および緯度)を提供するように構成することができる。GPSチップセット136からの情報に加えて、またはそれの代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116上においてロケーション情報を受信することができ、および/または2つ以上の近くの基地局から受信している信号のタイミングに基づいて、自らのロケーションを決定することができる。WTRU102は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解されよう。
プロセッサ118は、さらに他の周辺機器138に結合することができ、他の周辺機器138は、追加の特徴、機能性、および/または有線もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真および/またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、ならびにアクティビティトラッカなどを含むことができる。周辺機器138は、1つまたは複数のセンサを含むことができ、センサは、ジャイロスコープ、加速度計、ホール効果センサ、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であることができる。
WTRU102は、(例えば、(例えば、送信用の)ULと(例えば、受信用の)ダウンリンクの両方のための特定のサブフレームと関連付けられた)信号のいくつかまたはすべての送信および受信が、並列および/または同時であることができる、全二重無線を含むことができる。全二重無線は、ハードウェア(例えば、チョーク)を介して、またはプロセッサ(例えば、別個のプロセッサ(図示されず)もしくはプロセッサ118)を介する信号処理を介して、自己干渉を低減させ、および/または実質的に除去するために、干渉管理ユニットを含むことができる。実施形態においては、WTRU102は、(例えば、(例えば、送信用の)ULまたは(例えば、受信用の)ダウンリンクのどちらかのための特定のサブフレームと関連付けられた)信号のいくつかまたはすべての送信および受信のための、半二重無線を含むことができる。
図25Cは、実施形態に従った、RAN104およびCN106を例示するシステム図である。上で言及されたように、RAN104は、E-UTRA無線技術を利用して、エアインターフェース116上において、WTRU102a、102b、102cと通信することができる。RAN104は、CN106とも通信することができる。
RAN104は、eノードB160a、160b、160cを含むことができるが、RAN104は、実施形態との整合性を保ちながら、任意の数のeノードBを含むことができることが理解されよう。eノードB160a、160b、160cは、各々が、エアインターフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含むことができる。一実施形態においては、eノードB160a、160b、160cは、MIMO技術を実施することができる。したがって、eノードB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信することができる。
eノードB160a、160b、160cの各々は、特定のセル(図示されず)と関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ならびにULおよび/またはDLにおけるユーザのスケジューリングなどを処理するように構成することができる。図25Cに示されるように、eノードB160a、160b、160cは、X2インターフェース上において、互いに通信することができる。
図25Cに示されるCN106は、モビリティ管理エンティティ(MME)162と、サービングゲートウェイ(SGW)164と、パケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166とを含むことができる。上記の要素の各々は、CN106の部分として描かれているが、これらの要素の内のいずれも、CNオペレータとは異なるエンティティによって所有および/または運営できることが理解されよう。
MME162は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、およびWTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担うことができる。MME162は、RAN104と、GSMおよび/またはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間における交換のためのコントロールプレーン機能を提供することができる。
SGW164は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続することができる。SGW164は、一般に、ユーザデータパケットをWTRU102a、102b、102cに/からルーティングおよび転送することができる。SGW164は、eノードB間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cに利用可能なときにページングをトリガすること、ならびにWTRU102a、102b、102cのコンテキストを管理および記憶することなど、他の機能を実行することができる。
SGW164は、PGW166に接続することができ、PGW166は、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。
CN106は、他のネットワークとの通信を容易にすることができる。例えば、CN106は、PSTN108など、回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。例えば、CN106は、CN106とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはそれと通信することができる。加えて、CN106は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含むことができる。
図25A~図25Dにおいては、WTRUは、無線端末として説明されるが、ある代表的な実施形態においては、そのような端末は、通信ネットワークとの有線通信インターフェースを(例えば、一時的または永続的に)使用できることが企図されている。
代表的な実施形態では、他のネットワーク112は、WLANであることができる。
インフラストラクチャ基本サービスセット(BSS)モードにあるWLANは、BSSのためのアクセスポイント(AP)と、APと関連付けられた1つまたは複数の局(STA)とを有することができる。APは、トラフィックをBSS内および/またはBSS外に搬送する、ディストリビューションシステム(DS)または別のタイプの有線/無線ネットワークへのアクセスまたはインターフェースを有することができる。BSS外部から発信されたSTAへのトラフィックは、APを通して到着することができ、STAに配送することができる。STAからBSS外部の送信先に発信されたトラフィックは、それぞれの送信先に配送するために、APに送信することができる。BSS内のSTA間のトラフィックは、APを通して送信することができ、例えば、送信元STAは、トラフィックをAPに送信することができ、APは、トラフィックを送信先STAに配送することができる。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なすことができ、および/またはピアツーピアトラフィックと呼ばれることがある。ピアツーピアトラフィックは、直接リンクセットアップ(DLS)を用いて、送信元STAと送信先STAとの間で(例えば、直接的に)送信することができる。ある代表的な実施形態においては、DLSは、802.11e DLSまたは802.11zトンネルDLS(TDLS)を使用することができる。独立BSS(IBSS)モードを使用するWLANは、APを有さないことがあり、IBSS内の、またはIBSSを使用するSTA(例えば、STAのすべて)は、互いに直接的に通信することができる。IBSSモードの通信は、本明細書においては、ときに「アドホック」モードの通信と呼ばれることがある。
802.11acインフラストラクチャモードの動作または類似したモードの動作を使用するとき、APは、プライマリチャネルなどの固定されたチャネル上において、ビーコンを送信できる。プライマリチャネルは、固定された幅(例えば、20MHz幅帯域幅)、またはシグナリングを介して動的に設定された幅であり得る。プライマリチャネルは、BSSの動作チャネルであることができ、APとの接続を確立するために、STAによって使用することができる。ある代表的な実施形態においては、例えば、802.11システムにおいては、キャリアセンス多重アクセス/衝突回避(CSMA/CA)を実施することができる。CSMA/CAの場合、APを含むSTA(例えば、あらゆるSTA)は、プライマリチャネルをセンスすることができる。プライマリチャネルが、センス/検出され、および/または特定のSTAによってビジーであると決定された場合、特定のSTAは、バックオフすることができる。与えられたBSS内においては、任意の与えられた時間に、1つのSTA(例えば、ただ1つのSTA)が、送信することができる。
高スループット(HT)STAは、例えば、プライマリ20MHzチャネルを隣り合うまたは隣り合わない20MHzチャネルと組み合わせて、40MHz幅のチャネルを形成することを介して、通信のために40MHz幅チャネルを使用できる。
超高スループット(VHT)STAは、20MHz、40MHz、80MHz、および/または160MHz幅チャネルをサポートすることができる。40MHzおよび/または80MHzチャネルは、連続する20MHzチャネルを組み合わせることによって形成することができる。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって形成することができ、または2つの非連続な80MHzチャネルを組み合わせることによって形成することができ、これは、80+80構成と呼ばれることがある。80+80構成の場合、データは、チャネルエンコーディングの後、データを2つのストリームに分割することができるセグメントパーサを通過することができる。各ストリームに対して別々に、逆高速フーリエ変換(IFFT)処理、および時間領域処理を行うことができる。ストリームは、2つの80MHzチャネル上にマッピングすることができ、データは、送信STAによって送信することができる。受信STAの受信機においては、80+80構成のための上で説明された動作を逆転することができ、組み合わされたデータは、媒体アクセス制御(MAC)に送信することができる。
1GHz未満モードの動作は、802.11afおよび802.11ahによってサポートされる。チャネル動作帯域幅およびキャリアは、802.11nおよび802.11acにおいて使用されるそれらと比べ、802.11afおよび802.11ahにおいては低減させられる。802.11afは、TVホワイトスペース(TVWS)スペクトルにおいて、5MHz、10MHzおよび20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHzおよび16MHz帯域幅をサポートする。代表的な実施形態に従うと、802.11ahは、マクロカバレージエリアにおけるMTCデバイスなど、メータタイプ制御/マシンタイプコミュニケーションをサポートできる。MTCデバイスは、一定の機能を、例えば一定の帯域幅および/または限られた帯域幅のサポート(例えばそれらのサポートだけ)を含む限られた機能を有することができる。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するため)閾値を上回るバッテリ寿命を有するバッテリを含むことができる。
802.11n、802.11ac、802.11af、および802.11ahなど、複数のチャネルおよびチャネル帯域幅をサポートすることができる、WLANシステムは、プライマリチャネルとして指定することができるチャネルを含む。プライマリチャネルは、BSS内のすべてのSTAによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有することができる。プライマリチャネルの帯域幅は、BSS内において動作するすべてのSTAの中の、最小帯域幅動作モードをサポートするSTAによって設定および/または制限することができる。802.11ahの例においては、BSS内のAPおよび他のSTAが、2MHz、4MHz、8MHz、16MHz、および/または他のチャネル帯域幅動作モードをサポートする場合であっても、1MHzモードをサポートする(例えば、それだけをサポートする)STA(例えば、MTCタイプデバイス)のために、プライマリチャネルは、1MHz幅であることができる。キャリアセンシングおよび/またはネットワークアロケーションベクトル(NAV)設定は、プライマリチャネルのステータスに依存することができる。例えば、(1MHz動作モードだけをサポートする)STAが、APに送信しているせいで、プライマリチャネルが、ビジーである場合、周波数バンドの大部分が、アイドルのままであり、利用可能であることができるとしても、利用可能な周波数バンド全体が、ビジーと見なされることができる。
米国においては、802.11ahによって使用することができる利用可能な周波数バンドは、902MHzから928MHzである。韓国においては、利用可能な周波数バンドは、917.5MHzから923.5MHzである。日本においては、利用可能な周波数バンドは、916.5MHzから927.5MHzである。802.11ahのために利用可能な合計帯域幅は、国の規則に応じて、6MHzから26MHzである。
図25Dは、実施形態に従った、RAN113およびCN115を示すシステム図である。上で言及されたように、RAN113は、NR無線技術を利用して、エアインターフェース116上において、WTRU102a、102b、102cと通信することができる。RAN113は、CN115とも通信することができる。
RAN113は、gNB180a、180b、180cを含むことができるが、RAN113は、実施形態との整合性を保ちながら、任意の数のgNBを含むことができることが理解されよう。gNB180a、180b、180cは、各々が、エアインターフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含むことができる。一実施形態においては、gNB180a、180b、180cは、MIMO技術を実施することができる。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信し、および/またはgNB180a、180b、180cから信号を受信することができる。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信することができる。実施形態においては、gNB180a、180b、180cは、キャリアアグリゲーション技術を実施することができる。例えば、gNB180aは、WTRU102aに複数のコンポーネントキャリアを送信することができる(図示されず)。これらのコンポーネントキャリアのサブセットは、免許不要スペクトル上にあることができるが、残りのコンポーネントキャリアは、免許要スペクトル上にあることができる。実施形態においては、gNB180a、180b、180cは、多地点協調(CoMP)技術を実施することができる。例えば、WTRU102aは、gNB180aとgNB180b(および/またはgNB180c)から調整された送信を受信することができる。
WTRU102a、102b、102cは、スケーラブルなヌメロロジ(numerology)と関連付けられた送信を使用して、gNB180a、180b、180cと通信することができる。例えば、OFDMシンボル間隔、および/またはOFDMサブキャリア間隔は、異なる送信、異なるセル、および/または無線送信スペクトルの異なる部分ごとに様々であることができる。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、および/または様々な長さの絶対時間だけ持続する)様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して、gNB180a、180b、180cと通信することができる。
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成で、WTRU102a、102b、102cと通信するように構成することができる。スタンドアロン構成においては、WTRU102a、102b、102cは、(例えば、eノードB160a、160b、160cなどの)他のRANにアクセスすることもなしに、gNB180a、180b、180cと通信することができる。スタンドアロン構成においては、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数を、モビリティアンカポイントとして利用することができる。スタンドアロン構成においては、WTRU102a、102b、102cは、免許不要バンド内において信号を使用して、gNB180a、180b、180cと通信することができる。非スタンドアロン構成においては、WTRU102a、102b、102cは、eノードB160a、160b、160cなどの別のRANとも通信し/別のRANにも接続しながら、gNB180a、180b、180cと通信し/gNB180a、180b、180cに接続することができる。例えば、WTRU102a、102b、102cは、DC原理を実施して、1つまたは複数のgNB180a、180b、180c、および1つまたは複数のeノードB160a、160b、160cと実質的に同時に通信することができる。非スタンドアロン構成においては、eノードB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカとしての役割を果たすことができ、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレージおよび/またはスループットを提供することができる。
gNB180a、180b、180cの各々は、特定のセル(図示されず)と関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーンデータのユーザプレーン機能(UPF)184a、184bへのルーティング、ならびにコントロールプレーン情報のアクセスおよびモビリティ管理機能(AMF)182a、182bへのルーティングなどを処理するように構成することができる。図25Dに示されるように、gNB180a、180b、180cは、Xnインターフェース上において、互いに通信することができる。
図25Dに示されるCN115は、少なくとも1つのAMF182a、182bと、少なくとも1つのUPF184a、184bと、少なくとも1つのセッション管理機能(SMF)183a、183bと、おそらくは、データネットワーク(DN)185a、185bとを含むことができる。上記の要素の各々は、CN115の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
AMF182a、182bは、N2インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続することができ、制御ノードとしての役割を果たすことができる。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bを選択すること、レジストレーションエリアの管理、NASシグナリングの終了、およびモビリティ管理などを担うことができる。ネットワークスライシングは、WTRU102a、102b、102cによって利用されるサービスのタイプに基づいて、WTRU102a、102b、102cに対するCNサポートをカスタマイズするために、AMF182a、182bによって使用することができる。例えば、超高信頼低遅延(URLLC)アクセスに依存するサービス、高速大容量モバイルブロードバンド(eMBB)アクセスに依存するサービス、および/またはマシンタイプコミュニケーション(MTC)アクセスのためのサービスなど、異なる使用事例のために、異なるネットワークスライスを確立することができる。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro、および/またはWiFiのような非3GPPアクセス技術など、他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能を提供することができる。
SMF183a、183bは、N11インターフェースを介して、CN115内のAMF182a、182bに接続することができる。SMF183a、183bは、N4インターフェースを介して、CN115内のUPF184a、184bに接続することもできる。SMF183a、183bは、UPF184a、184bを選択および制御し、UPF184a、184bを通したトラフィックのルーティングを構成することができる。SMF183a、183bは、UE IPアドレスの管理および割り当てを行うこと、PDUセッションを管理すること、ポリシ実施およびQoSを制御すること、ならびにダウンリンクデータ通知を提供することなど、他の機能を実行できる。PDUセッションタイプは、IPベース、非IPベース、およびイーサネットベースなどであることができる。
UPF184a、184bは、N3インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続することができ、それらは、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。UPF184a、184bは、パケットをルーティングおよび転送すること、ユーザプレーンポリシを実施すること、マルチホーミングPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、DLパケットをバッファすること、ならびにモビリティアンカリングを提供することなど、他の機能を実行することができる。
CN115は、他のネットワークとの通信を容易にすることができる。例えば、CN115は、CN115とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはそれと通信することができる。加えて、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含むことができる。一実施形態においては、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、およびUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通して、ローカルデータネットワーク(DN)185a、185bに接続することができる。
図25A~図25D、および図25A~図25Dについての対応する説明に鑑みて、WTRU102a~d、基地局114a~b、eノードB160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~b、および/または本明細書において説明される他の任意のデバイスのうちの1つまたは複数に関する、本明細書において説明される機能の1つもしくは複数またはすべては、1つまたは複数のエミュレーションデバイス(図示されず)によって実行することができる。エミュレーションデバイスは、本明細書において説明される機能の1つもしくは複数またはすべてをエミュレートするように構成された、1つまたは複数のデバイスであることができる。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために、使用することができる。
エミュレーションデバイスは、実験室環境において、および/またはオペレータネットワーク環境において、他のデバイスの1つまたは複数のテストを実施するように設計することができる。例えば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および/または無線通信ネットワークの一部として、完全または部分的に実施および/または展開されながら、1つもしくは複数またはすべての機能を実行することができる。1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として、一時的に実施/展開されながら、1つもしくは複数またはすべての機能を実行することができる。エミュレーションデバイスは、テストの目的で、別のデバイスに直接的に結合することができ、および/またはオーバザエア無線通信を使用して、テストを実行することができる。
1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として実施/展開されずに、すべての機能を含む1つまたは複数の機能を実行することができる。例えば、エミュレーションデバイスは、1つまたは複数の構成要素のテストを実施するために、テスト実験室ならびに/または展開されていない(例えば、テスト)有線および/もしくは無線通信ネットワークにおける、テストシナリオにおいて利用することができる。1つまたは複数のエミュレーションデバイスは、テスト機器であることができる。データを送信および/または受信するために、直接RF結合、および/または(例えば、1つもしくは複数のアンテナを含むことができる)RF回路を介した無線通信を、エミュレーションデバイスによって使用することができる。
上では、特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書において説明された方法は、コンピュータまたはプロセッサによって実行される、コンピュータ可読媒体内に含まれる、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、(有線または無線接続上において送信される)電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、限定されることなく、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと関連付けられたプロセッサを使用して、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用される、無線周波数送受信機を実施することができる。

Claims (27)

  1. デコーディングのための方法であって、
    ビデオデータにおいてピクチャを取得するステップと、
    ループフィルタリングが前記ピクチャにおいて仮想的な境界を横切って無効にされることになることを示すよう構成された仮想境界ループフィルタ無効化インジケータを取得するステップと、
    前記ループフィルタリングが前記ピクチャにおいて前記仮想的な境界を横切って無効にされることになることを示すよう構成された前記仮想境界ループフィルタ無効化インジケータに基づいて、垂直仮想境界位置インジケータまたは水平仮想境界位置インジケータの少なくとも1つを取得するステップであって、前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる少なくとも1つの垂直仮想境界に関連付けられた、水平軸に沿った位置を示すように構成されており、前記水平仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる少なくとも1つの水平仮想境界に関連付けられた、垂直軸に沿った位置を示すように構成されており、
    前記垂直仮想境界位置インジケータまたは前記水平仮想境界位置インジケータの少なくとも1つに基づいて、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる前記仮想的な境界の垂直位置または前記ピクチャにおいて前記ループフィルタリングが無効化されることになる前記仮想的な境界の水平位置の少なくとも1つを決定するステップと、
    前記ピクチャにおける前記仮想的な境界の前記決定された垂直位置または前記ピクチャにおける前記仮想的な境界の前記決定された垂直位置の少なくとも1つを横切って前記ループフィルタリングを無効化するステップと
    を備える方法。
  2. 前記垂直仮想境界位置インジケータは、前記ピクチャにおける垂直仮想境界の数を示すようにさらに構成され、前記垂直仮想境界位置インジケータは、前記ピクチャにおける水平仮想境界の数を示すようにさらに構成された、請求項1に記載の方法。
  3. 前記垂直仮想境界位置インジケータは、少なくとも1つの垂直仮想境界の開始位置および終了位置を示すように構成され、前記水平仮想境界位置インジケータは、少なくとも1つの水平仮想境界の開始位置および終了位置を示すように構成された、請求項1に記載の方法。
  4. 前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる垂直仮想境界の数を示すように構成され、前記水平仮想境界位置インジケータは、前記ループフィルタリングが無効化されることになる水平仮想境界の数を示すように構成された、請求項1に記載の方法。
  5. 前記ピクチャは、複数のフェイスを持つフレームパッキングされたピクチャを含み、前記ピクチャにおける前記仮想的な境界は、前記ピクチャにおけるフェイス境界を含む、請求項1に記載の方法。
  6. 前記仮想境界ループフィルタ無効化インジケータは、シーケンスパラメータセット(SPS)レベルで取得される、請求項1に記載の方法。
  7. 前記ループフィルタリングは、適応ループフィルタ(ALF)、デブロッキングフィルタ、またはサンプル適応オフセット(SAO)フィルタの少なくとも1つを含む、請求項1に記載の方法。
  8. 前記ピクチャは、360°ビデオに関連付けられている、請求項1に記載の方法。
  9. デコーディングのための装置であって、
    ビデオデータにおいてピクチャを取得し、
    ループフィルタリングが前記ピクチャにおいて仮想的な境界を横切って無効にされることになることを示すよう構成された仮想境界ループフィルタ無効化インジケータを取得し、
    前記ループフィルタリングが前記ピクチャにおいて前記仮想的な境界を横切って無効にされることになることを示すよう構成された前記仮想境界ループフィルタ無効化インジケータに基づいて、垂直仮想境界位置インジケータまたは水平仮想境界位置インジケータの少なくとも1つを取得し、前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる少なくとも1つの垂直仮想境界に関連付けられた、水平軸に沿った位置を示すように構成されており、前記水平仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる少なくとも1つの水平仮想境界に関連付けられた、垂直軸に沿った位置を示すように構成されており、
    前記垂直仮想境界位置インジケータまたは前記水平仮想境界位置インジケータの少なくとも1つに基づいて、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる前記仮想的な境界の垂直位置または前記ピクチャにおいて前記ループフィルタリングが無効化されることになる前記仮想的な境界の水平位置の少なくとも1つを決定し、
    前記ピクチャにおける前記仮想的な境界の前記決定された垂直位置または前記ピクチャにおける前記仮想的な境界の前記決定された垂直位置の少なくとも1つを横切って前記ループフィルタリングを無効化する
    よう構成されたプロセッサ
    を備えた装置。
  10. 前記垂直仮想境界位置インジケータは、前記ピクチャにおける垂直仮想境界の数を示すようにさらに構成され、前記垂直仮想境界位置インジケータは、前記ピクチャにおける水平仮想境界の数を示すようにさらに構成された、請求項9に記載の装置。
  11. 前記垂直仮想境界位置インジケータは、少なくとも1つの垂直仮想境界の開始位置および終了位置を示すよう構成され、前記水平仮想境界位置インジケータは、少なくとも1つの水平仮想境界の開始位置および終了位置を示すよう構成された、請求項9に記載の装置。
  12. 前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる垂直仮想境界の数を示すよう構成され、前記水平仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる水平仮想境界の数を示すよう構成された、請求項9に記載の装置。
  13. 前記ピクチャは、複数のフェイスを持つフレームパッキングされたピクチャを含み、前記ピクチャにおける前記仮想的な境界は、前記ピクチャにおけるフェイス境界を含む、請求項9に記載の装置。
  14. 前記仮想境界ループフィルタ無効化インジケータは、シーケンスパラメータセット(SPS)レベルで取得される、請求項9に記載の装置。
  15. 前記ループフィルタリングは、適応ループフィルタ(ALF)、デブロッキングフィルタ、またはサンプル適応オフセット(SAO)フィルタの少なくとも1つを含む、請求項9に記載の装置。
  16. エンコーディングのための方法であって、
    ピクチャにおいて少なくとも1つの仮想的な境界を横切ってループフィルタリングを無効化すると決定するステップであって、前記少なくとも1つの仮想的な境界は、少なくとも1つの垂直仮想境界および少なくとも1つの水平仮想境界を含む、ステップと、
    垂直仮想境界位置または水平仮想境界位置の少なくとも1つを取得するステップであって、前記垂直仮想境界位置は前記ピクチャにおける前記少なくとも1つの垂直仮想境界と関連付けられており、前記水平仮想境界位置は前記ピクチャにおける前記少なくとも1つの水平仮想境界と関連付けられている、ステップと、
    仮想境界ループフィルタ無効化インジケータ、垂直仮想境界位置インジケータまたは水平仮想境界位置インジケータの少なくとも1つをビデオデータに含めるステップであって、前記仮想境界ループフィルタ無効化インジケータは、前記ピクチャにおいて前記少なくとも1つの仮想的な境界を横切って前記ループフィルタリングが無効にされることになるかどうかを示すよう構成され、前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記少なくとも1つの垂直仮想境界を横切って前記ループフィルタリングが無効化されることになる、水平軸に沿った位置を示すように構成されており、前記水平仮想境界位置インジケータは、前記ピクチャにおいて前記少なくとも1つの水平仮想境界を横切って前記ループフィルタリングが無効化されることになる、垂直軸に沿った位置を示すように構成されている、ステップと
    を備える方法。
  17. 前記垂直仮想境界位置インジケータは、少なくとも1つの垂直仮想境界の開始位置および終了位置を示すように構成され、前記水平仮想境界位置インジケータは、少なくとも1つの水平仮想境界の開始位置および終了位置を示すように構成された、請求項16に記載の方法。
  18. 前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる垂直仮想境界の数を示すように構成され、前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記ループフィルタリングが無効化されることになる水平仮想境界の数を示すように構成された、請求項16に記載の方法。
  19. 前記ピクチャは、複数のフェイスを持つフレームパッキングされたピクチャを含み、前記ピクチャにおける前記仮想的な境界は、前記ピクチャにおけるフェイス境界を含み、前記ピクチャは、360°ビデオに関連付けられている、請求項16に記載の方法。
  20. 前記仮想境界ループフィルタ無効化インジケータは、シーケンスパラメータセット(SPS)レベルにおいて、ビデオデータに含まれ、前記ループフィルタリングは、適応ループフィルタ(ALF)、デブロッキングフィルタ、またはサンプル適応オフセット(SAO)フィルタの少なくとも1つを含む、請求項16に記載の方法。
  21. エンコーディングのための装置であって、
    ピクチャにおいて少なくとも1つの仮想的な境界を横切ってループフィルタリングを無効化すると決定し、前記少なくとも1つの仮想的な境界は、少なくとも1つの垂直仮想境界および少なくとも1つの水平仮想境界を含み、
    垂直仮想境界位置または水平仮想境界位置の少なくとも1つを取得し、前記垂直仮想境界位置は前記ピクチャにおける前記少なくとも1つの垂直仮想境界と関連付けられており、前記水平仮想境界位置は前記ピクチャにおける前記少なくとも1つの水平仮想境界と関連付けられており、
    仮想境界ループフィルタ無効化インジケータ、垂直仮想境界位置インジケータまたは水平仮想境界位置インジケータの少なくとも1つをビデオデータに含め、前記仮想境界ループフィルタ無効化インジケータは、前記ピクチャにおいて前記少なくとも1つの仮想的な境界を横切って前記ループフィルタリングが無効にされるかどうかを示すよう構成され、前記垂直仮想境界位置インジケータは、前記ピクチャにおいて前記少なくとも1つの垂直仮想境界を横切って前記ループフィルタリングが無効化されることになる、水平軸に沿った位置を示すように構成されており、前記水平仮想境界位置インジケータは、前記ピクチャにおいて前記少なくとも1つの水平仮想境界を横切って前記ループフィルタリングが無効化されることになる、垂直軸に沿った位置を示すように構成されている
    よう構成されたプロセッサ
    を備えた装置。
  22. 前記垂直仮想境界位置インジケータは、少なくとも1つの垂直仮想境界の開始位置および終了位置を示すように構成され、前記水平仮想境界位置インジケータは、少なくとも1つの水平仮想境界の開始位置および終了位置を示すように構成された、請求項21に記載の装置。
  23. 前記垂直仮想境界位置インジケータは、前記ピクチャにおける垂直仮想境界の数を示すように構成され、前記垂直仮想境界位置インジケータは、前記ピクチャにおける水平仮想境界の数を示すように構成された、請求項21に記載の装置。
  24. 前記ピクチャは、複数のフェイスを持つフレームパッキングされたピクチャを含み、前記ピクチャにおける前記仮想的な境界は、前記ピクチャにおけるフェイス境界を含み、前記ピクチャは、360°ビデオに関連付けられている、請求項21に記載の装置。
  25. 前記仮想境界ループフィルタ無効化インジケータは、シーケンスパラメータセット(SPS)レベルにおいて、ビデオデータに含まれ、前記ループフィルタリングは、適応ループフィルタ(ALF)、デブロッキングフィルタ、またはサンプル適応オフセット(SAO)フィルタの少なくとも1つを含む、請求項21に記載の装置。
  26. プロセッサに請求項1乃至8のいずれかに記載の方法を実施させる、デコーディングのための命令を含むコンピュータ読取り可能記憶媒体。
  27. プロセッサに請求項16乃至20のいずれかに記載の方法を実施させる、エンコーディングのための命令を含むコンピュータ読取り可能記憶媒体。
JP2020516423A 2017-09-20 2018-09-19 360度ビデオ符号化におけるフェイス不連続の処理 Active JP7343487B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023141231A JP2023159440A (ja) 2017-09-20 2023-08-31 360度ビデオ符号化におけるフェイス不連続の処理

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762560992P 2017-09-20 2017-09-20
US62/560,992 2017-09-20
US201862622551P 2018-01-26 2018-01-26
US62/622,551 2018-01-26
US201862625575P 2018-02-02 2018-02-02
US62/625,575 2018-02-02
US201862628752P 2018-02-09 2018-02-09
US62/628,752 2018-02-09
PCT/US2018/051798 WO2019060443A1 (en) 2017-09-20 2018-09-19 HANDLING FACIAL DISCONTINUITIES IN 360-DEGREE VIDEO CODING

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023141231A Division JP2023159440A (ja) 2017-09-20 2023-08-31 360度ビデオ符号化におけるフェイス不連続の処理

Publications (2)

Publication Number Publication Date
JP2020534750A JP2020534750A (ja) 2020-11-26
JP7343487B2 true JP7343487B2 (ja) 2023-09-12

Family

ID=63862200

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020516423A Active JP7343487B2 (ja) 2017-09-20 2018-09-19 360度ビデオ符号化におけるフェイス不連続の処理
JP2023141231A Pending JP2023159440A (ja) 2017-09-20 2023-08-31 360度ビデオ符号化におけるフェイス不連続の処理

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023141231A Pending JP2023159440A (ja) 2017-09-20 2023-08-31 360度ビデオ符号化におけるフェイス不連続の処理

Country Status (7)

Country Link
US (2) US11418816B2 (ja)
EP (1) EP3685585A1 (ja)
JP (2) JP7343487B2 (ja)
KR (1) KR20200064989A (ja)
CN (2) CN117061771A (ja)
IL (1) IL273379A (ja)
WO (1) WO2019060443A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN111615828B (zh) * 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
KR20230057481A (ko) * 2018-03-29 2023-04-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
JP7271672B2 (ja) * 2018-12-14 2023-05-11 中興通訊股▲ふん▼有限公司 没入型ビデオビットストリーム処理
US11095921B2 (en) * 2018-12-18 2021-08-17 Tencent America LLC Method and apparatus for video encoding or decoding
US11044473B2 (en) * 2018-12-21 2021-06-22 Qualcomm Incorporated Adaptive loop filtering classification in video coding
WO2020182167A1 (en) * 2019-03-12 2020-09-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image coding
US11159791B2 (en) * 2019-03-16 2021-10-26 Mediatek Inc. Method and apparatus for signaling adaptive loop filter parameters in video coding
EP3935839A4 (en) * 2019-04-09 2022-06-22 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR SIGNALING MERGE MODES IN VIDEO ENCODING
US20220201286A1 (en) * 2019-04-25 2022-06-23 Mediatek Inc. Method and Apparatus of Encoding or Decoding with Mode Dependent Intra Smoothing Filter in Intra Prediction
CN113632464B (zh) * 2019-05-21 2023-04-28 华为技术有限公司 分量间预测的方法和设备
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11159822B2 (en) * 2019-07-11 2021-10-26 Qualcomm Incorporated Intra-prediction according to virtual boundaries for video coding
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
US11234010B2 (en) * 2019-08-28 2022-01-25 Qualcomm Incorporated Cross-component adaptive loop filtering for video coding
JP7368145B2 (ja) * 2019-08-28 2023-10-24 シャープ株式会社 画像符号化装置、および、画像復号装置
US11115671B2 (en) * 2019-09-18 2021-09-07 Panasonic Intellectual Property Corporation Of America System and method for video coding
BR112022005046A2 (pt) 2019-09-18 2022-07-05 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
CN114450954A (zh) 2019-09-27 2022-05-06 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
EP4042684A4 (en) 2019-10-29 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AN ADAPTIVE CROSS-COMPONENT LOOP FILTER
WO2021101201A1 (ko) * 2019-11-18 2021-05-27 엘지전자 주식회사 루프 필터링을 제어하는 영상 코딩 장치 및 방법
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
AU2020414207B2 (en) * 2019-12-23 2024-05-02 Lg Electronics Inc Image coding apparatus and method based on sub-picture
JP7180001B2 (ja) 2019-12-24 2022-11-29 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 適応ループフィルタ処理のための仮想境界処理
CN114788264B (zh) * 2019-12-30 2023-07-25 阿里巴巴(中国)有限公司 用于发出虚拟边界和环绕运动补偿的信号的方法
CN112544081B (zh) * 2019-12-31 2023-12-22 北京大学 环路滤波的方法与装置
CN114830663A (zh) * 2019-12-31 2022-07-29 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
US20230179803A1 (en) * 2020-04-02 2023-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Virtual boundary signaling
CN112514382A (zh) * 2020-04-09 2021-03-16 北京大学 一种视频编解码方法、装置以及计算机可读存储介质
EP4154529A1 (en) 2020-05-22 2023-03-29 Alibaba Group Holding Limited Method and apparatus for processing video content
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
JP2024513939A (ja) * 2021-04-12 2024-03-27 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 重複ブロック動き補償
US11943432B2 (en) 2021-04-26 2024-03-26 Tencent America LLC Decoder side intra mode derivation
US20240040142A1 (en) * 2022-07-26 2024-02-01 Tencent America LLC Method and apparatus for warp sample selection and grouping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014171227A (ja) 2011-09-28 2014-09-18 Electronics & Telecommunications Research Inst 制限されたオフセット補償及びループフィルタに基づく映像符号化及び復号化方法、並びにその装置
JP2016529782A (ja) 2013-07-12 2016-09-23 クゥアルコム・インコーポレイテッドQualcomm Incorporated レイヤを横切るピクチャパーティションに対するビットストリームの制限
US20170366808A1 (en) 2016-06-15 2017-12-21 Mediatek Inc. Method and Apparatus for Selective Filtering of Cubic-Face Frames
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
CN102509350B (zh) * 2011-09-30 2013-12-25 北京航空航天大学 一种基于立方体的体育运动赛事信息可视化方法
US9161046B2 (en) * 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
JP6222576B2 (ja) 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US8983218B2 (en) * 2012-04-11 2015-03-17 Texas Instruments Incorporated Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
RS56322B1 (sr) * 2012-04-16 2017-12-29 Hfi Innovation Inc Postupak i aparat za filtriranje u petlji preko granica režnja ili pločice
CN104813669B (zh) 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
CA2897152C (en) 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
EP3090558A4 (en) 2014-01-03 2017-08-16 Nokia Technologies OY Parameter set coding
US20150271515A1 (en) 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016064862A1 (en) 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー 360度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
CN108702528B (zh) 2016-02-17 2021-06-01 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
US20170272758A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10887621B2 (en) 2016-07-08 2021-01-05 Vid Scale, Inc. 360-degree video coding using geometry projection
WO2018045108A1 (en) 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
KR20180042098A (ko) * 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US20180192074A1 (en) 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
CN117560504A (zh) 2017-03-17 2024-02-13 Vid拓展公司 基于几何图形填充的用于360度视频的预测编码
CN110692249A (zh) 2017-04-11 2020-01-14 Vid拓展公司 使用面部连续性的360度视频编码
CN111713111B (zh) 2017-12-19 2024-04-09 Vid拓展公司 用于360度视频译码的面不连续性滤波

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014171227A (ja) 2011-09-28 2014-09-18 Electronics & Telecommunications Research Inst 制限されたオフセット補償及びループフィルタに基づく映像符号化及び復号化方法、並びにその装置
JP2016529782A (ja) 2013-07-12 2016-09-23 クゥアルコム・インコーポレイテッドQualcomm Incorporated レイヤを横切るピクチャパーティションに対するビットストリームの制限
US20170366808A1 (en) 2016-06-15 2017-12-21 Mediatek Inc. Method and Apparatus for Selective Filtering of Cubic-Face Frames
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Philippe Hanhart, et al.,AHG8: High level syntax extensions for signaling of 360-degree video information,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15-21 October 2016,JVET-D0093,URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/4_Chengdu/wg11/JVET-D0093-v2.zip,2016年10月15日,pp. 1~6,学術文献等DB
Philippe Hanhart, et al.,InterDigital’s Response to the 360° Video Category in Joint Call for Evidence on Video Compression with Capability beyond HEVC,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, July 13-21, 2017,JVET-G0024,URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/7_Torino/wg11/JVET-G0024-v1.zip,2017年07月06日,pp. 1-16,学術文献等DB

Also Published As

Publication number Publication date
WO2019060443A1 (en) 2019-03-28
US20200260120A1 (en) 2020-08-13
US11418816B2 (en) 2022-08-16
IL273379A (en) 2020-05-31
US20220377385A1 (en) 2022-11-24
JP2023159440A (ja) 2023-10-31
KR20200064989A (ko) 2020-06-08
JP2020534750A (ja) 2020-11-26
CN111183646B (zh) 2023-08-04
CN111183646A (zh) 2020-05-19
EP3685585A1 (en) 2020-07-29
CN117061771A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
JP7343487B2 (ja) 360度ビデオ符号化におけるフェイス不連続の処理
JP7357747B2 (ja) 面連続性を使用する360度ビデオコーディング
CN111713111B (zh) 用于360度视频译码的面不连续性滤波
JP7406378B2 (ja) 360度ビデオ符号化のための適応的量子化
JP2022501905A (ja) 360度ビデオコード化のためのサンプル導出
JP7249948B2 (ja) ジオメトリパディングに基づいた360度ビデオのための予測符号化
TWI797234B (zh) 360度視訊編碼適應性訊框填裝

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200519

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230831

R150 Certificate of patent or registration of utility model

Ref document number: 7343487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150