JP6240331B2 - 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること - Google Patents

色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること Download PDF

Info

Publication number
JP6240331B2
JP6240331B2 JP2016539123A JP2016539123A JP6240331B2 JP 6240331 B2 JP6240331 B2 JP 6240331B2 JP 2016539123 A JP2016539123 A JP 2016539123A JP 2016539123 A JP2016539123 A JP 2016539123A JP 6240331 B2 JP6240331 B2 JP 6240331B2
Authority
JP
Japan
Prior art keywords
component
sampling position
sampling
chroma
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016539123A
Other languages
English (en)
Other versions
JP2017505028A (ja
Inventor
イエン イエ
イエン イエ
ジエ ドン
ジエ ドン
ユーウェン ホー
ユーウェン ホー
Original Assignee
ヴィド スケール インコーポレイテッド
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド, ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2017505028A publication Critical patent/JP2017505028A/ja
Application granted granted Critical
Publication of JP6240331B2 publication Critical patent/JP6240331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

相互参照
本出願は、2013年12月13日に出願された、米国特許仮出願第61/915,892号の利益を主張するものであり、その内容は、各々それらの全体が参照により本明細書に組み込まれる。
入力ビデオストリームのルーマおよびクロマサンプル位置のフェーズは、整合させられない場合がある。ルーマおよびクロマサンプル位置のそのような不整合は、3D LUT補間、および従って、推定され得る3D LUTの精密度に影響を及ぼす場合がある。
色変換成分を推定するシステムおよび/または方法。ビデオコーディングデバイスは、第1の色空間に関連付けられる画像を受信し得る。画像は、第1のサンプリング位置での第1の成分、第2のサンプリング位置での第2の成分、および、第3のサンプリング位置での第2の成分を備え得る。ビデオコーディングデバイスは、第1の補間フィルタを、第2のサンプリング位置での第2の成分、および、第3のサンプリング位置での第2の成分に適用して、第1のサンプリング位置での第2の成分を決定し得る。第1のサンプリング位置での第2の成分は、第1の色空間に関連付けられ得る。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置での第1の成分に、および、第1のサンプリング位置での第2の成分に適用して、第1のサンプリング位置での第1の成分を第2の色空間に転換し得る。第1の成分はルーマ成分であり得、第2の成分は、第1のクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)、または第2のクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)であり得る。第1の成分は、第1のクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)、または第2のクロマ成分であり得、第2の成分はルーマ成分であり得る。
ビデオコーディングデバイスは、第1の補間フィルタを適用し得る。第1の補間フィルタは、第2のサンプリング位置での第2の成分を3により乗算することと、第2のサンプリング位置での乗算された第2の成分、第3のサンプリング位置での第2の成分、および2を加算して、合計を決定することと、合計を4により除算することとを含み得る。第1の補間フィルタは、第2のサンプリング位置での第2の成分、第3のサンプリング位置での第2の成分、および1を加算して、合計を決定することと、合計を2により除算することとを含み得る。
画像は、第4のサンプリング位置での第2の成分、および、第5のサンプリング位置での第2の成分を備え得る。ビデオコーディングデバイスは、第1の補間フィルタを、第2のサンプリング位置での第2の成分、第3のサンプリング位置での第2の成分、第4のサンプリング位置での第2の成分、および、第5のサンプリング位置での第2の成分に適用して、第1のサンプリング位置での第2の成分を決定し得る。第1の補間フィルタは、第2のサンプリング位置での第2の成分、および、第3のサンプリング位置での第2の成分を加算して、第1の合計を決定することと、第4のサンプリング位置での第2の成分、および、第5のサンプリング位置での第2の成分を加算して、第2の合計を決定することと、第2の合計を3により乗算して、第3の合計を決定することと、第1の合計、第3の合計、および4を加算して、第4の合計を決定することと、第4の合計を8により除算することとを含み得る。
画像は、第2のサンプリング位置での第3の成分、および、第3のサンプリング位置での第3の成分を備え得る。第1の成分はルーマ成分であり得、第2の成分は赤差クロマ成分であり得、第3の成分は青差クロマ成分であり得る。ビデオコーディングデバイスは、第1の補間フィルタを、第2のサンプリング位置での第3の成分、および、第3のサンプリング位置での第3の成分に適用して、第1のサンプリング位置での第3の成分を決定し得る。第1のサンプリング位置での第3の成分は、第1の色空間に関連付けられ得る。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置での第1の成分に、第1のサンプリング位置での第2の成分に、および、第1のサンプリング位置での第3の成分に適用して、第1のサンプリング位置での第1の成分を第2の色空間に転換し得る。
画像は、第1のサンプリング位置での第3の成分を備え得る。このビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置での第1の成分に、第1のサンプリング位置での第3の成分に、および、第1のサンプリング位置での第2の成分に適用して、第1のサンプリング位置での第1の成分を第2の色空間に転換し得る。第1の成分は第1のクロマ成分であり得、第2の成分はルーマ成分であり得、第3の成分は第2のクロマ成分であり得る。第1の成分は第2のクロマ成分であり得、第2の成分はルーマ成分であり得、第3の成分は第1のクロマ成分であり得る。
画像は、4:2:0クロマフォーマットにより特徴付けられ得る。色変換モデルは、3次元ルックアップテーブル(LUT)に基づき得る。
プロセッサは、スケーラブルビットストリームを受信するようにさらに構成され、スケーラブルビットストリームは、ベースレイヤおよびエンハンスメントレイヤを備え、ベースレイヤは画像を備え、ベースレイヤは第1の色空間に関連付けられ、エンハンスメントレイヤは第2の色空間に関連付けられる、請求項1のビデオコーディングデバイス。
ビデオコーディングデバイスは、第1の色空間に関連付けられる画像を受信し得る。画像は、第1のサンプリング位置での第1のクロマ成分、第1のサンプリング位置での第2のクロマ成分、第2のサンプリング位置でのルーマ成分、第3のサンプリング位置でのルーマ成分、第4のサンプリング位置でのルーマ成分、および、第5のサンプリング位置でのルーマ成分を備え得る。ビデオコーディングデバイスは、第1の補間フィルタを、第2のサンプリング位置でのルーマ成分、第3のサンプリング位置でのルーマ成分、第4のサンプリング位置でのルーマ成分、および、第5のサンプリング位置でのルーマ成分の、2つまたはより多いものに適用して、第1のサンプリング位置でのルーマ成分を決定し得、第1のサンプリング位置でのルーマ成分は、第1の色空間に関連付けられる。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置での第1のクロマ成分、第1のサンプリング位置での第2のクロマ成分に、および、第1のサンプリング位置でのルーマ成分に適用して、第1のサンプリング位置での第1のクロマ成分を第2の色空間に転換し得る。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置での第1のクロマ成分、第1のサンプリング位置での第2のクロマ成分に、および、第1のサンプリング位置でのルーマ成分に適用して、第1のサンプリング位置での第2のクロマ成分を第2の色空間に転換し得る。第1のクロマ成分および/または第2のクロマ成分は、赤差クロマ成分および/または青差クロマ成分であり得る。
ビデオコーディングデバイスは、第1の色空間に関連付けられる画像を受信し得る。画像は、第1のサンプリング位置でのルーマ成分、第2のサンプリング位置での第1のクロマ成分、第2のサンプリング位置での第2のクロマ成分、第3のサンプリング位置での第1のクロマ成分、第3のサンプリング位置での第2のクロマ成分、第4のサンプリング位置での第1のクロマ成分、第4のサンプリング位置での第2のクロマ成分、第5のサンプリング位置での第1のクロマ成分、および、第5のサンプリング位置での第2のクロマ成分を備え得る。ビデオコーディングデバイスは、第1の補間フィルタを、第2のサンプリング位置での第1のクロマ成分、第3のサンプリング位置での第1のクロマ成分、第4のサンプリング位置での第1のクロマ成分、および、第5のサンプリング位置での第1のクロマ成分の、2つまたはより多いものに適用して、第1のサンプリング位置での第1のクロマ成分を決定し得、第1のサンプリング位置での第1のクロマ成分は、第1の色空間に関連付けられる。ビデオコーディングデバイスは、第1の補間フィルタを、第2のサンプリング位置での第2のクロマ成分、第3のサンプリング位置での第2のクロマ成分、第4のサンプリング位置での第2のクロマ成分、および、第5のサンプリング位置での第2のクロマ成分の、2つまたはより多いものに適用して、第1のサンプリング位置での第2のクロマ成分を決定し得、第1のサンプリング位置での第2のクロマ成分は、第1の色空間に関連付けられる。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置でのルーマ成分、第1のサンプリング位置での第1のクロマ成分、および、第1のサンプリング位置での第2のクロマ成分に適用して、第1のサンプリング位置でのルーマ成分を第2の色空間に転換し得る。第1のクロマ成分および/または第2のクロマ成分は、赤差クロマ成分および/または青差クロマ成分であり得る。
N個のレイヤなどの1または複数のレイヤを伴う、スケーラブルビデオコーディングシステムの例のブロック線図である。 MVCを使用する立体(例えば、2ビュー)ビデオコーディングに対する、時間的および/またはインターレイヤ予測の例の図である。 CIE色精細度または空間でのBT.709(HDTV)とBT.2020(UHDTV)との間の例の原色比較の図である。 BT.709でグレーディングされ、BT.709でレンダリングされる画像の間の、エンドユーザにとっての視覚差の例の図である。 BT.2020でグレーディングされ、BT.709でレンダリングされる画像の間の、エンドユーザにとっての視覚差の例の図である。 画像レベルインターレイヤ予測(ILP)による、色域スケーラビリティ(CGS)コーディングの例の図である。 8ビットYUV信号に対する3Dルックアップテーブルの例の図である。 三重線形または四面体補間での重み算出(例えば、3D LUT推定で使用され得る)の例の図である。 四面体補間(例えば、3D LUT推定で使用され得る)の例の図である。 補間する点を包含し得る四面体(例えば、3D LUT推定で使用され得る)の例の図である。 補間する点を包含し得る四面体(例えば、3D LUT推定で使用され得る)の例の図である。 補間する点を包含し得る四面体(例えば、3D LUT推定で使用され得る)の例の図である。 補間する点を包含し得る四面体(例えば、3D LUT推定で使用され得る)の例の図である。 補間する点を包含し得る四面体(例えば、3D LUT推定で使用され得る)の例の図である。 補間する点を包含し得る四面体(例えば、3D LUT推定で使用され得る)の例の図である。 クロマフォーマットに対する(例えば、420クロマフォーマットに対する)ルーマ成分とクロマ成分との間のフェーズシフトの例の図であり、正方形はルーマ画素グリッドを表し得、円はクロマグリッドを表し得る。 1または複数の開示される実施形態が実装され得る、例の通信システムの線図である。 図11Aで示される通信システム内部で使用され得る、例の無線送受信ユニット(WTRU)のシステム線図である。 図11Aで示される通信システム内部で使用され得る、例の無線アクセスネットワークおよび例のコアネットワークのシステム線図である。 図11Aで示される通信システム内部で使用され得る、別の例無線アクセスネットワークおよび例のコアネットワークのシステム線図である。 図11Aで示される通信システム内部で使用され得る、別の例無線アクセスネットワークおよび例のコアネットワークのシステム線図である。
H.261、MPEG−1、MPEG−2、H.263、MPEG−4パート2およびH.264/MPEG−4パート10AVCなどのデジタルビデオ圧縮技術は、効率的なデジタルビデオ通信、配分および消費を可能にし得る。
TV信号を衛星、ケーブルおよび地上送信チャネルを介して送信することなどの従前のデジタルビデオサービスと比較すると、IPTV、ビデオチャット、移動ビデオ、およびストリーミングビデオなどのますます多くのビデオアプリケーションは、異種環境で配備され得る。例えばビデオアプリケーションは、異なるサイズセル、および/または類するものを伴うネットワークでのビデオストリーミングを提供し得る。異種性は、クライアント上で、またはクライアントに、および、ネットワーク内に存在し得る。例えばクライアントサイド上では、スマートフォン、タブレット、PC、およびTV、および/または類するものを含む、変動するスクリーンサイズおよびディスプレイ能力を伴うデバイス上でビデオコンテンツを消費することである、Nスクリーンシナリオが、提供および/または使用され得る。ネットワークサイド上ではビデオは、インターネット、WiFiネットワーク、移動(3Gおよび4G)ネットワーク、および/または、それらの任意の組み合わせにわたって送信され得る。
スケーラブルビデオコーディングは、信号を一旦、最も高い分解能で符号化し得る。スケーラブルビデオコーディングは、決まったアプリケーションにより必要とされる、および/または、クライアントデバイスによりサポートされる、特定のレートおよび分解能に依存する、ストリームのサブセットからの復号を可能にし得る。分解能は、空間的分解能(例えば、画像サイズ)、時間的分解能(例えば、フレームレート)、ビデオ品質(例えば、MOSなどの主観的品質、および/または、PSNRもしくはSSIMもしくはVQMなどの客観的品質)、および/または類するものを含む、ただしそれらに制限されない、いくつかのビデオパラメータにより定義され得る。他の共通に使用されるビデオパラメータは、クロマフォーマット(例えば、YUV420またはYUV422またはYUV444など)、ビット深度(例えば、8ビットまたは10ビットビデオなど)、複雑度、ビュー、域、および/またはアスペクト比(例えば、16:9または4:3)を含み得る。MPEG−2ビデオ、H.263、MPEG4ビジュアル、およびH.264などの国際ビデオ標準は、スケーラビリティモードをサポートするツールおよび/またはプロファイルを有し得る。
スケーラブルビデオコーディングは、部分的ビットストリームの送信および復号を可能にし得る。部分的ビットストリームの送信および復号は、スケーラブルビデオコーディング(SVC)システムが、より低い時間的および/もしくは空間的分解能、または低減される忠実度を伴うビデオサービスを提供し、一方で、相対的に高い再構築品質(例えば、部分的ビットストリームの所与のそれぞれのレート)を保持することを可能にし得る。SVCは単一ループ復号によって実装され得、そのことによってSVC復号器は、1つの動き補償ループを、復号されているレイヤでセットアップすることが可能であり、動き補償ループを、1または複数の他のより低いレイヤでセットアップしないことが可能である。例えばビットストリームは、ベースレイヤであり得る第1のレイヤ(例えば、レイヤ1)、および、エンハンスメントレイヤであり得る第2のレイヤ(例えば、レイヤ2)を含む、2つのレイヤを含み得る。そのようなSVC復号器がレイヤ2ビデオを再構築するとき、復号される画像バッファのセットアップ、および、動き補償される予測は、レイヤ2に制限され得る。SVCのそのような実装では、より低いレイヤからのそれぞれの参照画像は、フルに再構築されなくてよく、そのことは、復号器での計算的複雑度および/またはメモリ消費を低減し得る。
単一ループ復号は、制約されるインターレイヤテクスチャ予測により実現され得、その場合、所与のレイヤでの現在のブロックに対して、より低いレイヤからの空間的テクスチャ予測は、対応する、より低いレイヤブロックがイントラモードでコーディングされる場合許され得る。これは、限定されるイントラ予測と称され得る。より低いレイヤブロックがイントラモードでコーディングされるとき、それは、動き補償動作、および/または、復号される画像バッファなしで再構築され得る。
SVCは、1または複数のより低いレイヤからの、動きベクトル予測、残差予測、モード予測などの、1または複数の追加的なインターレイヤ予測技法を実装し得る。これは、エンハンスメントレイヤのレート歪み効率を改善し得る。単一ループ復号を伴うSVC実装は、復号器での、低減される計算的複雑度、および/または、低減されるメモリ消費を示し得、例えばブロックレベルインターレイヤ予測への依拠に起因して、増大される実装複雑度を示し得る。単一ループ復号制約を課すことにより招かれ得る性能不利に対して補償するために、符号化器設計および計算複雑度が、所望される性能を実現するために増大され得る。インターレースされるコンテンツのコーディングは、SVCによりサポートされない場合がある。
図1は、例のブロックに基づく、ハイブリッドスケーラブルビデオコーディング(SVC)システムを図示する、単純化されたブロック線図である。レイヤ1(例えば、ベースレイヤ)により表されることになる、空間的および/または時間的信号分解能は、入力ビデオ信号のダウンサンプリングにより生成され得る。後続の符号化段階では、Q1などの量子化器のセッティングが、ベース情報の品質レベルにつながり得る。1または複数の後続のより高いレイヤは、ベースレイヤ再構築Y1を使用して符号化および/または復号され得、そのことは、より高いレイヤ分解能レベルの近似を表し得る。アップサンプリングユニットは、レイヤ2の分解能へのベースレイヤ再構築信号のアップサンプリングを実行し得る。ダウンサンプリングおよび/またはアップサンプリングは、複数のレイヤの全体を通して(例えば、N個のレイヤ、レイヤ1、2…Nに対して)実行され得る。ダウンサンプリングおよび/またはアップサンプリング比は、例えば2つのレイヤ間のスケーラビリティの次元に依存して異なり得る。
図1の例スケーラブルビデオコーディングシステムでは、所与の、より高いレイヤn(例えば、2≦n≦N、Nはレイヤの総合的な数である)に対して、差分信号が、アップサンプリングされた、より低いレイヤ信号(例えば、レイヤn−1信号)を、現在のレイヤn信号から減算することにより生成され得る。この差分信号が符号化され得る。2つのレイヤ、n1およびn2により表されるそれぞれのビデオ信号が同じ空間的分解能を有する場合、対応するダウンサンプリングおよび/またはアップサンプリング動作は回避され得る。所与のレイヤn(例えば、1≦n≦N)または複数のレイヤは、より高いレイヤからの復号される情報を使用することなく復号され得る。
例えば図1の例のSVCシステムを使用する、ベースレイヤ以外のレイヤに対する、残差信号(例えば、2つのレイヤ間の差分信号)のコーディングに依拠することが、視覚的アーチファクトを引き起こす場合がある。そのような視覚的アーチファクトは、例えば、残差信号の、その動的範囲を限定するための量子化および/もしくは正規化、並びに/または、残差のコーディングの間に実行される量子化に起因し得る。1または複数のより高いレイヤ符号化器は、動き推定、および/または、動き補償される予測を、それぞれの符号化モードとして採用し得る。残差信号での動き推定および/または補償は、従来型の動き推定とは異なり得、視覚的アーチファクトに至りやすい場合がある。視覚的アーチファクトの出現を低減(例えば、最小化)するために、より精巧化された残差量子化が、例えば接合量子化プロセスとともに実装され得、そのプロセスは、残差信号の、その動的範囲を限定するための量子化および/もしくは正規化、並びに、残差のコーディングの間に実行される量子化の両方を含み得る。そのような量子化プロセスは、SVCシステムの複雑度を増大し得る。
マルチビュービデオコーディング(MVC)は、ビュースケーラビリティを提供し得る。ビュースケーラビリティの例では、ベースレイヤビットストリームは、従来型の2次元(2D)ビデオを再構築するために復号され得、1または複数の追加的なエンハンスメントレイヤは、同じビデオ信号の他のビュー表現を再構築するために復号され得る。そのようなビューが、一体で組み合わされ、3次元(3D)ディスプレイにより表示されるとき、適正な深度知覚を伴う3Dビデオが生み出され得る。
図2は、MVCを使用して、左ビュー(例えば、レイヤ1)および右ビュー(例えば、レイヤ2)を伴う立体ビデオをコーディングするための例の予測構造を図示する。左ビュービデオは、I−B−B−P予測構造によってコーディングされ得、右ビュービデオは、P−B−B−B予測構造によってコーディングされ得る。図2で示されるように右ビューでは、左ビューでの第1のI画像と並置される第1の画像は、P画像としてコーディングされ得、右ビューでの後続の画像は、第1の予測が右ビューでの時間的参照から発生し、第2の予測が左ビューでのインターレイヤ参照から発生するB画像としてコーディングされ得る。MVCは、単一ループ復号特徴をサポートしない場合がある。例えば図2で示されるように、右ビュー(例えば、レイヤ2)ビデオの復号は、1または複数の(例えば、各々の)レイヤ(例えば、ビュー)がそれぞれの補償ループを有する状態での、左ビュー(例えば、レイヤ1)での画像の全体の利用可能性を条件とされ得る。MVCの実装は、高レベルシンタックス変化を含む場合があり、ブロックレベル変化を含まない場合がある。これは、MVCの実装をたやすくし得る。例えばMVCは、参照画像をスライスおよび/または画像レベルで構成することにより実装され得る。MVCは、実例として、図2で示される例を拡張して、多重のビューにわたるインターレイヤ予測を実行することにより、2つより多いビューのコーディングをサポートし得る。
MPEGフレーム互換(MFC)ビデオコーディングは、3Dビデオコーディングへのスケーラブル拡張を提供し得る。例えばMFCは、フレーム互換ベースレイヤビデオ(例えば、同じフレームにパックされる2つのビュー)へのスケーラブル拡張を提供し得、フル分解能ビューを復元するための1または複数のエンハンスメントレイヤを提供し得る。立体3Dビデオは、左ビューおよび右ビューを含む、2つのビューを有し得る。立体3Dコンテンツは、2つのビューを1つのフレームにパックおよび/または多重化することにより、並びに、パックされたビデオを圧縮および送信することにより配信され得る。受信器サイドでは、復号後、フレームはアンパックされ、2つのビューとして表示され得る。ビューのそのような多重化は、時間的ドメインまたは空間的ドメインで実行され得る。空間的ドメインで実行されるとき、同じ画像サイズを維持するために、2つのビューは、(例えば、2の因子により)空間的にダウンサンプリングされ、1または複数の配置構成によってパックされ得る。例えばサイドバイサイド配置構成は、ダウンサンプリングされた左ビューを画像の左半分上に、および、ダウンサンプリングされた右ビューを画像の右半分上に置く場合がある。他の配置構成は、トップアンドボトム、ラインバイライン、チェッカーボードなどを含み得る。フレーム互換3Dビデオを実現するために使用される配置構成は、例えば、1または複数のフレームパッキング配置構成SEIメッセージにより伝えられ得る。そのような配置構成は、帯域幅消費での最小量の増大を伴う3D配信を実現し得るが、空間的ダウンサンプリングが、エイリアシングをビューで引き起こす場合があり、並びに/または、3Dビデオの視覚的品質およびユーザ体感を低減する場合がある。
IPTV、ビデオチャット、移動ビデオ、および/またはストリーミングビデオなどのビデオアプリケーションが、異種環境で配備され得る。異種性はクライアントサイド上で存在し得る。異種性はネットワーク内に存在し得る。Nスクリーンは、スマートフォン、タブレット、PCおよび/またはTVを含む、変動するスクリーンサイズおよび/またはディスプレイ能力を伴うデバイス上でビデオコンテンツを消費することを備え得る。Nスクリーンは、例えばクライアントサイド上で、異種性に寄与し得る。ビデオは、例えばネットワークサイド上では、インターネット、WiFiネットワーク、移動ネットワーク(例えば、3Gおよび/または4G)、および/または、これらのネットワークの任意の組み合わせにわたって送信され得る。スケーラブルビデオコーディングは、サービスのユーザ体感および/またはビデオ品質を改善し得る。スケーラブルビデオコーディングは、信号を最も高い分解能で符号化することを必然的に含み得る。スケーラブルビデオコーディングは、例えば、決まったアプリケーションにより使用される、および/または、クライアントデバイスによりサポートされる、利用可能なネットワーク帯域幅および/またはビデオ分解能に依存する、ストリームのサブセットからの復号を可能にすることを必然的に含み得る。分解能は、いくつかのビデオパラメータにより特徴付けられ得る。ビデオパラメータは、後に続くもの:空間的分解能、時間的分解能、ビデオ品質、クロマフォーマット、ビット深度、複雑度、ビュー、色域および/またはアスペクト比などの、1または複数を備え得る。空間的分解能は画像サイズを備え得る。時間的分解能はフレームレートを備え得る。ビデオ品質は、MOSなどの主観的品質、および/または、PSNR、SSIM、もしくはVQMなどの客観的品質を備え得る。クロマフォーマットは、YUV420、YUV422またはYUV444などを備え得る。ビット深度は、8ビットビデオ、10ビットビデオなどを備え得る。アスペクト比は、16:9または4:3などを備え得る。HEVCスケーラブル拡張は、少なくとも空間的スケーラビリティ(例えばスケーラブルビットストリームは、1つより多い空間的分解能での信号を含み得る)、品質スケーラビリティ(例えばスケーラブルビットストリームは、1つより多い品質レベルでの信号を含み得る)、および/または標準スケーラビリティ(例えばスケーラブルビットストリームは、H.264/AVCを使用してコーディングされるベースレイヤ、および、HEVCを使用してコーディングされる1または複数のエンハンスメントレイヤを含み得る)をサポートし得る。空間的スケーラビリティでは、スケーラブルビットストリームは、1または複数の空間的分解能での信号を備え得る。品質スケーラビリティでは、スケーラブルビットストリームは、1または複数の品質レベルでの信号を備え得る。標準スケーラビリティでは、スケーラブルビットストリームは、例えばH.264/AVCを使用してコーディングされるベースレイヤ、および、例えばHEVCを使用してコーディングされる1または複数のエンハンスメントレイヤを備え得る。品質スケーラビリティは、SNRスケーラビリティと称され得る。ビュースケーラビリティは、3Dビデオアプリケーションをサポートし得る。ビュースケーラビリティでは、スケーラブルビットストリームは、2Dビデオ信号および3Dビデオ信号の両方を含み得る。
ビデオコーディングシステム(例えば、高効率ビデオコーディングのスケーラブル拡張(SHVC)によるビデオコーディングシステム)は、ビデオコーディングを実行するように構成される1または複数のデバイスを含み得る。ビデオコーディングを実行するように(例えば、ビデオ信号を符号化および/または復号するように)構成されるデバイスは、ビデオコーディングデバイスと称され得る。そのようなビデオコーディングデバイスは、ビデオ能力のあるデバイス、例えば、テレビジョン、デジタルメディアプレーヤ、DVDプレーヤ、Blu−ray(登録商標)プレーヤ、ネットワーク化されたメディアプレーヤデバイス、デスクトップコンピュータ、ラップトップパーソナルコンピュータ、タブレットデバイス、移動電話、ビデオ会議システム、ハードウェアおよび/もしくはソフトウェアに基づくビデオ符号化システムなどを含み得る。そのようなビデオコーディングデバイスは、無線送受信ユニット(WTRU)、基地局、ゲートウェイ、または他のネットワーク要素などの、無線通信ネットワーク要素を含み得る。
HEVCのスケーラブルエンハンスメントが本明細書で考察され得る。1または複数の目標が、例えば空間的スケーラビリティに対して確立されている場合がある。2x空間的スケーラビリティに対する25%ビットレート低減、および、1.5x空間的スケーラビリティに対する50%ビットレート低減の目標が、例えば、より高い分解能ビデオに対して測定されて、非スケーラブルコーディングを使用することと比較されて、実現され得る。スケーラビリティは例えば、スケーラブルHEVCに対する使用事例を広げるために使用され得る。スケーラビリティは、ベースレイヤがH.264/AVCまたはMPEG2によって符号化され得、一方で、1または複数のエンハンスメントレイヤが例えばHEVCを使用して符号化され得るときの、スケーラビリティのタイプを示し得る。スケーラビリティは、H.264/AVCまたはMPEG2を使用して符号化され得るレガシーコンテンツに対する後方互換性を提供し、レガシーコンテンツの品質を、より良好なコーディング効率を提供し得るHEVCによって符号化される1または複数のエンハンスメントレイヤによってエンハンスし得る。
3Dスケーラブルビデオコーディング技法は、3Dビデオコーディングまたは3DVと称され得る。3DVが本明細書で考察され得る。3DVは、自動立体アプリケーションに対して目標とされ得るビュースケーラビリティの様々な変種を開発し得る。自動立体ディスプレイおよびアプリケーションは、人々が、面倒なメガネなしで3Dを体感することを許可し、または、可能にし得る。メガネなしの適した、または良好な3D体感を実現するために、2つより多いビューが提供および/または使用される場合がある。多くのビュー(例えば、9つのビューまたは10個のビューなど)をコーディングすることは不経済であり得る。3DVは、相対的に大きな視差を伴う数個のビュー(例えば、2つまたは3つのビュー)を、ビューの深度情報を提供し得る深度マップと一体でコーディングすることのハイブリッド手法を提供および/または使用し得る。ディスプレイサイドでは、コーディングされたビューおよび深度マップが復号され得、残るビューは、復号されたビューおよびそれらの深度マップを使用して、例えばビュー合成技術を使用して生成され得る。3DVは、ビューおよび深度マップをコーディングするための様々な方法を考慮し得、それらの方法は、例えば、ベースレイヤを1つの技法(例えば、H.264/AVC)によってコーディングし、1または複数のエンハンスメントレイヤを別の技法(例えば、HEVC)によってコーディングすることを含めて、ビューおよび深度マップを、H.264/AVC、MVCおよびHEVCなどの異なる技法の組み合わせを使用してコーディングするものである。3DVは、異なるオプションのメニューを提供し得、それらのオプションから、アプリケーションは選定することが可能である。
表1は、本明細書で考察される異なるタイプのスケーラビリティの例を要約し得る。表1のボトムでは、ビット深度スケーラビリティおよびクロマフォーマットスケーラビリティが、プロフェッショナルビデオアプリケーションにより使用されるビデオフォーマット(例えば、8ビットビデオより高い、および/または、YUV4:2:0より高いクロマサンプリングフォーマット)に結び付けられ得る。ビット深度スケーラビリティおよびクロマフォーマットスケーラビリティは利用され得る。アスペクト比スケーラビリティおよび色域スケーラビリティは、望ましいスケーラビリティとして提供および/または使用され得る(例えば、ただし、現在は、スケーラブルHEVC開発の第1のフェーズに対して、提供、使用、および/または、計画されないものであり得る)。
図3は、CIE色精細度でのBT.709(HDTV)とBT.2020(UHDTV)との間の比較を示す。進歩したディスプレイ技術によって、超高精細度TV(UHDTV)は、HDTV仕様(例えば、BT.709)と比較されると、より大きな分解能、より大きなビット深度、より高いフレームレート、およびより広い色域をサポートし得る。ユーザ体感は、BT.2020が提供し得る高忠実度品質に起因して、大きく改善され得る。UHDTVは、最高で4K(3840x2160)および8K(7680x4320)分解能をサポートし得、フレームレートは最高で120Hzであり、画像サンプルのビット深度は、10ビットまたは12ビットである。UHDTVの色空間310は、BT.2020により定義され得る。HDTVの色空間320は、BT.709により定義され得る。BT.2020 310でレンダリングされる色のボリュームは、HDTVでの色空間320(例えば、BT.709)のボリュームより広くあり得、そのことは、より多くの可視色情報が、UHDTV仕様を使用してレンダリングされ得るということを意味し得る。
色域スケーラビリティ。色域スケーラブル(CGS)コーディングは、2つまたはより多いレイヤが、異なる色域およびビット深度を有し得る、マルチレイヤコーディングであり得る。例えば表1で示されるように、2レイヤスケーラブルシステムでは、ベースレイヤは、BT.709で定義されるようなHDTV色域であり得、エンハンスメントレイヤは、BT.2020で定義されるようなUHDTV色域であり得る。P3色域は、使用され得る色域である。P3色域は、デジタルシネマアプリケーションで使用され得る。CGSコーディングでのインターレイヤプロセスは、色域変換技法を使用して、ベースレイヤ色域をエンハンスメントレイヤ色域に変換し得る。色域変換が適用され得る後で、生成されるインターレイヤ参照画像が、例えば、より良好な、または改善された正確度によって、エンハンスメントレイヤ画像を予測するために使用され得る。
図4Aおよび図4Bは、それぞれ、BT.709色域とBT.2020色域との間の、エンドユーザにとっての視覚差の例を図示し得る。図4Aおよび図4Bでは、同じコンテンツが、異なる色域を使用して2回色グレーディングされ得る。例えば図4A内のコンテンツは、BT.709で色グレーディングされ、BT.709ディスプレイ上でレンダリング/表示され得る。図4B内のコンテンツは、BT.2020で色グレーディングされ、BT.709ディスプレイ上でレンダリング/表示され得る。示されるように、2つのイメージ間の色差は異なり得る。
図5は、画像レベルインターレイヤ予測による、例の色域スケーラビリティ(CGS)コーディングを示し得る。例の実施形態では、図4Aはベースレイヤでコーディングされ得、図4Bはエンハンスメントレイヤでコーディングされ得る。追加的なインターレイヤ処理が、例えば図5でのCGSコーディングシステムを使用して、エンハンスメントレイヤコーディング効率を改善するために提供および/または使用され得る。色域変換が、CGSに対するインターレイヤ処理で使用され得る。色域変換の使用によって、BT.709空間内の色は、BT.2020空間内に転換され得る。BT.709空間内の色は、エンハンスメントレイヤ信号をBT.2020空間で、より効果的に予測するために使用され得る。
図5で示されるように、ベースレイヤ(BL)ビデオ入力530はHDビデオ信号であり得、エンハンスメントレイヤ(EL)ビデオ入力502はUHDビデオ信号であり得る。HDビデオ信号530およびUHDビデオ信号502は、例えば、1もしくは複数のダウンサンプリングパラメータ(例えば、空間的スケーラビリティ)、1もしくは複数の色グレーディングパラメータ(例えば、色域スケーラビリティ)、または、1もしくは複数のトーンマッピングパラメータ(例えば、ビット深度スケーラビリティ)528の、1または複数により、互いに対応し得る。
BL符号化器518は、例えば、高効率ビデオコーディング(HEVC)ビデオ符号化器またはH.264/AVCビデオ符号化器を含み得る。BL符号化器518は、予測のために、1または複数のBL再構築された画像(例えば、BL DPB520に記憶される)を使用してBLビットストリーム532を生成するように構成され得る。EL符号化器504は、例えばHEVC符号化器を含み得る。EL符号化器504は、例えば、インターレイヤ参照画像をEL DPBに追加することによりインターレイヤ予測をサポートするための、1または複数の高レベルシンタックス修正を含み得る。EL符号化器504は、予測のために、1または複数のEL再構築された画像(例えば、EL DPB506に記憶される)を使用してELビットストリーム508を生成するように構成され得る。
BL DPB520内の1または複数の再構築されたBL画像は、インターレイヤ処理(ILP)ユニット522で、アップサンプリング(例えば、空間的スケーラビリティに対する)、色域変換(例えば、色域スケーラビリティに対する)、または逆トーンマッピング(例えば、ビット深度スケーラビリティに対する)の、1または複数を含む、1または複数の画像レベルインターレイヤ処理技法を使用して処理され得る。1または複数の処理される再構築されたBL画像は、参照画像としてELコーディングに対して使用され得る。インターレイヤ処理は、EL符号化器504から受信されるエンハンスメントビデオ情報514、および/または、BL符号化器518から受信されるベースビデオ情報516に基づいて実行され得る。これは、ELコーディング効率を改善し得る。
526で、ELビットストリーム508、BLビットストリーム532およびILP情報524などのインターレイヤ処理で使用されるパラメータが、スケーラブルビットストリーム512に一体に多重化され得る。例えばスケーラブルビットストリーム512は、SHVCビットストリームを含み得る。
色域変換に対するモデルパラメータは、例えば、BL色域およびEL色域が固定され得る(例えばBLは、709であり得、2020でのELであり得る)ときでも、異なるコンテンツに対して異なり得る。これらのパラメータは、コンテンツ生成でのポストプロダクションの間の色グレーディングプロセスに依存し得、その場合彩色者は、異なるグレーディングパラメータを異なる空間および/または異なるコンテンツに適用して、彼または彼女の芸術的意図を反映させ得る。色グレーディングに対する入力ビデオは、高忠実度画像を含み得る。スケーラブルコーディングシステムでは、BL画像のコーディングは、量子化ノイズをもたらし得る。階層予測構造などのコーディング構造によって、量子化のレベルは、画像ごとに、および/または、画像の群ごとに調整され得る。色グレーディングから生成されるモデルパラメータは、コーディング目的に対して充分に正確でない場合がある。実施形態では、符号化器が、モデルパラメータを任意の点で推定することにより、コーディングノイズを補償することが、より効果的であり得る。符号化器は、モデルパラメータを画像ごとに、または、画像の群ごとに推定し得る。例えば、色グレーディングプロセスの間に、および/または、符号化器により生成される、これらのモデルパラメータは、復号器に、シーケンスおよび/または画像レベルで信号伝達され得、そのため復号器は、同じ色域変換プロセスをインターレイヤ予測の間に実行することが可能である。
色域変換例は、線形または区分的線形色変換を含み得るが、それらに制限されない。映画産業では3Dルックアップテーブル(3D LUT)が、1つの色域方法または技法から別のものへの色域変換に対して使用され得る。追加的に、CGSコーディングに対する3D LUTが提供および/または使用され得る。図5は、画像レベルインターレイヤ予測(ILP)による、CGSコーディング体系の例を図示する。ILPは、ベースレイヤ(BL)色域からエンハンスメントレイヤ(EL)色域への色域変換、BL空間的分解能からEL空間的分解能へのアップサンプリング、および/または、BLサンプルビット深度からELサンプルビット深度への逆トーンマッピングを含む。
図6は、8ビットYUV信号に対する3Dルックアップテーブルの例を示す。図7は、三重線形または四面体補間での重み算出の例を示す。本明細書で説明されるように、3D LUTなどの色変換モデルは、色域変換に対して使用され得る。例えば(y,u,v)は、ベースレイヤの色域でのサンプルトリプレットとして表象され得、(Y,U,V)は、EL色域でのトリプレットとして表象され得る。3D LUTではBL色空間の範囲は、例えば図6で示されるように、等しいオクタント(octant)にセグメント化され得る。
3D LUTの入力は、BL色域での(y,u,v)であり得、3D LUTの出力は、EL色域でのマッピングされたトリプレット(Y,U,V)であり得る。例えば図7を参照すると、入力は、オクタント700内部にあるインデックス(y,u,v)であり得る。変換プロセスの間に、入力(y,u,v)がオクタントの頂点の1つと重なる場合、出力(Y,U,V)は、直接、3D LUTエントリの1つ、例えば、そのそれぞれの頂点と重なる成分(y,u,v)を参照することにより導出され得る。入力(y,u,v)(例えば、または、入力の成分のいずれか1つ)が、図7のインデックス(y,u,v)などのオクタントの内側にある(例えば、ただし、その頂点の1つ上にはない)場合、補間プロセスが適用され得る。例えば、三重線形および/または四面体補間、並びに、同じものを実行するための方法が適用され得る。三重線形補間は、例えば図7で示されるように、その最も近い8つの頂点に関して適用され得る。三重線形補間は、後に続く式の1または複数を使用して実行され得る。
式(1)〜(3)および図7を参照すると、例えば(yi,uj,vk)は、BL色域の頂点(即ち、3D LUTへの入力)を表し得る。LUT[yi][uj][vk]は、EL色域の頂点(即ち、エントリ(yi,uj,vk)での3D LUTの出力)を表し得る。LUT[yi][uj][vk].Y、LUT[yi][uj][vk].U、LUT[yi][uj][vk].Vは、それぞれ、頂点LUT[yi][uj][vk]のY、UおよびV成分を表し得る。i、j、k={0、1}であり、s0(y)=y1−y、s1(y)=y−y0、s0(u)=u1−u、s1(u)=u−u0、s0(v)=v1−v、s1(v)=v−v0は、例えば図7で示されるように、適用される重みであり得る。
図8は、四面体補間の例を示す。図9A、図9B、図9C、図9D、図9Eおよび図9Fは、補間する点を包含する四面体のタイプを示す。四面体補間は、算出のために補間されることになる点P(y,u,v)を含む四面体の4つの頂点を使用し得る。図8での入力点P(即ち、P(y,u,v))は、四面体の内側で囲繞され得、その四面体の頂点は、P0、P1、P5、P7であり得る。四面体補間は、各々の成分に対して式(4)(5)(6)で算出され得る。補間されることになる点Pを備え得る四面体の6つの可能な選定が存在し得る。図9A〜図9Fは、6つの可能な事例を示し得る、または、列挙し得る。例では、頂点P0およびP7は、四面体に含まれ得る。
3D LUTは、符号化器により、例えば、1つの色空間での元の信号、および、別の色空間での対応する信号を使用して推定され得る。例えば最小二乗(LS)推定方法は、例えば3D LUT補間技法またはプロセスが線形である場合、3D LUTを推定するために使用され得る。勾配降下に基づく反復技法が、推定に対して使用され得る。本明細書で説明されるように、3D LUT推定は、LS推定方法によって実行され得る。
LSによる3D LUT推定に対する難題が存在し得る。例えば、推定され得る3D LUTパラメータのスケールが大きい場合がある。図6では、サンプルビット深度は8ビットであり得る。ユニットオクタントサイズが16x16x16である場合、17x17x17個のエントリが3D LUTテーブルに存在し得る。3D LUTの1または複数の(例えば、各々の)エントリは、3つの成分を備え得る。各々の成分の4913(17x17x17)個の知られていないパラメータが存在し得る。そのような大きなスケール線形システム推定は、大きな量のメモリを使用し得、大きな数の計算を起動し得る。
3D LUTは、所与のビデオ入力の色域変換に対してフルに使用されない場合がある。例えば、色域スケーラビリティのコア実験で使用される1または複数の試験シーケンスの統計的分析では、3D LUT内の使用されるエントリのパーセンテージは、20%より少ない場合がある。そのような実施形態ではLS推定方法は、測定されない場合がある1または複数のエントリが存在し得るので、直接適用されるということが可能でない場合がある。
BL画素の配分は、3D色空間で均一でない場合がある。例えばそのようなBL画素は、一部の色(例えば、主要色)の周囲では密集する場合があり、他の色の周囲では疎に配分される場合がある。この不均衡にされる特性は、本明細書で説明されるようなLS推定の安定度に関係付けられ得る。
図10は、YUV4:2:0ビデオのルーマおよびクロマサンプル位置の例を示す。入力ビデオのルーマおよびクロマのフェーズは整合させられない場合がある。1または複数の(例えば、各々の)成分に対する3D LUTを推定するために、および適用するために、3つの成分により形成されるトリプレットが使用され得る。トリプレットは、同じサンプリング位置にあるルーマ成分および2つのクロマ成分(例えば、同じサンプリング位置でのルーマ成分、赤差クロマ成分、および青差クロマ成分)を示し得る。ルーマおよびクロマサンプル位置の不整合は、3D LUT補間の精密度に影響を及ぼす場合がある。
そのような難題の1または複数に対処するために、システムおよび/または方法が、3D LUT推定を改善するために提供され得る。例えば、BT.709対BT.2020色域変換が、本明細書で説明され得る。例えば、3D LUT推定での入力信号は、BT.709圧縮される/圧縮されないビデオであり得、出力信号は、BT.2020ビデオ(例えば、トレーニング参照または目標であり得る)であり得る。式(7)は、3D LUTによる色域変換プロセスを説明するために使用され得る。
ただしxは、BT.709でのトリプレット(y,u,v)の形式での入力信号を表象し得る。z(c)は成分cの出力信号であり得、ただしcは、BT.2020でのY、UまたはVであり得る。P(c)は、推定されることになる成分cのパラメータであり得る。P(c)は成分cの3D LUT出力であり得る。fP(c)は補間関数であり得る。fP(c)は、本明細書で説明されるような三重線形または四面体などの線形関数であり得る。iは、入力画素のインデックスであり得る。Nは、入力画素の総合的な数であり得る。行列の形式で書き直されると、それは、後に続くようなものであり得る。
ただし、式(8)内の*は行列乗算であり得る。
は、第iの入力画素に対する重み付けベクトルであり得る。wi,jは、第iの入力画素に対する3D LUTの第jの出力エントリの重みであり得る。例ではwi,jは、三重線形補間に対しては式(1)〜(3)に、および、四面体補間に対しては式(4)〜(6)によって算出され得る。重み付けベクトルは、例では後に続くようなものであり得る。
P(c)は、3D LUTの出力エントリであり得る、推定されることになるパラメータベクトルであり得、後に続くようなものであり得る。
P(c)=[p0…pM-1
Mは、3D LUT出力エントリの数であり得る。例えばMは、17x17x17サイズ設定される3D LUTに対して4913であり得る。例では成分cは、1または複数の(例えば、各々の)成分の3D LUTは独立して推定され得るので、後に続く式では省略され得る。式(8)を1または複数の(例えば、すべての)画素に対して集約すると、後に続くものが定義または提供され得る。
最小二乗推定によって、解は、後に続くようなものであり得る。
ただし、Hは自己相関行列であり得る。
3D LUT推定が本明細書で説明され得る。例えば、BT.709などの入力ビデオ信号に対して、3D LUTエントリ(例えば、3D LUTエントリの20%)が、3D LUTによる色変換で使用され得る。これは、式(10)での行列Wが疎であり得、その要素の1または複数が0であり得るということを意味し得る。自己相関行列Hは、式(12)で定義され得る。自己相関行列Hは疎であり得る。自己相関行列Hは、逆が可能(inversible)でない場合がある。式(11)での解は、自己相関行列Hに対して利用可能でない場合がある。例では行列Wは、3D LUTの参照されるエントリを考慮することによりコンパクトにされ得る。行列をコンパクトにするために、入力ビデオの入力画素(y,u,v)がスキャンされ得る。3D LUT頂点は、例えば、頂点が3D LUT補間プロセスで使用され得る場合、マスクされ得る。コンパクトなパラメータセットP’が、使用されない頂点を除去することにより決定、算出、または生成され得る。P’の後にPを再構築するために使用され得る、P’からPへのマッピングは、例えば次式のように推定および/または築造され得る。
P’=compact(P)
W’およびH’が、例えば、使用されない頂点が除去されている場合がある、コンパクトにされたP’を使用して算出され得る。解は、次式のように定義され得る。
3D LUT推定は、行列Wの疎性を低減し得る。3D LUT推定のために自己相関行列Hを記憶するために使用され得るメモリは、例えば、H’のサイズはHより小さくなり得るので、コンパクションの後に低減され得る。
本明細書で説明されるように、入力ビデオの色配分は均一でない場合がある。例えば、画素は同様の色を有し得る。高い出現レートを伴う色は主要色であり得る。これは、W’に関する不均衡問題を引き起こし得る。例えば、主要色に対応し得るW’内の要素は、大きな値を有し得る。頻繁には(例えば、相対的に頻繁には、または珍しいほどに)出現しない場合がある色に対応し得るW’内の他の要素は、低い、または、より小さな値を有し得る。結果は、自己相関行列H’内の要素の動的範囲が大きくなり得るということであり得、そのことは、H’の逆プロセスが不安定になることを引き起こし得る。P’の推定は不安定になり得る。そのような問題を低減するために、制約が、正確な推定結果と、推定プロセスの安定度との間のトレードオフを確立するために、提供および/または使用され得る。例えば、
H’=(W’T*W’)+λI、λ≧0 (15)
であり、ただしIは単項行列であり得、λは、推定正確度と、プロセスの安定度との間で均衡を保つための因子であり得る。より大きなλは、より多くのバイアスが、方法またはプロセスの安定度上に置かれ得るということを意味し得る。λの値は、W’での不均衡の程度に基づいて決定され得る。
元のパラメータベクトルPは、例えばコンパクトなパラメータベクトルP’が推定され得る後で、推定される頂点をP’からPにマッピングすることにより取得され得る。例えば次式である。
P=decompact(P’) (16)
Pでの使用されない頂点は、P’での対応する頂点を使用して、例えば、3D LUTコーディングでの補間プロセス(例えば、三重線形または四面体)を使用して充填され得る。
本明細書で説明されるように、図10は、4:2:0クロマフォーマットに対する、ルーマ成分とクロマ成分との間のフェーズシフトを示す。3D LUT推定でのルーマおよびクロマフェーズ整合が、本明細書で説明され得る。例えば、式(1)〜(3)での三重線形補間、または、式(4)〜(6)での四面体補間から、1または複数の(例えば、各々の)出力成分に対する3D LUT補間は、入力信号の3つの入力成分を使用し得る。
図10で示され、本明細書で説明されるように、例では、ルーマ成分サンプリング位置、およびクロマ成分サンプリング位置は、整合させられない場合がある。図10は、4:2:0クロマフォーマットを図示し得る。成分変換は図10および/または4:2:0クロマフォーマットに関して説明され得るが、本明細書で説明される例は、4:1:0クロマフォーマット、4:2:2:0クロマフォーマット、4:4:4クロマフォーマット、などに対して利用され得る。図10はYCbCrフォーマットへの参照によって説明されるが、他の色フォーマットが使用され得る。
図10ではサンプル位置L0〜L15は、ルーマ成分のサンプリング位置を示し得る。図10ではLは、ルーマ成分を示し、数(例えば、0〜15)は、サンプリング位置を示し得る。サンプリング位置C0〜C3は、1または複数の(例えば、2つの)重なるクロマ成分(例えば、赤差クロマ成分および青差クロマ成分)のサンプリング位置を示し得る。図10ではCは、1または複数の(例えば、2つの)重なるクロマ成分(例えば、赤差クロマ成分および青差クロマ成分)を示し、数(例えば、0〜3)は、サンプリング位置を示し得る。
図10は、xおよびy軸を伴うグリッドであり得、x軸は水平軸であり得、y軸は垂直軸であり得る。サンプリング位置L0〜L15でのルーマ成分は、x座標およびy座標を有し得る。サンプリング位置C0〜C3での、1または複数の(例えば、2つの)重なるクロマ成分(例えば、赤差クロマ成分および青差クロマ成分)は、x座標およびy座標を有し得る。
サンプリング位置の不整合は、3D LUT推定の正確度を低減し得る。例えば図10で示されるように、ルーマ成分サンプリング位置L0〜L15は、クロマ成分サンプリング位置C0〜C3と重ならない。サンプリング位置の不整合は、4:2:0または4:2:2などのクロマフォーマットで存在し得、その場合クロマ成分は、両方の方向で(例えば、4つのルーマ成分ごとに対して、1つの赤差クロマ成分サンプル、および、1つの青差クロマ成分サンプルが存在する、4:2:0)、または、水平方向で(例えば、4:2:2)サブサンプリングされる。クロマサブサンプリングプロセスの結果として、ルーマおよびクロマポジションのサンプルポジションは、不整合にされ得る。
ルーマ成分補間に対して、1または複数のクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)の複数のサンプリング位置が、クロマ成分をルーマ成分サンプル位置に対して整合させるために使用され得る。クロマ成分補間に対して、ルーマ成分の1または複数のサンプリング位置が、ルーマ成分をクロマ成分サンプリング位置に対して整合させるために使用され得る。整合させられた後で、3D LUTなどの色成分変換モデルが、成分(例えば、ルーマまたはクロマ)を1つの色空間から別のものに転換するために使用され得る。成分を1つの色空間から別の色空間に転換することは、第2の色空間での成分を、例えば、(例えば、個別のサンプリング位置での)第1の色空間での成分を使用して決定することであり得る。
ビデオコーディングデバイスは、スケーラブルビットストリームを受信し得る。スケーラブルビットストリームは、ベースレイヤおよびエンハンスメントレイヤを備え得る。ベースレイヤは画像を備え得、ベースレイヤは第1の色空間に関連付けられ得る。エンハンスメントレイヤは第2の色空間に関連付けられ得る。
3D LUT変換に対する入力は、1つの色空間(例えば、BT.709)での成分(例えば、(y,u,v))を信号伝達し得、3D LUT変換の出力は、別の色空間(例えば、BT.2020)での成分(例えば、(Y,U,V))であり得る。クロマ成分変換に対して、ルーマ成分yは、クロマ成分サンプリング位置に対して整合するためにy’に調整され得る。補間フィルタは式(17)〜(18)であり得る。クロマ成分の3D LUT変換に対する入力は(y’,u,v)であり得、出力はUまたはVであり得る。補間フィルタは、2タップフィルタ[1,1]、4タップフィルタ、および/または類するものであり得る。
ビデオコーディングデバイスは、第1の色空間に関連付けられる画像を受信し得る。画像は、第1のサンプリング位置での第1のクロマ成分、第1のサンプリング位置での第2のクロマ成分、第2のサンプリング位置でのルーマ成分、第3のサンプリング位置でのルーマ成分、第4のサンプリング位置でのルーマ成分、および、第5のサンプリング位置でのルーマ成分を備え得る。ビデオコーディングデバイスは、第1の補間フィルタを、第2のサンプリング位置でのルーマ成分、第3のサンプリング位置でのルーマ成分、第4のサンプリング位置でのルーマ成分、および、第5のサンプリング位置でのルーマ成分の、2つまたはより多いものに適用して、第1のサンプリング位置でのルーマ成分を決定し得、第1のサンプリング位置でのルーマ成分は、第1の色空間に関連付けられる。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置での第1のクロマ成分、第1のサンプリング位置での第2のクロマ成分に、および、第1のサンプリング位置でのルーマ成分に適用して、第1のサンプリング位置での第1のクロマ成分を第2の色空間に転換し得る。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置での第1のクロマ成分、第1のサンプリング位置での第2のクロマ成分に、および、第1のサンプリング位置でのルーマ成分に適用して、第1のサンプリング位置での第2のクロマ成分を第2の色空間に転換し得る。第1のクロマ成分および/または第2のクロマ成分は、例えば、YCbCrフォーマットが使用される場合、赤差クロマ成分および/または青差クロマ成分であり得る。第1のクロマ成分および/または第2のクロマ成分は、例えば、YCgCoフォーマットが使用される場合、緑差クロマ成分および/または橙差クロマ成分であり得る。本明細書での説明は、他のフォーマットで表される色空間に適用可能であり得るということが留意されるべきである。
図10で示されるように、例えば、1または複数の補間フィルタ(例えば、式(17)〜(18)で示されるもの)は、ルーマ成分を、不整合にされるクロマ成分のサンプリング位置に対して整合させるために使用され得る。整合させられた後で、3D LUTなどの変換モデルが、クロマ成分を第1の色空間から第2の色空間に変換するために使用され得る。クロマ成分の3D LUT変換に対する入力は、例えば、クロマ成分が同じサンプリング位置を有する場合、(y’,u,v)であり得、その場合y’は、調整されるルーマ成分(例えば、クロマ成分u,vのサンプリング位置と重なるサンプリング位置でのルーマ成分)である。成分(y’,u,v)は、第1の色空間に関連付けられ得る。3D LUTの出力は、第2の色空間でのクロマ成分UまたはVを示し得る、UまたはVであり得る。
補間フィルタ(例えば、式(17)〜(18)で示されるもの)は、変換モデルが使用され得るように、ルーマ成分をクロマ成分のサンプリング位置に対して整合させるために使用され得る。例えば、クロマ成分のサンプリング位置(例えば、サンプリング位置C0)でのルーマ成分は、例えば式(17)〜(18)への参照によって説明されるように、2つまたはより多いルーマサンプリング位置(例えば、サンプリング位置L0、L1、L4、および/またはL5)でのルーマ成分を使用する補間フィルタを適用することにより決定され得る。クロマ成分のサンプリング位置は、2つまたはより多いクロマ成分、例えば、赤差クロマ成分Cr0、および、対応する青差クロマ成分Cb0を備え得る。サンプリング位置C0でのルーマ成分、および、サンプリング位置C0でのクロマ成分は、位置C0でのクロマ成分を第1の色空間から第2の色空間に転換するために使用され得る。
例えば本明細書で考察されるように、クロマ成分を1つの色空間から別のものに変換するとき、クロマ成分サンプリング位置でのルーマ成分の値が決定され得る。クロマ成分のサンプリング位置(例えば、サンプリング位置C0)でのルーマ成分の値を決定するために、ビデオコーディングデバイスは、4タップ補間フィルタまたは2タップ補間フィルタを使用し得る。ビデオコーディングデバイスは、どの補間フィルタを使用すべきかを、図10でのx−y軸上のクロマ成分のサンプリング位置に基づいて決定し得る。例えばビデオコーディングデバイスは、サンプリング位置でのクロマ成分のxおよびy成分を決定し得る。ビデオコーディングデバイスは、クロマ成分サンプリング位置のx座標を2により除算し得、ビデオコーディングデバイスは、クロマ成分サンプリング位置のy座標を2により除算し得る。2によるx座標の除算の余りが1であり、2によるy座標の除算の余りが1である場合、ビデオコーディングデバイスは、式(17)または式(18)での補間フィルタを利用して、クロマ成分のサンプリング位置でのルーマ成分を決定し得る。2によるx座標の除算の余りが0であり、2によるy座標の除算の余りが1である場合、ビデオコーディングデバイスは、式(17)または式(18)での補間フィルタを利用して、クロマ成分のサンプリング位置でのルーマ成分を決定し得る。2によるx座標の除算の余りが1であり、2によるy座標の除算の余りが0である場合、ビデオコーディングデバイスは、式(17)または式(18)での補間フィルタを利用して、クロマ成分のサンプリング位置でのルーマ成分を決定し得る。2によるx座標の除算の余りが0であり、2によるy座標の除算の余りが0である場合、ビデオコーディングデバイスは、式(17)または式(18)での補間フィルタを利用して、クロマ成分のサンプリング位置でのルーマ成分を決定し得る。ビデオコーディングデバイスは、式(17)〜(18)を交替可能に使用して、クロマ成分のサンプリング位置でのルーマ成分の値を決定し得る(例えば、そのルーマ成分を整合させ得る)。
例えば、サンプリング位置C0でのルーマ成分は、例えば式(17)で示されるように、4タップフィルタを使用して決定され得る。
L(C0)=((L0+L4)*3+(L1+L5)+4)>>3 (17)
ただし、>>3は、((L0+L4)*3+(L1+L5)+4)の合計が23により除算されるということを意味し得、および/または、>>3は、3による右シフトを使用して算出される。((L0+L4)*3+(L1+L5)+4)の合計が整数でない場合、小数は合計を23により除算する前に無視され得る。式17では、サンプリング位置C0でのルーマ成分を決定するために、ビデオコーディングデバイスは、サンプリング位置L0でのルーマ成分が、異なるサンプリング位置L4でのルーマ成分に加算される、補間フィルタを適用して、合計を決定し得る。ビデオコーディングデバイスは、合計を3により乗算し、乗算された合計を、サンプリング位置L1でのルーマ成分、サンプリング位置L5でのルーマ成分および4に加算して、最終的な合計を決定し得る。最終的な合計の整数合計が決定され得る。ビデオコーディングデバイスは、この整数合計を8により除算して、サンプリング位置C0でのルーマ成分を決定し得る。サンプリング位置C1、C2およびC3でのルーマ成分が、式17を使用して適切なルーマ成分によって決定され得る。
サンプリング位置C0でのルーマ成分は、2タップフィルタを使用して決定され得る。使用され得る2タップフィルタの例が、式(18)で提供される。
L(C0)=(L0+L4+1)>>1 (18)
ただし、>>1は、(L0+L4+1)の合計が21により除算されるということを意味し得、および/または、>>1は、1による右シフトを使用して算出される。(L0+L4+1)の合計が整数でない場合、小数は合計を21により除算する前に無視され得る。式18では、サンプリング位置C0に対するルーマ成分を決定するために、ビデオコーディングデバイスは、サンプリング位置L0でのルーマ成分が、異なるサンプリング位置L4でのルーマ成分、および1に加算される、2タップ補間フィルタを適用して、合計を決定し得る。最終的な合計の整数合計が決定され得る。ビデオコーディングデバイスは、合計の整数値を2により除算して、サンプリング位置C0でのルーマ成分を決定し得る。サンプリング位置C1、C2およびC3でのルーマ成分が、式18を使用して適切なルーマ成分によって決定され得る。
ビデオコーディングデバイスは、第2の色空間でのサンプリング位置C0でのクロマ成分を、第1の色空間でのサンプリング位置C0でのルーマ成分、および、第1の色空間でのサンプリング位置C0でのクロマ成分の両方を使用して、変換モデル、例えば本明細書で説明されるような3D LUTを使用して、転換(例えば、決定)し得る。留意されるように、サンプリング位置C0でのルーマ成分は、例えば式(17)または(18)で示されるような補間フィルタを使用して決定され得る。
ビデオコーディングデバイスは、第1の色空間に関連付けられる画像を受信し得る。画像は、第1のサンプリング位置でのルーマ成分、第2のサンプリング位置での第1のクロマ成分、第2のサンプリング位置での第2のクロマ成分、第3のサンプリング位置での第1のクロマ成分、第3のサンプリング位置での第2のクロマ成分、第4のサンプリング位置での第1のクロマ成分、第4のサンプリング位置での第2のクロマ成分、第5のサンプリング位置での第1のクロマ成分、および、第5のサンプリング位置での第2のクロマ成分を備え得る。ビデオコーディングデバイスは、補間フィルタを、第2のサンプリング位置での第1のクロマ成分、第3のサンプリング位置での第1のクロマ成分、第4のサンプリング位置での第1のクロマ成分、および、第5のサンプリング位置での第1のクロマ成分の、2つまたはより多いものに適用して、第1のサンプリング位置での第1のクロマ成分を決定し得、第1のサンプリング位置での第1のクロマ成分は、第1の色空間に関連付けられる。ビデオコーディングデバイスは、補間フィルタを、第2のサンプリング位置での第2のクロマ成分、第3のサンプリング位置での第2のクロマ成分、第4のサンプリング位置での第2のクロマ成分、および、第5のサンプリング位置での第2のクロマ成分の、2つまたはより多いものに適用して、第1のサンプリング位置での第2のクロマ成分を決定し得、第1のサンプリング位置での第2のクロマ成分は、第1の色空間に関連付けられる。ビデオコーディングデバイスは、色変換モデルを、第1のサンプリング位置でのルーマ成分、第1のサンプリング位置での第1のクロマ成分、および、第1のサンプリング位置での第2のクロマ成分に適用して、第1のサンプリング位置でのルーマ成分を第2の色空間に転換し得る。第1のクロマ成分および/または第2のクロマ成分は、赤差クロマ成分および/または青差クロマ成分であり得る。
図10で示されるように、例えば、1または複数の補間フィルタ(例えば、式(19)〜(22)で示されるもの)は、1または複数のクロマ成分を、不整合にされるルーマ成分のサンプリング位置に対して整合させるために使用され得る。整合させられた後で、3D LUTなどの変換モデルが、ルーマ成分を第1の色空間から第2の色空間に変換するために使用され得る。ルーマ成分に対する3D LUT変換に対する入力は(y,u’,v’)であり得、その場合u’およびv’は、調整されるクロマ成分(例えば、ルーマ成分yのサンプリング位置と重なるサンプリング位置でのクロマ成分)である。成分(y,u’,v’)は、第1の色空間に関連付けられ得る。3D LUTの出力は、第2の色空間でのルーマ成分を示し得る、Yである。
補間フィルタ(例えば、式(19)〜(22)で示されるもの)は、変換モデルが使用され得るように、クロマ成分をルーマ成分のサンプリング位置に対して整合させるために使用され得る。例えば、ルーマ成分のサンプリング位置(例えば、サンプリング位置L4、L5、L8および/またはL9)でのクロマ成分は、2つまたはより多いサンプリング位置(例えば、サンプリング位置C0、C1、C2および/またはC3)でのクロマ成分を使用する再サンプリングフィルタを適用することにより決定され得る。従って、成分の再サンプリングされる値(例えば、異なるサンプリング位置での成分の値)は、複数の他のサンプリング位置での成分を使用して決定され得る。例えば、図10でのサンプリング位置L4、L5、L8および/またはL9でのルーマ成分は、3D LUTを使用して補間され得る。サンプリング位置L4、L5、L8および/またはL9でのルーマ成分を補間するために、サンプリング位置L4、L5、L8および/またはL9でのクロマ成分(例えば、u,v)が決定され得る。サンプリング位置L4、L5、L8およびL9でのクロマ成分は、例えば本明細書で説明されるような、1または複数の再サンプリングフィルタ(例えば、式(19)〜(22))を使用して導出され得る。サンプリング位置L4、L5、L8および/またはL9でのルーマ成分、並びに、サンプリング位置L4、L5、L8および/またはL9でのクロマ成分は、位置L4、L5、L8および/またはL9でのルーマ成分を第1の色空間から第2の色空間に転換するために使用され得る。
例えば本明細書で考察されるように、ルーマ成分を1つの色空間から別のものに変換するとき、ルーマ成分サンプリング位置でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)の値が決定され得る。ルーマ成分のサンプリング位置(例えば、サンプリング位置L0、L1、L4、L5)でのクロマ成分の値を決定するために、ビデオコーディングデバイスは、4タップ補間フィルタまたは2タップ補間フィルタを使用し得る。ビデオコーディングデバイスは、どの補間フィルタを使用すべきかを、図10でのx−y軸上のルーマ成分のサンプリング位置に基づいて決定し得る。例えばビデオコーディングデバイスは、サンプリング位置でのルーマ成分のxおよびy成分を決定し得る。ビデオコーディングデバイスは、ルーマ成分サンプリング位置のx座標を2により除算し得、ビデオコーディングデバイスは、ルーマ成分サンプリング位置のy座標を2により除算し得る。2によるx座標の除算の余りが0であり、2によるy座標の除算の余りが1である場合、ビデオコーディングデバイスは、式(19)での補間フィルタを利用して、ルーマ成分のサンプリング位置でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定し得る。図10で示されるように式(19)は、ルーマ成分サンプリング位置L4、L6、L12およびL14でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定するために利用され得る。2によるx座標の除算の余りが1であり、2によるy座標の除算の余りが1である場合、ビデオコーディングデバイスは、式(20)での補間フィルタを利用して、ルーマ成分のサンプリング位置でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定し得る。図10で示されるように式(20)は、ルーマ成分サンプリング位置L5、L7、L13およびL15でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定するために利用され得る。2によるx座標の除算の余りが0であり、2によるy座標の除算の余りが0である場合、ビデオコーディングデバイスは、式(21)での補間フィルタを利用して、ルーマ成分のサンプリング位置でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定し得る。図10で示されるように式(21)は、ルーマ成分サンプリング位置L0、L2、L8、およびL10でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定するために利用され得る。2によるx座標の除算の余りが1であり、2によるy座標の除算の余りが0である場合、ビデオコーディングデバイスは、式(22)での補間フィルタを利用して、ルーマ成分のサンプリング位置でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定し得る。図10で示されるように式(22)は、ルーマ成分サンプリング位置L1、L3、L9およびL11でのクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)を決定するために利用され得る。
サンプリング位置L4でのクロマ成分は、式(19)を使用して導出され得る。
C(L4)=(C0*3+C2+2)>>2 (19)
ただし、>>2は、(C0*3+C2+2)の合計が22により除算されるということを意味し得、および/または、>>2は、2による右シフトを使用して算出される。(C0*3+C2+2)の合計が整数でない場合、小数は合計を22により除算する前に無視され得る。式(19)では、サンプリング位置L4でのクロマ成分を決定するために、ビデオコーディングデバイスは、サンプリング位置C0でのクロマ成分(例えば、Cr0またはCb0)が3により乗算され、次いで合計が、異なるクロマサンプリング位置C2でのクロマ成分(例えば、Cr2またはCb2)に加算され、その合計が2に加算される、補間フィルタを適用して、最終的な合計を決定し得る。最終的な合計の整数値が決定され得る。補間フィルタは、整数合計を4により除算して、サンプリング位置L4でのクロマ成分を決定し得る。サンプリング位置L4での複数のクロマ成分(例えば、crおよびcb、uおよびv、その他)の値が、補間ファイラ(例えば、式(19))を使用して決定され得る。他のサンプリング位置(例えば、サンプリング位置L6、L14、L12)でのクロマ成分が、式(19)を使用して、適切なサンプリング位置でのクロマ成分を使用して決定され得る。
サンプリング位置L8でのクロマ成分は、式(20)を使用して導出され得る。サンプリング位置L8でのクロマ成分は、サンプリング位置L4に対する導出されるクロマ成分と同様であり得る。式(20)が本明細書で提供される。
C(L8)=(C0+C2*3+2)>>2 (20)
ただし、>>2は、(C0+C2*3+2)の合計が22により除算されるということを意味し得、および/または、>>2は、2による右シフトを使用して算出される。(C0+C2*3+2)の合計が整数でない場合、小数は合計を22により除算する前に無視され得る。式(20)では、サンプリング位置L8でのクロマ成分を決定するために、ビデオコーディングデバイスは、サンプリング位置C2でのクロマ成分(例えば、Cr2またはCb2)が3により乗算され、次いで合計が、異なるサンプリング位置C0でのクロマ成分(例えば、Cr0またはCb0)に追加され、その合計が2に追加される、補間フィルタを適用して、最終的な合計を決定し得る。最終的な合計の整数値が決定され得る。補間フィルタは、整数合計を4により除算して、サンプリング位置L8でのクロマ成分を決定し得る。サンプリング位置L8、L2、L10に対するクロマ成分が、式(20)を使用して、クロマ成分の適切なサンプリング位置によって決定され得る。サンプリング位置L8での複数のクロマ成分(例えば、CrおよびCb、uおよびv、その他)の値が、補間フィルタ(例えば、式(20))を使用して決定され得る。
サンプリング位置L5でのクロマ成分は、例えば後に続くような式(21)を使用して決定され得る。
C(L5)=((C0+C1)*3+(C2+C3)+4)>>3 (21)
ただし、>>3は、((C0+C1)*3+(C2+C3)+4)の合計が23により除算されるということを意味し得、および/または、>>3は、3による右シフトを使用して算出される。((C0+C1)*3+(C2+C3)+4)の合計が整数でない場合、小数は合計を23により除算する前に無視され得る。式(21)では、サンプリング位置L5でのクロマ成分を決定するために、ビデオコーディングデバイスは、サンプリング位置C0でのクロマ成分(例えば、Cr0またはCb0)が、異なるサンプリング位置C1でのクロマ成分(例えば、Cr1およびCb1)に加算される、補間フィルタを適用し得る。ビデオコーディングデバイスは次いで、サンプリング位置C1およびサンプリング位置C0の合計を3により乗算し、乗算された合計を、サンプリング位置C2でのクロマ成分(例えば、Cr2およびCb2)、サンプリング位置C3でのクロマ成分(例えば、Cr3およびCb3)、および4に加算して、最終的な合計を決定し得る。最終的な合計の整数値が決定され得る。ビデオコーディングデバイスは次いで、この整数値を8により除算して、サンプリング位置L5でのクロマ成分を決定し得る。サンプリング位置L7、L13、L15に対するクロマ成分が、式(21)を使用して、クロマ成分の適切なサンプリング位置によって決定され得る。サンプリング位置L5での複数のクロマ成分(例えば、CrおよびCb、uおよびv、その他)の値が、補間フィルタ(例えば、式(21))を使用して決定され得る。
サンプリング位置L9でのルーマ成分に対する導出されるクロマ成分は、サンプリング位置L5でのルーマ成分に対する導出されるクロマ成分と同様であり得る。サンプリング位置L9でのクロマ成分は、例えば後に続くような式(22)を使用して決定され得る。
C(L9)=((C0+C1)+(C2+C5)*3+4)>>3 (22)
ただし、>>3は、((C0+C1)+(C2+C5)*3+4)の合計が23により除算されるということを意味し得、および/または、>>3は、3による右シフトを使用して算出される。((C0+C1)+(C2+C5)*3+4)の合計が整数でない場合、小数は合計を23により除算する前に無視され得る。式(22)では、サンプリング位置L9でのクロマ成分を決定するために、ビデオコーディングデバイスは、サンプリング位置C0でのクロマ成分C0(例えば、Cr0またはCb0)が、サンプリング位置C1でのクロマ成分C1(例えば、Cr1またはCb1)に加算される、補間フィルタを適用し得る。ビデオコーディングデバイスは次いで、サンプリング位置C2でのクロマ成分(例えば、Cr2またはCb2)を、異なるサンプリング位置C5でのクロマ成分(例えば、Cr5またはCb5)に加算し得る。ビデオコーディングデバイスは次いで、サンプリング位置C2でのクロマ成分、および、サンプリング位置C5でのクロマ成分の合計を3により乗算し得、乗算された合計は、最終的な合計を決定するために、サンプリング位置C0でのクロマ成分、および、サンプリング位置C1でのクロマ成分の合計、および4に加算され得る。最終的な合計の整数値が決定され得る。ビデオコーディングデバイスは次いで、この整数値を8により除算して、サンプリング位置L9でのクロマ成分を決定し得る。サンプリング位置L11、L1、L3に対するクロマ成分が、式(22)を使用して、適切なクロマ成分サンプリング位置によって決定され得る。
サンプリング位置L4およびL8でのルーマ成分に対する補間フィルタは、2タップフィルタ、例えば、それぞれ、2タップフィルタ[1,3]および[3,1]であり得る。例えば、サンプリング位置L4およびL8でのルーマ成分に対する補間フィルタは、それぞれ、式(19)および式(20)への参照によって説明される補間フィルタであり得る。サンプリング位置L5およびL9でのルーマ成分に対する補間フィルタは、4タップフィルタ、例えば、それぞれ、4タップフィルタ[3,3,1,1]および[1,1,3,3]であり得る。例えば、サンプリング位置L5およびL9でのルーマ成分に対する補間ファイラは、それぞれ、式(21)および式(22)への参照によって説明される補間フィルタであり得る。
ビデオコーディングデバイスは、第1の補間フィルタを、第1のサンプリング位置でのクロマ成分に、および、第2の補間を、第2のサンプリング位置でのクロマ成分に、などと適用するように構成され得る。例えばビデオコーディングデバイスは、式(17)〜(18)の1または複数を、1または複数のサンプリング位置での、2つの重なるクロマ成分(例えば、赤差クロマ成分および/または青差クロマ成分)の1または複数に適用するように構成され得る。例えばビデオコーディングデバイスは、式(17)を第1のサンプリング位置でのクロマ成分に適用し、次いで、式(18)を第2のサンプリング位置でのクロマ成分に適用し、次いで、式(17)を第3のサンプリング位置でのクロマ成分に適用し、などとすることが可能である。同様にビデオコーディングデバイスは、第1の補間フィルタを、第1のサンプリング位置でのルーマ成分に、および、第2の補間を、第2のサンプリング位置でのルーマ成分に、などと適用するように構成され得る。例えばビデオコーディングデバイスは、式(19)〜(22)の1または複数を、1または複数のサンプリング位置でのルーマ成分に適用するように構成され得る。例えばビデオコーディングデバイスは、式(19)を第1のサンプリング位置でのルーマ成分に、式(20)を第2のサンプリング位置でのルーマ成分に、式(21)を第3のサンプリング位置でのルーマ成分に、式(22)を第4のサンプリング位置でのルーマ成分に、などと適用することが可能である。
図11Aは、1または複数の開示される実施形態が実施され、および/または使用されうる例示的通信システム1100の図である。通信システム1100は、音声、データ、映像、メッセージング、放送等のコンテンツを複数の無線ユーザに提供する多重接続システムとすることができる。通信システム1100は、複数の無線ユーザが、無線帯域等のシステムリソースの共有を通じてそのようなコンテンツにアクセスできるようにすることができる。例えば、通信システム1100は、符号分割多重接続(CDMA)、時分割多重接続(TDMA)、周波数分割多重接続(FDMA)、直交FDMA(OFDMA)、単一キャリアFDMA(SC−FDMA)等の1または複数のチャネルアクセス方法を用いることができる。
図11Aに示すように、通信システム1100は、無線送受信ユニット(WTRU)1102a、1102b、1102cおよび/または1102d(一般的に、あるいは集合的に、WTRU1102と示されうる)、無線アクセスネットワーク(RAN)1103/1104/1105、コアネットワーク1106/1107/1109、公衆交換電話網(PSTN)1108、インターネット1110および他のネットワーク1112を含むが、開示される実施形態は、任意数のWTRU、基地局、ネットワークおよび/またはネットワーク要素を企図することが理解されよう。各WTRU1102a、1102b、1102cおよび/または1102dは、無線環境で動作および/または通信するように構成された任意種類の装置とすることができる。例えば、WTRU1102a、1102b、1102cおよび/または1102dは、無線信号を送信および/または受信するように構成され、ユーザ機器(UE)、移動局、固定型または移動型の加入者ユニット、ページャ、携帯電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、消費者家電等を含むことができる。
通信システム1100は、基地局1114aおよび基地局1114bも含むことができる。各基地局1114a、1114bは、WTRU1102a、1102b、1102cおよび/または1102dの少なくとも1つと無線でインタフェースをとって、コアネットワーク1106/1107/1109、インターネット1110および/またはネットワーク1112等の1または複数の通信ネットワークへのアクセスを助けるように構成された任意種類の装置とすることができる。例えば、基地局1114aおよび/または1114bは、ベーストランシーバ局(BTS)、NodeB、eNodeB、ホームNodeB、ホームeNodeB、サイトコントローラ、アクセスポイント(AP)、無線ルータ等である。基地局1114a、1114bはそれぞれ1つの要素として示すが、基地局1114a、1114bは、任意数の相互接続された基地局および/またはネットワーク要素を含むことが可能であることが理解されよう。
基地局1114aはRAN1103/1104/1105の一部とすることができ、RAN1103/1104/1105も、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノード等のネットワーク要素(図示せず)を含むことができる。基地局1114aおよび/または基地局1114bは、セル(図示せず)とも呼ばれる特定の地理的領域内で無線信号を送信および/または受信するように構成されることができる。セルはさらにセルセクタに分割されることができる。例えば、基地局1114aに関連付けられたセルが3つのセクタに分割される。従って、一実施形態では、基地局1114aは、3つのトランシーバ、即ち、セルのセクタごとに1つのトランシーバを含むことができる。別の実施形態では、基地局1114aは多入力多出力(MIMO)技術を用い、セルのセクタごとに複数のトランシーバを利用することができる。
基地局1114a、1114bは、エアインタフェース1115/1116/1117を介してWTRU1102a、1102b、1102cおよび/または1102dの1または複数と通信することができ、エアインタフェースは、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光等)とすることができる。エアインタフェース1115/1116/1117は、任意の適切な無線アクセス技術(RAT)を使用して確立されることができる。
より具体的には、上記のように、通信システム1100は多重接続システムとすることができ、CDMA、TDMA、FDMA、OFDMA、SC−FDMA等の1または複数のチャネルアクセス方式を用いることができる。例えば、RAN1103/1104/1105内の基地局1114aおよびWTRU1102a、1102bおよび/または1102cは、総合移動遠隔通信システム(UMTS)地上無線アクセス(UTRA)等の無線技術を実装することができ、その場合、広帯域CDMA(WCDMA(登録商標))を使用してエアインタフェース1115/1116/1117を確立することができる。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)等の通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
別の実施形態では、基地局1114aおよびWTRU1102a、1102bおよび/または1102cは、発展型UMTS地上無線アクセス(E−UTRA)等の無線技術を実装することができ、その場合はLTEおよび/またはLTE−Advanced(LTE−A)を使用してエアインタフェース1115/1116/1117を確立することができる。
他の実施形態では、基地局1114aおよびWTRU1102a、1102bおよび/または1102cは、IEEE802.16(即ち、WiMAX)、CDMA2000、CDMA2000 1X、CDMA2000EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、GSM(登録商標)(Global System for Mobile Communications)、EDGE(Enhanced Data rates for GSM Evolution)、GSM EDGE(GERAN)等の無線技術を実装することができる。
図11Aの基地局1114bは、例えば、無線ルータ、ホームNodeB、ホームeNodeBまたはアクセスポイント等であり、職場、住宅、乗り物、施設構内等の限定された領域内で無線接続を容易にする適当なRATを利用することができる。一実施形態では、基地局1114bおよびWTRU1102c、1102dは、IEEE802.11等の無線技術を実装して、無線ローカルエリアネットワーク(WLAN)を確立することができる。別の実施形態では、基地局1114bおよびWTRU1102c、1102dはIEEE802.15等の無線技術を実装して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。さらに別の実施形態では、基地局1114bおよびWTRU1102c、1102dは、セルラー方式のRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−A等)を利用してピコセルまたはフェムトセルを確立することができる。図11Aに示すように、基地局1114bはインターネット1110への直接の接続を有することができる。従って、基地局1114bは、コアネットワーク1106/1107/1109を介してインターネット1110にアクセスする必要がない場合もある。
RAN1103/1104/1105は、コアネットワーク1106/1107/1109と通信状態にあり、コアネットワークは、音声、データ、アプリケーションおよび/またはインターネットプロトコルによる音声伝送(VoIP)サービスをWTRU1102a、1102b、1102cおよび/または1102dの1または複数に提供するように構成された任意種類のネットワークとすることができる。例えば、コアネットワーク1106/1107/1109は、呼制御、課金サービス、モバイル位置情報サービス、プリペイド通話、インターネット接続、映像配信等を提供し、かつ/またはユーザ認証等の高レベルのセキュリティ機能を行うことができる。図11Aには示さないが、RAN1103/1104/1105および/またはコアネットワーク1106/1107/1109は、RAN1103/1104/1105と同じRATまたは異なるRATを用いる他のRANと直接または間接的に通信することが理解されよう。例えば、E−UTRA無線技術を利用するRAN1103/1104/1105に接続されるのに加えて、コアネットワーク1106/1107/1109は、GSM無線技術を用いる別のRAN(図示せず)とも通信状態にあることができる。
コアネットワーク1106/1107/1109は、WTRU1102a、1102b、1102cおよび/または1102dがPSTN1108、インターネット1110および/または他のネットワーク1112にアクセスするためのゲートウェイの役割も果たすことができる。PSTN1108は、従来型の電話サービス(POTS)を提供する回線交換電話網を含むことができる。インターネット1110は、TCP/IPインターネットプロトコルスイートのTCP、UDPおよびIP等の共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよび装置からなる世界規模のシステムを含むことができる。ネットワーク1112は、他のサービス提供者に所有および/または運営される有線または無線の通信ネットワークを含むことができる。例えば、ネットワーク1112は、RAN1103/1104/1105と同じRATまたは異なるRATを用いる1または複数のRANに接続された別のコアネットワークを含むことができる。
通信システム1100内のWTRU1102a、1102b、1102cおよび/または1102dの一部または全ては、マルチモード能力を備えることができる。即ち、WTRU1102a、1102b、1102cおよび/または1102dは、種々の無線リンクを通じて種々の無線ネットワークと通信するための複数のトランシーバを含むことができる。例えば、図11Aに示すWTRU1102cは、セルラー方式の無線技術を用いる基地局1114a、およびIEEE802無線技術を用いる基地局1114bと通信するように構成されることができる。
図11Bは、例示的なWTRU1102のシステム図である。図11Bに示すように、WTRU1102は、プロセッサ1118、トランシーバ1120、送信/受信要素1122、スピーカ/マイクロフォン1124、キーパッド1126、ディスプレイ/タッチパッド1128、非リムーバブルメモリ1130、リムーバブルメモリ1132、電源1134、GPSチップセット1136および他の周辺機能1138を備えることができる。WTRU1102は、実施形態との整合性を保ちながら、上述の要素のサブコンビネーションを含むことが可能であることが理解されよう。また、実施形態は、基地局1114aおよび1114b、並びに/または、限定されるわけではないが、基地局1114aおよび1114bがベーストランシーバ局(BTS)、NodeB、サイトコントローラ、アクセスポイント(AP)、ホームNodeB、eNodeB、ホームeNodeB(HeNB)、進化型ホームNodeBゲートウェイおよびプロキシノードを表し得るノードが図11Bおよび本明細書に示される要素のいくつかまたは全てを含みうることを企図する。
プロセッサ1118は、汎用プロセッサ、特殊目的プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連した1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、ASIC、FPGA回路、任意の他の種類の集積回路(IC)、状態機械等である。プロセッサ1118は、信号の符号化、データ処理、電力制御、入出力処理、および/またはWTRU1102が無線環境で動作することを可能にする他の機能を行うことができる。プロセッサ1118はトランシーバ1120に結合され、トランシーバ1120は送信/受信要素1122に結合されることができる。図11Bではプロセッサ1118とトランシーバ1120を別個の構成要素として示すが、プロセッサ1118とトランシーバ1120は電子パッケージやチップに共に一体化されてもよいことが理解されよう。
送信/受信要素1122は、エアインタフェース1115/1116/1117を通じて基地局(例えば基地局1114a)との間で信号を送信または受信するように構成されることができる。例えば、一実施形態では、送信/受信要素1122は、RF信号を送信および/または受信するように構成されたアンテナとすることができる。別の実施形態では、送信/受信要素1122は、例えばIR、UV、または可視光信号を送信および/または受信するように構成されたエミッタ/検出器であってよい。さらに別の実施形態では、送信/受信要素1122は、RF信号と光信号の両方を送受信するように構成されることができる。送信/受信要素1122は、各種無線信号の任意の組合せを送信および/または受信するように構成されてよいことが理解されよう。
また、図11Bでは送信/受信要素1122を1つの要素として示すが、WTRU1102は任意数の送信/受信要素1122を含むことができる。より具体的には、WTRU1102はMIMO技術を用いることができる。そのため、一実施形態では、WTRU1102は、エアインタフェース1115/1116/1117を通じて無線信号を送受信するために2つ以上の送信/受信要素1122(例えば複数のアンテナ)を含むことができる。
トランシーバ1120は、送信/受信要素1122から送信しようとする信号を変調し、送信/受信要素1122に受信された信号を復調するように構成されることができる。上記のように、WTRU1102はマルチモード能力を有することができる。そのため、トランシーバ1120は、WTRU1102が例えばUTRAやIEEE802.11等の複数種類のRATを介して通信することを可能にする複数のトランシーバを含むことができる。
WTRU1102のプロセッサ1118は、スピーカ/マイクロフォン1124、キーパッド1126、および/またはディスプレイ/タッチパッド1128(例えば液晶ディスプレイ(LCD)表示装置や有機発光ダイオード(OLED)表示装置)に結合され、それらからユーザ入力データを受け取ることができる。プロセッサ1118はまた、スピーカ/マイクロフォン1124、キーパッド1126、および/またはディスプレイ/タッチパッド1128にユーザデータを出力することができる。また、プロセッサ1118は、非リムーバブルメモリ1130および/またはリムーバブルメモリ1132等の任意種類の適切なメモリの情報にアクセスし、データを記憶することができる。非リムーバブルメモリ1130は、RAM、ROM、ハードディスク、または他の任意種類のメモリ記憶装置を含むことができる。リムーバブルメモリ1132は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカード等を含むことができる。他の実施形態では、プロセッサ1118は、サーバや家庭コンピュータ(図示せず)等、物理的にWTRU1102にないメモリの情報にアクセスし、データを記憶することができる。
プロセッサ1118は、電源1134から電力を受け取り、その電力をWTRU1102中の他の構成要素に分配および/または制御するように構成されることができる。電源1134は、WTRU1102に電力を供給するのに適した任意の装置でよい。例えば、電源1134は、1または複数の乾電池(例えばニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)等)、太陽電池、燃料電池等を含むことができる。
プロセッサ1118はGPSチップセット1136にも結合され、GPSチップセット1136は、WTRU1102の現在の位置に関する位置情報(例えば経度および緯度)を提供するように構成されることができる。GPSチップセット1136からの情報に加えて、またはその代わりに、WTRU1102は、基地局(例えば基地局1114a、1114b)からエアインタフェース1115/1116/1117を介して位置情報を受信する、かつ/または、2つ以上の近隣の基地局から信号が受信されるタイミングに基づいて自身の位置を判定することができる。WTRU1102は、実施形態との整合性を保ちながら、任意の適切な位置判定方法で位置情報を取得できることが理解されよう。
プロセッサ1118はさらに他の周辺機能1138に結合され、周辺機能は、追加的な機能、機能性、および/または有線若しくは無線接続を提供する1または複数のソフトウェアおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機能1138は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ(写真または映像用)、ユニバーサルシリアルバス(USB)ポート、振動装置、テレビトランシーバ、ハンドフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ等を含むことができる。
図11Cは、実施形態によるRAN1103およびコアネットワーク1106のシステム図である。上記のように、RAN1103は、UTRA無線技術を用いてエアインタフェース1115を介してWTRU1102a、1102bおよび/または1102cと通信することができる。RAN1103は、コアネットワーク1106とも通信状態にあることができる。図11Cに示すように、RAN1103は、NodeB1140a、1140bおよび/または1140cを含み、各NodeBは、エアインタフェース1115を通じてWTRU1102a、1102bおよび/または1102cと通信するために1または複数のトランシーバを備えることができる。NodeB1140a、1140bおよび/または1140cは各々、RAN1103内の特定のセル(図示せず)に関連付けることができる。RAN1103はRNC1142aおよび/または1142bも含むことができる。RAN1103は実施形態との整合性を保ちながら、任意数のNodeBおよびRNCを含むことが可能であることが理解されよう。
図11Cに示すように、NodeB1140aおよび/または1140bはRNC1142aと通信状態にあり得る。また、NodeB1140cはRNC1142bと通信状態にあることができる。NodeB1140a、1140bおよび/または1140cは、Iubインタフェースを介してそれぞれのRNC1142a、1142bと通信することができる。RNC1142a、1142bは、Iurインタフェースを介して相互と通信することができる。各RNC1142a、1142bは、それぞれが接続されたNodeB1140a、1140bおよび/または1140cを制御するように構成されることができる。また、各RNC1142a、1142bは、外部ループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバー制御、マクロダイバーシティ、セキュリティ機能、データの暗号化等の他の機能を実行または支援するように構成されることができる。
図11Cに示すコアネットワーク1106は、メディアゲートウェイ(MGW)1144、モバイル交換センター(MSC)1146、サービングGPRSサポートノード(SGSN)1148、および/またはゲートウェイGPRSサポートノード(GGSN)1150を含むことができる。上記の各要素はコアネットワーク1106の一部として図示するが、これらの要素の任意の1つはコアネットワークの運営者以外のエンティティにより所有および/または運営されてもよいことが理解されよう。
RAN1103内のRNC1142aは、IuCSインタフェースを介してコアネットワーク1106内のMSC1146に接続されることができる。MSC1146はMGW1144に接続されることができる。MSC1146およびMGW1144は、WTRU1102a、1102bおよび/または1102cに、PSTN1108等の回線交換ネットワークへのアクセスを提供して、WTRU1102a、1102bおよび/または1102cと従来の地上回線通信機器との間の通信を容易にすることができる。
RAN11034内のRNC1142aは、IuPSインタフェースを介してコアネットワーク1106のSGSN1148にも接続することができる。SGSN1148はGGSN1150に接続されることができる。SGSN1148およびGGSN1150は、WTRU1102a、1102bおよび/または1102cに、インターネット1110等のパケット交換ネットワークへのアクセスを提供して、WTRU1102a、1102bおよび/または1102cとIP対応機器との間の通信を容易にすることができる。
上記のように、コアネットワーク1106はネットワーク1112にも接続され、ネットワーク1112は、他のサービス提供者に所有および/または運営される他の有線または無線のネットワークを含むことができる。
図11Dは、別の実施形態によるRAN1104およびコアネットワーク1107のシステム図である。上記のように、RAN1104は、E−UTRA無線技術を用いて、エアインタフェース1116を通じてWTRU1102a、1102bおよび/または1102cと通信することができる。RAN1104はコアネットワーク1107とも通信状態にあることができる。
RAN1104はeNodeB1160a、1160bおよび/または1160cを含むが、RAN1104は実施形態との整合性を保ちながら任意数のeNodeBを含むことが可能であることが理解されよう。eNodeB1160a、1160bおよび/または1160cはそれぞれ、エアインタフェース1116を通じてWTRU1102a、1102bおよび/または1102cと通信するための1または複数のトランシーバを含むことができる。一実施形態では、eNodeB1160a、1160bおよび/または1160cはMIMO技術を実装することができる。従って、例えばeNodeB1160aは、複数のアンテナを使用してWTRU1102aとの間で無線信号を送受信することができる。
各eNodeB1160a、1160bおよび/または1160cは、特定のセル(図示せず)に関連付けられ、無線リソース管理に関する決定、ハンドオーバーの決定、アップリンクおよび/またはダウンリンクのユーザのスケジューリング等を処理するように構成することができる。図11Dに示すように、eNodeB1160a、1160bおよび/または1160cはX2インタフェースを通じて相互と通信することができる。
図11Dに示すコアネットワーク1107は、モビリティ管理ゲートウェイ(MME)1162、サービングゲートウェイ1164、およびパケットデータネットワーク(PDN)ゲートウェイ1166を含むことができる。図では上述の各要素はコアネットワーク1107の一部として示すが、それらの要素のいずれか1つは、コアネットワークの運営者以外のエンティティによって所有および/または運営される場合もあることが理解されよう。
MME1162は、S1インタフェースを介してRAN1104内のeNodeB1160a、1160bおよび/または1160c各々に接続され、制御ノードの役割を果たすことができる。例えば、MME1162は、WTRU1102a、1102bおよび/または1102cのユーザの認証、ベアラのアクティブ化/非アクティブ化、WTRU1102a、1102bおよび/または1102cの初回のアタッチ時の特定サービングゲートウェイの選択等を担う。MME1162は、RAN104と、GSMやWCDMA等の他の無線技術を用いる他のRAN(図示せず)とを切替えるための制御プレーン機能も提供することができる。
サービングゲートウェイ1164は、S1インタフェースを介してRAN1104内の各eNodeB1160a、1160bおよび/または1160cに接続されることができる。サービングゲートウェイ1164は、一般に、WTRU1102a、1102bおよび/または1102cとの間でユーザデータパケットを送信および転送することができる。サービングゲートウェイ1164は、他の機能、例えば、eNodeB間のハンドオーバー時にユーザプレーンを固定する、WTRU1102a、1102bおよび/または1102cに入手可能なダウンリンクデータがあるときにページングをトリガする、WTRU1102a、1102bおよび/または1102cのコンテクストを管理および記憶する等も行うことができる。
サービングゲートウェイ1164はPDNゲートウェイ1166にも接続されて、WTRU1102a、1102bおよび/または1102cとIP対応装置間の通信を容易にする。PDNゲートウェイ1166は、WTRU1102a、1102bおよび/または1102cにインターネット1110等のパケット交換ネットワークへのアクセスを提供することができる。
コアネットワーク1107は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク1107は、PSTN1108等の回線交換ネットワークへのアクセスをWTRU1102a、1102bおよび/または1102cに提供して、WTRU1102a、1102bおよび/または1102cと従来の陸線通信機器との間の通信を容易にすることができる。例えば、コアネットワーク1107は、コアネットワーク1107とPSTN1108間のインタフェースとして機能するIPゲートウェイ(例えばIPマルチメディアサブシステム(IMS)サーバ)を含むか、またはそれと通信することができる。また、コアネットワーク1107は、WTRU1102a、1102bおよび/または1102cにネットワーク1112へのアクセスを提供することができ、ネットワーク1112は、他のサービス提供者に所有および/または運営される他の有線または無線ネットワークを含むことができる。
図11Eは、別の実施形態によるRAN1105およびコアネットワーク1109のシステム図である。RAN1105は、IEEE802.16無線技術を使用してエアインタフェース1117を通じてWTRU1102a、1102bおよび/または1102cと通信するアクセスサービスネットワーク(ASN)とすることができる。下記でさらに述べるように、WTRU1102a、1102bおよび/または1102c、RAN1105、およびコアネットワーク1109の異なる機能エンティティ間の通信リンクが基準点として定義することができる。
図11Eに示すように、RAN1105は、基地局1180a、1180bおよび/または1180cおよびASNゲートウェイ1182を含むことができるが、RAN1105は、実施形態との整合性を保ちながら任意数の基地局およびASNゲートウェイを含むことが可能であることが理解されよう。基地局1180a、1180bおよび/または1180cは各々RAN1105内の特定のセル(図示せず)に関連付けられ、各々エアインタフェース1117を通じてWTRU1102a、1102bおよび/または1102cと通信するための1または複数のトランシーバを含むことができる。一実施形態では、基地局1180a、1180bおよび/または1180cはMIMO技術を実装することができる。そのため、例えば基地局1180aは、複数のアンテナを使用して、WTRU1102aとの間で無線信号を送受信することができる。基地局1180a、1180bおよび/または1180cは、ハンドオフのトリガ、トンネルの確立、無線リソース管理、トラフィックの分類、サービス品質(QoS)ポリシーの施行等のモビリティ管理機能も提供することができる。ASNゲートウェイ1182はトラフィック集約点として機能し、ページング、加入者プロファイルのキャッシング、コアネットワーク1109へのルーティング等を担うことができる。
WTRU1102a、1102bおよび/または1102cとRAN1105との間のエアインタフェース1117は、IEEE802.16仕様を実装するR1基準点として定義することができる。また、WTRU1102a、1102bおよび/または1102cはそれぞれ、コアネットワーク1109との間に論理インタフェース(図示せず)を確立することができる。WTRU1102a、1102bおよび/または1102cとコアネットワーク1109との間の論理インタフェースは、認証、認可、IPホスト設定管理および/またはモビリティ管理に使用され得るR2基準点として定義することができる。
各基地局1180a、1180bおよび/または1180c間の通信リンクは、基地局間のWTRUのハンドオーバーおよびデータ転送を容易にするプロトコルを含むR8基準点として定義することができる。基地局1180a、1180bおよび/または1180cとASNゲートウェイ1182間の通信リンクは、R6基準点として定義することができる。R6基準点は、各WTRU1102a、1102bおよび/または1102cに関連する移動事象に基づくモビリティ管理を容易にするプロトコルを含むことができる。
図11Eに示すように、RAN1105はコアネットワーク1109に接続される。RAN1105とコアネットワーク1109間の通信リンクは、例えばデータ転送機能およびモビリティ管理機能を容易にするプロトコルを含むR3基準点として定義することができる。コアネットワーク1109は、モバイルIPホームエージェント(MIP−HA)1184、認証、認可、課金(AAA)サーバ1186、およびゲートウェイ1188を含むことができる。上述の各要素はコアネットワーク1109の一部として図示するが、これらの要素のいずれか1つはコアネットワークの運営者以外のエンティティにより所有および/または運営される場合もあることが理解されよう。
MIP−HAは、IPアドレス管理を担い、WTRU1102a、1102bおよび/または1102cが異なるASN間および/または異なるコアネットワーク間を移動できるようにする。MIP−HA1184は、WTRU1102a、1102bおよび/または1102cに、インターネット1110等のパケット交換ネットワークへのアクセスを提供して、WTRU1102a、1102bおよび/または1102cと、IP対応装置との間の通信を容易にすることができる。AAAサーバ1186は、ユーザ認証およびユーザサービスの支援を担うことができる。ゲートウェイ1188は、他のネットワークとの相互動作を容易にすることができる。例えば、ゲートウェイ1188は、WTRU1102a、1102bおよび/または1102cに、PSTN1108等の回線交換ネットワークへのアクセスを提供して、WTRU1102a、1102bおよび/または1102cと、従来の陸線通信機器との間の通信を容易にすることができる。また、ゲートウェイ1188は、WTRU1102a、1102bおよび/または1102cに、他のサービス提供者によって所有および/または運営される他の有線または無線ネットワークを含むネットワーク1112へのアクセスを提供することができる。
図11Eには示さないが、RAN1105は他のASNに接続され、コアネットワーク1109は他のコアネットワークに接続されることが可能であることが理解されよう。RAN1105と他のASNとの間の通信リンクはR4基準点として定義され、RAN1105と他のASN間のWTRU1102a、1102bおよび/または1102cのモビリティを司るプロトコルを含むことができる。コアネットワーク1109と他のコアネットワーク間の通信リンクはR5基準点として定義され、R5基準点は、ホームコアネットワークと一時利用される(visited)コアネットワーク間の相互動作を容易にするプロトコルを含むことができる。
上記では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用されることができ、または他の特徴および要素との任意の組み合わせで使用されることができることを当業者は理解しよう。また、本明細書で説明された方法は、コンピュータまたはプロセッサによって実行するための、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェアまたはファームウェアで実施されることができる。コンピュータ可読媒体の例は(有線または無線接続上で送信される)電子信号およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、限定されることなく、ROM、RAM、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体並びにCD−ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと連携するプロセッサは、WTRU、UE、端末、基地局、RNCまたは任意のホストコンピュータにおいて使用するための無線周波送受信機を実施するために使用されることができる。

Claims (29)

  1. ビデオコーディングデバイスであって、
    第1のボリュームの色をカバーする第1の色域に関連付けられる第1の色空間に関連付けられる画像を受信し、前記画像は、第1のサンプリング位置での第1の成分、第2のサンプリング位置での第2の成分、および第3のサンプリング位置での前記第2の成分を備え、
    第1の補間フィルタを、前記第2のサンプリング位置での前記第2の成分および前記第3のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第2の成分を決定し、前記第1のサンプリング位置での前記第2の成分は、前記第1の色空間に関連付けられ、
    色変換モデルを、前記第1のサンプリング位置での前記第1の成分に、および前記第1のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第1の成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる第2の色空間に転換する
    ように構成されたプロセッサを備えた、ビデオコーディングデバイス。
  2. 前記第1の成分は、ルーマ成分であり、前記第2の成分は、第1のクロマ成分または第2のクロマ成分であり、あるいは、前記第1の成分は、前記第1のクロマ成分または前記第2のクロマ成分であり、前記第2の成分は、前記ルーマ成分である、請求項1のビデオコーディングデバイス。
  3. 前記第1の補間フィルタを適用するように構成された前記プロセッサは、
    前記第2のサンプリング位置での前記第2の成分、前記第3のサンプリング位置での前記第2の成分、および1を加算して、合計を決定し、
    前記合計を2により除算する
    ように構成された前記プロセッサを備えた、請求項2のビデオコーディングデバイス。
  4. 前記第1の補間フィルタを適用するように構成された前記プロセッサは、
    前記第2のサンプリング位置での前記第2の成分を3により乗算し、
    前記第2のサンプリング位置での前記乗算された第2の成分、前記第3のサンプリング位置での前記第2の成分、および2を加算して、合計を決定し、
    前記合計を4により除算する
    ように構成された前記プロセッサを備えた、請求項1のビデオコーディングデバイス。
  5. 前記画像は、第4のサンプリング位置での前記第2の成分および第5のサンプリング位置での前記第2の成分を備え、
    前記プロセッサは、前記第1の補間フィルタを、前記第2のサンプリング位置での前記第2の成分、前記第3のサンプリング位置での前記第2の成分、前記第4のサンプリング位置での前記第2の成分、および前記第5のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第2の成分を決定するように構成される、請求項1のビデオコーディングデバイス。
  6. 前記第1の補間フィルタを適用するように構成された前記プロセッサは、
    前記第2のサンプリング位置での前記第2の成分および前記第3のサンプリング位置での前記第2の成分を加算して、第1の合計を決定し、
    前記第4のサンプリング位置での前記第2の成分および前記第5のサンプリング位置での前記第2の成分を加算して、第2の合計を決定し、
    前記第2の合計を3により乗算して、第3の合計を決定し、
    前記第1の合計、前記第3の合計および4を加算して、第4の合計を決定し、
    前記第4の合計を8により除算する
    ように構成された前記プロセッサを備えた、請求項5のビデオコーディングデバイス。
  7. 前記画像は、前記第2のサンプリング位置での第3の成分および前記第3のサンプリング位置での前記第3の成分を備え、前記第1の成分は、ルーマ成分であり、前記第2の成分は第1のクロマ成分であり、前記第3の成分は、第2のクロマ成分であり、前記プロセッサは、
    前記第1の補間フィルタを、前記第2のサンプリング位置での前記第3の成分および前記第3のサンプリング位置での前記第3の成分に適用して、前記第1のサンプリング位置での前記第3の成分を決定し、前記第1のサンプリング位置での前記第3の成分は、前記第1の色空間に関連付けられ、
    前記色変換モデルを、前記第1のサンプリング位置での前記第1の成分に、前記第1のサンプリング位置での前記第2の成分に、および前記第1のサンプリング位置での前記第3の成分に適用して、前記第1のサンプリング位置での前記第1の成分を前記第2の色空間に転換する
    ようにさらに構成された、請求項1のビデオコーディングデバイス。
  8. 前記画像は、前記第1のサンプリング位置での第3の成分を備え、前記プロセッサは、
    前記色変換モデルを、前記第1のサンプリング位置での前記第1の成分に、前記第1のサンプリング位置での前記第3の成分に、および、前記第1のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第1の成分を前記第2の色空間に転換する
    ようにさらに構成された、請求項1のビデオコーディングデバイス。
  9. 前記第1の成分は、第1のクロマ成分であり、前記第2の成分は、ルーマ成分であり、前記第3の成分は、第2のクロマ成分であり、または、前記第1の成分は、前記第2のクロマ成分であり、前記第2の成分は、前記ルーマ成分であり、前記第3の成分は、前記第1のクロマ成分である、請求項8のビデオコーディングデバイス。
  10. 前記画像は、4:2:0クロマフォーマットにより特徴付けられる、請求項1のビデオコーディングデバイス。
  11. 前記色変換モデルは、3次元ルックアップテーブル(LUT)に基づく、請求項1のビデオコーディングデバイス。
  12. 前記プロセッサは、スケーラブルビットストリームを受信するようにさらに構成され、前記スケーラブルビットストリームは、ベースレイヤおよびエンハンスメントレイヤを備え、前記ベースレイヤは前記画像を備え、前記ベースレイヤは、前記第1の色空間に関連付けられ、前記エンハンスメントレイヤは、前記第2の色空間に関連付けられる、請求項1のビデオコーディングデバイス。
  13. ビデオコーディングデバイスであって、
    第1のボリュームの色をカバーする第1の色域に関連付けられる第1の色空間に関連付けられる画像を受信し、前記画像は、第1のサンプリング位置でのルーマ成分、第2のサンプリング位置での第1のクロマ成分、第2のサンプリング位置での第2のクロマ成分、第3のサンプリング位置での前記第1のクロマ成分、前記第3のサンプリング位置での前記第2のクロマ成分、第4のサンプリング位置での前記第1のクロマ成分、前記第4のサンプリング位置での前記第2のクロマ成分、第5のサンプリング位置での前記第1のクロマ成分、および前記第5のサンプリング位置での前記第2のクロマ成分を備え、
    補間フィルタを、前記第2のサンプリング位置での前記第1のクロマ成分、前記第3のサンプリング位置での前記第1のクロマ成分、前記第4のサンプリング位置での前記第1のクロマ成分、および前記第5のサンプリング位置での前記第1のクロマ成分の2つ以上に適用して、前記第1のサンプリング位置での前記第1のクロマ成分を決定し、前記第1のサンプリング位置での前記第1のクロマ成分は、前記第1の色空間に関連付けられ、
    前記補間フィルタを、前記第2のサンプリング位置での前記第2のクロマ成分、前記第3のサンプリング位置での前記第2のクロマ成分、前記第4のサンプリング位置での前記第2のクロマ成分、および前記第5のサンプリング位置での前記第2のクロマ成分の2つ以上に適用して、前記第1のサンプリング位置での前記第2のクロマ成分を決定し、前記第1のサンプリング位置での前記第2のクロマ成分は、前記第1の色空間に関連付けられ、
    色変換モデルを、前記第1のサンプリング位置での前記ルーマ成分、前記第1のサンプリング位置での前記第1のクロマ成分、および前記第1のサンプリング位置での前記第2のクロマ成分に適用して、前記第1のサンプリング位置での前記ルーマ成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる第2の色空間に転換する
    ように構成されたプロセッサを備えた、ビデオコーディングデバイス。
  14. ビデオコーディングデバイスであって、
    第1のボリュームの色をカバーする第1の色域に関連付けられる第1の色空間に関連付けられる画像を受信し、前記画像は、第1のサンプリング位置での第1のクロマ成分、前記第1のサンプリング位置での第2のクロマ成分、第2のサンプリング位置でのルーマ成分、第3のサンプリング位置での前記ルーマ成分、第4のサンプリング位置での前記ルーマ成分、および第5のサンプリング位置での前記ルーマ成分を備え、
    補間フィルタを、前記第2のサンプリング位置での前記ルーマ成分、前記第3のサンプリング位置での前記ルーマ成分、前記第4のサンプリング位置での前記ルーマ成分、および前記第5のサンプリング位置での前記ルーマ成分の2つ以上に適用して、前記第1のサンプリング位置での前記ルーマ成分を決定し、前記第1のサンプリング位置での前記ルーマ成分は、前記第1の色空間に関連付けられ、
    色変換モデルを、前記第1のサンプリング位置での前記第1のクロマ成分、前記第1のサンプリング位置での前記第2のクロマ成分、および前記第1のサンプリング位置での前記ルーマ成分に適用して、前記第1のサンプリング位置での前記第1のクロマ成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる第2の色空間に転換し、
    前記色変換モデルを、前記第1のサンプリング位置での前記第1のクロマ成分、前記第1のサンプリング位置での前記第2のクロマ成分、および前記第1のサンプリング位置での前記ルーマ成分に適用して、前記第1のサンプリング位置での前記第2のクロマ成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる前記第2の色空間に転換する
    ように構成されたプロセッサを備えたビデオコーディングデバイス。
  15. ビデオコーディング方法であって、
    第1のボリュームの色をカバーする第1の色域に関連付けられる第1の色空間に関連付けられる画像を受信することであって、前記画像は、第1のサンプリング位置での第1の成分、第2のサンプリング位置での第2の成分、および第3のサンプリング位置での前記第2の成分を備える、ことと、
    第1の補間フィルタを、前記第2のサンプリング位置での前記第2の成分および前記第3のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第2の成分を決定することであって、前記第1のサンプリング位置での前記第2の成分は、前記第1の色空間に関連付けられる、ことと、
    色変換モデルを、前記第1のサンプリング位置での前記第1の成分に、および前記第1のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第1の成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる第2の色空間に転換することと
    を備えるビデオコーディング方法。
  16. 前記第1の成分は、ルーマ成分であり、前記第2の成分は、第1のクロマ成分または第2のクロマ成分であり、あるいは、前記第1の成分は、前記第1のクロマ成分または前記第2のクロマ成分であり、前記第2の成分は、前記ルーマ成分である、請求項15のビデオコーディング方法。
  17. 前記第1の補間フィルタを適用する前記方法は、
    前記第2のサンプリング位置での前記第2の成分、前記第3のサンプリング位置での前記第2の成分、および1を加算して、合計を決定することと、
    前記合計を2により除算することと
    をさらに備える、請求項16のビデオコーディング方法。
  18. 前記第1の補間フィルタを適用する前記方法は、
    前記第2のサンプリング位置での前記第2の成分を3により乗算することと、
    前記第2のサンプリング位置での前記乗算された第2の成分、前記第3のサンプリング位置での前記第2の成分、および2を加算して、合計を決定することと、
    前記合計を4により除算することと
    をさらに備える、請求項15のビデオコーディング方法。
  19. 前記画像は、第4のサンプリング位置での前記第2の成分および第5のサンプリング位置での前記第2の成分を備え、前記方法は、
    前記第1の補間フィルタを、前記第2のサンプリング位置での前記第2の成分、前記第3のサンプリング位置での前記第2の成分、前記第4のサンプリング位置での前記第2の成分、および前記第5のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第2の成分を決定すること
    をさらに備える、請求項15のビデオコーディング方法。
  20. 前記第1の補間フィルタを適用する前記方法は、
    前記第2のサンプリング位置での前記第2の成分および前記第3のサンプリング位置での前記第2の成分を加算して、第1の合計を決定することと、
    前記第4のサンプリング位置での前記第2の成分および前記第5のサンプリング位置での前記第2の成分を加算して、第2の合計を決定することと、
    前記第2の合計を3により乗算して、第3の合計を決定することと、
    前記第1の合計、前記第3の合計および4を加算して、第4の合計を決定することと、
    前記第4の合計を8により除算することと
    をさらに備える、請求項19のビデオコーディング方法。
  21. 前記画像は、前記第2のサンプリング位置での第3の成分および前記第3のサンプリング位置での前記第3の成分を備え、前記第1の成分は、ルーマ成分であり、前記第2の成分は第1のクロマ成分であり、前記第3の成分は、第2のクロマ成分であり、前記方法は、
    前記第1の補間フィルタを、前記第2のサンプリング位置での前記第3の成分および前記第3のサンプリング位置での前記第3の成分に適用して、前記第1のサンプリング位置での前記第3の成分を決定することであって、前記第1のサンプリング位置での前記第3の成分は、前記第1の色空間に関連付けられる、ことと、
    前記色変換モデルを、前記第1のサンプリング位置での前記第1の成分に、前記第1のサンプリング位置での前記第2の成分に、および前記第1のサンプリング位置での前記第3の成分に適用して、前記第1のサンプリング位置での前記第1の成分を前記第2の色空間に転換することと
    をさらに備える、請求項15のビデオコーディング方法。
  22. 前記画像は、前記第1のサンプリング位置での第3の成分を備え、前記方法は、
    前記色変換モデルを、前記第1のサンプリング位置での前記第1の成分に、前記第1のサンプリング位置での前記第3の成分に、および、前記第1のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第1の成分を前記第2の色空間に転換すること
    をさらに備える、請求項15のビデオコーディング方法。
  23. 前記第1の成分は、第1のクロマ成分であり、前記第2の成分は、ルーマ成分であり、前記第3の成分は、第2のクロマ成分であり、または、前記第1の成分は、前記第2のクロマ成分であり、前記第2の成分は、前記ルーマ成分であり、前記第3の成分は、前記第1のクロマ成分である、請求項22のビデオコーディング方法。
  24. 前記画像は、4:2:0クロマフォーマットにより特徴付けられる、請求項15のビデオコーディング方法。
  25. 前記色変換モデルは、3次元ルックアップテーブル(LUT)に基づく、請求項15のビデオコーディング方法。
  26. 前記方法は、スケーラブルビットストリームを受信することであって、前記スケーラブルビットストリームは、ベースレイヤおよびエンハンスメントレイヤを備え、前記ベースレイヤは前記画像を備え、前記ベースレイヤは前記第1の色空間に関連付けられ、前記エンハンスメントレイヤは前記第2の色空間に関連付けられる、請求項15のビデオコーディング方法。
  27. ビデオコーディング方法であって、
    第1のボリュームの色をカバーする第1の色域に関連付けられる第1の色空間に関連付けられる画像を受信することであって、前記画像は、第1のサンプリング位置でのルーマ成分、第2のサンプリング位置での第1のクロマ成分、前記第2のサンプリング位置での第2のクロマ成分、第3のサンプリング位置での前記第1のクロマ成分、前記第3のサンプリング位置での前記第2のクロマ成分、第4のサンプリング位置での前記第1のクロマ成分、前記第4のサンプリング位置での前記第2のクロマ成分、第5のサンプリング位置での前記第1のクロマ成分、および前記第5のサンプリング位置での前記第2のクロマ成分を備える、ことと、
    補間フィルタを、前記第2のサンプリング位置での前記第1のクロマ成分、前記第3のサンプリング位置での前記第1のクロマ成分、前記第4のサンプリング位置での前記第1のクロマ成分、および前記第5のサンプリング位置での前記第1のクロマ成分の2つ以上に適用して、前記第1のサンプリング位置での前記第1のクロマ成分を決定することであって、前記第1のサンプリング位置での前記第1のクロマ成分は、前記第1の色空間に関連付けられる、ことと、
    前記補間フィルタを、前記第2のサンプリング位置での前記第2のクロマ成分、前記第3のサンプリング位置での前記第2のクロマ成分、前記第4のサンプリング位置での前記第2のクロマ成分、および前記第5のサンプリング位置での前記第2のクロマ成分の2つ以上に適用して、前記第1のサンプリング位置での前記第2のクロマ成分を決定することであって、前記第1のサンプリング位置での前記第2のクロマ成分は、前記第1の色空間に関連付けられる、ことと、
    色変換モデルを、前記第1のサンプリング位置での前記ルーマ成分、前記第1のサンプリング位置での前記第1のクロマ成分、および前記第1のサンプリング位置での前記第2のクロマ成分に適用して、前記第1のサンプリング位置での前記ルーマ成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる第2の色空間に転換することと
    を備える、ビデオコーディング方法。
  28. ビデオコーディング方法であって、
    第1のボリュームの色をカバーする第1の色域に関連付けられる第1の色空間に関連付けられる画像を受信することであって、前記画像は、第1のサンプリング位置での第1のクロマ成分、前記第1のサンプリング位置での第2のクロマ成分、第2のサンプリング位置でのルーマ成分、第3のサンプリング位置での前記ルーマ成分、第4のサンプリング位置での前記ルーマ成分、および第5のサンプリング位置での前記ルーマ成分を備える、ことと、
    補間フィルタを、前記第2のサンプリング位置での前記ルーマ成分、前記第3のサンプリング位置での前記ルーマ成分、前記第4のサンプリング位置での前記ルーマ成分、および前記第5のサンプリング位置での前記ルーマ成分の2つ以上に適用して、前記第1のサンプリング位置での前記ルーマ成分を決定することであって、前記第1のサンプリング位置での前記ルーマ成分は、前記第1の色空間に関連付けられる、ことと、
    色変換モデルを、前記第1のサンプリング位置での前記第1のクロマ成分、前記第1のサンプリング位置での前記第2のクロマ成分、および前記第1のサンプリング位置での前記ルーマ成分に適用して、前記第1のサンプリング位置での前記第1のクロマ成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる第2の色空間に転換することと、
    前記色変換モデルを、前記第1のサンプリング位置での前記第1のクロマ成分、前記第1のサンプリング位置での前記第2のクロマ成分、および前記第1のサンプリング位置での前記ルーマ成分に適用して、前記第1のサンプリング位置での前記第2のクロマ成分を前記第2の色空間に転換することと
    を備える、ビデオコーディング方法。
  29. ビデオコーディングデバイスであって、
    第1のボリュームの色をカバーする第1の色域に関連付けられる第1の色空間に関連付けられる画像を受信し、前記画像は、第1のサンプリング位置での第1の成分、第2のサンプリング位置での前記第1の成分、第3のサンプリング位置での第2の成分、第4のサンプリング位置での前記第2の成分、第5のサンプリング位置での前記第2の成分、および第6のサンプリング位置での前記第2の成分を備え、
    第1の補間フィルタを、前記第3のサンプリング位置での前記第2の成分および前記第4のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第2の成分を決定し、前記第1のサンプリング位置での前記第2の成分は、前記第1の色空間に関連付けられ、
    第2の補間フィルタを、前記第3のサンプリング位置での前記第2の成分、前記第4のサンプリング位置での前記第2の成分、前記第5のサンプリング位置での前記第2の成分、および前記第6のサンプリング位置での前記第2の成分に適用して、前記第2のサンプリング位置での前記第2の成分を決定し、前記第2のサンプリング位置での前記第2の成分は、前記第1の色空間に関連付けられ、
    色変換モデルを、前記第1のサンプリング位置での前記第1の成分に、および前記第1のサンプリング位置での前記第2の成分に適用して、前記第1のサンプリング位置での前記第1の成分を、前記第1のボリュームの色と比較してより広いボリュームの色をカバーする第2の、より広い色域に関連付けられる第2の色空間に転換し、
    前記色変換モデルを、前記第2のサンプリング位置での前記第1の成分に、および前記第2のサンプリング位置での前記第2の成分に適用して、前記第2のサンプリング位置での前記第1の成分を前記第2の色空間に転換する
    ように構成されたプロセッサを備えた、ビデオコーディングデバイス。
JP2016539123A 2013-12-13 2014-12-12 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること Active JP6240331B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361915892P 2013-12-13 2013-12-13
US61/915,892 2013-12-13
PCT/US2014/069898 WO2015089352A1 (en) 2013-12-13 2014-12-12 Color gamut scalable video coding device and method for the phase alignment of luma and chroma using interpolation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017213065A Division JP6463820B2 (ja) 2013-12-13 2017-11-02 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること

Publications (2)

Publication Number Publication Date
JP2017505028A JP2017505028A (ja) 2017-02-09
JP6240331B2 true JP6240331B2 (ja) 2017-11-29

Family

ID=52345528

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016539123A Active JP6240331B2 (ja) 2013-12-13 2014-12-12 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること
JP2017213065A Active JP6463820B2 (ja) 2013-12-13 2017-11-02 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること
JP2019000306A Ceased JP2019050640A (ja) 2013-12-13 2019-01-04 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2017213065A Active JP6463820B2 (ja) 2013-12-13 2017-11-02 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること
JP2019000306A Ceased JP2019050640A (ja) 2013-12-13 2019-01-04 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること

Country Status (9)

Country Link
US (3) US9912925B2 (ja)
EP (1) EP3080985B1 (ja)
JP (3) JP6240331B2 (ja)
KR (2) KR20170113713A (ja)
CN (2) CN108337519B (ja)
AU (1) AU2014362246B2 (ja)
MX (1) MX358758B (ja)
TW (1) TWI628959B (ja)
WO (1) WO2015089352A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948916B2 (en) 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
US10531105B2 (en) 2013-12-17 2020-01-07 Qualcomm Incorporated Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding
US9756337B2 (en) 2013-12-17 2017-09-05 Qualcomm Incorporated Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding
US10448029B2 (en) * 2014-04-17 2019-10-15 Qualcomm Incorporated Signaling bit depth values for 3D color prediction for color gamut scalability
US10455230B2 (en) 2015-01-09 2019-10-22 Avago Technologies International Sales Pte. Limited Methods for improving low-cost video/image compression
US10127887B2 (en) * 2015-01-14 2018-11-13 Intel Corporation Acceleration of color conversion
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
US11778231B2 (en) 2016-05-26 2023-10-03 Vid Scale, Inc. Geometric conversion for 360-degree video coding
US10225536B2 (en) 2016-07-01 2019-03-05 Intel Corporation Dynamic fidelity updates for encoded displays
US10219002B2 (en) * 2016-07-01 2019-02-26 Intel Corporation Dynamic fidelity updates for encoded displays
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN113597760A (zh) 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
CN113728633B (zh) 2019-04-01 2022-12-20 北京字节跳动网络技术有限公司 对基于历史的运动矢量预测使用插值滤波器
WO2020207493A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
WO2020211807A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Matrix derivation in intra coding mode
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
WO2020221373A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
EP3954115A4 (en) 2019-05-22 2023-04-19 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRAPREDICTION USING UPSAMPLING
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
CN117579830A (zh) 2019-06-21 2024-02-20 北京字节跳动网络技术有限公司 自适应环内颜色空间转换和其他编解码工具的选择性使用
TWI737364B (zh) 2019-06-28 2021-08-21 聯發科技股份有限公司 圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置
JP7359942B2 (ja) 2019-08-20 2023-10-11 北京字節跳動網絡技術有限公司 映像処理における代替の補間フィルタの選択的使用
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
CN115152219A (zh) 2019-11-07 2022-10-04 抖音视界有限公司 视频编解码的自适应环内颜色空间变换的量化特性
CN112017105B (zh) * 2020-08-13 2024-03-26 深圳市洲明科技股份有限公司 颜色校正fpga实现装置和方法、颜色校正设备和存储介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583656A (en) 1992-12-31 1996-12-10 Eastman Kodak Company Methods and apparatus for attaching compressed look-up table (LUT) representations of N to M-dimensional transforms to image data and for processing image data utilizing the attached compressed LUTs
JP2933487B2 (ja) * 1994-07-15 1999-08-16 松下電器産業株式会社 クロマフォーマット変換の方法
US5737032A (en) * 1995-09-05 1998-04-07 Videotek, Inc. Serial digital video processing with concurrent adjustment in RGB and luminance/color difference
US5712687A (en) * 1996-04-25 1998-01-27 Tektronix, Inc. Chrominance resampling for color images
US6400843B1 (en) 1999-04-22 2002-06-04 Seiko Epson Corporation Color image reproduction with accurate inside-gamut colors and enhanced outside-gamut colors
US6301393B1 (en) 2000-01-21 2001-10-09 Eastman Kodak Company Using a residual image formed from a clipped limited color gamut digital image to represent an extended color gamut digital image
RU2190306C2 (ru) 2000-05-10 2002-09-27 Государственное унитарное предприятие "Калужский научно-исследовательский институт телемеханических устройств" Способ обработки цветного полутонового изображения с использованием векторной диффузии ошибки цвета и устройство для его осуществления
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6741263B1 (en) * 2001-09-21 2004-05-25 Lsi Logic Corporation Video sampling structure conversion in BMME
US7643675B2 (en) 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
KR100552695B1 (ko) * 2003-11-20 2006-02-20 삼성전자주식회사 칼라영상의 색조절방법 및 장치
US7659911B2 (en) 2004-04-21 2010-02-09 Andreas Wittenstein Method and apparatus for lossless and minimal-loss color conversion
CN101005620B (zh) 2004-09-03 2011-08-10 微软公司 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
CN1859576A (zh) 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
US8774269B2 (en) 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
US8233536B2 (en) * 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
JP2008211310A (ja) * 2007-02-23 2008-09-11 Seiko Epson Corp 画像処理装置および画像表示装置
US8625676B2 (en) 2007-06-29 2014-01-07 Pai Kung Limited Liability Company Video bitstream decoding using least square estimates
US7684084B2 (en) * 2007-09-25 2010-03-23 Xerox Corporation Multiple dimensional color conversion to minimize interpolation error
US8446961B2 (en) * 2008-07-10 2013-05-21 Intel Corporation Color gamut scalability techniques
US9538176B2 (en) 2008-08-08 2017-01-03 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
JP2012520045A (ja) 2009-03-09 2012-08-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 多原色変換
US9185422B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Variable localized bit-depth increase for fixed-point transforms in video coding
JP5663093B2 (ja) 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
CN101977316B (zh) 2010-10-27 2012-07-25 无锡中星微电子有限公司 一种可伸缩编码方法
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
US11184623B2 (en) 2011-09-26 2021-11-23 Texas Instruments Incorporated Method and system for lossless coding mode in video coding
KR20130068823A (ko) 2011-12-16 2013-06-26 삼성전자주식회사 영상 신호 처리를 위한 방법 및 장치
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
FR2989856B1 (fr) * 2012-04-23 2014-11-28 Assistance Tech Et Etude De Materiels Electroniques Compression/decompression progressive d'un flux numerique video comprenant au moins une image entrelacee
PL2941872T3 (pl) * 2013-01-02 2019-03-29 Dolby Laboratories Licensing Corporation Kompatybilne wstecznie kodowanie dla sygnałów wideo o ultra wysokiej rozdzielczości z rozszerzonym zakresem dynamicznym
US9673936B2 (en) 2013-03-15 2017-06-06 Google Inc. Method and system for providing error correction to low-latency streaming video
KR102481406B1 (ko) 2013-04-08 2022-12-27 돌비 인터네셔널 에이비 Lut를 인코딩하는 방법, lut를 디코딩하는 방법 및 대응하는 장치들
EP3386179A1 (en) 2013-09-20 2018-10-10 VID SCALE, Inc. Systems and methods for providing 3d look-up table coding for color gamut scalability
US9756337B2 (en) 2013-12-17 2017-09-05 Qualcomm Incorporated Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding

Also Published As

Publication number Publication date
JP6463820B2 (ja) 2019-02-06
KR20170113713A (ko) 2017-10-12
US10440340B2 (en) 2019-10-08
JP2019050640A (ja) 2019-03-28
CN108337519B (zh) 2021-12-03
EP3080985B1 (en) 2023-08-02
EP3080985A1 (en) 2016-10-19
WO2015089352A1 (en) 2015-06-18
KR101786414B1 (ko) 2017-10-17
TWI628959B (zh) 2018-07-01
AU2014362246B2 (en) 2018-01-25
JP2018038076A (ja) 2018-03-08
US20150172616A1 (en) 2015-06-18
JP2017505028A (ja) 2017-02-09
CN105830440B (zh) 2018-06-12
US20180146181A1 (en) 2018-05-24
CN105830440A (zh) 2016-08-03
MX2016007619A (es) 2016-12-08
CN108337519A (zh) 2018-07-27
US9912925B2 (en) 2018-03-06
US20190379870A1 (en) 2019-12-12
MX358758B (es) 2018-09-04
KR20160096712A (ko) 2016-08-16
TW201537992A (zh) 2015-10-01
AU2014362246A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6463820B2 (ja) 色域スケーラビリティに対する3dルックアップテーブル(lut)推定を提供すること
US10986370B2 (en) Combined scalability processing for multi-layer video coding
US10390029B2 (en) Systems and methods for providing 3D look-up table coding for color gamut scalability
EP3090540B1 (en) Color space conversion

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171102

R150 Certificate of patent or registration of utility model

Ref document number: 6240331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250