JP5944045B2 - Hevcの無損失符号化におけるイントラ予測残差の2値化スキーム及びイントラ予測の向上 - Google Patents

Hevcの無損失符号化におけるイントラ予測残差の2値化スキーム及びイントラ予測の向上 Download PDF

Info

Publication number
JP5944045B2
JP5944045B2 JP2015507253A JP2015507253A JP5944045B2 JP 5944045 B2 JP5944045 B2 JP 5944045B2 JP 2015507253 A JP2015507253 A JP 2015507253A JP 2015507253 A JP2015507253 A JP 2015507253A JP 5944045 B2 JP5944045 B2 JP 5944045B2
Authority
JP
Japan
Prior art keywords
value
parameter
prediction
indicates
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015507253A
Other languages
English (en)
Other versions
JP2015517285A (ja
Inventor
ガオ,ウエン
ジアン,ミンチアン
ユ,ハオピン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2015517285A publication Critical patent/JP2015517285A/ja
Application granted granted Critical
Publication of JP5944045B2 publication Critical patent/JP5944045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Description

[関連出願の参照]
本願は、米国仮特許出願番号第61/636,409号、出願日2012年4月20日、Wen Gao他、名称「Binarization Scheme for Intra Prediction Residuals and Improved Intra Prediction in Lossless Coding in HEVC」の優先権を主張する。該特許出願は、参照されることにより、その全体が記載されているものとして本願明細書に組み込まれる。また、本願は、米国特許出願番号第13/866,468号、出願日2013年4月19日、Wen Gao他、名称「Improved Intra Prediction in Lossless Coding in HEVC」の一部継続出願である。該特許出願は、参照されることにより、その全体が記載されているものとして本願明細書に組み込まれる。
比較的短いフィルムでも描写するために必要なビデオデータの量は、相当量であり、データが限られた帯域幅容量で通信ネットワークを渡りストリーミングされる又は通信されるときに問題を生じ得る。したがって、ビデオデータは、通常、今日の通信ネットワークを渡って通信される前に圧縮される。ビデオのサイズは、メモリ資源が限られるので、ビデオが記憶装置に格納されるときに問題になり得る。ビデオ圧縮装置は、送信又は記憶の前に、ビデオデータを符号化するためにソースにおいてソフトウェア及び/又はハードウェアを用いる場合が多く、それにより、デジタルビデオ画像を表現するために必要なデータ量を減少させる。次に、圧縮データは、ビデオデータを復号化するビデオ復号化装置により宛先において受信される。限られたネットワークリソース及び更に高いビデオ品質の要望の増大に伴い、僅かな乃至全く画質を犠牲にしないで圧縮比を向上する向上した圧縮及び伸張技術が望まれる。
例えば、ビデオ圧縮は、イントラフレーム予測を用いても良い。イントラフレーム予測では、ピクセルは、同じビデオフレーム又はスライス内の参照ピクセルから予測されても良い。イントラ予測を不可逆モードで用いるとき、変換及び量子化動作は、ブロック毎に生じ得る。これは、所与のブロックについてのイントラ予測を、該所与のブロック内のピクセルの予測のために隣接ブロック内の参照サンプルを使用することに限定し得る。しかしながら、HEVC(High Efficiency Video Coding)とも呼ばれる次世代ビデオ符号化標準の代表である、ITU−T(International Telecommunication Union Telecommunications Standardization Sector)内のJCT−VC(Joint Collaborative Team on Video Coding)は、イントラ予測モードで無損失符号化のためのブロック内の隣接ピクセルに基づく予測を検討している。これらの予測技術は、ピクセル単位の、サンプル単位の、又はピクセルベースのイントラ予測と呼ばれ得る。しかしながら、特定の境界に沿った境界ピクセルの予測のために用いられる隣接ピクセルの可用性の欠如により、予測中のブロックの該特定の境界に沿ったピクセルのピクセル単位のイントラ予測には問題がある。
さらに、HEVCの無損失符号化のエントロピー符号化は、不可逆符号化モードのために設計されている。しかしながら、無損失符号化モードにおける予測残差の統計は、不可逆符号化モードの統計と大きく異なり得る。異なる統計により、無損失符号化モードにおける予測残差の統計を考慮に入れるよう、無損失符号化のためのエントロピー符号化を向上する余地が存在し得る。
一実施形態では、本開示は、少なくとも1つの符号化された予測残差値の値に従って、指数ゴロム(EG)パラメータの値を適応して更新するステップと、前記EGパラメータを用いて、EG符号を用いる無損失モードで予測残差値を符号化するステップと、を有する方法を含む。
別の実施形態では、本開示は、少なくとも1つの符号化された予測残差値の値に従って、EGパラメータを適応して更新し、前記EGパラメータを有するEG符号を用いる無損失モードで予測残差値を符号化する、ように構成されるプロセッサ、を有する装置を含む。
更に別の実施形態では、本開示は、ビットストリーム内の少なくとも1つの2進ストリングの値に従ってEGパラメータを適応して更新るステップと、前記EGパラメータを有するEG符号を用いて無損失モードで2進ストリングを復号化するステップと、を有する方法を含む。
上述の及び他の特徴は、添付の図面及び請求の範囲と関連して以下の詳細な説明から更に明らかに理解されるだろう。
本開示のより完全な理解のために、添付の図面及び詳細な説明と関連して以下の簡単な説明を参照する。類似の参照符号は類似の部分を表す。
ビデオエンコーダの一実施形態の機能図である。 垂直SAPのための水平スキャン処理順序を示す。 水平SAPのための垂直スキャン処理順序を示す。 正の角度を有する垂直SAPを示す。 正の角度を有する水平SAPを示す。 4x4PUの一実施形態を示す。 PUのサンプルマトリックス一実施形態を示す。 ピクセルベースの予測スキームにおけるサンプル間の関係を示す。 αとして示される正の角度を用いて垂直SAPを示す。 正の角度を用いて水平SAPを示す。 無損失モードでPUを符号化する方法の一実施形態のフローチャートである。 無損失復号化モードの復号化方法の一実施形態のフローチャートである。 ビデオコーデックに実装される2値化スキームの一実施形態を示す。 無損失符号化におけるイントラ予測残差のヒストグラムである。 量子化及び変換されたイントラ予測残差のヒストグラムである。 ビデオコーデックに実装される2値化スキームの一実施形態を示す。 無損失符号化モードにおける2値化の方法の一実施形態のフローチャートである。 ビットストリームを復号化する方法の一実施形態のフローチャートである。 ネットワークノードの一実施形態の概略図である。
始めに理解されるべきことに、1又は複数の実施形態の説明的実装が以下に提供されるが、開示のシステム及び/又は方法は、現在知られているか既存かに関わらず任意の数の技術を用いて実装できる。本開示は、いかようにも、本願明細書に図示し記載する例示的設計及び実装を含む説明的実施形態、図面及び以下に記載する技術に限定されず、添付の請求の範囲の範囲内で該請求の範囲の等価範囲全てに従って変更できる。
色空間は、輝度(ルマ又はY)成分、並びにCb及びCrとして(又は時にはU及びVとして)示される2個のクロミナンス(クロマ)成分を含む3つの成分により表現され得る。ルマ又はクロマ整数値は、通常、ビットを用いるバイナリ形式で格納され処理される。YUV又はYCbCr色空間では、各ルマ(Y)ブロックは、Cbブロック及びCrブロックを含む2個のクロマブロックに対応する。Cbブロック及びCrブロックは、相互にも対応する。クロマブロック及びそれらの対応するルマブロックは、ビデオフレーム、スライス、又は領域の同一の相対位置に位置しても良い。議論されているアプローチは、RGB、YCoCg、等のような任意の他の色空間のビデオにも適用可能である。
ビデオ符号化では、YCbCr成分を符号化するために種々のサンプリングレートが用いられても良い。Cbブロック、その対応するCrブロック及び/又はその対応するYブロックのサイズは、サンプリングレートに依存して同一又は異なっても良い。例えば、4:2:0サンプリングレートでは、各NxNクロマ(Cb又はCr)ブロックは、2Nx2Nルマブロックに対応しても良い。この例では、クロマブロックの幅又は高さは、対応するルマブロックの幅又は高さの半分である。人間の目はルマ成分よりクロマ成分に対して感受性が低いので、クロマ成分はダウンサンプリング又はサブサンプリングされる。別の例では、4:4:4サンプリングレートでは、各NxNクロマ(Cb又はCr)ブロックは、NxNルマブロックに対応しても良い。この例では、より高いビデオ忠実性が保たれ得るが、より多くのデータが符号化される必要があり得る。4:2:2、4:2:1、等のような他のサンプリングレートも用いられても良い。
HEVCでは、新しいブロック概念が導入されている。例えば、符号化単位(coding unit:CU)は、等しい若しくは可変サイズの正方ブロックへのビデオフレームの細分化を表し得る。HEVCでは、CUは、以前の標準のマクロブロック構造を置き換え得る。インター又はイントラ予測モードに依存して、CUは、1又は複数の予測単位(prediction unit:PU)を有しても良い。予測単位の各々は、予測の基本単位として機能し得る。例えば、イントラ予測では、64x64CUは、4個の32x32PUに対照的に分割され得る。別の例では、インター予測では、1個の64x64CUは、1個の16x64PUと1個の48x64PUに非対称的に分割されても良い。
HEVCは未だ委員会の草案段階であり、4:2:0フォーマットを有するビデオシーケンスについて主な概略が策定されている。HEVC主要プロファイルでは、無損失符号化モードは、変換、量子化及びループ内フィルタ(つまり、デブロッキングフィルタ、サンプル適応オフセット(sample adaptive offset:SAO)及び適応ループフィルタ(adaptive loop filter:ALF))を単に迂回することにより達成され得る。設計は、HEVC主要プロファイル符号器及び復号器実装に負担させることなく、無損失符号化を提供することを目的とする。HEVCにおける不可逆符号化とは対照的な無損失に関する更なる詳細は、以下に提供される。
図1は、ビデオエンコーダ100の一実施形態の機能図である。エンコーダ100は、HEVCで用いられても良い。入力ブロックを有するビデオフレーム又はピクチャは、エンコーダ100に供給されても良い。入力ブロックを符号化するために、前に符号化されている1又は複数の参照ブロックに基づき、予測ブロックが生成されても良い。入力ブロックは、ルマ又はクロマCU又はPUであっても良い。予測ブロックは、入力ブロックの推定されたバージョンであっても良い。残差ブロックは、図示のように入力ブロックから予測ブロックを減算することにより(又はその逆)生成されても良い。残差ブロックは、入力ブロックと予測ブロックとの間の差、言い換えると予測残差若しくは誤差を表しても良い。予測残差を表すために必要なデータ量は、通常、入力ブロックを表すために必要なデータ量より少ないので、残差ブロックは、より高い圧縮率を達成するために符号化されても良い。
不可逆又は無損失符号化が用いられるかに依存して、エンコーダ100内に少なくとも2つの可能な経路がある。不可逆モードは、最初に扱われる。図1に示すように、不可逆モードでは、残差ピクセルを有する残差ブロックは、変換モジュール102に供給されても良い。その結果、空間領域における残差ピクセルは、変換行列を適用することにより、周波数領域の変換係数に変換されても良い。変換は、2次元変換、例えば離散コサイン変換(discrete cosine transform:DCT)に非常に類似する又はそれと同じ変換を通じて実現されても良い。さらに、変換モジュール102に続く量子化モジュール104で、高インデックス変換係数の数は、ゼロにまで減少されても良い。これは、後のエントロピー符号化ステップではスキップされても良い。量子化の後、量子化された変換係数は、エントロピーエンコーダ150によりエントロピー符号化されても良い。エントロピー符号化150は、コンテキスト適応型2進算術符号化(context−adaptive binary arithmetic coding:CABAC)方式、指数ゴロム(Exponential−Bolomb)方式、又は固定長方式、又はそれらの任意の組合せのような任意のエントロピー符号化スキームを用いても良い。エントロピー符号化の後に、符号化されたブロックは、エンコーダ100によりビットストリームの一部として送信されても良い。ビットストリームは、任意の利用可能なネットワークプロトコルを用いてパケット化され、カプセル化され、及び送信されても良い。
エンコーダ100では、残差ブロックは、図示のように変換、量子化、逆量子化及び逆変換を含む一連の動作を行った後に、残差ブロックIIに変換されても良い。これらの動作の一部又は全部は完全に可逆ではないので、変換処理中に情報損失が生じ得る。したがって、残差ブロックIIは、対応する残差ブロックの単に近似でしかなく、通常はより高い圧縮効率のために少ない非ゼロ残差ピクセルしか有しない。さらに、残差ブロックIIは、例えば2個のブロックを一緒に加算することにより、再構成ブロックを形成するために対応する予測ブロックと結合されても良い。特に断らない限り、対応するブロックは、ピクチャの同じ相対位置にあるブロックを示しても良い。この方法では、再構成ブロックは入力ブロックの不可逆バージョンであり得るので、エンコーダ100は不可逆符号化モードを実装しても良い。
再構成ブロックは、予測ブロックを生成するために参照ブロックとして用いられても良い。再構成ブロックの位置に依存して、予測は、インターフレーム予測及びイントラフレーム予測として(手短に言えば、それぞれ、インター予測及びイントラ予測として)分類され得る。使用中、連続ビデオフレーム又はスライスは、実質的に相関しても良く、1つのフレーム内の1つのブロックは、前に符号化されたフレーム内の対応するブロックから実質的に変化しない。インター予測は、フレーム又はピクチャシーケンス内の時間的冗長性、例えば連続フレームの対応するブロック間の類似性を利用して、圧縮データを減少させても良い。インター予測は、動き補償(motion compensation:MC)モジュール142が後に続く動き推定(motion estimation:ME)モジュール140により実施されても良い。インター予測では、動き補償アルゴリズムは、符号化順序に従って現在フレームに先行する1又は複数の参照フレーム内に位置する対応するブロックに基づき、現在フレーム内の現在ブロックの動きベクトルを計算するために実施されても良い。
(例えば、ブロッキングアーティファクトを低減することにより)再構成ビデオフレームの品質を向上するために、ループ内フィルタリングステップは、予測の前に実行されても良い。例えば、インター予測では、ブロッキングアーティファクトを除去又は低減するために、デブロッキングフィルタ120は、再構成ブロックのエッジに位置するピクセルに適用されても良い。デブロッキングフィルタ120を実施した後に、しばしば、ループ内フィルタリングステップは、再構成ピクセルの値を変更するよう構成されても良いサンプル適応オフセット(sample adaptive offset:SAO)モジュール122を更に有しても良い。適応ループフィルタ(ALF)124は、SAOモジュール122の後に適用されても良く、結果として生じた処理済みブロックは、インター予測補償で用いるためにフレームバッファ126に格納されても良い。
同様に、ビデオフレーム内で、ピクセルは同じフレーム内の他のピクセルと相関付けられても良く、1つのブロック内の又は幾つかのブロックに渡るピクセル値がほんの僅かしか変化しないように及び/又は反復的テクスチャを示すようにしても良い。同一フレーム内の近隣ブロック間の空間的相関を利用するために、イントラ予測は、イントラ予測(intra prediction:IP)モジュール132が後に続くイントラ予測推定(intra−prediction estimation:IPE)モジュール130により実施されて、(再構成ブロックを含む)1又は複数の前に符号化した近隣ブロックからの予測ブロックを補間しても良い。エンコーダ及びデコーダは、予測ブロックを独立に補間しても良く、それにより、1つのフレーム及び/又は画像の実質的部分を、比較的少数の参照ブロック、例えばフレームの左上角に位置する(及びそこから延在する)ブロックの通信から再構成できるようにする選択モジュール134は、入力ブロックのための最良モードを選択するために、インター及びイントラ予測の間で選択しても良い。通常、当業者により理解されるように、最良予測モードは、例えば予測されたブロックと元のブロックとの間の絶対差の最小和を生じる予測モードを選ぶレート歪み最適化(rate distortion optimization:RDO)を用いて決定されても良い。
無損失符号化は次に扱われる。無損失符号化モードでは、変換102、量子化104、逆量子化106、及び逆変換108モジュールは、ループ内フィルタ(デブロッキング120、SAO122、及びALFフィルタ124)と同様に、図1に示すように迂回される。変換102及び量子化104モジュールは、イントラ予測を有する不可逆符号化モードで、ブロック内のピクセルの予測が近隣ブロック内の参照ピクセルにのみ基づくことを示す、ブロックベースの処理を用いても良い。ブロック内の参照ピクセルは、該ブロック内のピクセル値の予測には利用できない場合がある。これに対し、イントラ予測を伴う無損失符号化モードでは、変換及び量子化モジュールが迂回されるので、ブロック内のピクセルの予測は、該ブロック内の他のピクセルに基づいても良い。この目的のために、サンプルベースの角度予測(sample based angular prediction:SAP)が不可逆符号化のために用いられても良い。
SAPでは、PU内の全てのサンプルは、B.Bross他による「High Efficiency Video Coding (HEVC) text specification draft 6」、JCT−VC Document, JCTVC−H1003, San Jose, CA, Feb. 2012(以後、「HEVCドラフト6」と表す)で定められるような同じ予測角を共有しても良い。また、予測角のシグナリングは、HEVCドラフト6におけるものと同じであっても良い。相違は、本願明細書に開示の方法では、良好なイントラ予測精度を達成するために、角度予測がPUに対してサンプル単位で実行されることである。つまり、現在PUの予測ブロックは、同じ予測角を用いることによりサンプル単位でSAPを実行することにより生成されても良い。
SAP方法では、PU内のサンプルは所定の順序で処理されて、PU内の現在サンプルがその直接の近隣から予測されているときに近隣サンプルが利用可能になるようにしても良い。図2Aは、垂直SAPのための水平スキャン処理順序を示す。図2Bは、水平SAPのための垂直スキャン処理順序を示す。図2A及び2Bに示すように、水平スキャン及び垂直スキャン処理順序は、それぞれ垂直及び水平角度予測に適用されても良い。現在PUの上及び左PU境界の周りにある参照サンプルの処理は、HEVCドラフト6に定められた処理と同じであっても良い。一方、現在PUの右及び下PU境界の周りにある参照サンプルの処理は、現在PUの最近接境界サンプルから単にパディングされる(図2A及び2Bのパディングされたサンプルを参照)。
図3Aは、正の角度を有する垂直SAPを示す。図3Bは、正の角度を有する水平SAPを示す。留意すべきことに、現在PUの右及び下PU境界の周りのパディングされたサンプルは、それぞれ図3A及び3Bに示すように、正の角度を有する垂直又は水平SAPの間に、必要であっても良い。図3A及び3Bでは、xは予測されるべきピクセルを表し、a及びbは近隣サンプル値(実際の又は予測された)を表す。
正の角度を有する垂直SAP及び4x4PUを例として考える。図4は、S(i,j)、i=0,1,2,3及びj=0,1,2,3として示されるサンプル(ピクセル値)を有する4x4PUの一実施形態である。Pad(i)、i=0,1,2は、従来の技術を用いて最近接サンプルを用いて導出されたパディングされた参照サンプルを示し、パディングされた参照サンプルの処理は次式のように表現できることを意味する。
Pad(i)=S(i,3)、i=0,1,2
正の予測角を有する垂直SAPでは、P(i,3)として示されるS(i,3)、i=0,1,2,3の予測値は、次式で与えられ、予測角の値とは独立である。
P(i,3)=S(i−1,3)、i=1,2,3 (1)
したがって、事実上、サンプルP(i,3)、i=1,2,3の垂直予測角が常に0度であり、一方、他のサンプルは異なる予測角を用いても良い。別の言い方をすれば、予測値P(i,3)、i=1,2,3は、ゼロの予測角を有する。結果は、水平SAPについても同じである。これらの観察に基づき、特定の境界サンプルのうちの各々を、垂直SAPで直ぐ上のピクセル又は水平SAPで直ぐ左にあるピクセルだけでなく、その対応する近隣サンプル又はピクセルを用いて予測することが望ましい。
本願明細書には、ピクセルベースの予測においてPU内の境界サンプルの予測を向上するための方法及び装置が開示される。隣接サンプルの複製である、したがって冗長情報を表す境界サンプルの予測において、パディングされたサンプルを用いる代わりに、境界サンプルは近隣サンプルを用いて予測されても良い。無損失符号化モードにおける効率的なピクセルベースの予測スキームを提供するために、境界サンプルの向上された予測は、PU内の他のピクセルのSAPと組み合わされても良い。
上述の観察に基づくと、境界サンプルの各々、例えば4x4PUの垂直SAPではS(i,3)、i=1,2,3、及び4x4PUの水平SAPではS(3,i)、i=1,2,3を、垂直SAPでは直ぐ上のピクセル又は水平SAPでは直ぐ左のピクセルだけではなく、その対応する近隣ピクセルを用いて予測することが望ましい。図5は、大きさNxNのPUのサンプルマトリックスの一実施形態を示す。一例として垂直SAPを考える。太線で囲まれたボックス内の境界サンプル、つまりS(i,N−1)、i=1,...,N−1を予測するために、以下の適応予測子が用いられる。Xは境界サンプルのうちの1つを表すとする。つまり、X=S(i,N−1)、1≦i≦(N−1)。P(x)はサンプルXの予測された値を表すとする。近隣サンプルに隣接するXの左、上、及び左上を、それぞれA、B、及びCと表す。図6は、サンプルA、B、C及びXの間の関係を示す。サンプルXは次のように予測されても良い。
Figure 0005944045
水平SAPのための水平スキャン順序での式(2)の使用を説明するために、サンプルS(1,N−1)が予測される必要がある(つまり、X=S(1,N−1))。近隣サンプルS(1,N−2)、S(0,N−1)及びS(0,N−2)は、図2Aの水平スキャン順序を用いて予測され、したがってP(S(1,N−2))、P(S(0,N−1))、P(S(0,N−2))を生じ得る。式(2)及び図6の表記を用いると、P(X=S(1,N−1))の決定において、A=P(S(1,N−2))、B=P(S(0,N−1))、C=P(S(0,N−2))である。
水平SAPのための垂直スキャン順序での式(2)の使用を説明するために、サンプルS(N−1,1)が予測される必要がある(つまり、X=S(N−1,1))。SAP予測では、S(N−1,1)の下には利用可能な近隣サンプルが存在しない。したがって、式(2)が用いられる。近隣サンプルS(N−1,0)、S(N−2,0)及びS(N−2,1)は、図2Bの垂直スキャン順序を用いて予測され、したがってP(S(N−1,0))、P(S(N−2,0))、P(S(N−2,1))を生じ得る。式(2)及び図6の表記を用いると、式(2)を用いたP(X=S(N−1,1))の決定において、A=P(S(N−1,0))、B=P(S(N−2,1))、C=P(S(N−2,0))である。通常、水平SAPが用いられるとき、式(2)の適応予測子を用いた境界サンプルは、S(N−1,i)、i=1,...,N−1であっても良い。上述のサンプルのうちの1つを予測するために、式(2)と同じ予測子が用いられても良い。
しかし、式(2)は、特定の境界サンプルS(i,N−1)又はS(N−1,i)、i=1,...,N−1の近隣サンプル値に基づきサンプル値を予測するための1つの可能な方法である。他の可能性は、値A、B及びCの中央値又は平均を計算することを含む。
サンプルが(垂直SAPの)境界サンプルS(i,N−1)又は(水平SAPの)S(N−1,i)、i=1,2,...,N−1のうちの1つではない場合、任意の従来のSAP技術が用いられても良い。図7Aは、αとして示される正の角度を用いて垂直SAPを示す。図7Bは、αとして示される正の角度を用いて水平SAPを示す。図7A及び7Bでは、Xは予測されるべきピクセル値を表し、a及びbは近隣ピクセルの実際の又は予測されたピクセル値を表す。両方の場合に、XはA及びBの重み付けされた(又は線形の)組み合わせであっても良い。例えば、Xは次式のように表される。
X=(1−s)*A+s*B (3)
ここで、sは範囲[0,1]の重み係数である。重み係数は、αが小さいときAにより大きな重みを与え、Bに与えられる重みはαが増大するにつれて増大する。重み係数sは、例えば、tan(α)に等しくても良い。ここで、0≦α≦45度である。HEVCにおいて指定されるイントラ予測は、これらの重み係数を計算するためのこれらの可能な方法のうちの1つである。
図8は、無損失モードでPUを符号化する方法700の一実施形態のフローチャートである。方法はブロック710で開始する。ブロック710で、PUの処理順序が決定される。処理順序は、例えば図2Aに示されるような水平処理順序、又は図2Bに示されるような垂直処理順序であっても良い。次に、ブロック720で、PU内の境界サンプルの予測値が計算される。予測されるべき境界サンプルは、水平処理順序では(つまり、他のサンプルについて垂直SAPが用いられるとき)S(i,N−1)、i=1,2,...,N−1として示され、垂直処理順序では(つまり、他のサンプルについて水平SAPが用いられるとき)S(N−1,i)、i=1,2,...,N−1として示されても良い。つまり、予測されるべき特定の境界サンプルは、スキャン又は処理順序に依存する。PUは図5に示すように配置されても良い。境界サンプルの予測値は、例えば図6に示すような対応する左、上、及び左上の近隣サンプルに基づき及び式(2)を用いて計算されても良い。次にブロック730で、PU内の残りのサンプル(つまり、前述の境界サンプル以外のPU内の全てのサンプル)の予測値は、SAPを用いて計算される。予測角に依存した組合せで、2個の近隣サンプルの線形結合として1つのサンプルを予測する任意の従来のSAP技術が用いられても良い。式(3)は、SAP技術の一例を示す。ブロック720及び730は、順番に又は並列に実行されても良い。ブロック740で、予測PU又は予測ブロックを提供するためにPU内の全てのサンプルの予測値が決定された後、残差ブロックは、図1に示すように計算されても良い。残差ブロックは、入力ブロックと計算された予測ブロックとの間の差であっても良い。最後に、ブロック750で、残差ブロックは、例えば図1に示すようなエントロピー符号化を用いて符号化されても良い。変換102及び量子化104モジュールが無損失モードで迂回されることを思い起こすと、残差ブロックは、エントロピーエンコーダ150に直接提供されても良い。エントロピー符号化された値は、ビットストリームに挿入されても良い。PUは、ルマ又はクロマサンプルを有しても良い。方法700は、ルマサンプルのみ、クロマサンプルのみ、又はルマサンプルとクロマサンプルの両方に適用されても良い。
図9は、無損失復号化モードの復号化方法760の一実施形態のフローチャートである。本願明細書に記載のビデオ符号化スキームの詳細を得ると、当業者は、本願明細書に記載の符号化を逆にし又は「元に戻す」ために復号化を考案できるだろう。しかしながら、方法760は、説明及び便宜のために提供される。方法750は、ブロック765で開始し、ビットストリームの一部は、残差ブロックを生成するためにエントロピー復号化を用いて復号化される。ブロック770で、予測ブロックは、1又は複数の前の復号化近隣ブロック内の残差ブロックの外部の複数の参照ピクセルに基づき再構成される。処理順序に基づき識別される境界サンプルは、対応する左、上、及び左上の近隣再構成サンプルを用いて再構成されても良い。予測ブロック内の残りのサンプルは、SAP(水平処理順序では垂直SAP、及び垂直処理順序では水平SAP)を用いて再構成されても良い。ブロック775で、ビデオフレーム内の元のブロック(例えば、入力PU)の推定を得るために、予測ブロックは残差ブロックに加算されても良い。元のブロックは、ルマ又はクロマサンプルであっても良い。
HEVCドラフト6では、符号化ユニットが無損失符号化モードを用いるとき、イントラルマ予測残差の2値化スキームは、イントラルマ変換係数レベルの2値化スキームと同じである。2つのデータセット間の異なる統計により、2値化スキームは、既存のスキームを有意に変更することなく、ルマ予測残差のために更に向上できる。
変換係数レベルの符号化処理は、2つの主要な部分を有しても良い。つまり、レベルをビンのシーケンスに変換する2値化、及びビンをビットに圧縮する2進算術エントロピー符号化である(集合的に、例えばエントロピーエンコーダを用いてエントロピー符号化として実施される)。図10は、ビデオコーデックに実装される2値化スキーム780の一実施形態を示す。予測残差の絶対値(Xとして示される)に依存して、その2進表現は1、2、又は3個の部分を有しても良い。例えば図1に示したような残差ブロックは、複数の予測残差を有しても良い。前述のように、予測残差は、元のピクセルと予測ピクセルとの間の差であっても良い。一実施形態では、Xが1又は2に等しい場合、Xは、1が「0」として2値化され及び2が「10」として2値化されるUnary符号を用いる1つの部分として2値化されても良い。このような符号化は、最大長2を有するTruncated Unary(TU)符号として表されても良い。X≧3の場合、値3は、2進ストリング「11」を用いて最初に2値化され、値(X−3)は、Truncated Golomb−Rice(TR)符号を用いて更に2値化される。TR符号では、表現可能な最大値は、Mとして示される。(X−3)≦Mの場合、(M−3)はTRにより表現され得る。しかしながら、(X−3)≧(M+1)の場合、値(M+1)は全て1の2進ストリングで最初に2値化される。次に、(X−3−(M+1))の余りは、EG0符号として表される、パラメータK=0を有する指数ゴロム(Exponential−Golomb:EG)符号を用いて符号化される。EG符号は、汎用符号の一例であり、当業者に理解されるように、正の整数を2進コードワードにマッピングする。他の汎用符号がEG符号の代わりに用いられても良い。
留意すべきことに、上述の2値化方法は、元来、通常は小さな値を有する量子化された変換係数を符号化するために設計された。しかしながら、無損失符号化の場合のルマ成分に対する2値化演算への入力は、変換及び量子化を有しないイントラ予測残差であっても良く、イントラ符号化変換係数と異なる統計的特性を示す。
SlideEditingテストシーケンスを例として用いると、QP=27を用いて符号化されるとき、無損失符号化におけるそのイントラルマ予測残差のヒストグラム及びその量子化された変換係数のヒストグラムは、それぞれ図11及び12に示される。これらの結果により示されるように、大きなルマ予測残差は、変換係数と比べて無損失の場合に比較的高い周波数と共に現れる。
予測残差値が大きい場合、EG0符号による2値化に残される値も比較的大きくなり、結果として非効率な表現を生じる。より高い次数のEG符号を用いて大きな値を表現することは、小さなKパラメータを有するEG符号と比べてより効率的であり得る。しかしながら、Kパラメータは、小さな値について符号化の不利益を導入し得るので、大きすぎてはならない。
本願明細書には、予測残差の統計を考慮に入れる適応型2値化を実行する方法及び装置が開示される。適応型2値化は、従来の2値化スキームよりも、無損失符号化スキームの予測残差の統計により適し得る。本願明細書に開示される適応型2値化は、過去に2値化されたイントラ予測残差の平均レベルに従って、EG符号のK値を適応することを含む。
図13は、ビデオコーデックに実装される2値化スキーム790の一実施形態を示す。図2のスキーム780について議論するように、(X−3)≧(M+1)の場合、値(M+1)は全て1の2進ストリングで最初に2値化される。次に、(X−3−(M+1))の余りは、k=0を有するEG符号(つまり、EG0符号)を用いて符号化される。これに対し、図13のスキーム790は、後述するように、(X−3)≧(M+1)の場合、EG符号のパラメータK(本願明細書ではEGパラメータとして表される場合も多い)を適応しても良い。パラメータKを有するEG符号化は、EGKとして表される場合が多い。条件(X−3)≧(M+1)が満たされない場合、符号化は図12の場合と同じである。
図14は、無損失符号化モードにおける2値化の方法800の一実施形態のフローチャートである。方法800は、ブロック810で開始し、EGパラメータは所定値、例えば0又は3に初期化される。また、ブロック810で、Nとして示されるカウンタ及びAとして示されるアキュムレータ(方法800の後半で用いられる変数)は、ゼロに設定されても良い。次に、ブロック820で、第1の予測残差は、選択されたEGパラメータを有するEG符号化を用いて符号化される。例えば、EGパラメータがk=3の場合、EG3符号化が用いられる。方法800は、(X−3)≧(M+1)を満たす予測残差に適用する。また、これらの予測残差では、値(M+1)は全て1の2進ストリングで2値化される。値((X−3)−(M+1))の余りは、EG符号を用いて符号化されても良い。ブロック830で、カウンタNは、パラメータKを有するEG符号を用いて符号化された予測残差の数として更新され、係数グループ(通常、16個の予測残差のブロック)の中の現在の数を含み、ここで0≦K≦Kmaxであり、Kmaxは最大許容値である。次に、ブロック840で、アキュムレータAは、パラメータKを用いる最近符号化された値を用いて更新される。アキュムレータAは、(X−3)≧(M+1)の場合に((X−3)−(M+1))の形式の前の符号化から、符号化された値の合計として更新されても良く、係数グループの中の現在の値を含む。ブロック850で、パラメータKの値は更新される。多数の実施形態は、パラメータKを更新するために用いられても良く、以下の6個の代替の実施形態のうちの1つを含む。
パラメータKを更新する第1の実施形態は次の通りである。
Figure 0005944045
ここで、構文は当業者により理解される。つまり、(N<<i)は、整数Nの2進表現をiビットだけ左にシフトすることを示す。i++は、iを1だけ増大することを示す。そして、「&&」は、論理積(AND)演算子を示す。留意すべきことに、Kパラメータを更新する動作は、1つの加算、最大でも(Kmax+1)回のインクリメント演算、最大でもKmax回の左シフト演算、及び最大でも2Kmax回の比較演算しか含まないので、軽微であり得る。
パラメータKを更新する第2の実施形態は次の通りである。
Figure 0005944045
パラメータKを更新する第3の実施形態は次の通りである。
Figure 0005944045
ここで、wは、適応速度を調整するための所定のパラメータである。(Eq.1)の方法は、w=1を用いる(Eq.3)の方法に対応しても良い。w>1の場合、適応速度は、w=1を用いる方法より速くなり得る。w<1の場合、適応速度は、w=1を用いる方法より遅くなり得る。
パラメータKを更新する第4の実施形態は次の通りである。
Figure 0005944045
適応レートを微調整したい場合、正の係数アレイc[i]、i=0,...,Kmaxが導入されても良い。パラメータKを更新する第5の実施形態は次の通りである。
Figure 0005944045
留意すべきことに、c[i]、i=0,...,Kmaxは、(Eq.1)の方法に対応しても良い。
パラメータKを更新する第6の実施形態は次の通りである。
Figure 0005944045
(Eq.1)から(Eq.6)に開示された実施形態は、ルマ成分のみに適用されても良い。代替で、(Eq.1)から(Eq.6)に開示された実施形態は、ルマ及びクロマ成分の両方に適用されても良い。ブロック860で、次の予測残差値は、更新されたパラメータKを用いて符号化され、結果はビットストリームに挿入される。決定ブロック870で、符号化されるべき任意の予測残差が残っているか否かの決定が行われる。残っている場合、フローチャート800はブロック830に戻り、ブロック830−860は次の予測残差について繰り返される。残っていない場合、方法800は終了する。方法800はサンプル毎に又は値毎にパラメータKを更新するという観点で記載されたが、代わりに、パラメータKはブロック毎に更新されても良い。(X−3)≧(M+1)を満たさない任意の予測残差では、予測残差は、図12及び13に関して説明されるようにTU及びTR符号を用いて符号化される。パラメータKの適応は、係数グループ、例えば4x4残差ブロックの中で実行されても良い。この場合、N及びAは、残差ブロックの始めに初期化され、ステップ830−860は残差ブロック内のピクセルについて繰り返されても良い。パラメータKは、各残差ブロックの始めに初期化されても良い。或いは代替で、パラメータKは、フレームの始めに1回初期化されても良く、パラメータKは残差ブロックから残差ブロックへと引き継がれても良い(例えば、ある残差ブロックの始めにおけるパラメータKは、前の残差ブロックの終わりにおけるパラメータKと同じである)。
当業者により理解されるように、エントロピー復号化は、受信したビットストリームを復号化するために、方法800で指定された動作と同様の動作を用いても良い。図15は、図14の方法800により生成されるビットストリームを復号化する方法1400の一実施形態のフローチャートである。方法1400のステップは、2進ストリングを生成するために予測残差を符号化する代わりに、ブロック1420及び1460が予測残差を生成するために受信したビットストリーム内の受信2進ストリングの復号化を含むことを除き、方法800のステップと同様である。
上述のスキームは、コンピュータ又は配置された必要な負荷を処理するために十分な処理能力、メモリ資源及びネットワークスループット能力を有するネットワークコンポーネントのようなネットワークコンポーネントで実施されても良い。図16は、エンコーダ100、PUを符号化する方法700、及びPUを復号化する方法760、無損失符号化における2値化の方法800、及び復号化の方法1400のような本願明細書に開示のビデオコーデック又は方法の1又は複数の実施形態を実施するのに適するネットワークコンポーネント又はノード1500の一実施形態の概略図である。ネットワークノード1500は、2次記憶1504を含むメモリ装置、ROM(read only memory)1506、RAM(random access memory)1508、入力/出力(I/O)装置1510、及び送信機/受信機(又は通信機)1512と通信するプロセッサ1502を有する。I/O装置1510及び/又は送信機/受信機1512は、任意であっても良い。これらが含まれない場合には、ネットワークノード1500はコンピューティング装置になり、この場合には、符号化ビットストリーム又は復号化ビデオストリームはメモリに格納されても良い。プロセッサ1502は、1又は複数の中央処理ユニット(CPU)チップ、コア(例えば、マルチコアプロセッサ)、FPGA(field−programmable gate array)、ASIC(application specific integrated circuit)、及び/又はDSP(digital signal processor)として実装されても良い。プロセッサ1502は、ハードウェア又はハードウェアとソフトウェアの組合せを用いて実装されても良い。
2次記憶1504は、通常、1又は複数のディスクドライブ又はテープドライブを有しても良く、RAM1508が全ての作業データを保持するのに十分大きくない場合にデータの不揮発性記憶のために及びオーバフローデータ記憶装置として用いられる。2次記憶1504は、プログラムが実行のために選択されると、RAM1508にロードされる該プログラムを格納するために用いられても良い。ROM1506は、プログラム実行中にリードされる命令及び場合によってはデータを格納するために用いられる。ROM1506は、通常、2次記憶1504のより大きなメモリ容量に対して小さなメモリ容量を有する不揮発性メモリ装置である。RAM1508は、不揮発性データを格納するため、及び場合によっては命令を格納するために用いられる。ROM1506及びRAM1508の両方へのアクセスは、通常、2次記憶804へのアクセスよりも速い。
送信機/受信機1512は、ネットワークノード1500の出力及び/又は入力装置として機能しても良い。例えば、送信機/受信機1512は、送信機として動作している場合、ネットワークノード1500の外部へデータを送信しても良い。送信機/受信機1512は、受信機として動作している場合、ネットワークノード1500内へデータを受信しても良い。送信機/受信機1512は、モデム、モデムバンク、Ethernet(登録商標)カード、USB(universal serial bus)インタフェースカード、シリアルインタフェース、トークンリングカード、FDDI(fiber distributed data interface)カード、WLAN(wireless local area network)カード、CDMA(code division multiple access)、GSM(登録商標)(global system for mobile communications)、LTE(long−term evolution)、WiMAX(worldwide interoperability for microwave access)、及び/又は他の無線インタフェースプロトコル無線通信機カード、及び他のよく知られたネットワーク装置のような無線通信機カードの形式であっても良い。送信機/受信機812は、インターネット、又は1又は複数のイントラネットと通信するための手段をプロセッサ1502に提供しても良い。ネットワークノード1500がビデオエンコーダとして動作している場合、プロセッサ1502は、ビットストリームを符号化しても良い。プロセッサ1502は、送信のためにビットストリームをパケット化及びカプセル化し(つまりフォーマットし)、フォーマットしたビットストリームを送信機/受信機1512に提供しても良い。次に、送信機/受信機1512は、フォーマットされたビットストリームを送信しても良い。同様に、ネットワークノード1500がビデオデコーダとして動作している場合、送信機/受信機は、フォーマットされたビットストリームを受信しても良い。
I/O装置1510は、ビデオを表示するためのビデオモニタ、液晶ディスプレイ(LCD)、タッチスクリーンディスプレイ、又は他の種類のビデオディスプレイを有しても良く、及び/又はビデオをキャプチャするためのビデオ記録装置を有しても良い。I/O装置1510は、1又は複数のキーボード、マウス、又はトラックボール、又は他のよく知られた入力装置を有しても良い。ネットワークノード1500がビデオエンコーダとして動作している場合、符号化されるべきビデオストリームは、I/O装置1510により提供されても良く、又は別の方法で提供されても良い。同様に、ネットワークノード1500がビデオデコーダとして動作している場合、復号化されるべきビデオストリームは、送信機/受信機1512を介して受信されても良く、又は別の方法で提供されても良い。
理解されるべきことに、プログラミングすることにより及び/又は実行可能命令をネットワークノード1500にロードすることにより、プロセッサ1502、2次記憶1504、RAM1508、及びROM1506のうちの少なくとも1つは、変更され、ネットワークノード1500を部分的に特定の機械又は装置(例えば、本開示により教示される機能を有するビデオコーデック)に変換する。実行可能命令は、2次記憶1504、ROM1506及び/又はRAM1508に格納され、実行のためにプロセッサ1502にロードされても良い。電気工学及びソフトウェア工学の分野で基本的なことに、実行可能ソフトウェアをコンピュータにロードすることにより実施可能な機能は、よく知られた設計ルールによりハードウェア実装に変換できる。構想をソフトウェアとハードウェアのどちらに実装するかの決定は、通常、ソフトウェア領域からハードウェア領域への変換に関連する問題と言うより、設計の安定性及び製造すべき多数のユニットの検討次第である。通常、ハードウェア実装をやり直す(re−spinning)ことはソフトウェア設計をやり直すよりも高価なので、再び未だ頻繁に変更される設計は、ソフトウェアで実装されることが好ましい。通常、大量生産工程では、ハードウェア実装はソフトウェア実装よりも安価であり得るので、大量生産される安定した設計は、ハードウェアで、例えばASIC(application specific integrated circuit)で実装されることが好ましい。多くの場合、設計はソフトウェア形式で開発され試験され、後によく知られた設計ルールによりソフトウェア命令を配線する特定用途向け集積回路内の等価なハードウェア実装に変換される。新しいASICにより制御される機械が特定の機械又は装置であるのと同じように、プログラミングされた及び/又は実行可能命令をロードされたコンピュータは、特定の機械又は装置として考えられ得る。
少なくとも1つの実施形態が開示され、当業者により行われる該実施形態の及び/又は該実施形態の特徴の変形、結合及び/又は変更は、本開示の範囲内にある。実施形態の特徴の結合、統合及び/又は省略から生じる代替の実施形態も、本開示の範囲内に包含される。数値範囲又は限界が明示される場合、そのような範囲又は限界の表現は、明示した範囲又は限界に包含される大きさのような反復範囲又は限界を含む(例えば、約1から約10は2、3、4等を含み、0.10より大きいは0.11、0.12、0.13等を含む)ことが理解され得る。例えば、下限Rl及び上限Ruを有する数値範囲が議論されるときは、その範囲内に含まれる任意の数が詳細に開示される。特に、その範囲内の以下の数が詳細に開示される。R=Rl+k*(Ru−Rl)、ここで、kは1パーセント乃至100パーセントの範囲の1パーセントずつ増加する変数であり、つまりkは1パーセント、2パーセント、3パーセント、4パーセント、5パーセント、...、50パーセント、51パーセント、52パーセント、...、95パーセント、96パーセント、97パーセント、98パーセント、99パーセント、又は100パーセントである。さらに、上述のように2つのRの数により定められる数値範囲が詳細に開示される。用語「約」の使用は、特に断りのない限り、連続する数の+/−10%を意味する。請求項の要素に関する用語「任意」の使用は、該要素が必要であり又は代替であること、該要素が必要でないこと、の両方の代替が請求の範囲に含まれることを意味する。有する、含む(comprises,includes,having)のような広義の用語の使用は、〜から成る、原則的に〜から構成される、実質的に〜から成る(consisting of,consisting essentially of,comprised substantially of)のような狭義の用語の支持を提供すると理解され得る。したがって、保護範囲は、上述の説明により限定されず、添付の請求の範囲により定められ、該請求の範囲は、請求項の主題の全ての等価物を含む。ありとあらゆる請求項は、更なる開示として本願明細書に組み込まれ、請求項は本開示の実施形態である。本開示における参考文献、特に本願の優先日後の発行日を有する参照文献の議論は、それが従来技術であることを承認するものではない。本開示で引用された全ての特許、特許出願、及び刊行物の開示は、参照することにより本願明細書に組み込まれ、それらは例示、手続き又は他の詳細な補足を本開示に提供する。
幾つかの実施形態が本開示で提供されたが、開示のシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形式で実施されても良いことが理解され得る。本例は、説明として考えられるべきであり、制限であると考えられるべきではない。また、意図は、ここに与えた詳細事項に限定されない。例えば、種々の要素又は構成要素は、別のシステムに結合され又は統合されても良い。或いは、特定の特徴が省略され又は実装されなくても良い。
さらに、種々の実施形態で分散又は別個として記載され図示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術又は方法に結合され又は統合されても良い。互いに結合され又は直接結合され又は通信するとして示され又は議論された他のアイテムは、電気的に、機械的に又は他の方法かに関わらず、特定のインタフェース、装置又は中間構成要素を通じて間接的に結合され又は通信しても良い。変更、置換及び代替の他の例は、当業者により解明可能であり、本開示の精神及び範囲から逸脱することなく行われ得る。

Claims (22)

  1. 予測単位の処理順序に依存して、該予測単位の境界サンプルの上及び右上にある近隣サンプル又は左及び左下にある近隣サンプルを用いて該予測単位の境界サンプルの予測値を計算するステップと、
    前記予測単位のうち前記境界サンプルを除く残りのサンプルの予測値をサンプルベースの角度予測(SAP)を用いて計算するステップと、
    入力ブロックと、前記境界サンプルの予測値及び前記残りのサンプルの予測値を有する予測ブロックと、の間の差を計算することにより、残差ブロックを計算するステップと、
    前記残差ブロックを符号化するステップと、
    前記残差ブロックに含まれる少なくとも1つの符号化された予測残差値の値に従って、指数ゴロム(EG)パラメータの値を適応して更新するステップと、
    前記EGパラメータの値を用いて、EG符号を用いる無損失モードで予測残差値を符号化するステップと、
    を有する方法。
  2. 前記EGパラメータは、
    前記EGパラメータの前記値を用いて符号化された少なくとも1つの予測残差の数だけカウンタを増大するステップと、
    前記少なくとも1つの予測残差の前の符号化値の合計を用いて、アキュムレータを更新するステップと、
    により適応して更新される、請求項1に記載の方法。
  3. 前記EGパラメータの前記値を初期値に初期化するステップと、
    前記初期値を用いたEG符号化を用いて第1の予測残差値を符号化するステップと、
    を更に有し、
    前記カウンタの更新及び前記アキュムレータの更新は、前記符号化された第1の予測残差値をもたらす、請求項2に記載の方法。
  4. 残差ブロックを符号化する前に、前記カウンタをゼロに初期化するステップであって、前記残差ブロックは、前記予測残差値を含む複数の予測残差値を有する、ステップと、
    前記残差ブロックを符号化する前に、前記アキュムレータをゼロに初期化するステップと、
    を更に有し、
    前記残差ブロックの最後のEGパラメータは、前記残差ブロックの直後の次の残差ブロックの最初のEGパラメータとして引き継がれる、請求項3に記載の方法。
  5. 残差ブロックを符号化する前に、前記カウンタをゼロに初期化するステップであって、前記残差ブロックは、前記予測残差値を含む複数の予測残差値を有する、ステップと、
    前記残差ブロックを符号化する前に、前記アキュムレータをゼロに初期化するステップと、
    を更に有し、
    前記残差ブロックの後の次の残差ブロックの最初のEGパラメータは、前記残差ブロックの最後のEGパラメータと独立した値に初期化される、請求項3に記載の方法。
  6. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、K max はKの最大許容値を示す、請求項3に記載の方法。
  7. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項3に記載の方法。
  8. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、wは適応速度を調整するための所定のパラメータであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項3に記載の方法。
  9. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、wは適応速度を調整するための所定のパラメータであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項3に記載の方法。
  10. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、c[i]はi=0,...,Kmaxの正の係数アレイであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項3に記載の方法。
  11. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、c[i]はi=0,...,Kmaxの正の係数アレイであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項3に記載の方法。
  12. プロセッサであって、
    予測単位の処理順序に依存して、該予測単位の境界サンプルの上及び右上にある近隣サンプル又は左及び左下にある近隣サンプルを用いて該予測単位の境界サンプルの予測値を計算し、
    前記予測単位のうち前記境界サンプルを除く残りのサンプルの予測値をサンプルベースの角度予測(SAP)を用いて計算し、
    入力ブロックと、前記境界サンプルの予測値及び前記残りのサンプルの予測値を有する予測ブロックと、の間の差を計算することにより、残差ブロックを計算し、
    前記残差ブロックを符号化し、
    前記残差ブロックに含まれる少なくとも1つの符号化された予測残差値の値に従って、指数ゴロム(EG)パラメータを適応して更新し、
    前記EGパラメータを有するEG符号を用いる無損失モードで予測残差値を符号化する、
    ように構成されるプロセッサ、を有する装置。
  13. 前記EGパラメータは、
    前記EGパラメータの前記値を用いて符号化された少なくともつの予測残差の数だけカウンタを増大し、
    前記少なくとも1つの予測残差の前の符号化値の合計を用いて、アキュムレータを更新する、
    ことにより適応して更新される、請求項12に記載の装置。
  14. 前記プロセッサは、
    前記EGパラメータの前記値を初期値に初期化し、
    前記初期値を用いたEG符号化を用いて第1の予測残差値を符号化する、
    よう更に構成され、
    前記カウンタの更新及び前記アキュムレータの更新は、前記符号化された第1の予測残差値をもたらす、請求項13に記載の装置。
  15. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、K max はKの最大許容値を示す、請求項14に記載の装置。
  16. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項14に記載の装置。
  17. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、wは適応速度を調整するための所定のパラメータであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項14に記載の装置。
  18. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、wは適応速度を調整するための所定のパラメータであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項14に記載の装置。
  19. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、c[i]はi=0,...,Kmaxの正の係数アレイであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項14に記載の装置。
  20. 前記EGパラメータの前記値は、
    Figure 0005944045
    により決定され、c[i]はi=0,...,Kmaxの正の係数アレイであり、Kは前記EGパラメータの前記値を示し、Nは前記カウンタを示し、Aは前記アキュムレータを示し、KmaxはKの最大許容値を示す、請求項14に記載の装置。
  21. ビットストリームを復号化して残差ブロックを生成するステップと、
    予測単位の処理順序に依存して、該予測単位の境界サンプルの上及び右上にある近隣サンプル又は左及び左下にある近隣サンプルを用いて該予測単位の境界サンプルの予測値を計算するステップと、
    前記予測単位のうち前記境界サンプルを除く残りのサンプルの予測値をサンプルベースの角度予測(SAP)を用いて計算するステップと、
    前記残差ブロックと、前記境界サンプルの予測値及び前記残りのサンプルの予測値を有する予測ブロックと、を加算することにより、元の入力ブロックを計算するステップと、
    前記残差ブロックに含まれる少なくとも1つの2進ストリングの値に従って、指数ゴロム(EG)パラメータを適応して更新するステップと、
    前記EGパラメータを有する指数ゴロム(EG)符号を用いて無損失モードで2進ストリングを復号化するステップと、
    を有する方法。
  22. 前記EGパラメータは、
    前記EGパラメータの前記値を用いて復号化された少なくとも1つの予測残差の数だけカウンタを増大するステップと、
    受信した符号化値の合計を用いて、アキュムレータを更新するステップと、
    により適応して更新される、請求項21に記載の方法。
JP2015507253A 2012-04-20 2013-04-22 Hevcの無損失符号化におけるイントラ予測残差の2値化スキーム及びイントラ予測の向上 Active JP5944045B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261636409P 2012-04-20 2012-04-20
US61/636,409 2012-04-20
US13/866,468 US9930362B2 (en) 2012-04-20 2013-04-19 Intra prediction in lossless coding in HEVC
US13/866,468 2013-04-19
PCT/US2013/037663 WO2013159119A1 (en) 2012-04-20 2013-04-22 Parameter determination for exp-golomb residuals binarization for lossless intra hevc coding

Publications (2)

Publication Number Publication Date
JP2015517285A JP2015517285A (ja) 2015-06-18
JP5944045B2 true JP5944045B2 (ja) 2016-07-05

Family

ID=48325894

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015507221A Active JP5944044B2 (ja) 2012-04-20 2013-04-19 Hevcの無損失符号化におけるイントラ予測の向上
JP2015507253A Active JP5944045B2 (ja) 2012-04-20 2013-04-22 Hevcの無損失符号化におけるイントラ予測残差の2値化スキーム及びイントラ予測の向上

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015507221A Active JP5944044B2 (ja) 2012-04-20 2013-04-19 Hevcの無損失符号化におけるイントラ予測の向上

Country Status (6)

Country Link
US (1) US9930362B2 (ja)
EP (2) EP2839651A1 (ja)
JP (2) JP5944044B2 (ja)
KR (2) KR101628797B1 (ja)
CN (2) CN104205843A (ja)
WO (2) WO2013158998A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491475B2 (en) 2012-03-29 2016-11-08 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9392286B2 (en) 2013-03-15 2016-07-12 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9774879B2 (en) 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
GB201318087D0 (en) * 2013-10-11 2013-11-27 Canon Kk Video encoding and decoding
CN104683805B (zh) * 2013-11-30 2019-09-17 同济大学 图像编码、解码方法及装置
US9794575B2 (en) 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
US10142636B2 (en) * 2014-06-09 2018-11-27 Sony Corporation Communication system with coding mechanism and method of operation thereof
EP3203735A1 (en) * 2014-11-05 2017-08-09 Samsung Electronics Co., Ltd. Per-sample prediction encoding apparatus and method
CN104780377B (zh) * 2015-03-18 2017-12-15 同济大学 一种基于分布式计算机系统的并行hevc编码系统及方法
US10841574B2 (en) * 2016-04-25 2020-11-17 Lg Electronics Inc. Image decoding method and device using intra prediction in image coding system
WO2018030291A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018062702A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
WO2018174657A1 (ko) * 2017-03-23 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2019027187A1 (ko) * 2017-08-03 2019-02-07 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN108172168B (zh) * 2017-12-22 2019-11-15 深圳市华星光电半导体显示技术有限公司 一种补偿表压缩方法
US10652550B2 (en) 2017-12-22 2020-05-12 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Compensation table compressing method
US11159789B2 (en) 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
CN109635940B (zh) * 2019-01-28 2021-04-06 深兰人工智能芯片研究院(江苏)有限公司 一种基于卷积神经网络的图像处理方法及图像处理装置
WO2020242260A1 (ko) * 2019-05-31 2020-12-03 한국전자통신연구원 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
CN112243123B (zh) * 2019-07-16 2022-05-27 四川大学 一种基于无损编码的hevc码率优化方法
EP3994886A4 (en) 2019-08-06 2022-12-28 Beijing Bytedance Network Technology Co., Ltd. VIDEO ZONE PARTITION ACCORDING TO COLOR FORMAT
BR112022003732A2 (pt) * 2019-09-02 2022-10-11 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
BR112022005109A2 (pt) 2019-09-21 2023-03-14 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
EP4029251A4 (en) * 2019-10-08 2022-11-16 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ADAPTIVE ADJUSTMENT OF PRECISION OF WEIGHTING PREDICTION PARAMETERS

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764374A (en) 1996-02-05 1998-06-09 Hewlett-Packard Company System and method for lossless image compression having improved sequential determination of golomb parameter
KR100703200B1 (ko) * 2005-06-29 2007-04-06 한국산업기술대학교산학협력단 인트라 부호화 장치 및 방법
JP2009049969A (ja) 2007-07-25 2009-03-05 Hitachi Ltd 動画像符号化装置及び方法並びに動画像復号化装置及び方法
CN103037220B (zh) 2008-01-04 2016-01-13 华为技术有限公司 视频编码、解码方法及装置和视频处理系统
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN104104391B (zh) 2008-12-09 2017-04-26 日本电信电话株式会社 编码方法以及编码装置
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2011145862A2 (en) * 2010-05-17 2011-11-24 Lg Electronics Inc. New intra prediction modes
SI3745721T1 (sl) * 2010-05-25 2022-04-29 Lg Electronics Inc. Nov planarni način napovedovanja
US8848779B2 (en) * 2010-07-15 2014-09-30 Sharp Laboratories Of America, Inc. Method of parallel video coding based on block size
US10645398B2 (en) * 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
EP2774360B1 (en) * 2011-11-04 2017-08-02 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
US20140064366A1 (en) * 2012-09-03 2014-03-06 Texas Instruments Incorporated Intra-Prediction Estimation Using Approximate Reconstructed Samples

Also Published As

Publication number Publication date
JP5944044B2 (ja) 2016-07-05
WO2013158998A1 (en) 2013-10-24
CN104185989B (zh) 2018-04-10
EP2829064A1 (en) 2015-01-28
KR20150006440A (ko) 2015-01-16
WO2013159119A1 (en) 2013-10-24
KR101628797B1 (ko) 2016-06-09
JP2015517285A (ja) 2015-06-18
CN104185989A (zh) 2014-12-03
EP2829064B1 (en) 2021-10-27
JP2015515226A (ja) 2015-05-21
KR101919394B1 (ko) 2018-11-16
CN104205843A (zh) 2014-12-10
KR20150008405A (ko) 2015-01-22
EP2839651A1 (en) 2015-02-25
US9930362B2 (en) 2018-03-27
US20130279583A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
JP5944045B2 (ja) Hevcの無損失符号化におけるイントラ予測残差の2値化スキーム及びイントラ予測の向上
US11356665B2 (en) Method for determining color difference component quantization parameter and device using the method
US10373295B2 (en) Image processing apparatus and image processing method
US9277211B2 (en) Binarization scheme for intra prediction residuals and improved intra prediction in lossless coding in HEVC
KR101855269B1 (ko) 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
JP6165840B2 (ja) クロマスライスレベルqpオフセットおよびデブロッキング
JP2023103429A (ja) クワッドツリーを用いるブロック情報の符号化/復号化方法及びその方法を使用する装置
EP3080988B1 (en) Parameter derivation for entropy coding of a syntax element
JP2018078569A (ja) ビデオコード化のためのlcuベースの適応ループフィルタ処理
JP7277616B2 (ja) ビデオ・データを処理する方法、装置及び記憶媒体
CN103370936A (zh) 用于改进环内滤波的方法与装置
WO2020151753A1 (en) Method and apparatus of transform coefficient coding with tb-level constraint
CN114402604A (zh) 用于视频编解码的简化调色板预测器更新
JP2022517488A (ja) エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法
KR20210064332A (ko) 컴팩트한 mv 스토리지를 사용하는 인코더, 디코더 및 대응하는 방법
CN114567786A (zh) 以4:4:4色度格式进行视频编解码的方法和装置
KR20230133891A (ko) 비디오 코딩을 위한 잔차 및 계수 코딩
JP6316842B2 (ja) 縮小されたラインバッファを有するデブロッキングフィルタ
KR20230139810A (ko) 크로스-컴포넌트 샘플 적응 오프셋에서의 크로마 코딩 강화
KR20170058870A (ko) 비선형 매핑을 통한 영상 부호화/복호화 방법 및 장치
EP4042698A1 (en) Methods and apparatus of video coding in 4:4:4 chroma format
CN114598873B (zh) 量化参数的解码方法和装置
JP2024513551A (ja) ビデオ符号化復号化のための残差及び係数符号化復号化

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160524

R150 Certificate of patent or registration of utility model

Ref document number: 5944045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250