JP7085009B2 - マルチ符号ビット隠蔽及び残差符号予測を和合する方法及び装置 - Google Patents

マルチ符号ビット隠蔽及び残差符号予測を和合する方法及び装置 Download PDF

Info

Publication number
JP7085009B2
JP7085009B2 JP2020546391A JP2020546391A JP7085009B2 JP 7085009 B2 JP7085009 B2 JP 7085009B2 JP 2020546391 A JP2020546391 A JP 2020546391A JP 2020546391 A JP2020546391 A JP 2020546391A JP 7085009 B2 JP7085009 B2 JP 7085009B2
Authority
JP
Japan
Prior art keywords
conversion
coefficients
sign
list
conversion coefficients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020546391A
Other languages
English (en)
Other versions
JP2021516493A (ja
Inventor
コンスタンチノヴィッチ フィリーポフ，アレクセイ
アレクサンドロヴィッチ カラブトフ，アレクサンドル
アレクセーヴィッチ ルフィツスキー，ヴァシーリィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021516493A publication Critical patent/JP2021516493A/ja
Application granted granted Critical
Publication of JP7085009B2 publication Critical patent/JP7085009B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明の実施形態は、ピクチャ処理の分野、例えば、静止ピクチャ及び／又はビデオピクチャコーディングに関係がある。マルチ符号ビット隠蔽及び残差符号予測を和合する新しい方法及び装置が研究される。
ビデオコーディング（ビデオ符号化及び復号化）は、広範囲のデジタルビデオ用途、例えば、ブロードキャストデジタルＴＶ、インターネット及びモバイルネットワーク上のビデオ伝送、ビデオチャットや会議などの実時間の会議用途、ＤＶＤ及びブルーレイディスク、ビデオコンテンツ取得及び編集システム、並びに、セキュリティ用途のカムコーダ、において使用されている。
１９９０年のＨ．２６１標準におけるブロックに基づいたハイブリッドビデオコーディングアプローチの開発以来、新しいビデオコーディング技術及びツールが開発され、新しいビデオコーディング標準の基礎を形成してきた。ビデオコーディング標準のほとんどの目標の１つが、ピクチャ品質を犠牲にせずに、その前身と比較して、ビットレート低減を達成することである。更なるビデオコーディング標準には、ＭＰＥＧ－１ビデオ、ＭＰＥＧ－２ビデオ、ＩＴＵ－Ｔ Ｈ．２６２／ＭＰＥＧ－２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）、並びに拡張、例えば、それらの標準のスケーラビリティ及び／又は３次元（３Ｄ）拡張がある。
以下で更に詳細に記載されるように、いくつかの画像及びビデオコーデックは、量子化された変換係数を符号化する。非ゼロの変換係数は符号を付され、すなわち、絶対値及びプラス又はマイナスのどちらか一方の符号から成る。１つの係数の符号は、正又は負のどちらか一方の符号を示す１ビットを必要とする。言い換えれば、符号ビット値“０”は、正符号を示してよく、一方、符号ビット値“１”は、負符号を示してよく、あるいは、その逆も同様である。
非特許文献１では、符号データ隠蔽（ＳＤＨ）として知られている技術が、それをＨ．２６５／ＨＥＶＣ作業ドラフトに採用するために提案されている。この寄与の後ろにある基本的な考えは、次のとおりである。最初のＰＦＳＣと最後のＰＬＳＣとの間にある係数の数が閾値Ｄｔｈｒよりも多いという条件：

ＰＬＳＣ－ＰＦＳＣ≧Ｄｔｈｒ

を満足する各ＴＵ（変換ユニット）について、最初の非ゼロ係数の符号ビットは、全ての非ゼロ係数の和のパリティに埋め込まれる。４つのデータタイプに従って、４つの閾値が送出される（表１を参照）。４×４から３２×３２の様々なサイズを有する全てのＴＵについて、１つの符号ビットがＴＵごとに隠される（非特許文献２）。
Figure 0007085009000001
最終的に、マルチ符号ビット隠蔽（Multiple SBH，ＭＳＢＨ）として知られているＳＤＨ技術の改良が、Ｈ．２６５／ＨＥＶＣ標準のために採用された。実際に、４×４よりも大きいサイズを有するＴＵは、複数の符号ビットを埋め込まれ得る。具体的に、大きいＴＵの係数は、係数グループ（ＣＧ）としても知られている４×４の係数グループによって符号化されるということで、この提案は、図１に示されるように、夫々の４×４係数グループに符号ビット隠蔽技術を適用する。符号が“＋”である場合には、量子化された変換係数の絶対値のパリティは、偶数を保たれるべきである。そうでなければ、パリティは奇数を保たれるべきである。そのようなものとして、係数の個数についての単一の閾値が、最初に、各ピクチャについて定義される（非特許文献２）（そのデフォルト値はＤｔｈｒ＝４である）。Ｈ．２６５／ＨＥＶＣ標準の最終バージョンでは、この閾値は不変である。
図１は、第１ＣＧが参照番号４２０によって表されている４×４サイズの１６個の係数グループに分けられている１６×１６個の係数のサイズを有するより大きいＴＵ４１０を示す。図１は、各ＣＧについて、所定の走査順序において最初の非ゼロの量子化された変換係数及び最後の非ゼロの量子化された変換係数を示す。対角矢印は、図１における係数の走査順序を示す。この例では、走査順序は、上から下に対角である。なお、符号ビット隠蔽は、異なる走査順序によっても働き得ることが知られる。そのような場合に、最初及び最後の非ゼロ係数の位置は、走査順序に対応して変わり得る。走査順序は、様々な方法で予め決定されてよいことが知られる。例えば、それは、ビットストリーム内で標準において規定されているか又はビットストリーム内で走査を定義することによって設定することができる可能な予め定義された走査の１つを信号により伝えることによって、操作において予め定義されるか、又は設定可能であり得る。
従来のアプローチに従って、以下では、（走査順序において）最初の非ゼロ係数の符号が、全ての非ゼロ係数（符号なし）の和のパリティに埋め込まれる（符号化される）、と考えられる。なお、一般に、他の非ゼロ係数の符号がこのようにして伝播されてもよい。特定のＣＧについて、最初の非ゼロ係数の符号が正である場合には、量子化された変換係数の絶対値のパリティは、偶数であるべきである。そうでなければ（最初の非ゼロ係数の符号が負である場合には）、パリティは奇数であるべきである。従って、符号器での符号ビットデータ隠蔽は、１つのＣＧについて次のステップを含む：
ａ）符号ビット隠蔽を適用する条件がそのＣＧについて満たされているかどうかをチェックする。
ｂ）ＣＧ内の最初の非ゼロ係数及びその符号を決定する。
ｃ）ＣＧ内の全ての絶対係数値の和のパリティを計算する。
ｄ）決定された符号を埋め込む：計算されたパリティが決定された符号に対応する場合には、係数値の変更は不要である。そうでなければ、パリティが決定された符号に対応するように、ＣＧ内の係数の１つの値は、それを１だけ増やす又は減らすことによって変更される。
上記のステップは、ＴＵ内の全てのＣＧについて繰り返される。
相応して、復号器では、次のステップが１つのＣＧについて行われる：
ａ）ビットストリームから、ＣＧの符号なし係数値をパースする。
ｂ）ビットストリームから取り出された条件及び／又は情報（例えば、ＳＢＨが許可されているかどうかを示すフラグ）に基づいて、符号データ隠蔽が適用されたか否かを判定する。
ｃ）ＣＧ内の最初の非ゼロ係数を決定する。
ｄ）ＣＧ内の全ての絶対係数値の和のパリティを計算する。
ｅ）パリティが第１の値（偶数又は奇数）を有する場合に、最初の非ゼロ係数の符号を、第１の値に対応する各々の第１の極性（正又は負）にセットする。
上記のステップは、単なる例である。パリティは、和に適用されるモジュロ２として計算されてよく、これは、和のバイナリ表現の最下位ビットを取ることに対応する。一般に、全ての係数の和のパリティとは異なる関数が、その結果に、ＣＧ内の各々の１つ以上の係数の１つ以上の符号を埋め込むために適用されてもよいことが知られる。例えば、２つの符号を隠すために、全ての係数の絶対値の和に適用されるモジュロ４演算が適用されてよい。モジュロ４演算の夫々の可能な結果（４つの可能な結果０、１、２、３がある）は、第１及び第２の符号の１つの組み合わせ（例えば、＋＋、＋－、－＋、－－）を割り当てられる。
上記の符号器側のステップｄ）は、ＣＧの係数の関数への１つ以上の符号の埋め込みを定義する。一般に、係数の変更が、埋め込まれるべき符号にパリティを一致させるために必要である場合に、そのような変更されたＣＧから再構成される画像信号には、いくらかの歪みが現れる可能性がある。従って、それは、値を変更されるべき係数が、歪みを最小限にすること又はレート歪み関数を最適化することに基づいて選択される場合に、有益である。同じことは、１よりも多い符号が符号化される場合に当てはまる。そのような場合に、１つ以上の係数値は、符号を埋め込むために変更されてよい。
本開示は、ＣＧに基づくマルチ符号ビット隠蔽に適用可能であるが、同様に、ＴＵを更にＣＧに分割せずに、直接にＴＵに適用されてもよい。
上述されたように、ＣＧは、変換領域における変換係数を同じサイズ（図１に示されるような４×４の係数）のグループに空間的に分けることによって、得られる。言い換えれば、ＣＧへのＴＵの分割は、空間充填曲線により変換係数を走査すること（所定の走査順序）によって変換係数をシリアライズすることに先んずる。
ＴＵをグループに分ける代替方法は、最初に係数を走査し、次いで、シリアライズされた係数をグループに分割することであり、グループは、それら２つの定義を区別するために、ここでは係数チャンク（ＣＣ）と呼ばれる。この分離メカニズムは図２に示されている。
特に、図２は、係数の８×８ブロック（ＴＵ）を示す。それらは、それらを所定の順序で、例えば、この場合には、ジグザグ走査順序で走査することによって、シリアライズされる。走査後、係数は、図２の下に示されるように、シーケンスにおいて与えられる。次いで、シーケンスは、係数のチャンクＣＣ＃０、ＣＣ＃１、・・・、最後のＣＣに分けられる。
チャンクは、先にＣＧについて示されたのと同様に処理されてよい。各チャンクについて、ＳＢＨがそのＣＣについて適用されるべきか否かを判定するために、１つ以上の条件が評価される。ＳＢＨが適用されるべきである場合には、最初の非ゼロの係数の符号をＣＣ内の複数又は全ての係数の関数に埋め込む。
Ｈ．２６５／ＨＥＶＣ標準のリファレンス実装であって、ＱＴ（Quad-Tree）に基づくパーティショニングがインター予測ブロックのための非対称パーティショニングと組み合わせて使用されているＨＭ（HEVC Reference Model）フレームワークと対照的に、４分木及び２分木の両方に基づきＱＴＢＴとして知られている新しいパーティショニング技術が、ＪＥＭ－３．０ソフトウェアのために提案された。ＱＴＢＴ（Quad-Tree Binary Tree）パーティショニングは、正方形だけでなく長方形のブロックも提供することができる。当然、符号器側でのいくらかのシグナリングオーバーヘッド及び増大した計算複雑性は、ＨＥＶＣ／Ｈ．２６５標準で使用される従来の４分木に基づいたパーティショニングと比較して、ＱＴＢＴパーティショニングの代償である。それでもなお、ＱＴＢＴに基づいたパーティショニングは、より良いセグメンテーション特性を備えており、従って、従来の４分木パーティショニングよりも著しく高いコーディング効率を示す（非特許文献５）。とにかく、パーティショニングメカニズムのこれらの変更は、残差コーディング全般及び特にＳＢＨに影響を与える可能性がある。
「残差符号予測（ＲＳＰ）」として知られており、もともと非特許文献３で提案されている他の関連技術は、隣接ブロック内のピクセルからブロックの符号を推定し、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）によって、推定された符号と実際の符号との間の差（０：同じ、１：同じでない）を符号化する。符号が適切に推定される場合に、差は‘０’である傾向があり、コーディング効率はＣＡＢＡＣによって改善され得る。概念は図３で説明される。
一般に、現在のブロックの境界及び隣接ブロックの境界にあるピクセルの間には高い相関がある。提案されている技術は、この特性を用いて、現在のブロックのＤＣＴ（Discrete Cosine Transform）係数の符号を予測する。
現在のブロックにＮ個の非ゼロ係数がある場合に、それらの符号の可能な組み合わせの数は２Ｎである。提案されている技術は、符号の各組み合わせを用いて、現在のブロックの上境界及び左境界にある再構成されたピクセルを、隣接ブロックから外挿されたピクセルと比較する。二乗誤差を最小限にする符号の組み合わせが、推定された符号として定義される。より具体的には、技術は、変換係数の組（例えば、係数グループ）の中の全ての非ゼロ（すなわち、有意味な）係数に適用されるわけではなく、本開示を通じて「リスト」とも呼ばれる変換係数のサブセットにだけ適用されてよい。例えば、続く図４で示されるように、リストは、降順でソートされる場合に、大きさにおいて（総数Ｎ個のうちの）最初のＭ個の係数から形成されてよい。リストを準備するためのこのような規則は、符号が推定される係数が大きさ（絶対値）において大きければ大きいほど、適用される推定方法がより良い結果をもたらす傾向があるという事実を反映する。
当業者に理解されるように、このようにして推定された符号は、必ずしも正確ではない。すなわち、図４に示されるように、実際の（元の）符号と推定された符号との間には違いがある場合がある。図４では、リスト内のＭ＝６個の符号のうちの１つ（４番目）が、誤って推定されている（１ではなく－１）。その理由は、外挿によって得られるピクセル値が一般的に不完全であり、よって、正確なもの以外の符号の他の組み合わせが最小二乗誤差をもたらす可能性があるからである。
図４は、従来のＨ．２６４／ＡＶＣ符号コーディングと非特許文献３で提案されている方法との比較を示す。
非特許文献３からの技術のステップが図４に示されており、表２に与えられる。
Figure 0007085009000002
同様の技術は、非特許文献４で記載されている。非特許文献４は、前の計算の結果を再利用することによって仮説的コストの冗長計算を除くことを提案する「Hypothesis Border Reconstructions」の章を含むことが知られる。なお、高速符号推定の方法は、非特許文献３で既に開示されている。
非特許文献４及び非特許文献３で開示されている技術の間の違いの１つは、符号推定が、非特許文献３では、Ｌ２ノルム（sum of squared differences，ＳＳＤ）を用いて行われ、一方、非特許文献４はＬ１ノルム（sum of absolute differences）を使用する点にある。
コスト値を導出するために使用されるピクセルは、隣接ブロックから選択される（図５を参照）。
空間領域において、コスト関数は：
Figure 0007085009000003
 として定義される（非特許文献４）。ここで、Ｎ及びＭは、ブロックの高さ及び幅である。
米国特許出願公開第２０１７／０１４２４４４４（Ａ１）号には、符号推定に関する更なる詳細が含まれている。
更に、米国特許出願公開第２０１７／０１４２４４４４（Ａ１）号では、予測された符号を符号化する異なる方法が提案されている（表２のステップ３）。非特許文献４とともに提案されているリファレンスソフトウェアでは、この改良は、予測された符号の２つのリストの導入によって実施される（表２のステップ１の改良）。これら２つのリストに属する予測された符号は、異なるＣＡＢＡＣコンテキストにより符号化される。次の規則が、それらのリストにポピュレートするために規定される：
・第１のリストは、予め定義された閾値Ｔ１よりも大きい大きさを有する係数の符号をポピュレートされる。第１のリスト内の符号の総数は、予め定義された値Ｍによって制限される。
・第１のリスト内の符号の数ｎがＭに満たない場合に、第２のリストはポピュレートされている。第２のリスト内の符号の総数は（Ｍ－ｎ）によって制限され、それにより、両方のリスト内の符号の総数はＭを超えない。第２のリストにポピュレートする係数は、ラスタ順序においてそれらの位置によってソートされ、大きさはＴ１よりも大きいべきではない。
符号を符号化するコンテキストは、それが第１又は第２のリストに属するかどうかに関して決定される（表２のステップ３の違い）。
ＲＳＰ及びＳＢＨは両方とも、ＥＰ（equally probable）モードにおいて従来どおりエントロピー符号化される変換係数符号によって引き起こされるレートを低減することを目指した２つの技術である。すなわち、各バイナリ状態（プラス／マイナス）の可能性は、５０％に近いと考えられる。その結果、各ビンは、出力ビットストリームにおいて１ビットを必要とする。ＲＳＰ及びＳＢＨは、符号ビットをスクイーズするための異なるメカニズムを利用するが、ＲＳＰ及びＳＢＨを残りの符号に適用する厳密な順序を定義することによってそれら２つの技術を和合することが必要である。非特許文献４で提案されている、ＳＢＨ及びＲＳＰを和合するメカニズムは、図６に示される。その技術では、ＲＳＰは、ＲＳＰリストとして、図６に表されている２つのリストを使用する：
・ＨＰリストは、閾値よりも大きさが大きい量子化された変換係数の位置を含むリストであり、従って、それらの符号は、上側確率により正確に予測され得る；
・ＬＰリストは、閾値よりも低い大きさを有するような量子化された変換係数の位置を含むリストであり、従って、それらの符号は、下側確率により正確に予測され得る。
図６から分かるように、ＳＢＨは、ＲＳＰの前に行われる。これは、閾値よりも大きさが大きい量子化された変換係数の符号をＳＢＨが隠し、従って、それらの符号が上側確率により正確に予測される場合に、ＲＳＰのコーディング効率に悪影響を及ぼす可能性がある。故に、ＳＢＨ（ＳＤＨ又はＭＳＢＨ）及びＲＳＰ技術を和合する既知のメカニズムの主な問題は、それらが、ＨＰリストからの量子化された変換係数をＳＢＨのために選択すること又は変更することによって、正確な符号予測の可能性を低めることがある点である。よって、それは、ＲＳＰ技術のコーディング効率を下げる。
本発明は、コーディング効率に対する上記の悪影響を回避し、それによって圧縮性能を改善しながら、ＳＢＨ及びＲＳＰを和合する改善された概念を提供することを目的とする。
本発明の実施形態は、独立請求項の特徴によって定義され、実施形態の更なる有利な実施は、従属請求項の特徴によって定義される。
本発明の第１の態様に従って、信号の変換係数の組の符号を符号化する装置が提供される。装置は、変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、第１の所定の規則に従って決定し、変換係数の組の中から、リストに含まれていない更なる変換係数を、第２の所定の規則に従って選択するよう構成される処理回路を有する。処理回路は、変換係数の組の中の変換係数値の所定の関数の結果において更なる変換係数の符号を埋め込み、リスト内の変換係数の符号を推定するための推定プロシージャを実行するよう更に構成される。更には、処理回路は、第１の複数の変換係数の夫々について、変換係数の符号が前記変換係数の推定された符号と一致するか否かを示すバイナリ値を決定し、エントロピー符号化技術を用いて、第１の複数の変換係数について得られたバイナリ値のシーケンスを符号化するよう構成される。
本発明の第２の態様に従って、信号の変換係数の組の符号を復号する装置が提供される。装置は、第１の複数のバイナリ値のエントロピー符号化されたシーケンスを復号するよう構成される処理回路を有する。処理回路は、変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、第１の所定の規則に従って決定し、変換係数の組の中から、リストに含まれていない更なる変換係数を、第２の所定の規則に従って選択するよう更に構成される。更には、処理回路は、変換係数の組の中の変換係数値の所定の関数を計算することによって、更なる変換係数の符号を決定し、リスト内の変換係数の符号を推定するための推定プロシージャを実行し、第１の複数の変換係数の符号を得るように、第１の複数のバイナリ値の復号されたシーケンスによって、推定された符号を補正するよう構成される。
本発明の第３の態様に従って、信号の変換係数の組の符号を符号化する方法が提供される。方法は、変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、第１の所定の規則に従って決定するステップと、変換係数の組の中から、リストに含まれていない更なる変換係数を、第２の所定の規則に従って選択するステップと、変換係数の組の中の変換係数値の所定の関数の結果において更なる変換係数の符号を埋め込むステップと、リスト内の変換係数の符号を推定するための推定プロシージャを実行するステップと、第１の複数の変換係数の夫々について、変換係数の符号が前記変換係数の推定された符号と一致するか否かを示すバイナリ値を決定するステップと、エントロピー符号化技術を用いて、第１の複数の変換係数について得られたバイナリ値のシーケンスを符号化するステップとを有する。
本発明の第４の態様に従って、信号の変換係数の組の符号を復号する方法が提供される。方法は、第１の複数のバイナリ値のエントロピー符号化されたシーケンスを復号するステップと、変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、第１の所定の規則に従って決定するステップと、変換係数の組の中から、リストに含まれていない更なる変換係数を、第２の所定の規則に従って選択するステップと、変換係数の組の中の変換係数値の所定の関数を計算することによって、更なる変換係数の符号を決定するステップと、リスト内の変換係数の符号を推定するための推定プロシージャを実行するステップと、第１の複数の変換係数の符号を得るように、第１の複数のバイナリ値の復号されたシーケンスによって、推定された符号を補正するステップとを有する。
本開示に従って、信号は、特に、例えば、ビデオ信号又は画像信号を意味する。信号は、オーディオ信号も含んでよい。処理回路は、ソフトウェア及び／又はハードウェアの如何なる組み合わせによっても実施され得る。変換係数の組は、特に、係数グループ又は係数チャンクである。
ＲＳＰプロシージャを２つのサブプロシージャ、すなわち、第１サブプロシージャにおける１つ以上のＲＳＰリストの準備、及び第２サブプロシージャにおいてＲＳＰ技術に関連した他の動作を行うこと、に分けることは、本発明の特有のアプローチである。ＳＢＨは、それらのサブプロシージャの間で行われる。それによって、ＳＢＨを適用するための係数は、例えば、デフォルトで係数グループ（ＣＧ）又は係数チャンク（ＣＣ）の最初の有意味な量子化された変換係数をとるのではなく、１つ以上のＲＳＰリストに含まれないように慎重に選択され得る。
実施形態に従って、推定プロシージャは、ピクセル領域（空間領域）で行われる。推定プロシージャは、第１の複数の変換係数の符号の各仮説的組み合わせについて、空間領域において変換係数の組に対応する画像のブロックの境界ピクセルを再構成することと、仮説的組み合わせの夫々について、再構成されたピクセルと隣接ブロックのピクセルとの間のブロック境界にわたるピクセル値の平滑度を示す所定の空間領域関数を評価することと、所定の空間領域関数が最大の平滑度を示す仮説的組み合わせを変換係数の推定された符号として選択することとを含む。所定の空間領域関数（コスト関数）は、特に、現在のブロック及び隣接ブロックの境界に沿って隣接するピクセルのピクセル値間の絶対差の和を使用する関数、例えば、上記の式（１）で定義された関数である。代替的に、ピクセル値の平滑度を示す他の関数、例えば、sum of differencesの代わりにsum of squared differencesを使用する関数、が同様に可能である。
代替の実施形態に従って、推定プロシージャは、変換領域（周波数領域）で行われる。推定プロシージャは、変換係数の組に対応する現在の画像ブロックに隣接する隣接ピクセルと、画像ブロックの予測信号に基づき計算される隣接ピクセルの予測との間の変換された差を含むコスト関数に基づいて、符号を推定することを含む。
具体的に、コスト関数は、変換された画像ブロックに隣接する隣接ピクセルと、画像ブロックの予測信号に基づいて計算された隣接ピクセルの予測との間の二乗変換された差の和を含む。そのようなコスト関数の例は、以下で与えられる（式（２））。
実施形態に従って、第２の所定の規則は、リストに属さない最低周波数の非ゼロの変換係数を更なる変換係数として選択する、と定義する。
実施形態に従って、処理回路は、組の中の第２の複数の変換係数の符号を、所定のエントロピー符号化プロシージャによって符号化するよう更に構成され、第２の複数の変換係数は、リストに含まれる第１の複数に属さず、かつ、選択された更なる変換係数とは異なる残り全ての非ゼロの変換係数を含む。
実施形態に従って、リストは、２つのサブリストを含む。サブリストは、第１サブリストが、閾値よりも大きい絶対値を有する変換係数を含み、第２サブリストが、閾値以下の絶対値を有する変換係数を含むように、閾値によって互いから分けられる。
更に、２つのサブリストの変換係数について決定される推定された符号との一致を示すバイナリ値のシーケンスは、夫々、エントロピー符号化の異なるコンテンツにより符号化される。背景技術の項で述べられたように、第１のサブリスト（ＨＰリスト）内の上側に大きい（閾値を上回る）変換係数は、第２のサブリスト（ＬＰリスト）内の閾値を下回る大きさを有する係数よりも、推定プロシージャによる符号の正確な予測のより高い確率を有している。これは、異なる符号コンテキストによって考慮される。
実施形態に従って、所定の関数の結果は、第１の符号値が第１の結果値に対応し、第２の符号値が第２の結果値に対応するように、２つの異なる値を仮定してよい。その場合に、更なる変換係数の符号を埋め込むことは、変換係数の所定の関数が、更なる変換係数の符号に対応する結果値を有するかどうかを判定することを含む。符号化装置の処理回路は、従って、所定の関数が変更前に更なる変換係数の符号に対応する結果を有さない場合に、変更後の変換係数の所定の関数が更なる変換係数の符号に対応する結果を有するように、変換係数の中の１つの値を変更するよう更に構成される。
更に、変換係数の１つが変更され、変更は、レート歪みコスト関数を最小限にするように行われる。例えば、所定の関数の結果が、組の中の変換係数の量子化後の絶対係数値の和のパリティである場合に、和に含まれる係数の中の任意の１つを＋１だけ又は－１だけ変更することによって所望の結果を達成すれば十分である。従って、レート歪みコスト関数を考えることによって、最適な選択がなされ得る。
代替的に、又は更には、変更推定関数が考慮され得る。これは、係数変更によって導入される歪みが最低限である場合に、あるいは、代替的に、係数の量子化レベルが最も高い場合に、最小限にされる。
また、実施形態に従って、リストは、サブリストを含み、処理回路は、サブリストにわたる第１の複数の変換係数の分布に変化をもたらすことになる変更を許さないように、変換係数の値の変更に対して制約を課すよう更に構成される。すなわち、本発明に従って、リストに含まれる係数（より具体的には、係数グループ又はチャンク内のそれらの位置）は、符号の埋め込み（ＳＢＨ）を実行する前に選択されるので、サブリスト内の係数（の位置）は、復号器側で適切に復号されるように、変更されるべきではない。
より具体的には、絶対値の閾値によって互いから分けられる２つのサブリストがある場合に、制約は、変更をされた値が変更をされていない値とは別のサブリストに属するように変更により閾値をまたぐことになる場合に変換係数の値の変更を許さないために、定義されてよい。
実施形態に従って、変換係数は、量子化された変換係数である。
実施形態に従って、第１の所定の規則は、所定の数Ｍ個の変換係数の順序付きリストとして変換係数のリストを定義する。より具体的には、第１の所定の規則は、変換係数のリストにおいて、降順で、変換係数の組の中で最大の絶対値を有するＭ個の変換係数を含む、と更に定義する。
実施形態に従って、所定の関数は、２を法とする量子化後の絶対変換係数値の和、すなわち、量子化後の絶対変換係数値の和のパリティである。
代替的に、所定の関数の値において複数の変換係数の符号を隠すことも可能である。より具体的には、符号係数について上述されたのと同じように、Ｎ個の係数の符号は、Ｎ個の係数にわたって符号プラス及びマイナスを分布させる２Ｎ個の異なる可能性に対応する２Ｎ個の異なる値を考えることができる所定の関数によって、隠され得る。
具体的に、実施形態に従って、処理回路は、変換係数の組の中から、リストに含まれない複数Ｎ個の更なる変換係数を、第２の所定の規則に従って選択し、変換係数の組の中の変換係数値の所定の関数の結果において更なる変換係数の符号を埋め込むよう構成される。より具体的には、所定の関数は、２Ｎを法として量子化後の絶対変換係数値の和であってよい。
複数の変換係数の符号の埋め込み（隠すこと）を用いる実施形態において、符号の正確な組み合わせに対応する所望の関数値を得るために変更が必要である場合に、単一の係数のみ＋１又は－１だけ変えることでは不十分であることがある。むしろ、単一の係数を±（２Ｎ－１）の最大値までの量だけ変えるか、あるいは、代替的に、最大２Ｎ－１個の係数を±１だけ変えるか、のどちらか（あるいは、それらの可能性の組み合わせ）が必要であり得る。従って、複数のＲＳＰサブリストの場合に変更に適用される制約は、複数の係数にＳＢＨを適用する場合に必要な変更を加えて適用されるべきである。
実施形態に従って、処理回路は、変換ユニットの変換係数を変換係数の複数の組に分割し、変換係数の複数の組の夫々について、本発明の第１の態様又は第２の態様に従う処理を実行するよう構成される。
より具体的には、実施形態に従って、変換ユニットは、画像信号を変換することによって得られる変換係数の２次元ブロックであり、処理回路は、変換ユニットを、変換係数の複数の組として複数の２次元ブロックに分割するよう構成される。非限定的な例として、変換ユニットは、例えば、１６×１６又は８×８ブロックであってよい。その場合に、変換係数の組は、例えば、８×８又は４×４ブロックであってよい。
代替の実施形態に従って、変換ユニットは、画像信号を変換することによって得られる変換係数の２次元ブロックであり、処理回路は、予め定義された順序に従って変換ユニットの変換係数を走査し、走査された変換係数を変換係数の複数の組として複数の１次元チャンクに分割するよう構成される。
実施形態に従って、本発明の第２の態様に従う復号されたバイナリ値は、リストの中の各変換係数について、変換係数の符号が変換係数の推定された符号と一致するか否かを示す。言い換えれば、バイナリ値は、推定プロシージャに従う係数の推定された符号と正確な符号との間の差を示す。推定は、特に、リストに含まれる上側に大きい変換係数について、ほとんどエラーがないと期待されるので、バイナリ値のシーケンスは、値“１”（不正確に推定された符号）よりもずっと頻繁に値“０”（差なし、すなわち、推定は正確であった）を有する。バイナリ値のシーケンスは、従って、上述されたように、ＥＰ（equal probability）を有する符号値自体よりも、エントロピー符号化（特に、ＣＡＢＡＣ符号化）によって効率的に符号化され得る。
実施形態に従って、所定の関数の計算の結果は、２つの異なる値を仮定してよく、更なる変換係数の符号は、結果が第１の値である場合には第１の符号値であり、結果が第２の値である場合には第２の符号値であるとの規則に従って決定される。例えば、２つの異なる値は、計算結果のパリティ（偶数又は奇数）に対応してよい。
１つ以上の実施形態の詳細が、添付の図面及び以下の説明において示される。他の特徴、目的、及び利点は、本明細書、図面、及び特許請求の範囲から明らかだろう。
本発明の以下の実施形態では、添付の図面を参照して更に詳細に記載される。
ＪＣＴ－ＶＣによってＨＥＶＣ／Ｈ．２６５標準に採用されるマルチ符号ビット隠蔽を示す図である。 ＣＣへのＴＵの分離を説明する図である。 ピクセル領域でのコスト関数による符号推定の先行技術プロシージャの概要を与える。 図３の技術と従来の符号コーディングとの比較を説明する。 既知の技術に従ってコスト値を導出するために使用されるピクセルの例を表す。 ＲＳＰ及びＳＢＨの和合の先行技術プロシージャを説明する。 本発明の実施形態を実装するよう構成されるビデオコーディングシステムの例を示すブロック図である。 ビデオ符号器の例を示すブロック図である。 ビデオ復号器の構造例を示すブロック図である。 本発明の実施形態に従って符号予測及び隠蔽プロセスが和合された符号器及び復号器のデータフローを表す。 本発明の実施形態に従うＳＢＨ及び予測リスト生成の和合の例を与える。 ＲＤの意味で最良の係数変更の決定を説明する。 最良の係数変更を決定するための代替の概念を説明する。 本発明の実施形態に従う代替の周波数領域符号推定概念を説明する。 符号器側での本発明の実施例の概要を与える。 復号器側での本発明の実施例の概要を与える。
図面において、同じ参照符号は、同一の、又は少なくとも機能的に同等の特徴を参照する。
以下の説明では、添付の図面が参照される。添付の図面は本開示の部分を形成し、本発明の実施形態の具体的な態様、又は本発明の実施形態が使用され得る具体的な態様を例として示す。本発明の実施形態は、他の態様で使用されてもよく、図示されていない構造的又は論理的な変更を有することが理解される。以下の詳細な説明は、従って、限定の意味で取られるべきではなく、本発明の範囲は、添付の特許請求の範囲によって定義される。
例えば、記載される方法に関連した開示は、方法を実行するよう構成された対応するデバイス又はシステムにも当てはまり、その逆も同様であることが理解される。例えば、１又は複数の特定の方法ステップが記載される場合に、記載される１又は複数の方法ステップを実行するよう、対応するデバイスは１又は複数のユニット、例えば、機能ユニット（例えば、１又は複数のステップを実行する１つのユニット、あるいは、複数のステップの中の１つ以上を夫々実行する複数のユニット）を、たとえそのような１つ以上のユニットが明示的に記載又は図示されていないとしても、含んでよい。他方で、例えば、特定の装置が１又は複数のユニット、例えば、機能ユニットに基づいて記載される場合に、対応する方法は、１又は複数のユニットの機能を実行する１つのステップ（例えば、１又は複数のユニットの機能を実行する１つのステップ、あるいは、複数のユニットの中の１つ以上の機能を夫々実行する複数のステップ）を、たとえそのような１又は複数のステップが明示的に記載又は図示されていないとしても、含んでよい。更に、ここで記載される様々な例となる実施形態及び／又は態様の特徴は、特段別なふうに述べられない限りは、互いと組み合わされてよいことが理解される。
ビデオコーディングは、通常、ビデオ又はビデオシーケンスを形成するピクチャのシーケンスの処理を指す。ピクチャとの語の代わりに、フレーム又は画像との語が、ビデオコーディングの分野では同義語として使用されることがある。ビデオコーディングは、２つの部分、ビデオ符号化及びビデオ復号化を有する。ビデオ符号化は、ソース側で行われ、通常は、（より効率的な記憶及び／又は伝送のために、）ビデオピクチャを表すために必要とされるデータの量を減らすよう原ビデオピクチャを（例えば、圧縮によって）処理することを有する。ビデオ復号化は、あて先側で行われ、通常は、ビデオピクチャを再構成するよう符号器側と比較して逆の処理を有する。ビデオピクチャ（又は、後述されるように、ピクチャ全般）の“コーディング”に言及する実施形態は、ビデオピクチャの“符号化”及び“復号化”の両方に関係があると理解されるべきである。符号化部分及び復号化部分の組み合わせは、ＣＯＤＥＣ（Coding and DECoding）とも呼ばれる。
可逆ビデオコーディングの場合に、原ビデオピクチャは再構成され得る。すなわち、再構成されたビデオピクチャは、（記憶又は伝送中の伝送損失又は他のデータ損失はないとして）原ビデオピクチャと同じ品質を有する。不可逆ビデオコーディングの場合に、例えば、量子化による、更なる圧縮が、ビデオピクチャを表すデータの量を減らすために実行され、ビデオピクチャは、復号器で完全には再構成され得ない。すなわち、再構成されたビデオピクチャの品質は、原ビデオピクチャと比較して低い又は悪い。
Ｈ．２６１以降のいくつかのビデオコーディング標準は、“不可逆ハイブリッドビデオコーデック”のグループに属する（すなわち、サンプル領域における空間及び時間予測と、変換領域において量子化を適用する２Ｄ変換コーディングとを組み合わせる）。ビデオシーケンスの各ピクチャは、通常は、重なり合わないブロックの組にパーティショニングされ、コーディングは、通常は、ブロックレベルで行われる。言い換えれば、符号器では、ビデオは、通常は、例えば、空間（イントラピクチャ）予測及び時間（インターピクチャ）予測を使用して予測ブロックを生成し、予測ブロックを現在のブロック（現在処理されている／処理されるべきであるブロック）から減じて残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して、伝送されるべきデータの量を減らすことによって、ブロック（ビデオブロック）レベルで処理、すなわち、符号化される。一方、復号器では、符号器と比較して逆の処理が、表現のために現在のブロックを再構成するために、符号化又は圧縮されたブロックに適用される。更に、符号器は、復号器処理ループを再現し、それにより、両方ともが、その後のブロックの処理、すなわち、コーディングのために、同じ予測（例えば、イントラ及びインター予測）及び／又は再構成を生成する。
ビデオピクチャ処理（動画処理とも呼ばれる）及び静止ピクチャ処理（処理との語はコーディングを含む）は、多くの概念及び技術又はツールを共有するということで、以下で、「ピクチャ」又は「画像」との語及び「ピクチャデータ」又は「画像データ」との同等の語は、必要でない場合には、ビデオピクチャと静止ピクチャとの間の区別及び不必要な繰り返しを回避するよう、ビデオシーケンス（上記を参照）のビデオピクチャ及び／又は静止ピクチャに言及するために使用される。記載が静止ピクチャ（又は静止画）にのみ言及する場合には、「静止ピクチャ」との語が使用されるべきである。
以下では、符号器１００、復号器２００、及びコーディングシステム３００の実施形態が、（図１０から図１６に基づいて更に詳細に本発明の実施形態について記載する前に）図７から図９に基づいて記載される。
図７は、コーディングシステム３００、例えば、ピクチャコーディングシステム３００の実施形態を説明する概念又は概略ブロック図であり、コーディングシステム３００は、符号化されたデータ３３０、例えば、符号化されたピクチャ３００を、例えば、符号化されたデータ３３０を復号するあて先デバイス３２０へ供給するよう構成されたソースデバイス３１０を有する。
ソースデバイス３１０は、符号器１００又は符号化ユニット１００を有し、更には、すなわち、任意に、ピクチャソース３１２、前処理ユニット３１４、例えば、ピクチャ前処理ユニット３１４、及び通信インターフェース又は通信ユニット３１８を有してもよい。
ピクチャソース３１２は、例えば、現実世界のピクチャを捕捉するあらゆる種類のピクチャ捕捉デバイス、及び／又はあらゆる種類のピクチャ生成デバイス、例えば、コンピュータアニメーション化されたピクチャを生成するコンピュータグラフィクスプロセッサ、あるいは、現実世界のピクチャ、コンピュータアニメーション化されたピクチャ（例えば、画面コンテンツ、仮想現実（ＶＲ）ピクチャ）、及び／又はそれらの任意の組み合わせ（例えば、拡張現実（ＡＲ）ピクチャ）を取得及び／又は供給するあらゆる種類のデバイスを有しても、又はそのようなデバイスであってもよい。以下で、全てのそのような種類のピクチャ又は画像及びあらゆる他の種類のピクチャ又は画像は、特段別なふうに述べられない限りは、「ピクチャ」、「画像」又は「ピクチャデータ」又は「画像データ」と呼ばれ、一方、「ビデオピクチャ」及び「静止ピクチャ」をカバーする「ピクチャ」又は「画像」との語に関する先の説明は、明示的に別なふうに述べられない限りは、依然として当てはまる。
（デジタル）ピクチャは、強度値を有するサンプルの２次元アレイ又はマトリクスであるか、又はそのようなものとしてみなされ得る。アレイ内のサンプルは、ピクセル（ピクチャ要素の略語）又はペルとも呼ばれることがある。アレイ又はピクチャの水平及び垂直方向（又は軸）におけるサンプルの数は、ピクチャのサイズ及び／又は解像度を定義する。色の表現のために、通常は３つの色成分が用いられる。すなわち、ピクチャは、３つのサンプルアレイを含むか、あるいは、表現され得る。ＲＧＢフォーマット又は色空間では、ピクチャは、対応する赤、緑及び青のサンプルアレイを有する。しかし、ビデオコーディングでは、各ピクセルは、通常、ルミナンス／クロミナンスフォーマット又は色空間、例えば、Ｙ（時々Ｌも代わりに使用される）によって示されるルミナンス成分と、Ｃｂ及びＣｒによって示される２つのクロミナンス成分とを有するＹＣｂＣｒで表される。ルミナンス（又は略してルーマ）成分Ｙは、輝度又はグレーレベル強度（例えば、グレースケールピクチャと同様）を表し、一方、２つのクロミナンス（又は略してクロマ）成分Ｃｂ及びＣｒは、色度又は色情報成分を表す。従って、ＹＣｂＣｒフォーマットにおけるピクチャは、ルミナンスサンプル値（Ｙ）のルミナンスサンプルアレイと、クロミナンス値（Ｃｂ及びＣｒ）の２つのクロミナンスサンプルアレイとを有する。ＲＧＢフォーマットにおけるピクチャは、ＹＣｂＣｒフォーマットに変換又は変形されてよく、その逆も同様であり、プロセスは、色変更又は変換としても知られる。ピクチャがモノクロである場合には、ピクチャは、ルミナンスサンプルアレイしか有さなくてよい。
ピクチャソース３１２は、例えば、ピクチャを捕捉するカメラ、前に捕捉又は生成されたピクチャを有するか又は記憶しているメモリ、例えば、ピクチャメモリ、及び／又はピクチャを取得又は受信するあらゆる種類のインターフェース（内部若しくは外部）であってよい。カメラは、例えば、ソースデバイスに組み込まれたローカル又は内蔵のカメラであってよく、メモリは、ローカル又は内蔵のメモリであって、例えば、ソースデバイスに組み込まれてよい。インターフェースは、例えば、外部のビデオソース、例えば、カメラのような外部のピクチャ捕捉デバイス、外部メモリ、又は外部のピクチャ生成デバイス、例えば、外部のコンピュータグラフィクスプロセッサ、コンピュータ若しくはサーバからピクチャを受け取る外部インターフェースであってよい。インターフェースは、あらゆる専用の又は標準化されたインターフェースプロトコルに従うあらゆる種類のインターフェース、例えば、有線若しくは無線インターフェースや、光インターフェースであることができる。ピクチャデータ３１３を取得するインターフェースは、通信インターフェース３１８と同じインターフェースであっても、あるいは、その部分であってもよい。
各デバイス内のユニット間のインターフェースは、ケーブル接続、ＵＳＢインターフェースを含み、ソースデバイス３１０とあて先デバイス３２０との間の通信インターフェース３１８及び３２２は、ケーブル接続、ＵＳＢインターフェース、無線インターフェースを含む。
前処理ユニット３１４及び前処理ユニット３１４によって実行される処理と区別して、ピクチャ又はピクチャデータ３１３は、ローピクチャ又はローピクチャデータ３１３とも呼ばれることがある。
前処理ユニット３１４は、（ロー）ピクチャデータ３１３を受け取り、ピクチャデータ３１３に対して前処理を実行して、前処理されたピクチャ３１５又は前処理されたピクチャデータ３１５を取得するよう構成される。前処理ユニット３１４によって実行される前処理は、例えば、トリミング、色フォーマット変換（例えば、ＲＧＢからＹＣｂＣｒ）、色補正、又はノイズ除去を有してよい。
符号器１００は、前処理されたピクチャデータ３１５を受け取り、符号化されたピクチャデータ１７１を供給するよう構成される（更なる詳細は、例えば、図８に基づいて、記載される）。
ソースデバイス３１０の通信インターフェース３１８は、符号化されたピクチャデータ１７１を受け取り、それを他のデバイス、例えば、あて先デバイス３２０又はあらゆる他のデバイスへ、記憶又は直接再構成のために、直接送るよう、あるいは、符号化されたデータ３３０を記憶すること及び／又は符号化されたデータ３３０を他のデバイス、例えば、あて先デバイス３２０若しくはあらゆる他のデバイスへ復号化若しくは記憶のために送信することの前に、符号化されたピクチャデータ１７１を処理するよう構成されてよい。
あて先デバイス３２０は、復号器２００又は復号化ユニット２００を有し、更には、すなわち、任意に、通信インターフェース又は通信ユニット３２２、後処理ユニット３２６、及び表示デバイス３２８を有してもよい。
あて先デバイス３２０の通信インターフェース３２２は、符号化されたピクチャデータ１７１又は符号化されたデータ３３０を、ソースデバイス３１０から直接に、又はあらゆる他のソース、例えば、メモリ、例えば、符号化ピクチャデータメモリから受け取るよう構成される。
通信インターフェース３１８及び通信インターフェース３２２は、ソースデバイス３１０とあて先デバイス３２０との間の直接通信リンク、例えば、光接続を含む直接の有線又は無線接続を介して、あるいは、あらゆる種類のネットワーク、例えば、有線若しくは無線ネットワーク又はそれらの任意の組み合わせ、又はあらゆる種類のプライベート及びパブリックネットワーク、又はあらゆる種類のそれらの組み合わせを介して、符号化されたピクチャデータ１７１又は符号化されたデータ３３０を伝送するよう夫々構成されてよい。
通信インターフェース３１８は、例えば、通信リンク又は通信ネットワークを介して伝送のために、符号化されたピクチャデータ１７１を適切なフォーマット、例えば、パケットにパッケージ化するよう構成されてよく、データ損失保護を更に有してもよい。
通信インターフェース３１８の相対物を形成する通信インターフェース３２２は、例えば、符号化されたピクチャデータ１７１を取得するよう、符号化されたデータ３３０のパッケージ化を解除するよう構成されてよく、更には、データ損失保護及び例えばエラー隠蔽を含むデータ損失回復を実行するよう構成されてもよい。
通信インターフェース３１８及び通信インターフェース３２２は両方とも、ソースデバイス３１０からあて先デバイス３２０へ向かう図７中の符号化されたピクチャデータ３３０のための矢印によって示されるような一方向の通信インターフェース、又は双方向の通信インターフェースとして構成されてよく、例えば、メッセージを送信及び受信して、例えば、接続をセットアップし、ピクチャデータを含む失われた若しくは破壊されたデータを承認及び／又は再送し、通信リンク及び／又はデータ伝送、例えば、符号化ピクチャデータ伝送に関するあらゆる他の情報を交換するよう構成されてよい。
復号器２００は、符号化されたピクチャデータ１７１を受け取り、復号されたデータ２３１又は復号されたピクチャ２３１を供給するよう構成される（更なる詳細は、例えば、図９に基づいて、記載される）。
あて先デバイス３２０のポストプロセッサ３２６は、復号されたピクチャデータ２３１、例えば、復号されたピクチャ２３１を後処理して、後処理されたピクチャデータ３２７、例えば、後処理されたピクチャ３２７を取得するよう構成される。後処理ユニット３２６によって実行される後処理は、例えば、色フォーマット変換（例えば、ＹＣｂＣｒからＲＧＢ）、色補正、トリミング、若しくは再サンプリング、又は例えば、復号されたピクチャ２３１を、例えば、表示デバイス３２８による表示のために、準備するためのあらゆる他の処理を有してよい。
あて先デバイス３２０の表示デバイス３２８は、ピクチャを、例えば、ユーザ又はビューアーに、表示するために、後処理されたピクチャデータ３２７を受け取るよう構成される。表示デバイス３２８は、再構成されたピクチャを表現するあらゆる種類のディスプレイ、例えば、内蔵された又は外付けのディスプレイ又はモニタであっても、あるいは、それを有してもよい。ディスプレイは、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又はあらゆる種類の他のディスプレイ、例えば、プロジェクタ、ホログラフィックディスプレイ、ホログラムを生成する装置などを有してよい。
図７は、ソースデバイス３１０及びあて先デバイス３２０を別々のデバイスとして表すが、デバイスの実施形態は、両方を、あるいは、両方の機能、ソースデバイス３１０又は対応する機能とあて先デバイス３２０又は対応する機能とを有してもよい。そのような実施形態では、ソースデバイス３１０又は対応する機能及びあて先デバイス３２０又は対応する機能は、同じハードウェア及び／又はソフトウェアを用いて、あるいは、別個のハードウェア及び／又はソフトウェア、又はそれらの任意の組み合わせによって、実施されてよい。
記載に基づき当業者に明らかなように、図７に示されるソースデバイス３１０及び／又はあて先デバイス３２０内の異なる機能又は異なるユニットの機能の存在及び（正確な）分割は、実際のデバイス及び用途に応じて様々であり得る。
以下で、コーディングシステム３００、ソースデバイス３１０、及び／又はあて先デバイス３２０の２、３の非限定的な例が与えられる。
スマートフォン、タブレット又はディスプレイ付き手持ちカメラなどの様々な電子製品が、コーディングシステム３００の例としてみなされ得る。それらは、表示デバイス３２８を含み、それらの大部分は、内蔵のカメラ、すなわち、ピクチャソース３１２も含む。内蔵のカメラによって撮られたピクチャデータは処理及び表示される。処理は、内部でピクチャデータを符号化及び復号することを含んでよい。その上、符号化されたピクチャデータは、内蔵のメモリに記憶されてよい。
代替的に、そのような電子製品は、インターネット又は外部カメラなどの外部ソースからピクチャデータを受け取るために、あるいは、符号化されたピクチャデータを外部ディスプレイ又は記憶ユニットへ送るために、有線又は無線インターフェースを有してもよい。
他方で、セットトップボックスは、内蔵カメラ又はディスプレイを有さないが、外部表示デバイスでの表示のために、受け取られたピクチャデータのピクチャ処理を実行する。そのようなセットトップボックスは、例えば、チップセットによって具現されてよい。
代替的に、セットトップボックスに類似したデバイスは、内蔵ディスプレイを備えたＴＶセットなどの表示デバイスに含まれてもよい。
内蔵ディスプレイを有さない監視カメラは、更なる例を構成する。それらは、外部表示デバイス又は外部記憶デバイスへの捕捉及び符号化されたピクチャデータの伝送のためのインターフェースを備えたソースデバイスに相当する。
対照的に、例えば、ＡＲ又はＶＲに使用されるスマートグラス又は３Ｄグラスなどのデバイスは、あて先デバイス３２０に相当する。それらは、符号化されたピクチャデータを受け取り、それらを表示する。
従って、図７に示されるソースデバイス３１０及びあて先デバイス３２０は、本発明の実施形態の単なる例であり、本発明の実施形態は、図７に示されるものに制限されない。
ソースデバイス３１０及びあて先デバイス３２０は、あらゆる種類の手持ち式又は固定式デバイス、例えば、ノートブック又はラップトップコンピュータ、携帯電話機、スマートフォン、タブレット又はタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ受像機、表示デバイス、デジタルメディアプレーヤー、ビデオゲーム機、ビデオストリーミングデバイス、ブロードキャストレシーバデバイス、などを含む広範なデバイスの中のいずれかを有してよい。大規模の専門的な符号化及び復号化のために、ソースデバイス３１０及び／又はあて先デバイス３２０は、大きなネットワークに含まれ得るサーバ及びワークステーションを更に有してよい。これらのデバイスは、あらゆる種類のオペレーティングシステムを使用してよく、あるいは、使用しなくてもよい。
［符号器及び符号化方法］
図８は、符号器１００、例えば、ピクチャ符号器１００の実施形態の概略／概念ブロック図を示す。符号器１００は、入力部１０２、残差計算ユニット１０４、変換ユニット１０６、量子化ユニット１０８、逆量子化ユニット１１０、及び逆変換ユニット１１２と、再構成ユニット１１４と、バッファ１１６と、ループフィルタ１２０と、復号ピクチャバッファ（ＤＰＢ）１３０と、インター推定ユニット１４２、インター予測ユニット１４４、イントラ推定ユニット１５２、イントラ予測ユニット１５４、及びモード選択ユニット１６２を含む予測ユニット１６０と、エントロピー符号化ユニット１７０と、出力部１７２とを有する。図８に示されるビデオ符号器１００は、ハイブリッドビデオコーデックに従うビデオ符号器又はハイブリッドビデオ符号器とも呼ばれ得る。各ユニットは、非一時的なメモリに記憶されているコードをプロセッサによって実行することによってその処理ステップを実行するために、プロセッサ及び非一時的なメモリから成ってよい。
例えば、残差計算ユニット１０４、変換ユニット１０６、量子化ユニット１０８及びエントロピー符号化ユニット１７０は、符号器１００の順方向の信号パスを形成し、一方、例えば、逆量子化ユニット１１０、逆変換ユニット１１２、再構成ユニット１１４、バッファ１１６、ループフィルタ１２０、復号ピクチャバッファ（ＤＰＢ）１３０、インター予測ユニット１４４、及びイントラ予測ユニット１５４は、符号器の後ろ向きの信号パスを形成し、符号器の後ろ向きの信号パスは、同じ再構成及び予測のための逆処理を提供する復号器の信号パス（図９の復号器２００を参照）に対応する。
符号器は、例えば、入力部１０２によって、ピクチャ１０１又はピクチャ１０１のピクチャブロック１０３、例えば、ビデオ又はビデオシーケンスを形成するピクチャのシーケンスの中のピクチャを受け取るよう構成される。ピクチャブロック１０３は、現在のピクチャブロック又はコーディングされるべきピクチャブロックとも呼ばれることがあり、ピクチャ１０１は、現在のピクチャ又はコーディングされるべきピクチャと呼ばれることがある（特に、ビデオコーディングでは、現在のピクチャを他のピクチャ、例えば、同じビデオシーケンス、すなわち、現在のピクチャも含むビデオシーケンスの前に符号化及び／又は復号されたピクチャと区別するため）。
符号器１００の実施形態は、ピクチャ１０１を複数のブロック、例えば、ブロック１０３のようなブロックに、通常は、複数の重なり合わないブロックに分割するよう構成された、例えばピクチャパーティショニングユニットとも呼ばれ得るパーティショニングユニット（図８に図示せず）を有してよい。パーティショニングユニットは、ビデオシーケンスの全てのピクチャのための同じブロックサイズと、ブロックサイズを定義する対応するグリッドとを使用するよう、あるいは、ピクチャ又はピクチャのサブセット若しくはグループの間でブロックサイズを変え、各ピクチャを対応するブロックに分割するよう、構成されてよい。
複数のブロックの中の各ブロックは、正方形寸法、又はより一般的な長方形寸法を有してよい。非長方形形状のピクチャエリアであるブロックは現れ得ない。
ピクチャ１０１のように、ブロック１０３はやはり、ピクチャ１０１よりも寸法が小さいが、強度値（サンプル値）を有するサンプルの２次元のアレイ又はマトリクスであるか、あるいは、そのようなものとしてみなされ得る。言い換えれば、ブロック１０３は、適用される色フォーマットに応じて、例えば、１つのサンプルアレイ（例えば、モノクロピクチャ１０１の場合にルーマアレイ）、又は３つのサンプルアレイ（例えば、カラーピクチャ１０１の場合にルーマ及び２つのクロマアレイ）、又はあらゆる他の数及び／又は種類のアレイを有してよい。ブロック１０３の水平及び垂直方向（又は軸）におけるサンプルの数は、ブロック１０３のサイズを定義する。
図８に示される符号器１００は、ブロックごとにピクチャ１０１を符号化するよう構成され、例えば、符号化及び予測は、ブロック１０３ごとに実行される。
残差計算ユニット１０４は、例えば、サンプル領域において残差ブロック１０５を得るようサンプルごとに（ピクセルごとに）予測ブロック１６５のサンプル値をピクチャブロック１０３のサンプル値から減じることによって、ピクチャブロック１０３及び予測ブロック１６５（予測ブロック１６５に関する更なる詳細は後で与えられる）に基づいて残差ブロック１０５を計算するよう構成される。
変換ユニット１０６は、変換された係数１０７を変換領域において得るために、残差ブロック１０５のサンプル値に対して変換、例えば、空間周波数変換又は線形空間変換、例えば、離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）を適用するよう構成される。変換された係数１０７は、変換された残差係数とも呼ばれ、変換領域において残差ブロック１０５を表し得る。
変換ユニット１０６は、ＨＥＶＣ／Ｈ．２６５について規定されているコア変換のような、ＤＣＴ／ＤＳＴの整数近似を適用するよう構成されてよい。正規直交ＤＣＴ変換と比較して、そのような整数近似は、通常、特定の係数によってスケーリングされる。順方向及び逆変換によって処理される残差ブロックのノルムを保つために、更なるスケーリング係数が変換プロセスの部分として適用される。スケーリング係数は、シフト演算、変換された係数のビットデプス、精度と実施コストとの間のトレードオフ、などのために、２の冪であるスケーリング係数のような特定の制約に基づいて、通常は選択される。特定のスケーリング係数は、例えば、復号器２００での、例えば、逆変換ユニット２１２による、逆変換（及び符号器１００での、例えば、逆変換ユニット１１２による、対応する逆変換）のために規定され、符号器１００での、例えば、変換ユニット１０６による、順方向変換のための対応するスケーリング係数は、然るべく規定され得る。
量子化ユニット１０８は、量子化された係数１０９を得るように、例えば、スカラー量子化又はベクトル量子化を適用することによって、変換された係数１０７を量子化するよう構成される。量子化された係数１０９は、量子化された残差係数１０９とも呼ばれ得る。例えば、スカラー量子化の場合に、異なるスケーリングが、より細かい又はより粗い量子化を達成するよう適用されてよい。より小さい量子化ステップサイズは、より細かい量子化に対応し、一方、より大きい量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ（ＱＰ）によって示され得る。量子化パラメータは、例えば、適用可能な量子化ステップサイズの予め定義された組へのインデックスであってよい。例えば、小さい量子化パラメータは、精細な量子化（小さい量子化ステップサイズ）に対応してよく、大きい量子化パラメータは、粗い量子化（大きい量子化ステップサイズ）に対応してよい。量子化は、量子化ステップサイズによる除算を含んでよく、例えば、逆量子化ユニット１１０による対応する又は逆の逆量子化は、量子化ステップサイズによる乗算を含んでよい。ＨＥＶＣ（High-Efficiency Video Coding）に従う実施形態は、量子化ステップサイズを決定するために量子化パラメータを使用するよう構成されてよい。一般に、量子化ステップサイズは、除算を含む式の固定点近似を用いて量子化パラメータに基づいて計算され得る。更なるスケーリング係数は、量子化ステップサイズ及び量子化パラメータのための式の固定点近似において使用されるスケーリングのために変更されることになる残差ブロックのノルムを回復するように量子化及び逆量子化のために導入されてよい。１つの実施例では、逆変換及び逆量子化のスケーリングは結合されてよい。代替的に、カスタマイズされた量子化テーブルが使用され、符号器から復号器へ、例えば、ビットストリームにおいて、伝えられてもよい。量子化は不可逆演算であり、損失は、量子化ステップサイズを大きくするにつれて増大する。
符号器１００（又は量子化ユニット１０８）の実施形態は、例えば、対応する量子化パラメータによって、量子化スキーム及び量子化ステップサイズを含む量子化設定を出力するよう構成されてよく、それにより、復号器２００は、パラメータを受け取って、対応する逆量子化を適用し得る。符号器１００（又は量子化ユニット１０８）の実施形態は、量子化スキーム及び量子化ステップサイズを、例えば、直接に、又はエントロピー符号化ユニット１７０若しくは何らかの他のエントロピー符号化ユニットを介してエントロピー符号化して、出力するよう構成されてもよい。
逆量子化ユニット１１０は、例えば、量子化ユニット１０８と同じ量子化ステップサイズに基づいて又はそれを用いて、量子化ユニット１０８によって適用された量子化スキームの逆を適用することによって、量子化された係数に対して量子化ユニット１０８の逆量子化を適用して、逆量子化された係数１１１を取得するよう構成される。逆量子化された係数１１１は、逆量子化された残差係数１１１とも呼ばれ、通常は、量子化による損失により、変換された係数と同じではないが、変換された係数１０７に対応し得る。
逆変換ユニット１１２は、変換ユニット１０６によって適用された変換の逆変換、例えば、逆離散コサイン変換（ＤＣＴ）又は逆離散サイン変換（ＤＳＴ）を適用して、逆変換されたブロック１１３をサンプル領域において取得するよう構成される。逆変換されたブロック１１３は、逆変換された逆量子化されたブロック１１３又は逆変換された残差ブロック１１３とも呼ばれ得る。
再構成ユニット１１４は、例えば、復号された残差ブロック１１３のサンプル値と予測ブロック１６５のサンプル値とをサンプルごとに加算することによって、逆変換されたブロック１１３及び予測ブロック１６５を結合して、再構成されたブロック１１５をサンプル領域において取得するよう構成される。
バッファユニット１１６（又は略して「バッファ」１１６）、例えば、ラインバッファ１１６は、例えば、イントラ推定及び／又はイントラ予測のために、再構成されたブロック及び各々のサンプル値をバッファリング又は格納するよう構成される。
符号器１００の実施形態は、例えば、バッファユニット１１６が、再構成されたブロック１１５をイントラ推定１５２及び／又はイントラ予測１５４のために格納するためだけでなく、ループフィルタユニット１２０のためにも使用されるように、かつ／あるいは、例えば、バッファユニット１１６及び復号ピクチャバッファユニット１３０が１つのバッファを形成するように、構成されてよい。更なる実施形態は、イントラ推定１５２及び／又はイントラ予測１５４のための入力又は基礎として、復号ピクチャバッファ１３０からのブロック若しくはサンプル及び／又はフィルタ処理されたブロック１２１（図８にはいずれも図示せず）を使用するよう構成されてよい。
ループフィルタユニット１２０（又は略して「ループフィルタ」１２０）は、例えば、デブロッキングサンプル適応オフセット（ＳＡＯ）フィルタ又は他のフィルタ、例えば、鮮鋭化若しくは平滑化フィルタ又は協調フィルタを適用することによって、フィルタ処理されたブロック１２１を取得するように、再構成されたブロック１１５にフィルタをかけるよう構成される。フィルタ処理されたブロック１２１は、フィルタ処理された再構成されたブロック１２１とも呼ばれ得る。
ループフィルタユニット１２０の実施形態は、フィルタ解析ユニット及び実際のフィルタユニットを有してよく、フィルタ解析ユニットは、実際のフィルタのためのループフィルタパラメータを決定するよう構成される。フィルタ解析ユニットは、固定の、予め決定されたフィルタパラメータを実際のループフィルタに適用するか、所定のフィルタパラメータの組からフィルタパラメータを適応的に選択するか、あるいは、実際のループフィルタのためのフィルタパラメータを適応的に計算するよう構成されてよい。
ループフィルタユニット１２０の実施形態は、１又は複数のフィルタ（例えば、ループフィルタコンポーネント及び／又はサブフィルタ）、例えば、直列に若しくは並列に接続された又はそれらの任意の組み合わせにおける異なる種類又はタイプのフィルタの１つ以上を有してよく（図８に図示せず）、フィルタの夫々は、個別的に又は複数のフィルタの他のフィルタとともにまとまって、例えば、前の段落で記載されるように、各々のループフィルタパラメータを決定するフィルタ解析ユニットを有してよい。
符号器１００（又はループフィルタユニット１２０）の実施形態は、ループフィルタパラメータを、例えば、直接に、又はエントロピー符号化ユニット１７０若しくは何らかの他のエントロピー符号化ユニットを介してエントロピー符号化して、出力するよう構成されてよく、それにより、復号器２００は、パラメータを受け取って、復号のために同じループフィルタパラメータを適用し得る。
復号ピクチャバッファ（ＤＰＢ）１３０は、フィルタ処理されたブロック１２１を受け取り格納するよう構成される。復号ピクチャバッファ１３０は、同じ現在のピクチャの又は異なるピクチャ、例えば、前に再構成されたピクチャの他の前にフィルタ処理されたブロック、例えば、前に再構成及びフィルタ処理されたブロック１２１を格納するよう更に構成されてよく、例えば、イントラ推定及び／又はインター予測のために、完全な、前に再構成された、すなわち、復号されたピクチャ（並びに対応する参照ブロック及びサンプル）及び／又は部分的に再構成された現在のピクチャ（並びに対応する参照ブロック及びサンプル）を供給してよい。
本発明の更なる実施形態はまた、あらゆる種類の推定又は予測、例えば、イントラ推定及び予測並びにインター推定及び予測のために、復号ピクチャバッファ１３０の前のフィルタ処理されたブロック及び対応するフィルタ処理されたサンプル値を使用するよう構成されてもよい。
ブロック予測ユニット１６０とも呼ばれる予測ユニット１６０は、ピクチャブロック１０３（現在のピクチャ１０１の現在のピクチャブロック１０３）及び復号又は少なくとも再構成されたピクチャデータ、例えば、バッファ１１６からの同じ（現在の）ピクチャの参照サンプル及び／又は復号ピクチャバッファ１３０からの１つ以上の前に復号されたピクチャの中の復号されたピクチャデータ２３１を受け取り又は取得するよう、かつ、そのようなデータを予測のために、すなわち、予測ブロック１６５を供給するために処理するよう構成される。予測ブロック１６５は、インター予測されたブロック１４５又はイントラ予測されたブロック１５５であってよい。
モード選択ユニット１６２は、残差ブロック１０５の計算のために及び再構成されたブロック１１５の再構成のために、予測モード（例えば、イントラ若しくはインター予測モード）及び／又は予測ブロック１６５として使用されるべき対応する予測ブロック１４５若しくは１５５を選択するよう構成されてよい。
モード選択ユニット１６２の実施形態は、最良の一致、すなわち、言い換えれば、最小限の残差（最小限の残差は、伝送又は記憶のための最良の圧縮を意味する）、又は最小限のシグナリングオーバーヘッド（最小限のシグナリングオーバーヘッドは、伝送又は記憶のための最良の圧縮を意味する）をもたらすか、あるいは、両方を考慮し又はバランスを取る予測モードを（例えば、予測ユニット１６０によってサポートされるものの中から）選択するよう構成されてよい。モード選択ユニット１６２は、レート歪み最適化（ＲＤＯ）に基づいて予測モードを決定し、すなわち、最小限のレート歪みをもたらす予測モード、又はどの関連するレート歪みが少なくとも予測モード選択基準を満たすかを選択するよう構成されてよい。
以下では、例となる符号器１００によって実行される予測処理（例えば、予測ユニット１６０）及びモード選択（例えば、モード選択ユニット１６２による）が、更に詳細に説明される。
上述されたように、符号器１００は、（所定の）予測モードの組から最良又は最適な予測モードを決定又は選択するよう構成される。予測モードの組は、例えば、イントラ予測モード及び／又はインター予測モードを有してよい。
イントラ予測モードの組は、３２個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及びプラナーモードのような非指向性モード、又は例えば、Ｈ．２６４で定義されるような、指向性モードを有してよく、あるいは、６５個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及びプラナーモードのような非指向性モード、又は、例えば、Ｈ．２６５で定義されるような、指向性モードを有してよい。
（可能な）インター予測モードの組は、利用可能な参照ピクチャ（すなわち、例えば、ＤＰＢ２３０に記憶されている、前に少なくとも部分的に復号されたピクチャ）及び他のインター予測パラメータ、例えば、参照ピクチャ全体又は一部分のみ、例えば、参照ピクチャの、現在のブロックのエリアの周りの探索ウィンドウウェリア、が、最も良く一致する参照ブロックを探すために使用されるかどうか、及び／又は例えば、ピクセル補間、例えば、半／準ペル及び／又は４分の１ペル補間が適用されるか否か、に依存する。
上記の予測モードに加えて、スキップモード及び／又はダイレクトモードが適用されてもよい。
予測ユニット１６０は、例えば、４分木パーティショニング（ＱＴ）、２分木パーティショニング（ＢＴ）、若しくは３分木パーティショニング（ＴＴ）、又はそれらの任意の組み合わせを繰り返し用いて、ブロック１０３をより小さいブロックパーティション又はサブブロックに分割するよう更に構成されてよく、モード選択は、分割されたブロック１０３の木構造とブロックパーティション又はサブブロックの夫々に適用される予測モードとの選択を有する。
インターピクチャ推定ユニット１４２とも呼ばれるインター推定ユニット１４２は、ピクチャブロック１０３（現在のピクチャ１０１の現在のピクチャブロック１０３）及び復号されたピクチャ２１３、又は少なくとも１つ若しくは複数の前に再構成されたブロック、例えば、１以上の他の／異なる前に復号されたピクチャ２３１の再構成されたブロックを、例えば、インター推定（又は「インターピクチャ推定」）のために、受け取るか又は取得するよう構成される。例えば、ビデオシーケンスは、現在のピクチャ及び前に復号されたピクチャ２３１を有してよく、すなわち、言い換えれば、現在のピクチャ及び前に復号されたピクチャ２３１は、ビデオシーケンスを形成するピクチャのシーケンスの部分であるか、又はピクチャのシーケンスを形成し得る。
符号器１００は、例えば、複数の他のピクチャの同じ又は異なるピクチャの複数の参照ブロックから参照ブロックを選択（取得／決定）し、参照ピクチャ（若しくは参照ピクチャインデックスなど）及び／又は参照ブロックの位置（ｘ、ｙ座標）と現在のブロックの位置との間のオフセット（空間オフセット）をインター推定パラメータ１４３としてインター予測ユニット１４４へ供給するよう構成されてよい。このオフセットは、運動ベクトル（ＭＶ）とも呼ばれる。インター推定は、動き推定（ＭＥ）とも呼ばれ、インター予測は、動き予測（ＭＰ）とも呼ばれる。
インター予測ユニット１４４は、インター予測パラメータ１４３を取得し、例えば、受け取り、インター予測パラメータ１４３に基づいて又はそれを用いてインター予測を実行してインター予測ブロック１４５を取得するよう構成される。
図８は、インターコーディングのための２つの異なるユニット（又はステップ）、すなわち、インター推定１４２及びインター予測１４４を示すが、両方の機能は、例えば、現在最良のインター予測モード及び各々のインター予測ブロックを記憶しながら繰り返し、可能なインター予測モードの全ての可能な又は所定のサブセットを試験し、現在最良のインター予測モード及び各々のインター予測ブロックを、別なときにインター予測１４４を実行せずに（最終の）インター予測パラメータ１４３及びインター予測ブロック１４５として使用することによって、１つとして実行されてよい（インター推定は、通常は、ある／そのインター予測ブロック、すなわち、その又は“一種”のインター予測１４４を計算することを必要とする／有する）。
イントラ推定ユニット１５２は、イントラ推定のためにピクチャブロック１０３（現在のピクチャブロック）及び同じピクチャの１以上の前に再構成されたブロック、例えば、再構成された隣接ブロックを取得する、例えば、受け取るよう構成される。符号器１００は、例えば、複数のイントラ予測モードからイントラ予測モードを選択（取得／決定）し、それをイントラ推定パラメータ１５３としてイントラ予測ユニット１５４へ供給するよう構成されてよい。
符号器１００の実施形態は、最適な基準、例えば、最小限の残差（例えば、現在のピクチャブロック１０３に最も類似した予測ブロック１５５を供給するイントラ予測モード）又は最小限のレート歪みに基づいてイントラ予測モードを選択するよう構成されてよい。
イントラ予測ユニット１５４は、イントラ予測パラメータ１５３、例えば、選択されたイントラ予測モード１５３に基づいて、イントラ予測ブロック１５５を決定するよう構成される。
図８は、イントラコーディングのための２つの異なるユニット（又はステップ）、すなわち、イントラ推定１５２及びイントラ予測１５４を示すが、両方の機能は、例えば、現在最良のイントラ予測モード及び各々のイントラ予測ブロックを記憶しながら繰り返し、可能なイントラ予測モードの全ての可能な又は所定のサブセットを試験し、現在最良のイントラ予測モード及び各々のイントラ予測ブロックを、別なときにイントラ予測１５４を実行せずに（最終の）イントラ予測パラメータ１５３及びイントラ予測ブロック１５５として使用することによって、１つとして実行されてよい（イントラ推定は、通常は、イントラ予測ブロック、すなわち、その又は“一種”のイントラ予測１５４を計算することを必要とする／有する）。
エントロピー符号化ユニット１７０は、エントロピー符号化アルゴリズム又はスキーム（例えば、可変長符号化（ＶＬＣ）スキーム、コンテキスト適応ＶＬＣスキーム（ＣＡＬＶＣ）、算術符号化スキーム、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ））を、量子化された残差係数１０９、インター予測パラメータ１４３、イントラ予測パラメータ１５３、及び／又はループフィルタパラメータに対して個別的に又はまとめて適用して（又は全くなしで）、出力部１７２によって出力され得る符号化されたピクチャデータ１７１を、符号化されたビットストリーム１７１の形で取得するよう構成される。
［復号器及び復号化方法］
図９は、復号されたピクチャ２３１を取得するよう、例えば、符号器１００によって符号化された、符号化されたピクチャデータ（例えば、符号化されたビットストリーム）１７１を受け取るよう構成されたビデオ復号器２００を例示する。
復号器２００は、入力部２０２と、エントロピー復号化ユニット２０４と、逆量子化ユニット２１０と、逆変換ユニット２１２と、再構成ユニット２１４と、バッファ２１６と、ループフィルタ２２０と、復号ピクチャバッファ２３０と、インター予測ユニット２４４、イントラ予測ユニット２５４、及びモード選択ユニット２６２を含む予測ユニット２６０と、出力部２３２とを有する。
エントロピー復号化ユニット２０４は、例えば、量子化された係数２０９及び／又は復号された符号化パラメータ（図９に図示せず）、例えば、インター予測パラメータ１４３、イントラ予測パラメータ１５３、及び／又はループフィルタパラメータの（復号された）いずれか又は全てを取得するために、符号化されたピクチャデータ１７１に対してエントロピー復号化を実行するよう構成される。
復号器２００の実施形態において、逆量子化ユニット２１０、逆変換ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号ピクチャバッファ２３０、予測ユニット２６０及びモード選択ユニット２６２は、符号化されたピクチャデータ１７１を復号するために、符号器１００（及び各々の機能ユニット）の逆処理を実行するよう構成される。
特に、逆量子化ユニット２１０は、逆量子化ユニット１１０と機能が同じであってよく、逆変換ユニット２１２は、逆変換ユニット１１２と機能が同じであってよく、再構成ユニット２１４は、再構成ユニット１１４と機能が同じであってよく、バッファ２１６は、バッファ１１６と機能が同じであってよく、ループフィルタ２２０は、（ループフィルタ２２０が原画像１０１又はブロック１０３に基づきフィルタパラメータを決定するフィルタ解析ユニットを通常は有さず、符号化のために使用されるフィルタパラメータを、例えば、エントロピー復号化ユニット２０４から、（明示的又は暗黙的に）受信又は取得しということで、実際のループフィルタに関して）ループフィルタ１２０と機能が同じであってよく、復号ピクチャバッファ２３０は、復号ピクチャバッファ１３０と機能が同じであってよい。
予測ユニット２６０は、インター予測ユニット２４４及びイントラ予測ユニット２５４を有してよく、インター予測ユニット２４４は、インター予測ユニット１４４と機能が同じであってよく、イントラ予測ユニット２５４は、イントラ予測ユニット１５４と機能が同じであってよい。予測ユニット２６０及びモード選択ユニット２６２は、通常は、ブロック予測を実行し、かつ／あるいは、符号化されたデータ１７１のみから、予測されたブロック２６５を取得するよう、かつ、予測パラメータ１４３若しくは１５３及び／又は選択された予測モードに関する情報を、例えば、エントロピー復号化ユニット２０４から（明示的又は暗黙的に）受信又は取得するよう構成される。
復号器２００は、復号されたピクチャ２３１をユーザの提示又はビューイングのために、例えば、出力部２３２を介して出力するよう構成される。
再び図７を参照すると、復号器２００から出力された復号されたピクチャ２３１は、ポストプロセッサ３２６に後処理されてよい。結果として得られる後処理されたピクチャ３２７は、内部又は外部表示デバイス３２８へ伝送され、表示されてよい。
［実施形態の更なる詳細］
以下では、本発明の例となる実施形態の更なる詳細が、図１０から図１６を参照して記載される。
本開示によって提案される符号ビット隠蔽（ＳＢＨ）及び残差符号予測（ＲＳＰ）技術の特有の和合は、ＲＳＰプロシージャを、ＲＳＰリスト（少なくとも１つのリスト、具体的な実施形態では、２以上のリスト）を準備することと、ＲＳＰ技術に関連した他の動作を実行すること、特に、符号推定を実行し、推定された符号と原符号との間の差を取得及び符号化すること、の２つのサブプロシージャに分割することを有する。これら２つのサブプロシージャの間でＳＢＨが実行される。特に、ＳＢＨが適用されるべき係数は、このようにしてもはや統計的に選択されず（例えば、所定の走査順序における最初の非ゼロ変換係数）、選択は、ＲＳＰ技術によってまだ予測されていない、すなわち、１以上のＲＳＰリスト係数にない係数が選択されるように行われる。
これは、ＲＳＰリストからの量子化された変換係数の許された変更に制約を課すことによって、ＳＢＨプロシージャの更なる符号器側の改良を必要とする。
本発明は、符号器側及び復号器側で符号予測及び隠蔽プロセスを和合する規範的（すなわち、少なくとも復号器に、特に、復号器及び符号器の両方に適用可能な）改善及び非規範的（すなわち、符号器のみに適用可能な）改善の両方を提案する。この場合に、規範的改善は、符号化及び復号化の両方のプロセスに導入される。実施形態では、更なる非規範的な改良が、符号器側から受信された信号をパース及び復号することを復号器側に適切に可能にするために、符号器側で必要である。当然、本発明に従う復号器は、本発明に従う符号器によって符号化されている如何なる信号も復号することができるべきである。
符号器側及び復号器側の両方でＳＢＨ及びＲＳＰを和合し適用する改良されたプロシージャの処理フローが、図１０に表されている。
符号器側で、最初のステップ（Ｓ１０）は、１つ以上のＲＳＰリスト、すなわち、符号が推定（予測）されるべきである係数のリストを準備することである。この例では、これは、ＲＳＰリストのサブリストの例としてＨＰリスト及びＬＰリストを含む。以下の説明では、簡単のために、それらは「ＲＳＰリスト」とも示される。ＬＰリスト及びＨＰリストは、ＲＳＰ技術の一般説明に関連して上述されている。これらのリストは、リストの全体サイズ（Ｍ）を定義し、大きさ及びそれらの（例えば、ラスタ順序での）走査によって順序付けられた最初のＭ個の係数のパースされた大きさ値を閾値化することによって、再構成される。
次のステップ（Ｓ１２）は、隠される（埋め込まれる）べき符号を有する係数の位置がもはや走査順序内の最初の非ゼロ係数の位置として定義されないという点で、従来のアプローチと相違している。係数がＲＳＰリストに属する場合に、その符号は、それが既に、圧縮を強化された符号化及びシグナリングプロシージャ（ＲＳＰ技術）を受けているので、隠蔽のために選択されるべきではない。さもなければ、同じデータが同時に２つの異なる技術を用いて、すなわち、冗長的な方法で、符号化されることになる。本発明の実施形態に従って、係数が、リストにない最低周波数の（有意味な）１つであるようＳＢＨメカニズムにより埋め込まれかつ回復される係数の位置を選択する、ことが提案される。言い換えれば、ＲＳＰリストに属する係数に対応する位置は、この選択プロセスから除かれる。
従来の場合と同様に、符号器側で、ＳＢＨ技術は、係数の所与の組（ＣＣ又はＣＧ）について、隠されている符号の値が、この組に適用されているチェック関数（所定の関数）の値に対応することを保証すべきである。量子化された残差信号のこの特性は、量子化プロセス中に、通常は、量子化された変換係数の大きさを変えることによって、達成される。
特に、係数がＲＳＰリスト（ＨＰリスト及びＬＰリスト）に属する場合に、次いで、その大きさの変更は、ＨＰとＬＰとの間の閾値をまたがない場合にのみ許される。そうでなければ、異なるコンテキストが、２つのサブリストについて、推定された符号と実際の符号との間の符号差をコーディングすることにおいて適用されるので、復号器は、推定された符号と正確な符号との間の受信された符号化された差値を正確に復号することができなくなる。この制約は、ステップＳ１４で、選択された符号の隠蔽プロセスを実行するときに、考慮される。
続くステップＳ１６で、実際のＲＳＰプロシージャ（符号推定及び差の符号化）が実行される。これは、上記の導入部で記載された既知の方法のいずれかによって、あるいは、代替的に、図１４を参照して以下で記載されるもののような他の適切な方法によって、行われ得る。
復号器側で、最初の２つのステップは符号化プロセスと一致する。最初に、ステップＳ２０で、ＲＳＰリストが準備される。特に、これは、上述されたように、前もってセットされたサイズ（Ｍ）と、大きさに従って降順で係数を順序付けることとに基づいて、行われ得る。符号器側及び復号器側の両方で、他の適切なメカニズムも可能である。
続くステップＳ２２で、有意味な、量子化された変換係数が、ＳＢＨメカニズムに従って、所定の関数の値に基づいてその符号を回復するために選択される。係数は、符号器側と同じく、ＲＳＰリスト（ＨＰ又はＬＰリスト）に含まれないように選択される。特に、係数は、符号器側と同じ規則、例えば、リストにない最低周波数の１つ、に基づいて選択される。
符号復号化プロセスの最後のステップで、ＳＢＨが適用される係数の符号を決定すること（Ｓ２４）と、推定された符号と原符号との間の差値を復号すること、符号推定プロシージャを実行すること、及び推定された符号を、復号された差値に基づいて補正することを含むＲＳＰプロシージャを実行すること（Ｓ２６）とが、従来の様態で実行される。
図１１は、ステップＳ１０及びＳ１２並びにステップＳ２０及びＳ２２で夫々実行される符号隠蔽と符号予測との間の和合の例となるケースを表す。
図の左上部分は、量子化された変換係数の組、この場合には、４×４係数グループを示す。係数グループは、逆量子化され、閾値が、回復された（すなわち、逆量子化された）係数に対して、Ｔ＝３００の閾値により適用される。所与の場合に、ＲＳＰリスト内の係数の全数は、Ｍ＝５と定義される。従って、３００の閾値よりも大きい大きさを有している、７６８、５１２、及び－５１２の係数値に対応する係数部分は、ＨＰサブリストに属する。その結果、ＬＰサブリストにポピュレートするために５－３＝２個の係数が残っている。より具体的には、２５６の大きさを夫々有している残り３つの有意味な係数の中から、２つのみがＬＰサブリストに含まれる。ＲＳＰリストに含まれない大きさ２５６の残りの係数（この例では、係数グループの唯一の残りの有意味な係数）は、このようにして、ＳＢＨによる隠蔽のために選択される。原則として、閾値化は、量子化された係数によっても実行され得るが、回復された係数の領域においてそれを実行することは、ブロックサイズ及び量子化パラメータに依存しないという利点がある。
パリティチェックは、係数の変更がこの例では不要であることを明らかにする。すなわち、量子化された変換係数の絶対値の和は、３＋１＋２＋１＋１＋２＝１０、すなわち、偶数値である。これは、隠蔽のために選択される係数の符号（＋）に対応する。
図１２は、（必要な場合に、隠されるべき正確な符号に対応するように、所定の関数の所望の値を取得するための）最良の係数変更の決定の従来例について記載する。簡単のために、隠されるべき単一の係数の場合が、量子化後の変換係数の和のパリティ値を計算することによって、考えられている。すなわち、必要な変更は、係数の単一の任意の１つを＋１又は－１のどちらか一方によって変更することによって、達成され得る。
例によって、原ブロックと予測されたブロックとの間の差として取得される残差信号（ＲＥＳ）は、（一般に、ＤＣＴ又はＤＳＴなどの直交変換を用いて）変換される。結果として得られる変換係数は、更に、予め定義された量子化パラメータ値により量子化される。量子化プロシージャは、種々の方法で実行され得る。しかし、最も一般的な１つは、レート歪み最適化による量子化（ＲＤＯＱ）である。それは、量子化誤差だけでなく、結果として得られる量子化された信号を符号化するために必要とされるビットの数も最小限にするために、ＣＡＢＡＣ統計量を使用する。量子化パラメータは、最もＲＤにとって有利な係数変更を決定するためにＲＤＯＱによって使用される。チェック関数が、ここで考えられているように、パリティチェック関数である場合に、所望のチェック関数値は、チェック関数が適用される係数の組に属する係数の１つの大きさを増大又は低減させることによって、常に達成され得る。
符号器側でのＳＢＨ技術は、量子化された変換係数ＱＲにより作動し、ＲＤＯＱと同様の技術を使用して、最もＲＤにとって有利な係数変更を決定する。チェック関数がパリティチェック関数である場合について、所望のチェック関数値は、チェック関数が適用される係数の組に属する係数の１つの大きさを増大又は低減させることによって、常に達成され得る。
図１２に示される例となる実施では、チェック関数が適用される係数位置の夫々について、コスト値が計算される：増大のコスト（ＣＯＳＴ－１）及び低減のコスト（ＣＯＳＴ＋１）。結果は互いに比較され、最小コスト値を有する修正の位置及び方向が選択される。このようにして、記載される例では、最低の変更コストが、量子化された変換係数の大きさの変更の位置及び方向（ｐｏｓｂｅｓｔ）を決定する。
上述されたように、量子化された変換係数のいくつかの変更、例えば、符号が復号器側で回復される位置の変更をもたらすもの、は禁止される。そのような制約は、先に詳細に論じられている。
制約を鑑みて、最小コスト値をもたらす変更（修正の位置及び方向）が制約によって禁止され、従って、選択され得ない状況があり得る。これを鑑みて変更を選択するために適用される簡単な規則は、二番目の最小コスト値（又は、より一般的に、制約によって禁止されない最小コスト値）を有する変更を選択することである。
しかし、上記のアプローチは本発明の枠組み内で適用され得るが、コーディングプロセスにおける符号隠蔽及び符号予測技術の存在の枠組み内では、コストにのみ基づく最適化が次善になることが分かる。実際に、多くの係数は、コスト関数が通常は正確に計算されず推定されるだけであるから、変更の近似コストを有している。
従って、本発明は、符号器側で係数の大きさを変えるために代替のアプローチを適用することを提案する。これは、図１３を参照して以下で記載される。
最初のステップ（Ｓ１３０）で、個々の係数変更のためのＲＤコスト計算が実行される。これは、図１２を参照して上述された様態で実施され得る。
図１３の第２のステップ（Ｓ１３２）は、最良の（最小限の）コスト値に近いＲＤコスト値をもたらす変更（変更は、係数の位置及び変更方向によって定義される）のリストｐｏｓ＿ｌｉｓｔＣＭＣを準備することから成る。コストが十分に近いかどうかを定義する基準は、

｜ＣＯＳＴ－ＣＯＳＴＲＥＳＴ｜≦ε

と定義されるべきであり、εは、予め定義された値である。
次いで、このようにして生成されたリストが１よりも多い要素を有しているかどうかが判定される（Ｓ１３４）。単一の要素（すなわち、コスト値ＣＯＳＴＲＥＳＴに対応する）しかない場合には、次いで、対応する位置及び変更方向が、従来の方法で、最適な偏光として選択される（Ｓ１３６）。
しかし、リストが１よりも多い要素を有する、すなわち、最良の（最小限の）コスト値に近いコストを有する複数の可能な変更（位置及び変更方向）がある場合には、他の基準が更に、変更推定関数（ＭＥＦ）を考えることによって、考慮に入れられる。その場合に、変更ｐｏｓｂｅｓｔは、変更推定関数のより小さい値をもたらす他の位置及び変更方向によって置換されてよい。より具体的には、リストの各員について（Ｓ１３５）、変更推定関数は計算され（Ｓ１３７）、変更推定関数の最小値を有する１つが、（新しい）最適な偏光（ｐｏｓｂｅｓｔ）として選択される。
実施形態に従って、ＭＥＦは、係数変更によって導入される歪みであるよう定義される。レート変化は、ＲＳＰプロシージャの制度に影響を及ぼさないが、歪みは影響を及ぼす。従って、ＭＥＦにおいてレート変化値を使用することは回避される。
他の実施形態は、係数の量子化レベルであるようＭＥＦを定義する。符号が予測される係数の数を最大限にするために、最も大きい大きさを有している係数が、ｐｏｓ＿ｌｉｓｔＣＭＣリストから選択される。
以下では、図１４を参照して、代替のアプローチが、周波数領域（変換領域）において符号推定プロシージャを実行することについて記載される。図３を参照して上述されたピクセル領域での推定プロシージャの従来の方法との主な相違は、図１４を図３と比較することによって明らかになる。特に：
・符号推定が変換領域において実行され、
・現在のブロックを再構成し、その境界ピクセルを隣接ブロックの対応するピクセルから減じることに代えて、予測信号が隣接ブロックエリアに伝搬される。
簡単のために、隣接ブロックのただ１つの列のみが、図１４では考えられている。提案される発明が適用される枠組みに応じて、上の行、右の列、又は下の行も使用されてよい。
コスト関数（１）は、モジュラスの代わりに二乗を使用するよう再定義される：
Figure 0007085009000004
 ここで、Ｎ及びＭは、ブロックの高さ及び幅である。
再構成されたブロックは、予測及び残差部分から成る：

Ｙｉ，ｊ＝Ｐｉ，ｊ＋Ｒｉ，ｊ

ここで、Ｐｉ，ｊは予測であり、Ｒｉ，ｊは残差である。
この場合に、（１ａ）内の構成要素は再配置され得る（背景技術の項を参照）：
Figure 0007085009000005
 Ｔｎ＝［２Ｘｎ，－１ －Ｘｎ，－２ －Ｐｎ，０］、Ｖｍ＝［２Ｚ－１，ｍ －Ｚ－２，ｍ －Ｐ０，ｍ］、Ｑｎ＝Ｒｎ，０及びＯｍ＝Ｒ０，ｍを表すとする。パーセヴァルの等式に従って、この関数は、変換領域（１Ｄ）において書き直され得る：
Figure 0007085009000006
 ここで、ｔｎ＝Ｔｒａｎｓ１Ｄ（Ｔｎ）、ｑｎ＝Ｔｒａｎｓ１Ｄ（Ｑｎ）、ｖｎ＝Ｔｒａｎｓ１Ｄ（Ｖｎ）、ｏｎ＝Ｔｒａｎｓ１Ｄ（Ｏｎ）であり、Ｔｒａｎｓ１Ｄ（）は一次元の直交変換である。
結果として、コスト関数は計算され得、従って、量子化された変換係数の符号は、変換領域において推定され得る。
図１４から明らかなように、図３を参照して上述された従来アプローチと同じく、（予測された変換された差信号と計算された逆量子化された残差変換係数ｑｎとの間の比較の一種に対応する）コスト関数の各々の計算は、符号の組に関する２Ｍ個の仮説の夫々について実行され、コスト関数を最小限にする仮説が、符号の組の推定としてとられる（ここで、Ｍは、符号が図中で予測されるべきである変換係数の個数である）。特に、隣接ブロックとのブロックＡの境界にある列ｑｎに対応するブロックＡの逆量子化された残差係数は、変換された差列Ｂｃｏｌと比較される。変換された差列Ｂｃｏｌ（ｔｎに対応）は、伝搬された予測信号を、ピクセル領域において、差信号を含む隣接ブロック列から減じることによって、かつ、差信号を変換された差に変換することによって、取得される。変換は、空間領域への変換、例えば、ＤＦＴ、ＦＦＴ、ＤＣＴ若しくはＤＳＴ又はそれらの整数バージョンのような、如何なる直交又は近直交変換でもある。
ｑｎ、ｏｎとｒｎ，ｍ＝Ｔｒａｎｓ２Ｄ（Ｒｎ，ｍ）との間の関係を決定するために、Ｒｎ，ｍとｒｎ，ｍとの間の関係を一般式で書くとする：
Figure 0007085009000007
 ここで、ＷＮ ｎ，ｋ－変換コア、例として、ＤＣＴ２について、それは
Figure 0007085009000008
 である。
Figure 0007085009000009
 ｏｎ及びｒｎ，ｍの場合に、同様の関係がある。
変換領域における計算は、ｔｎ及びｖｍの全ての利用可能な係数がコスト関数を計算するために使用されるわけではないので、計算的により容易である。代わりに、方法は、特定の行及び特定の列に属するいくつかの係数のみを使用する。この行及び列は、符号が予測されている係数の位置の対応するインデックスである。コスト関数（２）を最小限にする符号の組は、生成され、推定結果とされる。符号予測誤差はエントロピー符号化される。結果として得られるビットは、従来の符号符号化の結果と組み合わされ、ビットストリームに埋め込まれる。
符号器側での本発明の例となる実施は、図１５に表されている。図１５に顕されている本発明に従う例となる符号器は、符号予測（すなわち、符号推定）モジュール（ステップ又はユニット）１２２を更に含むことによって、図８の従来の符号器と相違する。量子化された変換係数１０９に基づいて、モジュールは、符号予測誤差１２３をエントロピー符号化ユニット１７０へ出力する。
エントロピー符号化ユニット１７０自体は、２つの改良によって、図８のエントロピー符号化ユニット１７０と相違する。第１に、符号推定の結果、すなわち、符号予測誤差が、（量子化された）変換係数の変換ユニット内の所与の位置の組（リストに含まれる第１の複数の係数）について符号値の代わりに符号化される。第２に、符号推定の結果を符号化するために適用される新しいコーディングコンテキストが導入される。
更に、図１５の本発明の実施形態と図８の従来の符号器との間には、量子化モジュール１８においても違いがある。すなわち、上述されたように、量子化プロシージャは、必要に応じて係数を変更することによって、チェック関数（所定の関数）の所望の特性が、係数の符号を隠すように満たされることを確かにすべきである。
復号器側での本発明の例となる実施形態は、図１６に表されている。表されている復号器も、新しい符号予測モジュール１２２を備える。符号予測モジュール１２２は、符号器側で使用されるのと同じであり、変換係数の組内の第１の複数の変換係数のリストによって定義される位置にある量子化された変換係数の符号のいくつかを推定する。
更に、図１６の本発明の例となる実施形態と図９の従来例との間にはエントロピー復号モジュール２０４において違いがある。本発明に従って、パーシングプロセス（エントロピー復号化）中に、符号予測誤差信号１２３のみが回復される。パーシング依存性は導入されない。すなわち、実際の符号値及び位置は、パーシングプロセスが完了した後に、具体的には、逆量子化プロセス２１０と並行して、予測誤差信号１２３から回復され得る。
上記の図１５及び図１６では、図８及び図９の例と比較して追加の又は変更されたモジュール（ステップ又はユニット）は、明るい影をつけて示されている。
上述された本発明の詳細な説明をまとめると、主な違いは次のとおりである：
ＲＳＰプロシージャは、２つのサブプロシージャ“ＲＳＰリストの準備”及び“ＲＳＰ技術に関連した他の動作の実行”に分けられ、ＳＢＨは、それらのサブプロシージャの間で実行される。このような変更はＳＢＨ及びＲＳＰリストの両方に影響を及ぼす。
更に、変更によって係数位置分布に如何なる変化（特にサブリスト間で閾値をまたぐこと）もあってはならないいくつかのＲＳＰリスト（サブリスト）がある場合に、ＲＳＰリストからの量子化された変換係数の許された変化に制約を課すことによって、符号器側でＳＢＨプロシージャは改良される。
従って、本発明は、次の態様において有利であることができる：
圧縮性能は、ＲＳＰ及びＳＢＨ技術を和合することにより高められ得る。
提案される方法によって引き起こされるハードウェア計算複雑性は、符号器側及び復号器側の両方で小さい。
本発明は、ＨＭソフトウェア及びＶＰＸビデオコーデックファミリー並びに最新であるＪＥＭ（Joint Exploration Model）ソフトウェア及びＶＰＸ／ＡＶ１ビデオコーデックファミリー、更には次世代のビデオ符号化フレームワークと互換性があるハイブリッドビデオコーディングパラダイムにおける多くの潜在的な用途で使用され得る。
本発明は、広範なＳＢＨ及びＲＳＰ技術に適用可能である。
要約すると、本発明は、ビデオコーディングにおいて符号ビット隠蔽（ＳＢＨ）及び残差符号予測（ＲＦＰ）の両方の技術を和合する改善された装置及び方法に関係がある。コーディング効率を改善するために、ＳＢＨが適用される係数を選択する前に、ＲＳＰが適用されるべきである変換係数のリストが準備される。それによって、ＲＳＰリストは、最も高い符号化効率が期待され得る様態でポピュレートされ得る。続いて、ＳＢＨを適用するための１つ以上の係数が、リストに含まれないように選択される。
本明細書は、ピクチャ（フレーム）に関して説明しているが、インターレースピクチャ信号の場合には、フィールドがピクチャとして取って代わる点に留意されたい。
本発明は、ビデオコーディングに基づいて主に記載されてきたが、符号器１００及び復号器２００（及び相応してシステム３００）の実施形態も、静止ピクチャ処理又はコーディング、すなわち、ビデオコーディングで見られるような如何なる先行又は連続ピクチャからも独立した個々のピクチャの処理又はコーディングのために構成されてもよい点が留意されるべきである。
実施形態及び記載が語「メモリ」に言及するとき、語「メモリ」は、明示的に別なふうに述べられない限りは、磁気ディスク、光ディスク、ソリッド・ステート・ドライブ（ＳＳＤ）、リード・オンリー・メモリ（Read-Only Memory，ＲＯＭ）、ランダム・アクセス・メモリ（Random Access Memory，ＲＡＭ）、ＵＳＢフラッシュドライブ、又はあらゆる他の適切な種類のメモリと理解されるべきでありかつ／あるいはそれらを有するべきである。
実施形態及び記載が語「ネットワーク」に言及するとき、語「ネットワーク」は、明示的に別なふうに述べられない限りは、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、イーサネット、インターネット、モバイルネットワークなどのようなあらゆる種類の無線又は有線ネットワークと理解されるべきでありかつ／あるいはそれらを有するべきである。
当業者であれば、様々な図（方法及び装置）の「ブロック」（「ユニット」又は「モジュール」）は、（ハードウェア又はソフトウェアにおける必然的に個々の「ユニット」よりむしろ）本発明の実施形態の機能を表現又は記載し、よって、装置の実施形態及び方法の実施形態（ユニット＝ステップ）の機能又は特徴を同様に記載する。
「ユニット」の用語は、符号器／復号器の実施形態の機能の実例のために単に使用され、本開示を制限する意図はない。
本願で提供されるいくつかの実施形態では、開示されるシステム、装置、及び方法は他の様態で実施されてもよいことが理解されるべきである。例えば、記載される装置の実施形態は、単なる例である。例えば、ユニット分割は、単に、論理的な機能分割であり、実際の実施では他の分割であってもよい。例えば、複数のユニット又はコンポーネントは、他のシステムに結合又は一体化されてよく、あるいは、いくつかの特徴は、無視されても又は実行されなくてもよい。その上、表示又は議論されている相互結合又は直接的な結合若しくは通信接続は、いくつかのインターフェースを使用することによって実施されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電子的な、機械的な、又は他の携帯で実施されてもよい。
別個の部分として記載されるユニットは、物理的に分離していてもいなくてもよく、ユニットとして表示されている部分は、物理的なユニットであってもなくてもよく、一箇所に位置しても、あるいは、複数のネットワークユニットに分布してもよい。ユニットの一部又は全部は、実施形態の解決法の目的を達成するために、実際のニーズに従って選択されてよい。
更に、本発明の実施形態における機能ユニットは、１つの処理ユニットに一体化されてよく、あるいは、ユニットの夫々は、物理的に単独で存在してよく、あるいは、２つ以上のユニットは１つのユニットに一体化される。
本発明の実施形態は、ここで記載されている方法及び／又はプロセスのいずれかを実行するよう構成された処理回路を有する装置、例えば、符号器及び／又は復号器を更に有してよい。
符号器１００及び／又は復号器２００の実施形態は、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実施されてよい。例えば、符号器／符号化又は復号器／復号化の機能は、ファームウェア又はソフトウェアの有無によらず処理回路、例えば、プロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などによって実行されてよい。
符号器１００（及び対応する符号化方法１００）及び／又は復号器２００（及び対応する復号化方法２００）の機能は、コンピュータ可読媒体に記憶されているプログラム命令によって実施されてもよい。プログラム命令は、実行される場合に、処理回路、コンピュータ、プロセッサなどに、符号化及び／又は復号化方法のステップを実行させる。コンピュータ可読媒体は、ブルーレイディスク、ＤＶＤ、ＣＤ、ＵＳＢ（フラッシュ）ドライブ、ハードディスク、ネットワークを介して利用可能なサーバストレージなどのような、プログラムが記憶されている非一時的な記憶媒体を含む如何なる媒体でもあることができる。
本発明の実施形態は、コンピュータで実行されるときに、ここで記載されている方法のいずれかを実行するプログラムコードを有するコンピュータプログラムを有するか、又はそのようなコンピュータプログラムである。
本発明の実施形態は、プロセッサによって実行されるときに、コンピュータシステムに、ここで記載されている方法のいずれかを実行させるプログラムコードを有するコンピュータ可読媒体を有するか、又はそのようなコンピュータ可読媒体である。
本発明の実施形態は、ここで記載されている方法のいずれかを実行するチップセットを有するか、又はそのようなチップセットである。
１００ 符号器
１０１ ピクチャ
１０２，２０２ 入力部（例えば、入力ポート、入力インターフェース）
１０３ ピクチャブロック
１０４ 残差計算［ユニット又はステップ］
１０５ 残差ブロック
１０６ 変換（例えば、スケーリングを更に有する）［ユニット又はステップ］
１０７ 変換された係数
１０８ 量子化［ユニット又はステップ］
１０９，２０９ 量子化された係数
１１０，２１０ 逆量子化［ユニット又はステップ］
１１１，２１１ 逆量子化された係数
１１２，２１２ 逆変換（例えば、スケーリングを更に有する）［ユニット又はステップ］
１１３，２１３ 逆変換されたブロック
１１４，２１４ 再構成［ユニット又はステップ］
１１５，２１５ 再構成されたブロック
１１６，２１６ （ライン）バッファ［ユニット又はステップ］
１１７，２１７ 参照サンプル
１２０，２２０ ループフィルタ［ユニット又はステップ］
１２１，２２１ フィルタ処理されたブロック
１２２ 符号予測［ユニット又はステップ］
１３０，２３０ 復号ピクチャバッファ（ＤＰＢ）［ユニット又はステップ］
１４２ インター推定（又はインターピクチャ推定）［ユニット又はステップ］
１４３ インター推定パラメータ（例えば、参照ピクチャ／参照ピクチャインデックス、運動ベクトル／オフセット）
１４４，２４４ インター予測（又はインターピクチャ予測）［ユニット又はステップ］
１４５ インター予測ブロック
１５２ イントラ推定（又はイントラピクチャ推定）［ユニット又はステップ］
１５３ イントラ予測パラメータ（例えば、イントラ予測モード）
１５４，２５４ イントラ予測（イントラフレーム／ピクチャ予測）［ユニット又はステップ］
１５５ イントラ予測ブロック
１６０，２６０ 予測［ユニット又はステップ］
１６２，２６２ モード選択［ユニット又はステップ］
１６５，２６５ 予測ブロック（例えば、インター予測ブロック１４５又はイントラ予測ブロック１５５のどちらか一方）
１７０ エントロピー符号化（ユニット又はステップ）
１７１ 符号化されたピクチャデータ（例えば、ビットストリーム）
１７２ 出力部（出力ポート、出力インターフェース）
２００ 復号器
２０４ エントロピー復号化
２３１ 復号されたピクチャ
３００ コーディングシステム
３１０ ソースデバイス
３１２ ピクチャソース
３１３ （ロー）ピクチャデータ
３１４ プリプロセッサ／前処理ユニット
３１５ 前処理されたピクチャデータ
３１８ 通信ユニット／インターフェース
３２０ あて先デバイス
３２２ 通信ユニット／インターフェース
３２６ ポストプロセッサ／後処理ユニット
３２７ 後処理されたピクチャデータ
３２８ 表示デバイス／ユニット
３３０ 送信／受信／通信（符号化）されたピクチャデータ
４１０ 変換ユニット
４２０ 係数ブロック
G. Clare, F. Henry, and J. Jung，"Sign Data Hiding"，Contribution JCTVC-G0271 to the 7th JCT-VC meeting，Geneva, Switzerland，November 2011 X. Yu, J. Wang, D. He, G. Martin-Cocher, and S. Campbell，"Multiple Sign Bits Hiding"，Contribution JCTVC-H0481 to the 8th JCT-VC meeting，San Jose, USA，February 2012 K. Kazui et al.，"Video coding technology proposal by Fujitsu"， Contribution JCTVC-A115 to the 1st JCT-VC meeting， Dresden, Germany， April 2010 F. Henry, G. Clare，"Residual sign prediction"，Contribution JVET-D0031 to the 4th JVET meeting，Chengdu, China，October 2016 Han Huang, Kai Zhang, Yu-Wen Huang, and Shawmin Lei，"EE2.1: Quadtree plus binary tree structure integration with JEM tools"，Contribution JVET-C0024 to the 3rd JVET meeting，Geneva, Switzerland，May 2016

Claims (36)

  1. 信号の変換係数の組の符号を符号化する装置であって、
    前記変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、前記変換係数の組の中で最大の絶対値を有する所定の数Ｍ個の変換係数を降順で含む順序付きリストであるように決定することを有する残差符号予測サブプロシージャを実行し、
    前記変換係数の組の中から、前記リストに含まれる前記第１の複数の変換係数に属さない最低周波数の非ゼロの変換係数を、前記リストに含まれていない更なる変換係数として選択し、
    前記残差符号予測サブプロシージャを実行した後で、前記変換係数の組の中の変換係数値の所定の関数の結果において前記更なる変換係数の符号を埋め込むことを有する符号ビット隠蔽を実行し、
    前記リスト内の変換係数の符号を推定するための推定プロシージャを実行し、
    前記第１の複数の変換係数の夫々について、当該変換係数の符号が前記リスト内の変換係数のうちの対応する１つの推定された符号と一致するか否かを示すバイナリ値を決定し、バイナリ値のシーケンスを取得し、
    エントロピー符号化技術を用いて、前記第１の複数の変換係数について得られた前記バイナリ値のシーケンスを符号化する
    よう構成される処理回路を有する装置。
  2. 前記リスト内の変換係数の符号を推定するための前記推定プロシージャは、
    前記第１の複数の変換係数の符号の各仮説的組み合わせについて、空間領域において前記変換係数の組に対応する画像のブロックの境界ピクセルを再構成することと、
    前記仮説的組み合わせの夫々について、前記再構成されたピクセルと隣接ブロックのピクセルとの間のブロック境界にわたるピクセル値の平滑度を示す所定の空間領域関数を評価することと、
    前記所定の空間領域関数が最大の平滑度を示す仮説的組み合わせを前記変換係数の推定された符号として選択することと
    を含む、
    請求項１に記載の装置。
  3. 前記リスト内の変換係数の符号を推定するための前記推定プロシージャは、
    前記変換係数の組に対応する現在の画像ブロックに隣接する隣接ピクセルと、前記画像ブロックの予測信号に基づき計算される前記隣接ピクセルの予測との間の差に直交変換を適用することによって得られる変換された差を、逆量子化された前記変換係数の組と比較するコスト関数に基づいて、前記符号を推定することを含む、
    請求項１に記載の装置。
  4. 前記処理回路は、前記組の中の第２の複数の変換係数の符号を、所定のエントロピー符号化プロシージャによって符号化するよう更に構成され、
    前記第２の複数の変換係数は、前記リストに含まれる前記第１の複数の変換係数に属さずかつ前記選択された更なる変換係数とは異なる残り全ての非ゼロの変換係数を含む、
    請求項１乃至３のうちいずれか一項に記載の装置。
  5. 前記リストは、２つのサブリストを含み、該サブリストは、第１サブリストが、閾値よりも大きい絶対値を有する変換係数を含み、第２サブリストが、前記閾値以下の絶対値を有する変換係数を含むように、前記閾値によって互いから分けられる、
    請求項１乃至４のうちいずれか一項に記載の装置。
  6. 前記２つのサブリストの変換係数について決定される前記推定された符号との一致を示す前記バイナリ値のシーケンスは、夫々、エントロピー符号化の異なるコンテキストにより符号化される、
    請求項５に記載の装置。
  7. 前記所定の関数の結果は、第１の符号値が第１の結果値に対応し、第２の符号値が第２の結果値に対応するように、２つの異なる値を仮定してよく、前記更なる変換係数の符号を埋め込むことは、
    前記組の中の変換係数の前記所定の関数が、前記更なる変換係数の符号に対応する結果値を有するかどうかを判定することと、
    前記所定の関数が前記更なる変換係数の符号に対応する前記結果値を有さない場合に、前記組の中の変換係数の前記所定の関数が前記更なる変換係数の符号に対応する前記結果値を有するように、前記組の中の変換係数の中の１つの値を変更することと
    を含む、
    請求項１乃至６のうちいずれか一項に記載の装置。
  8. 前記処理回路は、レート歪みコスト関数又は係数変更によって引き起こされる歪み若しくは当該係数の量子化レベルを反映する変更推定関数を最小にするように、変更されるべき前記変換係数の中の前記１つと、前記変更とを決定するよう更に構成される、
    請求項７に記載の装置。
  9. 前記リストは、前記リスト内の変換係数の絶対値の閾値によって互いから分けられる２つのサブリストを含み、
    前記処理回路は、前記サブリストにわたる前記第１の複数の変換係数の分布に変化をもたらすことになる変更を許さないように、変換係数の値の変更に対して制約を課すよう更に構成される、
    請求項７又は８に記載の装置。
  10. 前記制約は、変更をされた値が当該変更をされていない値とは別のサブリストに属するように当該変更により前記閾値をまたぐことになる場合に、変換係数の値の当該変更を許さないことである、
    請求項９に記載の装置。
  11. 前記変換係数は、量子化された変換係数である、
    請求項１乃至１０のうちいずれか一項に記載の装置。
  12. 前記所定の関数は、２を法として量子化後の絶対変換係数値の和である、
    請求項１乃至１１のうちいずれか一項に記載の装置。
  13. 前記処理回路は、
    前記変換係数の組の中から、前記リストに含まれる前記第１の複数の変換係数に属さない最低周波数の非ゼロの変換係数を、前記リストに含まれない複数Ｎ個の更なる変換係数として選択し、
    前記変換係数の組の中の変換係数値の所定の関数の結果において前記更なる変換係数の符号を埋め込む
    よう構成される、
    請求項１乃至１１のうちいずれか一項に記載の装置。
  14. 前記所定の関数は、２Ｎを法として量子化後の絶対変換係数値の和である、
    請求項１３に記載の装置。
  15. 前記処理回路は、
    変換ユニットの変換係数を変換係数の複数の組に分割し、
    前記変換係数の複数の組の夫々について、請求項１乃至１４のうちいずれか一項に記載の処理を実行する
    よう構成される、
    請求項１乃至１４のうちいずれか一項に記載の装置。
  16. 前記変換ユニットは、画像信号を変換することによって得られる変換係数の２次元ブロックであり、
    前記処理回路は、前記変換ユニットを、前記変換係数の複数の組として複数の２次元ブロックに分割するよう構成される、
    請求項１５に記載の装置。
  17. 前記変換ユニットは、画像信号を変換することによって得られる変換係数の２次元ブロックであり、
    前記処理回路は、予め定義された順序に従って前記変換ユニットの変換係数を走査し、該走査された変換係数を前記変換係数の複数の組として複数の１次元チャンクに分割するよう構成される、
    請求項１５に記載の装置。
  18. 信号の変換係数の組の符号を復号する装置であって、
    第１の複数のバイナリ値のエントロピー符号化されたシーケンスを復号し、
    前記変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、前記変換係数の組の中で最大の絶対値を有する所定の数Ｍ個の変換係数を降順で含む順序付きリストであるように決定することを有する残差符号予測サブプロシージャを実行し、
    前記変換係数の組の中から、前記リストに含まれる前記第１の複数の変換係数に属さない最低周波数の非ゼロの変換係数を、前記リストに含まれていない更なる変換係数として選択し、
    前記残差符号予測サブプロシージャを実行した後で、前記変換係数の組の中の変換係数値の所定の関数を計算することによって前記更なる変換係数の符号を決定することを有する隠蔽符号読み出しを実行し、
    前記リスト内の変換係数の符号を推定するための推定プロシージャを実行し、
    前記第１の複数の変換係数の符号を得るように、前記第１の複数のバイナリ値の前記復号されたシーケンスによって前記推定された符号を補正する
    よう構成される処理回路を有する装置。
  19. 前記リスト内の変換係数の符号を推定するための前記推定プロシージャは、
    前記第１の複数の変換係数の符号の各仮説的組み合わせについて、空間領域において前記変換係数の組に対応する画像のブロックの境界ピクセルを再構成することと、
    前記仮説的組み合わせの夫々について、前記再構成されたピクセルと隣接ブロックのピクセルとの間のブロック境界にわたるピクセル値の平滑度を示す所定の空間領域関数を評価することと、
    前記所定の空間領域関数が最大の平滑度を示す仮説的組み合わせを前記変換係数の推定された符号として選択することと
    を含む、
    請求項１８に記載の装置。
  20. 前記リスト内の変換係数の符号を推定するための前記推定プロシージャは、
    前記変換係数の組に対応する現在の画像ブロックに隣接する隣接ピクセルと、前記画像ブロックの予測信号に基づき計算される前記隣接ピクセルの予測との間の差に直交変換を適用することによって得られる変換された差を、逆量子化された前記変換係数の組と比較するコスト関数に基づいて、前記符号を推定することを含む、
    請求項１８に記載の装置。
  21. 前記復号されたバイナリ値は、前記リストの中の各変換係数について、当該変換係数の符号が当該変換係数の推定された符号と一致するか否かを示す、
    請求項１８又は２０のいずれかに記載の装置。
  22. 前記リストは、２つのサブリストを含み、該サブリストは、第１サブリストが、閾値よりも大きい絶対値を有する変換係数を含み、第２サブリストが、前記閾値以下の絶対値を有する変換係数を含むように、前記閾値によって互いから分けられ、
    前記第１の複数のバイナリ値の前記シーケンスは、エントロピー符号化の異なるコンテキストにより夫々符号化されている２つのサブシーケンスを含む、
    請求項１８乃至２１のうちいずれか一項に記載の装置。
  23. 前記所定の関数の計算の結果は、２つの異なる値を仮定してよく、
    前記更なる変換係数の符号は、前記結果が第１の値である場合には第１の符号値であり、前記結果が第２の値である場合には第２の符号値であるとの規則に従って決定される、
    請求項１８乃至２２のうちいずれか一項に記載の装置。
  24. 前記変換係数は、量子化された変換係数である、
    請求項１８乃至２３のうちいずれか一項に記載の装置。
  25. 前記所定の関数は、２を法として量子化後の絶対変換係数値の和である、
    請求項１８乃至２４のうちいずれか一項に記載の装置。
  26. 前記処理回路は、
    前記変換係数の組の中から、前記リストに含まれる前記第１の複数の変換係数に属さない最低周波数の非ゼロの変換係数を、前記リストに含まれない複数Ｎ個の更なる変換係数として選択し、
    前記変換係数の組の中の変換係数値の所定の関数を計算することによって、前記更なる変換係数の符号を決定する
    よう構成される、
    請求項１８乃至２５のうちいずれか一項に記載の装置。
  27. 前記所定の関数は、２Ｎを法として量子化後の絶対変換係数値の和である、
    請求項２６に記載の装置。
  28. 前記処理回路は、
    変換ユニットの変換係数を変換係数の複数の組に分割し、
    前記変換係数の複数の組の夫々について、請求項１８乃至２７のうちいずれか一項に記載の処理を実行する
    よう構成される、
    請求項１８乃至２７のうちいずれか一項に記載の装置。
  29. 前記変換ユニットは、画像信号を変換することによって得られる変換係数の２次元ブロックであり、
    前記処理回路は、前記変換ユニットを、前記変換係数の複数の組として複数の２次元ブロックに分割するよう構成される、
    請求項２８に記載の装置。
  30. 前記変換ユニットは、画像信号を変換することによって得られる変換係数の２次元ブロックであり、
    前記処理回路は、予め定義された順序に従って前記変換ユニットの変換係数を走査し、該走査された変換係数を前記変換係数の複数の組として複数の１次元チャンクに分割するよう構成される、
    請求項２８に記載の装置。
  31. 信号の変換係数の組の符号を符号化する方法であって、
    前記変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、前記変換係数の組の中で最大の絶対値を有する所定の数Ｍ個の変換係数を降順で含む順序付きリストであるように決定することを有する残差符号予測サブプロシージャを実行するステップと、
    前記変換係数の組の中から、前記リストに含まれる前記第１の複数の変換係数に属さない最低周波数の非ゼロの変換係数を、前記リストに含まれていない更なる変換係数として選択するステップと、
    前記残差符号予測サブプロシージャを実行した後で、前記変換係数の組の中の変換係数値の所定の関数の結果において前記更なる変換係数の符号を埋め込むことを有する符号ビット隠蔽を実行するステップと、
    前記リスト内の変換係数の符号を推定するための推定プロシージャを実行するステップと、
    前記第１の複数の変換係数の夫々について、当該変換係数の符号が前記リスト内の変換係数のうちの対応する１つの推定された符号と一致するか否かを示すバイナリ値を決定し、バイナリ値のシーケンスを取得するステップと、
    エントロピー符号化技術を用いて、前記第１の複数の変換係数について得られた前記バイナリ値のシーケンスを符号化するステップと
    を有する方法。
  32. 信号の変換係数の組の符号を復号する方法であって、
    第１の複数のバイナリ値のエントロピー符号化されたシーケンスを復号するステップと、
    前記変換係数の組の中の第１の複数の変換係数を含む変換係数のリストを、前記変換係数の組の中で最大の絶対値を有する所定の数Ｍ個の変換係数を降順で含む順序付きリストであるように決定することを有する残差符号予測サブプロシージャを実行するステップと、
    前記変換係数の組の中から、前記リストに含まれる前記第１の複数の変換係数に属さない最低周波数の非ゼロの変換係数を、前記リストに含まれていない更なる変換係数として選択するステップと、
    前記残差符号予測サブプロシージャを実行した後で、前記変換係数の組の中の変換係数値の所定の関数を計算することによって前記更なる変換係数の符号を決定することを有する隠蔽符号読み出しを実行するステップと、
    前記リスト内の変換係数の符号を推定するための推定プロシージャを実行するステップと、
    前記第１の複数の変換係数の符号を得るように、前記第１の複数のバイナリ値の前記復号されたシーケンスによって前記推定された符号を補正するステップと
    を有する方法。
  33. プロセッサによって実行される場合に、該プロセッサを含むコンピュータシステムに、請求項３１に記載の方法のステップの全部を実行させるプログラム。
  34. 請求項３３に記載のプログラムを記憶しているコンピュータ可読媒体。
  35. プロセッサによって実行される場合に、該プロセッサを含むコンピュータシステムに、請求項３２に記載の方法のステップの全部を実行させるプログラム。
  36. 請求項３５に記載のプログラムを記憶しているコンピュータ可読媒体。
JP2020546391A 2018-03-07 2018-03-07 マルチ符号ビット隠蔽及び残差符号予測を和合する方法及び装置 Active JP7085009B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2018/000141 WO2019172797A1 (en) 2018-03-07 2018-03-07 Method and apparatus for harmonizing multiple sign bit hiding and residual sign prediction

Publications (2)

Publication Number Publication Date
JP2021516493A JP2021516493A (ja) 2021-07-01
JP7085009B2 true JP7085009B2 (ja) 2022-06-15

Family

ID=62186507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020546391A Active JP7085009B2 (ja) 2018-03-07 2018-03-07 マルチ符号ビット隠蔽及び残差符号予測を和合する方法及び装置

Country Status (6)

Country Link
US (1) US11265535B2 (ja)
EP (1) EP3738312A1 (ja)
JP (1) JP7085009B2 (ja)
KR (1) KR102492116B1 (ja)
CN (1) CN111819854B (ja)
WO (1) WO2019172797A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159696A1 (ja) * 2018-02-14 2019-08-22 ソニー株式会社 画像処理装置および方法
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
WO2020059092A1 (ja) * 2018-09-20 2020-03-26 富士通株式会社 符号化装置、符号化方法、符号化プログラム、復号装置、復号方法及び復号プログラム
KR20200127781A (ko) * 2019-05-03 2020-11-11 한국전자통신연구원 주파수 복원 기법 기반 오디오 부호화 방법
US11936916B2 (en) * 2019-06-25 2024-03-19 Lg Electronics Inc. Image decoding method using lossless coding in image coding system and apparatus therefor
CN116848844A (zh) * 2021-02-23 2023-10-03 Oppo广东移动通信有限公司 编解码方法、编解码设备、编解码系统以及计算机可读存储介质
WO2023277451A1 (ko) * 2021-07-01 2023-01-05 세종대학교 산학협력단 부호 비트 숨김을 이용한 비디오 부호화 및 복호화 방법
WO2023055300A2 (en) * 2021-09-29 2023-04-06 Alibaba Singapore Holding Private Limited Improved residual sign prediction of transform coefficients in video coding
WO2023113551A1 (ko) * 2021-12-17 2023-06-22 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
US20230319260A1 (en) * 2022-04-04 2023-10-05 Tencent America LLC Systems and methods for frequency-dependent coefficient sign coding
WO2023220946A1 (zh) * 2022-05-17 2023-11-23 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质
WO2023236113A1 (zh) * 2022-06-08 2023-12-14 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、系统及存储介质
WO2024008060A1 (en) * 2022-07-05 2024-01-11 Mediatek Inc. Method and apparatus of dependent quantization for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014534764A (ja) 2011-11-07 2014-12-18 オランジュ 画像を符号化および復号するための方法、符号化デバイスおよび復号デバイス、ならびに対応するコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US8470700B2 (en) * 2010-07-22 2013-06-25 Globalfoundries Singapore Pte. Ltd. Semiconductor device with reduced contact resistance and method of manufacturing thereof
EP2618572B1 (en) * 2012-01-20 2016-08-24 BlackBerry Limited Multiple sign bit hiding within a transform unit
US9008184B2 (en) * 2012-01-20 2015-04-14 Blackberry Limited Multiple sign bit hiding within a transform unit
US9313498B2 (en) * 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
US9294779B2 (en) * 2012-06-15 2016-03-22 Blackberry Limited Multi-bit information hiding using overlapping subsets
US9088769B2 (en) * 2012-06-28 2015-07-21 Blackberry Limited Reduced worst-case context-coded bins in video compression with parity hiding
FR3023112A1 (fr) * 2014-06-27 2016-01-01 Bcom Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
CN105898300B (zh) * 2016-05-06 2019-03-26 西安电子科技大学 一种基于恢复变换系数的改进变换系数符号位隐藏方法
US20180176582A1 (en) * 2016-12-21 2018-06-21 Qualcomm Incorporated Low-complexity sign prediction for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014534764A (ja) 2011-11-07 2014-12-18 オランジュ 画像を符号化および復号するための方法、符号化デバイスおよび復号デバイス、ならびに対応するコンピュータプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Felix Henry et al.，Residual Coefficient Sign Prediction，Joint Video Exploration Team (JVET)，2016年10月20日，[JVET-D0031] (version 4)
Gordon CLARE et al.，Sign Data Hiding，Joint Collaborative Team on Video Coding (JCT-VC)，2011年11月24日，[JCTVC-G271] (version 3)
Kimihiko Kazui et al.，Description of video coding technology proposal by FUJITSU， Joint Collaborative Team on Video Coding (JCT-VC)，2010年04月15日，[JCTVC-A115] (version 1)
Xiang Yu et al.，Multiple Sign Bits Hiding，Joint Collaborative Team on Video Coding (JCT-VC)，2012年02月10日，[JCTVC-H0481] (version 3)

Also Published As

Publication number Publication date
EP3738312A1 (en) 2020-11-18
KR20200110442A (ko) 2020-09-23
JP2021516493A (ja) 2021-07-01
US11265535B2 (en) 2022-03-01
WO2019172797A1 (en) 2019-09-12
CN111819854B (zh) 2022-12-06
KR102492116B1 (ko) 2023-01-26
CN111819854A (zh) 2020-10-23
US20200404257A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
JP7085009B2 (ja) マルチ符号ビット隠蔽及び残差符号予測を和合する方法及び装置
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
US20200404308A1 (en) Method and apparatus for detecting blocks suitable for multiple sign bit hiding
US20200404339A1 (en) Loop filter apparatus and method for video coding
JP7384974B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
CN113243106B (zh) 一种用于视频图像的预测块的帧内预测的设备和方法
JP7087101B2 (ja) 効率的なデブロッキングを実行するための画像処理デバイス及び方法
AU2023201715A1 (en) Device and method for intra-prediction
JP2022130439A (ja) 効率的なデブロッキングを実行するための画像処理デバイス及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220603

R150 Certificate of patent or registration of utility model

Ref document number: 7085009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150