JP7351908B2 - エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法 - Google Patents

エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法 Download PDF

Info

Publication number
JP7351908B2
JP7351908B2 JP2021525696A JP2021525696A JP7351908B2 JP 7351908 B2 JP7351908 B2 JP 7351908B2 JP 2021525696 A JP2021525696 A JP 2021525696A JP 2021525696 A JP2021525696 A JP 2021525696A JP 7351908 B2 JP7351908 B2 JP 7351908B2
Authority
JP
Japan
Prior art keywords
block
boundary
coding unit
prediction
ciip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021525696A
Other languages
English (en)
Other versions
JP2022517488A (ja
Inventor
ワン、ビャオ
メハー コトラ、アナンド
エセンリク、セミ
チェン、ジアンレ
ガオ、ハン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2022517488A publication Critical patent/JP2022517488A/ja
Priority to JP2023149321A priority Critical patent/JP2023169288A/ja
Application granted granted Critical
Publication of JP7351908B2 publication Critical patent/JP7351908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

［関連出願の相互参照］
本願は２０１９年１月１７日に米国特許商標局で出願された米国仮出願第６２／７９３，８４０号に基づく優先権を主張するものであり、この開示全体が参照により本明細書に組み込まれる。
本願の複数の実施形態は概して、画像処理の分野、より具体的には、エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法に関する。
ビデオコーディング（ビデオの符号化および復号）は、幅広いデジタルビデオアプリケーション、例えば、放送デジタルＴＶ、インターネットおよびモバイルネットワークを介したビデオ伝送、ビデオチャットなどのリアルタイム会話型アプリケーション、ビデオ会議、ＤＶＤおよびブルーレイディスク、ビデオコンテンツの取得および編集システム、並びにセキュリティアプリケーションのカムコーダで使用されている。
比較的短いビデオであっても、その描写に必要とされるビデオデータの量は相当なものになる可能性があり、その結果、帯域幅容量の制限された通信ネットワークを介してデータをストリーミングするか、そうでなければ通信するときに支障が生じることがある。故に、ビデオデータは概して、現代の遠隔通信ネットワークを介して通信される前に圧縮される。メモリリソースが制限され得ることから、ビデオのサイズは、ビデオが記憶デバイス上に保存されるときにも問題になる可能性がある。ビデオ圧縮デバイスはしばしば、ソースのソフトウェアおよび／またはハードウェアを使用して、ビデオデータを伝送または保存する前にコーディングすることによって、デジタルビデオイメージの表現に必要とされるデータの量を削減する。圧縮されたデータはその後、ビデオデータを復号するビデオ圧縮解除デバイスにより宛先で受信される。ネットワークリソースが制限され、より高いビデオ品質の需要がますます増しているため、画像の品質をほとんどまたは全く犠牲にすることなく圧縮率を向上させる、改善された圧縮技術および圧縮解除技術が望ましい。
本願の複数の実施形態は、独立請求項に記載の装置、符号化方法、および復号方法を提供する。
前述および他の目的は独立請求項の主題により実現される。従属請求項、明細書、および図からは、更なる実装形式が明らかになる。
本開示の一実施形態はコーディングの方法である。コーディングは復号または符号化を含み、方法は、現在のコーディングユニットがインター／イントラ予測の組み合わせ（ＣＩＩＰ）の適用により予測されるかどうかを判断する段階と、現在のコーディングユニットがＣＩＩＰの適用により予測されると判断した場合に、現在のコーディングユニットの境界の境界強度を第１の値に設定する段階とを含む。
第１の値は１から２の範囲にあってよい。第１の値は特に２であってよい。代替的に、第１の値は１であってもよい。後者の場合は、方法は更に、以下の条件のうちの１つが成立すると判断した場合に、第１の値を１ずつ増分する段階を含んでよい。
・現在のコーディングユニット、および、現在のコーディングユニットの境界に隣接する隣接コーディングユニットのうちの少なくとも一方が非ゼロの変換係数を有する。
・現在のコーディングユニットおよび隣接コーディングユニットの予測に使用される動きベクトル間の絶対差が１つの整数サンプルより大きいかそれに等しい。
・現在のコーディングユニットおよび隣接コーディングユニットが異なる参照画像に基づいて予測される。
・現在のコーディングユニットおよび隣接コーディングユニットの予測に使用される動きベクトルの数が異なる。
方法は更に、現在のコーディングユニットの境界が水平エッジである場合に、現在のコーディングユニットの境界に隣接する隣接コーディングユニットが異なるコーディングツリーユニット（ＣＴＵ）内にあるかどうかを判断する段階を含んでよい。
方法は更に、サブコーディングユニットの境界の境界強度を第２の値に設定する段階であって、現在のコーディングユニットは少なくとも２つのサブコーディングユニットを含み、サブコーディングユニットの境界は少なくとも２つのサブコーディングユニット間の境界である、設定する段階を含んでよい。第２の値は特に１であってよい。サブコーディングユニットの境界が変換ユニットのエッジである場合は、第２の値が第１の値に等しくてよい。サブコーディングユニットの境界が変換ユニットのエッジでない場合は、第２の値が第１の値と異なっていてよい。
上記の実施形態では、方法は更に、現在のコーディングユニットの境界が８×８グリッドと位置合わせされているかどうかを判断する段階と、現在のコーディングユニットの境界が８×８グリッドと位置合わせされていないと判断した場合に、現在のコーディングユニットの境界の境界強度を０に設定する段階とを含んでよい。
方法は更に、サブコーディングユニットの境界がサブグリッドと位置合わせされているかどうかを判断する段階であって、サブグリッドは４×４グリッドまたは８×８グリッドである、判断する段階と、サブコーディングユニットの境界がサブグリッドと位置合わせされていないと判断した場合に、サブコーディングユニットの境界の境界強度を０に設定する段階とを含んでよい。
上記の実施形態では、方法は更に、当該境界の境界強度が０より大きい場合に、ルマ成分について境界に対するブロック解除を実行する段階を含んでよい。方法は更に、当該境界の境界強度が１より大きい場合に、クロマ成分について境界に対するブロック解除を実行する段階を含んでよい。
上記の実施形態では、現在のコーディングユニットがＣＩＩＰの適用により予測される場合は、現在のコーディングユニットが、ブロック解除を実行するときに、イントラ予測を伴うコーディングユニットと見なされてよい。
本開示の別の実施形態は、上記の実施形態のいずれか１つに係る方法を実行するための処理回路を備えるエンコーダである。
本開示の別の実施形態は、上記の実施形態のいずれか１つに係る方法を実行するための処理回路を備えるデコーダである。
本開示の別の実施形態は、命令を備えるコンピュータプログラム製品であって、プログラムがコンピュータにより実行されると、上記の実施形態のいずれか１つに係る方法をコンピュータに実行させるコンピュータプログラム製品である。
本開示の別の実施形態はデコーダである。デコーダは、１または複数のプロセッサと、１または複数のプロセッサに結合され、且つ、１または複数のプロセッサにより実行される命令を保存する、非一時的コンピュータ可読記憶媒体であって、命令は、１または複数のプロセッサにより実行されると、上記の実施形態のいずれか１つに係る方法を実行するようにデコーダを構成する、非一時的コンピュータ可読記憶媒体とを備える。
本開示の別の実施形態はエンコーダである。エンコーダは、１または複数のプロセッサと、１または複数のプロセッサに結合され、且つ、１または複数のプロセッサにより実行される命令を保存する、非一時的コンピュータ可読記憶媒体であって、命令は、１または複数のプロセッサにより実行されると、上記の実施形態のいずれか１つに係る方法を実行するようにデコーダを構成する、非一時的コンピュータ可読記憶媒体とを備える。
本開示は更に、１から数えられる以下の態様を提供する。
第１態様によれば、本開示はコーディングの方法に関する。コーディングは復号または符号化を含み、方法は、現在のコーディングユニット（またはコーディングブロック）がインター／イントラ予測の組み合わせの適用により予測されるかどうかを判断する段階と、現在のコーディングユニットがインター／イントラ予測の組み合わせの適用により予測される場合に、現在のコーディングユニットの境界の境界強度（Ｂｓ）を第１の値に設定する段階と、サブコーディングユニット（またはサブブロック、またはサブパーティション）の境界の境界強度（Ｂｓ）を第２の値に設定する段階であって、現在のコーディングユニットは少なくとも２つのサブコーディングユニットを含み、サブコーディングユニットの境界は少なくとも２つのサブコーディングユニット間の境界である、設定する段階とを含む。
第１の値は２であってよい。第２の値は１であってよい。第１の値は第２の値と同じであっても異なっていてもよい。サブコーディングユニットの境界が変換ユニットの境界（またはエッジ）である場合は、第１の値が第２の値と同じであってよい。サブコーディングユニットの境界が変換ユニットの境界（またはエッジ）でない場合は、第１の値が第２の値と異なっていてよい。
方法は更に、ルマ成分についてＢｓの値が０より大きい場合にブロック解除を実行する段階、または、クロマ成分についてＢｓの値が１より大きい場合にブロック解除を実行する段階を含んでよく、Ｂｓの値は第１の値または第２の値のうちの一方である。
現在のコーディングユニット（またはブロック）がインター／イントラ予測の組み合わせの適用により予測される場合は、現在のコーディングユニットは、ブロック解除を実行するときに、イントラ予測を伴うユニットと見なされてよい。
第２態様によれば、本開示は、第１態様に係る方法のいずれか１つを実行するための処理回路を備えるエンコーダに関する。
第３態様によれば、本開示は、第１態様に係る方法のいずれか１つを実行するための処理回路を備えるデコーダに関する。
第４態様によれば、本開示は、第１態様に係る方法のいずれか１つを実行するためのプログラムコードを備えるコンピュータプログラム製品に関する。
第５態様によれば、本開示はデコーダに関する。デコーダは、１または複数のプロセッサと、プロセッサに結合され、且つ、プロセッサにより実行されるプログラミングを保存する、非一時的コンピュータ可読記憶媒体であって、プログラミングは、プロセッサにより実行されると、第１態様に係る方法のいずれか１つを実行するようにデコーダを構成する、非一時的コンピュータ可読記憶媒体とを備える。
第６態様によれば、本開示はエンコーダに関する。エンコーダは、１または複数のプロセッサと、プロセッサに結合され、且つ、プロセッサにより実行されるプログラミングを保存する、非一時的コンピュータ可読記憶媒体であって、プログラミングは、プロセッサにより実行されると、第１態様に係る方法のいずれか１つを実行するようにエンコーダを構成する、非一時的コンピュータ可読記憶媒体とを備える。
第７態様によれば、本開示はコーディングの方法に関する。コーディングは復号または符号化を含み、方法は、２つのブロックのうちの少なくとも一方がＣＩＩＰ（またはＭＨ）予測を伴うブロックであるかどうかを判断する段階であって、２つのブロックは第１ブロック（ブロックＱ）および第２ブロック（ブロックＰ）を含み、２つのブロックは境界に関連付けられる、判断する段階と、２つのブロックのうちの少なくとも一方がＣＩＩＰ予測を伴うブロックであるときに、境界の境界強度（Ｂｓ）を第１の値に設定する段階と、２つのブロックがどちらもＣＩＩＰ予測を伴うブロックではない場合に、境界の境界強度（Ｂｓ）を第２の値に設定する段階とを含む。
本開示の第７態様に係る方法は、本開示の第８態様に係る装置により実行され得る。本開示の第８態様に係る装置の更なる特徴および実装形式が、本開示の第７態様に係る方法の特徴および実装形式に対応する。
第９態様によれば、本開示は、プロセッサとメモリとを含む、ビデオストリームを復号するための装置に関する。メモリは、第７態様に係る方法をプロセッサに実行させる命令を保存する。
第１０態様によれば、本開示は、プロセッサとメモリとを含む、ビデオストリームを符号化するための装置に関する。メモリは、第７態様に係る方法をプロセッサに実行させる命令を保存する。
第１１態様によれば、実行されるとビデオデータをコーディングするように１または複数のプロセッサを構成させる、命令を保存したコンピュータ可読記憶媒体が提案される。命令は、第７態様または第７態様の任意の考えられる実施形態に係る方法を１または複数のプロセッサに実行させる。
第１２態様によれば、本開示は、コンピュータ上で実行されると第７態様または第７態様の任意の考えられる実施形態に係る方法を実行するためのプログラムコードを備えるコンピュータプログラムに関する。
添付の図面および以下の説明には、１または複数の実施形態の詳細が記載されている。明細書、図面、および特許請求の範囲からは、他の特徴、目的、および利点が明らかになるであろう。
以下では、添付の図および図面を参照しながら本発明の複数の実施形態についてより詳細に説明する。
本発明の複数の実施形態を実装するように構成されるビデオコーディングシステムの例を示したブロック図である。
本発明の複数の実施形態を実装するように構成されるビデオコーディングシステムの別の例を示したブロック図である。
本発明の複数の実施形態を実装するように構成されるビデオエンコーダの例を示したブロック図である。
本発明の複数の実施形態を実装するように構成されるビデオデコーダの例示的な構造を示したブロック図である。
符号化装置または復号装置の例を示したブロック図である。
符号化装置または復号装置の別の例を示したブロック図である。
コーディングユニットの例示的なサブブロック境界を示した図である。
コーディングユニットの例示的なサブブロック境界を示した別の図である。
コーディングユニットの４つの変換ユニットへの分割を示した図である。
ＣＩＩＰブロックの複数の変換ユニットへの分割を示した図である。
サブパーティションのサンプルに対するブロック解除フィルタの適用の例を示す。
境界の隣接ブロックを示した図である。
本開示のある実施形態に係る境界の境界強度の導出を示したフローチャートである。
従来技術に係る境界の境界強度の導出を示したフローチャートである。
本開示の別の実施形態に係る境界の境界強度の導出を示したフローチャートである。
本開示の更に別の実施形態に係る境界の境界強度の導出を示したフローチャートである。
ＣＵの左上のサンプルから開始する８×８サンプルグリッドとの関連でコーディングユニット内のサブブロックエッジを示した図である。
ＣＵの左上のサンプルから開始しない８×８サンプルグリッドとの関連でコーディングユニット内のサブブロックエッジを示した図である。
４×４サンプルグリッドとの関連でコーディングユニット内のサブブロックエッジを示した図である。
以下では、明示的な指定がない限り、同一の参照符号が同一の特徴または少なくとも機能的に同等の特徴を指す。
以下の説明では、本開示の一部を形成し、且つ、本発明の複数の実施形態の特定の態様、または本発明の複数の実施形態が使用され得る特定の態様を実例として示す、添付の図を参照する。本発明の複数の実施形態は他の態様で使用されてもよく、図に描写されない構造的または論理的な変更を含み得ることが解る。従って、以下の詳細な説明は制限的な意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲により定義される。
例えば、説明されている方法に関連する開示が、この方法を実行するように構成される対応するデバイスまたはシステムについても当てはまり得ること、および、その逆もまた同様であることが解る。例えば、１または複数の特定の方法の段階が説明される場合は、対応するデバイスが、説明されている１または複数の方法の段階を実行する１または複数のユニット、例えば、機能ユニット（例えば、これら１または複数の段階を実行する１つのユニット、または、これら複数の段階のうちの１または複数をそれぞれが実行する複数のユニット）を、係る１または複数のユニットが図で明示的に説明または例示されていない場合であっても含んでよい。一方で、例えば、特定の装置が１または複数のユニット、例えば、機能ユニットに基づいて説明される場合は、対応する方法が、これら１または複数のユニットの機能を実行する１つの段階（例えば、これら１または複数のユニットの機能を実行する１つの段階、または、これら複数のユニットのうちの１または複数の機能をそれぞれが実行する複数の段階）を、係る１または複数の段階が図で明示的に説明または例示されていない場合であっても含んでよい。更には、特に記載がない限り、本明細書に記載されている様々な例示的な実施形態および／または態様の特徴を互いに組み合わせてよいことが解る。
ビデオコーディングとは通常、ビデオまたはビデオシーケンスを形成する一連の画像の処理を指す。ビデオコーディングの分野では、「画像」という用語の代わりに、「フレーム」または「イメージ」という用語が同義語として使用されることがある。ビデオコーディング（または一般に、コーディング）は、ビデオ符号化およびビデオ復号という２つの部分を含む。ビデオ符号化はソース側で実行され、通常は、元のビデオ画像を（例えば、圧縮により）処理して、ビデオ画像の表現に必要とされるデータの量を（より効率的な保存および／または伝送のために）削減することを含む。ビデオ復号は宛先側で実行され、通常は、ビデオ画像を再構成するためのエンコーダと比較して逆の処理を含む。ビデオ画像（または一般に、画像）の「コーディング」に言及する実施形態は、ビデオ画像またはそれぞれのビデオシーケンスの「符号化」または「復号」に関すると理解されるものとする。符号化部分と復号部分との組み合わせは、コーデック（コーディングおよび復号）とも呼ばれる。
無損失ビデオコーディングの場合は、元のビデオ画像が再構成され得る、すなわち、再構成されたビデオ画像が（保存中または伝送中に伝送損失または他のデータ損失が生じないものと仮定して）元のビデオ画像と同じ品質である。有損失ビデオコーディングの場合は、例えば、量子化による更なる圧縮を実行して、ビデオ画像を表現するデータの量を削減する。ビデオ画像はデコーダで完全に再構成することができない、すなわち、再構成されたビデオ画像の品質は、元のビデオ画像の品質と比較して低いまたは悪い。
幾つかのビデオコーディング規格は、「有損失ハイブリッドビデオコーデック」のグループに属する（すなわち、サンプル領域における空間的および時間的な予測と、変換領域における量子化を適用するための２Ｄ変換コーディングとを組み合わせる）。ビデオシーケンスの各画像は通常、一組の非重複ブロックに区分化され、コーディングは通常、ブロックレベルで実行される。つまり、エンコーダでは通常、例えば、空間的（画像内）予測および／または時間的（画像間）予測を使用して予測ブロックを生成することと、現在のブロック（処理中／処理予定のブロック）から予測ブロックを減算して残差ブロックを取得することと、変換領域における残差ブロックの変換および残差ブロックの量子化を行って、伝送されるデータの量を削減（圧縮）することとにより、ビデオをブロック（ビデオブロック）レベルで処理する、すなわち、符号化するが、デコーダでは、エンコーダと比較して逆の処理を、符号化または圧縮されたブロックに適用して、現在のブロックを表現のために再構成する。更に、エンコーダは、デコーダ処理ループを繰り返すことで、両方が同一の予測（例えば、イントラ予測およびインター予測）および／または再構成物を生成して後続ブロックを処理する、すなわち、コーディングするようにする。以下では、図１から図３に基づき、ビデオコーディングシステム１０、ビデオエンコーダ２０、およびビデオデコーダ３０の実施形態について説明する。
図１Ａは、本願の技術を利用し得る例示的なコーディングシステム１０、例えば、ビデオコーディングシステム１０（または略してコーディングシステム１０）を示した概略ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（または略してエンコーダ２０）およびビデオデコーダ３０（または略してデコーダ３０）は、本願に記載の様々な例に従って技術を実行するように構成され得るデバイスの例を表す。
図１Ａに示すように、コーディングシステム１０は、符号化された画像データ２１を、例えば、当該符号化された画像データを復号するために宛先デバイス１４へ提供する（１３）ように構成されるソースデバイス１２を備える。
ソースデバイス１２はエンコーダ２０を備えており、更には、すなわち、オプションで、画像ソース１６と、プリプロセッサ（または前処理ユニット）１８、例えば、画像プリプロセッサ１８と、通信インタフェースまたは通信ユニット２２とを備えてよい。
画像ソース１６は、任意の種類の画像キャプチャデバイス、例えば、実世界の画像をキャプチャするためのカメラ、および／または、任意の種類の画像生成デバイス、例えば、コンピュータアニメーション画像を生成するためのコンピュータグラフィクスプロセッサ、または、実世界の画像、コンピュータ生成画像（例えば、スクリーンコンテンツ、仮想現実（ＶＲ）画像）、および／またはそれらの任意の組み合わせ（例えば、拡張現実（ＡＲ）画像）を取得および／または提供するための任意の種類の他のデバイスを備えても、それらのデバイスであってもよい。画像ソースは、上述の画像のいずれかを保存する任意の種類のメモリまたは記憶装置であってよい。
プリプロセッサ１８と前処理ユニット１８により実行される処理とを区別して、画像または画像データ１７は、生画像または生画像データ１７とも呼ばれることがある。
プリプロセッサ１８は、（生）画像データ１７を受信し、且つ、画像データ１７に対する前処理を実行して、前処理された画像１９または前処理された画像データ１９を取得するように構成されてよい。プリプロセッサ１８により実行される前処理は、例えば、トリミング、（例えば、ＲＧＢからＹＣｂＣｒへの）色フォーマット変換、色補正、またはノイズ除去を含んでよい。前処理ユニット１８は任意選択的な構成要素であり得ることを理解できる。
ビデオエンコーダ２０は、前処理された画像データ１９を受信し、且つ、符号化された画像データ２１を提供するように構成されてよい（更なる詳細については、例えば、図２に基づいて後述する）。
ソースデバイス１２の通信インタフェース２２は、符号化された画像データ２１を受信し、且つ、符号化された画像データ２１（またはその任意の更に処理されたバージョン）を、通信チャネル１３を介して別のデバイス、例えば、宛先デバイス１４または任意の他のデバイスへ伝送して保存または直接再構成するように構成されてよい。
宛先デバイス１４は、デコーダ３０（例えば、ビデオデコーダ３０）を備えており、更には、すなわち、オプションで、通信インタフェースまたは通信ユニット２８と、ポストプロセッサ３２（または後処理ユニット３２）と、表示デバイス３４とを備えてよい。
宛先デバイス１４の通信インタフェース２８は、符号化された画像データ２１（またはその任意の更に処理されたバージョン）を、例えば、ソースデバイス１２から直接受信するか、任意の他のソース、例えば、符号化された画像データ記憶デバイスなどの記憶デバイスから受信し、且つ、符号化された画像データ２１をデコーダ３０に提供するように構成されてよい。
通信インタフェース２２および通信インタフェース２８は、ソースデバイス１２と宛先デバイス１４との間の直接的な通信リンク、例えば、直接的な有線または無線の接続を介して、または、任意の種類のネットワーク、例えば、有線または無線のネットワーク、もしくはそれらの任意の組み合わせ、または任意の種類のプライベートネットワークおよびパブリックネットワーク、もしくはそれらの任意の種類の組み合わせを介して、符号化された画像データ２１または符号化されたデータを送信または受信する（１３）ように構成されてよい。
通信インタフェース２２は、符号化された画像データ２１を適切なフォーマット、例えば、パケットにパッケージ化する、および／または、任意の種類の伝送符号化または処理を使用することで、符号化された画像データを処理して、通信リンクまたは通信ネットワークを介して伝送するように構成されてよい。
通信インタフェース２２の対の片方を成す通信インタフェース２８は、伝送されたデータを受信し、且つ、任意の種類の対応する伝送復号もしくは処理および／またはパッケージ解除を使用することで伝送データを処理して、符号化された画像データ２１を取得するように構成されてよい。
通信インタフェース２２および通信インタフェース２８はどちらも、ソースデバイス１２から宛先デバイス１４の方を向いている図１Ａの通信チャネル１３の矢印で示すような一方向通信インタフェースとして、または双方向通信インタフェースとして構成されてよく、メッセージの送信および受信、例えば、接続のセットアップを行って、通信リンクおよび／またはデータの伝送、例えば、符号化された画像データの伝送に関連する任意の他の情報の確認応答および交換を行うように構成されてよい。
デコーダ３０は、符号化された画像データ２１を受信し、且つ、復号された画像データ３１または復号された画像３１を提供するように構成されてよい（更なる詳細については、例えば、図３または図５に基づいて後述する）。
宛先デバイス１４のポストプロセッサ３２は、復号された画像データ３１（再構成された画像データとも呼ばれる）、例えば、復号された画像３１を後処理して、後処理された画像データ３３、例えば、後処理された画像３３を取得するように構成されてよい。後処理ユニット３２により実行される後処理は、例えば、復号された画像データ３１を、例えば、表示デバイス３４で表示する準備をするための、（例えば、ＹＣｂＣｒからＲＧＢへの）色フォーマット変換、色補正、トリミングもしくは再サンプリング、または任意の他の処理のいずれか１つまたは複数を含んでよい。
宛先デバイス１４の表示デバイス３４は、後処理された画像データ３３を受信して、画像を、例えば、ユーザまたは視聴者に表示するように構成されてよい。表示デバイス３４は、統合型または外部のディスプレイまたはモニタなど、再構成された画像を表現するための任意の種類のディスプレイであっても、それを備えてもよい。ディスプレイは、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、液晶オンシリコン（ＬＣｏＳ）、デジタル光プロセッサ（ＤＬＰ）、または任意の種類の他のディスプレイであってよい。
図１Ａではソースデバイス１２および宛先デバイス１４が別個のデバイスとして描写されているが、デバイスの複数の実施形態は、両方のデバイスまたは両方の機能、すなわち、ソースデバイス１２または対応する機能と、宛先デバイス１４または対応する機能とを含んでもよい。係る実施形態では、ソースデバイス１２または対応する機能と、宛先デバイス１４または対応する機能とが、同じハードウェアおよび／またはソフトウェアを使用して、または、別個のハードウェアおよび／もしくはソフトウェアまたはそれらの任意の組み合わせにより実装されてよい。
本明細書に基づいて当業者に明らかになるように、図１Ａに示すような、これらの異なるユニットの機能、または、ソースデバイス１２および／または宛先デバイス１４内の機能の存在および（正確な）分割は、実際のデバイスおよび用途に応じて異なることがある。
エンコーダ２０（例えば、ビデオエンコーダ２０）もしくはデコーダ３０（例えば、ビデオデコーダ３０）、または、エンコーダ２０およびデコーダ３０の両方は、図１Ｂに示すような処理回路、例えば、１または複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ハードウェア、ビデオコーディング専用、またはそれらの任意の組み合わせを介して実装されてよい。エンコーダ２０は、図２のエンコーダ２０および／または本明細書に記載されている任意の他のエンコーダシステムまたはサブシステムに関して説明される様々なモジュールを具現化するよう、処理回路４６を介して実装されてよい。デコーダ３０は、図３のデコーダ３０および／または本明細書に記載されている任意の他のデコーダシステムまたはサブシステムに関して説明される様々なモジュールを具現化するよう、処理回路４６を介して実装されてよい。処理回路は、後述される様々な演算を実行するように構成されてよい。図５に示すように、これらの技術がソフトウェアで部分的に実装される場合は、デバイスは、最適な非一時的コンピュータ可読記憶媒体にソフトウェア用の命令を保存してよく、１または複数のプロセッサを使用してハードウェアで命令を実行して、本開示の技術を実行してよい。ビデオエンコーダ２０およびビデオデコーダ３０は、例えば、図１Ｂに示すように、組み合わされたエンコーダ／デコーダ（コーデック）の一部として単一のデバイスに統合されてよい。
図１Ｂに示すビデオコーディングシステム４０は、ビデオエンコーダ２０およびビデオデコーダ３０の両方を実装する処理回路を備える。加えて、実世界の画像をキャプチャするためのカメラなどの１または複数の撮像デバイス４１、アンテナ４２、１または複数のメモリ貯蔵庫４４、１または複数のプロセッサ４３、および／または、上記の表示デバイス３４などの表示デバイス４５が、ビデオコーディングシステム４０の一部として提供されてよい。
ソースデバイス１２および宛先デバイス１４は、任意の種類のハンドヘルドデバイスまたは固定式デバイス、例えば、ノートブックコンピュータまたはラップトップコンピュータ、携帯電話、スマートフォン、タブレットもしくはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、表示デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス（コンテンツサービスサーバまたはコンテンツ配信サーバなど）、放送受信デバイス、または放送送信デバイスなどを含む、幅広いデバイスのいずれかを含んでよく、オペレーティングシステムを使用しなくても、任意の種類のオペレーティングシステムを使用してもよい。場合によっては、ソースデバイス１２および宛先デバイス１４が無線通信のために装備されてよい。故に、ソースデバイス１２および宛先デバイス１４は無線通信デバイスであってよい。
場合によっては、図１Ａに示すビデオコーディングシステム１０は例に過ぎず、本願の技術は、符号化デバイスと復号デバイスとの間の任意のデータ通信を必ずしも含まないビデオコーディングシステム（例えば、ビデオ符号化またはビデオ復号）に適用されてよい。他の例では、データがローカルメモリから取得される、またはネットワークを介してストリーミングされるなどである。ビデオ符号化デバイスはデータを符号化してメモリに保存してよい、および／または、ビデオ復号デバイスはメモリからデータを取得して復号してよい。幾つかの例では、符号化および復号は、互いに通信しないが単にデータをメモリに符号化するおよび／またはデータをメモリから取得して復号するデバイスにより実行される。
説明の都合上、本明細書では、例えば、高効率ビデオコーディング（ＨＥＶＣ）、または、多用途ビデオコーディング（ＶＶＣ）の参照ソフトウェア、すなわち、ＩＴＵ－Ｔビデオコーディング専門家グループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣ動画専門家集団（ＭＰＥＧ）のビデオコーディングに関する共同作業部会（ＪＣＴ－ＶＣ）により開発された次世代ビデオコーディング規格を参照することにより、本発明の複数の実施形態について説明する。当業者は、本発明の複数の実施形態がＨＥＶＣまたはＶＶＣに限定されないことを理解するであろう。
［エンコーダおよび符号化方法］
図２は、本願の技術を実装するように構成される例示的なビデオエンコーダ２０の概略ブロック図を示す。図２の例では、ビデオエンコーダ２０は、入力２０１（または入力インタフェース２０１）、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、（ライン）バッファ２１６、ループフィルタユニット２２０、復号された画像バッファ（ＤＰＢ）２３０、モード選択ユニット２６０、エントロピ符号化ユニット２７０、および出力２７２（または出力インタフェース２７２）を備える。モード選択ユニット２６０は、インター予測ユニット２４４、イントラ予測ユニット２５４、区分化ユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニットおよび動き補償ユニット（不図示）を含んでよい。図２に示すようなビデオエンコーダ２０は、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックに係るビデオエンコーダとも呼ばれることがある。
残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、およびモード選択ユニット２６０は、エンコーダ２０の順方向信号経路を形成するものと見なされることがあるが、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、（ライン）バッファ２１６、ループフィルタ２２０、復号された画像バッファ（ＤＰＢ）２３０、インター予測ユニット２４４、およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の逆方向信号経路を形成するものと見なされることがあり、ビデオエンコーダ２０の逆方向信号経路は、デコーダ（図３のビデオデコーダ３０を参照）の信号経路に対応する。逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、復号された画像バッファ（ＤＰＢ）２３０、インター予測ユニット２４４、およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の「内蔵デコーダ」を形成するものとも見なされる。
［画像＆画像区分化（画像＆ブロック）］
エンコーダ２０は、例えば、入力２０１を介して、画像１７（または画像データ１７）、例えば、ビデオまたはビデオシーケンスを形成する一連の画像のうち、ある画像を受信するように構成されてよい。受信された画像または画像データは、前処理された画像１９（または前処理された画像データ１９）であってもよい。簡単にするために、以下の説明では画像１７を参照する。画像１７は、（特に、現在の画像を、他の画像、例えば、同じビデオシーケンス、すなわち、現在の画像も含むビデオシーケンスの、以前に符号化および／または復号された画像と区別するビデオコーディングにおいて）現在の画像またはコーディングされる画像とも呼ばれることがある。
（デジタル）画像は、強度値を有するサンプルの二次元アレイまたはマトリクスであるか、それと見なされ得る。アレイ内のサンプルは、画素（画像要素の短縮形式）またはペルとも呼ばれることがある。アレイまたは画像の水平および垂直方向（または軸）におけるサンプルの数によって、画像のサイズおよび／または解像度が定義される。色の表現には通常、３つの色成分が採用される。すなわち、画像は３つのサンプルアレイとして表現されても、それらを含んでもよい。ＲＢＧフォーマットまたは色空間では、画像が、対応する赤、緑、青のサンプルアレイを含む。ただし、ビデオコーディングでは、各画素が通常、輝度およびクロミナンスのフォーマットまたは色空間、例えば、ＹＣｂＣｒで表現され、ＹＣｂＣｒは、Ｙ（代わりに、Ｌが使用されることもある）で示される輝度成分と、ＣｂおよびＣｒで示される２つのクロミナンス成分とを含む。輝度（または略してルマ）成分Ｙは、明るさまたはグレイレベルの強度（例えば、グレイスケール画像におけるようなもの）を表し、２つのクロミナンス（または略してクロマ）成分ＣｂおよびＣｒは、色度または色の情報成分を表す。結果的に、ＹＣｂＣｒフォーマットの画像は、輝度サンプル値（Ｙ）の輝度サンプルアレイと、クロミナンス値（ＣｂおよびＣｒ）の２つのクロミナンスサンプルアレイとを含む。ＲＧＢフォーマットの画像は、ＹＣｂＣｒフォーマットに変換（ｃｏｎｖｅｒｔｅｄまたはｔｒａｎｓｆｏｒｍｅｄ）されてよく、その逆もまた同様である。このプロセスは、色の変換（ｔｒａｎｓｆｏｒｍａｔｉｏｎまたはｃｏｎｖｅｒｓｉｏｎ）としても知られている。画像がモノクロである場合は、画像は輝度サンプルアレイのみを含んでよい。結果的に、画像は、例えば、モノクロフォーマットのルマサンプルのアレイ、または、４：２：０、４：２：２、および４：４：４の色フォーマットのルマサンプルのアレイおよびクロマサンプルの２つの対応するアレイであってよい。
ビデオエンコーダ２０の実施形態は、画像１７を複数の（通常は非重複の）画像ブロック２０３に区分化するように構成される画像区分化ユニット（図２には描写されていない）を含んでよい。これらのブロックは、根ブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）、またはコーディングツリーブロック（ＣＴＢ）もしくはコーディングツリーユニット（ＣＴＵ）（Ｈ．２６５／ＨＥＶＣおよびＶＶＣによる）とも呼ばれることがある。画像区分化ユニットは、ビデオシーケンスの全ての画像とブロックサイズを定義する対応するグリッドとに同じブロックサイズを使用するか、画像間または画像のサブセットまたはグループ間でブロックサイズを変更し、各画像を対応するブロックに区分化するように構成されてよい。
更なる実施形態において、ビデオエンコーダは、画像１７のブロック２０３、例えば、画像１７を形成する１つ、幾つか、または全てのブロックを直接受信するように構成されてよい。画像ブロック２０３は、現在の画像ブロックまたはコーディングされる画像ブロックとも呼ばれることがある。
画像１７と同様に、画像ブロック２０３は、画像１７よりも寸法は小さいが、強度値（サンプル値）を有するサンプルの二次元アレイまたはマトリクスであるか、それと見なされ得る。つまり、ブロック２０３は、例えば、１つのサンプルアレイ（例えば、モノクロ画像１７の場合はルマアレイ、または、色画像の場合はルマアレイもしくはクロマアレイ）、または３つのサンプルアレイ（例えば、色画像１７の場合はルマアレイおよび２つのクロマアレイ）、または適用される色フォーマットに応じた任意の他の数および／または種類のアレイを含んでよい。ブロック２０３の水平および垂直方向（または軸）におけるサンプルの数によって、ブロック２０３のサイズが定義される。結果的に、ブロックは、例えば、サンプルのＭ×Ｎ（Ｍ列×Ｎ行）アレイ、または変換係数のＭ×Ｎアレイを含んでよい。
図２に示すようなビデオエンコーダ２０の実施形態は、画像１７をブロックごとに符号化するように構成されてよく、例えば、符号化および予測がブロック２０３ごとに実行される。
図２に示すようなビデオエンコーダ２０の実施形態は更に、スライス（ビデオスライスとも呼ばれる）を使用することにより画像を区分化および／または符号化するように構成されてよく、画像は１または複数のスライス（通常は非重複）に区分化されても、１または複数のスライスを使用して符号化されてもよく、各スライスは１または複数のブロック（例えば、ＣＴＵ）を含んでよい。
図２に示すようなビデオエンコーダ２０の実施形態は更に、タイルグループ（ビデオタイルグループとも呼ばれる）および／またはタイル（ビデオタイルとも呼ばれる）を使用することにより画像を区分化および／または符号化するように構成されてよく、画像は１または複数のタイルグループ（通常は非重複）に区分化されても、１または複数のタイルグループを使用して符号化されてもよく、各タイルグループは１または複数のブロック（例えば、ＣＴＵ）または１または複数のタイルを含んでよく、各タイルは長方形の形状であってよく、１または複数のブロック（例えば、ＣＴＵ）、例えば、完全または部分的なブロックを含んでよい。
［残差計算］
残差計算ユニット２０４は、例えば、画像ブロック２０３のサンプル値から予測ブロック２６５のサンプル値をサンプルごと（画素ごと）に減算してサンプル領域内の残差ブロック２０５を取得することにより、画像ブロック２０３および予測ブロック２６５（予測ブロック２６５に関する更なる詳細は後で提供される）に基づいて、残差ブロック２０５（残差２０５とも呼ばれる）を計算するように構成されてよい。
［変換］
変換処理ユニット２０６は、離散余弦変換（ＤＣＴ）または離散正弦変換（ＤＳＴ）などの変換を残差ブロック２０５のサンプル値に適用して、変換領域内の変換係数２０７を取得するように構成されてよい。変換係数２０７は変換残差係数とも呼ばれることがあり、変換領域内の残差ブロック２０５を表す。
変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣに指定された変換などのＤＣＴ／ＤＳＴの整数近似を適用するように構成されてよい。直交ＤＣＴ変換と比較して、係る整数近似は通常、特定の因子でスケーリングされる。順方向変換および逆変換で処理される残差ブロックのノルムを順守するために、更なるスケーリング因子が変換プロセスの一部として適用される。スケーリング因子は通常、シフト演算の２の累乗であるスケーリング因子、変換係数のビット深度、確度と実装コストとの間のトレードオフなどのような特定の制約に基づいて選択される。例えば、特定のスケーリング因子が、例えば、逆変換処理ユニット２１２による逆変換（および、例えば、ビデオデコーダ３０における逆変換処理ユニット３１２による対応する逆変換）に指定され、例えば、エンコーダ２０における変換処理ユニット２０６による順方向変換の対応するスケーリング因子が適宜指定されてよい。
ビデオエンコーダ２０の実施形態（それぞれ変換処理ユニット２０６）は、変換パラメータ、例えば、１または複数の変換のタイプを、例えば、直接出力するか、エントロピ符号化ユニット２７０を介して符号化または圧縮してから出力するように構成されてよく、その結果、例えば、ビデオデコーダ３０は変換パラメータを復号のため受信および使用してよい。
［量子化］
量子化ユニット２０８は、例えば、スカラ量子化またはベクトル量子化を適用することにより、変換係数２０７を量子化して、量子化された係数２０９を取得するように構成されてよい。量子化された係数２０９は、量子化された変換係数２０９または量子化された残差係数２０９とも呼ばれることがある。
量子化プロセスでは、変換係数２０７の幾つかまたは全てに関連付けられるビット深度が低減され得る。例えば、量子化中にｎビットの変換係数がｍビットの変換係数に切り捨てられてよく、ｎはｍより大きい。量子化の程度は、量子化パラメータ（ＱＰ）を調整することにより修正されてよい。例えば、スカラ量子化の場合は、異なるスケーリングを適用して、より細かいまたはより粗い量子化を実現してよい。量子化ステップサイズが小さいほど、より細かい量子化に対応し、量子化ステップサイズが大きいほど、より粗い量子化に対応する。適用可能な量子化ステップサイズは量子化パラメータ（ＱＰ）で示されてよい。量子化パラメータは、例えば、予め定義された一組の適用可能な量子化ステップサイズのインデックスであってよい。例えば、小さな量子化パラメータは細かい量子化（小さな量子化ステップサイズ）に対応してよく、大きな量子化パラメータは粗い量子化（大きな量子化ステップサイズ）に対応してよく、またはその逆もまた同様である。量子化は量子化ステップサイズによる除算を含んでよく、例えば、逆量子化ユニット２１０による、対応するおよび／または逆の量子化解除は、量子化ステップサイズによる乗算を含んでよい。幾つかの規格、例えば、ＨＥＶＣに係る実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成されてよい。概して、量子化ステップサイズは、除算を含む方程式の不動点近似を使用した量子化パラメータに基づいて計算されてよい。量子化および量子化解除に更なるスケーリング因子を導入して残差ブロックのノルムを復元してよく、これは、量子化ステップサイズおよび量子化パラメータの方程式の不動点近似で使用されるスケーリングを理由に修正され得る。１つの例示的な実装では、逆変換のスケーリングと量子化解除とが組み合わされてよい。代替的に、カスタマイズされた量子化テーブルを使用し、例えば、ビットストリームで、エンコーダからデコーダにシグナリングしてもよい。量子化は不可逆演算であり、量子化ステップサイズが増加するにつれて損失が増加する。
ビデオエンコーダ２０の実施形態（それぞれ量子化ユニット２０８）は、量子化パラメータ（ＱＰ）を、例えば、直接出力するか、エントロピ符号化ユニット２７０を介して符号化してから出力するように構成されてよく、その結果、例えば、ビデオデコーダ３０は量子化パラメータを復号のため受信および適用してよい。
［逆量子化］
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づいてまたはそれを使用して量子化ユニット２０８により適用される量子化スキームの逆を適用することにより、量子化ユニット２０８の逆量子化を量子化された係数に適用して、量子化解除された係数２１１を取得するように構成される。量子化解除された係数２１１は、量子化解除された残差係数２１１とも呼ばれることがあり、通常は量子化による損失に起因して変換係数とは同一でないものの、変換係数２０７に対応する。
［逆変換］
逆変換処理ユニット２１２は、変換処理ユニット２０６により適用される変換の逆変換、例えば、逆の離散余弦変換（ＤＣＴ）または逆の離散正弦変換（ＤＳＴ）または他の逆変換を適用して、サンプル領域内の再構成された残差ブロック２１３（または対応する量子化解除された係数２１３）を取得するように構成される。再構成された残差ブロック２１３は、変換ブロック２１３とも呼ばれることがある。
［再構成］
再構成ユニット２１４（例えば、加算器またはアナログ加算器２１４）は、例えば、再構成された残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とをサンプルごとに加算することにより、変換ブロック２１３（すなわち、再構成された残差ブロック２１３）を予測ブロック２６５に加算して、サンプル領域内の再構成されたブロック２１５を取得するように構成される。
［フィルタリング］
ループフィルタユニット２２０（または略して「ループフィルタ」２２０）は、再構成されたブロック２１５をフィルタリングして、フィルタリングされたブロック２２１を取得するか、一般には、再構成されたサンプルをフィルタリングして、フィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、画素遷移を平滑化するか、そうでなければビデオ品質を向上させるように構成されてよい。ループフィルタユニット２２０は、ブロック解除フィルタ、サンプル適応型オフセット（ＳＡＯ）フィルタ、または、１または複数の他のフィルタ、例えば、バイラテラルフィルタ、適応型ループフィルタ（ＡＬＦ）、鮮鋭化、平滑化フィルタもしくは協調フィルタ、またはそれらの任意の組み合わせなどの、１または複数のループフィルタを含んでよい。図２にはループフィルタユニット２２０がループ内フィルタとして示されているが、他の構成では、ループフィルタユニット２２０がポストループフィルタとして実装されてもよい。フィルタリングされたブロック２２１は、フィルタリング済みの再構成されたブロック２２１とも呼ばれることがある。
ビデオエンコーダ２０の実施形態（それぞれループフィルタユニット２２０）は、ループフィルタパラメータ（サンプル適応型オフセット情報など）を、例えば、直接出力するか、エントロピ符号化ユニット２７０を介して符号化してから出力するように構成されてよく、その結果、例えば、デコーダ３０は、同じループフィルタパラメータまたはそれぞれのループフィルタを復号のため受信および適用してよい。
［復号された画像バッファ］
復号された画像バッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によりビデオデータを符号化するための参照画像、または一般に、参照画像データを保存するメモリであってよい。ＤＰＢ２３０は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかにより形成されてよい。復号された画像バッファ（ＤＰＢ）２３０は、１または複数のフィルタリングされたブロック２２１を保存するように構成されてよい。復号された画像バッファ２３０は更に、同じ現在の画像または異なる画像、例えば、以前に再構成された画像の以前にフィルタリングされた他のブロック、例えば、以前に再構成およびフィルタリングされたブロック２２１を保存するように構成されてよく、例えば、以前に再構成された、すなわち、復号された完全な画像（および対応する参照ブロックおよびサンプル）および／または部分的に再構成された現在の画像（および対応する参照ブロックおよびサンプル）をインター予測のために提供してよい。復号された画像バッファ（ＤＰＢ）２３０は、例えば、再構成されたブロック２１５がループフィルタユニット２２０によりフィルタリングされていない場合に、１または複数のフィルタリングされていない再構成されたブロック２１５、または一般に、フィルタリングされていない再構成されたサンプル、または、これらの再構成されたブロックまたはサンプルの任意の他の更に処理されたバージョンを保存するように構成されてもよい。
［モード選択（区分化＆予測）］
モード選択ユニット２６０は、区分化ユニット２６２、インター予測ユニット２４４、およびイントラ予測ユニット２５４を備え、元の画像データ、例えば、元のブロック２０３（現在の画像１７の現在のブロック２０３）と、再構成された画像データ、例えば、同じ（現在の）画像の、および／または、１または複数の以前に復号された画像からの、例えば、復号された画像バッファ２３０もしくは他のバッファ（例えば、ラインバッファ２１６）からのフィルタリングされたおよび／またはフィルタリングされていない再構成されたサンプルまたはブロックとを、受信または取得するように構成される。再構成された画像データを、予測、例えば、インター予測またはイントラ予測のための参照画像データとして使用して、予測ブロック２６５または予測因子２６５を取得する。特に、ラインバッファ２１６からの参照サンプル２１７がイントラ予測ユニット２５４により使用されてよい。
モード選択ユニット２６０は、現在のブロック予測モードの区分化（区分化なしを含む）および予測モード（例えば、イントラ予測モードまたはインター予測モード）を決定または選択し、且つ、対応する予測ブロック２６５を生成するように構成されてよく、予測ブロック２６５は、残差ブロック２０５の計算と再構成されたブロック２１５の再構成とに使用される。
モード選択ユニット２６０の実施形態は、区分化および予測モードを（例えば、モード選択ユニット２６０によりサポートされているか、モード選択ユニット２６０に利用できるものから）選択するように構成されてよく、これによって、最良に一致する、または、つまり、最小残差（最小残差とは、伝送または保存により適した圧縮を意味する）または最小シグナリングオーバヘッド（最小シグナリングオーバヘッドとは、伝送または保存により適した圧縮を意味する）が提供されるか、その両方が考慮されるか、その両方のバランスが取れる。モード選択ユニット２６０は、レート歪み最適化（ＲＤＯ）に基づいて区分化および予測モードを決定する、すなわち、最小のレート歪みを提供する予測モードを選択するように構成されてよい。この文脈における「最良」、「最小」、「最適」などのような用語は、必ずしも全般的な「最良」、「最小」、「最適」などを指しているとは限らないが、ある値が閾値または他の制約を超えるまたは下回ることで、「次善の選択」につながる可能性があるものの複雑さおよび処理時間が低減するような、終了または選択の基準の達成を指すこともある。
つまり、区分化ユニット２６２は、例えば、四分木区分化（ＱＴ）、二分木区分化（ＢＴ）、もしくは三分木区分化（ＴＴ）、またはそれらの任意の組み合わせを繰り返し使用して、ブロック２０３をより小さなブロックパーティションまたはサブブロック（これもやはりブロックを形成する）に区分化し、且つ、これらのブロックパーティションまたはサブブロックの各々について予測を実行するように構成されてよく、モード選択は、区分化されたブロック２０３の木構造の選択を含み、予測モードは、これらのブロックパーティションまたはサブブロックの各々に適用される。
以下では、例示的なビデオエンコーダ２０により実行される（例えば、区分化ユニット２６２による）区分化および（インター予測ユニット２４４およびイントラ予測ユニット２５４による）予測処理についてより詳細に説明する。
［区分化］
区分化ユニット２６２は、現在のブロック２０３をより小さなパーティション、例えば、正方形または長方形のサイズのより小さなブロックに区分化（または分割）してよい。これらのより小さなブロック（サブブロックとも呼ばれることがある）は更に、より一層小さなパーティションに区分化されてよい。これは木区分化または階層木区分化とも呼ばれ、例えば、ルートツリーレベル０（階層レベル０、深度０）の根ブロックが再帰的に区分化されてよく、例えば、次に低いツリーレベルの２またはそれより多くのブロック、例えば、ツリーレベル１（階層レベル１、深度１）のノードに区分化されてよく、これらのブロックは、例えば、終了基準が満たされたこと、例えば、最大ツリー深度または最小ブロックサイズに達したことを理由に区分化が終了するまで、次に低いレベル、例えば、ツリーレベル２（階層レベル２、深度２）の２またはそれより多くのブロックに再び区分化されるなどしてよい。更に区分化されないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。２つのパーティションへの区分化を使用する木が二分木（ＢＴ）と呼ばれ、３つのパーティションへの区分化を使用する木が三分木（ＴＴ）と呼ばれ、４つのパーティションへの区分化を使用する木が四分木（ＱＴ）と呼ばれる。
前述したように、本明細書で使用する「ブロック」という用語は、画像のある部分、特に正方形または長方形の部分であってよい。例えば、ＨＥＶＣおよびＶＶＣを参照すると、ブロックは、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、もしくは変換ユニット（ＴＵ）、および／または、対応するブロック、例えば、コーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、変換ブロック（ＴＢ）、または予測ブロック（ＰＢ）であっても、それらに対応してもよい。
例えば、コーディングツリーユニット（ＣＴＵ）は、３つのサンプルアレイを有する画像のルマサンプルのＣＴＢおよびクロマサンプルの２つの対応するＣＴＢ、または、モノクロ画像またはサンプルのコーディングに使用される３つの別個の色平面および構文構造を使用してコーディングされる画像のサンプルのＣＴＢであっても、それらを含んでもよい。それに応じて、コーディングツリーブロック（ＣＴＢ）は、構成要素のＣＴＢへの分割が区分化となるように、ある値Ｎに対するサンプルのＮ×Ｎブロックであってよい。コーディングユニット（ＣＵ）は、３つのサンプルアレイを有する画像のルマサンプルのコーディングブロックおよびクロマサンプルの２つの対応するコーディングブロック、または、モノクロ画像またはサンプルのコーディングに使用される３つの別個の色平面および構文構造を使用してコーディングされる画像のサンプルのコーディングブロックであっても、それらを含んでもよい。
それに応じて、コーディングブロック（ＣＢ）は、ＣＴＢのコーディングブロックへの分割が区分化となるように、ある値ＭおよびＮに対するサンプルのＭ×Ｎブロックであってよい。
例えば、ＨＥＶＣに従った幾つかの実施形態では、コーディングツリーとして示される四分木構造を使用することにより、コーディングツリーユニット（ＣＴＵ）がＣＵに分割されてよい。インター画像（時間的）予測またはイントラ画像（空間的）予測のどちらを使用して画像エリアをコーディングするかの決定は、ＣＵレベルで行われる。各ＣＵは更に、ＰＵの分割タイプに従って、１つ、２つ、または４つのＰＵに分割され得る。１つのＰＵ内では、同じ予測プロセスが適用され、関連情報がＰＵベースでデコーダに伝送される。ＰＵの分割タイプに基づいて予測プロセスを適用することにより残差ブロックを取得した後、ＣＵのコーディングツリーと同様の別の四分木構造に従って、ＣＵが変換ユニット（ＴＵ）に区分化され得る。
例えば、多用途ビデオコーディング（ＶＶＣ）と呼ばれる現在開発中の最新ビデオコーディング規格に従った実施形態では、四分木と二分木との組み合わせ（ＱＴＢＴ）の区分化が、例えば、コーディングブロックの区分化に使用される。ＱＴＢＴブロック構造では、ＣＵの形状を正方形または長方形のどちらか一方とすることができる。例えば、コーディングツリーユニット（ＣＴＵ）がまず、四分木構造で区分化される。四分木葉ノードは更に、二分木または三分（ｔｅｒｎａｒｙまたはｔｒｉｐｌｅ）木の構造で区分化される。区分化木の葉ノードはコーディングユニット（ＣＵ）と呼ばれ、そのパーティションは、更なる区分化を全く行うことなく予測および変換の処理に使用される。これは、ＣＵ、ＰＵ、およびＴＵがＱＴＢＴコーディングブロック構造において同じブロックサイズを有することを意味する。並行して、複数のパーティション、例えば、三分木パーティションがＱＴＢＴブロック構造と一緒に使用されてよい。
一例では、ビデオエンコーダ２０のモード選択ユニット２６０が、本明細書に記載されている区分化技術の任意の組み合わせを実行するように構成されてよい。
上記のように、ビデオエンコーダ２０は、一組の（予め決定された）予測モードから最良の予測モードまたは最適な予測モードを決定または選択するように構成される。一組の予測モードは、イントラ予測モードおよび／またはインター予測モードを含んでよい。
［イントラ予測］
一組のイントラ予測モードは、３５個の異なるイントラ予測モード、例えば、ＤＣ（または平均（ｍｅａｎ））モードおよび平面モードのような無指向性モード、または、例えば、ＨＥＶＣで定義されるような指向性モードを含んでもよいし、６７個の異なるイントラ予測モード、例えば、ＤＣ（または平均）モードおよび平面モードのような無指向性モード、または、例えば、ＶＶＣのために定義されるような指向性モードを含んでもよい。
イントラ予測ユニット２５４は、同じ現在の画像の近接ブロックの再構成されたサンプルを使用して、これら一組のイントラ予測モードのうち、あるイントラ予測モードに従って（イントラ）予測ブロック２６５を生成するように構成される。
イントラ予測ユニット２５４（または一般に、モード選択ユニット２６０）は更に、イントラ予測パラメータ（または一般に、ブロックについて、選択されたイントラ予測モードを示す情報）を、符号化された画像データ２１に含めるため構文要素２６６の形式でエントロピ符号化ユニット２７０に出力するように構成されてよく、その結果、例えば、ビデオデコーダ３０は、予測パラメータを復号のため受信および使用してよい。
［インター予測］
一組の（または考えられる）インター予測モードは、利用可能な参照画像（すなわち、例えば、ＤＢＰ２３０に保存されている以前の少なくとも部分的に復号された画像）および他のインター予測パラメータ、例えば、参照画像の全体が最良に一致する参照ブロックの検索に使用されるのか、または、参照画像の一部のみ、例えば、現在のブロックのエリアの周りの検索ウィンドウエリアのみが使用されるのか、および／または、例えば、ハーフ／セミペル補間および／またはクォーターペル補間などの画素補間が適用されるかどうかに依存する。
上記の予測モードに加えて、スキップモードおよび／または直接モードが適用されてもよい。
インター予測ユニット２４４は、動き推定（ＭＥ）ユニットおよび動き補償（ＭＣ）ユニット（どちらも図２には示されていない）を含んでよい。動き推定ユニットは、画像ブロック２０３（現在の画像１７の現在の画像ブロック２０３）および復号された画像２３１、または、少なくとも１つまたは複数の以前に再構成されたブロック、例えば、１または複数の以前に復号された画像２３１の再構成されたブロックを、動き推定のため受信または取得するように構成されてよい。例として、ビデオシーケンスは、現在の画像と以前に復号された画像２３１とを含んでよい、または、つまり、現在の画像と以前に復号された画像２３１とは、ビデオシーケンスを形成する一連の画像の一部であっても、それを形成してもよい。
エンコーダ２０は、これら複数の以前に復号された画像のうちの同じまたは異なる画像の複数の参照ブロックからある参照ブロックを選択し、且つ、参照画像（または参照画像インデックス）、および／または、参照ブロックの位置（ｘ、ｙ座標）と現在のブロックの位置との間のオフセット（空間的オフセット）を、インター予測パラメータとして動き推定ユニットに提供するように構成されてよい。このオフセットは動きベクトル（ＭＶ）とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得する、例えば、受信するように構成されてよく、当該インター予測パラメータに基づいてまたはそれを使用してインター予測を実行して、（インター）予測ブロック２６５を取得するように構成されてよい。動き補償ユニットにより実行される動き補償は、動き推定により決定される動き／ブロックベクトルに基づいて予測ブロックをフェッチまたは生成し、場合によっては副画素の精度に対する補間を実行することを含んでよい。補間フィルタリングは既知の画素サンプルから更なる画素サンプルを生成し得るため、画像ブロックのコーディングに使用され得る予測ブロック候補の数が増加する可能性がある。動き補償ユニットは、現在の画像ブロックのＰＵの動きベクトルを受信すると、複数の参照画像リストのうちの１つにおいて動きベクトルが指し示す予測ブロックの位置を特定してよい。
動き補償ユニットは、ビデオスライスの画像ブロックを復号する際にビデオデコーダ３０により使用されるブロックおよびビデオスライスに関連付けられる構文要素を生成してもよい。スライスおよびそれぞれの構文要素に加えて、またはそれらに代わるものとして、タイルグループおよび／またはタイルとそれぞれの構文要素とが生成または使用されてよい。
［エントロピコーディング］
エントロピ符号化ユニット２７０は、例えば、エントロピ符号化のアルゴリズムまたはスキーム（例えば、可変長コーディング（ＶＬＣ）スキーム、コンテキスト適応型ＶＬＣスキーム（ＣＡＶＬＣ）、算術コーディングスキーム、二値化、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、構文ベースのコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率区間区分化エントロピ（ＰＩＰＥ）コーディング、または別のエントロピ符号化の方法もしくは技術）、またはバイパス（圧縮なし）を、量子化された係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および／または他の構文要素に適用して、例えば、符号化されたビットストリーム２１の形式で出力２７２を介して出力され得る符号化された画像データ２１を取得するように構成され、その結果、例えば、ビデオデコーダ３０は、パラメータを復号のため受信および使用してよい。符号化されたビットストリーム２１は、ビデオデコーダ３０に伝送されても、後でビデオデコーダ３０により伝送または取得されるようメモリに保存されてもよい。ビデオエンコーダ２０の他の構造的な変形例を使用してビデオストリームを符号化することもできる。例えば、非変換ベースのエンコーダ２０が、特定のブロックまたはフレームについて変換処理ユニット２０６を用いずに残差信号を直接量子化することができる。別の実装では、エンコーダ２０は、単一のユニットに組み合わされた量子化ユニット２０８および逆量子化ユニット２１０を有することができる。
［デコーダおよび復号方法］
図３は、本願の技術を実装するように構成されるビデオデコーダ３０の例を示す。ビデオデコーダ３０は、例えば、エンコーダ２０により符号化される、符号化された画像データ２１（例えば、符号化されたビットストリーム２１）を受信して、復号された画像３３１を取得するように構成される。符号化された画像データまたはビットストリームは、符号化された画像データを復号するための情報、例えば、符号化されたビデオスライス（および／またはタイルグループもしくはタイル）の画像ブロックおよび関連付けられる構文要素を表すデータを含む。
図３の例において、デコーダ３０は、エントロピ復号ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、アナログ加算器３１４）、（ライン）バッファ３１６、ループフィルタ３２０、復号された画像バッファ（ＤＰＢ）３３０、モードアプリケーションユニット３６０、インター予測ユニット３４４、およびイントラ予測ユニット３５４を備える。
インター予測ユニット３４４は、動き補償ユニットであっても、それを含んでもよい。ビデオデコーダ３０は、幾つかの例では、図２のビデオエンコーダ２０に関して説明されている符号化経路に対して概して逆の復号経路を実行してよい。
エンコーダ２０に関して説明されているように、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、（ライン）バッファ２１６、ループフィルタ２２０，復号された画像バッファ（ＤＰＢ）２３０、インター予測ユニット２４４、およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の「内蔵デコーダ」を形成するものとも見なされる。結果的に、逆量子化ユニット３１０は、逆量子化ユニット２１０と機能が同一であってよく、逆変換処理ユニット３１２は、逆変換処理ユニット２１２と機能が同一であってよく、再構成ユニット３１４は、再構成ユニット２１４と機能が同一であってよく、（ライン）バッファ３１６は、イントラ予測ユニット３５４に参照サンプル３１７を提供する（ライン）バッファ２１６と機能が同一であってよく、ループフィルタ３２０は、ループフィルタ２２０と機能が同一であってよく、復号された画像バッファ３３０は、復号された画像バッファ２３０と機能が同一であってよい。従って、ビデオエンコーダ２０のそれぞれのユニットおよび機能について提供されている説明は、ビデオデコーダ３０のそれぞれのユニットおよび機能に準用される。
［エントロピ復号］
エントロピ復号ユニット３０４は、ビットストリーム２１（または一般に、符号化された画像データ２１）を解析し、且つ、例えば、符号化された画像データ２１に対するエントロピ復号を実行して、例えば、量子化された係数３０９および／または復号されたコーディングパラメータ３６６、例えば、インター予測パラメータ（例えば、参照画像インデックスおよび動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モードまたはインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および／または他の構文要素のいずれかまたは全てを取得するように構成される。エントロピ復号ユニット３０４は、エンコーダ２０のエントロピ符号化ユニット２７０に関して説明されているような符号化のスキームに対応する復号のアルゴリズムまたはスキームを適用するように構成されてよい。エントロピ復号ユニット３０４は更に、インター予測パラメータ、イントラ予測パラメータ、および／または他の構文要素をモード選択ユニット３６０に、他のパラメータをデコーダ３０の他のユニットに提供するように構成されてよい。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルで構文要素を受信してよい。スライスおよびそれぞれの構文要素に加えて、またはそれらに代わるものとして、タイルグループおよび／またはタイルとそれぞれの構文要素とが受信および／または使用されてよい。
［逆量子化］
逆量子化ユニット３１０は、（例えば、エントロピ復号ユニット３０４で、例えば、解析および／または復号することにより、）符号化された画像データ２１から量子化パラメータ（ＱＰ）（または一般に、逆量子化に関連する情報）および量子化された係数を受信し、且つ、当該量子化パラメータに基づいて、復号済みの量子化された係数３０９に逆量子化を適用して、変換係数３１１とも呼ばれることがある量子化解除された係数３１１を取得するように構成されてよい。逆量子化プロセスは、量子化の程度と、同様に適用されるべき逆量子化の程度とを決定するために、ビデオスライス（またはタイルもしくはタイルグループ）内のビデオブロックごとにビデオエンコーダ２０により決定される量子化パラメータの使用を含んでよい。
［逆変換］
逆変換処理ユニット３１２は、変換係数３１１とも呼ばれる量子化解除された係数３１１を受信し、且つ、サンプル領域内の再構成された残差ブロック３１３を取得すべく、量子化解除された係数３１１に変換を適用するように構成されてよい。再構成された残差ブロック３１３は、変換ブロック３１３とも呼ばれることがある。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、または概念的に同様の逆変換プロセスであってよい。逆変換処理ユニット３１２は更に、（例えば、エントロピ復号ユニット３０４で、例えば、解析および／または復号することにより、）符号化された画像データ２１から変換パラメータまたは対応する情報を受信して、量子化解除された係数３１１に適用されるべき変換を決定するように構成されてよい。
［再構成］
再構成ユニット３１４（例えば、加算器またはアナログ加算器３１４）は、例えば、再構成された残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを加算することにより、再構成された残差ブロック３１３を予測ブロック３６５に加算して、サンプル領域内の再構成されたブロック３１５を取得するように構成されてよい。
［フィルタリング］
（コーディングループ内またはコーディングループの後のどちらか一方にある）ループフィルタユニット３２０は、例えば、画素遷移を平滑化するか、そうでなければビデオ品質を向上させるために、再構成されたブロック３１５をフィルタリングして、フィルタリングされたブロック３２１を取得するように構成される。ループフィルタユニット３２０は、ブロック解除フィルタ、サンプル適応型オフセット（ＳＡＯ）フィルタ、または、１または複数の他のフィルタ、例えば、バイラテラルフィルタ、適応型ループフィルタ（ＡＬＦ）、鮮鋭化、平滑化フィルタもしくは協調フィルタ、またはそれらの任意の組み合わせなどの、１または複数のループフィルタを含んでよい。図３にはループフィルタユニット３２０がループ内フィルタとして示されているが、他の構成では、ループフィルタユニット３２０がポストループフィルタとして実装されてもよい。
［復号された画像バッファ］
その後、画像の復号されたビデオブロック３２１は、復号された画像バッファ３３０に保存され、復号された画像バッファ３３０は、復号された画像３３１を、他の画像の後続の動き補償のため、および／または、出力もしくはそれぞれの表示のための参照画像として保存する。
デコーダ３０は、復号された画像３１１を、例えば、出力３１２を介して出力して、ユーザに提示または表示するように構成される。
［予測］
インター予測ユニット３４４は、インター予測ユニット２４４（特に、動き補償ユニット）と同一であってよく、イントラ予測ユニット３５４は、イントラ予測ユニット２５４と機能が同一であってよく、（例えば、エントロピ復号ユニット３０４で、例えば、解析および／または復号することにより、）符号化された画像データ２１から受信される区分化パラメータおよび／または予測パラメータまたはそれぞれの情報に基づいて分割または区分化の決定および予測を実行する。モード選択ユニット３６０は、再構成された画像、ブロック、またはそれぞれのサンプル（フィルタリングされている、またはフィルタリングされていない）に基づいてブロックごとに予測（イントラ予測またはインター予測）を実行して、予測ブロック３６５を取得するように構成されてよい。更に、ラインバッファ３１６からの参照サンプル３１７は、イントラ予測ユニット３５４により使用されてよい。
ビデオスライスまたは画像がイントラコーディングされた（Ｉ）スライスとしてコーディングされている場合は、モード選択ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モードと、現在の画像の以前に復号されたブロックからのデータとに基づき、現在のビデオスライスの画像ブロックについて予測ブロック３６５を生成するように構成される。ビデオスライスまたは画像がインターコーディングされた（すなわち、ＢまたはＰ）スライスとしてコーディングされている場合は、モード選択ユニット３６０のインター予測ユニット３４４（例えば、動き補償ユニット）は、エントロピ復号ユニット３０４から受信される動きベクトルおよび他の構文要素に基づき、現在のビデオスライスのビデオブロックについて予測ブロック３６５を生成するように構成される。インター予測では、予測ブロックが、複数の参照画像リストのうちの１つにおける複数の参照画像のうちの１つから生成されてよい。ビデオデコーダ３０は、リスト０及びリスト１という参照画像リストを、ＤＰＢ３３０に保存された参照画像に基づき、デフォルトの構築技術を使用して構築してよい。スライス（例えば、ビデオスライス）に加えて、またはそれらに代わるものとして、タイルグループ（例えば、ビデオタイルグループ）および／またはタイル（例えば、ビデオタイル）を使用する実施形態に対して、または当該実施形態により、同じまたは同様の手法が適用されてよい、例えば、Ｉ、Ｐ、またはＢのタイルグループおよび／またはタイルを使用してビデオがコーディングされてよい。
モード選択ユニット３６０は、動きベクトルおよび他の構文要素を解析することにより現在のビデオスライスのビデオ／画像ブロックについて予測情報を決定し、且つ、当該予測情報を使用して、復号されている現在のビデオブロックについて予測ブロックを生成するように構成される。例えば、モード選択ユニット３６０は、受信された構文要素のうちの幾つかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラ予測またはインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための参照画像リストのうちの１または複数に関する構築情報と、スライスのインターコーディングされたビデオブロックごとの動きベクトルと、スライスのインターコーディングされたビデオブロックごとのインター予測状態と、現在のビデオスライス内のビデオブロックを復号するための他の情報とを決定する。スライス（例えば、ビデオスライス）に加えて、またはそれらに代わるものとして、タイルグループ（例えば、ビデオタイルグループ）および／またはタイル（例えば、ビデオタイル）を使用する実施形態に対して、または当該実施形態により、同じまたは同様の手法が適用されてよい、例えば、Ｉ、Ｐ、またはＢのタイルグループおよび／またはタイルを使用してビデオがコーディングされてよい。
図３に示すようなビデオデコーダ３０の実施形態は、スライス（ビデオスライスとも呼ばれる）を使用することにより画像を区分化および／または復号するように構成されてよく、画像は１または複数のスライス（通常は非重複）に区分化されても、１または複数のスライスを使用して復号されてもよく、各スライスは１または複数のブロック（例えば、ＣＴＵ）を含んでよい。
図３に示すようなビデオデコーダ３０の実施形態は、タイルグループ（ビデオタイルグループとも呼ばれる）および／またはタイル（ビデオタイルとも呼ばれる）を使用することにより画像を区分化および／または復号するように構成されてよく、画像は１または複数のタイルグループ（通常は非重複）に区分化されても、１または複数のタイルグループを使用して復号されてもよく、各タイルグループは１または複数のブロック（例えば、ＣＴＵ）または１または複数のタイルを含んでよく、各タイルは長方形の形状であってよく、１または複数のブロック（例えば、ＣＴＵ）、例えば、完全または部分的なブロックを含んでよい。ビデオデコーダ３０の他の変形例を使用して、符号化された画像データ２１を復号することができる。例えば、デコーダ３０は、ループフィルタリングユニット３２０を用いずに出力ビデオストリームを生成することができる。例えば、非変換ベースのデコーダ３０が、特定のブロックまたはフレームについて逆変換処理ユニット３１２を用いずに残差信号を直接逆量子化することができる。別の実装では、ビデオデコーダ３０は、単一のユニットに組み合わされた逆量子化ユニット３１０および逆変換処理ユニット３１２を有することができる。
エンコーダ２０およびデコーダ３０では、現在の段階の処理結果を更に処理して、その後、次の段階に出力してよいものと理解されたい。例えば、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの後に、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの処理結果に対して、クリップまたはシフトなどの更なる演算が実行されてよい。
なお、現在のブロックの導出された動きベクトル（限定されるわけではないが、アフィンモードの制御点動きベクトル、アフィンモード、平面モード、ＡＴＭＶＰモードのサブブロック動きベクトル、および時間的な動きベクトルなどを含む）に対して更なる演算が適用されてよい。例えば、動きベクトルの値は、その表現ビット数に従って予め定義された範囲に制限される。動きベクトルの表現ビット数がｂｉｔＤｅｐｔｈである場合は、その範囲が－２＾（ｂｉｔＤｅｐｔｈ－１）～２＾（ｂｉｔＤｅｐｔｈ－１）－１であり、「＾」はべき乗を意味する。例えば、ｂｉｔＤｅｐｔｈが１６に等しく設定されている場合は、その範囲が－３２７６８～３２７６７であり、ｂｉｔＤｅｐｔｈが１８に等しく設定されている場合は、その範囲が－１３１０７２～１３１０７１である。例えば、導出された動きベクトル（例えば、１つの８×８ブロック内の４つの４×４サブブロックのＭＶ）の値は、４つの４×４サブブロックのＭＶの整数部分間の最大差がＮ画素を超えない、例えば、１画素を超えないように制限される。
以下の説明では、ｂｉｔＤｅｐｔｈに従って動きベクトルを制限するための方法を２つ提供する。
方法１：以下の演算でオーバフローＭＳＢ（最上位ビット）を除去する。
ｕｘ＝（ｍｖｘ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （１）
ｍｖｘ＝（ｕｘ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｘ－２ｂｉｔＤｅｐｔｈ）：ｕｘ （２）
ｕｙ＝（ｍｖｙ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （３）
ｍｖｙ＝（ｕｙ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｙ－２ｂｉｔＤｅｐｔｈ）：ｕｙ （４）
ここで、ｍｖｘは、イメージブロックまたはサブブロックの動きベクトルの水平成分であり、ｍｖｙは、イメージブロックまたはサブブロックの動きベクトルの垂直成分であり、ｕｘおよびｕｙは、それぞれの中間値を示す。
例えば、ｍｖｘの値が－３２７６９である場合は、式（１）および式（２）を適用した後に、結果として得られる値が３２７６７である。コンピュータシステムでは、十進数が２の補数として保存される。
－３２７６９の２の補数は、１，０１１１，１１１１，１１１１，１１１１（１７ビット）である。その後、ＭＳＢが破棄されるため、結果として得られる２の補数は０１１１，１１１１，１１１１，１１１１（十進数は３２７６７）であり、式（１）および式（２）を適用することによる出力と同じである。
ｕｘ＝（ｍｖｐｘ＋ｍｖｄｘ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （５）
ｍｖｘ＝（ｕｘ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｘ－２ｂｉｔＤｅｐｔｈ）：ｕｘ （６）
ｕｙ＝（ｍｖｐｙ＋ｍｖｄｙ＋２ｂｉｔＤｅｐｔｈ）％２ｂｉｔＤｅｐｔｈ （７）
ｍｖｙ＝（ｕｙ＞＝２ｂｉｔＤｅｐｔｈ－１）？（ｕｙ－２ｂｉｔＤｅｐｔｈ）：ｕｙ （８）
式（５）から式（８）に示すように、これらの演算は、動きベクトル予測因子ｍｖｐと動きベクトル差ｍｖｄとの合計中に適用されてよい。
方法２：値をクリッピングすることによりオーバフローＭＳＢを除去する。
ｖｘ＝Ｃｌｉｐ３（－２ｂｉｔＤｅｐｔｈ－１，２ｂｉｔＤｅｐｔｈ－１－１，ｖｘ）
ｖｙ＝Ｃｌｉｐ３（－２ｂｉｔＤｅｐｔｈ－１，２ｂｉｔＤｅｐｔｈ－１－１，ｖｙ）
ここで、ｖｘは、イメージブロックまたはサブブロックの動きベクトルの水平成分であり、ｖｙは、イメージブロックまたはサブブロックの動きベクトルの垂直成分であり、ｘ、ｙ、ｚは、ＭＶクリッピングプロセスの３つの入力値にそれぞれ対応し、関数Ｃｌｉｐ３の定義は以下の通りである。
Figure 0007351908000001
図４は、本開示のある実施形態に係るビデオコーディングデバイス４００の概略図である。ビデオコーディングデバイス４００は、下記のような開示されている実施形態を実装するのに適している。ある実施形態では、ビデオコーディングデバイス４００は、図１Ａのビデオデコーダ３０などのデコーダ、または図１Ａのビデオエンコーダ２０などのエンコーダであってよい。
ビデオコーディングデバイス４００は、データを受信するための入口ポート４１０（または入力ポート４１０）および受信ユニット（Ｒｘ）４２０と、データを処理するためのプロセッサ、論理ユニット、または中央処理装置（ＣＰＵ）４３０と、データを送信するための送信ユニット（Ｔｘ）４４０および出口ポート４５０（または出力ポート４５０）と、データを保存するためのメモリ４６０とを備えてよい。ビデオコーディングデバイス４００は、光信号または電気信号が出入りするための入口ポート４１０、受信ユニット４２０、送信ユニット４４０、および出口ポート４５０に結合される光／電気（ＯＥ）構成要素および電気／光（ＥＯ）構成要素を備えてもよい。
プロセッサ４３０は、ハードウェアおよびソフトウェアにより実装されてよい。プロセッサ４３０は、１または複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、およびＤＳＰとして実装されてよい。プロセッサ４３０は、入口ポート４１０、受信ユニット４２０、送信ユニット４４０、出口ポート４５０、およびメモリ４６０と通信状態にあってよい。プロセッサ４３０はコーディングモジュール４７０を備えてよい。コーディングモジュール４７０は、上記および下記の開示されている実施形態を実装する。例えば、コーディングモジュール４７０は、様々なコーディング演算を実装、処理、準備、または提供してよい。従って、コーディングモジュール４７０を含めることで、ビデオコーディングデバイス４００の機能の大幅な改善が提供され、ビデオコーディングデバイス４００の異なる状態への変換が行われる。代替的に、コーディングモジュール４７０は、メモリ４６０に保存され、且つ、プロセッサ４３０により実行される命令として実装されてよい。
メモリ４６０は、１または複数のディスク、テープドライブ、およびソリッドステートドライブを備えてよく、プログラムが実行のため選択されたときに係るプログラムを保存し、且つ、プログラムの実行中に読み取られる命令およびデータを保存するための、オーバフローデータ記憶デバイスとして使用されてよい。メモリ４６０は、例えば、揮発性および／または不揮発性であってよく、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）であってよい。
図５は、例示的な実施形態に係る図１Ａのソースデバイス１２および宛先デバイス１４のどちらか一方または両方として使用され得る装置５００の簡略ブロック図である。
装置５００内のプロセッサ５０２を中央処理装置とすることができる。代替的に、プロセッサ５０２は、現存しているまたは今後開発される情報を操作または処理できる任意の他のタイプのデバイスまたは複数のデバイスとすることもできる。開示されている実装は、示されているような単一のプロセッサ、例えば、プロセッサ５０２で実施され得るが、１より多くのプロセッサを使用して速度および効率の利点が実現され得る。
ある実装では、装置５００内のメモリ５０４をリードオンリメモリ（ＲＯＭ）デバイスまたはランダムアクセスメモリ（ＲＡＭ）デバイスとすることができる。任意の他の最適なタイプの記憶デバイスがメモリ５０４として使用され得る。メモリ５０４は、バス５１２を使用してプロセッサ５０２によりアクセスされるコードおよびデータ５０６を含むことができる。メモリ５０４は更に、オペレーティングシステム５０８およびアプリケーションプログラム５１０を含むことができ、アプリケーションプログラム５１０は、プロセッサ５０２が本明細書に記載の方法を実行できるようにする少なくとも１つのプログラムを含む。
例えば、アプリケーションプログラム５１０は、アプリケーション１からアプリケーションＮを含むことができ、アプリケーション１からアプリケーションＮは更に、本明細書に記載の方法を実行するビデオコーディングアプリケーションを含む。
装置５００は、ディスプレイ５１８などの１または複数の出力デバイスを含むこともできる。一例では、ディスプレイ５１８は、ディスプレイを、タッチ入力を感知するように動作可能なタッチセンシティブ要素と組み合わせたタッチセンシティブディスプレイであってよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に結合され得る。
装置５００のバス５１２は、ここでは単一のバスとして描写されているが、複数のバスで構成され得る。更には、二次記憶装置５１４が、装置５００の他の構成要素に直接結合されてもよいし、ネットワークを介してアクセスされてもよく、メモリカードなどの単一の統合ユニット、または複数のメモリカードなどの複数のユニットを備えることができる。
更に、装置５００には、イメージ感知デバイス５２０および／または音感知デバイス５２２が含まれてよい。故に、装置５００は多種多様な構成で実装され得る。
［インター／イントラ予測の組み合わせ（ＣＩＩＰ）］
従来、コーディングユニットは、（同じ画像内の参照サンプルを使用して）イントラ予測されるか、（他の画像内の参照サンプルを使用して）インター予測されるかのどちらか一方である。インター／イントラ予測の組み合わせでは、これら２つの予測手法が組み合わされる。従って、これは多重仮説（ＭＨ）予測と呼ばれることもある。インター／イントラ予測の組み合わせが有効である場合は、イントラ予測およびインター予測されたサンプルが重みにより適用されるため、予測されたサンプルの加重平均として最終的な予測が導出される。
ブロックがいつインター／イントラ予測の組み合わせでコーディングされるかを示すには、フラグ、すなわち、ＣＩＩＰフラグが使用される。
ＣＩＩＰでコーディングされるブロックが更に、図６および図７に示すように、幾つかのサブブロックに分割されてよい。一例では、サブブロックは、ブロックを水平サブブロックに分割することにより、すなわち、垂直方向に分割することにより導出され、各サブブロックは、元のブロックと同じ幅であるが、元のブロックの１／４の高さしかない。
一例では、サブブロックは、ブロックを垂直サブブロックに分割することにより、すなわち、水平方向に分割することにより導出され、各サブブロックは、元のブロックと同じ高さであるが、元のブロックの１／４の幅しかない。
ＣＩＩＰには、より多くの残差信号を通例は有するイントラ予測の結果が含まれるため、ＣＩＩＰに起因してブロックアーチファクトがもたらされることがある。ブロックアーチファクトは、ＣＩＩＰブロックの境界だけでなく、ＣＩＩＰブロック内のサブブロックエッジ、例えば、図６の垂直サブブロックエッジＡ、Ｂ、Ｃでも生じる。水平サブブロックエッジは、それに応じて識別され得る。ブロックアーチファクトを除去するには、図７に示すように、ＣＩＩＰブロック内のサブブロックエッジをブロック解除してよい。
ブロックアーチファクトはＣＩＩＰブロックの境界およびＣＩＩＰブロック内のサブブロックエッジの両方で生じる可能性があるが、これら２つの境界に起因する歪みは異なることがあり、異なる境界強度が必要とされることがある。
サブブロックエッジは、ＣＩＩＰ自体に起因することがある。例えば、ＣＩＩＰブロックのイントラ予測モードが水平モードである場合は、図６に示すような垂直区分化が適用され、結果として、３つのサブブロックエッジがもたらされる。
ただし、サブブロックエッジは、ＴＵ（変換ユニット）のサイズ制限にも起因することがある。ＶＴＭ３．０（多用途ビデオコーディングテストモデル３．０）では、最大ＴＵサイズが６４×６４サンプルである。ＣＵ（コーディングユニット）が１２８×１２８サンプルである場合は、それは、図８に示すように４つのＴＵに分割され、結果として、４つのＴＵ境界になる。その結果、変換が６４×６４の粒度で適用される。破線として示すＴＵ境界をブロック解除する必要がある。
更には、特定のコーディングツール（例えば、サブブロック変換）が適用されると、図９などに示すように、ＣＩＩＰの予測により処理されるＣＵ内でＴＵエッジが生じる可能性がある。ＣＩＩＰでコーディングされるコーディングユニットが更に、複数の変換ユニットに分割されてよい。故に、図９で破線として強調表示されているＴＵ境界は、ＣＩＩＰユニット内の内部ＴＵエッジを表す。ＣＩＩＰユニット内のこれらの内部ＴＵエッジもブロック解除する必要がある。
説明の残りの部分では、以下の用語を使用する。
ＣＩＩＰブロック：ＣＩＩＰの適用により予測されるコーディングブロック
イントラブロック：ＣＩＩＰではなくイントラ予測の適用により予測されるコーディングブロック
インターブロック：ＣＩＩＰではなくインター予測の適用により予測されるコーディングブロック
［ブロック解除フィルタおよび境界強度］
ＨＥＶＣおよびＶＶＣなどのビデオコーディングスキームは、ブロックベースのハイブリッドビデオコーディングの成功原理に沿って設計されている。この原理を使用して、まず、画像がブロックに区分化され、その後、各ブロックがイントラ画像またはインター画像の予測を使用することにより予測される。これらのブロックは近接ブロックに関してコーディングされ、ある程度の類似性で元の信号を近似する。コーディングされたブロックのみが元の信号を近似するので、近似間の差によって、予測ブロックおよび変換ブロックの境界で切れ目が生じることがある。これらの切れ目は、ブロック解除フィルタにより減衰される。図１０は、サブパーティションのサンプルに対するブロック解除フィルタの適用の例を示す。サブパーティションのサイズがブロック解除の方向に直交する８つのサンプルより小さい場合は、決定プロセスで３つのサンプルのみを使用し、且つ、１つのサンプルを修正する、弱いファイラが使用される。
ブロック境界をフィルタリングするかどうかの決定では、予測モードおよび動きベクトルなどのビットストリーム情報が使用される。幾つかのコーディング条件では、強いブロックアーチファクトの作成される可能性が高くなり、強いブロックアーチファクトは、全てのブロック境界に割り当てられ、且つ、表１のように決定される、いわゆる境界強度（ＢｓまたはＢＳ）変数により表される。
Figure 0007351908000002
ブロック解除は、ルマ成分についてＢｓが０より大きく、且つ、クロマ成分についてＢｓが１より大きいブロック境界にのみ適用される。Ｂｓの値が高いほど、より高いクリッピングパラメータ値を使用することにより、より強いフィルタリングが可能になる。Ｂｓの導出条件は、イントラ予測されたブロック境界に最も強いブロックアーチファクトが現れる確率を反映する。
通例、境界の２つの隣接するブロックには、図１１に示すように、ＰおよびＱのラベルが付られる。この図は垂直境界の場合を描写している。水平境界を考慮する場合は、図１１を時計回りに９０度回転させるものとし、Ｐが上ブロック、Ｑが下ブロックとなる。
［最も可能性の高いモードリストの構築］
最も可能性の高いモード（ＭＰＭ）リストは、コーディング効率を向上させるためにイントラモードコーディングで使用される。イントラモードの数が多いこと（例えば、ＨＥＶＣでは３５、ＶＶＣでは６７）に起因して、現在のブロックのイントラモードは直接シグナリングされない。代わりに、現在のブロックの最も可能性の高いモードリストが、その近接ブロックのイントラ予測モードに基づいて構築される。現在のブロックのイントラモードがその近接するものに関連しているため、ＭＰＭリストは通例、その名前（最も可能性の高いモードリスト）が示すように、適切な予測を提供する。故に、現在のブロックのイントラモードは、そのＭＰＭリストに入る可能性が高い。このように、現在のブロックのイントラモードを導出するには、ＭＰＭリストのインデックスのみがシグナリングされる。イントラモードの合計の数と比較して、ＭＰＭリストの長さははるかに短くなる（例えば、ＨＥＶＣでは３－ＭＰＭリストが使用され、ＶＶＣでは６－ＭＰＭリストが使用される）。従って、イントラモードのコーディングに必要とされるビットが少なくなる。現在のブロックのイントラモードがそのＭＰＭリストに属しているかどうかを示すには、フラグ（ｍｐｍ＿ｆｌａｇ）が使用される。それが真である場合は、ＭＰＭリストを使用して現在のブロックのイントラモードにインデックスを付けることができる。それ以外の場合は、二値化されたコードを使用してイントラモードが直接シグナリングされる。ＶＶＣおよびＨＥＶＣの両方で、ＭＰＭリストは、その近接する左側のブロックおよび上部のブロックに基づいて構築される。現在のブロックの左側の近接ブロックおよび上部の近接ブロックを予測に利用できない場合は、デフォルトのモードリストが使用される。
［動きベクトル予測］
動きベクトル予測は、動きデータのコーディングで使用される技術である。動きベクトルには通例、水平方向および垂直方向の動きをそれぞれ指す２つの成分ｘおよびｙがある。現在のブロックの動きベクトルは通例、現在の画像内または以前にコーディングされた画像内の近接ブロックの動きベクトルと相関している。これは、近接ブロックが同様の動きの同じ移動物体に対応する可能性が高く、物体の動きが経時的に突然変化する可能性が低いためである。
その結果、近接ブロックの動きベクトルを予測因子として使用すると、シグナリングされた動きベクトル差のサイズが縮小される。動きベクトル予測因子（ＭＶＰ）は通例、同じ場所に配置された画像内の空間的に近接するブロックおよび／または時間的に近接するブロックからの、既に復号された動きベクトルから導出される。
ブロックがＣＩＩＰの適用により予測されると判断された場合は、その最終的な予測されたサンプルは、イントラ予測されたサンプルに部分的に基づいている。イントラ予測も含まれるため、残差係数および変換係数は概して、インターブロック（ｍｖｄ、マージ、スキップ）と比較して大きくなる。従って、これらの多重仮説（ＭＨまたはＭＨＩｎｔｒａ）ブロック、すなわち、ＣＩＩＰブロックが他のブロックに隣接する場合は、境界を跨ってより多くの切れ目が存在することになる。ＨＥＶＣおよびＶＶＣでは、境界の２つの隣接するブロックのいずれかがイントラ予測されると、この境界に対して強いブロック解除フィルタが適用され、境界強度（ＢＳ）のパラメータは２（最も強い）に設定される。
ただし、ＶＴＭ３．０では、ＣＩＩＰにより予測されるブロックに起因する潜在的なブロックアーチファクトが考慮されない。境界強度の導出では依然として、ＣＩＩＰを伴うブロックをインターブロックと見なす。特定の状況下では、係る処理手法によって、主観的および客観的な品質が低下することがある。
本開示の実施形態は、ブロック解除フィルタを向上させるために、ＣＩＩＰブロックを組み込むための幾つかの代替案を提供するものであり、特定の境界の境界強度の導出がＣＩＩＰブロックの影響を受ける。
多用途ビデオコーディングの参照文献（ドラフト３）がＶＶＣドラフト３．０と定義されており、以下のリンクを介して見つけることができる。
ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｍａｃａｏ／ｗｇ１１／ＪＶＥＴ－Ｌ１００１－ｖ３．ｚｉｐ．
実施形態１：
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度が以下のように決定されてよい。
・図１２に示すように、ＰブロックおよびＱブロックのうちの少なくとも一方のブロックがＣＩＩＰ（ＭＨＩｎｔｒａ予測）を伴うブロックである場合は、この境界の境界強度パラメータが第１の値に設定される。例えば、第１の値は２に等しくてよい。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、更なる条件付き評価に従って決定される。この境界の境界強度の導出は図１２に示されており、表１の仕様に従っている。
・より具体的には、ＰブロックおよびＱブロックのうちの少なくとも一方が非ゼロの変換係数を有する場合は、境界強度が１に等しいと決定される。同様に、ＰブロックおよびＱブロックのインター予測で異なる参照画像が使用されるか、ＰブロックおよびＱブロックの動きベクトルの数が異なる場合は、境界強度が１に等しいと決定される。更に、ＰブロックおよびＱブロックの動きベクトル間の絶対差が、動きベクトルの水平成分および垂直成分のうちの少なくとも一方について１つの整数ルマサンプルより大きいかそれに等しい場合は、境界強度が１に等しいと決定される。
・比較のため、図１３には、ＶＶＣまたはＩＴＵ－Ｈ．２６５のビデオコーディング規格で規定された方法が示されている。ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合の本実施形態に係る境界強度の決定は、図１３の既知の方法に対応する。
・ＰブロックおよびＱブロックに含まれる画素サンプルは、上述のような決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態２：
図１４に示すように、２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度が代替的に以下のように導出されてもよい。
・ＰブロックおよびＱブロックのうちの少なくとも一方のブロックがイントラ予測を伴うブロックである場合は、境界強度が２に設定される。
・それ以外の場合は、ＰブロックおよびＱブロックのうちの少なくとも一方のブロックがＣＩＩＰ（ＭＨＩｎｔｒａ予測）を伴うブロックである場合に、この境界の境界強度が第１の値、例えば、１に設定される。
・それ以外の場合は、ＰブロックおよびＱブロックのうちの少なくとも一方が非ゼロの変換係数を有する場合に、この境界の境界強度が第２の値、例えば、１に設定される。第１の値および第２の値は異なっていてよい。
・それ以外の場合は、ＰブロックおよびＱブロックに属する動きベクトル間の絶対差が１つの整数ルマサンプルより大きいかそれに等しい場合に、この境界の境界強度が第２の値、例えば、１に設定される。
・それ以外の場合は、隣接ブロックの動き予測が異なる参照画像を参照するか、動きベクトルの数が異なる場合に、この境界の境界強度が第２の値、例えば、１に設定される。
・それ以外の場合は、この境界の境界強度が０に設定される。
・ＰブロックおよびＱブロックに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態３：
図１５に示すように、２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、この境界の境界強度が代替的に以下のように設定されてもよい。
・ＰブロックおよびＱブロックのうちの少なくとも一方のブロックが、ＣＩＩＰの適用によってではなく、イントラ予測の適用によって予測される場合は、境界強度が２に等しく設定される。可能性としては、Ｐブロックが多重仮説（ＭＨまたはＭＨＩｎｔｒａ）、すなわち、ＣＩＩＰ予測ではなくイントラ予測により予測され、且つ、Ｑブロックが任意の予測関数により予測されることが含まれ、その逆もまた同様である。
・ＰブロックおよびＱブロックがインター予測の適用またはＣＩＩＰの適用により予測される場合（可能性としては、Ｐブロックがインターブロックであり、且つ、Ｑブロックがインターブロックであること、または代替的に、Ｐブロックがインターブロックであり、且つ、ＱブロックがＣＩＩＰブロックであること、または代替的に、ＰブロックがＣＩＩＰブロックであり、且つ、Ｑブロックがインターブロックであること、または代替的に、ＰブロックがＣＩＩＰブロックであり、且つ、ＱブロックがＣＩＩＰブロックであることが含まれる）は、以下が適用されてよい。
・ＰブロックおよびＱブロックのうちの少なくとも一方が非ゼロの変換係数を有する場合は、境界の境界強度パラメータが１に等しく設定される。
・それ以外の場合（ＰブロックおよびＱブロックが非ゼロの変換係数を有しない場合）は、ＰブロックおよびＱブロックが異なる参照画像に基づいて予測されるか、ブロックＰおよびブロックＱの予測に使用される動きベクトルの数が等しくない場合に、この境界の境界強度が１に等しく設定される。
・それ以外の場合（ＰブロックおよびＱブロックが非ゼロの変換係数を有さず、且つ、ＰブロックおよびＱブロックが同じ参照画像に基づいて予測され、且つ、ＰブロックおよびＱブロックの予測に使用される動きベクトルの数が同じである場合）は、ＰブロックおよびＱブロックの予測に使用される動きベクトル間の絶対差が１つの整数ルマサンプルより大きいかそれに等しい場合に、この境界の境界強度が１に等しく設定される。
・それ以外の場合（上記３つの条件が全て偽であると評価された場合）は、この境界の境界強度が０に等しく設定される。
・続いて、ＰブロックおよびＱブロックのうちの少なくとも一方のブロックがＣＩＩＰを伴うブロックである場合は、境界強度が以下のように修正される。
・境界強度が予め定義された第１の値（一例では、予め定義された第１の値は２に等しい）に等しくない場合は、境界強度が予め定義された第２の値（一例では、予め定義された第２の値は１に等しい）ずつ増分される。
・ＰブロックおよびＱブロックに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態４：
２つの側（上述の参照によるＶＶＣドラフト３．０に記載されているようなＰおよびＱ）を有する境界の場合は、境界強度が以下のように導出されてよい。
・この境界が水平境界であり、且つ、ＰおよびＱが異なるＣＴＵに属する場合は、次のようになる。
・ブロックＱがＣＩＩＰを伴うブロックである場合は、境界強度が２に設定される。
・それ以外の場合は、上述の参照によるＶＶＣドラフト３．０で定義されているように、且つ、図１３に示すように、境界強度が導出される。
・それ以外の場合：
・ＰブロックおよびＱブロックのうちの少なくとも一方のブロックがＣＩＩＰを伴うブロックである場合は、この境界の境界強度が２に設定される。
・それ以外の場合は、上述の参照によるＶＶＣドラフト３．０で定義されているように、且つ、図１３に示すように、この境界の境界強度を導出する。
実施形態５：
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度がこの実施形態に従って以下のように決定されてよい。
・ＰブロックまたはＱブロックのうちの少なくとも一方が、ＣＩＩＰの適用ではなくイントラ予測の適用により予測される場合は、境界強度が２に等しく設定される。可能性としては、Ｐブロックが多重仮説（ＣＩＩＰ）予測ではなくイントラ予測により予測され、且つ、Ｑブロックが任意の予測関数により予測されることが含まれ、その逆もまた同様である。
・ＰブロックおよびＱブロックがインター予測またはＣＩＩＰの適用により予測される場合（可能性としては、Ｐブロックがインターブロックであり、且つ、Ｑブロックがインターブロックであること、または代替的に、Ｐブロックがインターブロックであり、且つ、ＱブロックがＣＩＩＰブロックであること、または代替的に、ＰブロックがＣＩＩＰブロックであり、且つ、Ｑブロックがインターブロックであること、または代替的に、ＰブロックがＣＩＩＰブロックであり、且つ、ＱブロックがＣＩＩＰブロックであることが含まれる）は、以下が適用されてよい。
・境界が水平境界であり、且つ、ＰおよびＱが２つの異なるＣＴＵ内に配置される場合は、次のようになる。
・Ｑブロック（Ｑブロックは、Ｐブロックの下に配置されるブロックとして示される）がＣＩＩＰの適用により予測される場合は、境界の境界強度が１に等しく設定される。
・それ以外の場合（ＱブロックがＣＩＩＰの適用により予測されない場合）は、隣接するブロックＰおよびブロックＱのうちの少なくとも一方が非ゼロの変換係数を有する場合に、境界の境界強度が１に等しく設定される。
・それ以外の場合は、ＰブロックおよびＱブロックの予測に使用される動きベクトル間の絶対差が１つの整数ルマサンプルより大きいかそれに等しい場合に、境界の境界強度が１に等しく設定される。
・それ以外の場合は、隣接するブロックＰおよびブロックＱの動き補償予測が異なる参照画像に基づいて実行される場合、または、ブロックＰおよびブロックＱの予測に使用される動きベクトルの数が等しくない場合に、境界の境界強度が１に等しく設定される。これら最後の２つの条件の順序は、図１３に示すように逆にしてよい。
・それ以外の場合は、境界の境界強度が０に等しく設定される。
・それ以外の場合（境界が垂直境界である場合、または、ブロックＰおよびブロックＱが同じＣＴＵ内に含まれる場合）：
・ＰブロックおよびＱブロックのうちの少なくとも一方がＣＩＩＰの適用により予測される場合は、境界の境界強度が１に等しく設定される。
・それ以外の場合は、隣接するブロックＰおよびブロックＱのうちの少なくとも一方が非ゼロの変換係数を有する場合に、当該境界の境界強度が１に等しく設定される。
・それ以外の場合は、ブロックＰおよびブロックＱの予測に使用される動きベクトル間の絶対差が１つの整数ルマサンプルより大きいかそれに等しい場合に、境界の境界強度が１に等しく設定される。
・それ以外の場合は、隣接するブロックＰおよびブロックＱの動き補償予測が異なる参照画像に基づいて実行される場合、または、ブロックＰおよびブロックＱの予測に使用される動きベクトルの数が等しくない場合に、境界の境界強度が１に等しく設定される。これら最後の２つの条件の順序は、図１３に示すように逆にしてよい。
・それ以外の場合は、この境界の境界強度が０に等しく設定される。
・ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態の利益：
多重仮説予測、すなわち、ＣＩＩＰの適用により予測されるブロックのブロック解除フィルタリングは、中強度（１に等しい境界強度）のブロック解除フィルタで適用される。
ブロックがＣＩＩＰの適用により予測される場合は、インター予測の適用により第１予測が取得され、イントラ予測の適用により第２予測が取得され、これらは後で組み合わされる。最終的な予測はイントラ予測の部分を含むため、ＣＩＩＰにより予測されるブロックの境界にブロックアーチファクトが存在する可能性がある。この問題を軽減するために、本発明に従って境界強度を１に設定して、ＣＩＩＰの適用により予測されるブロックエッジのフィルタリングを保証する。
更には、本開示によって、必要とされるラインメモリが以下のように削減される。ラインメモリは、上部のＣＴＵ行に対応するン情報であって、近接する下部のＣＴＵ行の処理中に必要とされる情報の保存に必要なメモリと定義される。例えば、２つのＣＴＵ行間の水平境界をフィルタリングするには、上部のＣＴＵ行の予測モード情報（イントラ予測／インター予測／多重仮説（ＣＩＩＰ）予測）をラインメモリに保存する必要がある。ブロックの予測モードを説明するには３つの状態（イントラ予測／インター予測／多重仮説（ＣＩＩＰ）予測）が考えられるため、ラインメモリの要件がブロックあたり２ビットと定義され得る。
ただし、本開示によれば、ブロック（本実施形態のＰブロック）が上部のＣＴＵ行に属する場合は、ブロック解除操作において、ブロックがインター予測またはイントラ予測のどちらにより予測されるかに関する情報のみが必要とされる（従って、ブロックあたり１ビットを使用して保存され得るのは、２つの状態のみである）。
理由は以下の通りである。
ＰブロックとＱブロックとの間の境界が水平境界である場合、および、ＱブロックおよびＰブロックが２つの異なるＣＴＵに属する（全ての実施形態において、Ｑブロックは、Ｐブロックに対して下部にあるブロックである）場合は、ＰブロックがＣＩＩＰの適用により予測されるかどうかの情報が境界強度の決定において利用されない。イントラ予測およびＣＩＩＰは相互に排他的であるため、上記の実施形態５の第１条件をチェックするには、Ｐブロックがイントラ予測により予測されるかどうかを判断すれば十分である。従って、ＰブロックがＣＩＩＰの適用により予測されるかどうかの情報を保存する必要は全くない。
ハードウェア実装における開示の助けを借りると、（ＰブロックがＣＩＩＰにより予測される場合は）Ｐブロックの予測モードをインター予測へと一時的に変更することができ、変更された予測モードに従って境界強度の決定を実行することができる。その後（境界強度の決定後）、予測モードはＣＩＩＰに戻すことができる。なお、ハードウェア実装は、本明細書に記載の方法（ＣＴＵ境界におけるＰブロックの予測モードの変更）に限定されない。本開示によれば、これは、ＰブロックがＣＩＩＰにより予測されるかどうかの情報が（水平ＣＴＵ境界における）境界強度の決定において必要ではないことを説明するための例として提示されているに過ぎない。
従って、本開示によれば、必要とされるラインメモリは、ブロックあたり２ビットからブロックあたり１ビットに削減される。なお、ハードウェアで実装する必要のあるラインメモリの合計は、画像幅に比例し、最小ブロック幅に反比例する。
実施形態６：
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度がこの実施形態に従って以下のように決定されてよい。
・まず、図１３に示すような、上述の参照によるＶＶＣドラフト３．０またはＩＴＵ－Ｈ．２６５のビデオコーディング規格で規定された方法に従って、境界の境界強度を決定する。
・境界が水平境界であり、且つ、ＰおよびＱが２つの異なるＣＴＵ内に配置される場合は、次のようになる。
・ブロックＱがＣＩＩＰの適用により予測される場合は、境界強度が以下のように修正される。
・境界強度が２に等しくない場合は、境界強度が１ずつ増分される。
・それ以外の場合（境界が垂直境界である場合、または、ブロックＰおよびブロックＱが同じＣＴＵ内に含まれる場合）：
・ブロックＰまたはブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測される場合は、境界の境界強度が以下のように調整される。
・境界強度が２に等しくない場合は、境界強度が１ずつ増分される。
・ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態７：
この実施形態は実施形態４の変形例を表す。
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、この実施形態に従って境界強度が以下のように導出されてよい。
・境界が水平境界であり、且つ、ブロックＰおよびブロックＱが異なるＣＴＵ内に配置される場合は、次のようになる。
・Ｑブロック（Ｑブロックは、Ｐブロックの下に配置されるブロックとして示される）がＣＩＩＰの適用により予測される場合は、境界強度が２に等しく設定される。
・ＱブロックがＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ブロックＱがＣＩＩＰの適用により予測されない場合、および、ブロックＰおよびブロックＱの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定されてよい。
・それ以外の場合（境界が垂直境界である場合、または、ブロックＰおよびブロックＱが同じＣＴＵ内に含まれる場合）：
・ＰブロックまたはＱブロックのうちの少なくとも一方がＣＩＩＰの適用により予測される場合は、境界の境界強度が２に等しく設定される。
・ＰブロックおよびＱブロックの両方がＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックおよびＱブロックの両方がＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定されてよい。
・ＰブロックおよびＱブロックに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態の利益：
多重仮説（ＣＩＩＰ）予測の適用により予測されるブロックのブロック解除フィルタリングは、中強度（１に等しい境界強度）のブロック解除フィルタで実行される。
ブロックがＣＩＩＰの適用により予測される場合は、インター予測の適用により第１予測が取得され、イントラ予測の適用により第２予測が取得され、これらは後で組み合わされる。最終的な予測はイントラ予測の部分を含むため、ＣＩＩＰにより予測されるブロックの境界にブロックアーチファクトが存在する可能性がある。この問題を軽減するために、本開示に従って境界強度を２に設定して、ＣＩＩＰの適用により予測されるブロックエッジのフィルタリングを保証する。
更には、本開示によって、必要とされるラインメモリが以下のように削減される。ラインメモリは、上部のＣＴＵ行に対応するン情報であって、近接する下部のＣＴＵ行の処理中に必要とされる情報の保存に必要なメモリと定義される。例えば、２つのＣＴＵ行間の水平境界をフィルタリングするには、上部のＣＴＵ行の予測モード情報（イントラ予測／インター予測／多重仮説（ＣＩＩＰ）予測）をラインメモリに保存する必要がある。ブロックの予測モードを説明するには３つの状態（イントラ予測／インター予測／多重仮説（ＣＩＩＰ）予測）が考えられるため、ラインメモリの要件がブロックあたり２ビットと定義され得る。
ただし、本開示によれば、ブロック（本実施形態のＰブロック）が上部のＣＴＵ行に属する場合は、ブロック解除操作において、ブロックがインター予測またはイントラ予測のどちらにより予測されるかに関する情報のみが必要とされる（従って、ブロックあたり１ビットを使用して保存され得るのは、２つの状態のみである）。
理由は以下の通りである。
ＰブロックとＱブロックとの間の境界が水平境界である場合、および、ＱブロックおよびＰブロックが２つの異なるＣＴＵに属する（全ての実施形態において、Ｑブロックは、Ｐブロックに対して下部にあるブロックである）場合は、ＰブロックがＣＩＩＰの適用により予測されるかどうかの情報が境界強度の決定において利用されない。従って、これを保存する必要はない。イントラ予測およびＣＩＩＰは相互に排他的であるため、上記の実施形態７の第１条件をチェックするには、Ｐブロックがイントラ予測により予測されるかどうかを判断すれば十分である。
ハードウェア実装における開示の助けを借りると、（ＰブロックがＣＩＩＰにより予測される場合は）Ｐブロックの予測モードをインター予測へと一時的に変更することができ、変更された予測モードに従って境界強度の決定を実行することができる。その後（境界強度の決定後）、予測モードはＣＩＩＰに戻すことができる。なお、ハードウェア実装は、ここに記載の方法（ＣＴＵ境界におけるＰブロックの予測モードの変更）に限定されない。本開示によれば、これは、ＰブロックがＣＩＩＰにより予測されるかどうかの情報が（水平ＣＴＵ境界における）境界強度の決定において必要ではないことを説明するための例として提示されているに過ぎない。
従って、本発明によれば、必要とされるラインメモリは、ブロックあたり２ビットからブロックあたり１ビットに削減される。なお、ハードウェアで実装する必要のあるラインメモリの合計は、画像幅に比例し、最小ブロック幅に反比例する。
実施形態８：
この実施形態は実施形態６の変形例を表す。
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度がこの実施形態に従って以下のように決定されてよい。
・ＰおよびＱのうちの少なくとも一方のブロックが、ＣＩＩＰの適用によってではなく、イントラ予測の適用によって予測される場合は、境界強度が２に等しく設定される。可能性としては、Ｐブロックが多重仮説予測（ＣＩＩＰ）ではなくイントラ予測により予測され、且つ、Ｑブロックが任意の予測関数により予測されることが含まれ、その逆もまた同様である。
・ＰブロックおよびＱブロックがインター予測またはＣＩＩＰの適用により予測される場合（可能性としては、Ｐブロックがインターブロックであり、且つ、Ｑブロックがインターブロックであること、または代替的に、Ｐブロックがインターブロックであり、且つ、ＱブロックがＣＩＩＰブロックであること、または代替的に、ＰブロックがＣＩＩＰブロックであり、且つ、Ｑブロックがインターブロックであること、または代替的に、ＰブロックがＣＩＩＰブロックであり、且つ、ＱブロックがＣＩＩＰブロックであることが含まれる）は、以下が適用されてよい。
・ブロックＰおよびブロックＱのうちの少なくとも一方が非ゼロの変換係数を有する場合は、境界の境界強度が１に等しく設定される。
・それ以外の場合（ブロックＰおよびブロックＱが非ゼロの変換係数を有しない場合）は、ブロックＰおよびブロックＱの予測に使用される動きベクトル間の絶対差が１つの整数ルマサンプルより大きいかそれに等しい場合に、この境界の境界強度が１に等しく設定される。
・それ以外の場合（ブロックＰおよびブロックＱが非ゼロの変換係数を有さず、且つ、動きベクトル間の絶対差が１つの整数ルマサンプルより小さい場合）は、ブロックＰおよびブロックＱが異なる参照画像に基づいて予測されるか、ブロックＰおよびブロックＱの予測に使用される動きベクトルの数が等しくない場合に、この境界の境界強度が１に等しく設定される。これら最後の２つの条件の順序は、図１３に示すように逆にしてよい。
・それ以外の場合（上記３つの条件の全てが偽であると評価された場合）は、この境界の境界強度が０に等しく設定される。
・境界が水平境界であり、且つ、ＰおよびＱが２つの異なるＣＴＵ内に配置される場合は、次のようになる。
・ブロックＱがＣＩＩＰの適用により予測される場合は、決定された境界強度が以下のように修正される。
・境界強度が２に等しくない場合は、境界強度が１ずつ増分される。
・境界が垂直境界である場合、または、ブロックＰおよびブロックＱが同じＣＴＵ内に含まれる場合：
・ブロックＰおよびブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測される場合は、境界の境界強度が以下のように調整される。
・境界強度が２に等しくない場合は、境界強度が１ずつ増分される。
・ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態の利益：
多重仮説予測、すなわち、ＣＩＩＰの適用により予測されるブロックのブロック解除フィルタリングは、中強度（１に等しい境界強度）のブロック解除フィルタで実行される。
ブロックがＣＩＩＰの適用により予測される場合は、インター予測の適用により第１予測が取得され、イントラ予測の適用により第２予測が取得され、これらは後で組み合わされる。最終的な予測はイントラ予測の部分を含むため、ＣＩＩＰにより予測されるブロックの境界にブロックアーチファクトが存在する可能性がある。この問題を軽減するには、本開示に従って境界強度を１増加させて、ＣＩＩＰの適用により予測されるブロックエッジのフィルタリングを保証する。
更には、本開示によって、必要とされるラインメモリが以下のように削減される。ラインメモリは、上部のＣＴＵ行に対応するン情報であって、近接する下部のＣＴＵ行の処理中に必要とされる情報の保存に必要なメモリと定義される。例えば、２つのＣＴＵ行間の水平境界をフィルタリングするには、上部のＣＴＵ行の予測モード情報（イントラ予測／インター予測／多重仮説（ＣＩＩＰ）予測）をラインメモリに保存する必要がある。ブロックの予測モードを説明するには３つの状態（イントラ予測／インター予測／多重仮説（ＣＩＩＰ）予測）が考えられるため、ラインメモリの要件がブロックあたり２ビットと定義され得る。
ただし、本開示によれば、ブロック（本実施形態のＰブロック）が上部のＣＴＵ行に属する場合は、ブロック解除操作において、ブロックがインター予測またはイントラ予測のどちらにより予測されるかに関する情報のみが必要とされる（従って、ブロックあたり１ビットを使用して保存され得るのは、２つの状態のみである）。
理由は以下の通りである。
ＰブロックとＱブロックとの間の境界が水平境界である場合、および、ＰブロックおよびＱブロックが２つの異なるＣＴＵに属する（全ての実施形態において、Ｑブロックは、Ｐブロックに対して下部にあるブロックである）場合は、ＰブロックがＣＩＩＰの適用により予測されるかどうかの情報が境界強度の決定において利用されない。従って、これを保存する必要はない。イントラ予測およびＣＩＩＰは相互に排他的であるため、上記の実施形態８の第１条件をチェックするには、Ｐブロックがイントラ予測により予測されるかどうかを判断すれば十分である。
ハードウェア実装における開示の助けを借りると、（ＰブロックがＣＩＩＰにより予測される場合は）Ｐブロックの予測モードをインター予測へと一時的に変更することができ、変更された予測モードに従って境界強度の決定を実行することができる。その後（境界強度の決定後）、予測モードはＣＩＩＰに戻すことができる。なお、ハードウェア実装は、ここに記載の方法（ＣＴＵ境界におけるＰブロックの予測モードの変更）に限定されない。本開示によれば、これは、ＰブロックがＣＩＩＰにより予測されるかどうかの情報が（水平ＣＴＵ境界における）境界強度の決定において必要ではないことを説明するための例として提示されているに過ぎない。
従って、本開示によれば、必要とされるラインメモリは、ブロックあたり２ビットからブロックあたり１ビットに削減される。なお、ハードウェアで実装する必要のあるラインメモリの合計は、画像幅に比例し、最小ブロック幅に反比例する。
なお、全ての上記の実施形態によれば、ブロックがＣＩＩＰの適用により予測される場合は、インター予測の適用により第１予測が取得され、イントラ予測の適用により第２予測が取得され、これらは後で組み合わされる。
上記の実施形態は、ＣＩＩＰブロックが、ブロック解除フィルタを実行するときに異なる程度までイントラブロックと見なされることを示す。実施形態１、２、および３では、３つの異なる方策を使用して境界の境界強度を調整する。
実施形態１では、ＣＩＩＰブロックが完全にイントラブロックと見なされる。従って、Ｂｓを２に設定する条件は表１と同じである。
実施形態２では、ＣＩＩＰブロックに起因する歪みがイントラブロックに起因するものほど高くはないと見なされる。従って、境界でＣＩＩＰブロックが検出された場合は、Ｂｓが１と見なされる。
実施形態３では、ＣＩＩＰブロックが部分的にイントラブロックと見なされ、境界の少なくとも１つの隣接ブロックがＣＩＩＰブロックである場合に、Ｂｓが１増加する。図１３の従来の導出方策を使用してＢｓが既に２である場合は、Ｂｓが変更されない。
図１１は、上述の参照によるＶＶＣドラフト３．０におけるＢｓの導出を示す。図１２、１４、および１５は、実施形態１、２、および３のＢｓの導出に対する変更点をそれぞれ描写している。
実施形態１および２の場合に、潜在的な歪みだけでなく処理論理も低減されることは注目に値する。実施形態１および２では、ＰブロックまたはＱブロックがＣＩＩＰブロックである限り、係数および動きベクトルのチェックが必要なくなるため、条件チェックの待ち時間が短縮される。
実施形態４、５および６は、ラインバッファメモリが考慮される実施形態１、２、および３のそれぞれの変形例である。実施形態１、２、および３に対する主な変更点は、ＰブロックおよびＱブロックが異なるＣＴＵ内に配置され、且つ、エッジが水平である場合に、ＣＩＩＰブロックのチェックが非対称的に実行されることである。つまり、Ｐ側のブロック（すなわち、上）がチェックされず、Ｑ側のブロック（すなわち、下）のみがチェックされる。このように、別のＣＴＵ内に配置されるＰ側のブロックのＣＩＩＰフラグを保存するために、更なるラインバッファメモリは割り当てられない。
上記６つの実施形態に加えて、ＣＩＩＰブロックの１つの更なる特徴は、ＣＩＩＰブロックを一貫してイントラブロックと見なす必要がないことであってよい。一例では、現在のブロックの動きベクトル予測因子を検索するときに、その近接ブロックがＣＩＩＰブロックである場合は、これらのＣＩＩＰブロックの動きベクトルを動きベクトル予測因子と見なすことができる。この場合は、ＣＩＩＰブロックのインター予測情報が使用されるため、ＣＩＩＰブロックがイントラブロックと見なされなくなる。別の例では、イントラブロックのＭＰＭリストを構築するときに、現在のブロックの近接ＣＩＩＰブロックを、イントラ情報を含まないものと見なすことができる。従って、現在のブロックのＭＰＭリスト構築にこれらのＣＩＩＰブロックを利用できるかどうかをチェックするときに、それらは利用できないものとしてラベル付けされる。なお、この段落で言及するＣＩＩＰブロックは、ブロック解除フィルタのＢｓ値を決定するために使用されるＣＩＩＰブロックだけに限定されない。
上記６つの実施形態に加えて、ＣＩＩＰブロックの１つの更なる特徴は、ＭＨブロックが一貫してイントラブロックと見なされることであってよい。一例では、現在のブロックの動きベクトル予測因子を検索するときに、その近接ブロックがＣＩＩＰブロックである場合は、これらのＣＩＩＰブロックの動きベクトルが動きベクトル予測因子から除外される。この場合は、ＣＩＩＰブロックのインター予測情報が使用されないため、ＣＩＩＰブロックがイントラブロックと見なされる。別の例では、イントラブロックのＭＰＭリストを構築するときに、現在のブロックの近接ＣＩＩＰブロックを、イントラ情報を含むものと見なすことができる。従って、現在のブロックのＭＰＭリスト構築にこれらのＣＩＩＰブロックを利用できるかどうかをチェックするときに、それらは利用可能なものとしてラベル付けされる。なお、この段落で言及するＣＩＩＰブロックは、ブロック解除フィルタのＢｓ値を決定するために使用されるＣＩＩＰブロックだけに限定されない。
実施形態９：
一例では、ＣＩＩＰブロックの境界の境界強度（Ｂｓ）が値２に設定されてよいが、ＣＩＩＰブロック内のサブブロックの境界の境界強度は値１に設定されてよい。サブブロックの境界が８×８サンプルグリッドと位置合わせされていない場合は、係るエッジの境界強度が値０に設定されてよい。図１６または図１７には、８×８グリッドが示されている。図１６は、ＣＵの左上のサンプルから開始する８×８サンプルグリッドを示し、図１７は、ＣＵの左上のサンプルから開始しない８×８サンプルグリッドを示す。
別の例では、エッジの境界強度が以下のように決定されてよい。
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度がこの例に従って以下のように導出されてよい。
・境界が水平境界であり、且つ、ブロックＰおよびブロックＱが異なるＣＴＵ内に配置される場合は、次のようになる。
・Ｑブロック（Ｑブロックは、Ｐブロックの下に配置されるブロックとして示される）がＣＩＩＰの適用により予測される場合は、境界強度が２に等しく設定される。
・ＱブロックがＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＱブロックがＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定されてよい。
・それ以外の場合（ＰおよびＱがＣＩＩＰブロック内の２つのサブブロックに対応する場合、すなわち、目標境界がＣＩＩＰブロック内のサブブロック境界である場合）：
・サブブロック境界が８×８グリッドと位置合わせされている場合は、境界強度を値１に設定する。
・それ以外の場合（サブブロック境界が８×８グリッドと位置合わせされていない場合）は、境界強度を値０に設定する。
・それ以外の場合（境界が垂直境界である場合、または、ブロックＰおよびブロックＱが同じＣＴＵ内に含まれ、且つ、ＰおよびＱが同じＣＩＩＰブロック内にない場合）：
・ブロックＰまたはブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測される場合は、境界の境界強度パラメータが２に等しく設定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ブロックＰおよびブロックＱの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定されてよい。
・ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
別の例では、ＣＩＩＰブロックの境界の境界強度（Ｂｓ）が値２に設定されてよいが、ＣＩＩＰブロック内のサブブロックの境界の境界強度は値１に設定されてよい。サブブロックの境界が４×４サンプルグリッドと位置合わせされていない場合は、係るエッジの境界強度が値０に設定されてよい。図１８には、４×４グリッドが示されている。
別の例では、エッジの境界強度が以下のように決定されてよい。
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度がこの例に従って以下のように導出されてよい。
・境界が水平境界であり、且つ、ブロックＰおよびブロックＱが異なるＣＴＵ内に配置される場合は、次のようになる。
・Ｑブロック（Ｑブロックは、Ｐブロックの下に配置されるブロックとして示される）がＣＩＩＰの適用により予測される場合は、境界強度が２に等しく設定される。
・ＱブロックがＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＱブロックがＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定される。
・それ以外の場合（ＰおよびＱがＣＩＩＰブロック内の２つのサブブロックに対応する、すなわち、目標境界がＣＩＩＰブロック内のサブブロック境界である場合）：
・サブブロック境界が４×４グリッドと位置合わせされている場合は、境界強度を値１に設定する。
・それ以外の場合（サブブロック境界が４×４グリッドと位置合わせされていない場合）は、境界強度を値０に設定する。
・それ以外の場合（境界が垂直境界である場合、または、ＰブロックおよびＱブロックが同じＣＴＵ内に含まれ、且つ、ＰおよびＱが同じＣＩＩＰブロック内にない場合）：
・ＰブロックまたはＱブロックのうちの少なくとも一方がＣＩＩＰの適用により予測される場合は、境界の境界強度が２に等しく設定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定される。
・ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態１０（ラインバッファの制約なし）：
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、この実施形態に従って境界強度が以下のように導出されてよい。
・ブロックＰまたはブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内にない場合は、境界の境界強度が２に等しく設定される。
・ブロックＰおよびブロックＱの両方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内にある場合は、次のようになる。
・サブブロック境界が８×８グリッドと位置合わせされている場合は、境界強度が値１に設定される。
・それ以外の場合（サブブロック境界が８×８グリッドと位置合わせされていない場合）は、境界強度が値０に設定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定されてよい。
ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態１１（ラインバッファの制約なし、８×８グリッドとのＣＩＩＰ位置合わせ）：
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、この実施形態に従って境界強度が以下のように導出されてよい。
・ブロックＰまたはブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内になく、且つ、境界が８×８グリッドと位置合わせされている場合は、境界の境界強度が２に等しく設定される。
・ブロックＰおよびブロックＱの両方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内にある場合は、次のようになる。
・サブブロック境界が８×８グリッドと位置合わせされている場合は、境界強度を値１に設定する。
・それ以外の場合（サブブロック境界が８×８グリッドと位置合わせされていない場合）は、境界強度を値０に設定する。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定されてよい。
・ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態１２（ラインバッファの制約なし、ＴＵサイズの制約、ＣＩＩＰ境界についても８×８グリッド位置合わせ）：
一例では、ＣＩＩＰブロックの境界の境界強度（Ｂｓ）が値２に設定されてよいが、ＣＩＩＰブロック内のサブブロックの境界の境界強度は、（図８に示すような）ＴＵサイズの制限に起因するサブブロックを除いて、値１に設定されてよい。境界がＴＵ境界であり、且つ、その近接するＰブロックおよびＱブロックが同じＣＩＩＰブロックに属する場合は、境界の境界強度が２に設定される。サブブロックの境界またはＣＩＩＰブロック（ＣＩＩＰブロックサイズは８×８より小さくてよい）の境界が８×８サンプルグリッドと位置合わせされていない場合は、係るエッジの境界強度が値０に設定されてよい。図１６または図１７には、８×８グリッドが示されている。図１６は、ＣＵの左上のサンプルから開始する８×８サンプルグリッドを示し、図１７は、ＣＵの左上のサンプルから開始しない８×８サンプルグリッドを示す。
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度がこの例に従って以下のように導出されてよい。
・ブロックＰまたはブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内になく、且つ、境界が８×８グリッドと位置合わせされている場合は、境界の境界強度が２に等しく設定される。
・ブロックＰおよびブロックＱの両方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内にある場合は、次のようになる。
・サブブロック境界が８×８グリッドと位置合わせされている場合は、サブブロックＰまたはサブブロックＱのうちの少なくとも一方のサイズが最大許容ＴＵサイズに等しいときに、境界強度を値２に設定する。
・サブブロック境界が８×８グリッドと位置合わせされている場合は、サブブロックＰまたはサブブロックＱのどちらのサイズも最大許容ＴＵサイズに等しくないときに、境界強度を値１に設定する。
・それ以外の場合（サブブロック境界が８×８グリッドと位置合わせされていない場合）は、境界強度を値０に設定する。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定されてよい。
ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態１３（ラインバッファの制約なし、ＴＵサイズの制約、ＣＩＩＰサブブロック境界についてのみ８×８グリッド位置合わせ）：
一例では、ＣＩＩＰブロックの境界の境界強度（Ｂｓ）が値２に設定されてよいが、ＣＩＩＰブロック内のサブブロックの境界の境界強度は、（図８に示すような）ＴＵサイズの制限に起因するサブブロックを除いて、値１に設定されてよい。境界がＴＵ境界であり、且つ、その近接するＰブロックおよびＱブロックが同じＣＩＩＰブロックに属する場合は、境界の境界強度が２に設定される。ＣＩＩＰブロックのサブブロックの境界が８×８サンプルグリッドと位置合わせされていない場合は、係るエッジの境界強度が値０に設定されてよい。図１６または図１７には、８×８グリッドが示されている。図１６は、ＣＵの左上のサンプルから開始する８×８サンプルグリッドを示し、図１７は、ＣＵの左上のサンプルから開始しない８×８サンプルグリッドを示す。
２つの側を有する境界（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示される）の場合は、境界強度がこの例に従って以下のように導出されてよい。
・ブロックＰまたはブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰ内にない場合は、境界の境界強度が２に等しく設定される。
・ブロックＰおよびブロックＱの両方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内にある場合は、次のようになる。
・サブブロック境界が８×８グリッドと位置合わせされている場合は、サブブロックＰまたはサブブロックＱのうちの少なくとも一方のサイズが最大許容ＴＵサイズに等しいときに、境界強度を値２に設定する。
・サブブロック境界が８×８グリッドと位置合わせされている場合は、サブブロックＰまたはサブブロックＱのどちらのサイズも最大許容ＴＵサイズに等しくないときに、境界強度を値１に設定する。
・それ以外の場合（サブブロック境界が８×８グリッドと位置合わせされていない場合）は、境界強度を値０に設定する。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定される。
ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態１４（ＴＵ変換エッジ、ＣＩＩＰサブブロックについてのみ８×８グリッド位置合わせ）：
一例では、ＣＩＩＰブロックの境界または変換ユニットの境界の境界強度（Ｂｓ）が値２に設定されてよいが、ＣＩＩＰブロック内のサブブロックの境界の境界強度は値１に設定されてよい。サブブロックの境界または変換ユニットの境界またはＣＩＩＰブロックの境界が８×８サンプルグリッドと位置合わせされていない場合は、係るエッジの境界強度が値０に設定されてよい。例えば、８×８グリッドを、図１６または図１７に示すようなものにすることができる。図１６は、ＣＵの左上のサンプルから開始する８×８サンプルグリッドを示し、図１７は、ＣＵの左上のサンプルから開始しない８×８サンプルグリッドを示す。
２つの側を有する境界の場合（それぞれの側の空間的に隣接するブロックは、ＰブロックおよびＱブロックとして示され、当該境界は、８×８グリッドと位置合わせされている）は、この実施形態に従って境界強度が以下のように導出されてよい。
・ＰブロックまたはＱブロックのうちの少なくとも一方がイントラ予測の適用により予測される場合は、境界強度が２に等しいと決定される。
・それ以外の場合は、ブロックＰまたはブロックＱのうちの少なくとも一方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内にない場合に、境界の境界強度パラメータが２に等しく設定される。
・それ以外の場合は、ブロックＰおよびブロックＱの両方がＣＩＩＰの適用により予測され、且つ、ブロックＰおよびブロックＱが同じＣＩＩＰブロック内にある場合、すなわち、サブブロック境界の場合に、次のようになる。
・サブブロック境界が変換ユニットと位置合わせされている場合は、サブブロック境界の境界強度を値２に設定する。
・それ以外の場合は、サブブロック境界の境界強度を値１に設定する。
・ＰブロックもＱブロックもＣＩＩＰの適用により予測されない場合、および、ＰブロックおよびＱブロックの両方がインター予測の適用により予測される場合は、境界強度が２より小さいと決定される。境界強度の正確な値は、図１３に示すものなどの更なる条件付き評価に従って決定される。
ブロックＰおよびブロックＱに含まれる画素サンプルは、決定された境界強度に従ってブロック解除フィルタを適用することによりフィルタリングされる。
実施形態１５：
別の例では、本開示に係る境界強度を決定するプロセスが、上述の参照によるＶＶＣドラフト３．０で使用されているような擬似コード言語で以下のように説明されてよい。
このプロセスへの入力：
・画像サンプルアレイｒｅｃＰｉｃｔｕｒｅ
・現在の画像の左上のサンプルに対する現在のコーディングブロックの左上のサンプルを指定する場所（ｘＣｂ、ｙＣｂ）
・現在のコーディングブロックの幅を指定する変数ｎＣｂＷ
・現在のコーディングブロックの高さを指定する変数ｎＣｂＨ
・垂直（ＥＤＧＥ＿ＶＥＲ）エッジまたは水平（ＥＤＧＥ＿ＨＯＲ）エッジのどちらがフィルタリングされるかを指定する変数ｅｄｇｅＴｙｐｅ
・二次元（ｎＣｂＷ）×（ｎＣｂＨ）アレイｅｄｇｅＦｌａｇ
このプロセスの出力は、境界フィルタリング強度を指定する二次元（ｎＣｂＷ）×（ｎＣｂＨ）アレイｂＳである。
変数ｘＤｉ、ｙＤｊ、ｘＮ、およびｙＮは、以下のように導出される。
・ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＶＥＲに等しい場合は、ｘＤｉが（ｉ＜＜３）に等しく設定され、ｙＤｊが（ｊ＜＜２）に等しく設定され、ｘＮがＭａｘ（０，（ｎＣｂＷ／８）－１）に等しく設定され、ｙＮが（ｎＣｂＨ／４）－１に等しく設定される。
・それ以外の（ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＨＯＲに等しい）場合は、ｘＤｉが（ｉ＜＜２）に等しく設定され、ｙＤｊが（ｊ＜＜３）に等しく設定され、ｘＮが（ｎＣｂＷ／４）－１に等しく設定され、ｙＮがＭａｘ（０，（ｎＣｂＨ／８）－１）に等しく設定される。
ｉ＝０．．ｘＮであるｘＤｉ、およびｊ＝０．．ｙＮであるｙＤｊの場合は、以下が適用される。
・ｅｄｇｅＦｌａｇ［ｘＤｉ］［ｙＤｊ］が０に等しい場合は、変数ｂＳ［ｘＤｉ］［ｙＤｊ］が０に等しく設定される。
・それ以外の場合は、以下が適用される。
・サンプル値ｐ０およびサンプル値ｑ０は以下のように導出される。
・ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＶＥＲに等しい場合は、ｐ０がｒｅｃＰｉｃｔｕｒｅ［ｘＣｂ＋ｘＤｉ－１］［ｙＣｂ＋ｙＤｊ］に等しく設定され、ｑ０がｒｅｃＰｉｃｔｕｒｅ［ｘＣｂ＋ｘＤｉ］［ｙＣｂ＋ｙＤｊ］に等しく設定される。
・それ以外の（ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＨＯＲに等しい）場合は、ｐ０がｒｅｃＰｉｃｔｕｒｅ［ｘＣｂ＋ｘＤｉ］［ｙＣｂ＋ｙＤｊ－１］に等しく設定され、ｑ０がｒｅｃＰｉｃｔｕｒｅ［ｘＣｂ＋ｘＤｉ］［ｙＣｂ＋ｙＤｊ］に等しく設定される。
・変数ｂＳ［ｘＤｉ］［ｙＤｊ］は以下のように導出される。
・サンプルｐ０またはサンプルｑ０が、イントラ予測モードでコーディングされたコーディングユニットのコーディングブロック内にある場合は、ｂＳ［ｘＤｉ］［ｙＤｊ］が２に等しく設定される。
・それ以外の場合は、ブロックエッジが変換ブロックエッジでもあり、且つ、サンプルｐ０またはサンプルｑ０のｃｉｉｐ＿ｆｌａｇが１に等しい場合に、ｂＳ［ｘＤｉ］［ｙＤｊ］が２に等しく設定される。
・それ以外の場合は、サンプルｐ０またはサンプルｑ０のｃｉｉｐ＿ｆｌａｇが１に等しい場合に、ｂＳ［ｘＤｉ］［ｙＤｊ］が１に等しく設定される。
・それ以外の場合は、ブロックエッジが変換ブロックエッジでもあり、且つ、サンプルｐ０またはサンプルｑ０が、１または複数の非ゼロの変換係数レベルを含む変換ブロック内にある場合に、ｂＳ［ｘＤｉ］［ｙＤｊ］が１に等しく設定される。
・それ以外の場合は、以下の条件のうちの１または複数が真である場合に、ｂＳ［ｘＤｉ］［ｙＤｊ］が１に等しく設定される。
・サンプルｐ０を含むコーディングサブブロックの予測には、サンプルｑ０を含むコーディングサブブロックの予測とは異なる参照画像または異なる数の動きベクトルが使用される。
注１：２つのコーディングサブブロックに使用される参照画像が同じであるか、異なるかの判断は、参照画像リスト０へのインデックスまたは参照画像リスト１へのインデックスのどちらを使用して予測が実行されるかどうかに関係なく、且つ、参照画像リスト内のインデックス位置が異なるかどうかにも関係なく、どの画像が参照されるかにのみ基づく。
注２：左上のサンプルカバー（ｘＳｂ，ｙＳｂ）を有するコーディングサブブロックの予測に使用される動きベクトルの数は、ＰｒｅｄＦｌａｇＬ０［ｘＳｂ］［ｙＳｂ］＋ＰｒｅｄＦｌａｇＬ１［ｘＳｂ］［ｙＳｂ］に等しい。
・サンプルｐ０を含むコーディングサブブロックの予測には、１つの動きベクトルが使用され、サンプルｑ０を含むコーディングサブブロックの予測には、１つの動きベクトルが使用され、使用される動きベクトルの水平成分間または垂直成分間の絶対差は、１／４ルマサンプルの単位で４より大きいかそれに等しい。
・サンプルｐ０を含むコーディングサブブロックの予測には、２つの動きベクトルおよび２つの異なる参照画像が使用され、サンプルｑ０を含むコーディングサブブロックの予測には、同じ２つの参照画像に対する２つの動きベクトルが使用され、同じ参照画像に対する２つのコーディングサブブロックの予測で使用される２つの動きベクトルの水平成分間または垂直成分間の絶対差は、１／４ルマサンプルの単位で４より大きいかそれに等しい。
・サンプルｐ０を含むコーディングサブブロックの予測には、同じ参照画像に対する２つの動きベクトルが使用され、サンプルｑ０を含むコーディングサブブロックの予測には、同じ参照画像に対する２つの動きベクトルが使用され、以下の条件はどちらも真である。
・２つのコーディングサブブロックの予測で使用されるリスト０の動きベクトルの水平成分間または垂直成分間の絶対差は、１／４ルマサンプルの単位で４より大きいかそれに等しい、または、２つのコーディングサブブロックの予測で使用されるリスト１の動きベクトルの水平成分間または垂直成分間の絶対差は、１／４ルマサンプルの単位で４より大きいかそれに等しい。
・サンプルｐ０を含むコーディングサブブロックの予測で使用されるリスト０の動きベクトルと、サンプルｑ０を含むコーディングサブブロックの予測で使用されるリスト１の動きベクトルとの水平成分間または垂直成分間の絶対差は、１／４ルマサンプルの単位で４より大きいかそれに等しい、または、サンプルｐ０を含むコーディングサブブロックの予測で使用されるリスト１の動きベクトルと、サンプルｑ０を含むコーディングサブブロックの予測で使用されるリスト０の動きベクトルとの水平成分間または垂直成分間の絶対差は、１／４ルマサンプルの単位で４より大きいかそれに等しい。
・それ以外の場合は、変数ｂＳ［ｘＤｉ］［ｙＤｊ］が０に等しく設定される。
本発明の複数の実施形態が主にビデオコーディングに基づいて説明されてきたが、コーディングシステム１０、エンコーダ２０、およびデコーダ３０（および、それに応じてシステム１０）の実施形態、並びに、本明細書に記載の他の実施形態が、静止画像の処理またはコーディング、すなわち、ビデオコーディングにおけるような任意の前の画像または連続する画像から独立した個々の画像の処理またはコーディングのために構成されてもよいことに留意されたい。一般に、画像処理コーディングが単一の画像１７に限定される場合は、インター予測ユニット２４４（エンコーダ）およびインター予測ユニット３４４（デコーダ）のみが利用できないことがある。ビデオエンコーダ２０およびビデオデコーダ３０の他の全ての機能（ツールまたは技術とも呼ばれる）が、静止画像の処理、例えば、残差計算２０４／３０４、変換２０６、量子化２０８、逆量子化２１０／３１０、（逆）変換２１２／３１２、区分化２６２／３６２、イントラ予測２５４／３５４、および／またはループフィルタリング２２０、３２０、並びにエントロピコーディング２７０およびエントロピ復号３０４に等しく使用されてよい。
例えば、エンコーダ２０およびデコーダ３０の実施形態と、例えば、エンコーダ２０およびデコーダ３０を参照しながら本明細書に記載されている機能とが、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されてよい。これらの機能は、ソフトウェアで実装される場合に、コンピュータ可読媒体上に保存されるか、通信媒体を介して１または複数の命令またはコードとして伝送され、ハードウェアベースの処理ユニットにより実行されてよい。
コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、例えば、通信プロトコルに従ってコンピュータプログラムを一箇所から別の箇所に転送し易くする任意の媒体を含む通信媒体を含んでよい。このように、コンピュータ可読媒体は概して、（１）非一時的な有形コンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応してよい。データ記憶媒体は、本開示に記載の技術を実装するための命令、コード、および／またはデータ構造を取得するために、１または複数のコンピュータ、または、１または複数のプロセッサによりアクセスされ得る任意の利用可能な媒体であってよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでよい。
限定ではなく例として、係るコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、または、所望のプログラムコードを命令またはデータ構造の形式で保存するために使用でき、且つ、コンピュータがアクセスできる、任意の他の媒体を含むことができる。また、接続はいずれも、厳密にはコンピュータ可読媒体と呼ばれる。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または、赤外線、ラジオ、およびマイクロ波などの無線技術を使用して、ウェブサイト、サーバ、または他のリモートソースから命令が伝送される場合は、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または、赤外線、ラジオ、およびマイクロ波などの無線技術が媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まないが、代わりに、非一時的な有形記憶媒体を対象にすることを理解されたい。本明細書で使用されるようなディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、およびブルーレイディスクを含み、ディスク（ｄｉｓｋ）は通例、データを磁気的に再生するものであり、ディスク（ｄｉｓｃ）は、データをレーザで光学的に再生するものである。上記の組み合わせは、コンピュータ可読媒体の範囲内にも含まれるべきである。
命令は、１または複数のプロセッサ、例えば、１または複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の集積回路またはディスクリート論理回路により実行されてよい。結果的に、本明細書で使用されているような「プロセッサ」という用語は、前述の構造のいずれか、または、本明細書に記載の技術を実装するのに適した任意の他の構造を指すことがある。加えて、幾つかの態様では、本明細書に記載の機能が、符号化および復号のために構成される専用のハードウェアモジュールおよび／またはソフトウェアモジュール内に提供されても、組み合わされたコーデックに組み込まれてもよい。また、これらの技術は、１または複数の回路または論理要素で完全に実装され得る。
本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、または一組のＩＣ（例えば、チップセット）を含む多種多様なデバイスまたは装置で実装されてよい。本開示では、開示されている技術を実行するように構成されるデバイスの機能的側面を強調するために、様々な構成要素、モジュール、またはユニットについて説明しているが、必ずしも異なるハードウェアユニットによる実現は必要とされない。むしろ、上記のように、様々なユニットが、コーデックハードウェアユニットに組み合わされてもよいし、最適なソフトウェアおよび／またはファームウェアと併せて、上記のような１または複数のプロセッサを含む相互運用ハードウェアユニットの集合により提供されてもよい。
［他の考えられる項目］
（項目１）
コーディングの方法であって、上記コーディングは復号または符号化を含み、上記方法は、
現在のコーディングユニットがインター／イントラ予測の組み合わせ（ＣＩＩＰ）の適用により予測されるかどうかを判断する段階と、
上記現在のコーディングユニットがＣＩＩＰの適用により予測されると判断した場合に、上記現在のコーディングユニットの境界の境界強度を第１の値に設定する段階と
を備える、方法。
（項目２）
上記第１の値は１から２の範囲にある、項目１に記載の方法。
（項目３）
上記第１の値は２である、項目１または２に記載の方法。
（項目４）
上記第１の値は１である、項目１または２に記載の方法。
（項目５）
上記現在のコーディングユニット、および、上記現在のコーディングユニットの上記境界に隣接する隣接コーディングユニットのうちの少なくとも一方が非ゼロの変換係数を有する、
上記現在のコーディングユニットおよび上記隣接コーディングユニットの予測に使用される動きベクトル間の絶対差が１つの整数サンプルより大きいかそれに等しい、
上記現在のコーディングユニットおよび上記隣接コーディングユニットが異なる参照画像に基づいて予測される、
上記現在のコーディングユニットおよび上記隣接コーディングユニットの予測に使用される動きベクトルの数が異なる、
という条件のうちの１つが成立すると判断した場合に、上記第１の値を１ずつ増分する段階
を更に備える項目４に記載の方法。
（項目６）
上記現在のコーディングユニットの上記境界が水平エッジである場合に、上記現在のコーディングユニットの上記境界に隣接する隣接コーディングユニットが異なるコーディングツリーユニット（ＣＴＵ）内にあるかどうかを判断する段階
を更に備える項目１から５のいずれか一項に記載の方法。
（項目７）
サブコーディングユニットの境界の境界強度を第２の値に設定する段階であって、上記現在のコーディングユニットは少なくとも２つのサブコーディングユニットを含み、上記サブコーディングユニットの上記境界は上記少なくとも２つのサブコーディングユニット間の境界である、設定する段階
を更に備える項目１から６のいずれか一項に記載の方法。
（項目８）
上記第２の値は１である、項目７に記載の方法。
（項目９）
上記サブコーディングユニットの上記境界が変換ユニットのエッジである場合は、上記第２の値が上記第１の値に等しい、項目７または８に記載の方法。
（項目１０）
上記サブコーディングユニットの上記境界が変換ユニットのエッジでない場合は、上記第２の値が上記第１の値と異なる、項目７または８に記載の方法。
（項目１１）
上記現在のコーディングユニットの上記境界が８×８グリッドと位置合わせされているかどうかを判断する段階と、
上記現在のコーディングユニットの上記境界が上記８×８グリッドと位置合わせされていないと判断した場合に、上記現在のコーディングユニットの上記境界の上記境界強度を０に設定する段階と
を更に備える項目１から１０のいずれか一項に記載の方法。
（項目１２）
上記サブコーディングユニットの上記境界がサブグリッドと位置合わせされているかどうかを判断する段階であって、上記サブグリッドは４×４グリッドまたは８×８グリッドである、判断する段階と、
上記サブコーディングユニットの上記境界が上記サブグリッドと位置合わせされていないと判断した場合に、上記サブコーディングユニットの上記境界の上記境界強度を０に設定する段階と
を更に備える項目７から１０のいずれか一項に記載の方法。
（項目１３）
上記境界の上記境界強度が０より大きい場合に、ルマ成分について境界に対するブロック解除を実行する段階
を更に備える項目１から１２のいずれか一項に記載の方法。
（項目１４）
上記境界の上記境界強度が１より大きい場合に、クロマ成分について境界に対するブロック解除を実行する段階
を更に備える項目１から１３のいずれか一項に記載の方法。
（項目１５）
上記現在のコーディングユニットがＣＩＩＰの適用により予測される場合は、上記現在のコーディングユニットが、ブロック解除を実行するときに、イントラ予測を伴うコーディングユニットと見なされる、項目１から１４のいずれか一項に記載の方法。
（項目１６）
項目１から１５のいずれか一項に記載の方法を実行するための処理回路を備えるエンコーダ（２０）。
（項目１７）
項目１から１５のいずれか一項に記載の方法を実行するための処理回路を備えるデコーダ（３０）。
（項目１８）
命令を備えるコンピュータプログラム製品であって、上記プログラムがコンピュータにより実行されると、項目１から１５のいずれか一項に記載の方法を上記コンピュータに実行させる、コンピュータプログラム製品。
（項目１９）
デコーダ（３０）であって、
１または複数のプロセッサと、
上記１または複数のプロセッサに結合され、且つ、上記１または複数のプロセッサにより実行される命令を保存する、非一時的コンピュータ可読記憶媒体であって、上記命令は、上記１または複数のプロセッサにより実行されると、項目１から１５のいずれか一項に記載の方法を実行するように上記デコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるデコーダ。
（項目２０）
エンコーダ（２０）であって、
１または複数のプロセッサと、
上記１または複数のプロセッサに結合され、且つ、上記１または複数のプロセッサにより実行される命令を保存する、非一時的コンピュータ可読記憶媒体であって、上記命令は、上記１または複数のプロセッサにより実行されると、項目１から１５のいずれか一項に記載の方法を実行するように上記エンコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるエンコーダ。

Claims (20)

  1. コーディングの方法であって、前記コーディングは復号または符号化を含み、前記方法は、
    現在のコーディングユニットの境界が水平エッジであり、且つ、前記現在のコーディングユニットの前記境界に隣接する隣接コーディングユニットが異なるコーディングツリーユニット（ＣＴＵ）内にあるかどうかを判断する段階と、
    前記現在のコーディングユニットの前記境界が水平エッジであり、且つ、前記隣接コーディングユニットが前記異なるＣＴＵ内にある場合、前記現在のコーディングユニットがインター／イントラ予測の組み合わせ（ＣＩＩＰ）の適用により予測されるかどうかを判断する段階と、
    前記現在のコーディングユニットがＣＩＩＰの適用により予測されると判断した場合に、前記現在のコーディングユニットの前記境界の境界強度を第１の値に設定する段階と、
    前記現在のコーディングユニットが前記ＣＩＩＰの適用により予測されないと判断した場合、前記現在のコーディングユニットの前記境界が、変換ブロックのエッジであり、且つ、前記変換ブロックが１つまたは複数の非ゼロの変換係数レベルを有するかどうかを判断する段階と、
    前記現在のコーディングユニットの前記境界が、変換ブロックのエッジであり、且つ、前記変換ブロックが１つまたは複数の非ゼロの変換係数レベルを有すると判断した場合、前記現在のコーディングユニットの前記境界の前記境界強度を第２の値に設定する段階と、
    前記現在のコーディングユニットの前記境界が水平エッジではなく、且つ、前記隣接コーディングユニットが前記異なるＣＴＵ内にない場合、前記現在のコーディングユニットの前記境界が垂直境界である場合に、前記現在のコーディングユニットおよび前記隣接コーディングユニットのうちの少なくとも一方が前記ＣＩＩＰの適用により予測される場合に前記境界の前記境界強度を前記第２の値に設定する段階と
    を備える、方法。
  2. 前記第１の値は１から２の範囲にある、請求項１に記載の方法。
  3. 前記第１の値は２である、請求項１または２に記載の方法。
  4. 前記第１の値は１である、請求項１または２に記載の方法。
  5. 前記現在のコーディングユニット、および、前記現在のコーディングユニットの前記境界に隣接する隣接コーディングユニットのうちの少なくとも一方が非ゼロの変換係数を有する、
    前記現在のコーディングユニットおよび前記隣接コーディングユニットの予測に使用される動きベクトル間の絶対差が１つの整数サンプルより大きいかそれに等しい、
    前記現在のコーディングユニットおよび前記隣接コーディングユニットが異なる参照画像に基づいて予測される、
    前記現在のコーディングユニットおよび前記隣接コーディングユニットの予測に使用される動きベクトルの数が異なる、
    という条件のうちの１つが成立すると判断した場合に、前記第１の値を１ずつ増分する段階
    を更に備える請求項４に記載の方法。
  6. サブコーディングユニットの境界の境界強度を第３の値に設定する段階であって、前記現在のコーディングユニットは少なくとも２つのサブコーディングユニットを含み、前記サブコーディングユニットの前記境界は前記少なくとも２つのサブコーディングユニット間の境界である、設定する段階
    を更に備える請求項１から５のいずれか一項に記載の方法。
  7. 前記第３の値は１である、請求項６に記載の方法。
  8. 前記サブコーディングユニットの前記境界が変換ユニットのエッジである場合は、前記第３の値が前記第１の値に等しい、請求項６または７に記載の方法。
  9. 前記サブコーディングユニットの前記境界が変換ユニットのエッジでない場合は、前記第３の値が前記第１の値と異なる、請求項６または７に記載の方法。
  10. 前記現在のコーディングユニットの前記境界が８×８グリッドと位置合わせされているかどうかを判断する段階と、
    前記現在のコーディングユニットの前記境界が前記８×８グリッドと位置合わせされていないと判断した場合に、前記現在のコーディングユニットの前記境界の前記境界強度を０に設定する段階と
    を更に備える請求項１から９のいずれか一項に記載の方法。
  11. 前記サブコーディングユニットの前記境界がサブグリッドと位置合わせされているかどうかを判断する段階であって、前記サブグリッドは４×４グリッドまたは８×８グリッドである、判断する段階と、
    前記サブコーディングユニットの前記境界が前記サブグリッドと位置合わせされていないと判断した場合に、前記サブコーディングユニットの前記境界の前記境界強度を０に設定する段階と
    を更に備える請求項６から９のいずれか一項に記載の方法。
  12. 前記境界の前記境界強度が０より大きい場合に、ルマ成分について境界に対するブロック解除を実行する段階
    を更に備える請求項１から１１のいずれか一項に記載の方法。
  13. 前記境界の前記境界強度が１より大きい場合に、クロマ成分について境界に対するブロック解除を実行する段階
    を更に備える請求項１から１２のいずれか一項に記載の方法。
  14. 前記現在のコーディングユニットがＣＩＩＰの適用により予測される場合は、前記現在のコーディングユニットが、ブロック解除を実行するときに、イントラ予測を伴うコーディングユニットと見なされる、請求項１から１３のいずれか一項に記載の方法。
  15. 請求項１から１４のいずれか一項に記載の方法を実行するための処理回路を備えるエンコーダ。
  16. 請求項１から１４のいずれか一項に記載の方法を実行するための処理回路を備えるデコーダ。
  17. 請求項１から１４のいずれか一項に記載の方法をコンピュータに実行させるプログラム。
  18. デコーダであって、
    １または複数のプロセッサと、
    前記１または複数のプロセッサに結合され、且つ、前記１または複数のプロセッサにより実行される命令を保存する、非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１または複数のプロセッサにより実行されると、請求項１から１４のいずれか一項に記載の方法を実行するように前記デコーダを構成する、非一時的コンピュータ可読記憶媒体と
    を備えるデコーダ。
  19. エンコーダであって、
    １または複数のプロセッサと、
    前記１または複数のプロセッサに結合され、且つ、前記１または複数のプロセッサにより実行される命令を保存する、非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１または複数のプロセッサにより実行されると、請求項１から１４のいずれか一項に記載の方法を実行するように前記エンコーダを構成する、非一時的コンピュータ可読記憶媒体と
    を備えるエンコーダ。
  20. ビデオデータをビットストリームの形式で保存するように構成される非一時的メモリ記憶装置と、
    請求項１から１４のいずれか一項に記載の方法を実行するように構成されるビデオデコーダと
    を備えるビデオデータ復号デバイス。
JP2021525696A 2019-01-17 2020-01-16 エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法 Active JP7351908B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023149321A JP2023169288A (ja) 2019-01-17 2023-09-14 エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962793840P 2019-01-17 2019-01-17
US62/793,840 2019-01-17
PCT/CN2020/072442 WO2020147782A1 (en) 2019-01-17 2020-01-16 An encoder, a decoder and corresponding methods of deblocking filter adaptation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023149321A Division JP2023169288A (ja) 2019-01-17 2023-09-14 エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法

Publications (2)

Publication Number Publication Date
JP2022517488A JP2022517488A (ja) 2022-03-09
JP7351908B2 true JP7351908B2 (ja) 2023-09-27

Family

ID=71614450

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021525696A Active JP7351908B2 (ja) 2019-01-17 2020-01-16 エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法
JP2023149321A Pending JP2023169288A (ja) 2019-01-17 2023-09-14 エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023149321A Pending JP2023169288A (ja) 2019-01-17 2023-09-14 エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法

Country Status (10)

Country Link
US (2) US11962783B2 (ja)
EP (1) EP3868110A4 (ja)
JP (2) JP7351908B2 (ja)
KR (2) KR20210088697A (ja)
CN (4) CN118368415A (ja)
AU (1) AU2020208699A1 (ja)
BR (1) BR112021013644A2 (ja)
CA (1) CA3120828A1 (ja)
MX (1) MX2021006128A (ja)
WO (1) WO2020147782A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202100154PA (en) 2018-07-30 2021-02-25 Samsung Electronics Co Ltd Method and apparatus for image encoding, and method and apparatus for image decoding
CN115136596A (zh) * 2020-02-06 2022-09-30 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
EP4218235A4 (en) * 2020-09-23 2024-04-03 Beijing Dajia Internet Information Technology Co., Ltd. ENHANCEMENT OF CHROMINANCE CODING IN ADAPTIVE INTER-COMPONENT SAMPLE SHIFT WITH VIRTUAL BOUNDARY
CN114501035B (zh) * 2022-01-26 2024-02-13 百果园技术(新加坡)有限公司 视频编解码滤波处理方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503775A (ja) 2003-08-26 2007-02-22 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
JP2014506438A (ja) 2011-03-10 2014-03-13 メディア テック シンガポール ピーティーイー．リミテッド 非ブロック化フィルタの方法と装置
JP2022513433A (ja) 2018-12-11 2022-02-08 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 画像をデブロッキングするための方法及び装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472176A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 基于边界强度因子进行去块效应滤波的解码方法和装置
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
JP2013098876A (ja) * 2011-11-02 2013-05-20 Sony Corp 画像処理装置および方法
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9832467B2 (en) * 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
CN107925773B (zh) * 2015-06-11 2022-06-07 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
EP3625963A4 (en) * 2017-06-07 2020-11-18 MediaTek Inc. INTRA-INTER PREDICTION MODE METHOD AND APPARATUS FOR VIDEO CODING
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
SG11202100154PA (en) 2018-07-30 2021-02-25 Samsung Electronics Co Ltd Method and apparatus for image encoding, and method and apparatus for image decoding
KR20210089149A (ko) * 2018-11-16 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인터 및 인트라 통합 예측 모드 가중치
US11652984B2 (en) * 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
BR112020026818A2 (pt) 2018-12-07 2021-07-27 Huawei Technologies Co., Ltd. codificador, decodificador e métodos correspondentes de derivação de resistência de limite de filtro de desbloqueio
US11356699B2 (en) * 2019-01-11 2022-06-07 Hfi Innovation Inc. Method and apparatus of sub-block deblocking in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503775A (ja) 2003-08-26 2007-02-22 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
JP2014506438A (ja) 2011-03-10 2014-03-13 メディア テック シンガポール ピーティーイー．リミテッド 非ブロック化フィルタの方法と装置
JP2022513433A (ja) 2018-12-11 2022-02-08 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 画像をデブロッキングするための方法及び装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDERSSON, K. et al.，CE11-related: Specification text for combination of JVET-M0103 and JVET-M0294，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0908]，JVET-M0908 (version 1)，ITU-T，2019年01月17日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0908-v1.zip＞: JVET-M0908.docx: pp.1-2
ANDERSSON, K. et al.，Deblocking for multi-hypothesis intra inter prediction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 January 2019, [JVET-M0103-v1]，JVET-M0103 (version 2)，ITU-T，2019年01月14日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0103-v2.zip＞: JVET-M0103-v1.docx: pp.1-5
BROSS, Benjamin et al.，Versatile Video Coding (Draft 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018, [JVET-L1001-v9]，JVET-L1001 (version 13) ，ITU-T，2019年01月08日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L1001-v13.zip＞: JVET-L1001-v9.docx: pp.184-200
WANG. Biao et al.，CE10-related: modification for blocks applied with combined inter-intra prediction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakesh, Morocco, 9-18 Jan. 2019, [JVET-M0294]，JVET-M0294 (version 2)，ITU-T，2019年01月13日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0294-v2.zip＞: JVET-M0294-r2.docx: pp.1-6

Also Published As

Publication number Publication date
US20210337211A1 (en) 2021-10-28
JP2023169288A (ja) 2023-11-29
JP2022517488A (ja) 2022-03-09
US11962783B2 (en) 2024-04-16
CN117880499A (zh) 2024-04-12
CN113196783B (zh) 2023-12-15
EP3868110A4 (en) 2021-12-22
MX2021006128A (es) 2021-06-23
AU2020208699A1 (en) 2021-06-10
EP3868110A1 (en) 2021-08-25
KR20240064039A (ko) 2024-05-10
CA3120828A1 (en) 2020-07-23
US20240259569A1 (en) 2024-08-01
KR20210088697A (ko) 2021-07-14
WO2020147782A1 (en) 2020-07-23
BR112021013644A2 (pt) 2021-09-14
CN118368415A (zh) 2024-07-19
CN117880498A (zh) 2024-04-12
CN113196783A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
JP7239697B2 (ja) エンコーダ、デコーダ、インター予測のための対応する方法
JP7521057B2 (ja) エンコーダ、デコーダ、及びデブロッキングフィルタの境界強度導出の対応する方法
JP7463460B2 (ja) ビデオ復号方法およびビデオデコーダ
JP7351908B2 (ja) エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法
KR20210125088A (ko) 매트릭스 기반 인트라 예측 및 2차 변환 코어 선택을 조화시키는 인코더, 디코더 및 대응 방법
JP7314281B2 (ja) イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ
KR20210107889A (ko) 인코더, 디코더 및 디블로킹 필터 적응 방법
JP7521050B2 (ja) イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法
JP7571227B2 (ja) 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法
JP2024150526A (ja) イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法
CN118646900A (zh) 编解码方法和装置
KR20240144496A (ko) 디블로킹 필터의 경계 강도를 도출하는 인코더, 디코더 및 대응 방법
CN118474387A (zh) 编解码方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230914

R150 Certificate of patent or registration of utility model

Ref document number: 7351908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150