JP2024037999A - ビデオエンコーダ、ビデオデコーダ、及び対応する方法 - Google Patents

ビデオエンコーダ、ビデオデコーダ、及び対応する方法 Download PDF

Info

Publication number
JP2024037999A
JP2024037999A JP2023215334A JP2023215334A JP2024037999A JP 2024037999 A JP2024037999 A JP 2024037999A JP 2023215334 A JP2023215334 A JP 2023215334A JP 2023215334 A JP2023215334 A JP 2023215334A JP 2024037999 A JP2024037999 A JP 2024037999A
Authority
JP
Japan
Prior art keywords
current picture
list
picture block
sample values
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023215334A
Other languages
English (en)
Inventor
チェン，シュイ
ヤーン，ハイタオ
ジャーン，リエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2024037999A publication Critical patent/JP2024037999A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】符号化／復号の複雑さと予測精度とをある程度バランスさせるビデオエンコーダ、ビデオデコーダ及び対応する方法を提供する。【解決手段】方法は、複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得する。複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足する条件を含み、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ、現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくなく、予測サンプル値に基づいて、現在ピクチャブロックを再構成し、シンタックス要素を符号化する。該シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。【選択図】図６Ａ

Description

この出願は、映像コーディング技術の分野に関し、特に、ビデオエンコーダ、ビデオデコーダ、及び対応する方法に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルライブ放送システム、無線放送システム、携帯情報端末（ＰＤＡ）、ラップトップ若しくはデスクトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、デジタルカメラ、デジタル記録装置、デジタルメディアプレーヤ、ビデオゲーム装置、ビデオゲームコンソール、セルラ若しくは衛星無線電話（所謂“スマートフォン”）、ビデオ会議装置、ビデオストリーミング装置、及びこれらに類するものを含む広範で多様な装置に組み込まれることができる。デジタルビデオ装置は、例えば、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、及びＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４パート１０：アドバンストビデオコーディング（ＡＶＣ）、映像コーディング標準Ｈ．２６５／ハイエフィシェンシビデオコーディング（ＨＥＶＣ）標準、及びこのような標準の拡張、によって規定される標準に記載された映像圧縮技術といった、映像圧縮技術を実装する。ビデオ装置は、そのような映像圧縮技術を実装することによって、より効率的にデジタルビデオ情報を送信、受信、符号化、復号、及び／又は格納することができる。
映像圧縮技術は、映像シーケンスにおける生来的な冗長性を低減又は除去するために、空間（イントラピクチャ）予測及び／又は時間（インターピクチャ）予測を実行するように使用される。ブロックベースの映像コーディングでは、映像スライス（すなわち、映像フレーム、又は映像フレームの一部）が複数のピクチャブロックに分割され、ピクチャブロックは、ツリーブロック、コーディングユニット（ＣＵ）、及び／又はコーディングノードと称されることもる。ピクチャのイントラコーディングされる（Ｉ）スライス内のピクチャブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに基づいて空間予測を通じてコーディングされる。ピクチャのインターコーディングされる（Ｐ又はＢ）スライス内のピクチャブロックでは、同じピクチャ内の隣接ブロック内の参照サンプルに基づく空間予測、又は別の参照ピクチャ内の参照サンプルに基づく時間予測が使用され得る。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
ハイエフィシェンシビデオコーディング（ＨＥＶＣ）標準を含む様々な映像コーディング標準は、ピクチャブロックに使用される予測コーディングモードを提案している。具体的には、現在コーディング対象ブロックが、コーディングされた映像データブロックに基づいて予測される。イントラ予測モードにおいて、現在ブロックは、現在ブロックと同じピクチャ内の１つ以上の先行して復号された隣接ブロックに基づいて予測される。インター予測モードにおいて、現在ブロックは、異なるピクチャ内の復号されたブロックに基づいて予測される。
予測は、前方予測、後方予測、双方向予測、及びこれらに類するものを含む。双方向予測では、前方予測の動き補償プロセス及び後方予測の動き補償プロセスにおける動き情報に基づいて、前方予測ブロック（例えば、第１リスト内の予測サンプル値に対応する）及び後方予測ブロック（例えば、第２リスト内の予測サンプル値に対応する）をそれぞれ取得する必要があり、そして、これら前方予測ブロックと後方予測ブロックとに基づいて、現在ブロックの予測ブロックが決定される。現在ブロックの予測ブロックの予測精度を向上させながら、どのようにしてコーディングの複雑さを低減させるかは、当業者によって研究されている技術的問題である。
本発明の実施形態は、符号化／復号の複雑さと予測精度とをある程度バランスさせるための、ビデオエンコーダ、ビデオデコーダ、及び対応する方法を開示する。
第１態様によれば、この出願の一実施形態は、映像符号化方法を提供し、当該方法は、
複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行して現在ピクチャブロックの予測サンプル値を取得し、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む、ことを含む。
現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
当該方法は更に、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成し、
シンタックス要素を送信対象ビットストリームに符号化し、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される、
ことを含む。
理解されるべきことには、現在ピクチャブロックに対してＢＤＯＦを実行するプロセスにおいて、予測はサブブロックによって実行される。具体的には、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行することは具体的に、現在ピクチャブロックの現在サブブロックの予測サンプル値を得るために、現在ピクチャブロックの現在サブブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行することとし得る。現在ピクチャブロックの予測サンプル値は、１つ以上のサブブロックの予測サンプル値を含み、該１つ以上のサブブロックは現在サブブロックを含む。現在ピクチャブロックが１つのサブブロックのみを含む場合、そのサブブロックのサイズは、現在ピクチャブロックのサイズに等しいとし得る。
なお、ＢＤＯＦ技術に従って現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。
この出願のこの実施形態において、状態判定動作が更に含められてもよい。例えば、上記複数のプリセット条件が満足されているかが判定される。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、ビデオエンコーダ、又は映像符号化機能を持つエレクトロニクス装置によって実行され得る。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（オプションで、ＭＭＶＤ技術が使用されるとき、１つのＭＶＤのみが伝送されてもよく、別方向のものであってデコーダ側によって使用される必要があるＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）が、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）が、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、当該方法は更に、現在ピクチャブロックのサンプル値と現在ピクチャブロックの予測サンプル値とに基づいて、サンプル残差を決定することを含み、シンタックス要素を送信対象ビットストリームに符号化することは、シンタックス要素及びサンプル残差を送信対象ビットストリームに符号化することを含む。換言すれば、シンタックス要素に加えて、更にサンプル残差が、送信対象ビットストリームに符号化され得る（サンプル残差は、残差計算ユニットを用いることによって計算を通じて取得されることができ、例えば、サンプル残差は０であり、あるいは０でない）。このソリューションは、ＡＭＶＰモード及びマージモードに適用され得る。また、サンプル残差を送信対象ビットストリームに符号化する必要がない場合も存在する。例えば、スキップモードでは、サンプル残差を送信対象ビットストリームに符号化する必要はない。
第２態様によれば、この出願の一実施形態は、符号化方法を提供し、当該方法は、
現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リスト（すなわち、list0）に対応する参照サンプル値と第２リスト（すなわち、list1）に対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値（例えば、現在コーディングユニットの予測サンプル）を決定し（又は予測を通じて取得し）、第１の処理方式は、ＢＤＯＦ（あるいは、双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）と称される）ではない、ことを含む。換言すれば、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値に基づいて現在ピクチャブロックの予測サンプル値を決定するためにＢＤＯＦを使用することは許されない。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。第２のプリセットサイズは、８×８（１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す）、４×Ｎ（４は、現在ピクチャブロックの幅が４サンプルであることを示し、Ｎは、現在ピクチャブロックの高さがＮサンプルであることを示し、類推によって他のサイズが推定される）、８×１６、又は１６×８を含む。Ｎは２のべき乗であり、且つ８以上である。例えば、Ｎの値は、１６、３２、６４などとし得る。
この出願のこの実施形態において、第１リストに対応する参照サンプル値、及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）、及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１のリスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
次いで、当該方法は、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成することを含む。ここでの“少なくとも”が示すのは、現在ピクチャブロックを再構成するために現在ピクチャブロックの予測サンプル値が使用される必要があるが、他の情報も使用され得る、ということである。
その後、当該方法は、シンタックス要素を送信対象ビットストリームに符号化することを含み、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。
また、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８を含む前述のケースは、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８であることに限られることもできる。換言すれば、ＢＤＯＦは、上に列挙された８×８、４×Ｎ、８×１６、及び１６×８なるサイズのうちの１つに対して使用されることが禁止され、あるいは、これらのうちの複数のサイズに対して使用されることが禁止されてもよい。以下では、説明のための例を用いる。
例１： 第２のプリセットサイズは８×８を含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例２：第２のプリセットサイズは４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例３： 第２のプリセットサイズは８×８又は４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８及び４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８及び４×Ｎのいずれかであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例４： 第２のプリセットサイズは８×８、４×Ｎ、８×１６、又は１６×８を含み（又は、であり）、ここで、Ｎは８以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８、４×Ｎ、８×１６、及び１６×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８、４×Ｎ、８×１６、及び１６×８のうちのいずれか１つであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例５： 第２のプリセットサイズはＮ×８を含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例６： 第２のプリセットサイズはＮ×８又は４×Ｎを含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８又は４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８又は４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。さらに、一部のシナリオでは、サイズＭ×４に対してもＢＤＯＦが使用されることが禁止されるので、この出願において、第２のプリセットサイズに対してＢＤＯＦが使用されることが禁止されるとき、ＢＤＯＦは更に、Ｍは４以上の整数であるとして、サイズＭ×４に対して使用されることが禁止され得る。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、ビデオエンコーダ、又は映像符号化機能を持つエレクトロニクス装置によって実行され得る。
前述の方法によれば、ＢＤＯＦ技術が使用されるときに様々なサイズの現在ピクチャブロックの特徴が十分に考慮される。現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術以外の技術に従って決定される。これは、コーディングの複雑さを大幅に低減させるとともに、コーディング効率を向上させる。
オプションの一ソリューションにおいて、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値を決定することは、
第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、現在ピクチャブロックの予測サンプル値を取得すること、又は
マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、又は
結合インター／イントラ予測ＣＩＩＰ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、
を含む。
この出願のこの実施形態において、重み付け計算方式、ＭＭＶＤ技術、ＣＩＩＰ技術、又は他の予測技術が具体的に使用されるかは、対応する条件を用いることによって決定されてもよいし、あるいは、対応する指示情報を用いることによって指し示されてもよい。
理解されるべきことには、ＢＤＯＦ技術は、現在ピクチャブロックの予測サンプル値を予測するための従来技術でのパッチ最適化技術と同等である。ＢＤＯＦ技術によれば、多くのシナリオにおいて、現在ピクチャブロックの実際のサンプル値にいっそう近い予測サンプル値を得ることができる。従って、その予測サンプル値に基づいて得られるサンプル残差はより小さいものとなり、それ故に、コーディング効率を向上させることができる。前述の重み付け計算方式は、現在ピクチャブロックの予測サンプル値を得るための従来技術とみなされてもよく、前述のＭＭＶＤ技術及びＣＩＩＰ技術は各々、従来技術でのパッチ最適化技術とみなされてもよい。この出願のこの実施形態において、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術ではなく、従来技術（例えば、重み付け計算方式）又は他のパッチ最適化技術（例えば、ＭＭＶＤ又はＣＩＩＰ）に従って決定される。これは、コーディングの複雑さを大幅に低減させることができるとともに、コーディング効率を向上させることができる。
オプションの一ソリューションにおいて、当該方法は更に、
複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得することを含み、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
当該方法は更に、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成することを含む。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（オプションで、ＭＭＶＤ技術が使用されるとき、１つのＭＶＤのみが伝送されてもよく、別方向のものであってデコーダ側によって使用される必要があるＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）は、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）は、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、当該方法は更に、現在ピクチャブロックのサンプル値と現在ピクチャブロックの予測サンプル値とに基づいて、サンプル残差を決定することを含み、シンタックス要素を送信対象ビットストリームに符号化することは、シンタックス要素及びサンプル残差を送信対象ビットストリームに符号化することを含む。
第３態様によれば、この出願の一実施形態は、映像復号方法を提供し、当該方法は、
ビットストリームを解析してシンタックス要素を取得し、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用され、
複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、又は略してＢＤＯＦ、あるいは、双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）と称される）処理を実行して現在ピクチャブロックの予測サンプル値を取得し、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む、
ことを含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
当該方法は更に、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定することを含み、現在ピクチャブロックの予測サンプル値は、１つ以上のサブブロックの予測サンプル値を含む。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
この出願のこの実施形態において、状態判定動作が更に含められてもよい。例えば、上記複数のプリセット条件が満足されているかが判定される。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、ビデオデコーダ、又は映像復号機能を持つエレクトロニクス装置によって実行され得る。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（例えば、１つのＭＶＤのみが含まれるとき、伝送されないＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）が、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）が、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、ビットストリームを解析してシンタックス要素を取得することは、ビットストリームを解析して、サンプル残差とシンタックス要素とを取得することを含み、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定することは、サンプル残差と現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定することを含む。
第４態様によれば、この出願の一実施形態は、復号方法を提供し、当該方法は、
ビットストリームを解析してシンタックス要素を取得し、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用され、
現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リスト（すなわち、list0）に対応する参照サンプル値と第２リスト（すなわち、list1）に対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値（例えば、現在コーディングユニットの予測サンプル）を決定し（又は予測を通じて取得し）、第１の処理方式は、ＢＤＯＦ（あるいは、双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）と称される）ではない、ことを含む。換言すれば、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値に基づいて現在ピクチャブロックの予測サンプル値を決定するためにＢＤＯＦを使用することは許されない。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。第２のプリセットサイズは、８×８（１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す）、４×Ｎ（４は、現在ピクチャブロックの幅が４サンプルであることを示し、Ｎは、現在ピクチャブロックの高さがＮサンプルであることを示し、類推によって他のサイズが推定される）、８×１６、又は１６×８を含む。Ｎは２のべき乗であり、且つ８以上である。例えば、Ｎの値は、１６、３２、６４などとし得る。
この出願のこの実施形態において、第１リストに対応する参照サンプル値、及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）、及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１のリスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
当該方法は更に、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定することを含む。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
また、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８を含む前述のケースは、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８であることに限られることもできる。換言すれば、ＢＤＯＦは、上に列挙された８×８、４×Ｎ、８×１６、及び１６×８なるサイズのうちの１つに対して使用されることが禁止され、あるいは、これらのうちの複数のサイズに対して使用されることが禁止されてもよい。以下では、説明のための例を用いる。
例１： 第２のプリセットサイズは８×８を含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例２：第２のプリセットサイズは４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例３： 第２のプリセットサイズは８×８又は４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８及び４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８及び４×Ｎのいずれかであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例４： 第２のプリセットサイズは８×８、４×Ｎ、８×１６、又は１６×８を含み（又は、であり）、ここで、Ｎは８以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８、４×Ｎ、８×１６、及び１６×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８、４×Ｎ、８×１６、及び１６×８のうちのいずれか１つであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例５： 第２のプリセットサイズはＮ×８を含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例６： 第２のプリセットサイズはＮ×８又は４×Ｎを含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８又は４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８又は４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
さらに、一部のシナリオでは、サイズＭ×４に対してもＢＤＯＦが使用されることが禁止されるので、この出願において、第２のプリセットサイズに対してＢＤＯＦが使用されることが禁止されるとき、ＢＤＯＦは更に、Ｍは４以上の整数であるとして、サイズＭ×４に対して使用されることが禁止され得る。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、ビデオデコーダ、又は映像復号機能を持つエレクトロニクス装置によって実行され得る。
前述の方法によれば、ＢＤＯＦ技術が使用されるときに様々なサイズの現在ピクチャブロックの特徴が十分に考慮される。現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術以外の技術に従って決定される。これは、コーディングの複雑さを大幅に低減させるとともに、コーディング効率を向上させる。
オプションの一ソリューションにおいて、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、
第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、現在ピクチャブロックの予測サンプル値を取得すること、又は
マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、又は
結合インター／イントラ予測ＣＩＩＰ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、又は
デコーダ側動きベクトル精緻化ＤＭＶＲ技術に従って、第１リストに対応する参照サンプルと第２リストに対応する参照サンプルとに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、
を含む。
この出願のこの実施形態において、重み付け計算方式、ＭＭＶＤ技術、又はＣＩＩＰ技術が具体的に使用されるかは、対応する条件を用いることによって決定されてもよいし、あるいは、対応する指示情報を用いることによって指し示されてもよい。
理解されるべきことには、ＢＤＯＦ技術は、現在ピクチャブロックの予測サンプル値を予測するための従来技術でのパッチ最適化技術と同等である。ＢＤＯＦ技術によれば、多くのシナリオにおいて、現在ピクチャブロックの実際のサンプル値にいっそう近い予測サンプル値を得ることができる。従って、その予測サンプル値に基づいて得られるサンプル残差はより小さいものとなり、それ故に、コーディング効率を向上させることができる。従って、ＢＤＯＦ技術は、通常、エンコーダ側で使用される。より正確に予測サンプル値を復元するために、ＢＤＯＦ技術は対応してデコーダ側でも使用される。前述の重み付け計算方式は、現在ピクチャブロックの予測サンプル値を得るための従来技術とみなされてもよく、前述のＭＭＶＤ技術、ＣＩＩＰ技術、及びＤＭＶＲ技術は各々、従来技術でのパッチ最適化技術とみなされてもよい。この出願のこの実施形態において、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術ではなく、従来技術（例えば、重み付け計算方式）又は他のパッチ最適化技術（例えば、ＭＭＶＤ、ＣＩＩＰ、又はＤＭＶＲ）に従って決定される。これは、復号の複雑さを大幅に低減させることができるとともに、復号効率を向上させることができる。
オプションの一ソリューションにおいて、当該方法は更に、
複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得することを含み、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
当該方法は更に、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成することを含む。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（オプションで、ＭＭＶＤ技術が使用されるとき、１つのＭＶＤのみが伝送されてもよく、別方向のものであってデコーダ側によって使用される必要があるＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）は、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）は、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、ビットストリームを解析してシンタックス要素を取得することは、ビットストリームを解析して、サンプル残差とシンタックス要素とを取得することを含み、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定することは、サンプル残差と現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定することを含む。
第５態様によれば、この出願の一実施形態は、インター予測方法を提供し、当該方法は、
現在ピクチャブロックが複数のプリセット条件を満足するかを判定し、
上記複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行して現在ピクチャブロックの予測サンプル値を取得し、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む、ことを含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。確かなことには、ここでの現在ピクチャブロックは代わりに、処理中のピクチャブロックとして理解されてもよい。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
オプションの一ソリューションにおいて、当該方法は更に、上記複数のプリセット条件のうちの少なくとも１つが満足されないときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行することをスキップすることを含む。具体的には、現在ピクチャブロックの予測サンプル値は、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて第１の処理方式で予測を通じて取得され得る。第１の処理方式はＢＤＯＦではない。詳細については、この明細書中の関連部分を参照されたい。詳細をここで再び説明することはしない。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、ビデオエンコーダ、又は映像符号化機能を持つエレクトロニクス装置によって実行されることができ、あるいは、ビデオデコーダ、又は映像復号機能を持つエレクトロニクス装置によって実行されることができる。例えば、当該方法は具体的に、これらの装置内のインター予測ユニットによって実行され得る。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
第６態様によれば、この出願の一実施形態は、映像符号化装置を提供し、当該符号化装置は、インター予測ユニット、再構成ユニット、及びエントロピー符号化ユニットを含む。
インター予測ユニットは、複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行して現在ピクチャブロックの予測サンプル値を取得するように構成され、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
再構成ユニットは、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成するように構成される。
エントロピー符号化ユニットは、シンタックス要素を送信対象ビットストリームに符号化するように構成され、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。
この出願のこの実施形態において、状態判定動作が更に含められてもよい。例えば、インター予測ユニットは更に、上記複数のプリセット条件が満足されているかを判定するように構成される。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（オプションで、ＭＭＶＤ技術が使用されるとき、１つのＭＶＤのみが伝送されてもよく、別方向のものであってデコーダ側によって使用される必要があるＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）が、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）が、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、当該映像符号化装置は更に、現在ピクチャブロックのサンプル値と現在ピクチャブロックの予測サンプル値とに基づいて、サンプル残差を決定するように構成された残差計算ユニットを含み、エントロピー符号化ユニットは具体的に、シンタックス要素及びサンプル残差を送信対象ビットストリームに符号化するように構成される。換言すれば、シンタックス要素に加えて、更にサンプル残差が、送信対象ビットストリームに符号化され得る（サンプル残差は、残差計算ユニットを用いることによって計算を通じて取得され得る）。このソリューションは、ＡＭＶＰモード及びマージモードに適用され得る。また、サンプル残差を送信対象ビットストリームに符号化する必要がない場合も存在する。例えば、スキップモードでは、サンプル残差を送信対象ビットストリームに符号化する必要はない。
第７態様によれば、この出願の一実施形態は、映像符号化装置を提供し、当該映像符号化装置は、インター予測ユニット、再構成ユニット、及びエントロピー符号化ユニットを含む。
インター予測ユニットは、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リスト（すなわち、list0）に対応する参照サンプル値と第２リスト（すなわち、list1）に対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値（例えば、現在コーディングユニットの予測サンプル）を決定する（又は予測を通じて取得する）ように構成され、第１の処理方式は、ＢＤＯＦ（あるいは、双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）と称される）ではない。換言すれば、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値に基づいて現在ピクチャブロックの予測サンプル値を決定するためにＢＤＯＦを使用することは許されない。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。第２のプリセットサイズは、８×８（１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す）、４×Ｎ（４は、現在ピクチャブロックの幅が４サンプルであることを示し、Ｎは、現在ピクチャブロックの高さがＮサンプルであることを示し、類推によって他のサイズが推定される）、８×１６、又は１６×８を含む。Ｎは２のべき乗であり、且つ８以上である。例えば、Ｎの値は、１６、３２、６４などとし得る。
この出願のこの実施形態において、第１リストに対応する参照サンプル値、及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）、及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１のリスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
再構成ユニットは、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成するように構成される。ここでの“少なくとも”が示すのは、現在ピクチャブロックを再構成するために現在ピクチャブロックの予測サンプル値が使用される必要があるが、他の情報も使用され得る、ということである。
エントロピー符号化ユニットは、シンタックス要素を送信対象ビットストリームに符号化するように構成され、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。
また、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８を含む前述のケースは、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８であることに限られることもできる。換言すれば、ＢＤＯＦは、上に列挙された８×８、４×Ｎ、８×１６、及び１６×８なるサイズのうちの１つに対して使用されることが禁止され、あるいは、これらのうちの複数のサイズに対して使用されることが禁止されてもよい。以下では、説明のための例を用いる。
例１： 第２のプリセットサイズは８×８を含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例２：第２のプリセットサイズは４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例３： 第２のプリセットサイズは８×８又は４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８及び４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８及び４×Ｎのいずれかであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例４： 第２のプリセットサイズは８×８、４×Ｎ、８×１６、又は１６×８を含み（又は、であり）、ここで、Ｎは８以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８、４×Ｎ、８×１６、及び１６×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８、４×Ｎ、８×１６、及び１６×８のうちのいずれか１つであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例５： 第２のプリセットサイズはＮ×８を含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例６： 第２のプリセットサイズはＮ×８又は４×Ｎを含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８又は４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８又は４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
さらに、一部のシナリオでは、サイズＭ×４に対してもＢＤＯＦが使用されることが禁止されるので、この出願において、第２のプリセットサイズに対してＢＤＯＦが使用されることが禁止されるとき、ＢＤＯＦは更に、Ｍは４以上の整数であるとして、サイズＭ×４に対して使用されることが禁止され得る。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
前述の方法によれば、ＢＤＯＦ技術が使用されるときに様々なサイズの現在ピクチャブロックの特徴が十分に考慮される。現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術以外の技術に従って決定される。これは、コーディングの複雑さを大幅に低減させるとともに、コーディング効率を向上させる。
オプションの一ソリューションにおいて、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値を決定するプロセスにおいて、インター予測ユニットは具体的に、
第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、現在ピクチャブロックの予測サンプル値を取得する、又は
マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得する、又は
結合インター／イントラ予測ＣＩＩＰ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得する、
ように構成される。
この出願のこの実施形態において、重み付け計算方式、ＭＭＶＤ技術、又はＣＩＩＰ技術が具体的に使用されるかは、対応する条件を用いることによって決定されてもよいし、あるいは、対応する指示情報を用いることによって指し示されてもよい。
理解されるべきことには、ＢＤＯＦ技術は、現在ピクチャブロックの予測サンプル値を予測するための従来技術でのパッチ最適化技術と同等である。ＢＤＯＦ技術によれば、多くのシナリオにおいて、現在ピクチャブロックの実際のサンプル値にいっそう近い予測サンプル値を得ることができる。従って、その予測サンプル値に基づいて得られるサンプル残差はより小さいものとなり、それ故に、コーディング効率を向上させることができる。前述の重み付け計算方式は、現在ピクチャブロックの予測サンプル値を得るための従来技術とみなされてもよく、前述のＭＭＶＤ技術及びＣＩＩＰ技術は各々、従来技術でのパッチ最適化技術とみなされてもよい。この出願のこの実施形態において、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術ではなく、従来技術（例えば、重み付け計算方式）又は他のパッチ最適化技術（例えば、ＭＭＶＤ又はＣＩＩＰ）に従って決定される。これは、コーディングの複雑さを大幅に低減させることができるとともに、コーディング効率を向上させることができる。
オプションの一ソリューションにおいて、
インター予測ユニットは更に、複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得するように構成され、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
再構成ユニットは更に、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成するように構成される。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（オプションで、ＭＭＶＤ技術が使用されるとき、１つのＭＶＤのみが伝送されてもよく、別方向のものであってデコーダ側によって使用される必要があるＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）は、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）は、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、当該映像符号化装置は更に、現在ピクチャブロックのサンプル値と現在ピクチャブロックの予測サンプル値とに基づいて、サンプル残差を決定するように構成された残差計算ユニット、を含み、エントロピー符号化ユニットは具体的に、シンタックス要素及びサンプル残差を送信対象ビットストリームに符号化するように構成される。
第８態様によれば、この出願の一実施形態は、映像復号装置を提供し、当該映像復号装置は、エントロピー復号ユニット、インター予測ユニット、及び再構成ユニットを含む。
エントロピー復号ユニットは、ビットストリームを解析してシンタックス要素を取得するように構成され、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
インター予測ユニットは、複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行して現在ピクチャブロックの予測サンプル値を取得するように構成され、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
再構成ユニットは、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定するように構成される。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
この出願のこの実施形態において、状態判定動作が更に含められてもよい。例えば、インター予測ユニットは更に、上記複数のプリセット条件が満足されているかを判定するように構成される。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（例えば、１つのＭＶＤのみが含まれるとき、伝送されないＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）が、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）が、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、エントロピー復号ユニットは具体的に、ビットストリームを解析して、サンプル残差とシンタックス要素とを取得するように構成され、再構成ユニットは具体的に、サンプル残差と現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定するように構成される。
第９態様によれば、この出願の一実施形態は、映像復号装置を提供し、当該映像復号装置は、エントロピー復号ユニット、インター予測ユニット、及び再構成ユニットを含む。
エントロピー復号ユニットは、ビットストリームを解析してシンタックス要素を取得するように構成され、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
インター予測ユニットは、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リスト（すなわち、list0）に対応する参照サンプル値と第２リスト（すなわち、list1）に対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値（例えば、現在コーディングユニットの予測サンプル）を決定する（又は予測を通じて取得する）ように構成され、第１の処理方式は、ＢＤＯＦ（あるいは、双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）と称される）ではない。換言すれば、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値に基づいて現在ピクチャブロックの予測サンプル値を決定するためにＢＤＯＦを使用することは許されない。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。第２のプリセットサイズは、８×８（１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す）、４×Ｎ（４は、現在ピクチャブロックの幅が４サンプルであることを示し、Ｎは、現在ピクチャブロックの高さがＮサンプルであることを示し、類推によって他のサイズが推定される）、８×１６、又は１６×８を含む。Ｎは２のべき乗であり、且つ８以上である。例えば、Ｎの値は、１６、３２、６４などとし得る。
この出願のこの実施形態において、第１リストに対応する参照サンプル値、及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）、及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１のリスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
再構成ユニットは、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定するように構成される。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
また、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８を含む前述のケースは、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８であることに限られることもできる。換言すれば、ＢＤＯＦは、上に列挙された８×８、４×Ｎ、８×１６、及び１６×８なるサイズのうちの１つに対して使用されることが禁止され、あるいは、これらのうちの複数のサイズに対して使用されることが禁止されてもよい。以下では、説明のための例を用いる。
例１： 第２のプリセットサイズは８×８を含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例２：第２のプリセットサイズは４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例３： 第２のプリセットサイズは８×８又は４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８及び４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８及び４×Ｎのいずれかであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例４： 第２のプリセットサイズは８×８、４×Ｎ、８×１６、又は１６×８を含み（又は、であり）、ここで、Ｎは８以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８、４×Ｎ、８×１６、及び１６×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８、４×Ｎ、８×１６、及び１６×８のうちのいずれか１つであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例５： 第２のプリセットサイズはＮ×８を含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例６： 第２のプリセットサイズはＮ×８又は４×Ｎを含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８又は４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８又は４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
さらに、一部のシナリオでは、サイズＭ×４に対してもＢＤＯＦが使用されることが禁止されるので、この出願において、第２のプリセットサイズに対してＢＤＯＦが使用されることが禁止されるとき、ＢＤＯＦは更に、Ｍは４以上の整数であるとして、サイズＭ×４に対して使用されることが禁止され得る。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
前述の方法によれば、ＢＤＯＦ技術が使用されるときに様々なサイズの現在ピクチャブロックの特徴が十分に考慮される。現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術以外の技術に従って決定される。これは、コーディングの複雑さを大幅に低減させるとともに、コーディング効率を向上させる。
オプションの一ソリューションにおいて、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得するプロセスにおいて、インター予測ユニットは具体的に、
第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、現在ピクチャブロックの予測サンプル値を取得する、又は
マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得する、又は
結合インター／イントラ予測ＣＩＩＰ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得する、又は
デコーダ側動きベクトル精緻化ＤＭＶＲ技術に従って、第１リストに対応する参照サンプルと第２リストに対応する参照サンプルとに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得する、
ように構成される。
この出願のこの実施形態において、重み付け計算方式、ＭＭＶＤ技術、又はＣＩＩＰ技術が具体的に使用されるかは、対応する条件を用いることによって決定されてもよいし、あるいは、対応する指示情報を用いることによって指し示されてもよい。
理解されるべきことには、ＢＤＯＦ技術は、現在ピクチャブロックの予測サンプル値を予測するための従来技術でのパッチ最適化技術と同等である。ＢＤＯＦ技術によれば、多くのシナリオにおいて、現在ピクチャブロックの実際のサンプル値にいっそう近い予測サンプル値を得ることができる。従って、その予測サンプル値に基づいて得られるサンプル残差はより小さいものとなり、それ故に、コーディング効率を向上させることができる。従って、ＢＤＯＦ技術は、通常、エンコーダ側で使用される。より正確に予測サンプル値を復元するために、ＢＤＯＦ技術は対応してデコーダ側でも使用される。前述の重み付け計算方式は、現在ピクチャブロックの予測サンプル値を得るための従来技術とみなされてもよく、前述のＭＭＶＤ技術、ＣＩＩＰ技術、及びＤＭＶＲ技術は各々、従来技術でのパッチ最適化技術とみなされてもよい。この出願のこの実施形態において、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術ではなく、従来技術（例えば、重み付け計算方式）又は他のパッチ最適化技術（例えば、ＭＭＶＤ、ＣＩＩＰ、又はＤＭＶＲ）に従って決定される。これは、復号の複雑さを大幅に低減させることができるとともに、復号効率を向上させることができる。
オプションの一ソリューションにおいて、インター予測ユニットは更に、複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得するように構成され、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む（又は、である）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、である）。
再構成ユニットは更に、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成するように構成される。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（オプションで、ＭＭＶＤ技術が使用されるとき、１つのＭＶＤのみが伝送されてもよく、別方向のものであってデコーダ側によって使用される必要があるＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）は、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）は、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
オプションの一ソリューションにおいて、エントロピー復号ユニットは具体的に、ビットストリームを解析して、サンプル残差とシンタックス要素とを取得するように構成され、再構成ユニットは具体的に、サンプル残差と現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定するように構成される。
第１０態様によれば、この出願の一実施形態は、インター予測装置（例えば、インター予測ユニット）を提供し、当該インター予測装置は、
現在ピクチャブロックが複数のプリセット条件を満足するかを判定するように構成された判定ユニットと、
上記複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行して現在ピクチャブロックの予測サンプル値を取得するように構成されたインター予測処理ユニットであり、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む、インター予測処理ユニットと、を含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。確かなことには、ここでの現在ピクチャブロックは代わりに、処理中のピクチャブロックとして理解されてもよい。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
オプションの一ソリューションにおいて、インター予測処理ユニットは更に、上記複数のプリセット条件のうちの少なくとも１つが満足されないときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行することをスキップするように構成される。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、ビデオエンコーダ、又は映像符号化機能を持つエレクトロニクス装置によって実行されることができ、あるいは、ビデオデコーダ、又は映像復号機能を持つエレクトロニクス装置によって実行されることができる。例えば、当該方法は具体的に、これらの装置内のインター予測ユニットによって実行され得る。
具体的には、ＢＤＯＦ技術を有効にする又は使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を有効にする又は使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、元のサンプル値にいっそう近い予測サンプル値を得ることができ、また、コーディングの複雑さを適切に制御することができる。これは、符号化／復号の複雑さと予測精度とをある程度バランスさせ、それによりコーディング効率を向上させる。
第１１態様によれば、この出願の一実施形態は、映像データ復号装置を提供し、当該装置は、
映像データをビットストリームの形態で格納するように構成されたメモリと、
ビットストリームを復号してシンタックス要素を取得し、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用され、複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得する、ように構成されたビデオデコーダであり、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む、ビデオデコーダと、
を含む。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
第１２態様によれば、この出願の一実施形態は、映像データ符号化装置を提供し、当該装置は、
映像データを格納するように構成されたメモリであり、映像データは１つ以上のピクチャブロックを含む、メモリと、
複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得するように構成されたビデオエンコーダであり、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む、ビデオエンコーダと、
を含む。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
ビデオエンコーダは更に、シンタックス要素を送信対象ビットストリームに符号化するように構成され、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
第１３態様によれば、この出願の一実施形態は、互いに結合された不揮発性メモリとプロセッサとを含む符号化装置を提供する。プロセッサは、メモリに格納されたプログラムコードを呼び出して、第１態様におけるいずれかの方法の一部又は全てのステップを実行する。
第１４態様によれば、この出願の一実施形態は、互いに結合された不揮発性メモリとプロセッサとを含む復号装置を提供する。プロセッサは、メモリに格納されたプログラムコードを呼び出して、第３態様におけるいずれかの方法の一部又は全てのステップを実行する。
第１５態様によれば、この出願の一実施形態は、コンピュータ読み取り可能記憶媒体を提供する。当該コンピュータ読み取り可能記憶媒体はプログラムコードを格納し、該プログラムコードは、第１態様におけるいずれかの方法の一部又は全てのステップを実行するために使用される命令を含む。
第１６態様によれば、この出願の一実施形態は、コンピュータプログラムプロダクトを提供する。当該コンピュータプログラムプロダクトがコンピュータ上で実行されるとき、該コンピュータは、第１態様におけるいずれかの方法の一部又は全てのステップを実行することを可能にされる。
理解されるべきことには、この出願の第２乃至第１６態様における技術的ソリューションは、この出願の第１態様における技術的ソリューションと一致し、これらの態様及び対応する実現可能な実装によって達成される有益な効果は同様である。詳細を再び説明することはしない。
この出願の実施形態又は背景における技術的ソリューションをいっそう明確に説明するために、以下に、この出願の実施形態又は背景を説明するための添付の図面を説明する。
この出願の一実施形態を実装する映像符号化及び復号システム１０の一例のブロック図である。 この出願の一実施形態を実装する映像コーディングシステム４０の一例のブロック図である。 この出願の一実施形態を実装するエンコーダ２０の一構成例のブロック図である。 この出願の一実施形態を実装するデコーダ３０の一構成例のブロック図である。 この出願の一実施形態を実装する映像コーディング装置４００の一例のブロック図である。 この出願の一実施形態を実装する符号化装置又は復号装置１０の他の一例のブロック図である。 この出願の一実施形態に従った現在ピクチャブロック及び参照ブロックの動き情報の概略図である。 この出願の一実施形態に従ったインター予測シナリオの概略図である。 この出願の一実施形態に従ったインター隣接ブロックのシナリオの概略図である。 この出願の一実施形態に従った符号化方法の概略フローチャートである。 この出願の一実施形態を実装する前方参照ピクチャ及び後方参照ピクチャの概略図である。 この出願の一実施形態を実装する動きベクトル精緻化プロセスの概略図である。 この出願の一実施形態に従ったパディングベースの拡張手法のシナリオの概略図である。 この出願の一実施形態に従った復号方法の概略フローチャートである。 この出願の一実施形態に従ったインター予測装置の概略構成図である。
以下、この出願の実施形態における添付の図面を参照して、この出願の実施形態を説明する。以下の説明では、この開示の一部を形成するものであるとともに、この出願の実施形態の特定の態様又はこの出願の実施形態が使用され得る特定の態様を例示によって示すものである添付の図面を参照する。理解されるべきことには、この出願の実施形態は、他の態様で使用されることができ、また、添付の図面に描かれない構造的又は論理的な変更を含むことができる。従って、以下の詳細な説明は、限定的な意味で解釈されるものではなく、この出願の範囲は、添付の請求項によって定められる。例えば、理解されるべきことには、記載される方法と組み合わせて開示される内容は、その方法を実行するように構成される対応する装置又はシステムにも当てはまり得るものであり、その逆もまた然りである。例えば、１つ以上の特定の方法ステップが記載される場合、対応する装置は、たとえそのような１つ以上のユニットが明示的に記載されたり添付の図面に示されたりしていなくても、記載された１つ以上の方法ステップを実行するための、例えば機能ユニットなどの１つ以上のユニット（例えば、該１つ以上のステップを実行する１つのユニット、又は各々がそれら複数のステップのうちの１つ以上を実行する複数のユニット）を含み得る。また、例えば、特定の装置が、例えば機能ユニットなどの１つ以上のユニットに基づいて記載される場合、対応する方法は、たとえそのような１つ以上のステップが明示的に記載されたり添付の図面に示されたりしていなくても、該１つ以上のユニットの機能を実行するのに使用される１つのステップ（例えば、該１つ以上のユニットの機能を実行する１つのステップ、又は各々が複数のユニットのうちの１つ以上の機能を実行するのに使用される複数のステップ）を含み得る。さらに、理解されるべきことには、この明細書に記載される様々な実施形態例及び／又は態様の特徴は、具体的に別段の断りがない限り、互いに組み合わされてもよい。
この出願の実施形態における技術的ソリューションは、既存の映像コーディング標準（例えば、Ｈ．２６４及びＨＥＶＣなどの標準）に適用され得るだけでなく、将来の映像コーディング標準（例えば、Ｈ．２６６標準）にも適用され得る。この出願の実装において使用される用語は、単にこの出願の特定の実施形態を説明することを意図したものであり、この出願を限定することを意図したものではない。以下にて先ず、この出願の実施形態において関係する概念を簡単に説明する。
映像コーディングは、通常、映像又は映像シーケンスを構成する一連のピクチャを処理することを指す。映像コーディングの分野において、用語“ピクチャ（picture）”、“フレーム（frame）”及び“画像（image）”は、同義語として使用され得る。この明細書で使用される映像コーディングは、映像符号化及び映像復号を含む。映像符号化は、ソース側で実行され、通常、より効率的なストレージ及び／又は伝送のために、元の映像ピクチャを（例えば、圧縮することによって）処理して、映像ピクチャを表すためのデータの量を減らすことを含む。映像復号は、デスティネーション側で実行され、通常、映像ピクチャを再構成するために、エンコーダに対して逆の処理を含む。実施形態における映像ピクチャの“コーディング”は、映像シーケンスの“符号化”又は“復号”として理解されるべきである。符号化部分と復号部分との組み合わせも、コーディング（符号化及び復号）と呼ばれる。
映像シーケンスは、一連のピクチャ（picture）を含み、ピクチャは更にスライス（slice）に分割され、スライスは更にブロック（block）に分割される。映像コーディングは、ブロックによって行われる。一部の新しい映像コーディング標準では、“ブロック”という概念が更に拡張されている。例えば、マクロブロック（macroblock、ＭＢ）がＨ．２６４標準で導入されている。マクロブロックは更に、予測コーディングに用いられることが可能な複数の予測ブロックに分割され得る（partition）。ハイエフィシェンシビデオコーディング（high efficiency video coding、ＨＥＶＣ）標準では、例えば“コーディングユニット”（coding unit、ＣＵ），“予測ユニット”（prediction、ＰＵ）、及び“変換ユニット”（transform unit、ＴＵ）などの基本概念が使用されている。複数のブロックユニットが、機能分割を通じて得られ、新しいツリーベースの構造を用いることによって記述される。例えば、ＣＵは、四分木に基づいていっそう小さいＣＵに分割されることができ、該いっそう小さいＣＵが更に分割されて、四分木構造を生成し得る。ＣＵは、コーディングされるピクチャを分割及び符号化することの基本単位である。ＰＵ及びＴＵも同様のツリー構造を持つ。ＰＵは予測ブロックに対応することができ、予測コーディングに関する基本単位である。ＣＵは、ある分割モードにて複数のＰＵに更に分割される。ＴＵは変換ブロックに対応することができ、予測残差を変換するのに使用される基本単位である。しかしながら、実際のところは、ＣＵ、ＰＵ、及びＴＵはどれも概念上はブロック（又はピクチャブロック）である。
例えば、ＨＥＶＣでは、ＣＴＵが、コーディングツリーとして表される四分木構造を用いることによって複数のＣＵに分割される。ピクチャ領域をインターピクチャ（時間）予測を通じて符号化するか、それともイントラピクチャ（空間）予測を通じて符号化するかの決定が、ＣＵレベルで行われる。各ＣＵは更に、ＰＵ分割タイプに基づいて、１つ、２つ、又は４つのＰＵに分割され得る。１つのＰＵ内では、同じ予測プロセスが適用され、関係する情報がＰＵベースでデコーダに伝送される。ＰＵ分割タイプに基づいて予測プロセスを適用することによって残差ブロックを得た後、ＣＵは、ＣＵに使用されたコーディングツリーに似た別の四分木構造に基づいて変換ユニット（transform unit、ＴＵ）に分割され得る。映像圧縮技術の最近の開発では、四分木プラス二分木（quadtree plus binary tree、ＱＴＢＴ）パーティションフレームが、コーディングブロックを分割するのに使用されている。ＱＴＢＴブロック構造では、ＣＵは正方形又は長方形であるとし得る。
この明細書では、説明及び理解を容易にするために、現在ピクチャ内の処理対象ピクチャブロックを、現在ブロック又は処理対象ピクチャブロックと称することがある。例えば、符号化において、ピクチャブロックは符号化中のブロックであり、復号において、ピクチャブロックは復号中のブロックである。現在ブロックを予測するのに使用される参照ピクチャ内の復号ピクチャブロックは、参照ブロックと称される。具体的には、参照ブロックは、現在ブロックに対して参照信号を提供するブロックであり、参照信号は、ピクチャブロック内のサンプル値を表す。参照ピクチャ内の、現在ブロックに対して予測信号を提供するブロックは、予測ブロックと称され得る。予測信号は、予測ブロック内のピクセル値、サンプリング値、又はサンプリング信号を表す。例えば、複数の参照ブロックが検討された後、最適な参照ブロックが発見される。その最適な参照ブロックが、現在ブロックに対して予測を提供し、そのブロックが予測ブロックと称される。
可逆映像コーディングの場合、元の映像ピクチャを再構成することができる。具体的には、（ストレージ又は伝送中に伝送損失又は他のデータ損失が発生しないと仮定して、）再構成映像ピクチャが元の映像ピクチャと同じ品質を持つ。非可逆映像コーディングの場合、映像ピクチャを表すのに必要とされるデータ量を減らすために、例えば量子化を通じて更なる圧縮が行われ、デコーダ側で映像ピクチャを完全に再構成することはできない。具体的には、再構成映像ピクチャの品質は、元の映像ピクチャの品質よりも低い又は劣る。
一部のＨ．２６１映像コーディング標準は、“非可逆ハイブリッド映像コーディング”（具体的には、サンプルドメインでの空間及び時間予測が、変換ドメインで量子化を適用するための２Ｄ変換コーディングと組み合わされる）に関するものである。映像シーケンス内の各ピクチャは、通常、一組の重なり合わないブロックに分割され、コーディングは通常、ブロックレベルで実行される。具体的には、エンコーダ側で、通常、映像がブロック（映像ブロック）レベルで処理され、すなわち、符号化される。例えば、空間（イントラピクチャ）予測及び時間（インターピクチャ）予測を通じて予測ブロックが生成され、該予測ブロックが現在ブロック（処理中又は処理対象のブロック）から差し引かれることで残差ブロックが得られ、該残差ブロックが変換ドメインで変換され量子化されて、伝送（圧縮）されることになるデータの量が減少する。デコーダ側で、符号化されたブロック又は圧縮されたブロックに、エンコーダに対して逆の処理部分が適用されて、表現のために現在ブロックが再構成される。さらに、エンコーダは、後続ブロックを処理すなわち符号化するためにエンコーダとデコーダとが同じ予測（例えば、イントラ予測及びインター予測）及び／又は再構成を生成するよう、デコーダ処理ループを複製する。
以下、この出願の実施形態が適用されるシステムアーキテクチャを説明する。図１Ａは、この出願の実施形態が適用される映像符号化及び復号システム１０の一例の概略ブロック図である。図１Ａに示すように、映像符号化及び復号システム１０は、ソース装置１２及びデスティネーション装置１４を含み得る。ソース装置１２は符号化映像データを生成し、それ故に、ソース装置１２は映像符号化装置として参照され得る。デスティネーション装置１４は、ソース装置１２によって生成された符号化映像データを復号することができ、それ故に、デスティネーション装置１４は、映像復号装置として参照され得る。様々な実装ソリューションにおいて、ソース装置１２、デスティネーション装置１４、又はソース装置１２及びデスティネーション装置１４の双方が、１つ以上のプロセッサと、該１つ以上のプロセッサに結合されたメモリとを含み得る。メモリは、以下に限られないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はこの明細書で説明されるように、コンピュータにアクセス可能な命令又はデータ構造の形態で所望のプログラムコードを格納するのに使用されることが可能な任意の他の媒体を含み得る。ソース装置１２及びデスティネーション装置１４は、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、例えば所謂“スマート”フォンなどの電話ハンドセット、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータ、無線通信装置、又はこれらに類するものを含め、様々な装置を含み得る。
図１Ａはソース装置１２及びデスティネーション装置１４を別々の装置として描いているが、装置実施形態は代わりに、ソース装置１２及びデスティネーション装置１４の両方、又はソース装置１２及びデスティネーション装置１４の両方の機能、すなわち、ソース装置１２若しくは対応する機能とデスティネーション装置１４若しくは対応する機能、を含んでもよい。そのような一実施形態において、ソース装置１２若しくは対応する機能、及びデスティネーション装置１４若しくは対応する機能は、同一のハードウェア及び／又はソフトウェア、別々のハードウェア及び／又はソフトウェア、又はこれらの何らかの組み合わせを用いることによって実装され得る。
ソース装置１２とデスティネーション装置１４との間の通信接続は、リンク１３を介して実装され得る。デスティネーション装置１４は、リンク１３を介してソース装置１２から符号化映像データを受信し得る。リンク１３は、符号化映像データをソース装置１２からデスティネーション装置１４へ移動させることができる１つ以上の媒体又は装置を含み得る。一例において、リンク１３は、ソース装置１２が符号化映像データをリアルタイムにデスティネーション装置１４に直接送信することを可能にする１つ以上の通信媒体を含み得る。この例において、ソース装置１２は、通信標準（例えば、無線通信プロトコル）に従って符号化映像データを変調することができ、また、変調した映像データをデスティネーション装置１４に送信することができる。上記１つ以上の通信媒体は、例えば無線周波数（ＲＦ）スペクトル又は１つ以上の物理的な伝送ケーブルといった、無線通信媒体及び／又は有線通信媒体を含み得る。上記１つ以上の通信媒体は、パケットベースのネットワークの一部であってもよく、パケットベースのネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク（例えば、インターネット）である。上記１つ以上の通信媒体は、ソース装置１２からデスティネーション装置１４への通信を支援するルータ、交換機、基地局、又は他の装置を含んでもよい。
ソース装置１２はエンコーダ２０を含む。オプションで、ソース装置１２は更に、ピクチャ源１６、ピクチャプリプロセッサ１８、及び通信インタフェース２２を含み得る。特定の一実装形態において、エンコーダ２０、ピクチャ源１６、ピクチャプリプロセッサ１８、及び通信インタフェース２２は、ソース装置１２内のハードウェアコンポーネントであってもよいし、あるいはソース装置１２内のソフトウェアプログラムであってもよい。以下の通り、説明を別々に提供する。
ピクチャ源１６は、例えば実世界のピクチャをキャプチャするように構成された任意のタイプのピクチャキャプチャデバイス、及び／又は、例えばコンピュータアニメーションピクチャを生成するように構成されたコンピュータグラフィックスプロセッサといった、ピクチャ若しくはコメント（スクリーンコンテンツ符号化のためのものであり、スクリーン上の一部のテキストも符号化対象ピクチャ若しくは画像の一部と考えられる）を生成する任意のタイプのデバイス、又は、実世界のピクチャ若しくはコンピュータアニメーションピクチャ（例えば、スクリーンコンテンツ若しくは仮想現実（virtual reality、ＶＲ）ピクチャ）及び／又はこれらの任意の組み合わせ（例えば、拡張現実（augmented reality、ＡＲ）ピクチャ）を取得及び／又は提供するように構成された任意のタイプのデバイスを含むことができ、あるいは、それであることができる。ピクチャ源１６は、ピクチャをキャプチャするように構成されたカメラ又はピクチャを格納するように構成されたメモリであってもよい。ピクチャ源１６は更に、先行してキャプチャ又は生成されたピクチャがそれを介して格納される及び／又はピクチャがそれを介して取得又は受信される任意のタイプの（内部又は外部）インタフェースを含み得る。ピクチャ源１６がカメラである場合、ピクチャ源１６は、例えば、ローカルなカメラ、又はソース装置に集積された集積カメラとし得る。ピクチャ源１６がメモリである場合、ピクチャ源１６は、ローカルなメモリ、又は、例えば、ソース装置に集積された集積メモリとし得る。ピクチャ源１６がインタフェースを含む場合、インタフェースは、例えば、外部映像源からピクチャを受信するための外部インタフェースとし得る。外部映像源は、例えば、カメラ、外部メモリ、又は外部ピクチャ生成装置などの外部ピクチャキャプチャリング装置である。外部ピクチャ生成装置は、例えば、外部コンピュータグラフィックスプロセッサ、コンピュータ、又はサーバである。インタフェースは、例えば、何らかの独自の又は標準化されたインタフェースプロトコルに従った有線若しくは無線インタフェース又は光インタフェースといった、任意のタイプのインタフェースとし得る。
ピクチャは、ピクチャエレメント（picture element）の二次元アレイ又はマトリクスとみなされ得る。アレイ内のピクチャエレメントはサンプルとも称され得る。アレイ又はピクチャの水平及び垂直方向（又は軸）のサンプルの数が、ピクチャのサイズ及び／又は解像度を定める。色の表現のため、通常、３つのカラーコンポーネントが採用され、具体的には、ピクチャは、３つのサンプルアレイとして表現されることができ、あるいは、それらを含むことができる。例えば、ＲＢＧフォーマット又は色空間では、ピクチャは対応する赤、緑、及び青のサンプルアレイを含む。しかしながら、映像コーディングにおいて、各サンプルは、通常、ルミナンス／クロミナンスフォーマット又は色空間で表現される。例えば、ＹＵＶフォーマットのピクチャは、Ｙによって示されるルミナンスコンポーネント（代わりにＬによって示されるときもある）と、Ｕ及びＶによって示される２つのクロミナンスコンポーネントとを含む。ルミナンス（ルマ（luma））コンポーネントＹは、輝度又はグレーレベル強度（例えば、グレースケールピクチャではどちらも同じである）を表し、２つのクロミナンス（クロマ（chroma））コンポーネントＵ及びＶは、色度又は色情報コンポーネントを表す。対応して、ＹＵＶフォーマットのピクチャは、ルミナンスサンプル値（Ｙ）のルミナンスサンプルアレイと、クロミナンス値（Ｕ及びＶ）の２つのクロミナンスサンプルアレイとを含む。ＲＧＢフォーマットのピクチャがＹＵＶフォーマットに変換される（transformed又はconverted）ことがあり、その逆もまた然りである。このプロセスは色変換（color conversion又はtransformation）とも称される。ピクチャがモノクロである場合、そのピクチャはルミナンスサンプルアレイのみを含み得る。この出願のこの実施形態において、ピクチャ源１６によってピクチャプロセッサに送られるピクチャを、ロー（raw）ピクチャデータ１７と称することもある。
ピクチャプリプロセッサ１８は、ローピクチャデータ１７を受信してローピクチャデータ１７に対して前処理を行うことで、前処理されたピクチャ１９又は前処理されたピクチャデータ１９を得るように構成される。例えば、ピクチャプリプロセッサ１８によって実行される前処理は、トリミング、カラーフォーマット変換（例えば、ＲＧＢフォーマットからＹＵＶフォーマットへ）、色補正、又はノイズ除去を含み得る。
エンコーダ２０（ビデオエンコーダ２０とも称する）は、前処理されたピクチャデータ１９を受信し、前処理されたピクチャデータ１９を関連する予測モード（例えば、この明細書の実施形態における予測モードなど）で処理することで、符号化ピクチャデータ２１を提供するように構成される（エンコーダ２０の構成の詳細については、図２、図４、又は図５に基づいて更に後述する）。一部の実施形態において、エンコーダ２０は、以下に記載される様々な実施形態を実行して、この出願に記載されるクロマブロック予測方法のエンコーダ側適用を実施するように構成され得る。
通信インタフェース２２は、符号化ピクチャデータ２１を受信し、符号化ピクチャデータ２１を、ストレージ又は直接的な再構成のために、リンク１３を介してデスティネーション装置１４又は何らかの他の装置（例えば、メモリ）に送信するように構成され得る。該他の装置は、復号又はストレージに使用される任意の装置とし得る。通信インタフェース２２は、例えば、符号化ピクチャデータ２１を、例えばデータパケットをいった、リンク１３上での伝送に適したフォーマットへとカプセル化するように構成され得る。
デスティネーション装置１４はデコーダ３０を含む。オプションで、デスティネーション装置１４は更に、通信インタフェース２８、ピクチャポストプロセッサ３２、及び表示装置３４を含み得る。以下の通り、説明を別々に提供する。
通信インタフェース２８は、符号化ピクチャデータ２１をソース装置１２又は何らかの他のソースから受信するように構成され得る。該何らかの他のソースは、例えば、ストレージ装置である。該ストレージ装置は、例えば、符号化ピクチャデータストレージ装置である。通信インタフェース２８は、ソース装置１２とデスティネーション装置１４との間のリンク１３を介して、又は任意のタイプのネットワークを介して、符号化ピクチャデータ２１を送信又は受信するように構成され得る。リンク１３は、例えば、直接有線又は無線接続である。上記任意のタイプのネットワークは、例えば、有線若しくは無線ネットワーク又はこれらの任意の組み合わせ、又は任意のタイプの私設若しくは公衆ネットワーク又はこれらの任意の組み合わせである。通信インタフェース２８は、例えば、通信インタフェース２２を介して伝送されたデータパケットのカプセル化を解いて、符号化ピクチャデータ２１を得るように構成され得る。
通信インタフェース２８及び通信インタフェース２２はどちらも、一方向通信インタフェース又は双方向通信インタフェースとして構成されることができ、例えば、接続を確立するためにメッセージを送受信するとともに、通信リンク及び／又は例えば符号化ピクチャデータ伝送などのデータ伝送に関係する何らかの他の情報を確認及び交換するように構成され得る。
デコーダ３０は、符号化ピクチャデータ２１を受信し、復号ピクチャデータ３１又は復号ピクチャ３１を提供するように構成される（デコーダ３０の構成の詳細については、図３、図４、又は図５に基づいて更に後述する）。一部の実施形態において、デコーダ３０は、以下に記載される様々な実施形態を実行して、この出願に記載されるクロマブロック予測方法のデコーダ側適用を実施するように構成され得る。
ピクチャポストプロセッサ３２は、復号ピクチャデータ３１（再構成ピクチャデータとも称する）を後処理して、後処理されたピクチャデータ３３を得るように構成される。ピクチャポストプロセッサ３２によって実行される後処理は、カラーフォーマット変換（例えば、ＹＵＶフォーマットからＲＧＢフォーマットへ）、色補正、トリミング、リサンプリング、又は何らかの他の処理を含み得る。ピクチャポストプロセッサ３２は更に、後処理されたピクチャデータ３３を表示装置３４に送信するように構成され得る。
表示装置３４は、後処理されたピクチャデータ３３を受信して、ピクチャを、例えばユーザ又は視聴者に表示するように構成される。表示装置３４は、例えば一体化された又は外付けのディスプレイ又はモニタなど、再構成ピクチャを提示するための任意のタイプのディスプレイとすることができ、あるいは、それを含むことができる。例えば、ディスプレイは、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、有機発光ダイオード（organic light emitting diode、ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、液晶・オン・シリコン（liquid crystal on silicon、ＬＣｏＳ）、デジタル光プロセッサ（digital light processor、ＤＬＰ）、又は任意のタイプの他のディスプレイを含み得る。
図１Ａは、ソース装置１２及びデスティネーション装置１４を別々の装置として描いているが、装置実施形態は代わりに、ソース装置１２及びデスティネーション装置１４の両方、又はソース装置１２及びデスティネーション装置１４の両方の機能、すなわち、ソース装置１２若しくは対応する機能とデスティネーション装置１４若しくは対応する機能、を含んでもよい。そのような一実施形態において、ソース装置１２若しくは対応する機能、及びデスティネーション装置１４若しくは対応する機能は、同一のハードウェア及び／又はソフトウェア、別々のハードウェア及び／又はソフトウェア、又はこれらの何らかの組み合わせを用いることによって実装され得る。
これらの説明に基づいて当業者に明らかになるように、図１Ａに示したソース装置１２及び／又はデスティネーション装置１４の異なるユニット又は機能の存在及び（厳密な）機能分割は、実際の装置及び用途に応じて変わり得る。ソース装置１２及びデスティネーション装置１４は、例えば、ノートブック若しくはラップトップコンピュータ、携帯電話、スマートフォン、タブレット若しくはタブレットコンピュータ、ビデオカメラ、デスクトップコンピュータ、セットトップボックス、テレビ、カメラ、車載装置、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、映像ストリーミング装置（例えばコンテンツサービスサーバ又はコンテンツ配信サーバなど）、放送受信器装置、又は放送送信器装置といった、任意のタイプのハンドヘルド装置又は固定装置を含め、広範な装置のうちのいずれを含んでもよく、また、何らかの種類のオペレーティングシステムを使用してもよいし使用しなくてもよい。
エンコーダ２０及びデコーダ３０は各々、例えば、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、ディスクリートロジック、ハードウェア、又はこれらの任意の組み合わせといった、様々な好適な回路のうちのいずれかとして実装され得る。ソフトウェアを用いることによって技術が部分的に実装される場合、装置は、ソフトウェア命令を好適な非一時的コンピュータ読み取り可能記憶媒体に格納し得るとともに、例えば１つ以上のプロセッサなどのハードウェアを用いることによって該命令を実行することで、この開示の技術を実行し得る。上述の内容（ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせ、及びこれらに類するものを含む）のいずれも、１つ以上のプロセッサとしてみなされてもよい。
一部のケースにおいて、図１Ａに示した映像符号化及び復号システム１０は単なる一例に過ぎず、この出願の技術は、符号化装置と復号装置との間に何らかのデータ通信を必ずしも含むものではない映像コーディング設定（例えば、映像符号化又は映像復号）に適用されてもよい。他の一例において、データは、ローカルメモリから取り出されたり、ネットワーク上でストリーミングされたり、などされることができる。映像符号化装置は、データを符号化して該データをメモリに格納することができ、及び／又は映像復号装置は、メモリからデータを取り出して該データを復号することができる。一部の例では、データを符号化して該データをメモリに格納する及び／又はメモリからデータを取り出して該データを復号するだけであって互いに通信しない装置が、符号化及び／又は復号を実行する。
図１Ｂは、一実施形態例に従った、図２のエンコーダ２０及び／又は図３のデコーダ３０を含む映像コーディングシステム４０の一例の説明図である。映像コーディングシステム４０は、この出願の実施形態における様々な技術の組み合わせを実装することができる。図示した実装において、映像コーディングシステム４０は、撮像装置４１、エンコーダ２０、デコーダ３０（及び／又は、処理回路４６の論理回路４７によって実装されるビデオエンコーダ／デコーダ）、アンテナ４２、１つ以上のプロセッサ４３、１つ以上のメモリ４４、及び／又は表示装置４５を含み得る。
図１Ｂに示すように、撮像装置４１、アンテナ４２、処理回路４６、論理回路４７、エンコーダ２０、デコーダ３０、プロセッサ４３、メモリ４４、及び／又は表示装置４５は、互いに通信することができる。説明するように、映像コーディングシステム４０は、エンコーダ２０及びデコーダ３０を有して示されているが、映像コーディングシステム４０は、異なる例ではエンコーダ２０のみ又はデコーダ３０のみを含んでいてもよい。
一部の例において、アンテナ４２は、映像データの符号化ビットストリームを送信又は受信するように構成され得る。さらに、一部の例において、表示装置４５は、映像データを提示するように構成され得る。一部の例において、論理回路４７は、処理回路４６によって実装され得る。処理回路４６は、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ、又はこれらに類するものを含み得る。映像コーディングシステム４０はまた、オプションのプロセッサ４３を含み得る。オプションのプロセッサ４３は、同様に、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ、又はこれらに類するものを含み得る。一部の例において、論理回路４７は、例えば映像コーディング用の専用ハードウェアといったハードウェアによって実装されてもよい。プロセッサ４３は、汎用ソフトウェア、オペレーティングシステム、又はこれらに類するものによって実装されてもよい。さらに、メモリ４４は、例えば、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）若しくはダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ））又は不揮発性メモリ（例えば、フラッシュメモリ）といった、任意のタイプのメモリとし得る。非限定的な一例において、メモリ４４は、キャッシュメモリによって実装され得る。一部の例において、論理回路４７は、メモリ４４にアクセスし得る（例えば、ピクチャバッファを実装するために）。他の例において、論理回路４７及び／又は処理回路４６は、ピクチャバッファを実装するためのメモリ（例えば、キャッシュ）を含んでいてもよい。
一部の例において、論理回路を用いることによって実装されるビデオエンコーダ２０は、ピクチャバッファ（これは、例えば、処理回路４６又はメモリ４４によって実装される）及びグラフィックス処理ユニット（これは、例えば、処理回路４６によって実装される）を含み得る。グラフィックス処理ユニットは、ピクチャバッファに通信可能に結合され得る。グラフィックス処理ユニットは、図２を参照して説明される様々なモジュール及び／又はこの明細書中で説明される何らかの他のエンコーダシステム若しくはサブシステムを実装するために、論理回路４７によって実装されたエンコーダ２０を含み得る。論理回路は、この明細書中で説明される様々な動作を実行するように構成され得る。
一部の例において、デコーダ３０は、図３のデコーダ３０を参照して説明される様々なモジュール及び／又はこの明細書中で説明される何らかの他のデコーダシステム若しくはサブシステムを実装するよう、同様にして論理回路４７によって実装され得る。一部の例において、論理回路を用いることによって実装されるデコーダ３０は、ピクチャバッファ（これは処理回路４６又はメモリ４４によって実装される）及びグラフィックス処理ユニット（これは、例えば、処理回路４６によって実装される）を含み得る。グラフィックス処理ユニットは、ピクチャバッファに通信可能に結合され得る。グラフィックス処理ユニットは、図３を参照して説明される様々なモジュール及び／又はこの明細書中で説明される何らかの他のデコーダシステム若しくはサブシステムを実装するために、論理回路４７によって実装されたデコーダ３０を含み得る。
一部の例において、アンテナ４２は、映像データの符号化ビットストリームを受信するように構成され得る。説明するように、符号化ビットストリームは、例えば、コーディング分割（例えば、変換係数又は量子化された変換係数、オプションのインジケータ（説明する）、及び／又はコーディング分割を定めるデータ）に関係するデータといった、映像フレーム符号化に関係し且つこの明細書中で説明されるデータ、インジケータ、インデックス値、モード選択データ、又はこれらに類するものを含み得る。映像コーディングシステム４０は更に、アンテナ４２に結合され且つ符号化ビットストリームを復号するように構成されたデコーダ３０を含み得る。表示装置４５は、映像フレームを提示するように構成される。
理解されるべきことには、この出願のこの実施形態において、エンコーダ２０を参照して説明した例に対し、デコーダ３０は逆プロセスを実行するように構成され得る。シンタックス要素をシグナリングすることに関して、デコーダ３０は、そのようなシンタックス要素を受信して解析し、それに対応して、関係する映像データを復号するように構成され得る。一部の例において、エンコーダ２０は、シンタックス要素を符号化映像ビットストリームにエントロピー符号化し得る。このような例において、デコーダ３０は、シンタックス要素を解析し、それに対応して、関係する映像データを復号し得る。
なお、この出願の実施形態に記載される映像ピクチャ符号化方法はエンコーダ２０上で実行され、この出願の実施形態に記載される映像ピクチャ復号方法はデコーダ３０上で実行される。この出願の実施形態におけるエンコーダ２０及びデコーダ３０は、例えば、Ｈ．２６３、Ｈ．２６４、ＨＥＶＣ、ＭＰＥＧ－２、ＭＰＥＧ－４、ＶＰ８、又はＶＰ９などの映像標準プロトコル、又は次世代映像標準プロトコル（例えばＨ．２６６など）に対応するエンコーダ／デコーダとし得る。
図２は、この出願の一実施形態を実装するように構成されたエンコーダ２０の一例の概略的／概念的なブロック図である。図２の例において、エンコーダ２０は、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）２３０、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０を含んでいる。予測処理ユニット２６０は、インター予測ユニット２４４、イントラ予測ユニット２５４、及びモード選択ユニット２６２を含み得る。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図には示さず）を含み得る。図２に示すエンコーダ２０は、ハイブリッドビデオエンコーダ、又はハイブリッドビデオコーデックに基づくビデオエンコーダとも称され得る。
例えば、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０は、エンコーダ２０の前方信号パスを形成し、それに対し、例えば、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）２３０、及び予測処理ユニット２６０は、エンコーダの反転信号パスを形成する。エンコーダの反転信号パスは、デコーダ（図３のデコーダ３０を参照）の信号パスに対応する。
エンコーダ２０は、例えば入力２０２を介して、例えば映像又は映像シーケンスを形成する一連のピクチャ内のピクチャといった、ピクチャ２０１、又はピクチャ２０１のピクチャブロック２０３を受信する。ピクチャブロック２０３は、現在ピクチャブロック又は符号化対象ピクチャブロックと呼ばれることもあり、ピクチャ２０１は、現在ピクチャ又は符号化対象ピクチャと呼ばれることもある（特に映像コーディングにおいて、現在ピクチャを、例えば、同一の映像シーケンス、すなわち、現在ピクチャも含む映像シーケンスの中の以前に符号化及び／又は復号されたピクチャといった、他のピクチャから区別するため）。
エンコーダ２０の一実施形態は、ピクチャ２０１を例えばピクチャブロック２０３などの複数のブロックに分割するように構成された分割ユニット（図２には描いていない）を含み得る。ピクチャ２０１は、通常、重なり合わない複数のブロックに分割される。分割ユニットは、映像シーケンス内の全てのピクチャに対して同じブロックサイズと、該ブロックサイズを定める対応するグリッドとを使用するように構成されてもよいし、あるいは、ピクチャ、又はサブセット、又はグループ・オブ・ピクチャの間でブロックサイズを変化させて、各ピクチャを対応するブロックに分割してもよい。
一例において、エンコーダ２０の予測処理ユニット２６０は、上述の分割技術の任意の組み合わせを実行するように構成され得る。
ピクチャブロック２０３のサイズはピクチャ２０１のサイズより小さいものの、ピクチャ２０１のように、ピクチャブロック２０３も、サンプル値を持つサンプルの二次元アレイ又はマトリクスであり、あるいは該二次元アレイ又はマトリクスとみなされることができる。換言すれば、ピクチャブロック２０３は、例えば、１つのサンプルアレイ（例えば、モノクロピクチャ２０１の場合のルマアレイ）、３つのサンプルアレイ（例えば、カラーピクチャの場合の１つのルマアレイと２つのクロマアレイ）、又は、適用されるカラーフォーマットに応じた何らかの他の数及び／又はタイプのアレイを含み得る。ピクチャブロック２０３の水平及び垂直方向（又は軸）のサンプルの数が、ピクチャブロック２０３のサイズを定める。
図２に示すエンコーダ２０は、ピクチャ２０１をブロックごとに符号化するように構成され、例えば、各ピクチャブロック２０３に対して符号化及び予測を実行するように構成される。
残差計算ユニット２０４は、ピクチャブロック２０３及び予測ブロック２６５（予測ブロック２６５についての更なる詳細は後で提供する）に基づいて残差ブロック２０５を計算するように構成され、例えば、サンプルごとに（ピクセルごとに）ピクチャブロック２０３のサンプル値から予測ブロック２６５のサンプル値を差し引くことによって、サンプルドメインにおける残差ブロック２０５を得るように構成される。
変換処理ユニット２０６は、例えば離散コサイン変換（discrete cosine transform、ＤＣＴ）又は離散サイン変換（discrete sine transform、ＤＳＴ）といった変換を残差ブロック２０５のサンプル値に適用して、変換ドメインにおける変換係数２０７を得るように構成される。変換係数２０７は、変換残差係数と呼ばれることもあり、変換ドメインにおける残差ブロック２０５を表す。
変換処理ユニット２０６は、例えばＨＥＶＣ／Ｈ．２６５に規定されている変換などの、ＤＣＴ／ＤＳＴの整数近似を適用するように構成されてもよい。直交ＤＣＴ変換と比較して、このような整数近似は、通常、あるファクタに基づいてスケーリングされる。順変換及び逆変換を用いることによって処理される残差ブロックのノルムを保存するために、変換プロセスの一部として追加のスケールファクタが適用される。該スケールファクタは通常、例えば、シフト演算のために該スケールファクタは２のべき乗であること、変換係数のビット深さ、又は精度と実装コストとの間のトレードオフといった、幾つかの制約に基づいて選択される。例えば、を用いることによって、デコーダ３０側での例えば逆変換処理ユニット２１２による逆変換（及びエンコーダ２０側での例えば逆変換処理ユニット２１２による対応する逆変換）に対して、特定のスケールファクタが指定され、それに対応して、エンコーダ２０側での変換処理ユニット２０６による順変換に対して、対応するスケールファクタが指定され得る。
量子化ユニット２０８は、例えばスカラー量子化又はベクトル量子化を適用することによって、変換係数２０７を量子化して、量子化された変換係数２０９を得るように構成される。量子化された変換係数２０９は、量子化された残差係数２０９と呼ばれることもある。量子化プロセスは、変換係数２０７の一部の又は全てに関するビット深さを減少させ得る。例えば、ｎはｍより大きいとして、ｎビット変換係数が量子化においてｍビット変換係数に切り捨てられ得る。量子化の度合いは、量子化パラメータ（quantization parameter、ＱＰ）を調整することによって変更され得る。例えば、スカラー量子化では、より細かい又はより粗い量子化を達成するために複数の異なるスケールが適用され得る。より小さい量子化ステップサイズは、より細かい量子化に対応し、より大きい量子化ステップサイズは、より粗い量子化に対応する。量子化パラメータ（quantization parameter、ＱＰ）によって、適切な量子化ステップサイズが指し示され得る。例えば、量子化パラメータは、所定セットの適切な量子化ステップサイズに対するインデックスとし得る。例えば、より小さい量子化パラメータがより細かい量子化（より小さい量子化ステップサイズ）に対応するとともに、より大きい量子化パラメータがより粗い量子化（より大きい量子化ステップサイズ）に対応することができ、その逆もまた然りである。量子化は、量子化ステップサイズによる除算と、対応する量子化又は例えば逆量子化ユニット２１０によって実行される逆量子化とを含むことができ、あるいは、量子化ステップサイズによる乗算を含んでもよい。例えばＨＥＶＣなどの一部の標準に従った実施形態では、量子化パラメータを用いて量子化ステップサイズを決定し得る。一般に、量子化ステップサイズは、除算を含む式の不動点近似を用いることによって、量子化パラメータに基づいて計算され得る。残差ブロックのノルムを復元するために、更なるスケールファクタが量子化及び量子化解除に導入されてもよく、残差ブロックのノルムは、量子化ステップサイズ及び量子化パラメータに関する式の不動点近似に使用されるスケールのために変更され得るものである。一実装例において、逆変換のスケールが量子化解除のスケールと結合されてもよい。あるいは、カスタマイズされた量子化テーブルを使用し、それをエンコーダからデコーダへ例えばビットストリーム内でシグナリングしてもよい。量子化は、損失を伴う演算であり、より大きい量子化ステップは、より大きい損失を示す。
逆量子化ユニット２１０は、量子化された係数に量子化ユニット２０８の逆量子化を適用して、量子化解除された係数２１１を得るように構成され、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づいて又はそれを用いて、量子化ユニット２０８によって適用される量子化スキームの逆を適用するように構成される。量子化解除された係数２１１は、量子化解除された残差係数２１１と呼ばれることもあり、変換係数２０７に対応し得るが、量子化解除された係数２１１は、通常、量子化によって生じる損失のために変換係数とは異なる。
逆変換処理ユニット２１２は、例えば逆離散コサイン変換（discrete cosine transform、ＤＣＴ）又は逆離散サイン変換（discrete sine transform、ＤＳＴ）といった、変換処理ユニット２０６によって適用される変換の逆変換を適用して、サンプルドメインにおける逆変換ブロック２１３を得るように構成される。逆変換ブロック２１３は、逆変換量子化解除ブロック２１３又は逆変換残差ブロック２１３と呼ばれることもある。
再構成ユニット２１４（例えば、加算器２１４）は、例えば再構成残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とを足し合わせることによって、逆変換ブロック２１３（すなわち、再構成残差ブロック２１３）を予測ブロック２６５に足し合わせて、サンプルドメインにおける再構成ブロック２１５を得るように構成される。
オプションで、例えばイントラ予測のために、再構成ブロック２１５及び対応するサンプル値をバッファリング又は格納するように、例えばラインバッファ２１６のバッファユニット２１６（略して“バッファ”２１６）が構成される。他の実施形態において、エンコーダは、例えばイントラ予測といった何らかのタイプの推定及び／又は予測のためにバッファユニット２１６に格納された、フィルタリングされていない再構成ブロック及び／又は対応するサンプル値を使用するように構成されてもよい。
例えば、一実施形態において、エンコーダ２０は、イントラ予測２５４のために使用されるだけでなくループフィルタユニット２２０内のユニット（図２には示さず）にも使用される再構成ブロック２１５をバッファユニット２１６が格納するように、及び／又は例えばバッファユニット２１６及び復号ピクチャバッファ２３０が１つのバッファを形成するように、構成されてもよい。他の一実施形態では、フィルタリングされたブロック２２１及び／又は復号ピクチャバッファ２３０からのブロック若しくはサンプル（図２には示さず）が、イントラ予測ユニット２５４のための入力又は基礎として使用される。
ループフィルタユニット２２０（略して“ループフィルタ”２２０）は、サンプル遷移をスムーズにするように又は映像品質を向上させるように、再構成ブロック２１５をフィルタリングして、フィルタリングされたブロック２２１を得るように構成される。ループフィルタユニット２２０は、例えば、デブロッキングフィルタ、サンプル適応オフセット（sample-adaptive offset、ＳＡＯ）フィルタ、又は例えばバイラテラルフィルタ、適応ループフィルタ（adaptive loop filter、ＡＬＦ）、鮮明化若しくは平滑化フィルタ、又は協調フィルタといった他のフィルタなどの、１つ以上のループフィルタを表すことを意図している。ループフィルタユニット２２０は、図２ではインループフィルタとして示されているが、他の一実装において、ループフィルタユニット２２０は、ポストループフィルタとして実装されてもよい。フィルタリングされたブロック２２１は、フィルタリングされた再構成ブロック２２１と呼ばれることもある。ループフィルタユニット２２０が再構成符号化ブロックに対してフィルタリング処理を行った後、復号ピクチャバッファ２３０が再構成符号化ブロックを格納し得る。
一実施形態において、エンコーダ２０（対応して、ループフィルタユニット２２０）は、デコーダ３０が同じループフィルタパラメータを受信して復号に適用することができるように、ループフィルタパラメータ（例えば、サンプル適応オフセット情報）を、例えば、直接的に、あるいはエントロピー符号化ユニット２７０又は何らかの他のエントロピー符号化ユニットによって実行されるエントロピー符号化の後に、出力するように構成され得る。
復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）２３０は、エンコーダ２０による映像データ符号化における使用のために参照ピクチャデータを格納する参照ピクチャメモリとし得る。ＤＰＢ２３０は、例えばダイナミックランダムアクセスメモリ（dynamic random access memory、ＤＲＡＭ）（同期ＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（magnetoresistive RAM、ＭＲＡＭ）、又は抵抗ＲＡＭ（resistive RAM、ＲＲＡＭ）を含む）、又は他のタイプのメモリデバイスなどの、多様なメモリデバイスのうちの任意のものを含み得る。ＤＰＢ２３０及びバッファ２１６は、同一のメモリデバイスによって提供されてもよいし、別々のメモリデバイスによって提供されてもよい。一例において、復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）２３０は、フィルタリングされたブロック２２１を格納するように構成される。復号ピクチャバッファ２３０は更に、同じ現在ピクチャの、又は例えば先行して再構成されたピクチャといった異なるピクチャの、例えば先行して再構成されてフィルタリングされたブロック２２１といった、他の先行してフィルタリングされたブロックを格納するように構成されてもよく、また、例えばインター予測のために、完全な先行して再構成すなわち復号されたピクチャ（並びに対応する参照ブロック及びサンプル）、及び／又は部分的に再構成された現在ピクチャ（並びに対応する参照ブロック及びサンプル）を提供してもよい。一例において、再構成ブロック２１５がインループフィルタリングなしで再構成される場合、復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）２３０は、再構成ブロック２１５を格納するように構成される。
ブロック予測処理ユニット２６０とも称される予測処理ユニット２６０は、ピクチャブロック２０３（現在ピクチャ２０１の現在ピクチャブロック２０３）と、例えばバッファ２１６からの同じ（現在）ピクチャの参照サンプル及び／又は復号ピクチャバッファ２３０からの１つ以上の先行復号ピクチャの参照ピクチャデータ２３１といった再構成ピクチャデータとを受信又は取得し、そして、そのようなデータを予測のために処理する、具体的には、インター予測ブロック２４５又はイントラ予測ブロック２５５とし得る予測ブロック２６５を提供する、ように構成される。
モード選択ユニット２６２は、残差ブロック２０５の計算のため及び再構成ブロック２１５の再構成のために、予測モード（例えば、イントラ予測モード又はインター予測モード）及び／又は予測ブロック２６５として使用される対応する予測ブロック２４５又は２５５を選択するように構成され得る。
一実施形態において、モード選択ユニット２６２は、（例えば、予測処理ユニット２６０によってサポートされる予測モードから）予測モードを選択するように構成されることができ、予測モードは、最良の一致又は換言して最小の残差（最小の残差は、伝送又はストレージにとっていっそう良好な圧縮を意味する）を提供し、あるいは、最小のシグナリングオーバヘッド（最小のシグナリングオーバヘッドは、伝送又はストレージにとっていっそう良好な圧縮を意味する）を提供し、あるいは、これら両方を考慮したりバランスさせたりする。モード選択ユニット２６２は、レート歪み最適化（rate distortion optimization、ＲＤＯ）に基づいて予測モードを決定する、具体的には、最小のレート歪み最適化を提供する予測モードを選択する、あるいは、関連するレート歪みが少なくとも予測モード選択基準を満足する予測モードを選択する、ように構成され得る。
以下、エンコーダ２０の一例によって実行される予測処理（例えば、予測処理ユニット２６０によって実行される）及びモード選択（例えば、モード選択ユニット２６２によって実行される）について詳細に説明する。
上述のように、エンコーダ２０は、（所定の）予測モードのセットから最適な又は最善の予測モードを決定又は選択するように構成される。予測モードのセットは、例えば、イントラ予測モード及び／又はインター予測モードを含み得る。
イントラ予測モードのセットは、例えばＤＣ（又は平均）モード及び平面モードなどの非方向モード、又は例えばＨ．２６５に規定されるものなどの方向モードといった、３５個の異なるイントラ予測モードを含んでもよいし、あるいは、例えばＤＣ（又は平均）モード及び平面モードなどの非方向モード、又は例えば開発中のＨ．２６６に規定されるものなどの方向モードといった、６７個の異なるイントラ予測モードを含んでもよい。
取り得る一実装において、インター予測モードのセットは、利用可能な参照ピクチャ（すなわち、例えば、上述のように、ＤＢＰ２３０に格納された少なくとも一部の復号ピクチャ）及び他のインター予測パラメータに依存し、例えば、参照ピクチャ全体が使用されるのか、それとも、例えば現在ブロックの領域の周囲の探索ウィンドウ領域といった参照ピクチャの一部のみが使用されるのかに依存し、且つ／或いは、例えば、１／２サンプル及び／又は１／４サンプル補間などのサンプル補間が適用されるのかに依存する。インター予測モードのセットは、例えば、スキップ（skip）モード及びマージ（merge）モードを含み得る。特定の実装において、インター予測モードのセットは、この出願の実施形態において、スキップベースのマージ・ウイズ・動きベクトル差（merge with motion vector difference、ＭＭＶＤ）モード又はマージベースのＭＭＶＤモードを含み得る。一例において、イントラ予測ユニット２５４は、後述するインター予測技術の何らかの組み合わせを実行するように構成されてもよい。
上述の予測モードに加えて、この出願の実施形態ではスキップモード及び／又はダイレクトモードも適用され得る。
予測処理ユニット２６０は更に、ピクチャブロック２０３を、例えば四分木（quad-tree、ＱＴ）分割、二分木（binary-tree、ＢＴ）分割、三分木（ternary-tree、ＴＴ）分割、又はこれらの何らかの組み合わせを繰り返し用いることによって、より小さいブロックパーティション又はサブブロックに分割し、そして、例えば、ブロックパーティション又はサブブロックの各々に対して予測を実行するように構成され得る。モード選択は、分割されるピクチャブロック２０３のツリー構造の選択と、ブロックパーティション又はサブブロックの各々に使用される予測モードの選択とを含む。
インター予測ユニット２４４は、動き推定（motion estimation、ＭＥ）ユニット（図２には示さず）及び動き補償（motion compensation、ＭＣ）ユニット（図２には示さず）を含み得る。動き推定ユニットは、動き推定のために、ピクチャブロック２０３（現在ピクチャ２０１の現在ピクチャブロック２０３）及び復号ピクチャ２３１、又は例えば他の／異なる先行復号ピクチャ２３１の１つ以上の再構成ブロックといった少なくとも１つ以上の先行再構成ブロックとを、受信又は取得するように構成される。例えば、映像シーケンスは、現在ピクチャ及び先行復号ピクチャ２３１を含むことができ、又は換言して、現在ピクチャ及び先行復号ピクチャ２３１が、映像シーケンスを形成する一連のピクチャの一部であるか形成するかし得る。
例えば、エンコーダ２０は、複数の他のピクチャのうちの同一ピクチャ又は複数の異なるピクチャの複数の参照ブロックから参照ブロックを選択し、動き推定ユニット（図２には示さず）に、参照ピクチャを提供し、及び／又は参照ブロックの位置（座標Ｘ及びＹ）と現在ブロックの位置との間のオフセット（空間オフセット）をインター予測パラメータとして提供するように構成され得る。このオフセットは、動きベクトル（motion vector、ＭＶ）とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得し、インター予測パラメータに基づいて又はそれを用いることによってインター予測を実行して、インター予測ブロック２４５を得るように構成される。動き補償ユニット（図２には示さず）によって実行される動き補償は、動き推定を通じて決定された動き／ブロックベクトルに基づいて、予測ブロックをフェッチ又は生成することを含み得る（場合により、サブピクセル精度での補間を実行する）。補間フィルタリングは、既知のサンプルから追加のピクセルサンプルを生成することができ、それにより、ピクチャブロックをコーディングするのに使用され得る候補予測ブロックの数を増やせる可能性がある。現在ピクチャブロックのＰＵに関する動きベクトルを受信すると、動き補償ユニット２４６は、動きベクトルが指す予測ブロックを、参照ピクチャリストのうちの１つ内で位置特定し得る。動き補償ユニット２４６はまた、ブロック及び映像スライスに関連するシンタックス要素を生成することができ、デコーダ３０が該シンタックス要素を用いて映像スライス内のピクチャブロックを復号するようにし得る。
具体的には、インター予測ユニット２４４は、シンタックス要素をエントロピー符号化ユニット２７０に送信することができ、シンタックス要素は、インター予測パラメータ（例えば、複数のインター予測モードの検討後の、現在ブロックの予測に使用されるインター予測モードの選択のインジケーション情報など）を含む。取り得る一適用シナリオにおいて、１つのインター予測モードのみがある場合、代わりに、インター予測パラメータはシンタックス要素内で運ばれなくてもよい。この場合、デコーダ側３０は、デフォルトの予測モードを用いることにより直接的に復号を実行し得る。理解され得ることには、インター予測ユニット２４４は、複数のインター予測技術の何らかの組み合わせを実行するように構成され得る。
イントラ予測ユニット２５４は、イントラ推定のために、ピクチャブロック２０３（現在ピクチャブロック）と、例えば同じピクチャの再構成済みの隣接ブロックといった１つ以上の先行再構成ブロックとを、例えば受信するなどして取得するように構成される。エンコーダ２０は、例えば、複数の（所定の）イントラ予測モードからイントラ予測モードを選択するように構成され得る。
一実施形態において、エンコーダ２０は、例えば最小残差（例えば、現在ピクチャブロック２０３に最も類似する予測ブロック２５５を提供するイントラ予測モード）又は最小レート歪みに基づいてなど、最適化基準に従ってイントラ予測モードを選択するように構成される。
イントラ予測ユニット２５４は更に、例えば、選択されたイントラ予測モードにおけるイントラ予測パラメータに基づいて、イントラ予測ブロック２５５を決定するように構成される。いずれにしても、ブロックに対するイントラ予測モードを選択した後、イントラ予測ユニット２５４は更に、イントラ予測パラメータ、すなわち、そのブロックに対して選択されたイントラ予測モードを指し示す情報を、エントロピー符号化ユニット２７０に提供するように構成される。一例において、イントラ予測ユニット２５４は、複数のイントラ予測技術の何らかの組み合わせを実行するように構成され得る。
具体的には、イントラ予測ユニット２５４は、シンタックス要素をエントロピー符号化ユニット２７０に送信することができ、シンタックス要素は、イントラ予測パラメータ（例えば、複数のイントラ予測モードの検討後の、現在ブロックの予測に使用されるイントラ予測モードの選択のインジケーション情報など）を含む。取り得る一適用シナリオにおいて、１つのイントラ予測モードのみがある場合、代わりに、イントラ予測パラメータはシンタックス要素内で運ばれなくてもよい。この場合、デコーダ側３０は、デフォルトの予測モードにて直接的に復号を実行し得る。
エントロピー符号化ユニット２７０は、量子化された残差係数２０９、インター予測パラメータ、イントラ予測パラメータ、及び／又はループフィルタパラメータのうちの１つ又は全てに対して、エントロピー符号化アルゴリズム又はスキーム（例えば、可変長コーディング（variable length coding、ＶＬＣ）スキーム、コンテキスト適応ＶＬＣ（context adaptive VLC、ＣＡＶＬＣ）スキーム、算術コーディングスキーム、コンテキスト適応バイナリ算術コーディング（context adaptive binary arithmetic coding、ＣＡＢＡＣ）、シンタックスベースコンテキスト適応バイナリ算術コーディング（syntax-based context-adaptive binary arithmetic coding、ＳＢＡＣ）、確率インターバルパーティショニングエントロピー（probability interval partitioning entropy、ＰＩＰＥ）コーディング、又は他のエントロピー符号化方法若しくは技術）を適用して（又は適用せずに）、出力２７２を介して出力され得る符号化ピクチャデータ２１を例えば符号化ビットストリーム２１の形態で得るように構成される。符号化ビットストリームは、ビデオデコーダ３０に送信されてもよいし、あるいは、後の送信又はビデオデコーダ３０による取り出しのためにアーカイブされてもよい。エントロピー符号化ユニット２７０は更に、符号化中の現在映像スライスに対して、別のシンタックス要素をエントロピー符号化するように構成されてもよい。
映像ストリームを符号化するために、構造的に少し異なる別のビデオエンコーダ２０を使用することができる。例えば、非変換ベースのエンコーダ２０は、一部のブロック又はフレームに対して、変換処理ユニット２０６を用いずに直接的に残差信号を量子化し得る。他の一実装において、エンコーダ２０は、単一のユニットへと結合された量子化ユニット２０８及び逆量子化ユニット２１０を有していてもよい。
具体的には、この出願の実施形態において、エンコーダ２０は、以下の実施形態で説明される映像ピクチャ符号化方法を実装するように構成され得る。
理解されるべきことには、映像ストリームを符号化するために、構造的に少し異なる別のビデオエンコーダ２０を使用することができる。例えば、一部のピクチャブロック又はピクチャフレームに対して、ビデオエンコーダ２０は、残差信号を直接的に量子化してもよく、変換処理ユニット２０６による処理は必要とされず、対応して、逆変換処理ユニット２１２による処理も必要とされない。あるいは、一部のピクチャブロック又はピクチャフレームに対して、ビデオエンコーダ２０は残差データを生成せず、対応して、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、及び逆変換処理ユニット２１２による処理は必要とされない。あるいは、ビデオエンコーダ２０は、再構成ピクチャブロックを直接的に参照ブロックとして格納してもよく、フィルタ２２０による処理は必要とされない。あるいは、ビデオエンコーダ２０内の量子化ユニット２０８と逆量子化ユニット２１０とが組み合わされてもよい。ループフィルタ２２０はオプションである。また、可逆圧縮符号化の場合には、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、及び逆変換処理ユニット２１２はオプションである。理解されるべきことには、異なる適用シナリオにおいて、インター予測ユニット２４４及びイントラ予測ユニット２５４は選択的に使用され得る。
図３は、この出願の一実施形態を実装するように構成されたデコーダ３０の一例の概略的／概念的ブロック図である。ビデオデコーダ３０は、例えばエンコーダ２０によって符号化された、符号化ピクチャデータ（例えば、符号化ビットストリーム）２１を受信して、復号ピクチャ２３１を得るように構成される。復号プロセスにおいて、ビデオデコーダ３０は、ビデオエンコーダ２０から、例えば符号化映像スライスのピクチャブロック及び関連するシンタックス要素を表す符号化ビデオビットストリームといった、ビデオデータを受信する。
図３の例において、デコーダ３０は、エントロピー復号ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、加算器３１４）、バッファ３１６、ループフィルタ３２０、復号ピクチャバッファ３３０、及び予測処理ユニット３６０を含んでいる。予測処理ユニット３６０は、インター予測ユニット３４４、イントラ予測ユニット３５４、及びモード選択ユニット３６２を含み得る。一部の例において、ビデオデコーダ３０は、図２のビデオエンコーダ２０に関して説明した符号化プロセスに対して概して逆である復号プロセスを実行し得る。
エントロピー復号ユニット３０４は、符号化ピクチャデータ２１に対してエントロピー復号を実行して、例えば、量子化された係数３０９、及び／又は例えば（復号された）インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のうちのいずれか１つ又は全てといった、復号された符号化パラメータ（図３には示さず）、を得るように構成される。エントロピー復号ユニット３０４は更に、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素を、予測処理ユニット３６０に転送するように構成される。ビデオデコーダ３０は、映像スライスレベル及び／又は映像ブロックレベルのシンタックス要素を受信し得る。
逆量子化ユニット３１０は、逆量子化ユニット２１０と同じ機能を持つとし得る。逆変換処理ユニット３１２は、逆変換処理ユニット２１２と同じ機能を持つとし得る。再構成ユニット３１４は、再構成ユニット２１４と同じ機能を持つとし得る。バッファ３１６は、バッファ２１６と同じ機能を持つとし得る。ループフィルタ３２０は、ループフィルタ２２０と同じ機能を持つとし得る。復号ピクチャバッファ３３０は、復号ピクチャバッファ２３０と同じ機能を持つとし得る。
予測処理ユニット３６０は、インター予測ユニット３４４及びイントラ予測ユニット３５４を含み得る。インター予測ユニット３４４は、機能においてインター予測ユニット２４４に似ているとすることができ、イントラ予測ユニット３５４は、機能においてイントラ予測ユニット２５４に似ているとすることができる。予測処理ユニット３６０は、通常、ブロック予測を実行する及び／又は符号化データ２１から予測ブロック３６５を取得するとともに、例えばエントロピー復号ユニット３０４から、予測関連パラメータ及び／又は選択された予測モードについての情報を（明示的又は暗黙的に）受信又は取得するように構成される。
また、映像スライスがイントラ符号化（Ｉ）スライスへの符号化されるとき、予測処理ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モードと、現在フレーム又はピクチャの先行復号ブロックのデータとに基づいて、現在映像スライスのピクチャブロックに対する予測ブロック３６５を生成するように構成される。映像フレームが、インター符号化（すなわち、Ｂ又はＰ）スライスへと符号化されるとき、予測処理ユニット３６０内のインター予測ユニット３４４（例えば、動き補償ユニット）は、動きベクトル及びエントロピー復号ユニット３０４から受信される他のシンタックス要素に基づいて、現在映像スライス内の映像ブロックの予測ブロック３６５を生成するように構成される。インター予測では、１つの参照ピクチャリスト内の参照ピクチャのうちの１つから予測ブロックが生成され得る。ビデオデコーダ３０は、デフォルトの構築技術を使用することによって、及びＤＰＢ３３０に格納された参照ピクチャに基づいて、リスト０及びリスト１なる参照フレームリストを構築し得る。
予測処理ユニット３６０は、動きベクトル及び他のシンタックス要素を解析することによって、現在映像スライスの映像ブロックに対する予測情報を決定し、該予測情報を用いて、復号中の現在映像ブロックに対する予測ブロックを生成するように構成される。この出願の一例において、予測処理ユニット３６０は、受信した一部のシンタックス要素を用いることによって、映像スライス内の映像ブロックを符号化するための予測モード（例えば、イントラ予測又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、そのスライスに対する参照ピクチャリストのうちの１つ以上の構成情報と、そのスライス内の各インター符号化映像ブロックの動きベクトルと、そのスライス内の各インター符号化映像ブロックのインター予測状態と、他の情報とを決定して、現在映像スライス内の映像ブロックを復号する。この開示の他の一例において、ビデオデコーダ３０によってビットストリームから受信されるシンタックス要素は、適応パラメータセット（adaptive parameter set、ＡＰＳ）、シーケンスパラメータセット（sequence parameter set、ＳＰＳ）、ピクチャパラメータセット（picture parameter set、ＰＰＳ）、又はスライスヘッダのうちの１つ以上内のシンタックス要素を含む。
逆量子化ユニット３１０は、ビットストリーム内で提供されてエントロピー復号ユニット３０４によって復号された、量子化された変換係数に対して、逆量子化（すなわち、量子化解除）を実行するように構成され得る。逆量子化プロセスは、映像スライス内の各映像ブロックに対してビデオエンコーダ２０によって計算された量子化パラメータを用いて、適用されるべき量子化の度合いと、適用されるべき逆量子化の度合いとを決定することを含み得る。
逆変換処理ユニット３１２は、変換係数に逆変換（例えば、逆ＤＣＴ、逆整数変換、又は概念的に類似した逆変換プロセス）を適用して、サンプルドメインにおける残差ブロックを生成するように構成される。
再構成ユニット３１４（例えば、加算器３１４）は、例えば再構成残差ブロック３１３のサンプル値を予測ブロック３６５のサンプル値に足し合わせることによって、逆変換ブロック３１３（すなわち、再構成残差ブロック３１３）を予測ブロック３６５に足し合わせて、サンプルドメインにおける再構成ブロック３１５を得るように構成される。
ループフィルタユニット３２０（コーディングループの中又はコーディングループの後）は、サンプル遷移をスムーズにするように又は映像品質を向上させるように、再構成ブロック３１５をフィルタリングして、フィルタリングされたブロック３２１を得るように構成される。一例において、ループフィルタユニット３２０は、後述するフィルタリング技術の何らかの組み合わせを実行するように構成され得る。ループフィルタユニット３２０は、例えば、デブロッキングフィルタ、サンプル適応オフセット（sample-adaptive offset、ＳＡＯ）フィルタ、又は例えばバイラテラルフィルタ、適応ループフィルタ（adaptive loop filter、ＡＬＦ）、鮮明化若しくは平滑化フィルタ、又は協調フィルタといった他のフィルタなどの、１つ以上のループフィルタを表すことを意図している。ループフィルタユニット３２０は、図３ではインループフィルタとして示されているが、他の一実装において、ループフィルタユニット３２０はポストループフィルタとして実装されてもよい。
そして、所与のフレーム又はピクチャ内の復号映像ブロック３２１は、後続の動き補償に使用される参照ピクチャを格納する復号ピクチャバッファ３３０に格納される。
デコーダ３０は、例えば、復号ピクチャ３３１をユーザへの提示又は鑑賞のために出力３３２を介して出力するように構成される。
圧縮ビットストリームを復号するために、少し異なる別のビデオデコーダ３０を使用してもよい。例えば、デコーダ３０は、ループフィルタユニット３２０を用いずに出力ビデオストリームを生成してもよい。例えば、非変換ベースのデコーダ３０は、一部のブロック又はフレームに対して、逆変換処理ユニット３１２を用いずに直接的に残差信号を逆量子化することができる。他の一実装において、ビデオデコーダ３０は、単一のユニットへと結合された逆量子化ユニット３１０及び逆変換処理ユニット３１２を有していてもよい。
具体的には、この出願の実施形態において、デコーダ３０は、以下の実施形態で説明される映像ピクチャ復号方法を実装するように構成される。
理解されるべきことには、符号化映像ビットストリームを復号するために、構造的に少し異なる別のビデオデコーダ３０を使用することができる。例えば、ビデオデコーダ３０は、フィルタ３２０による処理なしで出力映像ストリームを生成してもよい。あるいは、一部のピクチャブロック又はピクチャフレームに対して、ビデオデコーダ３０のエントロピー復号ユニット３０４は、復号を通じて量子化された係数を取得せず、それに対応して、逆量子化ユニット３１０や逆変換処理ユニット３１２は処理を実行するのに必要でない。ループフィルタ３２０はオプションである。また、可逆圧縮の場合には、逆量子化ユニット３１０、逆変換処理ユニット３１２もオプションである。理解されるべきことには、異なる適用シナリオにおいて、インター予測ユニット及びイントラ予測ユニットは選択的に使用され得る。
理解されるべきことには、この出願におけるエンコーダ２０及びデコーダ３０上で、ある手順の処理結果は、更に処理された後に次の手順に出力されてもよい。例えば、補間フィルタリング、動きベクトル導出、又はループフィルタリングなどの手順の後に、対応する手順の処理結果に対して、例えばクリップ又はシフトなどの演算が更に実行される。
例えば、現在ピクチャブロックの制御点の動きベクトル、又は隣接するアフィンコーディングブロックの動きベクトルから導出された現在ピクチャブロックのサブブロックの動きベクトルが更に処理されてもよい。これは、この出願において限定されることではない。例えば、動きベクトルの値は、特定のビット幅範囲内にあるように制約される。動きベクトルの許容ビット幅がｂｉｔＤｅｐｔｈであると仮定すると、動きベクトルの値は、－２＾（ｂｉｔＤｅｐｔｈ－１）から２＾（ｂｉｔＤｅｐｔｈ－１）－１までの範囲であり、ここで、記号“＾”はべき乗を表す。ｂｉｔＤｅｐｔｈが１６である場合、値は－３２７６８から３２７６７までの範囲である。ｂｉｔＤｅｐｔｈが１８である場合、値は－１３１０７２から１３１０７１までの範囲である。他の一例では、動きベクトル（例えば、１つの８×８ピクチャブロック内の４つの４×４サブブロックの動きベクトルＭＶ）の値は、それら４つの４×４サブブロックのＭＶの整数部の間の最大の差が、例えば１サンプルを超えないなど、Ｎサンプルを超えないように制約される。
図４は、この出願の一実施形態に従った映像コーディング装置４００（例えば、映像符号化装置４００又は映像復号装置４００）の概略構成図である。映像コーディング装置４００は、この明細書に記載される実施形態を実装するのに適している。一実施形態において、映像コーディング装置４００は、ビデオデコーダ（例えば、図１Ａのデコーダ３０）又はビデオエンコーダ（例えば、図１Ａのエンコーダ２０）とし得る。他の一実施形態において、映像コーディング装置４００は、図１Ａのデコーダ３０又は図１Ａのエンコーダ２０の中の１つ以上のコンポーネントであってもよい。
映像コーディング装置４００は、データを受信するための入口ポート４１０及び受信ユニット（Ｒｘ）４２０と、データを処理するためのプロセッサ、論理ユニット、又は中央演算処理ユニット（ＣＰＵ）４３０と、データを送信するための送信器ユニット（Ｔｘ）４４０（又は短く送信器４４０と称する）及び出口ポート４５０と、データを格納するように構成されたメモリ４６０（例えば、メモリ４６０）とを含んでいる。映像コーディング装置４００は更に、光信号又は電気信号の出入りのために入口ポート４１０、受信器ユニット４２０（又は短く受信器４２０と称する）、送信器ユニット４４０、及び出口ポート４５０に結合された、光－電気変換コンポーネント及び電気－光（ＥＯ）コンポーネントを含み得る。
プロセッサ４３０は、ハードウェア及びソフトウェアによって実装される。プロセッサ４３０は、１つ以上の、ＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実装され得る。プロセッサ４３０は、入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、出口ポート４５０、及びメモリ４６０と通信する。プロセッサ４３０は、コーディングモジュール４７０（例えば、符号化モジュール４７０又は復号モジュール４７０）を含む。符号化／復号モジュール４７０は、この出願の実施形態で提供されるクロミナンスブロック予測方法を実施するよう、この明細書で開示される実施形態を実装する。例えば、符号化／復号モジュール４７０は、様々なコーディング動作を実行し、処理し、又は提供する。従って、符号化／復号モジュール４７０は、映像コーディング装置４００の機能を実質的に向上させ、映像コーディング装置４００の複数の異なる状態への変換に影響を与える。あるいは、符号化／復号モジュール４７０は、メモリ４６０に格納されてプロセッサ４３０によって実行される命令として実装される。
メモリ４６０は、１つ以上のディスク、テープドライブ、及びソリッドステートドライブを含み、オーバーフローデータ記憶デバイスとして使用されて、実行のためにプログラムが選択されるときに該プログラムを格納することができ、また、プログラム実行中に読み出される命令及びデータを格納することができる。メモリ４６０は、揮発性及び／又は不揮発性とすることができ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ternary content-addressable memory、ＴＣＡＭ）、及び／又はスタティックランダムアクセスメモリ（ＳＲＡＭ）とし得る。
図５は、一実施形態例に従った、図１Ａのソース装置１２及びデスティネーション装置１４のうちのいずれか又は２つとして使用され得る装置５００の簡略ブロック図である。装置５００は、この出願の技術を実装することができる。換言すれば、図５は、この出願の一実施形態に従った符号化装置又は復号装置（略してコーディング装置５００）の一実装の概略ブロック図である。コーディング装置５００は、プロセッサ５１０、メモリ５３０、及びバスシステム５５０を含み得る。プロセッサとメモリは、バスシステムを介して接続される。メモリは命令を格納するように構成される。プロセッサは、メモリに格納された命令を実行するように構成される。コーディング装置のメモリがプログラムコードを格納し、プロセッサが、メモリに格納されたプログラムコードを呼び出して、この出願で説明される様々な映像ピクチャ符号化又は復号方法、特に、様々なインター予測モード又はイントラ予測モードでの映像符号化又は復号方法を実行し得る。繰り返しを避けるため、詳細をここで再び説明することはしない。
この出願のこの実施形態において、プロセッサ５１０は、中央演算処理ユニット（Central Processing Unit、略して“ＣＰＵ”）とし得る。あるいは、プロセッサ５１０は、他の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートのゲート若しくはトランジスタロジックデバイス、ディスクリートのハードウェアコンポーネント、又はこれらに類するものであってもよい。汎用プロセッサはマイクロプロセッサであってもよく、あるいは、プロセッサは任意の従来プロセッサ又はそれに類するものであってもよい。
メモリ５３０は、読み出し専用メモリ（ＲＯＭ）デバイス又はランダムアクセスメモリ（ＲＡＭ）デバイスを含み得る。代わりに何らかの他の好適タイプの記憶デバイスがメモリ５３０として使用されてもよい。メモリ５３０は、バス５５０を介してプロセッサ５１０によってアクセスされるコード及びデータ５３１を含み得る。メモリ５３０は更に、オペレーティングシステム５３３及びアプリケーションプログラム５３５を含み得る。アプリケーションプログラム５３５は、この出願で説明される映像符号化又は復号方法（特に、この出願で説明される映像ピクチャ予測方法又はインター予測方法）をプロセッサ５１０が実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５３５は、アプリケーション１乃至Ｎを含むことができ、そして更に、この出願で説明される映像符号化又は復号方法を実行する映像符号化又は復号アプリケーション（略して映像コーディングアプリケーションと称する）を含むことができる。
データバスに加えて、バスシステム５５０は更に、電力バス、制御バス、状態信号バス、及びこれらに類するものを含み得る。しかしながら、明瞭な説明のため、図中の様々なタイプのバスをバスシステム５５０としてマーキングしている。
オプションで、コーディング装置５００は更に、例えばディスプレイ５７０といった１つ以上の出力装置を含み得る。一例において、ディスプレイ５７０は、タッチ入力を動作可能に検知するタッチユニットとディスプレイとを組み合わせたタッチディスプレイとし得る。ディスプレイ５７０は、バス５５０を介してプロセッサ５１０に接続され得る。
この出願の実施形態において、インター予測は重要なステップである。エンコーダ側の観点からは、インター予測は、現在ピクチャ内の現在コーディングブロックに対して合致する参照ブロックに関する再構成ピクチャを探索することである。図５Ａに示すように、参照ブロック（例えば、参照ブロックＦｒ１又は参照ブロックＦｒ２であり、参照ブロック内のサンプル値をこの出願における参照サンプル値として理解し得る）内のサンプルのサンプル値が、現在コーディングブロック（すなわち、現在ピクチャブロック）Ｆｃ内のサンプルのサンプル値の予測情報又は予測値（以下では“情報”と“値”とを区別しない）として使用される。このプロセスを動き推定ＭＥと称する。また、現在コーディングブロックの動き情報は伝送される。デコーダ側の観点からは、インター予測の間に解析を通じて動き情報を得る必要があり、得られた動き情報に基づいて参照ブロックが再構成ピクチャ内で決定され、参照ブロック内のサンプルのサンプル値（すなわち、参照サンプル値）が予測情報として使用される。このプロセスを動き補償ＭＣと称する。予測情報と残差情報とを組み合わせ、そして、組み合わせた情報に対してフィルタリング演算を実行することによって、再構成情報を得ることができる。この出願におけるアイディアは、ＨＥＶＣにおいて使用されてもよいし、あるいは他の映像コーディング標準において使用されてもよい。以下では、このアイディアをＨＥＶＣにおいて使用する例を用いることにより、エンコーダ側でのインター予測モードの取り得るケースを説明する。デコーダ側でのインター予測モードの取り得るケースは同様であり、従って、追加の説明を供することはしない。
ＨＥＶＣにおいては、アドバンスト動きベクトル予測（Advanced Motion Vector Prediction、ＡＭＶＰ）モードとマージ（Merge）モードとの、２つのモードが存在する。以下では、これら２つのモードについて別々に説明する。
ＡＭＶＰモードでは、先ず、現在コーディングブロックに空間的又は時間的に隣接する符号化ブロックの動き情報を用いることによって、アフィン候補動きベクトルリストが構築され、次いで、アフィン候補動きベクトルリストから、最適動きベクトルが、現在コーディングブロックの動きベクトル予測子（Motion vector predictor、ＭＶＰ）として決定される。式(0-1)を用いることによってレート歪みコストが計算され、ここで、Ｊはレート歪み（rate-distortion）コストＲＤコストであり、ＳＡＤは、候補動きベクトル予測子を用いて行われる動き推定を通じて得られた、予測サンプル値と元のサンプル値との間の差分絶対値和（Sum of Absolute Differences、ＳＡＤ）であり、Ｒはビットレートであり、λはラグランジュ乗数である。エンコーダ側は、アフィン候補動きベクトルリストにおける選択した動きベクトル予測子のインデックス値、及び参照フレームインデックス値をデコーダ側に伝達する。さらに、現在コーディングブロックの実際の動きベクトルを得るために、ＭＶＰを中心とする隣接領域内で動き探索が実行される。エンコーダ側は、ＭＶＰと実際の動きベクトルとの間の差（動きベクトル差）をデコーダ側に伝達する。
Ｊ＝ＳＡＤ＋λＲ (0-1)
マージモードでは、先ず、現在コーディングブロックに空間的又は時間的に隣接する符号化ブロックの動き情報を用いることによって、候補動き情報リストが構築され、次いで、最適動き情報が、レート歪みコストに基づいて候補動き情報リストから決定されて現在コーディングブロックの動き情報として使用され、そして、候補動き情報リストにおける上記最適動き情報の位置のインデックス値（マージインデックスと表記する、以下同じ）がデコーダ側に伝達される。現在コーディングブロックの空間及び時間候補動き情報を図５Ｂに示す。空間候補動き情報は、５つの空間的に隣接するブロック（Ａ０，Ａ１，Ｂ０，Ｂ１，及びＢ２）からである。ある隣接ブロックが利用可能でない又はイントラコーディングモードにある場合、その隣接ブロックは候補動き情報リストに加えられない。現在コーディングブロックの時間候補動き情報は、参照フレーム及び現在フレームのピクチャオーダカウント（Picture order count、ＰＯＣ）に基づいて参照フレーム内のコロケートブロックのＭＶがスケーリングされた後に取得される。先ず、参照フレーム内の位置Ｔにあるブロックが利用可能であるかが決定される。そのブロックが利用可能でない場合、位置Ｃにあるブロックが選択される。
ＨＥＶＣにおけるインター予測では、現在コーディングブロック内の全てのサンプルが同じ動き情報を使用し、そして、現在コーディングブロックの予測サンプル値を得るために、その動き情報に基づいて動き補償が行われる。動き情報は、主に以下を含む：（１）コーディングブロックの予測方向であり、前方予測、後方予測、双方向予測を含み、前方予測は、先行符号化フレームに基づく予測を通じてコーディングブロックが得られることを指し示し、後方予測は、後続符号化フレームに基づく予測を通じてコーディングブロックが得られることを指し示し、双方向予測は、先行符号化フレーム及び後続符号化フレームを参照する予測を通じてコーディングブロックが得られることを指し示す；（２）コーディングブロックの参照フレームインデックスであり、その中に現在コーディングブロックの参照ブロックが位置するフレームを指し示す；及び（３）コーディングブロックの動きベクトルＭＶであり、参照ブロックに対するコーディングブロックの動き変位を指し示し、ＭＶは、水平成分（ＭＶｘと表記する）及び垂直成分（ＭＶｙと表記する）を含み、これらは、それぞれ、水平方向における参照ブロックに対するコーディングブロックの動き変位、及び垂直方向における参照ブロックに対するコーディングブロックの動き変位を表す。コーディングブロックに対して前方予測又は後方予測が行われるとき、１つのＭＶのみが存在する。コーディングブロックに対して双方向（すなわち、前方及び後方）予測が行われるとき、２つのＭＶが存在する。図５Ｃは、前述の動き情報を説明している。図５Ｃ、並びに動き情報及び予測情報についての以下の説明において、０は前方予測を表し、１は後方予測を表す。例えば、Ｒｅｆ０は前方参照フレームを表し、Ｒｅｆ１は後方参照フレームを表し、ＭＶ０は前方動きベクトルを表し、ＭＶ１は後方動きベクトルを表す。
Ａ、Ｂ、及びＣは、それぞれ、前方参照ブロック、現在コーディングブロック、及び後方参照ブロックを表す。Ｃｕｒは現在コーディングフレームを表し、破線はＢの移動軌跡を表す。
前方予測の基本的な動き補償プロセスは、次の通りである：図５Ｃに示すように、現在コーディングブロックは図中のブロックＢであり、Ｂの高さ及び幅はそれぞれＨ及びＷである。このケースでは、動き情報に基づいて、現在コーディングブロックＢの前方参照フレームがフレームＲｅｆ０であり且つ現在コーディングブロックＢの前方動きベクトルＭＶ０が（ＭＶ０ｘ，ＭＶ０ｙ）であることが分かる。フレームＣｕｒ内のコーディングブロックＢが符号化されるとき、先ず、フレームＣｕｒ内のＢの左上隅の点の座標（ｉ，ｊ）に基づいてフレームＲｅｆ０内で同一の座標点が見出され、ブロックＢの長さ及び幅に基づいてＲｅｆ０内のブロックＢ’を得ることができ、次いで、ブロックＢ’のＭＶ０に基づいてＢ’がブロックＡに移動される。最後に、ブロックＡについて補間が行われて、現在コーディングブロックＢの予測ブロックが得られる。現在コーディングブロックＢの予測ブロック内の各サンプルのサンプル値が、ブロックＢ内の対応するサンプルの予測値として参照される。後方予測の動き補償プロセスは前方予測のそれと同じであるが、参照方向が異なる。なお、後方予測及び前方予測での動き補償を通じて得られる予測ブロックが、それぞれ、前方予測ブロック及び後方予測ブロックと称される。コーディングブロックに対して双方向予測が行われないとき、得られた前方予測ブロック及び後方予測ブロックが現在コーディングブロックの予測ブロックである。
双方向予測では、先ず、前方予測の動き補償プロセス及び後方予測の動き補償プロセスにて、動き情報に基づいて前方予測ブロック及び後方予測ブロックが取得され、次いで、前方予測ブロック及び後方予測ブロック内の同じ位置にあるサンプル値に対して重み付け予測又はＢＤＯＦ（双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）とも称される）が実行されて、コーディングブロックＢの予測ブロックが得られる。
ＢＤＯＦ技術では、現在コーディングブロックに対して双方向予測の動き補償が行われた後に、前方予測ブロック及び後方予測ブロックが取得され、次いで、前方予測ブロック及び後方予測ブロックのサンプル値に基づいて、現在コーディングブロック内の各４×４サブブロックの修正動きベクトルが導出される。最後に、現在コーディングブロックの予測値を得るために、現在コーディングブロック内の各サンプルに対して、修正動きベクトルに基づいて補償が再び実行されて、現在コーディングブロックの最終予測ブロックが取得される。この出願の実施形態は、コーディングの複雑さを低減させるとともにコーディング性能を向上させるために、ＢＤＯＦを用いて動き補償を実行する特定の条件に焦点を当てる。
図６Ａは、本発明の一実施形態に従った符号化方法の概略フローチャートである。この符号化手順は、映像符号化装置によって実行され得る。映像符号化装置は、前述のビデオエンコーダ２０、又はビデオエンコーダ２０を含む装置とし得る。具体的には、当該手順は、ビデオエンコーダ２０内の、インター予測ユニット（インター予測器とも称される）２４４、エントロピー符号化ユニット（エントロピーエンコーダとも称される）２７０、及びこれらに類するものによって実行され得る。前述の手順は、一連のステップ又は動作として説明される。理解されるべきことには、当該手順のステップは、様々な順序で及び／又は同時に実行されてもよく、図６Ａに示す実行順序に限定されるものではない。図６Ａに対応する手順の関連説明は、以下の通りである。
符号化装置は、先ず、複数のプリセット条件が満足されるかを判定し、該複数のプリセット条件が満足される場合にＳ６００が実行され、該複数のプリセット条件が満足されない場合にはＳ６０１が実行される。複数のプリセット条件が満足されない場合、Ｓ６０１のケースのみがここでの詳細な説明を代表するものとして使用される。従来技術におけるものと同じである他のケースについては、この出願で説明することはしない。
ステップＳ６００： 複数のプリセット条件が満足されるときに、符号化装置は、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得する。
双方向オプティカルフロー（Bi-directional optical flow、ＢＤＯＦ）は、略してＢＩＯ又はＢＤＯＦと称され得る。
上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、例えばビデオエンコーダ又は映像符号化機能を持つエレクトロニクス装置などの、ピクチャ予測装置によって実行されることができ、具体的に、ビデオエンコーダ内のインター予測ユニットによって実行され得る。
具体的には、ＢＤＯＦ技術を使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、実際のサンプル値にいっそう近い予測サンプル値を得ることができ、コーディングの複雑さを適切に制御することができ、また、コーディング効率を向上させることができる。
この出願のこの実施形態において、複数のプリセット条件が満足されるときに符号化装置が現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行することは、具体的に以下とし得る：複数のプリセット条件が満足されるときに、符号化装置は、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプルとに基づいて、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行する。
この出願のこの実施形態において、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
理解され得ることには、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）は、異なるインター予測モードでは異なる方式で取得される。使用される具体的なインター予測モードは、モード選択ユニットを用いることによって選択され得る。以下、ＡＭＶＰモード、マージモード、及びスキップモードにおいて第１動きベクトル及び第２動きベクトルをどのように決定するかを別々に説明する。
取り得るケース１： インター予測モードはＡＭＶＰモードである。
符号化装置は、先ず、候補動きベクトル予測子ＭＶＰリストを構築する。
具体的には、映像符号化装置は、インター予測ユニット（インター予測モジュールとも称する）を用いることによって、候補動きベクトル予測子ＭＶＰリスト（候補動きベクトルリストとも称する）を構築する。構築される候補動きベクトル予測子ＭＶＰリストは、三要素の（triplet）候補動きベクトル予測子ＭＶＰリスト又は二要素の（2-tuple）候補動きベクトル予測子ＭＶＰリストとし得る。この出願のこの実施形態において、映像符号化装置は、双方向予測方式でインター予測を実行する。
次いで、映像符号化装置は、レート歪みコスト基準に従って、ＭＶＰリスト内でターゲット候補動き情報を決定する。
具体的には、ターゲット候補動き情報は、最適候補動きベクトルと称されることもあり、あるいは別の名称を持つこともある。結論として、ターゲット候補動き情報は、レート歪みコスト基準（例えば、使用コストが最小化される）に従ってＭＶＰリスト内で決定される最適候補である。ターゲット候補動き情報は、候補動きベクトル予測子ＭＶＰリストにおける一意のインデックス番号に対応する。
続いて、ターゲット候補動き情報に基づいて、第１動きベクトル及び第２動きベクトルが決定される。ターゲット候補動き情報は、第１リスト（すなわち、list0）に対応する第１動きベクトル予測子（例えば、Mvp0_L0）、及び第２リスト（すなわち、list1）に対応する第２動きベクトル予測子（例えば、Mvp1_L1）を含む。例えば、第１リスト（list0）に対応する第１動きベクトルMv0_L0（前方）は、第１動きベクトル予測子Mvp0_L0と動きベクトル差MVD0との和に基づいて取得され得る。同様に、第２動きベクトルMv1_L1は、第２動きベクトル予測子Mvp1_L1と動きベクトル差MVD1との和に基づいて取得され得る。オプションで、ここでの第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）は、第１方向（例えば、前方の方向）に対応する第１動きベクトルとして表現されてもよく、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）は、第２方向（例えば、後方の方向）に対応する第２動きベクトルとして表現されてもよい。
取り得るケース２： インター予測モードはマージモードである。
符号化装置は、先ず、候補動き情報リストを構築する。
具体的には、映像符号化装置は、インター予測ユニット（インター予測モジュールとも称する）を用いることによって、候補動き情報リスト（候補動きベクトルリストとも称する）を構築する。
次いで、映像符号化装置は、レート歪みコスト基準に従って、候補動き情報リスト内でターゲット候補動き情報を決定する。
具体的に、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リストに対応する第１動きベクトル、及び第２リストに対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス、及び第２リストに対応する第２参照フレームのインデックスを含む。
ターゲット候補動き情報は、最適候補動き情報と称されることもあり、あるいは別の名称を持つこともある。結論として、ターゲット候補動き情報は、レート歪みコスト基準（例えば、使用コストが最小化される）に従って候補動き情報リスト内で決定される最適候補である。
取り得るケース３： インター予測モードはスキップモードである。関係する説明については、前述のケース２におけるマージモードの説明を参照されたい。マージモードとの違いは、スキップモードでは残差サンプルを伝送する必要がない点にある。
図６Ｂを参照するに、この出願のこの実施形態において、現在ピクチャブロックが属する現在ピクチャは、先行参照ピクチャと後続参照ピクチャとの２つの参照ピクチャを持ち、これらは、それぞれ、第１参照ピクチャ（例えば、前方参照ピクチャ又は前方参照フレームであり、ここでの“前方”は第１方向として参照されることもある）及び第２参照ピクチャ（例えば、後方参照ピクチャ又は後方参照フレームであり、ここでの“後方”は第２方向として参照されることもある）である。第１リストに対応する参照サンプルは、第１参照ピクチャ上の参照サンプルであり、第２リストに対応する参照サンプルは、第２参照ピクチャ上の参照サンプルである。
オプションで、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて現在ブロックの予測サンプル値を取得することは、現在ブロックの予測サンプル値を取得するために、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、現在ブロックの各サブブロックの修正動きベクトルを導出し、次いで、修正動きベクトルに基づいて各サブブロックに動き補償を実行して、各サブブロックの予測サンプル値を取得することを含み得る。理解を容易にするために、以下、説明のための例を提供する。
第１リスト（list0）に対応する参照サンプル値のサンプル値はＩ（０）（ｉ，ｊ）と表されることができ、第２リスト（list1）に対応する参照サンプル値のサンプル値はＩ（１）（ｉ，ｊ）と表されることができる。これら２つの値をまとめて前方及び後方予測値Ｉ（ｋ）（ｉ，ｊ）と呼ぶことができ、ここで、ｉ＝０．．ｃｕＷ－１、ｊ＝０．．ｃｕＨ－１であり、ｋは０と１であるとし得る。ここでは、Ｉ（ｋ）（ｉ，ｊ）は、８タップ補間フィルタを用いて補間を通じて取得されることができ、他の位置のサンプル値（一行及び一列の拡張が行われる）は、双線形補間フィルタを用いて補間を通じて取得される。なお、拡張された領域のサンプル値は、代わりに別の方法を用いることによって取得されてもよく、例えば、８タップ補間フィルタを用いて取得されてもよいし、あるいは、整数サンプル位置にある参照サンプル値そのままとされてもよい。これは、ここで限定されることではない。ここで、ｃｕＷ及びｃｕＨは、それぞれ、現在ピクチャブロックの幅及び高さである。ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下のステップを含み得る。
ステップ１： 第１リストに対応する参照サンプル値のサンプル値と第２リストに対応する参照サンプル値のサンプル値との間の差分絶対値和ＳＡＤを計算し、ＳＡＤが閾値ＴＨ＿ＣＵ未満であるかを判定し、ＳＡＤが閾値ＴＨ＿ＣＵ未満である場合、ＢＤＯＦを実行することをスキップし、ＳＡＤが閾値ＴＨ＿ＣＵ以上である場合、ＢＤＯＦを実行する。このステップはオプションである。
ＳＡＤ計算式は、次の通りである：
Figure 2024037999000002
閾値ＴＨ＿ＣＵは、（１＜＜（ＢＤ－８＋ｓｈｉｆｔ））×ｃｕＷ×ｃｕＨに設定されることができ、ｓｈｉｆｔはＭａｘ（２，１４－ＢＤ）である。
あるいは、ＴＨ＿ＣＵは、１＜＜（ＢＤ－３＋ｓｈｉｆｔ）に設定されてもよい。
オプションで、ＢＤＯＦを実行するかは、代わりに他の方式で決定されてもよく、それら他の方式をここで一つずつ列挙することはしない。
ＢＤＯＦを実行すると決定されたとき、ステップ４を実行することに続く。
ステップ２： 現在ＣＵの前方及び後方予測値の水平勾配値及び垂直勾配値を計算する。
現在ＣＵの前方及び後方予測値の水平勾配値∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）は、第１リストに対応する参照サンプル値のサンプル位置（ｉ，ｊ）での水平勾配値∂Ｉ（０）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（０）／∂ｙ（ｉ，ｊ）と、第２リストに対応する参照サンプル値のサンプル位置（ｉ，ｊ）での水平勾配値∂Ｉ（１）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（１）／∂ｙ（ｉ，ｊ）とを含み、ここで、ｋは逐次に０と１とに設定される。水平勾配値∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）は、次式を用いて取得され得る：
Figure 2024037999000003
ここで、ｉ＝０．．ｃｕＷ－１、及びｊ＝０．．ｃｕＨ－１である。
このステップで、現在ピクチャブロックに対するｃｕＷ×ｃｕＨ予測行列が取得され得る。
ステップ４： パディングを通じて、現在ＣＵの前方及び後方予測値、水平勾配値、及び垂直勾配値に対して拡張を実行する。
４×４サブブロックの修正動きベクトルを計算することは、その中に該４×４サブブロックが位置する６×６領域の前方及び後方予測値Ｉ（ｋ）（ｘ，ｙ）と、前方及び後方予測値の水平勾配値∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）と、前方及び後方予測値の垂直勾配値∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）とを必要とする。６×６領域の勾配値を計算することは、８×８領域の前方及び後方予測値を必要とする。従って、補間フィルタを用いて前方及び後方予測値を得るときに、（Ｗ＋２）×（Ｈ＋２）の勾配値を計算するために、周囲に二行及び二列の拡張を行って、そのサイズが（Ｗ＋４）×（Ｈ＋４）である予測サンプルブロックを得る必要があり、ここで、Ｗは現在ＣＵの幅であり、Ｈは現在ＣＵの高さである。ＢＤＯＦの複雑さを低減させるために、ＣＵの境界に対して特別な処理を行うことができる。詳細は、次の通りである。
先ず、８タップフィルタを用いてＷ×Ｈ領域の予測値が取得され、領域が周囲に一行及び一列だけ拡張され、拡張した領域の予測値が双線形フィルタを用いて取得されることで、（Ｗ＋２）×（Ｈ＋２）領域の予測値が得られる。
次いで、式に従った、（Ｗ＋２）×（Ｈ＋２）領域の予測値に基づく計算を通じて、Ｗ×Ｈ領域の勾配値が取得され得る。
最後に、パディング法に従って、Ｗ×Ｈ領域の勾配値が周囲に拡張されて、（Ｗ＋２）×（Ｈ＋２）領域の水平勾配値及び垂直勾配値が得られる。Ｗ×Ｈ領域の予測値が周囲に拡張されて、（Ｗ＋２）×（Ｈ＋２）領域の予測値が得られる。
パディングを図６Ｄに示す。ｉ＝－１．．ｃｕＷ、及びｊ＝－１．．ｃｕＨでのＩ（ｋ）（ｉ，ｊ）、∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）、及び∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）を得るために、図６Ｄの方法に従ってパディングが行われる。具体的には、（ｃｕＷ＋２）×（ｃｕＨ＋２）の予測行列、水平勾配行列、及び垂直勾配行列が得られる。
ステップ５： 各４×４サブブロックの修正動きベクトルを導出し、次いで、重み付けを実行する。
各４×４サブブロックに対して、式（２－３）に従って修正動きベクトル（ｖｘ，ｖｙ）が取得される。具体的には、各４×４サブブロックの修正動きベクトル（ｖｘ，ｖｙ）は、Ｌ０及びＬ１の予測値を最小化するように該サブブロックの周りの６×６ウィンドウΩにＢＤＯＦを適用することによって取得される。具体的には、（ｖｘ，ｖｙ）は、次式に従って導出される：
Figure 2024037999000004
ここで、
Figure 2024037999000005
 は、フロア関数である（ここで、ｆｌｏｏｒ（Ａ）は、Ａ以下である最大の整数を表す）。ｔｈ’ＢＩＯ＝２１３－ＢＤであり、これは、過大な修正動きベクトルによって生じる誤差伝達を防止するための閾値である。Ｓ２，ｍ＝Ｓ２＞＞１２、及びＳ２，ｓ＝Ｓ２＆（２１２－１）である。ＢＤは現在サンプルビット幅である。
Ｓ１、Ｓ２、Ｓ３、Ｓ５、及びＳ６は、次式に従って計算される：
Figure 2024037999000006
ここで、
Figure 2024037999000007
 である。
ここで、Ｉ（０）（ｉ，ｊ）は、現在ＣＵ内のサンプル位置（ｉ，ｊ）の前方予測値、すなわち、現在ＣＵの参照サンプル値であって第１リストに対応する参照サンプル値におけるサンプル位置（ｉ，ｊ）のサンプル値であり、Ｉ（１）（ｉ，ｊ）は、現在ＣＵ内のサンプル位置（ｉ，ｊ）の後方予測値、すなわち、現在ＣＵの参照サンプル値であって第２リストに対応する参照サンプル値におけるサンプル位置（ｉ，ｊ）のサンプル値である。
式（２－３）に従って修正動きベクトルが得られた後、現在ピクチャブロック内の各サンプルの最終予測値、すなわち、現在ピクチャブロックの予測ブロック内のサンプル値が、次式に従って決定され得る：
Figure 2024037999000008
ここで、ｓｈｉｆｔ及びｏｆｆｓｅｔは、１５－ＢＤ及び１＜＜（１４－ＢＤ）＋２・（１＜＜１３）である。ｒｎｄ（．）は丸め関数（四捨五入）である。ｐｒｅｄＢＩＯ（ｉ，ｊ）は、現行ピクチャブロックのサンプル位置（ｉ，ｊ）の予測サンプル値である。
ステップＳ６０１： 現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、符号化装置は、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値を決定する。
具体的には、第１の処理方式は、ＢＤＯＦ（あるいは、双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）と称される）ではない、ことを含む。換言すれば、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値に基づいて現在ピクチャブロックの予測サンプル値を決定するためにＢＤＯＦを使用することは許されない。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。第２のプリセットサイズは、８×８（１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す）、４×Ｎ（４は、現在ピクチャブロックの幅が４サンプルであることを示し、Ｎは、現在ピクチャブロックの高さがＮサンプルであることを示し、類推によって他のサイズが推定される）、８×１６、又は１６×８を含む。Ｎは２のべき乗であり、且つ８以上である。例えば、Ｎの値は、１６、３２、６４などとし得る。
この出願のこの実施形態において、第１リストに対応する参照サンプル値、及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）、及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１のリスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
なお、第１動きベクトル及び第２動きベクトルは、異なるインター予測モードでは異なる方式で決定される。第１動きベクトル及び第２動きベクトルをＡＭＶＰモード、マージモード、及びスキップモードにてどのように決定するかの詳細については、ステップＳ６００での説明を参照されたい。詳細をここで再び説明することはしない。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。
また、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８を含む前述のケースは、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８であることに限られることもできる。換言すれば、ＢＤＯＦは、上に列挙された８×８、４×Ｎ、８×１６、及び１６×８なるサイズのうちの１つに対して使用されることが禁止され、あるいは、これらのうちの複数のサイズに対して使用されることが禁止されてもよい。以下では、説明のための例を用いる。
例１： 第２のプリセットサイズは８×８を含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例２：第２のプリセットサイズは４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例３： 第２のプリセットサイズは８×８又は４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８及び４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８及び４×Ｎのいずれかであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例４： 第２のプリセットサイズは８×８、４×Ｎ、８×１６、又は１６×８を含み（又は、であり）、ここで、Ｎは８以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８、４×Ｎ、８×１６、及び１６×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８、４×Ｎ、８×１６、及び１６×８のうちのいずれか１つであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例５： 第２のプリセットサイズはＮ×８を含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例６： 第２のプリセットサイズはＮ×８又は４×Ｎを含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８又は４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８又は４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
さらに、一部のシナリオでは、サイズＭ×４に対してもＢＤＯＦが使用されることが禁止されるので、この出願において、第２のプリセットサイズに対してＢＤＯＦが使用されることが禁止されるとき、ＢＤＯＦは更に、Ｍは４以上の整数であるとして、サイズＭ×４に対して使用されることが禁止され得る。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。理解されるべきことには、この出願のこの実施形態における方法は、例えばビデオエンコーダ又は映像符号化機能を持つエレクトロニクス装置などの、ピクチャ予測装置によって実行されることができ、具体的に、ビデオエンコーダ内のインター予測ユニットによって実行され得る。
オプションの一ソリューションにおいて、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値を決定することは、
第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、現在ピクチャブロックの予測サンプル値を取得すること、又は
マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、又は
結合インター／イントラ予測ＣＩＩＰ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、
を含む。
この出願のこの実施形態において、重み付け計算方式、ＭＭＶＤ技術、又はＣＩＩＰ技術が具体的に使用されるかは、対応する条件を用いることによって決定されてもよいし、あるいは、対応する指示情報を用いることによって指し示されてもよい。オプションで、後にビットストリームに符号化される情報は更にターゲット識別子を含むことができ、ターゲット識別子は、現在ブロックの予測サンプル値を予測するのに使用される方式を指し示すために使用される。例えば、ターゲット識別子はmmvd_flag[x0][y0]である。mmvd_flag[x0][y0]がプリセット値（例えば、値１）であるとき、それは、現在ピクチャブロックにＭＭＶＤ方式が使用されることを指し示す。
オプションで、ＭＭＶＤ実装が以下に提供される。図６Ｃに示すように、現在ピクチャブロックの予測動き情報が取得される。現在ピクチャブロックの前方動きベクトル予測子及び後方動きベクトル予測子（すなわち、第１リストに対応する前述の動きベクトル予測子及び第２リストに対応する前述の動きベクトル予測子）が、それぞれ、ＭＶ０（－２２，１８）及びＭＶ１（２，１２）であり、且つ前方動きベクトル差及び後方動きベクトル差が、それぞれ、ＭＶＤ０（１，０）及びＭＶＤ１（－１，０）であると仮定する。
現在ピクチャブロックに対して前方予測及び後方予測が別々に実行されて、現在ピクチャブロックの前方予測ブロック及び後方予測ブロックが得られる。
ＭＶ０（－２２，１８）及びＭＶ１（２，１２）が前方動きベクトル予測子及び後方動きベクトル予測子の基準入力として用いられ、そして、前方参照予測ブロックｑ０及び後方参照予測ブロックｈ０に対して第１精度の動き探索が実行される。例えば、第１精度は１サンプルである。
前方参照予測ブロックｑ０及び後方参照予測ブロックｈ０が各々、第１精度の動き探索を実行するための開始探索点として用いられ、そして、その都度発見される新たな前方参照予測ブロックと新たな後方参照予測ブロックとの間の差が決定される。例えば、上記前方参照予測ブロック及び上記後方参照予測ブロックの周りの８対の前方参照予測ブロックと後方参照予測ブロックとの間の差が決定され、そして、前方参照予測ブロックｑ０と後方参照予測ブロックｈ０との間の差が決定される。最小の差を持つ前方参照予測ブロック及び後方参照予測ブロックの動きベクトル予測子が、それぞれ、（－２１，１８）及び（１，１２）であると仮定する。探索点が、前方参照予測ブロックｑ１及び後方参照予測ブロックｈ１にそれぞれ対応する（－２１，１８）及び（１，１２）に更新され、第１精度の動き探索が引き続き実行される。前方参照予測ブロックｑ１及び後方参照予測ブロックｈ１が各々、第１精度の動き探索を実行するための開始探索点として用いられ、そして、その都度発見される前方参照予測ブロックと後方参照予測ブロックとの間の差が決定される。例えば、上記前方参照予測ブロック及び上記後方参照予測ブロックの周りの８対の前方参照予測ブロックと後方参照予測ブロックとの間の差が決定され、そして、前方参照予測ブロックｑ１と後方参照予測ブロックｈ１との間の差が決定される。最小の差を持つ前方参照予測ブロック及び後方参照予測ブロックの動きベクトル予測子が、それぞれ、（－２０，１８）及び（０，１２）であると仮定する。（－２０，１８）及び（０，１２）が、それぞれ、前方参照予測ブロックｑ２及び後方参照予測ブロックｈ２に対応する。
この出願のこの実施形態において、第１精度の動き探索の回数は、例えば、１又は２に設定され得る。あるいは、動き探索範囲が決められる。その範囲外で探索は停止される。
一例として２回を用いると、前方参照予測ブロックｑ２の動きベクトル予測子（－２０，１８）とＭＶＤ０ （１，０）とを足し合わせて（－１９，１８）が得られ、後方参照予測ブロックｈ２の動きベクトル予測子（０，１２）とＭＶＤ１とを足し合わせて（１，１２）が得られる。従って、現在ピクチャブロックは、前方動きベクトル予測子（－１９，１８）及び後方動きベクトル予測子（１，１２）に基づいて予測される。図６Ｃは、１回の動き探索プロセスのみを示している。
理解されるべきことには、ＢＤＯＦ技術は、現在ピクチャブロックの予測サンプル値を予測するための従来技術でのパッチ最適化技術と同等である。ＢＤＯＦ技術によれば、多くのシナリオにおいて、現在ピクチャブロックの実際のサンプル値にいっそう近い予測サンプル値を得ることができる。従って、その予測サンプル値に基づいて得られるサンプル残差はより小さいものとなり、それ故に、コーディング効率を向上させることができる。前述の重み付け計算方式は、現在ピクチャブロックの予測サンプル値を得るための従来技術とみなされてもよく、前述のＭＭＶＤ技術及びＣＩＩＰ技術は各々、従来技術でのパッチ最適化技術とみなされてもよい。この出願のこの実施形態において、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術ではなく、従来技術（例えば、重み付け計算方式）又は他のパッチ最適化技術（例えば、ＭＭＶＤ又はＣＩＩＰ）に従って決定される。これは、コーディングの複雑さを大幅に低減させることができるとともに、コーディング効率を向上させることができる。
ステップＳ６０２： 符号化装置は、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックを再構成する。
理解され得ることには、現在ピクチャブロックの予測サンプル値は前述のステップＳ６００で取得され得る。そのステップで得られる現在ブロックの予測サンプル値は、１つ以上のサブブロックの予測サンプル値を含み、該１つ以上のサブブロックは、現在ピクチャブロックの現在サブブロックを含む。サブブロックのサイズは、現在ブロックのサイズと等しくてもよい。現在ブロックが１つのサブブロックのみを含む場合、それは、そのサブブロックのサイズが現在ブロックのサイズと等しいとし得ることに相当する。現在ピクチャブロックの予測サンプル値は、代わりに、前述のステップＳ６０１で取得されてもよい。
なお、この出願のこの実施形態において、現在ピクチャブロックのサンプル残差を更に取得してもよく、現在ピクチャブロックのサンプル残差は０であってもよい。例えば、マージモード及びＡＭＶＰモードの各々ではサンプル残差を取得する必要がある。スキップモードではサンプル残差を考慮する必要はなく、それ故に、デコーダ側にサンプル残差を伝送する必要はない。
ステップＳ６０３： 符号化装置は、シンタックス要素を送信対象ビットストリームに符号化し、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
具体的に、異なるインター予測モードでは、異なるシンタックス要素が送信対象ビットストリームに符号化される。例は次の通りである。
インター予測モードがＡＭＶＰモードであるとき、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）は、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）は、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。オプションで、ＭＭＶＤ技術が使用されるとき、１つのＭＶＤのみが伝送されてもよく、別方向のものであってデコーダ側によって使用される必要があるＭＶＤは、伝送されたＭＶＤに基づいて導出され得る。
インター予測モードがマージモードであるとき、 オプションの一ソリューションにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
この出願のこの実施形態において、当該方法は更に、現在ピクチャブロックのサンプル値と現在ピクチャブロックの予測サンプル値とに基づいて、サンプル残差を決定することを含み、シンタックス要素を送信対象ビットストリームに符号化することは、シンタックス要素及びサンプル残差を送信対象ビットストリームに符号化することを含む。換言すれば、シンタックス要素に加えて、更にサンプル残差が、送信対象ビットストリームに符号化され得る（サンプル残差は、残差計算ユニットを用いることによって計算を通じて取得され得る）。このソリューションは、ＡＭＶＰモード及びマージモードに適用され得る。また、サンプル残差を送信対象ビットストリームに符号化する必要がない場合も存在する。例えば、スキップモードでは、サンプル残差を送信対象ビットストリームに符号化する必要はない。
図７は、この出願の一実施形態に従った復号方法のフローチャートである。この手順は、映像復号装置によって実行され得る。映像復号装置は、前述のビデオデコーダ３０とすることができ、あるいはビデオデコーダ３０を含む装置とすることができる。具体的には、当該手順は、ビデオデコーダ３０の、インター予測ユニット（インター予測器とも称される）３４４、エントロピー復号ユニット（エントロピーデコーダとも称される）３０４、及びこれらに類するものによって実行され得る。当該手順は、一連のステップ又は動作として説明される。当該手順のステップ又は動作は、様々な順に及び／又は同時に実行されてもよく、図７に示す実行順に限定されるものではない。図７に示す手順の関連説明は、以下の通りである。
ステップＳ７００： 復号装置は、ビットストリームを解析してシンタックス要素を取得し、シンタックス要素は少なくとも、双方向予測が適用されることを指し示すために使用される。
具体的には、エンコーダ側が符号化プロセスにおいて複数の異なるインター予測モードを使用する場合、復号装置は、ビットストリームを解析することによって異なるシンタックス要素を取得し得る。以下、ＡＭＶＰモード、マージモード、及びスキップモードを参照して詳細な説明を提供する。
ＡＭＶＰにおいて、シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを含み、第１インデックス（例えば、mvp_lX_flag[xCb][yCb]）は、ターゲット候補動きベクトル予測子を指し示すために使用され、ターゲット候補動きベクトル予測子は、第１リスト（例えば、list0）に対応する第１動きベクトル予測子、及び第２リスト（例えば、list1）に対応する第２動きベクトル予測子を含み、動きベクトル差ＭＶＤは、第１リストに対応する第１ＭＶＤ、及び／又は第２リストに対応する第２ＭＶＤを含む（例えば、１つのＭＶＤのみが含まれるとき、伝送されないＭＶＤは、伝送されたＭＶＤに基づいて導出され得る）。第２インデックス（これらは、参照フレームインデックスとも称される）は、現在ピクチャブロックの参照フレームを指し示すために使用され、参照フレームは、第１リストに対応する第１参照フレーム、及び第２リストに対応する第２参照フレームを含む。例えば、第２インデックスは、refIdxL0及びrefIdxL1であり、refIdxL0は、第１リストに対応する第１参照フレームのインデックスであり、refIdxL1は、第２リストに対応する第２参照フレームのインデックスである。予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）は、双方向予測が適用されることを指し示すために使用される。
第１リストに対応する第１動きベクトル（例えば、Mv0_L0）が、第１リストに対応する第１動きベクトル予測子（例えば、Mvp0_L0）と、第１リストに対応する第１ＭＶＤ（例えば、MVD0）とに基づいて取得される。例えば、Mv0_L0＝Mvp0_L0＋MVD0である。
第２リストに対応する第２動きベクトル（例えば、Mv1_L1）が、第２リストに対応する第２動きベクトル予測子（例えば、Mvp1_L1）と、第２リストに対応する第２ＭＶＤ（例えば、MVD1）とに基づいて取得される。例えば、Mv1_L1＝Mvp1_L1＋MVD1である。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
マージモードにおいて、シンタックス要素は、ターゲット候補動き情報のインデックス（例えば、merge_idx[xCb][yCb]）を含み、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報（例えば、predFlagL0＝１及びpredFlagL1＝１）を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リスト（すなわち、list0）に対応する第１動きベクトル、及び第２リスト（すなわち、list1）に対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス（例えば、refIdxL0）、及び第２リストに対応する第２参照フレームのインデックス（例えば、refIdxL1）を含む。
この出願のこの実施形態において、参照フレームインデックスは、指定された参照ピクチャリスト（第１リストlist0又は第２リストlist1）内の使用される動きベクトル（例えば、第１動きベクトル又は第２動きベクトル）に対応する参照ピクチャを特定するために使用される。ピクチャはフレームと称されることがあり、参照ピクチャは参照フレームと称されることがある。
映像コーディング分野において、インター予測モードは、前方予測、後方予測、及び双方向予測（前方予測及び後方予測を含む）を含み、エンコーダ側で使用される特定の予測モードは、通常、予測方向指示情報によって指し示される。例えば、予測方向指示情報は、シンタックス要素predFlagL0及びpredFlagL1を含み得る。predFlagL0＝１且つpredFlagL1＝１であるとき、予測方向指示情報は、双方向予測が適用されることを指し示す。predFlagL0＝１且つpredFlagL1＝０であるとき、予測方向指示情報は、前方予測が使用されることを指し示す。predFlagL0＝０且つpredFlagL1＝１であるとき、予測方向指示情報は、後方予測が使用されることを指し示す。理解され得ることには、“前方”及び“後方”は、それぞれ、現在ピクチャの参照ピクチャリスト０（list0、すなわち、前述の第１リスト）及び参照ピクチャリスト１（list1、すなわち、前述の第２リスト）に対応する。
スキップモードにおいて、シンタックス要素に含まれるコンテンツは、マージモードでのシンタックス要素に含まれるコンテンツと同じであり、違いは、スキップモードでは残差サンプルを伝送する必要がない点にある。
この出願のこの実施形態において、例えばＡＭＶＰモード及びマージモードでといった、一ケースでは、ビットストリームを解析することによってシンタックス要素及びサンプル残差が取得される。例えばスキップモードでといった、他の一ケースでは、ビットストリームを解析することによってシンタックス要素は取得されるが、解析を通じて残差サンプルは取得されない。
ビットストリームが解析された後、先ず、複数のプリセット条件が満足されるかが判定され、該複数のプリセット条件又は全てのプリセット条件が満足される場合にＳ７０１が実行され、該複数のプリセット条件が満足されない場合にはＳ７０２が実行される。複数のプリセット条件が満足されない場合、Ｓ７０２のケースのみがここでの詳細な説明を代表するものとして使用される。従来技術におけるものと同じである他のケースについては、この出願で説明することはしない。
ステップＳ７０１： 複数のプリセット条件が満足されるときに、復号装置は、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して現在ピクチャブロックの予測サンプル値を取得する。
双方向オプティカルフロー（Bi-directional optical flow、ＢＤＯＦ）は、略してＢＩＯ又はＢＤＯＦと称され得る。
上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願のこの実施形態における方法は、例えばビデオデコーダ又は映像復号機能を持つエレクトロニクス装置などの、ピクチャ予測装置によって実行されることができ、具体的に、ビデオデコーダ内の動き補償ユニットによって実行され得る。
具体的には、ＢＤＯＦ技術を使用するための、このソリューションにおける条件は、ＢＤＯＦ技術を使用するための、従来技術における条件とは異なり、特に、現在ピクチャブロックのサイズに関する要件が異なる。第１のプリセットサイズを持つ現在ピクチャブロックに対してＢＤＯＦ技術を使用することで、実際のサンプル値にいっそう近い予測サンプル値を得ることができ、コーディングの複雑さを適切に制御することができ、また、コーディング効率を向上させることができる。
この出願のこの実施形態において、複数のプリセット条件が満足されるときに復号装置が現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行することは、具体的に以下とし得る：複数のプリセット条件が満足されるときに、復号装置は、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプルとに基づいて、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行する。
この出願のこの実施形態において、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
理解され得ることには、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）は、異なるインター予測モードでは異なる方式で取得される。使用される具体的なインター予測モードは、モード選択ユニットを用いることによって選択され得る。以下、ＡＭＶＰモード、マージモード、及びスキップモードにおいて第１動きベクトル及び第２動きベクトルをどのように決定するかを別々に説明する。
取り得るケース１： インター予測モードはＡＭＶＰモードである。
復号装置は、先ず、候補動きベクトル予測子ＭＶＰリストを構築する。
具体的には、復号装置は、インター予測ユニット（インター予測モジュールとも称する）を用いることによって、候補動きベクトル予測子ＭＶＰリスト（候補動きベクトルリストとも称する）を構築する。構築される候補動きベクトル予測子ＭＶＰリストは、三要素の（triplet）候補動きベクトル予測子ＭＶＰリスト又は二要素の（2-tuple）候補動きベクトル予測子ＭＶＰリストとし得る。この出願のこの実施形態において、復号装置は、双方向予測方式でインター予測を実行する。
次いで、復号装置は、ターゲット候補動き情報に対応するインデックスに基づいて、ＭＶＰリスト内でターゲット候補動き情報を決定する。
具体的には、ターゲット候補動き情報は、最適候補動きベクトルと称されることもあり、あるいは別の名称を持つこともある。
続いて、ターゲット候補動き情報に基づいて、第１動きベクトル及び第２動きベクトルが決定される。ターゲット候補動き情報は、第１リスト（すなわち、list0）に対応する第１動きベクトル予測子（例えば、Mvp0_L0）、及び第２リスト（すなわち、list1）に対応する予測子（例えば、Mvp1_L1）を含む。例えば、第１リスト（list0）に対応する第１動きベクトルMv0_L0（前方）は、第１動きベクトル予測子Mvp0_L0と動きベクトル差MVD0との和に基づいて取得され得る。同様に、第２動きベクトルMv1_L1は、第２動きベクトル予測子Mvp1_L1と動きベクトル差MVD1との和に基づいて取得され得る。オプションで、ここでの第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）は、第１方向（例えば、前方の方向）に対応する第１動きベクトルとして表現されてもよく、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mvp_L1）は、第２方向（例えば、後方の方向）に対応する第２動きベクトルとして表現されてもよい。
取り得るケース２： インター予測モードはマージモードである。
復号装置は、先ず、候補動き情報リストを構築する。
具体的には、復号装置は、インター予測ユニット（インター予測モジュールとも称する）を用いることによって、候補動き情報リスト（候補動きベクトルリストとも称する）を構築する。
次いで、復号装置は、ターゲット候補動き情報に対応するインデックスに基づいて、候補動き情報リスト内でターゲット候補動き情報を決定する。
具体的に、ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報を含み、予測方向指示情報は、双方向予測が適用されることを指し示すために使用され、ターゲット候補動きベクトルは、第１リストに対応する第１動きベクトル、及び第２リストに対応する第２動きベクトルを含み、参照フレームインデックスは、第１リストに対応する第１参照フレームのインデックス、及び第２リストに対応する第２参照フレームのインデックスを含む。
ターゲット候補動き情報は、最適候補動き情報と称されることもあり、あるいは別の名称を持つこともある。
取り得るケース３： インター予測モードはスキップモードである。関係する説明については、前述のケース２におけるマージモードの説明を参照されたい。マージモードとの違いは、スキップモードでは残差サンプルを伝送する必要がない点にある。
図６Ｂを参照するに、この出願のこの実施形態において、現在ピクチャブロックが属する現在ピクチャは、先行参照ピクチャと後続参照ピクチャとの２つの参照ピクチャを持ち、これらは、それぞれ、第１参照ピクチャ（例えば、前方参照ピクチャ又は前方参照フレームであり、ここでの“前方”は第１方向として参照されることもある）及び第２参照ピクチャ（例えば、後方参照ピクチャ又は後方参照フレームであり、ここでの“後方”は第２方向として参照されることもある）である。第１リストに対応する参照サンプル値は、第１参照ピクチャ上の参照サンプル値であり、第２リストに対応する参照サンプル値は、第２参照ピクチャ上の参照サンプル値である。
オプションで、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、現在ブロックの予測サンプル値を取得するために、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、現在ピクチャブロックの各サブブロックの修正動きベクトルを導出し、次いで、修正動きベクトルに基づいて各サブブロックに動き補償を実行して、各サブブロックの予測サンプル値を取得することを含み得る。理解を容易にするために、以下、説明のための例を提供する。
第１リスト（list0）に対応する参照サンプル値のサンプル値はＩ（０）（ｉ，ｊ）と表されることができ、第２リスト（list1）に対応する参照サンプル値のサンプル値はＩ（１）（ｉ，ｊ）と表されることができる。これら２つの値をまとめて前方及び後方予測値Ｉ（ｋ）（ｉ，ｊ）と呼ぶことができ、ここで、ｉ＝０．．ｃｕＷ－１、ｊ＝０．．ｃｕＨ－１であり、ｋは０と１であるとし得る。ここでは、Ｉ（ｋ）（ｉ，ｊ）は、８タップ補間フィルタを用いて補間を通じて取得されることができ、他の位置のサンプル値（一行及び一列の拡張が行われる）は、双線形補間フィルタを用いて補間を通じて取得される。なお、拡張された領域のサンプル値は、代わりに別の方法を用いることによって取得されてもよく、例えば、８タップ補間フィルタを用いて取得されてもよいし、あるいは、整数サンプル位置にある参照サンプル値そのままとされてもよい。これは、ここで限定されることではない。ここで、ｃｕＷ及びｃｕＨは、それぞれ、現在ピクチャブロックの幅及び高さである。ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下のステップを含み得る。
ステップ１： 第１リストに対応する参照サンプル値のサンプル値と第２リストに対応する参照サンプル値のサンプル値との間の差分絶対値和ＳＡＤを計算し、ＳＡＤが閾値ＴＨ＿ＣＵ未満であるかを判定し、ＳＡＤが閾値ＴＨ＿ＣＵ未満である場合、ＢＤＯＦを実行することをスキップし、ＳＡＤが閾値ＴＨ＿ＣＵ以上である場合、ＢＤＯＦを実行する。このステップはオプションである。
ＳＡＤ計算式は、次の通りである：
Figure 2024037999000009
閾値ＴＨ＿ＣＵは、（１＜＜（ＢＤ－８＋ｓｈｉｆｔ））×ｃｕＷ×ｃｕＨに設定されることができ、ｓｈｉｆｔはＭａｘ（２，１４－ＢＤ）である。
あるいは、ＴＨ＿ＣＵは、１＜＜（ＢＤ－３＋ｓｈｉｆｔ）に設定されてもよい。
オプションで、ＢＤＯＦを実行するかは、代わりに他の方式で決定されてもよく、それら他の方式をここで一つずつ列挙することはしない。
ＢＤＯＦを実行すると決定されたとき、ステップ４を実行することに続く。
ステップ２： 現在ＣＵの前方及び後方予測値の水平勾配値及び垂直勾配値を計算する。
現在ＣＵの前方及び後方予測値の水平勾配値∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）は、第１リストに対応する参照サンプル値のサンプル位置（ｉ，ｊ）での水平勾配値∂Ｉ（０）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（０）／∂ｙ（ｉ，ｊ）と、第２リストに対応する参照サンプル値のサンプル位置（ｉ，ｊ）での水平勾配値∂Ｉ（１）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（１）／∂ｙ（ｉ，ｊ）とを含み、ここで、ｋは逐次に０と１とに設定される。水平勾配値∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）及び垂直勾配値∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）は、次式を用いて取得され得る：
Figure 2024037999000010
ここで、ｉ＝０．．ｃｕＷ－１、及びｊ＝０．．ｃｕＨ－１である。
このステップで、現在ピクチャブロックに対するｃｕＷ×ｃｕＨ予測行列が取得され得る。
ステップ４： パディングを通じて、現在ＣＵの前方及び後方予測値、水平勾配値、及び垂直勾配値に対して拡張を実行する。
４×４サブブロックの修正動きベクトルを計算することは、その中に該４×４サブブロックが位置する６×６領域の前方及び後方予測値Ｉ（ｋ）（ｘ，ｙ）と、前方及び後方予測値の水平勾配値∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）と、前方及び後方予測値の垂直勾配値∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）とを必要とする。６×６領域の勾配値を計算することは、８×８領域の前方及び後方予測値を必要とする。従って、補間フィルタを用いて前方及び後方予測値を得るときに、（Ｗ＋２）×（Ｈ＋２）の勾配値を計算するために、周囲に二行及び二列の拡張を行って、そのサイズが（Ｗ＋４）×（Ｈ＋４）である予測サンプルブロックを得る必要があり、ここで、Ｗは現在ＣＵの幅であり、Ｈは現在ＣＵの高さである。ＢＤＯＦの複雑さを低減させるために、ＣＵの境界に対して特別な処理を行うことができる。詳細は、次の通りである。
先ず、８タップフィルタを用いてＷ×Ｈ領域の予測値が取得され、領域が周囲に一行及び一列だけ拡張され、拡張した領域の予測値が双線形フィルタを用いて取得されることで、（Ｗ＋２）×（Ｈ＋２）領域の予測値が得られる。
次いで、式に従った、（Ｗ＋２）×（Ｈ＋２）領域の予測値に基づく計算を通じて、Ｗ×Ｈ領域の勾配値が取得され得る。
最後に、パディング法に従って、Ｗ×Ｈ領域の勾配値が周囲に拡張されて、（Ｗ＋２）×（Ｈ＋２）領域の水平勾配値及び垂直勾配値が得られる。Ｗ×Ｈ領域の予測値が周囲に拡張されて、（Ｗ＋２）×（Ｈ＋２）領域の予測値が得られる。
パディングを図６Ｄに示す。ｉ＝－１．．ｃｕＷ、及びｊ＝－１．．ｃｕＨでのＩ（ｋ）（ｉ，ｊ）、∂Ｉ（ｋ）／∂ｘ（ｉ，ｊ）、及び∂Ｉ（ｋ）／∂ｙ（ｉ，ｊ）を得るために、図６Ｄの方法に従ってパディングが行われる。具体的には、（ｃｕＷ＋２）×（ｃｕＨ＋２）の予測行列、水平勾配行列、及び垂直勾配行列が得られる。
ステップ５： 各４×４サブブロックの修正動きベクトルを導出し、次いで、重み付けを実行する。
各４×４サブブロックに対して、式（２－３）に従って修正動きベクトル（ｖｘ，ｖｙ）が取得される。具体的には、各４×４サブブロックの修正動きベクトル（ｖｘ，ｖｙ）は、Ｌ０及びＬ１の予測値を最小化するように該サブブロックの周りの６×６ウィンドウΩにＢＤＯＦを適用することによって取得される。具体的には、（ｖｘ，ｖｙ）は、次式に従って導出される：
Figure 2024037999000011
ここで、
Figure 2024037999000012
 は、フロア関数である（ここで、ｆｌｏｏｒ（Ａ）は、Ａ以下である最大の整数を表す）。ｔｈ’ＢＩＯ＝２１３－ＢＤであり、これは、過大な修正動きベクトルによって生じる誤差伝達を防止するための閾値である。Ｓ２，ｍ＝Ｓ２＞＞１２、及びＳ２，ｓ＝Ｓ２＆（２１２－１）である。ＢＤは現在サンプルビット幅である。
Ｓ１、Ｓ２、Ｓ３、Ｓ５、及びＳ６は、次式に従って計算される：
Figure 2024037999000013
ここで、
Figure 2024037999000014
 である。
ここで、Ｉ（０）（ｉ，ｊ）は、現在ＣＵ内のサンプル位置（ｉ，ｊ）の前方予測値、すなわち、現在ＣＵの参照サンプル値であって第１リストに対応する参照サンプル値におけるサンプル位置（ｉ，ｊ）のサンプル値であり、Ｉ（１）（ｉ，ｊ）は、現在ＣＵ内のサンプル位置（ｉ，ｊ）の後方予測値、すなわち、現在ＣＵの参照サンプル値であって第２リストに対応する参照サンプル値におけるサンプル位置（ｉ，ｊ）のサンプル値である。
式（２－３）に従って修正動きベクトルが得られた後、現在ピクチャブロック内の各サンプルの最終予測値、すなわち、現在ピクチャブロックの予測ブロック内のサンプル値が、次式に従って決定され得る：
Figure 2024037999000015
ここで、ｓｈｉｆｔ及びｏｆｆｓｅｔは、１５－ＢＤ及び１＜＜（１４－ＢＤ）＋２・（１＜＜１３）である。ｒｎｄ（．）は丸め関数（四捨五入）である。ｐｒｅｄＢＩＯ（ｉ，ｊ）は、予測ブロック内のサンプル位置（ｉ，ｊ）のサンプル値である。
ステップＳ７０２： 現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、復号装置は、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値を決定する。
具体的には、第１の処理方式は、ＢＤＯＦ（あるいは、双方向オプティカルフロー（Bi-directional optical flow、ＢＩＯ）と称される）ではない、ことを含む。換言すれば、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値に基づいて現在ピクチャブロックの予測サンプル値を決定するためにＢＤＯＦを使用することは許されない。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。第２のプリセットサイズは、８×８（１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す）、４×Ｎ（４は、現在ピクチャブロックの幅が４サンプルであることを示し、Ｎは、現在ピクチャブロックの高さがＮサンプルであることを示し、類推によって他のサイズが推定される）、８×１６、又は１６×８を含む。Ｎは２のべき乗であり、且つ８以上である。例えば、Ｎの値は、１６、３２、６４などとし得る。
この出願のこの実施形態において、第１リストに対応する参照サンプル値、及び第２リストに対応する参照サンプル値は、それぞれ、第１リスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）、及び第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づく予測を通じて取得される。例えば、第１リスト（すなわち、list0）に対応する参照サンプル値は、第１のリスト（すなわち、list0）に対応する第１動きベクトル（例えば、Mv0_L0）に基づいて決定されることができ、第２リスト（すなわち、list1）に対応する参照サンプル値は、第２リスト（すなわち、list1）に対応する第２動きベクトル（例えば、Mv1_L1）に基づいて決定されることができる。
なお、第１動きベクトル及び第２動きベクトルは、異なるインター予測モードでは異なる方式で決定される。第１動きベクトル及び第２動きベクトルをＡＭＶＰモード、マージモード、及びスキップモードにてどのように決定するかの詳細については、ステップＳ７０１での説明を参照されたい。詳細をここで再び説明することはしない。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。
また、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８を含む前述のケースは、第２のプリセットサイズが８×８、４×Ｎ、８×１６、又は１６×８であることに限られることもできる。換言すれば、ＢＤＯＦは、上に列挙された８×８、４×Ｎ、８×１６、及び１６×８なるサイズのうちの１つに対して使用されることが禁止され、あるいは、これらのうちの複数のサイズに対して使用されることが禁止されてもよい。以下では、説明のための例を用いる。
例１： 第２のプリセットサイズは８×８を含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例２：第２のプリセットサイズは４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例３： 第２のプリセットサイズは８×８又は４×Ｎを含む（又は、である）。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８及び４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：Ｎは８以上であるとして、現在ピクチャブロックのサイズが８×８及び４×Ｎのいずれかであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例４： 第２のプリセットサイズは８×８、４×Ｎ、８×１６、又は１６×８を含み（又は、であり）、ここで、Ｎは８以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズ８×８、４×Ｎ、８×１６、及び１６×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズが８×８、４×Ｎ、８×１６、及び１６×８のうちのいずれか１つであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例５： 第２のプリセットサイズはＮ×８を含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８に対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８であるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
例６： 第２のプリセットサイズはＮ×８又は４×Ｎを含み（又は、であり）、ここで、Ｎは４以上である。換言すれば、この出願のこの実施形態において、ＢＤＯＦは、サイズＮ×８又は４×Ｎに対して使用されることが禁止される。この場合、現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得することは、具体的に、以下として表現され得る：現在ピクチャブロックのサイズがＮ×８又は４×Ｎであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で予測を通じて現在ピクチャブロックの予測サンプル値を取得する。
さらに、一部のシナリオでは、サイズＭ×４に対してもＢＤＯＦが使用されることが禁止されるので、この出願において、第２のプリセットサイズに対してＢＤＯＦが使用されることが禁止されるとき、ＢＤＯＦは更に、Ｍは４以上の整数であるとして、サイズＭ×４に対して使用されることが禁止され得る。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。理解されるべきことには、この出願のこの実施形態における方法は、例えばビデオデコーダ又は映像復号機能を持つエレクトロニクス装置などの、ピクチャ予測装置によって実行されることができ、具体的に、ビデオデコーダ内のインター予測ユニットによって実行され得る。
オプションの一ソリューションにおいて、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で現在ピクチャブロックの予測サンプル値を決定することは、
第１リストに対応する参照サンプル値及び第２リストに対応する参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、現在ピクチャブロックの予測サンプル値を取得すること、又は
マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、又は
結合インター／イントラ予測ＣＩＩＰ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、又は
デコーダ側動きベクトル精緻化ＤＭＶＲ技術に従って、第１リストに対応する参照サンプルと第２リストに対応する参照サンプルとに基づく予測を通じて、現在ピクチャブロックの予測サンプル値を取得すること、
を含む。
この出願のこの実施形態において、重み付け計算方式、ＭＭＶＤ技術、ＣＩＩＰ技術、又はＤＭＶＲ技術が具体的に使用されるかは、対応する条件を用いることによって決定されてもよいし、あるいは、対応する指示情報を用いることによって指し示されてもよい。
この出願のこの実施形態において、重み付け計算方式、ＭＭＶＤ技術、又はＣＩＩＰ技術が具体的に使用されるかは、対応する条件を用いることによって決定されてもよいし、あるいは、対応する指示情報を用いることによって指し示されてもよい。オプションで、後にビットストリームに符号化される情報は更にターゲット識別子を含むことができ、ターゲット識別子は、現在ブロックの予測サンプル値を予測するのに使用される方式を指し示すために使用される。例えば、ターゲット識別子はmmvd_flag[x0][y0]である。mmvd_flag[x0][y0]がプリセット値（例えば、値１）であるとき、それは、現在ピクチャブロックにＭＭＶＤ方式が使用されることを指し示す。
オプションで、ＭＭＶＤ実装が以下に提供される。図６Ｃに示すように、現在ピクチャブロックの予測動き情報が取得される。現在ピクチャブロックの前方動きベクトル予測子及び後方動きベクトル予測子（すなわち、第１リストに対応する前述の動きベクトル予測子及び第２リストに対応する前述の動きベクトル予測子）が、それぞれ、ＭＶ０（－２２，１８）及びＭＶ１（２，１２）であり、且つ前方動きベクトル差及び後方動きベクトル差が、それぞれ、ＭＶＤ０（１，０）及びＭＶＤ１（－１，０）であると仮定する。
現在ピクチャブロックに対して前方予測及び後方予測が別々に実行されて、現在ピクチャブロックの前方予測ブロック及び後方予測ブロックが得られる。
ＭＶ０（－２２，１８）及びＭＶ１（２，１２）が前方動きベクトル予測子及び後方動きベクトル予測子の基準入力として用いられ、そして、前方参照予測ブロックｑ０及び後方参照予測ブロックｈ０に対して第１精度の動き探索が実行される。例えば、第１精度は１サンプルである。
前方参照予測ブロックｑ０及び後方参照予測ブロックｈ０が各々、第１精度の動き探索を実行するための開始探索点として用いられ、そして、その都度発見される新たな前方参照予測ブロックと新たな後方参照予測ブロックとの間の差が決定される。例えば、上記前方参照予測ブロック及び上記後方参照予測ブロックの周りの８対の前方参照予測ブロックと後方参照予測ブロックとの間の差が決定され、そして、前方参照予測ブロックｑ０と後方参照予測ブロックｈ０との間の差が決定される。最小の差を持つ前方参照予測ブロック及び後方参照予測ブロックの動きベクトル予測子が、それぞれ、（－２１，１８）及び（１，１２）であると仮定する。探索点が、前方参照予測ブロックｑ１及び後方参照予測ブロックｈ１にそれぞれ対応する（－２１，１８）及び（１，１２）に更新され、第１精度の動き探索が引き続き実行される。前方参照予測ブロックｑ１及び後方参照予測ブロックｈ１が各々、第１精度の動き探索を実行するための開始探索点として用いられ、そして、その都度発見される前方参照予測ブロックと後方参照予測ブロックとの間の差が決定される。例えば、上記前方参照予測ブロック及び上記後方参照予測ブロックの周りの８対の前方参照予測ブロックと後方参照予測ブロックとの間の差が決定され、そして、前方参照予測ブロックｑ１と後方参照予測ブロックｈ１との間の差が決定される。最小の差を持つ前方参照予測ブロック及び後方参照予測ブロックの動きベクトル予測子が、それぞれ、（－２０，１８）及び（０，１２）であると仮定する。（－２０，１８）及び（０，１２）が、それぞれ、前方参照予測ブロックｑ２及び後方参照予測ブロックｈ２に対応する。
この出願のこの実施形態において、第１精度の動き探索の回数は、例えば、１又は２に設定され得る。あるいは、動き探索範囲が決められる。その範囲外で探索は停止される。
一例として２回を用いると、前方参照予測ブロックｑ２の動きベクトル予測子（－２０，１８）とＭＶＤ０ （１，０）とを足し合わせて（－１９，１８）が得られ、後方参照予測ブロックｈ２の動きベクトル予測子（０，１２）とＭＶＤ１とを足し合わせて（１，１２）が得られる。従って、現在ピクチャブロックは、前方動きベクトル予測子（－１９，１８）及び後方動きベクトル予測子（１，１２）に基づいて予測される。図６Ｃは、１回の動き探索プロセスのみを示している。
理解されるべきことには、ＢＤＯＦ技術は、現在ピクチャブロックの予測サンプル値を予測するための従来技術でのパッチ最適化技術と同等である。ＢＤＯＦ技術によれば、多くのシナリオにおいて、現在ピクチャブロックの実際のサンプル値にいっそう近い予測サンプル値を得ることができる。従って、その予測サンプル値に基づいて得られるサンプル残差はより小さいものとなり、それ故に、コーディング効率を向上させることができる。前述の重み付け計算方式は、現在ピクチャブロックの予測サンプル値を得るための従来技術とみなされてもよく、前述のＭＭＶＤ技術及びＣＩＩＰ技術は各々、従来技術でのパッチ最適化技術とみなされてもよい。この出願のこの実施形態において、現在ピクチャブロックのサイズが第２のプリセットサイズであるとき、現在ピクチャブロックの予測サンプル値は、ＢＤＯＦ技術ではなく、従来技術（例えば、重み付け計算方式）又は他のパッチ最適化技術（例えば、ＭＭＶＤ又はＣＩＩＰ）に従って決定される。これは、コーディングの複雑さを大幅に低減させることができるとともに、コーディング効率を向上させることができる。
ステップＳ７０３： 復号装置は、少なくとも現在ピクチャブロックの予測サンプル値に基づいて、現在ピクチャブロックのサンプル値を決定する。
例えば、ＡＭＶＰモード及びマージモードでは、現在ブロックの予測サンプル値にサンプル残差を足し合わせることで現在ブロックのサンプル値が得られる。スキップモードでは、現在ブロックのサンプル値を決定するときにサンプル残差は必要でない。
図８は、この出願の一実施形態に従ったインター予測装置８０の概略ブロック図である。なお、インター予測装置８０は、映像ピクチャを復号するためのインター予測に適用可能であるだけでなく、映像ピクチャを符号化するためのインター予測にも適用可能である。理解されるべきことには、ここでのインター予測装置８０は、図２のインター予測ユニット２４４に対応することができ、あるいは図３のインター予測ユニット３４４に対応することができる。インター予測装置８０は、判定ユニット８０１及びインター予測処理ユニット８０２を含み得る。
判定ユニット８０１は、現在ピクチャブロックが複数のプリセット条件を満足するかを判定するように構成される。
インター予測処理ユニット８０２は、上記複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ（Bi-directional optical flow、略してＢＩＯ又はＢＤＯＦ）処理を実行して現在ピクチャブロックの予測サンプル値を取得するように構成され、上記複数のプリセット条件は少なくとも、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を含む。現在ピクチャブロックのサイズは、通常、幅及び高さ（短くＷ×Ｈと記載される）によって表され、幅及び高さは、サンプル（sample又はpixel）によって測定される。例えば、現在ピクチャブロックのサイズが８×８である場合、１つめの８は、現在ピクチャブロックの幅が８サンプルであることを示し、２つめの８は、現在ピクチャブロックの高さが８サンプルであることを示す。他の一例では、現在ピクチャブロックのサイズが８×１６である場合、８は、現在ピクチャブロックの幅が８サンプルであることを示し、１６は、現在ピクチャブロックの高さが１６サンプルであることを示す。
現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗと高さＨとの積が６４に等しいときに幅Ｗが高さＨに等しくない、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が６４よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８以上であり、現在ピクチャブロックの幅Ｗが８以上であり、且つ現在ピクチャブロックの幅Ｗと現在ピクチャブロックの高さＨとの積が１２８よりも大きい、ことを含む（又は、ことである）。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きい、ことを含む。
あるいは、現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、現在ピクチャブロックの高さＨが８よりも大きく、且つ現在ピクチャブロックの幅Ｗが８以上である、ことを含む。
なお、ＢＤＯＦ技術に従って、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて現在ピクチャブロックの予測サンプル値を決定する（又は予測を通じて取得する）かが決定される前に、現在ピクチャブロックのサイズに加えて、別の参照条件が存在してもよい。別の参照条件は、ここで限定されるものではない。理解を容易にするために、以下では、説明のための例を用いる。
条件Ａ： 現在映像シーケンスに対してＢＤＯＦ技術が使用されることが許されることを指し示すハイレベルシンタックス識別子sps_bdof_enabled_flagが存在する。
条件Ｂ： 第１リスト（List1）に対応する予測方向指示情報predFlagL0が１に等しく、且つ第２リスト（list0）に対応する予測方向指示情報predFlagL1が１に等しい。
条件Ｃ： 第１リスト（list0）に対応する参照フレームのピクチャオーダカウントPOC_L0、第２リスト（list1）に対応する参照フレームのピクチャオーダカウントPOC_L1、及びその中に現在ピクチャブロックが位置するピクチャのピクチャオーダカウントPOC_Curが、（POC_L0－POC_Cur）×（POC_L1－POC_Cur）＜０という関係を満足する。換言すれば、現在ピクチャブロックを含むピクチャが、２つの参照ピクチャの間にある。
条件Ｄ： MotionModelIdc[xCb][yCb]が０に等しい。MotionModelIdcは、動き補償に関する動きモデルインデックスである。０に等しいMotionModelIdc[xCb][yCb]は、現在ブロックの動き補償のための動きモデルが並進運動（Translational motion）であることを指し示す。
条件Ｅ： merge_subblock_flag[x0][y0]が０に等しく、ここで、０に等しいmerge_subblock_flag[x0][y0]は、現在ピクチャブロックに対してサブブロックマージモードが適用されないことを指し示す。
条件Ｆ： sym_mvd_flag[x0][y0]が０に等しい。０に等しいsym_mvd_flag[x0][y0]は、現在ブロックに対してmvd_coding(x0,y0,refList,cpIdx)シンタックス構造が存在することを指し示す。
条件Ｇ： bcwIdx[xCb][yCb]が０に等しい。bcwIdxは、現在ピクチャブロックに対する双方向予測重みインデックスを示す。
条件Ｈ： cIdxが０に等しい。cIdxは、現在ピクチャブロックの色成分インデックスを表す。
条件Ｉ： 現在ピクチャブロックのサイズが第１のプリセットサイズである。
条件Ｊ： luma_weight_l0_flag[refIdxL0]及びluma_weight_l1_flag[refIdxL1]の両方が０に等しく、ここで、０に等しいluma_weight_l0_flagは、list0予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示し、０に等しいluma_weight_l1_flagは、list1予測のルマコンポーネントに対する重み付け係数が存在しないことを指し示す。
例えば、条件Ａ乃至Ｊの全てが満足されるとき、現在ピクチャブロックの予測サンプル値を予測するためにＢＤＯＦ技術が使用され得ることが決定される。例えば、bdofFlagがtrueに設定される。なお、前述の条件は単なる例であり、別の条件が更に追加されたり、あるいは前述の条件のうちの１つ以上が置き換えられたり、あるいは前述の条件のうちの１つ以上が除去されたりしてもよい。
理解されるべきことには、ここでの現在ピクチャブロック（これは、現在ブロックとも称される）は、処理中のピクチャブロックとして理解され得る。例えば、符号化プロセスにおいて、現在ピクチャブロックは、符号化中のピクチャブロック（encoding block）である。確かなことには、ここでの現在ピクチャブロックは代わりに、処理中のピクチャブロックとして理解されてもよい。例えば、復号プロセスにおいて、現在ピクチャブロックは、復号中のピクチャブロック（decoding block）である。
理解され得ることには、前述のケースを参考にして、別のケースを更に得ることができ、別のケースもこの出願の保護範囲に入るものである。
理解されるべきことには、この出願の実施形態における方法は、ビデオエンコーダ、又は映像符号化機能を持つエレクトロニクス装置によって実行されることができ、あるいは、ビデオエンコーダ、又は映像符号化機能を持つエレクトロニクス装置によって実行されることができる。例えば、当該方法は具体的に、これらの装置内のインター予測ユニットによって実行され得る。
なお、前述のインター予測装置８０内の判定ユニット８０１及び予測処理ユニット８０２の具体的な実装については、図６Ａ及び図７に示した方法実施形態における関連説明を参照されたい。
前述の方法手順のステップにおいて、当該ステップの記載順序は当該ステップの実行順序を表すものではない。当該ステップは、前述の記載順序に従って実行されてもよいしされなくてもよい。
当業者が理解し得ることには、この明細書にて開示及び記載された様々な例示的な論理ブロック、モジュール、及びアルゴリズムステップを参照して説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせによって実装されることができる。ソフトウェアによって実装される場合、それら例示的な論理ブロック、モジュール、及びステップを参照して説明された機能は、１つ以上の命令又はコードとして、コンピュータ読み取り可能媒体に格納され又はそれ上で伝送され、そして、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ読み取り可能媒体は、例えばデータ記憶媒体などの有形媒体に対応するものであるコンピュータ読み取り可能記憶媒体を含むことができ、あるいは、（例えば通信プロトコルに従った）１つの場所から別の場所へのコンピュータプログラムの伝送を支援する任意の通信媒体を含むことができる。斯くして、コンピュータ読み取り可能媒体は、一般に、（１）非一時的な有形のコンピュータ読み取り可能記憶媒体、又は（２）例えば信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、この出願に記載された技術を実装するための命令、コード及び／又はデータ構造を取り出すために１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされることができる任意の使用可能な媒体とし得る。コンピュータプログラムプロダクトがコンピュータ読み取り可能媒体を含み得る。
例として、限定ではなく、そのようなコンピュータ読み取り可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他のコンパクトディスクストレージ装置、磁気ディスクストレージ装置若しくは他の磁気ストレージ装置、フラッシュメモリ、又は、命令若しくはデータ構造の形態で所望のプログラムコードを格納するために使用されることができ且つコンピュータによってアクセスされることができる任意の他の媒体を含み得る。また、任意の接続が適切にコンピュータ読み取り可能媒体として参照される。例えば、命令が、ウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバ、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は例えば赤外線、無線、若しくはマイクロ波などの無線技術を介して伝送される場合、その同軸ケーブル、光ファイバ、ツイストペア、ＤＳＬ、又は例えば赤外線、無線、若しくはマイクロ波などの無線技術は、媒体の定義に含まれる。しかしながら、理解されるべきことには、コンピュータ読み取り可能記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まず、実際には、非一時的で有形の記憶媒体を意味する。この明細書で使用されるディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、及びＢｌｕ－ｒａｙディスクを含む。ｄｉｓｋは、通常、磁気的にデータを再生し、ｄｉｓｃはレーザを用いることによって光学的にデータを再生する。上述のアイテムの組み合わせも、コンピュータ読み取り可能媒体の範囲に含まれるべきである。
命令は、例えば１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積論理回路若しくはディスクリート論理回路などの、１つ以上のプロセッサによって実行され得る。従って、この明細書で使用される用語“プロセッサ”は、上述の構造のいずれか、又はこの明細書に記載された技術を実装するのに適した任意の他の構造とし得る。さらに、一部の態様において、この明細書に記載された例示的な論理ブロック、モジュール、及びステップを参照して説明された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内で提供されてもよいし、あるいは、組み合わされたコーデックに組み込まれてもよい。また、これらの技術は、１つ以上の回路又は論理素子にて完全に実装されてもよい。
この出願における技術は、無線ハンドセット、集積回路（ＩＣ）、又は一組のＩＣ（例えば、チップセット）を含め、様々な装置又はデバイスにて実装され得る。この出願では、開示された技術を実行するように構成された装置の機能的側面を強調するために、様々なコンポーネント、モジュール、又はユニットが説明されているが、必ずしも、複数の異なるハードウェアユニットによって実装されるわけではない。実際には、上述のように、様々なユニットが、適切なソフトウェア及び／又はファームウェアと組み合わせてコーデックハードウェアユニットへと結合されてもよいし、あるいは、相互運用可能な複数のハードウェアユニット（上述の１つ以上のプロセッサを含む）によって提供されてもよい。
以上の説明は、単にこの出願の特定の実装の例であり、この出願の保護範囲を限定することを意図するものではない。この出願にて開示された技術的範囲内で当業者が容易に考え付く如何なる変更又は置換もこの出願の保護範囲に入るものである。従って、この出願の保護範囲は請求項の保護範囲に従うものである。

Claims (28)

  1. 符号化方法であって、
    現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で前記現在ピクチャブロックの予測サンプル値を決定するステップ（Ｓ６０１）であり、前記第１の処理方式は、双方向オプティカルフローＢＤＯＦではなく、前記第１リストに対応する前記参照サンプル値、及び前記第２リストに対応する前記参照サンプル値は、それぞれ、前記第１リストに対応する第１動きベクトル、及び前記第２リストに対応する第２動きベクトルに基づく予測を通じて取得され、
    前記第２のプリセットサイズは８×８を有し、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは８×８又は４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは４以上である、ステップと、
    少なくとも前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックの再構成サンプル値を取得するステップ（Ｓ６０２）と、
    シンタックス要素を送信対象ビットストリームに符号化するステップ（Ｓ６０３）であり、前記シンタックス要素は少なくとも、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用される、ステップと、
    を有することを特徴とする方法。
  2. 第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で前記現在ピクチャブロックの予測サンプル値を前記決定するステップ（Ｓ６０１）は、
    前記第１リストに対応する前記参照サンプル値及び前記第２リストに対応する前記参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、前記現在ピクチャブロックの前記予測サンプル値を取得すること、又は
    マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、前記第１リストに対応する前記参照サンプル値と前記第２リストに対応する前記参照サンプル値とに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得すること、又は
    結合インター／イントラ予測ＣＩＩＰ技術に従って、前記第１リストに対応する前記参照サンプル値と前記第２リストに対応する前記参照サンプル値とに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得すること、
    を有する、ことを特徴とする請求項１に記載の方法。
  3. 当該方法は更に、
    複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して前記現在ピクチャブロックの予測サンプル値を取得するステップであり、前記複数のプリセット条件は少なくとも、前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を有し、
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が６４よりも大きい、ことを有し、又は
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が１２８よりも大きい、ことを有する、ステップと、
    少なくとも前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックの再構成サンプル値を取得するステップと、
    を有し、
    Ｗ及びＨは各々２ｎであり、ｎは整数である、
    ことを特徴とする請求項１に記載の方法。
  4. 前記シンタックス要素は、ターゲット候補動き情報のインデックスを有し、前記ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報を有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、前記ターゲット候補動きベクトルは、前記第１リストに対応する前記第１動きベクトル、及び前記第２リストに対応する前記第２動きベクトルを有し、前記参照フレームインデックスは、前記第１リストに対応する第１参照フレームのインデックス、及び前記第２リストに対応する第２参照フレームのインデックスを有する、ことを特徴とする請求項１乃至３のいずれか一項に記載の方法。
  5. 前記シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを有し、前記第１インデックスは、ターゲット候補動きベクトル予測子を指し示すために使用され、前記ターゲット候補動きベクトル予測子は、前記第１リストに対応する第１動きベクトル予測子、及び前記第２リストに対応する第２動きベクトル予測子を有し、前記動きベクトル差ＭＶＤは、前記第１リストに対応する第１ＭＶＤ、及び／又は前記第２リストに対応する第２ＭＶＤを有し、
    前記第２インデックスは、前記現在ピクチャブロックの参照フレームを指し示すために使用され、前記参照フレームは、前記第１リストに対応する第１参照フレーム、及び前記第２リストに対応する第２参照フレームを有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、
    前記第１リストに対応する前記第１動きベクトルが、前記第１リストに対応する前記第１動きベクトル予測子と、前記第１リストに対応する前記第１ＭＶＤとに基づいて取得され、
    前記第２リストに対応する前記第２動きベクトルが、前記第２リストに対応する前記第２動きベクトル予測子と、前記第２リストに対応する前記第２ＭＶＤとに基づいて取得される、
    ことを特徴とする請求項１乃至３のいずれか一項に記載の方法。
  6. 当該方法は更に、
    前記現在ピクチャブロックのサンプル値と前記現在ピクチャブロックの前記予測サンプル値とに基づいて、サンプル残差を決定するステップ、
    を有し、
    シンタックス要素を送信対象ビットストリームに前記符号化するステップは、前記シンタックス要素及び前記サンプル残差を前記送信対象ビットストリームに符号化することを有する、
    ことを特徴とする請求項１乃至３のいずれか一項に記載の方法。
  7. 復号方法であって、
    ビットストリームを解析してシンタックス要素を取得するステップ（Ｓ７００）であり、前記シンタックス要素は少なくとも、現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用される、ステップと、
    現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で前記現在ピクチャブロックの予測サンプル値を決定するステップ（Ｓ７０２）であり、前記第１の処理方式は、双方向オプティカルフローＢＤＯＦではなく、前記第１リストに対応する前記参照サンプル値、及び前記第２リストに対応する前記参照サンプル値は、それぞれ、前記第１リストに対応する第１動きベクトル、及び前記第２リストに対応する第２動きベクトルに基づく予測を通じて取得され、
    前記第２のプリセットサイズは８×８を有し、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは８×８又は４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは４以上である、ステップと、
    少なくとも前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックの再構成サンプル値を決定するステップ（Ｓ７０３）と、
    を有することを特徴とする方法。
  8. 第１リストに対応する参照サンプルと第２リストに対応する参照サンプルとに基づいて、第１の処理方式で予測を通じて前記現在ピクチャブロックの予測サンプル値を前記決定するステップは、
    前記第１リストに対応する前記参照サンプル及び前記第２リストに対応する前記参照サンプルにおいて同じ位置を持つサンプル値に対して重み付け計算を実行して、前記現在ピクチャブロックの前記予測サンプル値を取得すること、又は
    マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得すること、又は
    結合インター／イントラ予測ＣＩＩＰ技術に従って、前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得すること、又は
    デコーダ側動きベクトル精緻化ＤＭＶＲ技術に従って、前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得すること、
    を有する、ことを特徴とする請求項７に記載の方法。
  9. 当該方法は更に、
    複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して前記現在ピクチャブロックの予測サンプル値を取得するステップであり、前記複数のプリセット条件は少なくとも、前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を有し、
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が６４よりも大きい、ことを有し、又は
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が１２８よりも大きい、ことを有する、ステップと、
    前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックのサンプル値を決定するステップと、
    を有し、
    Ｗ及びＨは各々２ｎであり、ｎは整数である、
    ことを特徴とする請求項７に記載の方法。
  10. 前記シンタックス要素は、ターゲット候補動き情報のインデックスを有し、前記ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報を有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、前記ターゲット候補動きベクトルは、前記第１リストに対応する前記第１動きベクトル、及び前記第２リストに対応する前記第２動きベクトルを有し、前記参照フレームインデックスは、前記第１リストに対応する第１参照フレームインデックス、及び前記第２リストに対応する第２参照フレームインデックスを有する、ことを特徴とする請求項７乃至９のいずれか一項に記載の方法。
  11. 前記シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを有し、前記第１インデックスは、ターゲット候補動きベクトル予測子を指し示すために使用され、前記ターゲット候補動きベクトル予測子は、前記第１リストに対応する第１動きベクトル予測子、及び前記第２リストに対応する第２動きベクトル予測子を有し、前記動きベクトル差ＭＶＤは、前記第１リストに対応する第１ＭＶＤ、及び／又は前記第２リストに対応する第２ＭＶＤを有し、
    前記第２インデックスは、前記現在ピクチャブロックの参照フレームを指し示すために使用され、前記参照フレームは、前記第１リストに対応する第１参照フレーム、及び前記第２リストに対応する第２参照フレームを有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、
    前記第１リストに対応する前記第１動きベクトルが、前記第１リストに対応する前記第１動きベクトル予測子と、前記第１リストに対応する前記第１ＭＶＤとに基づいて取得され、
    前記第２リストに対応する前記第２動きベクトルが、前記第２リストに対応する前記第２動きベクトル予測子と、前記第２リストに対応する前記第２ＭＶＤとに基づいて取得される、
    ことを特徴とする請求項７乃至９のいずれか一項に記載の方法。
  12. ビットストリームを解析してシンタックス要素を前記取得するステップは、前記ビットストリームを解析して、サンプル残差と前記シンタックス要素とを取得することを有し、
    少なくとも前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックの再構成サンプル値を前記決定するステップは、前記サンプル残差と前記現在ピクチャブロックの前記予測サンプル値とに基づいて、前記現在ピクチャブロックの前記再構成サンプル値を決定することを有する、
    ことを特徴とする請求項７乃至９のいずれか一項に記載の方法。
  13. 符号化装置であって、
    現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で前記現在ピクチャブロックの予測サンプル値を決定するように構成されたインター予測ユニット（２４４）であり、前記第１の処理方式は、双方向オプティカルフローＢＤＯＦではなく、前記第１リストに対応する前記参照サンプル値、及び前記第２リストに対応する前記参照サンプル値は、それぞれ、前記第１リストに対応する第１動きベクトル、及び前記第２リストに対応する第２動きベクトルに基づく予測を通じて取得され、
    前記第２のプリセットサイズは８×８を有し、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは８×８又は４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは４以上である、インター予測ユニットと、
    少なくとも前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックの再構成サンプル値を取得するように構成された再構成ユニット（２１４）と、
    シンタックス要素を送信対象ビットストリームに符号化するように構成されたエントロピー符号化ユニット（２７０）であり、前記シンタックス要素は少なくとも、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用される、エントロピー符号化ユニットと、
    を有することを特徴とする符号化装置。
  14. 前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づいて、前記第１の処理方式で前記現在ピクチャブロックの前記予測サンプル値を決定するプロセスにおいて、前記インター予測ユニット（２４４）は具体的に、
    前記第１リストに対応する前記参照サンプル値及び前記第２リストに対応する前記参照サンプル値において同じ位置を持つサンプル値に対して重み付け計算を実行して、前記現在ピクチャブロックの前記予測サンプル値を取得する、又は
    マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、前記第１リストに対応する前記参照サンプル値と前記第２リストに対応する前記参照サンプル値とに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得する、又は
    結合インター／イントラ予測ＣＩＩＰ技術に従って、前記第１リストに対応する前記参照サンプル値と前記第２リストに対応する前記参照サンプル値とに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得する、
    ように構成される、ことを特徴とする請求項１３に記載の符号化装置。
  15. 前記インター予測ユニット（２４４）は更に、
    複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して前記現在ピクチャブロックの予測サンプル値を取得するように構成され、前記複数のプリセット条件は少なくとも、前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を有し、
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が６４よりも大きい、ことを有し、又は
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が１２８よりも大きい、ことを有し、
    前記再構成ユニット（２１４）は更に、少なくとも前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックの再構成サンプル値を取得するように構成され、Ｗ及びＨは各々２ｎであり、ｎは整数である、
    ことを特徴とする請求項１３に記載の符号化装置。
  16. 前記シンタックス要素は、ターゲット候補動き情報のインデックスを有し、前記ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報を有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、前記ターゲット候補動きベクトルは、前記第１リストに対応する前記第１動きベクトル、及び前記第２リストに対応する前記第２動きベクトルを有し、前記参照フレームインデックスは、前記第１リストに対応する第１参照フレームインデックス、及び前記第２リストに対応する第２参照フレームインデックスを有する、ことを特徴とする請求項１３乃至１５のいずれか一項に記載の符号化装置。
  17. 前記シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを有し、前記第１インデックスは、ターゲット候補動きベクトル予測子を指し示すために使用され、前記ターゲット候補動きベクトル予測子は、前記第１リストに対応する第１動きベクトル予測子、及び前記第２リストに対応する第２動きベクトル予測子を有し、前記動きベクトル差ＭＶＤは、前記第１リストに対応する第１ＭＶＤ、及び／又は前記第２リストに対応する第２ＭＶＤを有し、
    前記第２インデックスは、前記現在ピクチャブロックの参照フレームを指し示すために使用され、前記参照フレームは、前記第１リストに対応する第１参照フレーム、及び前記第２リストに対応する第２参照フレームを有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、
    前記第１リストに対応する前記第１動きベクトルが、前記第１リストに対応する前記第１動きベクトル予測子と、前記第１リストに対応する前記第１ＭＶＤとに基づいて取得され、
    前記第２リストに対応する前記第２動きベクトルが、前記第２リストに対応する前記第２動きベクトル予測子と、前記第２リストに対応する前記第２ＭＶＤとに基づいて取得される、
    ことを特徴とする請求項１３乃至１５のいずれか一項に記載の符号化装置。
  18. 当該符号化装置は更に、
    前記現在ピクチャブロックのサンプル値と前記現在ピクチャブロックの前記予測サンプル値とに基づいてサンプル残差を決定するように構成された残差計算ユニット（２０４）、
    を有し、
    前記エントロピー符号化ユニットは具体的に、前記シンタックス要素及び前記サンプル残差を前記送信対象ビットストリームに符号化するように構成される、
    ことを特徴とする請求項１３乃至１５のいずれか一項に記載の符号化装置。
  19. 復号装置であって、
    ビットストリームを解析してシンタックス要素を取得するエントロピー復号ユニット（３０４）であり、前記シンタックス要素は少なくとも、現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用される、エントロピー復号ユニットと、
    現在ピクチャブロックのサイズが第２のプリセットサイズであるときに、第１リストに対応する参照サンプル値と第２リストに対応する参照サンプル値とに基づいて、第１の処理方式で前記現在ピクチャブロックの予測サンプル値を決定するように構成されたインター予測ユニット（３４４）であり、前記第１の処理方式は、双方向オプティカルフローＢＤＯＦではなく、前記第１リストに対応する前記参照サンプル値、及び前記第２リストに対応する前記参照サンプル値は、それぞれ、前記第１リストに対応する第１動きベクトル、及び前記第２リストに対応する第２動きベクトルに基づく予測を通じて取得され、
    前記第２のプリセットサイズは８×８を有し、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは８×８又は４×Ｎを有し、Ｎは８以上であり、又は
    前記第２のプリセットサイズは４×Ｎを有し、Ｎは４以上である、インター予測ユニットと、
    少なくとも前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックの再構成サンプル値を決定するように構成された再構成ユニット（３１４）と、
    を有することを特徴とする復号装置。
  20. 前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づいて、前記第１の処理方式で予測を通じて前記現在ピクチャブロックの前記予測サンプル値を決定するプロセスにおいて、前記インター予測ユニット（３４４）は具体的に、
    前記第１リストに対応する前記参照サンプル及び前記第２リストに対応する前記参照サンプルにおいて同じ位置を持つサンプル値に対して重み付け計算を実行して、前記現在ピクチャブロックの前記予測サンプル値を取得する、又は
    マージ・ウイズ・動きベクトル差ＭＭＶＤ技術に従って、前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得する、又は
    結合インター／イントラ予測ＣＩＩＰ技術に従って、前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得する、又は
    デコーダ側動きベクトル精緻化ＤＭＶＲ技術に従って、前記第１リストに対応する前記参照サンプルと前記第２リストに対応する前記参照サンプルとに基づく予測を通じて、前記現在ピクチャブロックの前記予測サンプル値を取得する、
    ように構成される、ことを特徴とする請求項１９に記載の復号装置。
  21. 前記インター予測ユニット（３４４）は更に、
    複数のプリセット条件が満足されるときに、現在ピクチャブロックに対して双方向オプティカルフローＢＤＯＦ処理を実行して前記現在ピクチャブロックの予測サンプル値を取得するように構成され、前記複数のプリセット条件は少なくとも、前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することという条件を有し、
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が６４よりも大きい、ことを有し、又は
    前記現在ピクチャブロックのサイズが第１のプリセットサイズを満足することは、前記現在ピクチャブロックの高さＨが８以上であり、前記現在ピクチャブロックの幅Ｗが８以上であり、且つ前記現在ピクチャブロックの前記幅Ｗと前記現在ピクチャブロックの前記高さＨとの積が１２８よりも大きい、ことを有し、
    前記再構成ユニット（３１４）は更に、前記現在ピクチャブロックの前記予測サンプル値に基づいて、前記現在ピクチャブロックのサンプル値を決定するように構成され、
    Ｗ及びＨは各々２ｎであり、ｎは整数である、
    ことを特徴とする請求項１９に記載の復号装置。
  22. 前記シンタックス要素は、ターゲット候補動き情報のインデックスを有し、前記ターゲット候補動き情報は、ターゲット候補動きベクトル、参照フレームインデックス、及び予測方向指示情報を有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、前記ターゲット候補動きベクトルは、前記第１リストに対応する前記第１動きベクトル、及び前記第２リストに対応する前記第２動きベクトルを有し、前記参照フレームインデックスは、前記第１リストに対応する第１参照フレームのインデックス、及び前記第２リストに対応する第２参照フレームのインデックスを有する、ことを特徴とする請求項１９乃至２１のいずれか一項に記載の復号装置。
  23. 前記シンタックス要素は、第１インデックス、第２インデックス、予測方向指示情報、及び動きベクトル差ＭＶＤを有し、前記第１インデックスは、ターゲット候補動きベクトル予測子を指し示すために使用され、前記ターゲット候補動きベクトル予測子は、前記第１リストに対応する第１動きベクトル予測子、及び前記第２リストに対応する第２動きベクトル予測子を有し、前記動きベクトル差ＭＶＤは、前記第１リストに対応する第１ＭＶＤ、及び／又は前記第２リストに対応する第２ＭＶＤを有し、
    前記第２インデックスは、前記現在ピクチャブロックの参照フレームを指し示すために使用され、前記参照フレームは、前記第１リストに対応する第１参照フレーム、及び前記第２リストに対応する第２参照フレームを有し、前記予測方向指示情報は、前記現在ピクチャブロックに対して双方向予測が適用されることを指し示すために使用され、
    前記第１リストに対応する前記第１動きベクトルが、前記第１リストに対応する前記第１動きベクトル予測子と、前記第１リストに対応する前記第１ＭＶＤとに基づいて取得され、
    前記第２リストに対応する前記第２動きベクトルが、前記第２リストに対応する前記第２動きベクトル予測子と、前記第２リストに対応する前記第２ＭＶＤとに基づいて取得される、
    ことを特徴とする請求項１９乃至２１のいずれか一項に記載の復号装置。
  24. 前記エントロピー復号ユニット（３０４）は具体的に、前記ビットストリームを解析して、サンプル残差と前記シンタックス要素とを取得するように構成され、
    前記再構成ユニット（３１４）は具体的に、前記サンプル残差と前記現在ピクチャブロックの前記予測サンプル値とに基づいて、前記現在ピクチャブロックの前記再構成サンプル値を決定するように構成される、
    ことを特徴とする請求項１９乃至２１のいずれか一項に記載の復号装置。
  25. コンピュータ読み取り可能記憶媒体であって、当該コンピュータ読み取り可能記憶媒体はコンピュータプログラムを格納し、該コンピュータプログラムがプロセッサ上で実行されるときに請求項１乃至１２のいずれか一項に記載の方法が実行される、ことを特徴とするコンピュータ読み取り可能記憶媒体。
  26. 請求項１乃至６のいずれか一項に記載の方法を実行する処理回路を有することを特徴とするエンコーダ。
  27. 請求項７乃至１２のいずれか一項に記載の方法を実行する処理回路を有することを特徴とするデコーダ。
  28. コンピュータ読み取り可能記憶媒体であって、請求項１乃至１２のいずれか一項に記載の方法によって符号化されたビットストリームを有することを特徴とするコンピュータ読み取り可能記憶媒体。
JP2023215334A 2019-06-24 2023-12-21 ビデオエンコーダ、ビデオデコーダ、及び対応する方法 Pending JP2024037999A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN201910559986.9 2019-06-24
CN201910559986 2019-06-24
CN201910584158.0 2019-06-29
CN201910584158.0A CN112135141A (zh) 2019-06-24 2019-06-29 视频编码器、视频解码器及相应方法
JP2021576552A JP7410191B2 (ja) 2019-06-24 2020-06-24 ビデオエンコーダ、ビデオデコーダ、及び対応する方法
PCT/CN2020/098053 WO2020259567A1 (zh) 2019-06-24 2020-06-24 视频编码器、视频解码器及相应方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021576552A Division JP7410191B2 (ja) 2019-06-24 2020-06-24 ビデオエンコーダ、ビデオデコーダ、及び対応する方法

Publications (1)

Publication Number Publication Date
JP2024037999A true JP2024037999A (ja) 2024-03-19

Family

ID=73849550

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021576552A Active JP7410191B2 (ja) 2019-06-24 2020-06-24 ビデオエンコーダ、ビデオデコーダ、及び対応する方法
JP2023215334A Pending JP2024037999A (ja) 2019-06-24 2023-12-21 ビデオエンコーダ、ビデオデコーダ、及び対応する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021576552A Active JP7410191B2 (ja) 2019-06-24 2020-06-24 ビデオエンコーダ、ビデオデコーダ、及び対応する方法

Country Status (11)

Country Link
US (1) US20220116619A1 (ja)
EP (1) EP3982633A4 (ja)
JP (2) JP7410191B2 (ja)
KR (1) KR20220024737A (ja)
CN (2) CN112135141A (ja)
AU (1) AU2020308366B2 (ja)
BR (1) BR112021026123A2 (ja)
CA (1) CA3145056A1 (ja)
MX (1) MX2022000202A (ja)
TW (2) TWI748522B (ja)
WO (1) WO2020259567A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021001220A1 (en) * 2019-07-01 2021-01-07 Interdigital Vc Holdings France, Sas Bi-directional optical flow refinement of affine motion compensation
US20230199171A1 (en) * 2021-12-21 2023-06-22 Mediatek Inc. Search Memory Management For Video Coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215407B (zh) * 2010-04-09 2013-07-10 华为技术有限公司 双向预测块的获取方法和装置以及图像解码方法
CN103916673B (zh) * 2013-01-06 2017-12-22 华为技术有限公司 基于双向预测的编码方法、解码方法和装置
US20180249172A1 (en) * 2015-09-02 2018-08-30 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
EP4138392A1 (en) * 2016-02-05 2023-02-22 HFI Innovation Inc. Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
EP3301643A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for rectified motion compensation for omnidirectional videos
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
JP7168593B2 (ja) * 2017-07-03 2022-11-09 ヴィド スケール インコーポレイテッド 双方向オプティカルフローに基づいた動き補償予測
WO2019031417A1 (ja) 2017-08-09 2019-02-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
KR102580910B1 (ko) * 2017-08-29 2023-09-20 에스케이텔레콤 주식회사 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
WO2019045427A1 (ko) * 2017-08-29 2019-03-07 에스케이텔레콤 주식회사 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
CN111083489B (zh) * 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN113574891B (zh) 2019-02-24 2024-03-22 Lg 电子株式会社 基于dmvr的帧间预测方法和设备
JP7058329B2 (ja) 2019-03-22 2022-04-21 エルジー エレクトロニクス インコーポレイティド Ｄｍｖｒおよびｂｄｏｆベースのインター予測方法および装置

Also Published As

Publication number Publication date
CN112135141A (zh) 2020-12-25
TW202106009A (zh) 2021-02-01
CA3145056A1 (en) 2020-12-30
TWI748522B (zh) 2021-12-01
CN113170176B (zh) 2022-04-26
JP7410191B2 (ja) 2024-01-09
TW202224429A (zh) 2022-06-16
JP2022539030A (ja) 2022-09-07
EP3982633A1 (en) 2022-04-13
KR20220024737A (ko) 2022-03-03
TWI806212B (zh) 2023-06-21
AU2020308366A1 (en) 2022-02-03
CN113170176A (zh) 2021-07-23
MX2022000202A (es) 2022-01-24
EP3982633A4 (en) 2022-08-10
WO2020259567A1 (zh) 2020-12-30
AU2020308366B2 (en) 2023-12-14
US20220116619A1 (en) 2022-04-14
BR112021026123A2 (pt) 2022-02-08

Similar Documents

Publication Publication Date Title
US20240048686A1 (en) Inter prediction method and apparatus
US11889061B2 (en) Method for obtaining candidate motion vector list, apparatus, encoder, and decoder
US20220078441A1 (en) Inter prediction method and apparatus
JP2024037999A (ja) ビデオエンコーダ、ビデオデコーダ、及び対応する方法
JP2024014927A (ja) インター予測方法および装置
JP2023179684A (ja) ピクチャ予測方法および装置、およびコンピュータ可読記憶媒体
CN112135137A (zh) 视频编码器、视频解码器及相应方法
CN111405277B (zh) 帧间预测方法、装置以及相应的编码器和解码器
RU2819065C2 (ru) Видеокодер, видеодекодер и соответствующий способ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119