JP6634151B2 - ビデオ符号化における適応インター予測の方法と装置 - Google Patents

ビデオ符号化における適応インター予測の方法と装置 Download PDF

Info

Publication number
JP6634151B2
JP6634151B2 JP2018512175A JP2018512175A JP6634151B2 JP 6634151 B2 JP6634151 B2 JP 6634151B2 JP 2018512175 A JP2018512175 A JP 2018512175A JP 2018512175 A JP2018512175 A JP 2018512175A JP 6634151 B2 JP6634151 B2 JP 6634151B2
Authority
JP
Japan
Prior art keywords
current block
prediction
inter prediction
weighting factors
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018512175A
Other languages
English (en)
Other versions
JP2018530221A5 (ja
JP2018530221A (ja
Inventor
チンイェー チェン
チンイェー チェン
チーウェイ ス
チーウェイ ス
ハン フアン
ハン フアン
ユウェン フアン
ユウェン フアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2018530221A publication Critical patent/JP2018530221A/ja
Publication of JP2018530221A5 publication Critical patent/JP2018530221A5/ja
Application granted granted Critical
Publication of JP6634151B2 publication Critical patent/JP6634151B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本出願は、２０１５年９月６日に出願されたＰＣＴ／ＣＮ２０１５／０８８９５２号の優先権を主張するものであり、参照によりその全体が本願に組み込まれる。
本発明は、ビデオデータのビデオ符号化に関するものであって、特に、符号化効率を改善する、ビデオ符号化における適応インター予測に関するものである。
ビデオデータは、保存するための多くの保存空間、および、送信するための広帯域幅を必要とする。高い解像度、および、高いフレームレートの成長に伴い、ビデオデータが非圧縮形式で保存、または、送信される場合、ストレージ、または、伝送帯域幅に対する要求は非常に高い。これにより、ビデオデータは、通常、ビデオ符号化技術を用いて、圧縮されたフォーマットで保存、または、送信される。符号化効率は、最新のビデオ圧縮フォーマット、たとえば、Ｈ.２６４／ＡＶＣ、および、新たなＨＥＶＣ (高効率ビデオコーディング)標準を用いて、大幅に改善されている。
図１は、ループプロセシングを組み込んだ適応インター／イントラビデオ符号化システムを示す図である。インター予測において、動き推定 (ＭＥ)／動き補償 (ＭＣ)１１２が用いられて、一ピクチャ、または、複数のピクチャから、ビデオデータに基づいて、予測データを提供する。スイッチ１１４は、イントラ予測１１０、または、インター予測データを選択するとともに、選択された予測データが加算器１１６に供給されて、残差と称する、予測誤差を生成する。その後、予測誤差は、変換 (Ｔ)１１８、そのあと、量子化 (Ｑ)１２０により処理される。変換、および、量子化された残差は、その後、圧縮ビデオデータに対応するビデオビットストリーム中に含まれるエントロピーエンコーダ１２２により符号化される。インター予測モードが用いられるとき、リファレンス画像、または、複数のピクチャは、エンコーダ側で再構築されなければならない。それゆえに、変換、および、量子化された残差は、逆量子化 (ＩＱ)１２４と逆変換 (ＩＴ)１２６により処理されて、残差をリカバーする。その後、残差は、再構築 (ＲＥＣ)１２８で、予測データ１３６に戻して、ビデオデータを再構築する。再構築ビデオデータは、リファレンス画像バッファ１３４に保存されるとともに、ほかのフレームの予測に用いられる。しかし、ビデオデータが、リファレンス画像バッファに保存される前に、ループフィルター１３０ (たとえば、非ブロック化フィルター、および／または、サンプル適応オフセット、ＳＡＯ) が再構築ビデオデータに適用される。
図２は、図１のエンコーダシステムの対応するビデオデコーダのシステムブロック図である。エンコーダは、ローカルデコーダも含み、ビデオデータを再構築するので、あるデコーダコンポーネンツは、エントロピーデコーダ２１０を除いて、エンコーダですでに使用されている。さらに、動き補償２２０だけがデコーダ側に必要とされる。スイッチ１４６は、イントラ予測、または、インター予測を選択するとともに、選択された予測データが、リカバーされた残差と結合される再構築 (ＲＥＣ)１２８に供給される。圧縮された残差に、エントロピーデコーディングを実行する以外に、エントロピーデコーディング２１０は、さらに、サイド情報のエントロピーデコーディングの責任を負うとともに、サイド情報を対応するブロックに提供する。たとえば、イントラモード情報がイントラ予測１１０に提供され、インターモード情報が動き補償２２０に提供され、ループフィルター情報がループフィルター１３０に提供され、残差は、逆量子化１２４に提供される。残差は、ＩＱ１２４、ＩＴ１２６、および、後続の再構築プロセスにより処理されて、ビデオデータを再構築する。さらに、ＲＥＣ１２８からの再構築ビデオデータは、図２に示されるＩＱ１２４、および、ＩＴ１２６を含む一連の処理を経て、符号化アーチファクトを受ける。再構築ビデオデータは、さらに、ループフィルター１３０により処理される。
高効率ビデオコーディング(ＨＥＶＣ)システムにおいて、Ｈ.２６４／ＡＶＣの固定サイズマクロブロックは、符号化ユニット(ＣＵ)と称されるフレキシブルブロックにより代替される。ＣＵ中の画素は、同じ符号化パラメータを共有して、符号化効率を改善する。ＣＵは、ＨＥＶＣ中で、符号化ツリーユニット(ＣＴＵ)とも称される最大ＣＵ(ＬＣＵ)から開始される。各ＣＵは、２Ｎ×２Ｎの四角ブロックであり、且つ、所定の最小サイズに到達するまで、再帰的に四個の小さいＣＵに分割する。ＣＵ階層木の分割が行われると、各リーフＣＵは、予測タイプとＰＵ分割にしたがって、さらに、一つ以上の予測ユニット(ＰＵ)に分割される。さらに、変換符号化の基本ユニットは、変換ユニット (ＴＵ)と称される四角サイズである。
ＨＥＶＣにおいて、イントラ、および、インター予測が各ブロック(すなわち、ＰＵ)に適用される。イントラ予測モードは、空間的隣接再構築画素を用いて、方位予測を生成する。一方、インター予測モードは、一時的な再構築参照フレームを用いて、動き補償予測を生成する。変換、量子化、および、エントロピーコーディングを用いて、予測残差が符号化される。さらに正確な予測が、小さい予測残差につながり、次に、圧縮されたデータ (すなわち、高い圧縮比)を生む。
インター予測は、フレーム間の画素の相互関係を調査するとともに、シーンが変化しない、または、動きが並進する場合、効率がよくなる。このような場合、動き推定は、一時的に隣接するフレームで、同様の画素値を有する同様のブロックを容易に見つける。ＨＥＶＣにおけるインター予測において、インター予測は、単方向予測、または、双方向予測である。単方向予測において、カレントブロックは、前に符号化されたピクチャで、一参照ブロックにより予測される。双方向予測において、カレントブロックは、前に符号化された二個のピクチャで、二個の参照ブロックにより予測される。二個の参照ブロックからの予測が平均化されて、双方向予測で、最終予測を生成する。
多くのビデオ符号化標準において、分数の動きベクトルもサポートされる。たとえば、ＨＥＶＣ標準において、分数の動き補償は、それぞれ、ルマ素子の所定の８タップ補間フィルター、および、クロマ素子の所定の４タップ補間フィルターを用いて実施される。しかし、ＨＥＶＣにおけるインター予測のプロセスは固定である。たとえば、双方向予測の重み付け係数(すなわち、０．５と０．５)、または、分数の動き補償のフィルター係数は固定である。これにより、従来のインター予測は、ブロックの局所特性に適合しない、よって、インター予測の圧縮効率をさらに改善するため、適応インター予測方法を発展させることが必要である。
本発明は、適応インター予測を用いたビデオ符号化の方法と装置を提供する。
適応インター予測を用いたビデオ符号化の方法と装置が開示される。本発明によると、選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素を含む第一画素データに基づいて、複数のインター予測フィルターから、インター予測フィルターをカレントブロックに選択する。その後、カレントブロックは、選択されたインター予測プロセスを用いて符号化、または、復号される。第一画素データは、さらに、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有する。カレントブロックの隣接再構築画素と動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、インター予測フィルターを決定する。ひずみは、カレントブロックの隣接再構築画素と動き補償参照ブロック周辺の外部動き補償画素間の絶対差、または、自乗差の合計を用いて計算される。第一画素データは、カレントブロックの動き情報、および、カレントブロックの隣接再構築画素の動き情報に基づいて選択される。カレントブロックの隣接再構築画素は、カレントブロックの上部境界で、隣接する画素の一つ以上のロウ、または、カラムを有する。カレントブロックの隣接再構築画素は、サブサンプリングを用いて選択される。
一実施形態において、複数のインター予測フィルターは、異なる数量のフィルタータップ、異なるフィルター係数、または、両方を有する。選択されたインター予測プロセスは、複数のインター予測フィルターをサポートするインター予測プロセス、双方向予測の複数組の重み付け係数をサポートするインター予測プロセス、または、複数のインター予測フィルターと複数組の重み付け係数両方をサポートするインター予測プロセスを含む一群のインター予測プロセス間の選択により決定される。この群のインター予測プロセスに関連する情報は、ビデオビットストリームのシーケンスレベル、ピクチャレベル、または、スライスレベルでシグナリングされる。この群のインター予測プロセスは、スライスタイプ、予測モード、または、動き情報にしたがって決定される。選択されたインター予測プロセスの情報は、明示的に、エンコーダからデコーダにシグナリングされる。選択されたインター予測プロセスを用いて有効にするか、無効にするかは、ビデオビットストリームのシーケンスレベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされる。
別の実施形態において、選択されたインター予測プロセスが決定され、選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向予測のカレントブロックに選択させ、その後、カレントブロックは、選択されたインター予測プロセスを用いて、符号化、または、復号される。複数組の重み付け係数は、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]および [0.625, 0.375]を有する。複数組の重み付け係数の場合において、カレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、一組の重み付け係数を決定する。第一動き情報に関する第一予測と第二動き情報に関する第二予測は、たった一度だけ、カレントブロックの隣接再構築画素の各画素に生成される。第一予測と第二予測に関連する合計と差が、カレントブロックの隣接再構築画素の各画素に決定される。その後、重み付け係数[0.5, 0.5], [0.625, 0.375], [0.375, 0.625], [0.75, 0. 25]および [0. 25, 0. 75] に関するひずみは、それぞれ、D0 = (X<<3) - Q, D1 = D0 - R, D2 = D0 + R, D3 = D1 - Rおよび D4 = D2 + Rとして計算され、Ｘは、カレントブロックの隣接再構築画素の再構築値を示す。
変換、量子化、および、ループプロセシングを用いた適応インター／イントラビデオ符号化システムを示す図である。
変換、量子化、および、ループプロセシングを用いた適応インター／イントラビデオ復号化システムを示す図である。
本発明の一実施形態によるカレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロックの拡張動き補償画素間のひずみに基づいた、選択されたインター予測プロセスにより、インター予測方法を選択することによる適応インター予測を示す図である。
本発明の一実施形態によるカレントブロックの隣接再構築画素とカレントブロックに対応する動き補償参照ブロックの拡張動き補償画素間のひずみに基づいた、選択されたインター予測プロセスにより、三候補間で補間フィルターを選択することによる適応インター予測を示す図である。
本発明の一実施形態による適応インター予測を用いたビデオ符号化システムのフローチャートである。
以下の記述は、本発明を実行する最高の予定モードである。この記述は、本発明の一般概念を説明するためのものであり、範囲の限定を意図するものではない。本発明は、付加される請求項を基準とすることにより最適に決定される。
前述されたように、従来のインター予測は、予想以上に静的で、且つ、基本ビデオ中の局所特性に適合しない。したがって、本発明の一実施形態において、カレントブロックと隣接再構築画素間の相互関係が用いられて、インター予測の局所的適応を達成する。本方法は、適応インター予測と称される。
一実施形態において、二個以上のインター予測プロセスが用いられ、且つ、カレントブロック周辺の隣接再構築画素が、選択されたインター予測プロセスに用いられて、補間フィルター、および／または、カレントブロックの一組の重み付け係数に対応するインター予測方法を選択する。二個以上のインター予測プロセスは、双方向の異なる補間フィルター(インター予測フィルターとも称される)をサポートするインター予測プロセス、および／または、異なる組の重み付け係数をサポートするインター予測プロセスに対応する。異なる補間フィルターは、異なる数量のフィルタータップ、および／または、異なるフィルター係数に対応する。
一実施形態において、異なるインター予測フィルター間の選択は、カレントブロック周辺の隣接再構築画素 (ＮＲＰ) に基づく。異なるインター予測フィルター間の選択は、さらに、カレントブロック周辺の隣接再構築画素の外部動き補償画素に基づく。隣接再構築画素は、カレントブロックと隣接再構築画素の動き情報に基づいて選択される。たとえば、カレントブロックの動き情報が、左側のＣＵと同じであるが、前のＣＵと異なる場合、カレントブロックと隣接再構築画素の動き情報間の動作比較に基づいて、カレントブロックの左境界の隣接再構築画素だけが選択されて、複数のフィルターから、インター予測フィルターを決定する。前述の実施形態において、異なるインター予測フィルター間の選択が暗黙に引き出される。しかし、別の実施形態において、異なるインター予測フィルター間の選択は、明示的にシグナリングされる。
図３は、本発明の一実施形態による選択されたインター予測プロセスにより、インター予測方法を選択する例を示す図である。図３において、隣接再構築画素 (ＮＲＰ)は、カレントブロック３１０の上部境界上方のＮ個の上方隣接ロウ３１２、および、カレントブロック３１０の左境界の左側のＮ個の左側隣接カラム (すなわち、垂直線)３１４を有する。一例において、カレントブロック３１０の隣接再構築画素は、サブサンプリングを用いて選択される。拡張動き補償予測または画素(ＥＭＣＰ)は、動き補償参照ブロック３２０の上部境界上方のＮ個の上方隣接ロウ３２２、および、動き補償参照ブロック３２０の左境界の左側のＮ個の左側隣接カラム (すなわち、垂直線)３２４を有する。動き補償参照ブロック３２０は、カレントブロック３１０と動きベクトル３３０の位置に従って識別される。動きベクトルは、整数精度、または、分数画素改造度を有する。したがって、整数動き補償、または、分数動き補償が用いられる。
従来のインター予測と比較すると、複数の候補中から、一つのインター予測方法を選択するため、上述の実施形態は、ＮＲＰとＥＭＣＰに関連する追加動き補償を実行することが必要である。
Ｎは、１、または、それより大きい整数である。図３に示されるＮＲＰとＥＭＣＰの配置は、一実施形態による例を説明する目的であり、且つ、本発明を制限するものとして解釈される。たとえば、上部隣接ラインの数量は、左側隣接ラインと異なっていてもよい。
図４は、本発明の一実施形態による適応インター予測プロセスの例を示す図である。この例において、三種の補間フィルターがビデオ符号化システムに用いられる。図４に示されるように、適応インター予測プロセスは、最初に、これらの三個の補間フィルターを用いて、カレントブロック(４１０)周辺の隣接再構築画素 (４１２) に動き補償を実行して、外部動き補償参照ブロック (４２０ａ、４２０ｂ、４２０ｃ)周辺の動き補償画素 (４２２ａ、４２２ｂ、４２２ｃ)を生成する。その後、隣接再構築画素 (４１２) と外部動き補償画素 (４２２ａ、４２２ｂ、４２２ｃ)間のひずみが、これらの三種の補間フィルターに計算される。最小のひずみを有する補間フィルターが用いられて、カレントブロックの予測を生成する。単方位予測において、適応インター予測は、異なる補間フィルターから、一フィルターを適応的に選択することにより達成される。上述のように、整数動き補償、または、分数動き補償が用いられる。
別の実施形態において、双方向予測にとって、適応インター予測は、二予測間で、異なる組の重み付け係数、たとえば、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]、または、 [0.625, 0.375]をサポートすることにより実行される。この実施形態において、一組の重み付け係数は、カレントブロックの隣接再構築画素、および／または、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素に基づいて選択される。たとえば、隣接再構築画素と外部動き補償画素間のひずみにしたがって、一組の重み付け係数が選択されて、カレントブロックを符号化、または、復号する。しかし、従来の双方向予測において、重み付け係数[0.5, 0.5] が常に用いられる。
別の実施形態において、異なる補間フィルターのように、二予測の異なる重み付け係数も、双方向予測で用いられる。
さらに別の実施形態において、異なるインター予測方法が結合されて、別のインター予測方法を生成する。たとえば、特定組の重み付け係数と特定の補間フィルターのユニークな組み合わせがインター予測方法となるように、異なる組の重み付け係数は可変補間フィルターと組み合わされる。サポートされる一組の重み付け係数とサポートされる補間フィルターからのインター予測プロセスの選択は、カレントブロックの隣接再構築画素、および／または、カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素に基づく。
さらに別の実施形態において、隣接再構築画素と外部動き補償画素間のひずみは、絶対差の合計、二乗誤差の合計などとして測定される。
さらに別の実施形態において、適応重み付け係数を有する双方向予測において、一組の候補重み付け係数の効率のよいひずみ計算が開示される。また、隣接再構築画素に、追加動き補償を行う必要がある。Ｘは、隣接再構築画素の再構築値を示す:
1) 動き補償を実行するとともに、二個の対応する動きベクトルに関連する隣接再構築画素の予測Ｐ０とＰ１を得る。
2) Q = (P0+P1)<<2
3) R = P0-P1
4) 重み付け係数 [0.5, 0.5]のひずみは、D0 = (X<<3) - Qとして計算される。
5) 重み付け係数 [0.625, 0.375]のひずみは、D1 = D0 - Rとして計算される。
6) 重み付け係数 [0.375, 0.625]のひずみは、D2 = D0 + Rとして計算される。
7) 重み付け係数 [0.75, 0.25]のひずみは、D3 = D1 - Rとして計算される。
8) 重み付け係数 [0.25, 0.75] のひずみは、D4 = D2 + Rとして計算される。
上述の説明の表現は、簡単な表記法Ｐ０、Ｐ１、ＱとＲを用い、隣接再構築画素中の画素位置のインデックスが減少する。ひずみＤ０からＤ４が、隣接再構築画素中の個々の画素のひずみの合計として計算される。上述のように、工程１で、たったひとつの動き補償が、各隣接する再構築画素に実行され、その後、全組の候補重み付け係数のひずみは、以下のステップで生成される。とくに、二予測の合計に関連する可変Ｑが、工程２で計算される。さらに、二予測の差異に関連する可変Ｒが工程３で計算される。各種組の重み付け係数に関連するひずみは、別の組の重み付け係数のＱ、Ｒ、および／または、前に計算されたひずみに基づいて、効率よく計算される。
別の実施形態において、異なる適応インター予測プロセス間のサポートされる適応インター予測プロセスの選択は、シーケンスレベル、ピクチャレベル、または、スライスレベルでシグナリングされる。サポートされる適応インター予測プロセスの選択は、スライスタイプ、予測モード、または、動き情報に基づく。さらに、適応インター予測を有効にするかどうかが、シーケンスレベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルでシグナリングされる。
さらに別の実施形態において、適応重み付け係数を有する双方向予測の選択は、シーケンスレベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルで、デコーダに明示的にシグナリングされる。
図５は、本発明の一実施形態による適応インター予測を用いたビデオ符号化システムのフローチャートである。エンコーダ側で、入力データは、符号化される画素データに対応する。デコーダ側で、入力データは、カレントブロックを含む符号化データ、および、その他の関連するデータに関連する。この方法によると、工程５１０において、カレントピクチャのカレントブロックに関連する入力データを受信する。工程５２０において、選択されたインター予測プロセスを決定し、選択されたインター予測プロセスは、カレントブロックの隣接再構築画素を含む第一画素データに基づいて、複数のインター予測フィルターから、インター予測フィルターを、カレントブロックに選択する。工程５３０において、選択されたインター予測プロセスを用いて、カレントブロックを符号化、または、復号する。
示されるフローチャートは、本発明によるビデオ符号化の例を説明することを目的としている。当業者は、各工程を修正、複数の工程を再設定、工程を分割することができ、あるいは、本発明の精神を逸脱しない範囲で、工程を組み合わせて、本発明を実施することができる。この開示において、特定の構文解析、および、意味論が用いられて、例を説明し、本発明の実施形態を実施している。当業者は、本発明の精神を逸脱しない条件下で、構文解析と意味論を、同等の構文解析と意味論で代替することにより、本発明を実施することができる。
上の記述が提供されて、当業者は、特定のアプリケーション、および、その要求の状況中に提供されるように本発明を実施することができる。記述される当業者なら、実施形態の各種修正を理解することができ、且つ、ここで定義される一般原則はその他の実施形態に用いられる。よって、本発明は、示される特定の実施形態に制限することを目的としていないが、ここで開示される原理と新規特徴と一致する広い範囲が与えられる。上述の詳細な記述において、各種特定の詳細が説明されて、本発明の完全な理解を提供する。それでもなお、理解できることは、当業者なら、本発明が実施できることである。
上記の本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実施される。たとえば、本発明の一実施形態は、ビデオ圧縮チップに整合される一つ以上の回路、または、ビデオ圧縮ソフトウェアに整合されて、ここで記述される処理を実行するプログラムコードである。本発明の一実施形態は、さらに、デジタルシグナルプロセッサ (ＤＳＰ)で実行され、ここで開示される処理を実行するプログラムコードである。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ (ＦＰＧＡ)により実行される多数の機能を含む。これらのプロセッサが設置されて、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明にしたがって、特定のタスクを実行する。ソフトウェアコード、または、ファームウェアコードは、異なるプログミング言語、および、異なるフォーマット、または、スタイルで発展している。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルされる。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、コードを設定して、本発明にしたがってタスクを実行するその他の手段は、本発明の精神と範囲を逸脱しない。
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の思想を脱しない範囲内で各種の変形を加えることができる。

Claims (7)

  1. ビデオ符号化のインター予測の方法であって、前記方法は、
    カレントピクチャで、カレントブロックに関連する入力データを受信する工程と、
    選択されたインター予測プロセスを決定し、前記選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向の前記カレントブロックに選択する工程、および、
    前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化する工程、
    を有し、
    前記カレントブロックの隣接再構築画素と前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、前記一組の重み付け係数を決定し、第一動き情報に関連する第一予測、および、第二動き情報に関する第二予測は、前記カレントブロックの前記隣接再構築画素の各画素にただ一度だけ生成され、前記第一予測と前記第二予測に関連する合計と差が、前記カレントブロックの前記隣接再構築画素の各画素に決定されることを特徴とする方法。
  2. 複数組の重み付け係数は、 [0.5, 0.5], [0.25, 0.75], [0.75, 0.25], [0.375, 0.625]および [0.625, 0.375]を有することを特徴とする請求項１に記載の方法。
  3. 前記複数組の重み付け係数[0.5, 0.5], [0.625, 0.375], [0.375, 0.625], [0. 75, 0.25]および [0.25, 0. 75] に関連する前記ひずみは、それぞれ、D0 = (X<<3) - Q, D1 = D0 - R, D2 = D0 + R, D3 = D1 - Rおよび D4 = D2 + R として計算され、Ｘは、前記カレントブロックの前記隣接再構築画素の再構築値を示すことを特徴とする請求項２に記載の方法。
  4. 前記選択されたインター予測プロセスは、前記カレントブロックの隣接再構築画素を含む第一画素データに基づいて決定されることを特徴とする請求項１に記載の方法。
  5. 前記選択されたインター予測プロセスは、前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素を有する第一画素データに基づいて決定されることを特徴とする請求項１に記載の方法。
  6. 前記一組の重み付け係数の選択は、シーケンスレベル、ピクチャレベル、スライスレベル、符号化ユニットレベル、または、予測ユニットレベルで、デコーダに明示的にシグナリングされることを特徴とする請求項１に記載の方法。
  7. ビデオ符号化におけるインター予測の装置であって、前記装置は、一つ以上の電子回路、または、プロセッサを有し、
    カレントピクチャで、カレントブロックに関連する入力データを受信し、
    選択されたインター予測プロセスを決定し、前記選択されたインター予測プロセスは、複数組の重み付け係数から、一組の重み付け係数を、双方向の前記カレントブロックに選択し、
    前記選択されたインター予測プロセスを用いて、前記カレントブロックを符号化し、
    前記カレントブロックの隣接再構築画素と前記カレントブロックに対応する動き補償参照ブロック周辺の外部動き補償画素間のひずみが用いられて、前記一組の重み付け係数を決定し、第一動き情報に関連する第一予測、および、第二動き情報に関する第二予測は、前記カレントブロックの前記隣接再構築画素の各画素にただ一度だけ生成され、前記第一予測と前記第二予測に関連する合計と差が、前記カレントブロックの前記隣接再構築画素の各画素に決定されることを特徴とする装置。
JP2018512175A 2015-09-06 2016-09-05 ビデオ符号化における適応インター予測の方法と装置 Active JP6634151B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2015/088952 WO2017035831A1 (en) 2015-09-06 2015-09-06 Adaptive inter prediction
CNPCT/CN2015/088952 2015-09-06
PCT/CN2016/097996 WO2017036417A1 (en) 2015-09-06 2016-09-05 Method and apparatus of adaptive inter prediction in video coding

Publications (3)

Publication Number Publication Date
JP2018530221A JP2018530221A (ja) 2018-10-11
JP2018530221A5 JP2018530221A5 (ja) 2019-09-12
JP6634151B2 true JP6634151B2 (ja) 2020-01-22

Family

ID=58186479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512175A Active JP6634151B2 (ja) 2015-09-06 2016-09-05 ビデオ符号化における適応インター予測の方法と装置

Country Status (8)

Country Link
US (1) US10979707B2 (ja)
EP (1) EP3338448B1 (ja)
JP (1) JP6634151B2 (ja)
CN (2) CN114143538A (ja)
ES (1) ES2962642T3 (ja)
MX (1) MX2018002725A (ja)
MY (1) MY184006A (ja)
WO (2) WO2017035831A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805631B2 (en) * 2016-09-23 2020-10-13 Lg Electronics Inc. Method and apparatus for performing prediction using template-based weight
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
EP3692716A1 (en) * 2017-10-05 2020-08-12 InterDigital VC Holdings, Inc. Method and apparatus for adaptive illumination compensation in video encoding and decoding
US20190110052A1 (en) * 2017-10-06 2019-04-11 Futurewei Technologies, Inc. Bidirectional intra prediction
CN110121073B (zh) * 2018-02-06 2021-07-09 浙江大学 一种双向帧间预测方法及装置
CN110324623B (zh) * 2018-03-30 2021-09-07 华为技术有限公司 一种双向帧间预测方法及装置
SG11202012838SA (en) * 2018-06-29 2021-01-28 Huawei Tech Co Ltd Device and method for intra-prediction
CN117241039A (zh) 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020098644A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN113170171B (zh) * 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
EP3874747A4 (en) * 2018-11-26 2021-12-29 Huawei Technologies Co., Ltd. Method of intra predicting a block of a picture
JP7277586B2 (ja) * 2018-12-21 2023-05-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド モードおよびサイズに依存したブロックレベル制限の方法および装置
CN111510726B (zh) * 2019-01-30 2023-01-24 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN114007082B (zh) * 2020-03-25 2022-12-23 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US8406301B2 (en) * 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7515637B2 (en) * 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
KR101536794B1 (ko) * 2007-12-20 2015-07-14 퀄컴 인코포레이티드 후광현상이 줄어든 영상보간 장치 및 방법
EP2106136A1 (en) * 2008-03-28 2009-09-30 Sony Corporation Motion compensated temporal interpolation for frame rate conversion of video signals
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
WO2010049917A2 (en) * 2008-10-31 2010-05-06 France Telecom Image prediction method and system
CN101631242A (zh) * 2009-07-30 2010-01-20 上海交通大学 视频加权预测系统及其编码解码方法
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
EP2627086A1 (en) * 2012-02-10 2013-08-14 Thomson Licensing Method and device for encoding a block of an image and corresponding reconstructing method and device
CN103747269B (zh) * 2013-09-30 2017-09-19 北京大学深圳研究生院 一种滤波器插值方法及滤波器

Also Published As

Publication number Publication date
ES2962642T3 (es) 2024-03-20
WO2017035831A1 (en) 2017-03-09
CN114143538A (zh) 2022-03-04
WO2017036417A1 (en) 2017-03-09
EP3338448A4 (en) 2019-01-30
BR112018004469A2 (pt) 2018-09-25
MY184006A (en) 2021-03-17
US20190045183A1 (en) 2019-02-07
CN108028931B (zh) 2021-11-05
US10979707B2 (en) 2021-04-13
JP2018530221A (ja) 2018-10-11
CN108028931A (zh) 2018-05-11
EP3338448A1 (en) 2018-06-27
BR112018004469A8 (pt) 2023-02-07
MX2018002725A (es) 2018-04-13
EP3338448B1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
JP6634151B2 (ja) ビデオ符号化における適応インター予測の方法と装置
US12088819B2 (en) Method and apparatus for predicting motion information of picture block, encoder, and decoder
US10701360B2 (en) Method and device for determining the value of a quantization parameter
EP3205092B1 (en) Intra block copy prediction restrictions for parallel processing
US20160269753A1 (en) Method of Block-Based Adaptive Loop Filtering
US11792417B2 (en) Global motion for merge mode candidates in inter prediction
EP3262837A1 (en) Encoding and decoding of inter pictures in a video
US11785238B2 (en) Candidates in frames with global motion
US11812053B2 (en) Adaptive motion vector prediction candidates in frames with global motion
US11818390B2 (en) Decoder for coded pictures having regions with common motion models
CN110557645B (zh) 帧内预测模式的解码方法、编码方法、装置及设备
AU2016316317B2 (en) Method and apparatus of prediction offset derived based on neighbouring area in video coding
US11087500B2 (en) Image encoding/decoding method and apparatus
US10805611B2 (en) Method and apparatus of constrained sequence header
US20230095946A1 (en) Block Vector Difference Signaling for Intra Block Copy
US20230100650A1 (en) Validity Determination of Block Vector Candidates
WO2023246901A1 (en) Methods and apparatus for implicit sub-block transform coding
US20230217037A1 (en) Adaptive Reordering of Adjusted Block Vector Predictor Candidates
WO2024076549A1 (en) Candidate list selection for template matching prediction
WO2024186752A1 (en) Signaling predicted bvd/mvd suffixes
BR112018004469B1 (pt) Método de inter-predição para codificação de vídeo e aparelho para inter-predição em codificação de vídeo

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191213

R150 Certificate of patent or registration of utility model

Ref document number: 6634151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250