JP7310919B2 - フィルタ生成方法、フィルタ生成装置及びプログラム - Google Patents

フィルタ生成方法、フィルタ生成装置及びプログラム Download PDF

Info

Publication number
JP7310919B2
JP7310919B2 JP2021562294A JP2021562294A JP7310919B2 JP 7310919 B2 JP7310919 B2 JP 7310919B2 JP 2021562294 A JP2021562294 A JP 2021562294A JP 2021562294 A JP2021562294 A JP 2021562294A JP 7310919 B2 JP7310919 B2 JP 7310919B2
Authority
JP
Japan
Prior art keywords
block
filter
image
encoding
filter generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021562294A
Other languages
English (en)
Other versions
JPWO2021111595A1 (ja
Inventor
健人 宮澤
幸浩 坂東
隆行 黒住
英明 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021111595A1 publication Critical patent/JPWO2021111595A1/ja
Application granted granted Critical
Publication of JP7310919B2 publication Critical patent/JP7310919B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、フィルタ生成方法、フィルタ生成装置及びプログラムに関する。
動画像符号化技術又は映像符号化技術の１つとして、インター符号化が知られている。インター符号化では、符号化対象画像に対してブロック分割による矩形近似を行い、ブロック単位で参照画像との間の動きパラメータを探索し予測画像を生成する（例えば、非特許文献１）。ここで、動きパラメータとしては、縦方向の移動距離と横方向の移動距離との２パラメータで表現される平行移動が用いられてきた。
他方で、平行移動では表現しきれないような被写体（オブジェクト）の歪がある場合には、affine変換や射影変換等のより高次の動きも利用することで予測精度が向上し、符号化効率が改善されることが知られている。例えば、非特許文献２では、カメラの移動に伴う被写体の歪に対してaffine変換を用いた予測を行なっている。また、例えば、非特許文献３では、多視点画像における視点間予測に対してaffine変換、射影変換、bilinear変換を適用している。
座標(x, y)に位置する画素にaffine変換を施した場合、その画素の変換後の座標(x', y')は以下の式（１）で表される。
Figure 0007310919000001
 ここで、a, b, c, d, eはaffineパラメータである。
また、JVET(Joint Video Experts Team)において検討されている次世代標準規格としてVVC(Versatile Video Coding)が知られている（非特許文献４）。VVCでは4/6パラメータaffine予測モードが採用されている。4/6パラメータaffine予測モードでは、符号化ブロックを４×４のサブブロックに分割し、画素単位のaffine変換をサブブロック単位での平行移動によって近似する。このとき、各サブブロックの動きベクトルは、4パラメータaffine予測モードでは、図１に示すように、当該サブブロックの左上と右上に位置するコントロールポイントの動きベクトルv0=(mv0x, mv0y)及びv1=(mv1x, mv1y)の２本のベクトルからなる４パラメータ(mv0x, mv0y, mv1x, mv1y)を用いて、以下の式（２）で算出される。
Figure 0007310919000002
 ここで、Ｗは符号化ブロックの横の画素サイズ、Ｈは符号化ブロックの縦の画素サイズである。
一方で、6パラメータaffine予測モードでは、図１に示すように、更に、当該サブブロックの左下に位置するコントロールポイントの動きベクトルv2=(mv2x, mv2y)を加えた３本のベクトルからなる６パラメータ(mv0x, mv0y, mv1x, mv1y mv2x, mv2y)を用いて、以下の式（３）で算出される。
Figure 0007310919000003
 このように、VVCは、平行移動の組み合わせによりaffine変換を近似することで計算量の削減を行っている。
なお、H.265/HEVCと同様に、VVCでもマージモードが採用されている。affine予測モードが適用された符号化ブロックに対してもマージモードが適用される。マージモードでは、符号化対象ブロックの動きパラメータを伝送する代わりに、隣接した符号化済みブロックの位置を示すマージインデックスを伝送し、インデックスが示す位置の符号化済みブロックの動きベクトルを用いて復号を行う。
Recommendation ITU-T H.265: High efficiency video coding, 2013 H. Jozawa, et al. "Two-stage motion compensation using adaptive global MC and local affine MC." IEEE Trans. on CSVT 7.1 (1997): 75-85. R-J-S. Monteiro, et al. "Light field image coding using high-order intrablock prediction." IEEE Journal of Selected Topics in Signal Processing 11.7 (2017): 1120-1131. JVET-M1002-v1_encoder description VTM4
しかしながら、affine変換や射影変換等は平行移動の場合よりも多くのパラメータが必要となるため、その推定に必要な計算量や符号化オーバヘッドが増大し、非効率である。
一方で、VVCでは計算量を削減することができるものの、サブブロック単位の平行移動ではオブジェクトの変形を完全に捉えきれず、参照範囲のはみ出しや画素の取り漏らし等が発生し予測誤差が大きくなる場合がある。例えば、図２に示すように、参照画像内のオブジェクトがせん断変形する場合、回転変形する場合、拡大・縮小変形する場合等には、参照範囲のはみ出しや画素の取り漏らしがある。特に、図３に示すように、符号化対象画像内のオブジェクトが矩形から変形している場合には、符号化対象画像及び参照画像の両方で誤差が累積し、予測誤差がより大きくなる。つまり、サブブロック単位の平行移動により予測を行う方式では、特に符号化対象画像内のオブジェクトが矩形近似しづらい場合に、affine変換を表現しきれない。
本発明の一実施形態は、上記の点に鑑みてなされたもので、計算量を抑えつつ予測誤差を削減することを目的とする。
上記目的を達成するため、本発明の一実施形態に係るフィルタ生成方法は、動画像符号化又は映像符号化におけるインター予測画像に対するフィルタを生成するためのフィルタ生成方法であって、符号化対象ブロックに含まれるサブブロック毎に、前記サブブロックに対応する、参照画像中の領域を取得する第１の取得手順と、前記参照画像のブロック分割情報を参照して、前記領域を含む、前記参照画像のブロックである符号化ブロックを取得する第２の取得手順と、前記符号化対象ブロック又は複数の符号化対象ブロック毎に、前記第２の取得手順でそれぞれ取得された１以上の符号化ブロックを逆変換した画像を前記フィルタとして生成する生成手順と、をコンピュータが実行することを特徴とする。
計算量を抑えつつ予測誤差を削減することができる。
サブブロックにおけるコントロールポイントの動きベクトルを示す図である。 オブジェクトの変形の一例を示す図（その１）である。 オブジェクトの変形の一例を示す図（その２）である。 第一の実施形態に係る符号化装置の全体構成の一例を示す図である。 第一の実施形態に係るフィルタ生成部の機能構成の一例を示す図である。 第一の実施形態に係るフィルタ生成処理の一例を示すフローチャートである。 第二の実施形態に係る符号化装置の全体構成の一例を示す図である。 第二の実施形態に係るフィルタ生成部の機能構成の一例を示す図である。 第二の実施形態に係るフィルタ生成処理の一例を示すフローチャートである。 一実施形態に係る符号化装置のハードウェア構成の一例を示す図である。
以下、本発明の各実施形態について説明する。本発明の各実施形態では、動画像符号化又は映像符号化の際の各種変換（例えば、affine変換や射影変換、bilinear変換等）の計算量を抑えつつ、その変換による予測誤差を削減した予測画像を作成し、この予測画像をフィルタとして利用する場合について説明する。なお、以降では、予測誤差を「予測残差」とも表す。
以降で説明する第一の実施形態では当該フィルタをループ内フィルタとして適用する場合について説明し、第二の実施形態では当該フィルタをポストフィルタとして適用し、マージモードと組み合わせた場合について説明する。なお、以降の各実施形態では、一例として、affine変換を想定して説明する。
［第一の実施形態］
以降では、第一の実施形態について説明する。
（全体構成）
まず、第一の実施形態に係る符号化装置１０の全体構成について、図４を参照しながら説明する。図４は、第一の実施形態に係る符号化装置１０の全体構成の一例を示す図である。
図４に示すように、第一の実施形態に係る符号化装置１０は、イントラ予測部１０１と、インター予測部１０２と、フィルタ生成部１０３と、フィルタ部１０４と、モード判定部１０５と、DCT部１０６と、量子化部１０７と、逆量子化部１０８と、Inv-DCT部１０９と、参照画像メモリ１１０と、参照画像ブロック分割形状メモリ１１１とを有する。
イントラ予測部１０１は、既知のイントラ予測によって符号化対象ブロックの予測画像（イントラ予測画像）を生成する。インター予測部１０２は、既知のインター予測によって符号化対象ブロックの予測画像（インター予測画像）を生成する。フィルタ生成部１０３は、インター予測画像を修正（フィルタリング）するためのフィルタを生成する。フィルタ部１０４は、フィルタ生成部１０３により生成されたフィルタを用いてインター予測画像をフィルタリングする。なお、フィルタ部１０４は、フィルタリングとして、例えば、インター予測画像とフィルタとの画素単位での重み付き平均を算出すればよい。
モード判定部１０５は、イントラ予測モード又はインター予測モードのいずれであるかを判定する。DCT部１０６は、モード判定部１０５による判定結果に応じて、符号化対象ブロックと、インター予測画像又はイントラ予測画像との予測残差を既知の手法により離散コサイン変換（DCT: discrete cosine transform）する。量子化部１０７は、離散コサイン変換後の予測残差を既知の手法により量子化する。これにより、離散コサイン変換及び量子化後の予測残差と、イントラ予測又はインター予測に用いられた予測パラメータとが出力される。この予測残差と予測パラメータとが符号化対象ブロックの符号化結果である。
また、逆量子化部１０８は、量子化部１０７から出力された予測残差を既知の手法により逆量子化する。Inv-DCT部１０９は、逆量子化後の予測残差を既知の手法により逆離散コサイン変換（Inverse DCT）する。そして、逆離散コサイン変換後の予測残差と、イントラ予測画像又は（フィルタ部１０４によるフィルタ後の）インター予測画像とを用いて復号された復号画像が、参照画像メモリ１１０に格納される。また、参照画像ブロック分割形状メモリ１１１には、参照画像を符号化した際のブロック分割形状（例えば、四分木ブロック分割情報等）が格納される。
（フィルタ生成部１０３の機能構成）
次に、第一の実施形態に係るフィルタ生成部１０３の詳細な機能構成について、図５を参照しながら説明する。図５は、第一の実施形態に係るフィルタ生成部１０３の機能構成の一例を示す図である。
図５に示すように、第一の実施形態に係るフィルタ生成部１０３には、affine変換パラメータ取得部２０１と、ブロック分割取得部２０２と、参照画像内オブジェクト決定部２０３と、逆affine変換パラメータ計算部２０４と、affine変換部２０５と、予測画像生成部２０６と、フィルタ領域限定部２０７とが含まれる。ここで、フィルタ生成部１０３には、参照画像ブロック分割情報と、符号化対象画像情報と、参照画像情報とが入力される。参照画像ブロック分割情報とは、参照画像のブロック分割を表す情報である。符号化対象画像情報とは、符号化対象ブロックの画素情報と、インター予測モード情報（マージモード情報、affineパラメータを含む）と、参照画像を示すインデックスとが含まれる情報である。参照画像情報とは、参照画像の画素情報のことである。
affine変換パラメータ取得部２０１は、affine変換に用いられるaffineパラメータを取得する。ブロック分割取得部２０２は、符号化対象ブロックの或るサブブロックに対応する参照領域（参照画像内の対応する矩形領域）を取得した上で、参照画像ブロック分割情報を参照して、当該参照領域を完全に含む符号化ブロックを取得する。なお、参照領域を完全に含む符号化ブロックを取得することで、符号化対象のオブジェクト領域から（一部でも）はみ出てしまっているものが除外され、従来の矩形近似よりも正確な領域を取得することが可能になる。
参照画像内オブジェクト決定部２０３は、ブロック分割取得部２０２によって符号化ブロックが取得された場合、参照画像中のオブジェクトの領域を示すブロック集合に当該符号化ブロックを追加する。逆affine変換パラメータ計算部２０４は、逆affine変換に用いられる逆affineパラメータを計算する。affine変換部２０５は、逆affineパラメータを用いて、参照画像内オブジェクト決定部２０３によって作成されたブロック集合を逆affine変換する。予測画像生成部２０６は、affine変換部２０５の逆affine変換の結果から新たな予測画像を生成する。フィルタ領域限定部２０７は、予測画像生成部２０６によって生成された予測画像の領域のうち、符号化対象ブロックに対応する領域に限定した画像をフィルタ（つまり、この予測画像を、符号化対象ブロックに対応する領域に施すフィルタ）とする。
（フィルタ生成処理）
次に、第一の実施形態に係るフィルタ生成部１０３が実行するフィルタ生成処理について、図６を参照しながら説明する。図６は、第一の実施形態に係るフィルタ生成処理の一例を示すフローチャートである。なお、以降では、或るフレーム画像の各ブロック（各符号化対象ブロック）をそれぞれ符号化する際に、これら各符号化対象ブロックのインター予測画像に対するフィルタをそれぞれ生成する場合について説明する。
まず、フィルタ生成部１０３は、予測画像の更新処理（つまり、後述するステップＳ１０２～ステップＳ１１０）が行なわれていない符号化対象ブロックBを取得する（ステップＳ１０１）。次に、フィルタ生成部１０３は、当該符号化対象ブロックBに対してaffine予測モードが選択されているか否かを判定する（ステップＳ１０２）。
上記のステップＳ１０２でaffine予測モードが選択されていると判定されなかった場合、フィルタ生成部１０３は、当該符号化対象ブロックBに対しては処理を行わず、ステップＳ１１０に進む。一方で、上記のステップＳ１０２でaffine予測モードが選択されていると判定された場合、フィルタ生成部１０３のaffine変換パラメータ取得部２０１は、affineパラメータを取得する（ステップＳ１０３）。
ステップＳ１０３に続いて、フィルタ生成部１０３は、当該符号化ブロックBに含まれるサブブロックSのうち、参照領域を特定するための処理（つまり、後述するステップＳ１０５～ステップＳ１０６）が行なわれていないサブブロックSを取得する（ステップＳ１０４）。次に、フィルタ生成部１０３のブロック分割取得部２０２は、既知のaffine予測モードの処理に従ってサブブロックSの動きベクトルを算出し（つまり、動き補償を行って）、当該サブブロックSに対応する参照領域Spを取得する（ステップＳ１０５）。次に、フィルタ生成部１０３のブロック分割取得部２０２は、参照画像ブロック分割情報（符号化パラメータの一例）を参照して、当該参照領域Spを完全に含む符号化ブロックB'が存在するか否か判定する（ステップＳ１０６）。
上記のステップＳ１０６で参照領域Spを完全に含む符号化ブロックB'が存在すると判定されなかった場合、フィルタ生成部１０３は、当該サブブロックSを処理済みとして、ステップＳ１０４に戻る。一方で、参照領域Spを完全に含む符号化ブロックB'が存在すると判定された場合、フィルタ生成部１０３は、ブロック分割取得部２０２によって当該符号化ブロックB'を取得し、参照画像内オブジェクト決定部２０３によって当該符号化ブロックB'を、参照画像中のオブジェクトの領域を示すブロック集合Rに追加する（ステップＳ１０７）。また、このとき、フィルタ生成部１０３は、当該サブブロックSを処理済みとする。
続いて、フィルタ生成部１０３は、当該符号化ブロックBに含まれる全てのサブブロックで処理を完了したか否か（つまり、全てのサブブロックで参照領域を特定するための処理が行なわれたか否か）を判定する（ステップＳ１０８）。
上記のステップＳ１０８で当該符号化ブロックBに含まれる全てのサブブロックで処理を完了したと判定されなかった場合、フィルタ生成部１０３は、ステップＳ１０４に戻る。これにより、当該符号化ブロックBに含まれる全てのサブブロックSに対してステップＳ１０４～ステップＳ１０８（又はステップＳ１０６でＮＯとなる場合はステップＳ１０４～ステップＳ１０６）が繰り返し実行される。
一方で、上記のステップＳ１０８で当該符号化ブロックBに含まれる全てのサブブロックで処理を完了したと判定された場合、フィルタ生成部１０３は、逆affine変換パラメータ計算部２０４によって逆affineパラメータを計算した上で、この逆affineパラメータを用いて、affine変換部２０５によって当該ブロック集合Rに対して逆affine変換を実施（つまり、符号化対象ブロックBのaffine変換の逆変換）し、予測画像生成部２０６によって当該逆affine変換後のブロック集合Rを新たな予測画像とする（ステップＳ１０９）。この予測画像の領域のうち、フィルタ領域限定部２０７によって当該符号化対象ブロックBに対応する領域に限定されることで（つまり、予測画像の適用領域が限定されることで）、当該符号化対象ブロックBに対するフィルタが得られる。ここで、フィルタとして使用する予測画像の領域の限定するのは、ブロック集合Rの逆affine変換後の領域が、符号化対象ブロックB以外の符号化済み画素位置を含む場合に、符号化済み画素が変更されて復号処理ができなくなるのを防ぐためである。
続いて、フィルタ生成部１０３は、上記のステップＳ１０１で取得された符号化対象ブロックBを処理済みとして（ステップＳ１１０）、当該フレーム画像内の全ての符号化対象ブロックが処理済みか否か（つまり、全ての符号化対象ブロックで予測画像の更新処理が行なわれたか否か）を判定する（ステップＳ１１１）。
上記のステップＳ１１１で全ての符号化対象ブロックが処理済みであると判定されなかった場合、フィルタ生成部１０３は、ステップＳ１０１に戻る。これにより、当該フレーム画像に含まれる全ての符号化ブロックに対してステップＳ１０１～ステップＳ１１１（又はステップＳ１０２でＮＯとなる場合はステップＳ１０１～ステップＳ１０２及びステップＳ１１０～ステップＳ１１１）が繰り返し実行される。
一方で、上記のステップＳ１１１で全ての符号化対象ブロックが処理済みであると判定された場合、フィルタ生成部１０３は、フィルタ生成処理を終了する。これにより、１つのフレーム画像に含まれる各符号化対象ブロックに対するフィルタが生成される。
［第二の実施形態］
以降では、第二の実施形態について説明する。なお、第二の実施形態では、主に、第一の実施形態との相違点について説明し、第一の実施形態と同様の構成要素については、適宜、その説明を省略する。
（全体構成）
まず、第二の実施形態に係る符号化装置１０の全体構成について、図７を参照しながら説明する。図７は、第二の実施形態に係る符号化装置１０の全体構成の一例を示す図である。
図７に示すように、第二の実施形態に係る符号化装置１０は、イントラ予測部１０１と、インター予測部１０２と、フィルタ生成部１０３と、フィルタ部１０４と、モード判定部１０５と、DCT部１０６と、量子化部１０７と、逆量子化部１０８と、Inv-DCT部１０９と、参照画像メモリ１１０と、参照画像ブロック分割形状メモリ１１１とを有する。
ここで、第二の実施形態では、フィルタ部１０４の位置が異なる。第二の実施形態では、フィルタ部１０４は、復号画像（つまり、インター予測画像とInv-DCT部１０９による逆離散コサイン変換後の予測残差とを用いて復号された復号画像）をフィルタリングする。
（フィルタ生成部１０３の機能構成）
次に、第二の実施形態に係るフィルタ生成部１０３の詳細な機能構成について、図８を参照しながら説明する。図８は、第二の実施形態に係るフィルタ生成部１０３の機能構成の一例を示す図である。
図８に示すように、第二の実施形態に係るフィルタ生成部１０３には、affine変換パラメータ取得部２０１と、ブロック分割取得部２０２と、参照画像内オブジェクト決定部２０３と、逆affine変換パラメータ計算部２０４と、affine変換部２０５と、予測画像生成部２０６と、マージモード情報取得部２０８とが含まれる。ここで、第二の実施形態では、符号化対象画像情報には、マージモード情報が含まれるものとする。マージモード情報取得部２０８は、符号化対象画像情報からマージモード情報を取得する。
（フィルタ生成処理）
次に、第二の実施形態に係るフィルタ生成部１０３が実行するフィルタ生成処理について、図９を参照しながら説明する。図９は、第二の実施形態に係るフィルタ生成処理の一例を示すフローチャートである。なお、以降では、或るフレーム画像の各ブロック（各符号化対象ブロック）をそれぞれ符号化する際に、これら各符号化対象ブロックの復号画像に対するフィルタをそれぞれ生成する場合について説明する。
まず、フィルタ生成部１０３は、マージモード情報取得部２０８によって取得されたマージモード情報を用いて、当該フレーム画像内の未処理のマージブロック群M（つまり、後述するステップＳ２０２～ステップＳ２１２の処理が行なわれていないマージブロック群M）を取得する（ステップＳ２０１）。次に、フィルタ生成部１０３は、当該マージブロック群Mに対してaffine予測モードが選択されているか否かを判定する（ステップＳ２０２）。
上記のステップＳ２０２でaffine予測モードが選択されていると判定されなかった場合、フィルタ生成部１０３は、当該マージブロック群Mに対しては処理を行わず、ステップＳ２１２に進む。一方で、上記のステップＳ２０２でaffine予測モードが選択されていると判定された場合、フィルタ生成部１０３のaffine変換パラメータ取得部２０１は、affineパラメータを取得する（ステップＳ２０３）。
ステップＳ２０３に続いて、フィルタ生成部１０３は、当該マージブロック群Mに含まれる符号化ブロックBのうち、予測画像の更新処理（つまり、後述するステップＳ２０２～ステップＳ２１１）が行なわれていない符号化ブロックBを取得する（ステップＳ２０４）。次に、フィルタ生成部１０３は、当該符号化ブロックBに含まれるサブブロックSのうち、参照領域を特定するための処理（つまり、後述するステップＳ２０６～ステップＳ２０７）が行なわれていないサブブロックSを取得する（ステップＳ２０５）。次に、フィルタ生成部１０３のブロック分割取得部２０２は、既知のaffine予測モードの処理に従ってサブブロックSの動きベクトルを算出し（つまり、動き補償を行って）、当該サブブロックSに対応する参照領域Spを取得する（ステップＳ２０６）。次に、フィルタ生成部１０３のブロック分割取得部２０２は、参照画像ブロック分割情報（符号化パラメータの一例）を参照して、当該参照領域Spを完全に含む符号化ブロックB'が存在するか否か判定する（ステップＳ２０７）。
上記のステップＳ２０７で参照領域Spを完全に含む符号化ブロックB'が存在すると判定されなかった場合、フィルタ生成部１０３は、当該サブブロックSを処理済みとして、ステップＳ２０５に戻る。一方で、参照領域Spを完全に含む符号化ブロックB'が存在すると判定された場合、フィルタ生成部１０３は、ブロック分割取得部２０２によって当該符号化ブロックB'を取得し、参照画像内オブジェクト決定部２０３によって当該符号化ブロックB'を、参照画像中のオブジェクトの領域を示すブロック集合Rに追加する（ステップＳ２０８）。また、このとき、フィルタ生成部１０３は、当該サブブロックSを処理済みとする。
続いて、フィルタ生成部１０３は、当該符号化ブロックBに含まれる全てのサブブロックで処理を完了したか否か（つまり、全てのサブブロックで参照領域を特定するための処理が行なわれたか否か）を判定する（ステップＳ２０９）。
上記のステップＳ２０９で当該符号化ブロックBに含まれる全てのサブブロックで処理を完了したと判定されなかった場合、フィルタ生成部１０３は、ステップＳ２０５に戻る。これにより、当該符号化ブロックBに含まれる全てのサブブロックSに対してステップＳ２０５～ステップＳ２０９（又はステップＳ２０７でＮＯとなる場合はステップＳ２０５～ステップＳ２０７）が繰り返し実行される。
一方で、上記のステップＳ２０９で当該符号化ブロックBに含まれる全てのサブブロックで処理を完了したと判定された場合、フィルタ生成部１０３は、当該符号化ブロックBを処理済みとして、当該マージブロック群Mに含まれる全ての符号化ブロックで処理が完了したか否か（つまり、全ての符号化対象ブロックで予測画像の更新処理が行なわれたか否か）を判定する（ステップＳ２１０）。
上記のステップＳ２１０で当該マージブロック群Mに含まれる全ての符号化ブロックで処理が完了したと判定されなかった場合、フィルタ生成部１０３は、ステップＳ２０４に戻る。これにより、当該マージブロック群Mに含まれる全ての符号化ブロックBに対してステップＳ２０４～ステップＳ２１０が繰り返し実行される。
一方で、上記のステップＳ２１０で当該マージブロック群Mに含まれる全ての符号化ブロックで処理が完了したと判定された場合、フィルタ生成部１０３は、逆affine変換パラメータ計算部２０４によって逆affineパラメータを計算した上で、この逆affineパラメータを用いて、affine変換部２０５によって当該ブロック集合Rに対して逆affine変換を実施（つまり、符号化対象ブロックBのaffine変換の逆変換）し、予測画像生成部２０６によって当該逆affine変換後のブロック集合Rを新たな予測画像とする（ステップＳ２１１）。この予測画像が、復号画像に対するフィルタが得られる。ここで、第二の実施形態では、ループ内フィルタではなく、ポストフィルタとして当該予測画像を適用するため、マージブロック群Mに対応する領域に予測画像の適用領域を限定する必要ない。しかしながら、第一の実施形態と同様に、予測画像の適用領域をマージブロック群Mに対応する領域（の画素）に限定することで、予測画像内の符号化ブロックB'が、マージブロック群Mに対応するオブジェクトだけなく、背景領域まで広範囲に含んでしまうようなケースにおける画質悪化を防ぐ効果が期待される。
続いて、フィルタ生成部１０３は、上記のステップＳ２０１で取得されたマージブロック群Mを処理済みとして（ステップＳ２１２）、当該フレーム画像内の全てのマージブロック群が処理済みか否か（つまり、当該フレーム画像内の全てのマージブロック群MでステップＳ２０２～ステップＳ２１２の処理が行なわれたか否か）を判定する（ステップＳ２１３）。
上記のステップＳ２１３で全てのマージブロック群が処理済みであると判定されなかった場合、フィルタ生成部１０３は、ステップＳ２０１に戻る。これにより、当該フレーム画像に含まれる全てのマージブロック群に対してステップＳ２０１～ステップＳ２１３（又はステップＳ２０２でＮＯとなる場合はステップＳ２０１～ステップＳ２０２及びステップＳ２１２～ステップＳ２１３）が繰り返し実行される。
一方で、上記のステップＳ２１３で全てのマージブロック群が処理済みであると判定された場合、フィルタ生成部１０３は、フィルタ生成処理を終了する。これにより、１つのフレーム画像に含まれる各マージブロック群に対するフィルタが生成される。
［ハードウェア構成］
次に、上記の各実施形態に係る符号化装置１０のハードウェア構成について、図１０を参照しながら説明する。図１０は、一実施形態に係る符号化装置１０のハードウェア構成の一例を示す図である。
図１０に示すように、一実施形態に係る符号化装置１０は、入力装置３０１と、表示装置３０２と、外部Ｉ／Ｆ３０３と、通信Ｉ／Ｆ３０４と、プロセッサ３０５と、メモリ装置３０６とを有する。これら各ハードウェアは、それぞれがバス３０７を介して通信可能に接続されている。
入力装置３０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置３０２は、例えば、ディスプレイ等である。なお、符号化装置１０は、入力装置３０１及び表示装置３０２のうちの少なくとも一方を有していなくてもよい。
外部Ｉ／Ｆ３０３は、外部装置とのインタフェースである。外部装置には、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等の記録媒体３０３ａがある。
通信Ｉ／Ｆ３０４は、符号化装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ３０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置３０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
上記の各実施形態に係る符号化装置１０は、図１０に示すハードウェア構成を有することにより、上述したフィルタ生成処理等を実現することができる。なお、図１０に示すハードウェア構成は一例であって、符号化装置１０は、他のハードウェア構成を有していてもよい。例えば、符号化装置１０は、複数のプロセッサ３０５を有していてもよいし、複数のメモリ装置３０６を有していてもよい。
［まとめ］
以上のように、第一及び第二の実施形態に係る符号化装置１０は、動画像符号化又は映像符号化の際の各種変換（上記では、一例としてaffine変換）の計算量を抑えつつ、その変換による予測残差（予測誤差）を削減した予測画像を、インター予測画像に対するフィルタとして作成する。これにより、計算量を抑えたまま予測残差を削減することができ、復号画像の画質を向上させることができる。なお、例えば、ステレオ画像や多視点画像、LightField画像における視点間予測のように、affine予測が多く選択される場合に特にその効果を期待することができる。
なお、上記の第一及び第二の実施形態では、一例として、フィルタ生成部１０３を有する符号化装置１０について説明したが、これに限られず、例えば、フィルタ生成部１０３は、当該符号化装置１０とは異なるフィルタ生成装置が有していてもよい。
本発明は、具体的に開示された上記の各実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
１０ 符号化装置
１０１ イントラ予測部
１０２ インター予測部
１０３ フィルタ生成部
１０４ フィルタ部
１０５ モード判定部
１０６ DCT部
１０７ 量子化部
１０８ 逆量子化部
１０９ Inv-DCT部
１１０ 参照画像メモリ
１１１ 参照画像ブロック分割形状メモリ
２０１ affine変換パラメータ取得部
２０２ ブロック分割取得部
２０３ 参照画像内オブジェクト決定部
２０４ 逆affine変換パラメータ計算部
２０５ affine変換部
２０６ 予測画像生成部
２０７ フィルタ領域限定部
２０８ マージモード情報取得部

Claims (5)

  1. 動画像符号化又は映像符号化におけるインター予測画像に対するフィルタを生成するためのフィルタ生成方法であって、
    符号化対象ブロックに含まれるサブブロック毎に、前記サブブロックに対応する、参照画像中の領域を取得する第１の取得手順と、
    前記参照画像のブロック分割情報を参照して、前記領域を含む、前記参照画像のブロックである符号化ブロックを取得する第２の取得手順と、
    前記符号化対象ブロック又は複数の符号化対象ブロック毎に、前記第２の取得手順でそれぞれ取得された１以上の符号化ブロックを逆変換した画像を前記フィルタとして生成する生成手順と、
    をコンピュータが実行することを特徴とするフィルタ生成方法。
  2. 前記生成手順は、
    前記画像を、前記符号化対象ブロックが表す領域又は前記複数の符号化対象ブロックが表す領域に対応する領域に施す前記フィルタとして生成する、ことを特徴とする請求項１に記載のフィルタ生成方法。
  3. 前記逆変換は、前記符号化対象ブロックに対する変換の逆変換であり、
    前記変換は、affine変換、射影変換又はbilinear変換である、ことを特徴とする請求項１又は２に記載のフィルタ生成方法。
  4. 動画像符号化又は映像符号化におけるインター予測画像に対するフィルタを生成するためのフィルタ生成装置であって、
    符号化対象ブロックに含まれるサブブロック毎に、前記サブブロックに対応する、参照画像中の領域を取得する第１の取得手段と、
    前記参照画像のブロック分割情報を参照して、前記領域を含む、前記参照画像のブロックである符号化ブロックを取得する第２の取得手段と、
    前記符号化対象ブロック又は複数の符号化対象ブロック毎に、前記第２の取得手段でそれぞれ取得された１以上の符号化ブロックを逆変換した画像を前記フィルタとして生成する生成手段と、
    を有することを特徴とするフィルタ生成装置。
  5. コンピュータに、請求項１乃至３の何れか一項に記載のフィルタ生成方法における各手順を実行させるためのプログラム。
JP2021562294A 2019-12-05 2019-12-05 フィルタ生成方法、フィルタ生成装置及びプログラム Active JP7310919B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/047655 WO2021111595A1 (ja) 2019-12-05 2019-12-05 フィルタ生成方法、フィルタ生成装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021111595A1 JPWO2021111595A1 (ja) 2021-06-10
JP7310919B2 true JP7310919B2 (ja) 2023-07-19

Family

ID=76221862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021562294A Active JP7310919B2 (ja) 2019-12-05 2019-12-05 フィルタ生成方法、フィルタ生成装置及びプログラム

Country Status (3)

Country Link
US (1) US20230007237A1 (ja)
JP (1) JP7310919B2 (ja)
WO (1) WO2021111595A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190222865A1 (en) 2018-01-12 2019-07-18 Qualcomm Incorporated Affine motion compensation with low bandwidth

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190222865A1 (en) 2018-01-12 2019-07-18 Qualcomm Incorporated Affine motion compensation with low bandwidth

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jiancong (Daniel) Luo and Yuwen He，CE2-related: Prediction refinement with optical flow for affine mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0236-r5，14th Meeting: Geneva, CH，2019年03月，pp.1-7
Tzu-Der Chuang et al.，CE2-related: Phase-variant affine subblock motion compensation，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0510-v2，14th Meeting: Geneva, CH，2019年03月，pp.1-4

Also Published As

Publication number Publication date
US20230007237A1 (en) 2023-01-05
JPWO2021111595A1 (ja) 2021-06-10
WO2021111595A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
JP7335315B2 (ja) 画像予測方法および関連装置
EP2805499B1 (en) Video decoder, video encoder, video decoding method, and video encoding method
WO2016050051A1 (zh) 图像预测方法及相关装置
KR20230043079A (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US20150063452A1 (en) High efficiency video coding (hevc) intra prediction encoding apparatus and method
JP5216710B2 (ja) 復号化処理方法
JP5306485B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JPS62203496A (ja) 動画像信号の高能率符号化方式
JPWO2011099440A1 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP7310919B2 (ja) フィルタ生成方法、フィルタ生成装置及びプログラム
US11202082B2 (en) Image processing apparatus and method
WO2019150411A1 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP6564315B2 (ja) 符号化装置、復号装置、及びプログラム
JP5809574B2 (ja) 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
US11528485B2 (en) Encoding apparatus and program
CN112313950B (zh) 视频图像分量的预测方法、装置及计算机存储介质
JP6317720B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム
JP6065090B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム
JP6311821B2 (ja) 動画像処理装置及び動画像処理方法
JP6825699B2 (ja) 動画像処理装置、動画像処理方法、及び、動画像処理プログラム
JP2018182435A (ja) 動きベクトル予測装置及びコンピュータプログラム
JP2016054514A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム
Krishnegowda et al. Optimal coding unit decision for early termination in high efficiency video coding using enhanced whale optimization algorithm
JP2002262290A (ja) 画像処理方法及び画像処理装置
JP2013223149A (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7310919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150