JP2024006359A - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
JP2024006359A
JP2024006359A JP2022107167A JP2022107167A JP2024006359A JP 2024006359 A JP2024006359 A JP 2024006359A JP 2022107167 A JP2022107167 A JP 2022107167A JP 2022107167 A JP2022107167 A JP 2022107167A JP 2024006359 A JP2024006359 A JP 2024006359A
Authority
JP
Japan
Prior art keywords
motion vector
decoded
control information
unit
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022107167A
Other languages
English (en)
Inventor
晴久 加藤
Haruhisa Kato
佳隆 木谷
Yoshitaka Kitani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2022107167A priority Critical patent/JP2024006359A/ja
Priority to CN202380013479.XA priority patent/CN117941349A/zh
Priority to PCT/JP2023/008636 priority patent/WO2024004280A1/ja
Publication of JP2024006359A publication Critical patent/JP2024006359A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ＧＰＭにおいて符号化効率を向上させること。【解決手段】本発明に係る画像復号装置２００は、制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とする選別部２０５を備える。選別部２０５は、制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から動きベクトル候補を選別する。【選択図】図１

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。
非特許文献１及び非特許文献２では、幾何学分割モード（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）が開示されている。ＧＰＭは、矩形ブロックを斜めに２分割しそれぞれを動き補償する。具体的には、分割された小領域は、それぞれ動きベクトルにより動き補償され重み付き平均により合成される。
ＩＴＵ-Ｔ Ｈ.２６６/ＶＶＣ ＣＥ４：Ｓｕｍｍａｒｙ ｒｅｐｏｒｔ ｏｎ Ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ、ＪＶＥＴ-Ｑ００２４
非特許文献１及び非特許文献２では、分割された小領域の位置関係や形状を考慮せず、近傍ブロックから動きベクトル候補を選択しているため、符号化性能の向上には改善の余地がある。 そこで、本発明は、上述の課題に鑑みてなされたものであり、ＧＰＭにおいて符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
本発明の第１の特徴は、画像復号装置であって、制御情報及び量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とする選別部と、前記復号済み画素と前記動き情報と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、前記第１予測画像と前記第２予測画素と前記制御情報とに基づいて第３予測画素を生成する合成部と、前記第１～第３予測画素のいずれかと前記予測残差とを加算して復号済み画素を得る加算器と、を備え、前記選別部は、前記制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から前記動きベクトル候補を選別することを要旨とする。
本発明の第２の特徴は、画像復号方法であって、制御情報及び量子化値を復号する工程Ａと、前記量子化値を逆量子化して変換係数とする工程Ｂと、前記変換係数を逆変換して予測残差とする工程Ｃと、復号済み画素と前記制御情報とに基づいて第１予測画素を生成する工程Ｄと、前記復号済み画素を蓄積する工程Ｅと、前記制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とする工程Ｆと、前記復号済み画素と前記動き情報と前記制御情報とに基づいて第２予測画素を生成する工程Ｇと、前記第１予測画像と前記第２予測画素と前記制御情報とに基づいて第３予測画素を生成する工程Ｈと、前記第１～第３予測画素のいずれかと前記予測残差とを加算して復号済み画素を得る工程Ｉと、を備え、前記工程Ｆにおいて、前記制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から前記動きベクトル候補を選別することを要旨とする。
本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、制御情報及び量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とする選別部と、前記復号済み画素と前記動き情報と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、前記第１予測画像と前記第２予測画素と前記制御情報とに基づいて第３予測画素を生成する合成部と、前記第１～第３予測画素のいずれかと前記予測残差とを加算して復号済み画素を得る加算器と、を備え、前記選別部は、前記制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から前記動きベクトル候補を選別することを要旨とする。
本発明によれば、ＧＰＭにおいて符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。
図１は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 図２は、矩形の単位ブロックが分割境界によって、小領域Ａと小領域Ｂに２分割されるケースの一例を示す図である。 図３は、復号対象ブロックの近傍ブロックの一例を示す図である。 図４は、復号対象ブロックの上の近傍ブロックが小領域に分割されているケースの一例を示す図である。 図５は、一実施形態に係る画像復号装置２００の動作の一例を示すフローチャートである。 図６は、一実施形態に係る画像復号装置２００の動作の一例を示すフローチャートである。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
以下、図１～図６を参照して、本実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。
図１に示すように、画像復号装置２００は、符号入力部２１０と、復号部２０１と、逆量子化部２０２と、逆変換部２０３と、イントラ予測部２０４と、選別部２０５と、加算器２０６と、蓄積部２０７と、動き補償部２０８と、合成部２０９と、画像出力部２２０とを有する。
符号入力部２１０は、画像符号化装置によって符号化された符号情報を取得するように構成されている。
復号部２０１は、符号入力部２１０から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部２０１は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。
ここで、量子化値は、逆量子化部２０２に送られ、制御情報は、イントラ予測部２０４、選別部２０５、動き補償部２０８及び合成部２０９に送られる。なお、かかる制御情報は、イントラ予測部２０４、選別部２０５、動き補償部２０８及び合成部２０９等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。
逆量子化部２０２は、復号部２０１から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部２０３に送られる。
逆変換部２０３は、逆量子化部２０２から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器２０６に送られる。
イントラ予測部２０４は、復号済み画素と復号部２０１から送られた制御情報とに基づいて第１予測画素を生成するように構成されている。ここで、復号済み画素は、加算器２０６を介して得られて蓄積部２０７に蓄積されるものである。また、第１予測画素は、合成部２０７で設定される小領域における入力画素の近似値としての予測画素である。なお、第１予測画素は、加算器２０６或いは合成部２０９に送られる。
蓄積部２０７は、加算器２０６から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部２０７を介して動き補償部２０８からの参照を受ける。
動き補償部２０８は、蓄積部２０７に蓄積された復号済み画素と選別部２０５から送られた動き情報とに基づいて第２予測画素を生成するように構成されている。ここで、第２予測画素は、合成部２０７で設定される小領域における入力画素の近似値としての予測画素である。なお、第２予測画素は、加算器２０６或いは合成部２０９に送られる。
加算器２０６は、復号済み画素等から生成された第１～第３予測画素のいずれかと、逆変換部２０３から送られる予測残差とを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部２２０、蓄積部２０７及びイントラ予測部２０４へ送られる。
合成部２０９は、イントラ予測部から送られた第１予測画素、動き補償部２０８から送られた第２予測画素及び選別部２０５から送られた制御情報（例えば、復号対象ブロックの分割形状を示す形状情報等）に基づいて、復号対象ブロックを複数の形状に分割しそれぞれに対応する複数の予測画素を合成して加算器２０６で予測残差と加算するための第３予測画素を生成するように構成されている。生成された第３予測画素は、加算器２０６へ送られる。
合成部２０９で復号対象ブロックを複数の形状（小領域）に分割・合成する方法としては、任意のものを利用できるが、以下では、一例として幾何学分割モード（ＧＰＭ）を用いた場合について説明する。
以下、本実施形態に係る画像復号装置２００の特徴的構成である選別部２０５による複数の動きベクトル候補に対する選別方法の一例について説明する。
選別部２０５は、制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とするように構成されている。
具体的には、選別部２０５は、制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から動きベクトル候補を選別するように構成されている。その結果、少ないデータ量のｃｕ_ｍｖ_ｉｄｘで動きベクトルを決定することができる。
図２の例では、単位ブロックを斜めの形状で分布させたケースの例を表す。図２の例では、矩形の単位ブロック（復号対象ブロック）を分割境界によって小領域Ａ及び小領域Ｂに２分割している。
それぞれの小領域Ａ/Ｂにおいて、動き補償で第２予測画素が生成される。このとき、動き補償に用いる動きベクトル自体の符号量を削減するため、復号対象ブロックの近傍ブロックの動きベクトルを流用する方法が従来法として利用できる。
かかる方法によれば、動きベクトルそのものを表現する符号量より、利用する動きベクトルを流用する近傍ブロックを表現する符号量の方が小さいため、符号化効率を改善できる。
具体的には、図３に示すように、近傍ブロックは、上や左や左上等、複数存在するため、利用可能な近傍ブロックの動きベクトルをリストアップし、類似した動きベクトルを排除することで、動きベクトル候補リストを構築する。
そして、動き補償部２０８で利用される近傍ブロックの動きベクトルに対応するインデックスのみが制御情報（ｃｕ_ｍｖ_ｉｄｘ）として復号され、かかる制御情報に基づいて動きベクトルが決定されることになる。
しかしながら、複数存在する近傍ブロックの動きベクトルは、等確率では選択されないため、符号化効率を改善できていないという課題がある。
例えば、図２に示す小領域Ａは、同等の画素分布特性が左側に広がっていることが多いため、小領域Ｂが流用する動きベクトルの近傍ブロックは、左側より上側である確率が高い。
かかる課題を解決するため、選別部２０５は、復号対象ブロックの分割形状に応じて、上述の動きベクトル候補を限定するように構成されていてもよい。
図３は、復号対象ブロックの近傍ブロック５つ（左上、左、左下、上、右上）を表す。
図３の例において、小領域Ｂは、上の近傍ブロックと直接的に接するため、選別部２０５は、上の近傍ブロックの動きベクトルを、動きベクトル候補に加えるように構成されていてもよい。
また、小領域Ｂは、右上の近傍ブロックと直接的には接しないが、選別部２０５は、小領域Ｂと同等の特性が継続していると仮定して、右上の近傍ブロックの動きベクトルを、動きベクトル候補に加えるように構成されていてもよい。
なお、選別部２０５は、それら以外の左上、左、左下の近傍ブロックの動きベクトルについては、画素分布の特性が異なると仮定して、動きベクトル候補に加えないように構成されていてもよい。
小領域Ｂに対する動きベクトル候補は、上の近傍ブロックの動きベクトル及び右上の近傍ブロックの動きベクトルの２つに選別されるため、選別部２０５は、制御情報によって、選別された動きベクトル候補の中から動き補償部２０８で用いられる動きベクトルを決定するように構成されている。
動きベクトル候補について限定しない場合は、全ての近傍ブロックの動きベクトルが動きベクトル候補となるため、利用する動きベクトルを決定するための制御情報の符号量が多くなるが、選択される確率の高い少数に限定することで、制御情報の符号量を削減できる効果が得られる。
一方、小領域Ａは、小領域Ｂとは接する領域（近傍ブロック又は小領域）が異なるため、選別部２０５は、小領域Ｂとは異なる動きベクトル候補を構成することができる、すなわち、小領域毎に異なる動きベクトル候補を構成することができる。
小領域Ａは、上の近傍ブロック及び左の近傍ブロックに直接的に接するため、選別部２０５は、両近傍ブロックの動きベクトルを、動きベクトル候補に加えるように構成されていてもよい。
また、小領域Ａは、左上、左下の近傍ブロックとは直接的には接しないが、選別部２０５は、かかる近傍ブロックでは小領域Ａと同等の特性が継続していると仮定して、かかる近傍ブロックの動きベクトルを、動きベクトル候補に加えるように構成されていてもよい。
上述の例のように、小領域毎の動きベクトル候補内に重複する近傍ブロックの動きベクトルが存在してもよいし（小領域Ａ：左、上、左上、左下/小領域Ｂ：上、右上）、小領域毎の動きベクトル候補間で重複する近傍ブロックの動きベクトルを、候補数の少ない方の動きベクトル候補に加える等で、小領域毎の動きベクトル候補を排他的に構成してもよい（小領域Ａ：左、左上、左下/小領域Ｂ：上、右上）。
或いは、処理の簡略化のため、選別部２０５は、小領域が上の近傍ブロック或いは左の近傍ブロックの片方にのみ接する場合だけ、動きベクトル候補の選別を行うように構成されていてもよい。
選別部２０５が、上及び左の近傍ブロックの両方に接する小領域に対しては、動きベクトル候補を限定しない（小領域Ａ：左、上、左上、左下、右上/小領域Ｂ：上、右上）ことで、追加の処理を省略することができる。
逆に、精度向上のため、選別部２０５は、選別された動きベクトル候補の数が所定数よりも少ない場合に、新規に動きベクトルを生成して動きベクトル候補に加えるように構成されていてもよい。
例えば、図３に示す小領域Ｂは、上及び右上の近傍ブロックの動きベクトルの２つに動きベクトル候補を限定したので、少なくなった動きベクトル候補を補うため、上及び右上の近傍ブロックの動きベクトルから新たな動きベクトルを導出することで、動きベクトル候補を拡充することができる。
新たな動きベクトルを導出する方法としては、複数の動きベクトル候補の重み平均で導出することができる。
かかる重みは、近傍領域のテンプレートマッチングで得られたコストの逆数等を利用することができる。また、重みを固定的に与えてもよい（例えば、小領域Ｂ：上、右上、（上＋右上）/２、（上＋３*右上）/４、（３×上＋右上）/４等）。
なお、左の近傍ブロックにも上の近傍ブロックにも接しない小領域の場合は、選別部２０５は、動きベクトル候補を限定しないこともできるし、分割形状に応じて特定の動きベクトル候補を限定するように構成されていてもよい。
例えば、選別部２０５は、動きベクトル候補に含まれる近傍ブロックの座標と分割線との最短距離が近い順に、上位Ｎ個の動きベクトル候補に限定してもよい。
また、ＧＰＭでは、小領域において双方向予測を利用できないが、選別部２０５は、小領域において双方向予測を利用できる場合でも同様に、制御情報によって、選別された動きベクトル候補の中から２つの動きベクトルを決定するように構成されていてもよい。
さらに、選別部２０５は、復号対象ブロック及び近傍ブロックの両方が小領域に分割されている場合、復号対象ブロックの小領域と接する長さが長い方の近傍ブロックの小領域の動きベクトルを、動きベクトル候補に加えるように構成されていてもよい。
図４は、復号対象ブロックの上の近傍ブロックが小領域に分割されているケースの一例を表す。
図４の例では、小領域Ａと上の近傍ブロックの右側の小領域Ｙとが接する辺の長さは、小領域Ａと上の近傍ブロックの左側の小領域Ｘが接する辺の長さよりも短い。かかる場合、選別部２０５は、小領域Ｘの動きベクトルを、動きベクトル候補に加えるように構成されていてもよい。
かかる構成によれば、選択される可能性が高い動きベクトルを動きベクトル候補に選別することで、符号化効率を向上させられる効果が期待できる。
さらに、選別部２０５は、分割形状に応じて、動きベクトル候補の並べ順（並べ方）を変化させるように構成されていてもよい。
例えば、図３の小領域Ａにおいて、上、左上、左、左下の４つの近傍ブロックの動きベクトル候補が存在する場合、上の近傍ブロックの動きベクトルよりも左の近傍ブロックの動きベクトルが選択される確率（選択確率）が高いため、動きベクトル候補として、左の近傍ブロックの動きベクトル→上の近傍ブロックの動きベクトルの順序に並べることが望ましい。
すなわち、選択確率の高い順序に動きベクトル候補を並べることで、制御情報の平均符号長を短くできる効果が得られる。
具体的には、選別部２０５は、動きベクトル候補の並べ順について、復号対象ブロックと直接接する近傍ブロックの動きベクトルを、復号対象ブロックに間接的に接する近傍ブロックの動きベクトルより優先するように構成されていてもよい。
また、選別部２０５は、動きベクトル候補の並べ順について、復号対象ブロックを分割した小領域が近傍ブロック（又は、小領域）と接する辺の長さが長いほど優先させるように構成されていてもよい。
或いは、選別部２０５は、動きベクトル候補の並べ順について、近傍領域（近傍ブロック又は小領域）のテンプレートマッチングで得られたコストが小さい順序に並べることもできる。
なお、復号部２０１に入力される符号情報は、シーケンス単位の制御情報をまとめたシーケンスパラメータセット（ＳＰＳ）を含むことができる。また、かかる符号情報は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット（ＰＰＳ）或いはピクチャヘッダ（ＰＨ）を含むことができる。かかる符号情報は、スライス単位の制御情報をまとめたスライスヘッダ（ＳＨ）を含んでもよい。
以下、図５及び図６を参照して、シーケンス単位で動きベクトル候補を選別する方法の一例について説明する。
図５に示すように、ステップＳ１０１において、復号部２０１は、ＳＰＳにおいて、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かについて判断する。
ここで、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇは、分割モードの有無を制御するシンタックスであり、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合は、分割モードが有効であることを示し、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合は、分割モードが無効であることを示す。
Ｙｅｓの場合（１である場合）、本動作は、ステップＳ１０２に進み、Ｎｏの場合（０である場合）、本動作は、本実施形態に係る技術を適用せずに終了する。
ステップＳ１０２において、復号部２０１は、ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｆｌａｇを復号し、ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｆｌａｇが１であるか否かについて判断する。
ここで、ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｆｌａｇは、動きベクトル候補の選別の有無を制御するシンタックスであり、ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｆｌａｇが１である場合は、動きベクトル候補の選別が有効であることを示し、ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｆｌａｇが０である場合は、動きベクトル候補の選別が無効であることを示す。
Ｙｅｓの場合（１である場合）、本動作は、ステップＳ１０３に進み、Ｎｏの場合（０である場合）、本動作は、本実施形態に係る技術を適用せずに終了する。
ステップＳ１０３において、復号部２０１は、ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅを復号する。
ここで、ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅは、動きベクトル候補の選別方法を制御するシンタックスである。
ｓｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅを用いることで、シーケンス単位で画像特性に応じた動きベクトル候補の選別方法の設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、動きが複雑な画像で構成されるシーケンスに対しては小領域毎の動きベクトル候補の重複を許容するように設定でき、動きが単調な画像で構成されるシーケンスに対しては小領域毎の動きベクトル候補を排他的に設定できるため、符号化効率の最大化が図れる。
なお、ピクチャ単位で動きベクトル候補の選別方法を設定する場合は、復号部２０１は、ピクチャパラメータセット或いはピクチャヘッダにおいて、ｐｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｆｌａｇ及びｐｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅを、図５の動作と同様に復号する。
ｐｐｓ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅを用いることで、ピクチャ単位で画像特性に応じた動きベクトル候補の選別方法の設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、動きが複雑な画像ピクチャに対しては小領域毎の動きベクトル候補の重複を許容するように設定でき、動きが単調なピクチャに対しては小領域毎の動きベクトル候補を排他的に設定できるため、符号化効率の最大化が図れる。
また、スライス単位で動きベクトル候補の選別方法を設定する場合は、復号部２０１は、スライスヘッダにおいて、ｓｈ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｓｈ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｆｌａｇ及びｓｈ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅを、図５の動作と同様に復号する。
ｓｈ_ｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅを用いることで、スライス単位で画像特性に応じた動きベクトル候補の選別方法の設定を変更できるため、符号化効率を最大化する効果が期待できる。
例えば、動きが複雑な部分画像が含まれるスライス領域に対しては小領域毎の動きベクトル候補の重複を許容するように設定でき、動きが単調な部分画像が含まれるスライス領域に対しては小領域毎の動きベクトル候補を排他的に設定できるため、符号化効率の最大化が図れる。
上位層でのみ動きベクトル候補の選別方法を設定することで、符号量の増大を抑制することもできるし、下位層でも動きベクトル候補の選別方法を設定した上で下位層での設定を優先することで適応的な制御ができる。
或いは、動きベクトル候補の選別方法が事前に設定されている場合は、動きベクトル候補の選別方法の復号自体を省略することができる。
なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位で動きベクトル候補の選別方法を設定する方法について述べたが、これらの動きベクトル候補の選別方法を設定せずに、後述するように、ブロック単位で、直接、動きベクトル候補を選別するパターンを選択してもよい。
かかる場合、重み係数のパターン数及びパターン種別の設定の自由度が低下するが、上述のヘッダ情報増加を回避できる。
以下、図６を参照して、ブロック単位で動きベクトル候補を選別する方法について述べる。
図６に示すように、ステップＳ２０１において、復号部２０１は、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇのいずれかが１であるか否かについて判断する。
いずれも1でない場合は、本動作は、ステップＳ２０２に進み、本実施形態に係る技術を適用せずに終了する。
いずれかが１である場合、ステップＳ２０３において、復号部２０１は、復号対象ブロックが分割モードであるか否かについて判断する。
復号対象ブロックが分割モードでない場合、本動作は、ステップＳ２０２に進み、本実施形態に係る技術を適用せずに終了する。
復号対象ブロックが分割モードである場合、ステップＳ２０４において、復号部２０１は、分割モードを表す制御信号であるｃｕ_ｄｉｖ_ｍｏｄｅを復号する。
ステップＳ２０５において、復号部２０１は、ｃｕ_ｄｉｖ_ｍｏｄｅに基づいて、復号対象の小領域が動き補償モードであるか否かについて判断する。
Ｎｏの場合、本動作は、ステップＳ２０６に進み、本実施形態に係る技術を適用せずに終了する。
Ｙｅｓの場合、ステップＳ２０７において、復号部２０１は、動きベクトル候補の中から動きベクトルを指定する制御信号であるｃｕ_ｍｖ_ｉｄｘを復号する。
図６の例では、１つのｃｕ_ｍｖ_ｉｄｘが復号されるケースについて示しているが、２つの小領域が動き補償モードである場合或いは１つの小領域が双方向の動き補償モードである場合は、復号部２０１は、ｃｕ_ｍｖ_ｉｄｘ０及びｃｕ_ｍｖ_ｉｄｘ１の２つを復号してもよい。
ｃｕ_ｍｖ_ｉｄｘは、復号対象ブロックに適用される最下層のｄｉｖ_ｓｅｌｅｃｔｉｎｇ_ｍｏｄｅで選別される動きベクトル候補の中の１つを特定するように復号される。
本実施形態に係る画像復号装置２００によれば、ブロックを適応的に分割して分割形状に応じた動きベクトルを復号することで、符号化効率を向上させることができる。
上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
２００…画像復号装置
２０１…復号部
２０２…逆量子化部
２０３…逆変換部
２０４…イントラ予測部
２０５…選別部
２０６…加算器
２０７…蓄積部
２０８…動き補償部
２０９…合成部
２１０…符号入力部
２２０…画像出力部

Claims (14)

  1. 画像復号装置であって、
    制御情報及び量子化値を復号する復号部と、
    前記量子化値を逆量子化して変換係数とする逆量子化部と、
    前記変換係数を逆変換して予測残差とする逆変換部と、
    復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
    前記復号済み画素を蓄積する蓄積部と、
    前記制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とする選別部と、
    前記復号済み画素と前記動き情報と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、
    前記第１予測画像と前記第２予測画素と前記制御情報とに基づいて第３予測画素を生成する合成部と、
    前記第１～第３予測画素のいずれかと前記予測残差とを加算して復号済み画素を得る加算器と、を備え、
    前記選別部は、前記制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から前記動きベクトル候補を選別することを特徴とする画像復号装置。
  2. 前記選別部は、前記復号対象ブロックの分割形状に応じて、前記動きベクトル候補を限定することを特徴とする請求項１に記載の画像復号装置。
  3. 前記選別部は、前記制御情報に基づいて、選別された前記動きベクトル候補の中から前記動きベクトルを決定することを特徴とする請求項１に記載の画像復号装置。
  4. 前記選別部は、前記復号対象ブロックを分割した小領域毎に異なる前記動きベクトル候補を構成することを特徴とする請求項１に記載の画像復号装置。
  5. 前記小領域毎の動きベクトル候補は重複することを特徴とする請求項４に記載の画像復号装置。
  6. 前記小領域毎の動きベクトル候補は排他的であることを特徴とする請求項４に記載の画像復号装置。
  7. 前記選別部は、前記復号対象ブロックを分割した小領域が上又は左のブロックの片方にのみ接する場合だけ、前記動きベクトル候補の選別を行うことを特徴とする請求項に記載１の画像復号装置。
  8. 前記選別部は、選別された前記動きベクトル候補の数が所定数よりも少ない場合に、新規に動きベクトルを生成して前記動きベクトル候補に加えることを特徴とする請求項に記載１の画像復号装置。
  9. 前記選別部は、前記復号対象ブロック及び前記近傍ブロックの両方が小領域に分割されている場合、前記復号対象ブロックの小領域と接する辺の長さが長い方の前記近傍ブロックの小領域の動きベクトルを、前記動きベクトル候補に加えることを特徴とする請求項に記載１の画像復号装置。
  10. 前記選別部は、前記復号対象ブロックの分割形状に応じて、前記動きベクトル候補の並べ順を変化させることを特徴とする請求項に記載１の画像復号装置。
  11. 前記選別部は、前記動きベクトル候補の並べ順について、前記復号対象ブロックに直接接する近傍ブロックの動きベクトルを、前記復号対象ブロックに間接的に接する近傍ブロックの動きベクトルよりも優先することを特徴とする請求項に記載１０の画像復号装置。
  12. 前記選別部は、前記動きベクトル候補の並べ順について、前記復号対象ブロックを分割した小領域が前記近傍ブロックと接する辺の長さが長いほど優先させることを特徴とする請求項に記載１０の画像復号装置。
  13. 画像復号方法であって、
    制御情報及び量子化値を復号する工程Ａと、
    前記量子化値を逆量子化して変換係数とする工程Ｂと、
    前記変換係数を逆変換して予測残差とする工程Ｃと、
    復号済み画素と前記制御情報とに基づいて第１予測画素を生成する工程Ｄと、
    前記復号済み画素を蓄積する工程Ｅと、
    前記制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とする工程Ｆと、
    前記復号済み画素と前記動き情報と前記制御情報とに基づいて第２予測画素を生成する工程Ｇと、
    前記第１予測画像と前記第２予測画素と前記制御情報とに基づいて第３予測画素を生成する工程Ｈと、
    前記第１～第３予測画素のいずれかと前記予測残差とを加算して復号済み画素を得る工程Ｉと、を備え、
    前記工程Ｆにおいて、前記制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から前記動きベクトル候補を選別することを特徴とする画像復号方法。
  14. コンピュータを、画像復号装置として機能させるプログラムであって、
    前記画像復号装置は、
    制御情報及び量子化値を復号する復号部と、
    前記量子化値を逆量子化して変換係数とする逆量子化部と、
    前記変換係数を逆変換して予測残差とする逆変換部と、
    復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
    前記復号済み画素を蓄積する蓄積部と、
    前記制御情報及び動きベクトル候補に基づいて、動きベクトルを決定し動き情報とする選別部と、
    前記復号済み画素と前記動き情報と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、
    前記第１予測画像と前記第２予測画素と前記制御情報とに基づいて第３予測画素を生成する合成部と、
    前記第１～第３予測画素のいずれかと前記予測残差とを加算して復号済み画素を得る加算器と、を備え、
    前記選別部は、前記制御情報に基づいて、復号対象ブロックの近傍ブロックの動きベクトルの中から前記動きベクトル候補を選別することを特徴とするプログラム。
JP2022107167A 2022-07-01 2022-07-01 画像復号装置、画像復号方法及びプログラム Pending JP2024006359A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022107167A JP2024006359A (ja) 2022-07-01 2022-07-01 画像復号装置、画像復号方法及びプログラム
CN202380013479.XA CN117941349A (zh) 2022-07-01 2023-03-07 图像解码装置、图像解码方法和程序产品
PCT/JP2023/008636 WO2024004280A1 (ja) 2022-07-01 2023-03-07 画像復号装置、画像復号方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022107167A JP2024006359A (ja) 2022-07-01 2022-07-01 画像復号装置、画像復号方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2024006359A true JP2024006359A (ja) 2024-01-17

Family

ID=89381953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022107167A Pending JP2024006359A (ja) 2022-07-01 2022-07-01 画像復号装置、画像復号方法及びプログラム

Country Status (3)

Country Link
JP (1) JP2024006359A (ja)
CN (1) CN117941349A (ja)
WO (1) WO2024004280A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
US11233996B2 (en) * 2018-02-22 2022-01-25 Lg Electronics Inc. Image decoding method and apparatus according to block division structure in image coding system
CN112119637B (zh) * 2018-05-17 2024-03-22 松下电器（美国）知识产权公司 编码装置、解码装置

Also Published As

Publication number Publication date
WO2024004280A1 (ja) 2024-01-04
CN117941349A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
KR102306562B1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CA3095769C (en) Method and apparatus for encoding/decoding image
TWI764012B (zh) 擴充參考圖像內預測技術
KR20200066737A (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
JP7447076B2 (ja) 区分けされたイントラ符号化のコンセプト
CN111971959A (zh) 基于分区的帧内编码概念
WO2011158657A1 (ja) 画像フィルタ装置、復号装置、符号化装置、および、データ構造
KR20230065366A (ko) 영상 부호화/복호화 방법 및 장치
KR101809630B1 (ko) 적응적인 디블록킹 필터링에 관한 부호화/복호화 방법 및 장치
WO2020175970A1 (ko) 크로마 성분을 예측하는 비디오 부호화 및 복호화 방법, 및 크로마 성분을 예측하는 비디오 부호화 및 복호화 장치
KR102296536B1 (ko) 색차 성분에 관한 화면내 예측 부호화/복호화 방법 및 장치
JP2023120392A (ja) 映像符号化／復号化方法及び装置
KR20210016053A (ko) 영상 부호화/복호화 방법 및 장치
JP5677576B2 (ja) 動画像復号化方法及び動画像符号化方法
WO2024004280A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7453236B2 (ja) 画像符号化／復号化方法及び装置
KR20190087329A (ko) 복수의 예측 모드 후보군을 사용하여 화면내 예측을 수행하는 영상 부호화/복호화 방법 및 장치
JP7249999B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP5957513B2 (ja) 動画像復号化方法
WO2012169054A1 (ja) 動画像符号化方法、及び装置、動画像復号方法、及び装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729