JP7304153B2 - 動画像復号装置、動画像復号方法及びプログラム - Google Patents

動画像復号装置、動画像復号方法及びプログラム Download PDF

Info

Publication number
JP7304153B2
JP7304153B2 JP2018245882A JP2018245882A JP7304153B2 JP 7304153 B2 JP7304153 B2 JP 7304153B2 JP 2018245882 A JP2018245882 A JP 2018245882A JP 2018245882 A JP2018245882 A JP 2018245882A JP 7304153 B2 JP7304153 B2 JP 7304153B2
Authority
JP
Japan
Prior art keywords
luminance
color difference
prediction
decoded
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018245882A
Other languages
English (en)
Other versions
JP2020108031A (ja
Inventor
圭 河村
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018245882A priority Critical patent/JP7304153B2/ja
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to CN201980018428.XA priority patent/CN111886863B/zh
Priority to US16/981,771 priority patent/US11438615B2/en
Priority to PCT/JP2019/047852 priority patent/WO2020137450A1/ja
Priority to EP19906288.6A priority patent/EP3905682A4/en
Publication of JP2020108031A publication Critical patent/JP2020108031A/ja
Priority to JP2022118548A priority patent/JP7402280B2/ja
Priority to US17/873,892 priority patent/US11750829B2/en
Priority to US17/873,669 priority patent/US11871021B2/en
Application granted granted Critical
Publication of JP7304153B2 publication Critical patent/JP7304153B2/ja
Priority to US18/522,946 priority patent/US20240107044A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像復号装置、動画像復号方法及びプログラムに関する。
従来から、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）と予測残差信号の変換・量子化とエントロピー符号化とを用いた動画像符号化方式が提案されている（例えば、非特許文献１参照）。
かかる動画像符号化方式に対応する動画像符号化装置は、第１に、入力画像を複数のブロックに分割し、第２に、分割したブロック単位（１つ又は複数の変換ユニット）で、入力画像とイントラ予測画像又はインター予測画像との差分である残差信号に対して変換及び量子化を行うことでレベル値を生成し、第３に、生成したレベル値をサイド情報（画素値の再構成に必要な予測モードや動きベクトル等の関連情報）と共にエントロピー符号化して符号化データを生成する。
一方、動画像復号方式に対応する動画像復号装置は、動画像符号化装置で行われる手順と逆の手順により、符号化データから出力画像を得る。
具体的には、かかる動画像復号装置は、符号化データから得られたレベル値に対して逆量子化及び逆変換を施して残差信号を生成し、イントラ予測画像又はインター予測画像に加算してフィルタ前局所復号画像を生成し、イントラ予測に用いると同時に、インループフィルタ（例えば、デブロックフィルタ）を適用してフィルタ後局所復号画像を生成し、フレームバッファに蓄積する。フレームバッファは、適宜、インター予測にフィルタ後局所復号画像を供給する。
なお、符号化データからサイド情報及びレベル値を得る処理のことは、パース処理と呼ばれ、これらのサイド情報及びレベル値を用いて画素値を再構成することは、復号処理と呼ばれる。
ここで、非特許文献２に記載の次世代動画像符号化方式ＶＶＣにおけるイントラ予測のうち色差イントラ予測方式について述べる。
色差イントラ予測方式には、輝度イントラ予測方式と同様の色成分内予測方式に加えて、再構成した輝度成分から色差成分を線形予測する成分間線形予測（ＣＣＬＭ：Ｃｒｏｓｓ-Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）方式がある。輝度成分及び色差成分は、４：２：０色形式の場合に、サンプル数が異なるため、図６に示すように、色差画素に対応する輝度画素を平滑化によって導出する。
ここで、平滑化に用いられる６タップフィルタは、以下の通りである。
Figure 0007304153000001
ＣＣＬＭ方式に用いられる線形予測パラメータａ及びｂは、予測対象ブロックに隣接する復号済みの輝度及び色差の画素値を対象に、輝度の最小及び最大の画素を用いて、輝度から色差に線形変換する線形予測モデルを適用して、以下のように導出する。ここで、パラメータｋは、定数である。
Figure 0007304153000002
そして、輝度成分から、以下の線形予測モデルと導出した線形予測パラメータａ及びｂとに基づいて、予測対象ブロック内の色差成分を予測する。
Figure 0007304153000003
ITU-T H.265 High Efficiency Video Coding Versatile Video Coding (Draft 3)
特開２０１４-１９５１４２号公報
しかしながら、次世代動画像符号化方式ＶＶＣでは、予測係数の導出における計算複雑度が高いという問題点があった。
具体的には、次世代動画像符号化方式ＶＶＣでは、導出の一部を構成するルックアップテーブルの精度が高いため、演算に必要なビット数が他の処理ブロックのビット数よりも大きいという問題点があった。
また、次世代動画像符号化方式ＶＶＣでは、予測係数の絶対値に制約がないため、得られた予測値が入力画素値の範囲を超える場合があるという問題点があった。
さらに、次世代動画像符号化方式ＶＶＣでは、線形モデル導出時には最終的に２画素しか利用しないにも関わらず比較する全ての画素で平滑化演算を行っているという問題点があった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、ルックアップテーブルの精度（ビット数）を削減し、予測係数の絶対値の最大値を定めることとで、必要な演算精度（演算に必要なビット数）を補間フィルタの演算精度と同程度に削減できる動画像復号装置、動画像符号化装置、動画像処理システム、動画像復号方法及びプログラムを提供することを目的とする。
また、本発明は、輝度が最小値と最大値になる画素を平滑化することなく決定して、比較回数は２倍になるが、平滑化演算を完全に削減することができる動画像復号装置、動画像符号化装置、動画像処理システム、動画像復号方法及びプログラムを提供することを目的とする。
本発明の第１の特徴は、符号化データを復号するように構成されている動画像復号装置であって、前記符号化データを復号して色差残差信号を取得するように構成されている復号部と、予測対象ブロックの復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成するように構成されている変換部と、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定する特定し、特定された前記輝度の画素における輝度画素値を出力し、前記輝度の画素に対応する色差の画素における色差画素値を出力するように構成されている特定部と、前記輝度画素値と前記色差画素値と線形予測モデルとから線形予測パラメータを導出するように構成されている導出部と、前記輝度参照信号に前記線形予測パラメータに基づく前記線形予測モデルを適用して色差予測信号を取得するように構成されている色差線形予測部と、前記色差予測信号と前記色差残差信号とを加算して再構成色差信号を生成するように構成されている加算部とを備え、前記導出部は、前記線形予測パラメータの大きさに上限値を設定するように構成されており、前記特定部は、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定するように構成されていることを要旨とする。
本発明の第２の特徴は、符号化データを復号する動画像復号方法であって、前記符号化データを復号して色差残差信号を取得する工程Ａと、予測対象ブロックの復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成する工程Ｂと、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定する特定し、特定された前記輝度の画素における輝度画素値を出力し、前記輝度の画素に対応する色差の画素における色差画素値を出力する工程Ｃと、前記輝度画素値と前記色差画素値と線形予測モデルとから線形予測パラメータを導出する工程Ｄと、前記輝度参照信号に前記線形予測パラメータに基づく前記線形予測モデルを適用して色差予測信号を取得する工程Ｅと、前記色差予測信号と前記色差残差信号とを加算して再構成色差信号を生成する工程Ｆと、前記線形予測パラメータの大きさに上限値を設定する工程Ｇとを有し、前記工程Ｃにおいて、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定することを要旨とする。
本発明の第３の特徴は、符号化データを復号するように構成されている動画像復号装置で用いるプログラムであって、コンピュータに、前記符号化データを復号して色差残差信号を取得する工程Ａと、予測対象ブロックの復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成する工程Ｂと、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定する特定し、特定された前記輝度の画素における輝度画素値を出力し、前記輝度の画素に対応する色差の画素における色差画素値を出力する工程Ｃと、前記輝度画素値と前記色差画素値と線形予測モデルとから線形予測パラメータを導出する工程Ｄと、前記輝度参照信号に前記線形予測パラメータに基づく前記線形予測モデルを適用して色差予測信号を取得する工程Ｅと、前記色差予測信号と前記色差残差信号とを加算して再構成色差信号を生成する工程Ｆと、前記線形予測パラメータの大きさに上限値を設定する工程Ｇとを実行させ、前記工程Ｃにおいて、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定することを要旨とする。
本発明によれば、ルックアップテーブルの精度（ビット数）を削減し、予測係数の絶対値の最大値を定めることとで、必要な演算精度（演算に必要なビット数）を補間フィルタの演算精度と同程度に削減できる動画像復号装置、動画像復号方法及びプログラムを提供することができる。
また、本発明によれば、輝度が最小値と最大値になる画素を平滑化することなく決定して、比較回数は２倍になるが、平滑化演算を完全に削減することができる動画像復号装置、動画像符号化装置、動画像処理システム、動画像復号方法及びプログラムを提供することができる。
一実施形態に係る動画像処理システム１の構成の一例を示す図である。 一実施形態に係る動画像符号化装置１０の機能ブロックの一例を示す図である。 一実施形態に係る動画像符号化装置１０のイントラ予測部１１内の色差イントラ予測を行う機能の一例を示す図である。 一実施形態に係る動画像復号装置３０の機能ブロックの一例を示す図である。 一実施形態に係る動画像復号装置３０の動作の一例を示すフローチャートである。 従来技術を説明するための図である。
以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
（第１実施形態）
図１は、本発明の第１実施形態に係る動画像処理システム１の構成の一例を示す図である。
図１に示すように、本実施形態に係る動画像処理システム１は、動画像を符号化して符号化データを生成する動画像符号化装置１０と、動画像符号化装置１０により生成された符号化データを復号する動画像復号装置３０とを備える。動画像符号化装置１０及び動画像復号装置３０は、上述の符号化データを、例えば、伝送路を介して送受信するように構成されている。
図２は、本実施形態に係る動画像符号化装置１０の機能ブロックの一例を示す図である。
図２に示すように、本実施形態に係る動画像符号化装置１０は、インター予測部１１と、イントラ予測部１２と、変換・量子化部１３と、エントロピー符号化部１４と、逆変換・逆量子化部１５と、減算部１６と、加算部１７と、インループフィルタ部１８と、フレームバッファ部１９とを備える。
インター予測部１１は、入力画像とフレームバッファ部１７から供給される後述のフィルタ後局所復号画像とを入力とするように構成されている。インター予測部１１は、入力画像及びフィルタ後局所復号画像を用いてインター予測を行ってインター予測画像を生成して出力するように構成されている。
イントラ予測部１２は、入力画像と後述のフィルタ前局所復号画像（再構成色差信号）とを入力とするように構成されている。イントラ予測部１２は、入力画像及びフィルタ前局所復号画像を用いてイントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
ここで、イントラ予測画像は、輝度予測信号と色差予測信号とから構成されている。なお、フィルタ前局所復号画像は、輝度成分と色差成分とから構成されている。
変換・量子化部１３は、入力された残差信号に対して直交変換処理を行い、かかる直交変換処理により得られた変換係数について量子化処理を行って、量子化されたレベル値として出力するように構成されている。
エントロピー符号化部１４は、量子化されたレベル値と変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズと変換サイズとを入力とするように構成されている。エントロピー符号化部１４は、入力された信号をエントロピー符号化して符号化データとして出力するように構成されている。
逆変換・逆量子化部１５は、量子化されたレベル値を入力とするように構成されている。逆変換・逆量子化部１５は、量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行って逆直交変換された残差信号として出力するように構成されている。
減算部１６は、入力画像とイントラ予測画像又はインター予測画像とを入力し、両者の差分である残差信号を出力するように構成されている。
加算部１７は、残差信号とイントラ予測画像又はインター予測画像とを入力し、両者を加算したフィルタ前局所復号画像を出力するように構成されている。
インループフィルタ部１８は、フィルタ前局所復号画像を入力とするように構成されている。ここで、フィルタ前局所復号画像とは、予測画像と、逆直交変換された残差信号とを合算した信号のことである。
インループフィルタ部１８は、フィルタ前局所復号画像に対してデブロッキングフィルタといったフィルタ処理を行って、フィルタ後局所復号画像を生成して出力するように構成されている。
フレームバッファ部１９は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部１１に供給するように構成されている。
図３は、本実施形態に係る動画像符号化装置１０のイントラ予測部１１において再構成した輝度成分（予測対象ブロックの復号済み輝度成分及び予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分）から色差成分を予測するための機能の一例を示す図である。
図３に示すように、かかる色差イントラ予測を行う機能は、変換部１２ａと、特定部１２ｂと、導出部１２ｃと、色差線形予測部１２ｄと、加算部１２ｅとを備える。ここで、色差イントラ予測を適用するかどうかについては、エントロピー復号された色差イントラ予測モードによって判定される。
変換部１２ａは、予測対象ブロックの復号済み輝度成分（フィルタ前局所復号画像に含まれる）を、予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を出力するように構成されている。ここで、サンプル数の変換には、６タップフィルタを適用してもよい。
また、変換部１２ａには、加算部１７から、予測対象ブロックの復号済み輝度成分が入力される。
特定部１２ｂは、予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分（フィルタ前局所復号画像内に含まれる）の画素値が最小と最大になる輝度の画素をそれぞれ特定するように構成されている。また、特定部１２ｂは、特定された輝度の画素における輝度画素値と、特定された輝度の画素に対応する色差の画素における色差画素値とを出力するように構成されている。
ここで、輝度成分のサンプル数及び色差成分のサンプル数が異なる場合には、輝度の画素及び色差の画素は１対１で対応しない場合がある。しかしながら、輝度成分のサンプル数が色差成分のサンプル数よりも多いことを仮定できるため、輝度の画素に対応する色差の画素は一意に決定可能である。
なお、特定部１２ｂには、加算部１７から、予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分及び予測対象ブロックの復号済み輝度成分に隣接する復号済み色差成分が入力される。
導出部１２ｃは、輝度成分の最小と最大の画素値と、対応する色差の画素値と、線形予測モデルとを入力する線形予測パラメータを導出するように構成されている。
色差線形予測部１２ｄは、輝度参照信号に線形予測パラメータに基づく線形予測モデルを適用して色差予測信号を出力するように構成されている。
加算部１２ｅは、色差予測信号と色差残差信号とを加算して再構成色差信号を生成するように構成されている。
図４は、本実施形態に係る動画像復号装置３０の機能ブロックの一例を示す図である。
図４に示すように、本実施形態に係る動画像復号装置３０は、エントロピー復号部３１と、逆変換・逆量子化部３２と、インター予測部３３と、イントラ予測部３４と、加算部３５と、インループフィルタ部３６と、フレームバッファ部３７とを備える。
エントロピー復号部３１は、符号化データを入力とするように構成されている。エントロピー復号部３１は、符号化データをエントロピー復号し、量子化係数レベル値及び動画像符号化装置１０で生成された色差イントラ予測モードを導出して出力するように構成されている。
逆変換・逆量子化部３２は、量子化係数レベル値を入力とするように構成されている。逆変換・逆量子化部３２は、量子化係数レベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号（輝度残差信号と色差残差信号から構成される）として出力するように構成されている。
インター予測部３３は、フレームバッファ部３７から供給される後述のフィルタ後局所復号画像を入力とするように構成されている。インター予測部３３は、フィルタ後局所復号画像を用いてインター予測を行ってインター予測画像を生成して出力するように構成されている。
イントラ予測部３４は、フィルタ前局所復号画像を入力とするように構成されている。ここで、フィルタ前局所復号画像とは、残差信号と予測画像とを合算した信号のことであり、予測画像とは、インター予測画像及びイントラ予測画像のうち、エントロピー復号により得られた最も高い符号化性能の期待される予測方法により算出された予測画像のことである。
なお、イントラ予測部３４は、フィルタ前局所復号画像を用いてイントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
加算部３５は、残差信号とイントラ予測画像又はインター予測画像とを入力し、両者を加算したフィルタ前局所復号画像を出力するように構成されている。
インループフィルタ部３６は、フィルタ前局所復号画像を入力とするように構成されている。インループフィルタ部３６は、フィルタ前局所復号画像に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像として出力するように構成されている。
フレームバッファ部３７は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部３３に供給するとともに、復号済み画像として出力するように構成されている。
図３は、本実施形態に係る動画像復号装置３０のイントラ予測部３４において再構成した輝度成分から色差成分を予測するための機能の一例を示す図である。
図３に示すように、かかる色差イントラ予測を行う機能は、変換部３４ａと、特定部３４ｂと、導出部３４ｃと、色差線形予測部３４ｄと、加算部３４ｅとを備える。なお、各機能は、動画像符号化装置１０における機能と同一であるため、詳細な説明については省略する。
以下、図５を参照して、本実施形態に係る動画像復号装置３０において、再構成した輝度成分から色差成分を予測する動作について説明する。
図５に示すように、動画像復号装置３０は、ステップＳ１０１において、符号化データを復号し、ステップＳ１０２において、色差イントラ予測モード及び色差残差信号を取得する。
ステップＳ１０３において、動画像復号装置３０は、予測対象ブロックの復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成する。
ステップＳ１０４において、動画像復号装置３０は、予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定する特定し、特定された前記輝度の画素における輝度画素値及び前記輝度の画素に対応する色差の画素における色差画素値を出力する。

ステップＳ１０５において、動画像復号装置３０は、輝度画素値と色差画素値と線形予測モデルとから線形予測パラメータを導出する。
ステップＳ１０６において、動画像復号装置３０は、輝度参照信号に線形予測パラメータに基づく線形予測モデルを適用して色差予測信号を取得する。
ステップＳ１０７において、動画像復号装置３０は、色差予測信号と色差残差信号とを加算して再構成色差信号を生成する。
本実施形態に係る動画像符号化装置１０及び動画像復号装置３０によれば、特定部１２ｂ/３４ｂにおいて隣接する復号済み輝度成分を平滑化することなく最小と最大になる画素値を特定するため、シフト演算の回数を削減でき、また、隣接する復号済み輝度成分を従来の６タップフィルタを全く適用せずに特定するため、さらに加算演算の回数を削減できる。
（第２実施形態）
以下、本発明の第２実施形態に係る動画像符号化装置１０及び動画像復号装置３０について、上述の第１実施形態に係る動画像符号化装置１０及び動画像復号装置３０との相違点に着目して説明する。
本実施形態において、導出部１２ｃ/３４ｃは、動画像復号装置３０のインター予測部３３内の動き補償予測における補間演算と同じビット数に揃えるために、出力する線形予測パラメータのビット数に対してシフト処理を適用するように構成されている。
具体的には、導出部１２ｃ/３４ｃは、輝度値の最大値と最小値の差で除算をルックアップテーブルで実現する際に、ルックアップテーブルの固定小数点表現のビット数を削減するように構成されている。例えば、ルックアップテーブル値のビット数を８ビットとしてもよい。
また、導出部１２ｃ/３４ｃは、色差値の最大値と最小値との差を除算するが、その差の最大値を予め定めた範囲にクリップする。例えば、導出部１２ｃ/３４ｃは、符号付き９ビット整数の範囲である－２５６から２５５に丸めてもよい。
本実施形態に係る動画像符号化装置１０及び動画像復号装置３０によれば、特定部１２ｂ/３４ｂにおいて隣接する復号済み輝度成分を平滑化することなく最小と最大になる画素値を特定するため、シフト演算の回数を削減でき、また、隣接する復号済み輝度成分を従来の６タップフィルタを全く適用せずに特定するため、さらに加算演算の回数を削減できる。さらに、インター予測における補間演算と同様に、乗算器のビット数が１７ビットとなり、乗算器の設計コストを削減できる。
（第３実施形態）
以下、本発明の第３実施形態に係る動画像符号化装置１０及び動画像復号装置３０について、上述の第１及び第２実施形態に係る動画像符号化装置１０及び動画像復号装置３０との相違点に着目して説明する。
本実施形態において、導出部１２ｃ/３４ｃは、線形予測パラメータの大きさに上限値を設定するように構成されている。
例えば、導出部１２ｃ/３４ｃは、線形予測パラメータに対してクリップ演算とシフト演算を適用するように構成されていてもよい。
例えば、線形予測パラメータは、符号付き１２ビット固定小数点となるように、符号１ビット、整数部３ビット、少数部８ビットとによって構成される。その結果、色差線形予測部１２ｄ、３３ｄは、補間演算の積和演算器のビット数と同様に、積和演算器のビット数が１７ビットとなるように構成されていてもよい。
また、線形予測パラメータは、符号付き７ビット固定小数点となるように構成されていてもよい。その結果、色差線形予測部１２ｄ、３３ｄは、補間演算の乗算器のビット数と同様に、乗算器のビット数が１７ビットとなるように構成されていてもよい。
また、線形予測パラメータは、符号付き７ビット浮動小数点となるように構成されていてもよい。その結果、色差線形予測部１２ｄ、３３ｄは、補間演算の乗算器のビット数と同様に、乗算器のビット数が１７ビットとシフト演算の組合せとなるように構成されていてもよい。
本実施形態に係る動画像符号化装置１０及び動画像復号装置３０によれば、輝度成分の変動が小さい場合にも、線形予測パラメータを一定の値以下に抑えるため、入力信号の範囲を超えて色差信号が線形予測されることを抑制できる。
（第４実施形態）
以下、本発明の第４実施形態に係る動画像符号化装置１０及び動画像復号装置３０について、上述の第１～第３実施形態に係る動画像符号化装置１０及び動画像復号装置３０との相違点に着目して説明する。
本実施形態において、特定部１２ｂ/３４ｂは、復号済み輝度成分を、かかる復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成するように構成されている。
具体的には、特定部１２ｂ/３４ｂは、上部参照輝度成分においては水平３タップの平滑フィルタを適用し、左部隣接参照輝度成分においては垂直２タップの平滑化フィルタを適用するように構成されていてもよい。
本実施形態に係る動画像符号化装置１０及び動画像復号装置３０によれば、隣接参照輝度成分におけるノイズを抑制して、予測精度を高められる。
１…動画像処理システム
１０…動画像符号化装置
１１、３３…インター予測部
１２、３４…イントラ予測部
１２ａ、３３ａ…変換部
１２１ｂ、３３ｂ…特定部
１２ｃ、３３ｃ…導出部
１２ｄ、３３ｄ…色差線形予測部
１２ｅ、１７、３３ｅ、３５…加算部
１３…変換・量子化部
１４…エントロピー符号化部
１５、３２…逆変換・逆量子化部
１６…減算部
１８、３６…インループフィルタ部
１９、３７…フレームバッファ部
３０…動画像復号装置
３１…エントロピー復号部

Claims (3)

  1. 符号化データを復号するように構成されている動画像復号装置であって、
    前記符号化データを復号して色差残差信号を取得するように構成されている復号部と、
    予測対象ブロックの復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成するように構成されている変換部と、
    前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定し、特定された前記輝度の画素における輝度画素値を出力し、前記輝度の画素に対応する色差の画素における色差画素値を出力するように構成されている特定部と、
    前記輝度画素値と前記色差画素値と線形予測モデルとから線形予測パラメータを導出するように構成されている導出部と、
    前記輝度参照信号に前記線形予測パラメータに基づく前記線形予測モデルを適用して色差予測信号を取得するように構成されている色差線形予測部と、
    前記色差予測信号と前記色差残差信号とを加算して再構成色差信号を生成するように構成されている加算部とを備え、
    前記導出部は、前記色差画素値の最大値と最小値との差の最大値を予め定めた範囲にクリップするように構成されており、
    前記特定部は、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定するように構成されていることを特徴とする動画像復号装置。
  2. 符号化データを復号する動画像復号方法であって、
    前記符号化データを復号して色差残差信号を取得する工程Ａと、
    予測対象ブロックの復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成する工程Ｂと、
    前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定する特定し、特定された前記輝度の画素における輝度画素値を出力し、前記輝度の画素に対応する色差の画素における色差画素値を出力する工程Ｃと、
    前記輝度画素値と前記色差画素値と線形予測モデルとから線形予測パラメータを導出する工程Ｄと、
    前記輝度参照信号に前記線形予測パラメータに基づく前記線形予測モデルを適用して色差予測信号を取得する工程Ｅと、
    前記色差予測信号と前記色差残差信号とを加算して再構成色差信号を生成する工程Ｆと、
    前記色差画素値の最大値と最小値との差の最大値を予め定めた範囲にクリップする工程Ｇとを有し、
    前記工程Ｃにおいて、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定することを特徴とする動画像復号方法。
  3. 符号化データを復号するように構成されている動画像復号装置で用いるプログラムであって、コンピュータに、
    前記符号化データを復号して色差残差信号を取得する工程Ａと、
    予測対象ブロックの復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度参照信号を生成する工程Ｂと、
    前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定する特定し、特定された前記輝度の画素における輝度画素値を出力し、前記輝度の画素に対応する色差の画素における色差画素値を出力する工程Ｃと、
    前記輝度画素値と前記色差画素値と線形予測モデルとから線形予測パラメータを導出する工程Ｄと、
    前記輝度参照信号に前記線形予測パラメータに基づく前記線形予測モデルを適用して色差予測信号を取得する工程Ｅと、
    前記色差予測信号と前記色差残差信号とを加算して再構成色差信号を生成する工程Ｆと、
    前記色差画素値の最大値と最小値との差の最大値を予め定めた範囲にクリップする工程Ｇとを実行させ、
    前記工程Ｃにおいて、前記予測対象ブロックの復号済み輝度成分に隣接する復号済み輝度成分を、前記予測対象ブロックの復号済み輝度成分に対応する色差成分と同じサンプル数にして、輝度成分の画素値が最小と最大になる輝度の画素をそれぞれ特定することを特徴とするプログラム。
JP2018245882A 2018-12-27 2018-12-27 動画像復号装置、動画像復号方法及びプログラム Active JP7304153B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2018245882A JP7304153B2 (ja) 2018-12-27 2018-12-27 動画像復号装置、動画像復号方法及びプログラム
US16/981,771 US11438615B2 (en) 2018-12-27 2019-12-06 Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values
PCT/JP2019/047852 WO2020137450A1 (ja) 2018-12-27 2019-12-06 動画像復号装置、動画像復号方法及びプログラム
EP19906288.6A EP3905682A4 (en) 2018-12-27 2019-12-06 MOBILE IMAGE DECODING DEVICE, MOBILE IMAGE DECODING METHOD, AND PROGRAM
CN201980018428.XA CN111886863B (zh) 2018-12-27 2019-12-06 动态图像解码装置、动态图像解码方法及程序
JP2022118548A JP7402280B2 (ja) 2018-12-27 2022-07-26 動画像復号装置、動画像復号方法及びプログラム
US17/873,892 US11750829B2 (en) 2018-12-27 2022-07-26 Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values
US17/873,669 US11871021B2 (en) 2018-12-27 2022-07-26 Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values
US18/522,946 US20240107044A1 (en) 2018-12-27 2023-11-29 Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018245882A JP7304153B2 (ja) 2018-12-27 2018-12-27 動画像復号装置、動画像復号方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022118548A Division JP7402280B2 (ja) 2018-12-27 2022-07-26 動画像復号装置、動画像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020108031A JP2020108031A (ja) 2020-07-09
JP7304153B2 true JP7304153B2 (ja) 2023-07-06

Family

ID=71129790

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018245882A Active JP7304153B2 (ja) 2018-12-27 2018-12-27 動画像復号装置、動画像復号方法及びプログラム
JP2022118548A Active JP7402280B2 (ja) 2018-12-27 2022-07-26 動画像復号装置、動画像復号方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022118548A Active JP7402280B2 (ja) 2018-12-27 2022-07-26 動画像復号装置、動画像復号方法及びプログラム

Country Status (5)

Country Link
US (4) US11438615B2 (ja)
EP (1) EP3905682A4 (ja)
JP (2) JP7304153B2 (ja)
CN (1) CN111886863B (ja)
WO (1) WO2020137450A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210392344A1 (en) * 2019-01-02 2021-12-16 Sharp Kabushiki Kaisha Prediction image generation device, moving image decoding device, moving image encoding device, and prediction image generation method
CN112055256B (zh) * 2020-09-16 2023-03-24 聚好看科技股份有限公司 一种全景图像的图像处理方法及显示设备
CN112905829A (zh) * 2021-03-25 2021-06-04 王芳 一种跨模态人工智能信息处理系统及检索方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018174567A (ja) 2013-06-18 2018-11-08 シャープ株式会社 照度補償装置、画像復号装置、画像符号化装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867823B (zh) * 2002-08-08 2012-05-02 松下电器产业株式会社 解码方法及解码装置
US7269297B2 (en) * 2003-11-25 2007-09-11 Xerox Corporation Illuminant-neutral gray component replacement in systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
AU2015255215B2 (en) * 2009-04-24 2017-02-02 Sony Corporation Image processing apparatus and method
KR102001259B1 (ko) * 2011-06-27 2019-07-17 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치
EP2774371B1 (en) * 2011-11-03 2020-08-26 Sun Patent Trust Efficient rounding for deblocking
CA2879650C (en) * 2012-06-11 2017-09-05 Nippon Hoso Kyokai Encoding device, decoding device, and program
US9219916B2 (en) * 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
CN104885457B (zh) * 2013-01-02 2017-03-29 杜比实验室特许公司 用于视频信号的向后兼容编码和解码的方法和装置
MX350910B (es) * 2013-02-21 2017-09-25 Koninklijke Philips Nv Métodos y dispositivos de codificación y decodificación de imágenes mejoradas de alto rango dinámico (hdr).
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
WO2017061189A1 (ja) * 2015-10-05 2017-04-13 シャープ株式会社 画像復号装置または画像符号化装置のための画像予測装置
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
CN108781246B (zh) * 2016-03-14 2021-05-28 皇家飞利浦有限公司 用于动态范围映射的饱和度处理指定
JP6262381B2 (ja) * 2017-02-23 2018-01-17 株式会社東芝 電子機器、復号方法及びプログラム
JP7122838B2 (ja) * 2017-03-10 2022-08-22 日本放送協会 符号化装置、復号装置及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018174567A (ja) 2013-06-18 2018-11-08 シャープ株式会社 照度補償装置、画像復号装置、画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ｂｅｎｊａｍｉｎ Ｂｒｏｓｓ ｅｔ ａｌ．， Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ３）， ＪＶＥＴ－Ｌ１００１－ｖ７．ｄｏｃｘ［ｏｎｌｉｎｅ］， ２０１８年１２月２０日， ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｍａｃａｏ／ｗｇ１１／ＪＶＥＴ－Ｌ１００１－ｖ１１．ｚｉｐ

Also Published As

Publication number Publication date
CN111886863A (zh) 2020-11-03
US11438615B2 (en) 2022-09-06
US11871021B2 (en) 2024-01-09
US20220368932A1 (en) 2022-11-17
WO2020137450A1 (ja) 2020-07-02
US20240107044A1 (en) 2024-03-28
US20210368188A1 (en) 2021-11-25
CN111886863B (zh) 2024-06-11
JP7402280B2 (ja) 2023-12-20
EP3905682A4 (en) 2022-10-05
EP3905682A1 (en) 2021-11-03
US20220368931A1 (en) 2022-11-17
JP2022140573A (ja) 2022-09-26
JP2020108031A (ja) 2020-07-09
US11750829B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
KR102093205B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
JP6437494B2 (ja) クワッドツリーを用いるブロック情報の符号化／復号化方法及びその方法を使用する装置
JP7402280B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
JP2024019542A (ja) 復号装置、プログラム、及び復号方法
JP6154753B2 (ja) 動画像復号装置、動画像復号方法、およびプログラム
JP7483725B2 (ja) 符号化装置、復号装置、及びプログラム
CN118338009A (zh) 动态图像解码装置、动态图像解码方法及程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220426

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220726

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220830

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221122

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7304153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150