JP7425568B2 - 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 - Google Patents
動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 Download PDFInfo
- Publication number
- JP7425568B2 JP7425568B2 JP2019169444A JP2019169444A JP7425568B2 JP 7425568 B2 JP7425568 B2 JP 7425568B2 JP 2019169444 A JP2019169444 A JP 2019169444A JP 2019169444 A JP2019169444 A JP 2019169444A JP 7425568 B2 JP7425568 B2 JP 7425568B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- size
- image
- encoding
- predicted image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 239000011159 matrix material Substances 0.000 claims description 124
- 238000009795 derivation Methods 0.000 claims description 60
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 description 39
- 238000012545 processing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 29
- 238000013139 quantization Methods 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000006854 communication Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 14
- 238000003702 image correction Methods 0.000 description 11
- 239000013074 reference sample Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 108010069583 lens intrinsic protein MIP 21 Proteins 0.000 description 3
- 229920000069 polyphenylene sulfide Polymers 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 2
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002490 spark plasma sintering Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 102100023703 C-C motif chemokine 15 Human genes 0.000 description 1
- 102100023701 C-C motif chemokine 18 Human genes 0.000 description 1
- 102100036850 C-C motif chemokine 23 Human genes 0.000 description 1
- 108010082155 Chemokine CCL18 Proteins 0.000 description 1
- 101000978376 Homo sapiens C-C motif chemokine 15 Proteins 0.000 description 1
- 101000713081 Homo sapiens C-C motif chemokine 23 Proteins 0.000 description 1
- 101710151805 Mitochondrial intermediate peptidase 1 Proteins 0.000 description 1
- 101710151803 Mitochondrial intermediate peptidase 2 Proteins 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 108010069773 lens intrinsic protein MIP 28 Proteins 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
られる符号化単位(符号化ユニット(Coding Unit:CU)と呼ばれることもある)、及び
、符号化単位を分割することより得られる変換ユニット(TU:Transform Unit)からなる階層構造により管理され、CU毎に符号化/復号される。
を導出することを特徴とする。
の行列の何れかを導出し、対象ブロックの一辺が4の場合にsizeId = 1もしくは2の行列を導出することを特徴とする。
することを特徴とする。
を導出することを特徴とする。
の行列の何れかを導出し、対象ブロックの一辺が4の場合にsizeId = 1もしくは2の行列を導出することを特徴とする。
することを特徴とする。
以下、図面を参照しながら本発明の実施形態について説明する。
らの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジ
タル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD(Digital Versatile Disc:登録商標)、BD(Blue-ray Disc:登録商標)等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
本明細書で用いる演算子を以下に記載する。
、|=はOR代入演算子であり、||は論理和を示す。
る。BitDepthYは輝度のビット深度である。
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
ームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図4には、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定
する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符
号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号
装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4の符号化ビデオシーケンスに示すように、ビデオパラメータセット(Video Parameter Set)、シーケン
スパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れか
を選択する。
動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用
を示すフラグ(weighted_pred_flag)が含まれる。なお、PPSは複数存在してもよい。そ
の場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4の符号化ピクチャに示すよ
うに、スライス0~スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)
。
添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照
するデータの集合が規定されている。スライスは、図4の符号化スライスに示すように、
スライスヘッダ、および、スライスデータを含んでいる。
、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライ
スを指す。
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図4の符号化スライ
スヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
図4の符号化ツリーユニットには、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree
)分割)により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4
分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符
号化ノードとして規定される。
分割の有無を示すMT分割フラグ(split_mt_flag)、MT分割の分割方向を示すMT分割方向
(split_mt_dir)、MT分割の分割タイプを示すMT分割タイプ(split_mt_type)を含む。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type は符号化ノード毎に伝送
される。
以上分割されない。CUは、符号化処理の基本的な単位となる。
に垂直分割される(図5のBT(垂直分割))。また、split_mt_typeが1の時、split_mt_dirが1の場合に符号化ノードは3つの符号化ノードに水平分割され(図5のTT(水平分割))
、split_mt_dirが0の場合に符号化ノードは3つの符号化ノードに垂直分割される(図5
のTT(垂直分割))。これらを図5のCT情報に示す。
画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64
画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の
何れかをとり得る。
図4の符号化ユニットに示すように、処理対象の符号化ユニットを復号するために動画
像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは
予測モード等が規定される。
でエントロピー符号化してもよい。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
、イントラ予測モードの種類(モード番号)を示す概略図である。図に示すように、イントラ予測モードは、例えば67種類(0~66)存在する。例えば、プレーナ予測(0)、DC予測(1)、Angular予測(2~66)である。さらに、色差ではLMモード(67~72)を追加し
てもよい。
intra_luma_mpm_flagは、対象ブロックのIntraPredModeYとMPM(Most Probable Mode)とが一致するか否かを示すフラグである。MPMは、MPM候補リストmpmCandList[]に含まれ
る予測モードである。MPM候補リストは、隣接ブロックのイントラ予測モードおよび所定
のイントラ予測モードから、対象ブロックに適用される確率が高いと推定される候補を格納したリストである。intra_luma_mpm_flagが1の場合、MPM候補リストとインデックスintra_luma_mpm_idxを用いて、対象ブロックのIntraPredModeYを導出する。
(REM)
intra_luma_mpm_flagが0の場合、イントラ予測モード全体からMPM候補リストに含まれるイントラ予測モードを除いた残りのモードRemIntraPredModeからイントラ予測モードを選択する。RemIntraPredModeとして選択可能なイントラ予測モードは、「非MPM」または
「REM」と呼ばれる。RemIntraPredModeは、intra_luma_mpm_remainderを用いて導出され
る。
本実施形態に係る動画像復号装置31(図7)の構成について説明する。
)302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部(予測画像生成装置)308、逆量子化・逆変換部311、及び加算部312を含んで構
成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。
、サブCU単位で処理をしてもよい。あるいはCTU、CU、をブロック、サブCUをサブブロッ
クと読み替え、ブロックあるいはサブブロック単位の処理としてもよい。
ピー復号を行って、個々の符号(シンタックス要素)を分離し復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト(確率モデル)を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC(Context Adaptive Binary Arithmetic Coding)は、符号化あるいは復号したピクチャ(スライス)毎に更新した確率モデルをメモリに格納する。そして、Pピクチャ、
あるいはBピクチャのコンテキストの初期状態として、メモリに格納された確率モデルの
中から、同じスライスタイプ、同じスライスレベルの量子化パラメータを使用したピクチャの確率モデルを設定する。この初期状態を符号化、復号処理に使用する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。
イントラ予測パラメータ復号部304は、エントロピー復号部301から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してイントラ予測
パラメータ、例えば、イントラ予測モードIntraPredModeを復号する。イントラ予測パラ
メータ復号部304は、復号したイントラ予測パラメータを予測画像生成部308に出力し、また予測パラメータメモリ307に記憶する。イントラ予測パラメータ復号部304は、輝度と色差で異なるイントラ予測モードを導出しても良い。
である。図に示すように、イントラ予測パラメータ復号部304は、パラメータ復号制御部3041と、輝度イントラ予測パラメータ復号部3042と、色差イントラ予測パラメータ復号部3043とを含んで構成される。
示し、エントロピー復号部301からシンタックス要素を受け取る。その中のintra_luma_mpm_flagが1の場合、パラメータ復号制御部3041は、輝度イントラ予測パラメータ復号部3042内のMPMパラメータ復号部30422にintra_luma_mpm_idxを出力する。また、intra_luma_mpm_flagが0の場合、パラメータ復号制御部3041は、輝度イントラ予測パラメータ復号部3042の非MPMパラメータ復号部30423にintra_luma_mpm_remainderを出力する。また、パラ
メータ復号制御部3041は、色差イントラ予測パラメータ復号部3043に色差のイントラ予測
パラメータのシンタックス要素を出力する。
ータ復号部30422と、非MPMパラメータ復号部30423(復号部、導出部)とを含んで構成さ
れる。
成部310に出力する。
歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット(SAO)、適
応ループフィルタ(ALF)等のフィルタを施す。
る。
、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参
照ピクチャ(参照ピクチャブロック)を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合(通常矩形であるのでブロックと呼ぶ)であり、予測画像を生成するために参照する領域である。
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部310は
、イントラ予測パラメータ復号部304から入力されたイントラ予測パラメータと参照ピク
チャメモリ306から読み出した参照画素を用いてイントラ予測を行う。
め定めた範囲にある隣接ブロックを参照ピクチャメモリ306から読み出す。予め定めた範
囲とは、対象ブロックの左、左上、上、右上の隣接ブロックであり、イントラ予測モードによって参照する領域は異なる。
したブロックの予測画像を加算部312に出力する。
照領域Rとして設定する。そして、参照領域R上の画素を特定の方向に外挿することで予測画像を生成する。例えば、参照領域Rは、予測対象ブロックの左と上(あるいは、さらに、左上、右上、左下)を含むL字型の領域(例えば図9の参照領域の例1の斜線の丸印
の画素で示される領域)として設定してもよい。
次に、図10を用いてイントラ予測画像生成部310の構成の詳細を説明する。イントラ予
測画像生成部310は、参照サンプルフィルタ部3103(第2の参照画像設定部)、予測部3104、および、予測画像補正部3105(予測画像補正部、フィルタ切替部、重み係数変更部)
を備える。
参照サンプルフィルタ部3103は、参照画像を参照して参照領域R上の各位置(x,y)の参
照サンプルs[x][y]を導出する。また、参照サンプルフィルタ部3103は、イントラ予測モ
ードに応じて、参照サンプルs[x][y]に参照画素フィルタ(第1のフィルタ)を適用して
、参照領域R上の各位置(x,y)の参照サンプルs[x][y]を更新する(フィルタ済参照画像s[x][yを]導出する)。具体的には、位置(x,y)とその周辺の参照画像にローパスフィルタを適用し、フィルタ済参照画像(図9の参照領域の例2)を導出する。なお、必ずしも全イ
ントラ予測モードにローパスフィルタを適用する必要はなく、一部のイントラ予測モードに対してローパスフィルタを適用してもよい。なお、参照サンプルフィルタ部3103において参照領域R上の参照画像に適用するフィルタを「参照画素フィルタ(第1のフィルタ)」と呼称するのに対し、後述の予測画像補正部3105において仮予測画像を補正するフィルタを「ポジション依存フィルタ(第2のフィルタ)」と呼称する。
イントラ予測部3104は、イントラ予測モードと、参照画像、フィルタ済参照画素値に基づいて予測対象ブロックの仮予測画像(仮予測画素値、補正前予測画像)を生成し、予測画像補正部3105に出力する。予測部3104は、内部にPlanar予測部31041、DC予測部31042、Angular予測部31043、LM予測部31044およびMIP部31045を備えている。予測部3104は、イ
ントラ予測モードに応じて特定の予測部を選択して、参照画像、フィルタ済参照画像を入力する。イントラ予測モードと対応する予測部との関係は次の通りである。
・Planar予測 ・・・Planar予測部31041
・DC予測 ・・・DC予測部31042
・Angular予測 ・・・Angular予測部31043
・LM予測 ・・・LM予測部31044
・行列イントラ予測・・MIP部31045
(Planar予測)
Planar予測部31041は、予測対象画素位置と参照画素位置との距離に応じて参照サンプ
ルs[x][y]を線形加算して仮予測画像を生成し、予測画像補正部3105に出力する。
DC予測部31042は、参照サンプルs[x][y]の平均値に相当するDC予測値を導出し、DC予測値を画素値とする仮予測画像q[x][y]を出力する。
Angular予測部31043は、イントラ予測モードの示す予測方向(参照方向)の参照サンプルs[x][y]を用いて仮予測画像q[x][y]を生成し、予測画像補正部3105に出力する。
LM予測部31044は、輝度の画素値に基づいて色差の画素値を予測する。具体的には、復
号した輝度画像をもとに、線形モデルを用いて、色差画像(Cb、Cr)の予測画像を生成する方式である。LM予測の1つとして、CCLM(Cross-Component Linear Model prediction
)予測がある。CCLM予測は、1つのブロックに対し、輝度から色差を予測するための線形モデルを使用する予測方式である。
以下、MIP部31045により実行されるMIP処理(Matrix-based intra prediction:行列イントラ予測処理)の一例を、図11~図18を用いて説明する。MIPは隣接画像から導出した
参照画像と重み行列との積和演算により予測画像を導出する技術である。図中、対象ブロックは幅nTbW、高さnTbHである。
(1)境界参照画素導出
MIP部は、対象ブロックのサイズに関する変数sizeIdを下式で導出する(図18)。
図18に示すように、対象ブロックのサイズ(nTbW x nTbH)が4x4、8x8、16x16の場合、sizeIdはそれぞれ0, 1, 2である。4x16, 16x4の場合には、sizeId=2となる。
の参照領域redT[]、redL[]のサイズboundarySize、中間予測画像predMip[][]の幅と高さpredW、predH、重み行列mWeight[predC*predC][inSize]による予測の過程で得られる予測
画像の一辺のサイズpredCを導出する。
boundarySize = (sizeId==0) ? 2 : 4
predW = (sizeId<=1) ? 4 : Min(nTbW,8)
predH = (sizeId<=1) ? 4 : Min(nTbH,8)
predC = (sizeId<=1) ? 4 : 8
sizeIdとこれらの変数の値との関係を図17に示す。
サイズnTbW*nTbH以下である必要があるので、対象ブロックのサイズが小さい場合、より
大きな重み行列(predC*predC)を選択すると重み行列を中間予測画像のサイズに合わせる
処理が必要になる。
る。IntraPredModeは、例えば図6で示すイントラ予測モード0~66である。
また、重み行列mWeight[predC*predC][inSize]による予測に用いられる参照画素数inSize、転置後の中間予測画像predMip[][]の幅と高さmipW、mipHを導出する。
mipW = isTransposed ? predH : predW
mipH = isTransposed ? predW : predH
MIP部31045の行列参照画素導出部は、対象ブロックの上方に隣接するブロックの画素値predSamples[x][-1](x=0..nTbW-1)を第1の参照領域refT[x](x=0..nTbW-1)にセットする。また、対象ブロック左方に隣接するブロックの画素値predSamples[-1][y](y=0..nTbH-1)
を第1の参照領域refL[y](y=0..nTbH-1)にセットする。次に、MIP部31045は、第1の参照領域refT[x]、refL[y]をダウンサンプリングして第2の参照領域redT[x](x=0..boundarySize-1)、redL[y](y=0..boundarySize-1)を導出する。ダウンサンプリングはrefT[]、refL[]
に対して同様の処理を行うので、以降ではrefS[i](i=0..nTbX-1)、redS[i](i=0..boundarySize-1)と称する。
した場合、nTbS=nTbHである。
bDwn = nTbS/boundarySize (MIP-3)
for (x=0; x<boundarySize; x++)
redS[x] = (ΣrefS[x*bDwn+i]+(1<<(Log2(bDwn)-1)))>>Log2(bDwn)
}
else
for (x=0; x<boundarySize; x++)
redS[x] = refS[x]
ここで、Σはi=0からi=bDwn-1までの総和である。
for (i=0;i<boundarySize;i++) {
pTemp[i] = redL[i]
pTemp[i+boundarySize] = redT[i]
}
else
for (i=0;i<boundarySize;i++) {
pTemp[i] = redT[i]
pTemp[i+boundarySize] = redL[i]
}
if (sizeId==2)
for (i=0;i<inSize;i++)
p[i] = pTemp[i+1]-pTemp[0]
else {
p[0] = pTemp[0] - (1<<(BitDepthY-1))
for (i=1;i<inSize;i++)
p[i] = pTemp[i]-pTemp[0]
}
bitDepthYは輝度のビット深度であり、例えば10bitであってもよい。
と、mWeight[][]のパターンを半分に削減することができる。
(2)予測画素導出(行列演算)
MIP部31045は、図11のSTEP2 予測画素導出(行列演算)で、p[]に対する行列演算によっ
て、predW*predHのサイズの中間予測画像predMip[][]を導出する。
行列参照画素導出部は、sizeId=0の場合、重み行列を格納する配列WeightS0[18][16][4]から、modeIdを参照してmWeight[16][4]を選択する。sizeId=1の場合、重み行列を格納
する配列WeightS1[10][16][8]から、modeIdを参照してmWeight[16][8]を選択する。sizeId=2の場合、重み行列を格納する配列WeightS2[6][64][7]から、modeIdを参照してmWeight[64][7]を選択する。これらは下式で表される。
mWeight[i][j] = WeightS0[modeId][i][j] (i=0..15, j=0..3)
else if (sizeId==1)
mWeight[i][j] = WeightS1[modeId][i][j] (i=0..15, j=0..7)
else // sizeId=2
mWeight[i][j] = WeightS2[modeId][i][j] (i=0..63, j=0..6)
次に、重み行列導出部は、sizeIdとmodeIdを参照して、(MIP-7)で用いるシフト値sWと
オフセット係数fOを導出する。ShiftS0[18]、ShiftS1[10]、ShiftS2[6]はシフト値を格納する配列、OffsetS0[18]、OffsetS1[10]、OffsetS2[6]はオフセット係数を格納する配列
である。
sW = ShiftS0[modeId]
fO = OffsetS0[modeId]
}
else if (sizeId==1) {
sW = ShiftS1[modeId]
fO = OffsetS1[modeId]
}
else { // sizeId=2
sW = ShiftS2[modeId]
fO = OffsetS2[modeId]
}
MIP部31045の行列予測画像導出部は、p[]に対して (MIP-7)の積和演算をすることによ
り、mipW*mipHのサイズのpredMip[][]を導出する。ここではpredMip[][]の対応する位置
毎に重み行列mWeight[][]の要素を参照して、中間予測画像を導出する。なお、本実施例
においては、sizeId=2のときに重み行列のサイズpredCが、predMipのサイズmipWまたはmipHよりも大きい場合がある。このため、変数incWおよびincHを用いて、重み行列を間引いて参照する。
incW = (predC>mipW) ? 2 : 1
incH = (predC>mipH) ? 2 : 1
for (x=0; x<mipW; x++) (MIP-7)
for (y=0; y<mipH; y++) {
predMip[x][y] = (((ΣmWeight[i][y*incH*predC+x*incW]*p[i])+ oW)>>sW) + pTemp[0]
predMip[x][y] = Clip1Y(predMip[x][y])
}
Σはi=0からi=inSize-1までの総和である。
置を入れ替えて格納しており、積和演算の出力predMip[][]を(3)に出力する前に転置
する。
for (x=0; x<predW; x++)
for (y=0; y<predH; y++)
tmpPred[x][y] = predMip[y][x]
for (x=0; x<predW; x++)
for (y=0; y<predH; y++)
predMip[x][y] = tmpPred[x][y]
}
(3)予測画素導出(線形補間)
nTbW=predW、かつ、nTbH=predHの場合、MIP部31045の行列予測画像補間部はpredMip[][]をpredsamples[][]にコピーする。
for (y=0; y<nTbH; y++)
predSamples[x][y] = predMip[x][y]
それ以外(nTbW>predW、あるいは、nTbH>predH)の場合、行列予測画像補間部は、図11のSTEP3 予測画素導出(線形補間)の3-1において、nTbW*nTbHのサイズの予測画像predSamples[][]にpredMip[][]を格納する。predW、predHとnTbW、nTbHが異なる場合、3-2におい
て、予測画素値を補間する。
upVer = nTbH/predH
for (x=0; x<predW; x++)
for (y=0; y<predH; y++)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1] = predMip[x][y]
(3-2) (3-1)で格納しなかった画素を、nTbH>nTbWの場合、水平方向、垂直方向の順に隣接ブロックの画素値を用いて補間し、予測画像を生成する。
for (n=1; n<=predH; n++)
for (dX=1; dX<upHor; dX++) {
xHor = m*upHor-1
yHor = n*upVer-1
sum = (upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]
predSamples[xHor+dX][yHor] = (sum+upHor/2)/upHor
}
水平方向の補間後、predSamples[xVer][yVer]とpredSamples[xVer][yVer+upVer] (図
の垂直補間後画像の網掛け画素)を用いて"○"で示す位置の画素値を導出する。
for (n=0; n<predH; n++)
for (dY=1; dY<upVer; dY++) {
xVer = m
yVer = n*upVer-1
sum = (upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]
predSamples[xVer][yVer+dY] = (sum+upVer/2)/upVer
}
nTbH<=nTbWの場合、垂直方向、水平方向の順に隣接ブロックの画素値を用いて補間し、予測画像を生成する。垂直および水平補間処理はnTbH>nTbWの場合と同様である。
本実施例では、MIP実施例1に比べ、符号化効率を低下させることなく処理を簡略化す
る例を説明する。以下では、変更点を中心に説明するため、記載されていない部分はMIP
実施例1と同様の処理である。
て、同じサイズの正方の中間予測画像predMipを導出するMIP部31045の構成を示す。
の定義を変更する。以降は、predW、predH、predCをpredSizeと記載する。
(1)境界参照画素導出
MIP部は、対象ブロックのサイズに関する変数sizeIdを下式で導出する(図20)。
例えば、対象ブロックのサイズが4xN、Nx4(N>4)、8x8の場合、sizeIdは1である。同じ分
類であれば、式(MIP-21)は別の表現を用いても構わない。例えば、次のように表せる。
<= 4) ? 1 : 2 (MIP-21)
別の例としては、
sizeId = (nTbW<=4 && nTbH<=4) ? 0 : ((nTbW==8 && nTbH==8) || nTbW <= 4 || nTbH
<= 4) ? 1 : 2 (MIP-21)
でもよい。また、入力ブロックの最小サイズが4x4である場合は、nTbW<=4 およびnTbH<=4
をそれぞれnTbW==4 および nTbH==4と読み替えてもよい。
小さくなる場合が生じない。本実施形態のMIP部31045は、nTbWとbTbH以下のサイズの行列(predC=predSize)、つまり以下の式を満たす行列を選択する。
本実施形態ではsizeId=0, 1の場合の行列のサイズが4x4、sizeId=2の場合の行列のサイズが8x8であるから、MIP部31045は、「nTbWとbTbHの一方が4の場合には、sizeId=0もしくはsizeId=1の行列」を選択する。このような選択制限は後述の図21、図22でも同じである。
合に4x4のサイズの行列を導出する。また、重み行列導出部は、対象ブロックサイズが4x16と16x4の場合に4x4のサイズの行列を導出する。また、重み行列導出部は、サイズが4x4
のsizeId=0, 1で示される行列と、サイズが8x8のsizeId=2で示される行列の何れかを導出し、対象ブロックの一辺が4の場合にsizeId=1もしくは2の行列を導出する。
の参照領域redT[]、redL[]のサイズboundarySize、重み行列mWeightおよび中間予測画像predMip[][]の幅と高さpredSizeを導出する。
boundarySize = (sizeId==0) ? 2 : 4
predSize = (sizeId<=1) ? 4 : 8
sizeIdとこれらの変数の値との関係を図19に示す。
なp[]、pTemp[]の導出もMIP実施例1と同様である。
(2)予測画素導出(行列演算)
MIP部31045は、図11のSTEP2 予測画素導出(行列演算)で、p[]に対する行列演算によっ
て、predSize*predSizeのサイズのpredMip[][]を導出する。
におけるincWおよびincHは常に1であり、計算は省略されている。
for (x=0; x<predSize; x++) (MIP-23)
for (y=0; y<predSize; y++) {
predMip[x][y] = (((ΣmWeight[i][y*predSize+x]*p[i])+oW)>>sW) + pTemp[0]
predMip[x][y] = Clip1Y(predMip[x][y])
}
Σはi=0からi=inSize-1までの総和である。
for (x=0; x<predSize; x++)
for (y=0; y<predSize; y++)
tmpPred[x][y] = predMip[y][x]
for (x=0; x<predSize; x++)
for (y=0; y<predSize; y++)
predMip[x][y] = tmpPred[x][y]
}
(3)予測画素導出(線形補間)
nTbW=predSize、かつ、nTbH=predSizeの場合、MIP部31045の行列予測画像補間部はpredMip[][]をpredsamples[][]にコピーする。
for (y=0; y<nTbH; y++)
predSamples[x][y] = predMip[x][y]
それ以外(nTbW>predSize、あるいは、nTbH>predSize)の場合、行列予測画像補間部は、図11のSTEP3 予測画素導出(線形補間)において、predSize*predSizeのpredMip[][]をnTbW*nTbHのサイズの予測画像predSamples[][]に拡大する。3-1では対応位置の画素をコピ
ーし、3-2において、対応しない位置の画素を補間により導出する。
つまり、図12の補間前画像において、predMip[][]を3-1のpredSamples[][]の網掛け画素
位置に格納する。
upVer = nTbH/predSize
for (x=0; x<predSize; x++)
for (y=0; y<predSize; y++)
predSamples[(x+1)*upHor-1][(y+1)*upVer-1] = predMip[x][y]
(3-2) (3-1)で格納しなかった画素を、nTbH>nTbWの場合、水平方向、垂直方向に隣接ブロックの画素値を用いて補間し、予測画像を生成する。以下では水平方向、垂直方向の順に補間するが、垂直方向、水平方向の順に補間してもよい。
for (n=1; n<=predSize; n++)
for (dX=1; dX<upHor; dX++) {
xHor = m*upHor-1
yHor = n*upVer-1
sum = (upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]
predSamples[xHor+dX][yHor] = (sum+upHor/2)/upHor
}
水平方向の補間後、predSamples[xVer][yVer]とpredSamples[xVer][yVer+upVer] (図
の垂直補間後画像の網掛け画素)を用いて"○"で示す位置の画素値を導出する。
for (n=0; n<predSize; n++)
for (dY=1; dY<upVer; dY++) {
xVer = m
yVer = n*upVer-1
sum = (upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]
predSamples[xVer][yVer+dY] = (sum+upVer/2)/upVer
}
nTbH<=nTbWの場合、垂直方向、水平方向の順に隣接ブロックの画素値を用いて補間し、予測画像を生成する。垂直および水平補間処理はnTbH>nTbWの場合と同様である。
することにより、sizeIdで選択される行列サイズpredC(=predSize)と、predW, predHが等しくなるため、predMip導出における行列要素の参照が容易になる。
(MIP実施例3)
本実施例では、MIP実施例1に比べ、符号化効率を低下させることなく処理を簡略化す
る別の例を説明する。以下では、変更点を中心に説明するため、記載されていない部分はMIP実施例2と同様の処理である。
の定義を変更する。以降は、predW、predH、predCをpredSizeと記載する。
(1)境界参照画素導出
MIP部は、対象ブロックのサイズに関する変数sizeIdを下式で導出する(図21の上)。
あるいは、別の条件でsizeIdを決定してもよい(図21の下)。
(2)予測画素導出(行列演算)
MIP実施例2と同様である。
(3)予測画素導出(線形補間)
MIP実施例2と同様である。
(MIP実施例4)
本実施例では、MIP実施例1に比べ、重み行列の格納に要するメモリを削減する別の例
を説明する。以下では、変更点を中心に説明するため、記載されていない部分はMIP実施
例2と同様の処理である。
の定義を変更する。以降は、predW、predH、predCをpredSizeと記載する。
(1)境界参照画素導出
MIP部は、対象ブロックのサイズに関する変数sizeIdを下式で導出する。
sizeIdの値としては、上記例では0,1としたが、図22上のように
sizeId = (nTbW<=4 || nTbH<=4) ? 0 : 2 (MIP-34)
あるいは、図22下のように、
sizeId = (nTbW<=4 || nTbH<=4) ? 1 : 2 (MIP-34)
とすれば、sizeIdを0,2や1,2の組み合わせに表わすことができる。なお、条件式 (nTbW<=4 || nTbH<=4) の代わりに (nTbW<=8 || nTbH<=8) としてもよい。
for (i=0;i<boundarySize;i++) {
pTemp[i] = redL[i]
pTemp[i+boundarySize] = redT[i]
}
else
for (i=0;i<boundarySize;i++) {
pTemp[i] = redT[i]
pTemp[i+boundarySize] = redL[i]
}(2)予測画素導出(行列演算)
MIP実施例2と同様にしてもよいが、sizeId=2を用いないため、sizeIdとmodeIdを参照
して行列のセットから重み行列mWeight[predSize*predSize][inSize]を選択する処理は、sizeId=2の場合を省略して、下式で表せる。
mWeight[i][j] = WeightS0[modeId][i][j] (i=0..15, j=0..3)
else // sizeId==1
mWeight[i][j] = WeightS1[modeId][i][j] (i=0..15, j=0..7)
同様に、sizeIdとmodeIdを参照して、シフト値sWとオフセット係数fOを導出する処理は
、下式で表せる。
sW = ShiftS0[modeId]
fO = OffsetS0[modeId]
}
else { // sizeId==1)
sW = ShiftS1[modeId]
fO = OffsetS1[modeId]
}
(3)予測画素導出(線形補間)
MIP実施例2と同様である。
以上のように、MIP実施例3では、MIP実施例2よりもsizeIdの種類を減らすことにより、MIP実施例2に比べ、重み行列の格納に要するメモリを削減することができる。
効果を奏する。
予測画像補正部3105は、イントラ予測モードに応じて、予測部3104から出力された仮予測画像を修正する。具体的には、予測画像補正部3105は、仮予測画像の各画素に対し、参照領域Rと対象予測画素の位置に応じて、ポジションに依存した重み係数を導出する。そして、参照サンプルs[][]と仮予測画像を重み付け加算(加重平均)することで、仮予測
画像を修正した予測画像(補正済予測画像)Pred[][]を導出する。なお、一部のイントラ予測モードでは、予測画像補正部3105で仮予測画像を補正せず、予測部3104の出力をそのまま予測画像としてもよい。
予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図13は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作であり、説明を省略する。
量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。
と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
符号化部1112(予測モード符号化部)、およびインター予測パラメータ符号化部112とイ
ントラ予測パラメータ符号化部113を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。
イントラ予測パラメータ符号化部113は、符号化パラメータ決定部110から入力されたIntraPredModeから、符号化するための形式(例えばintra_luma_mpm_idx、intra_luma_mpm_remmainder等)を導出する。イントラ予測パラメータ符号化部113は、イントラ予測パラ
メータ復号部304がイントラ予測パラメータを導出する構成と、一部同一の構成を含む。
度イントラ予測パラメータ導出部1132、色差イントラ予測パラメータ導出部1133とを含んで構成される。
よびIntraPredModeCが入力される。パラメータ符号化制御部1131はMPM候補リスト導出部30421のmpmCandList[]を参照して、intra_luma_mpm_flagを決定する。そして、intra_luma_mpm_flagとIntraPredModeYを、輝度イントラ予測パラメータ導出部1132に出力する。ま
た、IntraPredModeCを色差イントラ予測パラメータ導出部1133に出力する。
イントラ予測モードを参照して、mpmCandList[]を導出する。MPMパラメータ導出部11322
は、intra_luma_mpm_flagが1の場合に、IntraPredModeYとmpmCandList[]からintra_luma_mpm_idxを導出し、エントロピー符号化部104に出力する。非MPMパラメータ導出部11323
は、intra_luma_mpm_flagが0の場合に、IntraPredModeYとmpmCandList[]からRemIntraPr
edModeを導出し、intra_luma_mpm_remainderをエントロピー符号化部104に出力する。
部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
くてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
トを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
誤差を示すRDコスト値を算出する。符号化パラメータ決定部110は、算出したコスト値が
最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化
パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。
部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量
子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装
置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
示されている。図に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。
するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていて
もよい。図においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
し、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(
不図示)を介在させるとよい。
図が示されている。図に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。
るディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部
に出力するための出力端子PROD_B6を更に備えていてもよい。図においては、これら全て
を受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
もよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から
取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
ック図が示されている。図に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11
は、この符号化部PROD_C1として利用される。
録商標)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたド
ライブ装置(不図示)に装填されるものであってもよい。
を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3
または受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_C
の一例である。
ブロック図が示されている。図に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動
画像復号装置31は、この復号部PROD_D2として利用される。
うに、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなど
のように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図においては、これら全てを
再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称
され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型またはタブレット型PC(この場合、ディスプレイPROD_D3または送
信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイP
ROD_D3または送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU
(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random
Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
Disc:登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)
/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:登録商標)
/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
301 エントロピー復号部
302 パラメータ復号部
3020 ヘッダ復号部
303 インター予測パラメータ復号部
304 イントラ予測パラメータ復号部
308 予測画像生成部
309 インター予測画像生成部
310 イントラ予測画像生成部
311 逆量子化・逆変換部
312 加算部
11 画像符号化装置
101 予測画像生成部
102 減算部
103 変換・量子化部
104 エントロピー符号化部
105 逆量子化・逆変換部
107 ループフィルタ
110 符号化パラメータ決定部
111 パラメータ符号化部
112 インター予測パラメータ符号化部
113 イントラ予測パラメータ符号化部
1110 ヘッダ符号化部
1111 CT情報符号化部
1112 CU符号化部(予測モード符号化部)
1114 TU符号化部
Claims (5)
- 符号化データを復号する動画像復号装置において、
対象ブロックの上側に隣接する隣接画像をダウンサンプリングすることによって第1の参照画素を導出し、該対象ブロックの左側に隣接する隣接画素をダウンサンプリングすることによって第2の参照画素を導出する行列参照画素導出部と、
イントラ予測モードとサイズ変数とを用いて、重み行列を導出する重み行列導出部と、
上記第1の参照画素、上記第2の参照画素及び上記重み行列の積和演算を用いて、所定サイズの中間予測画像を導出する行列予測画像導出部と、
上記中間予測画像を用いて予測画像を導出する行列予測画像補間部と、を備え、
上記サイズ変数は、変換ブロックの幅と変換ブロックの高さの値に応じて設定され、
上記所定サイズは、上記サイズ変数を用いて導出され、
(i)上記変換ブロックの幅と上記変換ブロックの高さの値が4である場合、上記サイズ変数は、0に設定され、上記所定サイズは、4に設定され、
(ii)それ以外の場合であって、上記変換ブロックの幅の値が4、または、上記変換ブロックの高さの値が4、または、上記変換ブロックの幅と上記変換ブロックの高さの値が8である場合、上記サイズ変数は、1に設定され、上記所定サイズは、4に設定され、
(iii)それ以外の場合、上記サイズ変数は、2に設定され、上記所定サイズは、8に設定されることを特徴とする動画像復号装置。 - 上記中間予測画像は、正方行列であることを特徴とする請求項1に記載の動画像復号装置。
- 画像データを符号化する動画像符号化装置において、
対象ブロックの上側に隣接する隣接画像をダウンサンプリングすることによって第1の参照画素を導出し、該対象ブロックの左側に隣接する隣接画素をダウンサンプリングすることによって第2の参照画素を導出する行列参照画素導出部と、
イントラ予測モードとサイズ変数とを用いて、重み行列を導出する重み行列導出部と、
上記第1の参照画素、上記第2の参照画素及び上記重み行列の積和演算を用いて、所定サイズの中間予測画像を導出する行列予測画像導出部と、
上記中間予測画像を用いて予測画像を導出する行列予測画像補間部と、を備え、
上記サイズ変数は、変換ブロックの幅と変換ブロックの高さの値に応じて設定され、
上記所定サイズは、上記サイズ変数を用いて導出され、
(i)上記変換ブロックの幅と上記変換ブロックの高さの値が4である場合、上記サイズ変数は、0に設定され、上記所定サイズは、4に設定され、
(ii)それ以外の場合であって、上記変換ブロックの幅の値が4、または、上記変換ブロックの高さの値が4、または、上記変換ブロックの幅と上記変換ブロックの高さの値が8である場合、上記サイズ変数は、1に設定され、上記所定サイズは、4に設定され、
(iii)それ以外の場合、上記サイズ変数は、2に設定され、上記所定サイズは、8に設定されることを特徴とする動画像符号化装置。 - 符号化データを復号する動画像復号方法において、
対象ブロックの上側に隣接する隣接画像をダウンサンプリングすることによって第1の参照画素を導出し、該対象ブロックの左側に隣接する隣接画素をダウンサンプリングすることによって第2の参照画素を導出するステップと、
イントラ予測モードとサイズ変数とを用いて、重み行列を導出するステップと、
上記第1の参照画素、上記第2の参照画素及び上記重み行列の積和演算を用いて、所定サイズの中間予測画像を導出するステップと、
上記中間予測画像を用いて予測画像を導出するステップと、を少なくとも含み、
上記サイズ変数は、変換ブロックの幅と変換ブロックの高さの値に応じて設定され、
上記所定サイズは、上記サイズ変数を用いて導出され、
(i)上記変換ブロックの幅と上記変換ブロックの高さの値が4である場合、上記サイズ変数は、0に設定され、上記所定サイズは、4に設定され、
(ii)それ以外の場合であって、上記変換ブロックの幅の値が4、または、上記変換ブロックの高さの値が4、または、上記変換ブロックの幅と上記変換ブロックの高さの値が8である場合、上記サイズ変数は、1に設定され、上記所定サイズは、4に設定され、
(iii)それ以外の場合、上記サイズ変数は、2に設定され、上記所定サイズは、8に設定されることを特徴とする動画像復号方法。 - 画像データを符号化する動画像符号化方法において、
対象ブロックの上側に隣接する隣接画像をダウンサンプリングすることによって第1の参照画素を導出し、該対象ブロックの左側に隣接する隣接画素をダウンサンプリングすることによって第2の参照画素を導出するステップと、
イントラ予測モードとサイズ変数とを用いて、重み行列を導出するステップと、
上記第1の参照画素、上記第2の参照画素及び上記重み行列の積和演算を用いて、所定サイズの中間予測画像を導出するステップと、
上記中間予測画像を用いて予測画像を導出するステップと、を少なくとも含み、
上記サイズ変数は、変換ブロックの幅と変換ブロックの高さの値に応じて設定され、
上記所定サイズは、上記サイズ変数を用いて導出され、
(i)上記変換ブロックの幅と上記変換ブロックの高さの値が4である場合、上記サイズ変数は、0に設定され、上記所定サイズは、4に設定され、
(ii)それ以外の場合であって、上記変換ブロックの幅の値が4、または、上記変換ブロックの高さの値が4、または、上記変換ブロックの幅と上記変換ブロックの高さの値が8である場合、上記サイズ変数は、1に設定され、上記所定サイズは、4に設定され、
(iii)それ以外の場合、上記サイズ変数は、2に設定され、上記所定サイズは、8に設定されることを特徴とする動画像符号化方法。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169444A JP7425568B2 (ja) | 2019-09-18 | 2019-09-18 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
US17/017,743 US11184622B2 (en) | 2019-09-18 | 2020-09-11 | Video decoding apparatus and video coding apparatus |
EP20196708.0A EP3796656A1 (en) | 2019-09-18 | 2020-09-17 | Video decoding apparatus and video coding apparatus |
CN202010979485.9A CN112532976A (zh) | 2019-09-18 | 2020-09-17 | 运动图像解码装置以及运动图像编码装置 |
TW109132187A TW202114417A (zh) | 2019-09-18 | 2020-09-17 | 動態圖像解碼裝置及動態圖像編碼裝置 |
US17/486,592 US11589056B2 (en) | 2019-09-18 | 2021-09-27 | Video decoding apparatus and video coding apparatus |
US18/095,011 US11818363B2 (en) | 2019-09-18 | 2023-01-10 | Video decoding apparatus and video coding apparatus |
US18/368,172 US20240007650A1 (en) | 2019-09-18 | 2023-09-14 | Video decoding apparatus and video coding apparatus |
JP2024004230A JP2024026772A (ja) | 2019-09-18 | 2024-01-16 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019169444A JP7425568B2 (ja) | 2019-09-18 | 2019-09-18 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024004230A Division JP2024026772A (ja) | 2019-09-18 | 2024-01-16 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021048485A JP2021048485A (ja) | 2021-03-25 |
JP2021048485A5 JP2021048485A5 (ja) | 2022-08-09 |
JP7425568B2 true JP7425568B2 (ja) | 2024-01-31 |
Family
ID=74878770
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019169444A Active JP7425568B2 (ja) | 2019-09-18 | 2019-09-18 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
JP2024004230A Pending JP2024026772A (ja) | 2019-09-18 | 2024-01-16 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024004230A Pending JP2024026772A (ja) | 2019-09-18 | 2024-01-16 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7425568B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022546170A (ja) | 2019-08-30 | 2022-11-04 | アリババ グループ ホウルディング リミテッド | 映像信号の行列加重イントラ予測 |
-
2019
- 2019-09-18 JP JP2019169444A patent/JP7425568B2/ja active Active
-
2024
- 2024-01-16 JP JP2024004230A patent/JP2024026772A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022546170A (ja) | 2019-08-30 | 2022-11-04 | アリババ グループ ホウルディング リミテッド | 映像信号の行列加重イントラ予測 |
Non-Patent Citations (4)
Title |
---|
Benjamin Bross et al.,Versatile Video Coding (Draft 6) [online],JVET-O2001-vE(JVET-P0068_GEO_CE4-1.2_Reduced_to_108_WD(on_top_of_JVET-O2001-vE).docx),インターネット <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0068-v1.zip>,2019年09月17日,pp.1-3,160-179 |
Chang-Hao Yau1 et al.,Non-CE3: MIP simplification [online],JVET-O0345-v2(JVET-O0345-v2_Clean.docx),インターネット <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0345-v4.zip>,2019年07月03日 |
Yanzhuo Ma et al.,Non-CE3: MIP Simplification [online],JVET-O0324(JVET-O0324-v2.docx),インターネット <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0324-v2.zip>,2019年07月03日 |
Yukinobu Yasugi et al.,Non-CE3: MIP simplification [online],JVET-P0289,インターネット <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0289-v1.zip>,2019年09月24日 |
Also Published As
Publication number | Publication date |
---|---|
JP2024026772A (ja) | 2024-02-28 |
JP2021048485A (ja) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7402016B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP7139144B2 (ja) | 画像フィルタ装置 | |
JP2021002780A (ja) | 動画像復号装置および動画像符号化装置 | |
US11818363B2 (en) | Video decoding apparatus and video coding apparatus | |
JP2020120141A (ja) | 動画像符号化装置及び動画像復号装置、フィルタ装置 | |
JP2020150516A (ja) | 画像復号装置及び画像符号化装置 | |
WO2020241858A1 (ja) | 画像復号装置 | |
JPWO2020045248A1 (ja) | 動画像復号装置および動画像符号化装置 | |
JPWO2020241858A5 (ja) | ||
WO2020184366A1 (ja) | 画像復号装置 | |
WO2020067440A1 (ja) | 動画像符号化装置および動画像復号装置 | |
JP2020141285A (ja) | 画像復号装置 | |
WO2021246284A1 (ja) | 動画像復号装置及び動画像符号化装置 | |
JP7425568B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP7444570B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP2021034887A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020068462A (ja) | 画像ビット階調拡張フィルタ装置及び画像符号化装置、画像復号装置 | |
JP2021034848A (ja) | 画像復号装置 | |
JP7397586B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP2023085638A (ja) | 動画像復号装置および動画像符号化装置 | |
JP2023046435A (ja) | 動画像復号装置および動画像符号化装置 | |
JP2020195042A (ja) | 動画像復号装置 | |
JP2021197557A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020155869A (ja) | 画像スケーリング変換、逆変換装置及び方法 | |
JP2021061470A (ja) | 画像復号装置及び画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220801 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7425568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |