WO2007094100A1

WO2007094100A1 - 動画像符号化／復号化方法及び装置並びにプログラム

Info

Publication number: WO2007094100A1
Application number: PCT/JP2006/320875
Authority: WO
Inventors: Akiyuki Tanizawa; Takeshi Chujoh
Original assignee: Kabushiki Kaisha Toshiba
Priority date: 2006-02-13
Filing date: 2006-10-19
Publication date: 2007-08-23
Also published as: BRPI0621340A2; EP1986440A1; KR101035754B1; AU2006338425B2; JPWO2007094100A1; CN101401435A; RU2008136882A; AU2006338425A1; EP1986440A4; KR20080085909A; RU2414093C2; US20070189626A1; CA2642491A1

Abstract

　各周波数位置に対応した変換係数の量子化マトリクスを用いて変換係数の量子化を行う動画像符号化方法において、量子化マトリクスを生成するために使用される生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成ステップと、生成された前記量子化マトリクスを用いて、前記変換係数を量子化する量子化ステップと、量子化変換係数を符号化し、符号化信号を生成する符号化ステップとでなる。

Description

明細書

動画像符号化 Z復号化方法及び装置並びにプログラム

技術分野

[oooi] 本発明は、量子化マトリクスを用いる動画像符号化 Z復号化方法及び装置並びにプログラムに関する。背景技術

[0002] 画像信号を直交変換 (例えば離散コサイン変換 (DCT) )した後に得られる DCT係数の周波数特性を利用して、周波数位置毎にビットアロケーションを行うことで量子化を行う方式が提案されている (非特許文献 1)。この従来方式では、低域周波数領域では多くのビットを与えて係数情報を保持し、高域周波数領域では逆にビット精度を下げることによって DCT係数が効率的に量子化されている。しかし、この従来方式は、量子化の粗さに応じてアロケーションテーブルを保持する必要があり、ロバストな量子化と!/、う意味で必ずしも効果的な方式ではな、。

[0003] また、 ITU—T及び ISOZIEC等で勧告されている ITU—TT. 81及び ISOZIEC 10918— 1 (以下 JPEG :Joint Photographic Experts Group)では、変換係数を同じ量子化スケールで量子化する場合、全周波数領域に対して、均等に量子化が行われる。しかし、人間の視覚特性では、高周波数領域部分に比較的鈍感である。そこで、 JPEGでは周波数領域毎に重み付けを行って、量子化スケールを変更することで視覚的に敏感な低周波数領域に多くのレートを割り当て、高周波数領域は逆にレートを削減することで主観画質をあげる方式が提案されている。この方式は、変換量子化ブロック毎に量子化処理を行っている。この量子化に用いられるテーブルは量子化マトリクスと呼ばれて、る。

[0004] 更に近年、従来よりも大幅に符号化効率を向上させた動画像符号化方法が、 ITU — Tと ISO/IECとの共同で、 ITU— T Rec. H. 264及び ISOZIEC 14496— 1 0 (以下、「H. 264」という）として勧告されている。 ISOZIEC MPEG— 1, 2, 4、 IT U-T H. 261、 H. 263といった従来の符号化方式でも、直交変換後の DCT係数に対して量子化を行い、変換係数の符号量削減を行っている。 H. 264メインプロフアイルでは、量子化パラメータと量子化スケールの関係が、ログスケール上で等間隔になるように設計がされているため、量子化マトリクスは導入されていない。しかし、より高解像度の画像に対して主観画質を向上させるために H. 264ハイプロファイルでは、新たに量子化マトリクスを導入することとなった (非特許文献 2 : Jiuhuai Lu, "Prop osal of quantization weighting for H.2b4/MPEG-4 AVC Profeesionai Profiles , JVT of ISO/IEC MPEG& ITU-T VCEG, JVT— K029, March. 2004)。

[0005] H. 264ハイプロファイルでは、 2つの変換量子化ブロックサイズ（4x4画素ブロックと 8x8画素ブロック）に対応して、符号ィ匕モード毎（フレーム内予測とフレーム間予測）及び信号毎 (輝度信号、色差信号)に合計 8種類の異なる量子化マトリクスを設けることが可能である。

[0006] 量子化マトリクスは、量子化時に各周波数成分位置に応じて画素に重みを加えるために使用されるので、逆量子化時にも同じ量子化マトリクスが必要となる。 H. 264 ハイプロファイルのエンコーダでは、利用した量子化マトリクスを符号化、多重化した後にデコーダに送信している。具体的には、量子化マトリクスの DC成分力もジグザグスキャン或いはフィールドスキャン順で差分値を計算し、得られた差分データを可変長符号化して、符号ィ匕データとして多重化している。

[0007] 一方、 H. 264ハイプロファイルのデコーダは、送られてきた符号化データをェンコーダと同様のロジックで復号し、量子化マトリクスとして復元して逆量子化時に利用する。量子化マトリクスの符号量は、最終的には可変長符号ィ匕される力シンタクス上最小で 8ビット、最大で 1500ビット以上必要となる。

[0008] H. 264ハイプロファイルの量子化マトリクス送信方法は、特に携帯ゃモパイル機器向けの低ビットレートで利用されるアプリケーションにおいて、量子化マトリクスを符号化するためのオーバーヘッドが増加し、符号化効率を大幅に低下させる場合がある

[0009] 量子化マトリクスを少ないオーバーヘッドで更新するため、ベースとなる量子化マトリクスをまず送信し、その量子化マトリクス力ゝらの変化の傾斜を示す係数 kをデコーダに送信することで、量子化マトリクスの値を調整する方法が提案されている（特許文献 3 :特開 2003— 189308)。 [0010] 特開 2003— 189308「動画像符号ィ匕装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法」では、少な!ヽ符号量でピクチャタイプ毎に量子化マトリタスを更新することを目的としており、高々 8ビット程度でベースとなる量子化マトリタスの更新が可能である。しかし、ベースの量子化マトリクスからの変化の傾斜のみを送る方式のため、量子化マトリクスの振幅は変更できるが、その特性を変更することは不可能である。また、ベースとなる量子化マトリクスを送信する必要があり、符号化の状況によっては大きな符号量増加と成りえる場合がある。

発明の開示

[0011] H. 264ハイプロファイルに規定されている方法で、量子化マトリクスを符号ィ匕してデコーダに送信する場合、量子化マトリクスを符号ィ匕するための符号量が増大する、ピクチャ毎に量子化マトリクスを再度送信すると、更に量子化マトリクスを符号ィ匕するための符号量が増大する。また、量子化マトリクスの変化の傾斜度を送信する場合、量子化マトリクスの変更の自由度が大幅に制限される。これらの結果、量子化マトリクスを適応的に利用することが困難である、という問題があった。

[0012] 本発明の一局面は、各周波数位置に対応した変換係数の量子化マトリクスを用いて変換係数の量子化を行う動画像符号ィ匕方法にぉ、て、量子化マトリクスを生成するために使用される生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成ステップと、生成された前記量子化マトリクスを用いて、前記変換係数を量子化する量子化ステップと、量子化変換係数を符号ィヒし、符号化信号を生成する符号化ステップとを有する特徴とする動画像符号化方法を提供する。図面の簡単な説明

[0013] [図 1]図 1は本発明の第 1の実施形態に従う動画像符号ィ匕装置の構成を示すブロック図である。

[図 2]図 2は第 1の実施形態に従う量子化マトリクス生成部の構成を示すブロック図である。

[図 3]図 3は第 1の実施形態に従う画像符号ィ匕装置のフローチャートである。

[図 4A]図 4Aは第 1の実施形態に係わる予測順序 *ブロック形状の概略を示す図である。 [図 4B]図 4Bは 16x16画素のブロック形状を示す図である。

[図 4C]図 4Cは 4x4画素ブロック形状を示す図である。

[図 4D]図 4Dは 8x8画素ブロック形状を示す図である。

[図 5A]図 5Aは第 1の実施形態に係わる 4x4画素ブロックに対応する量子化マトリクスを示す図である。

[図 5B]図 5Bは 8x8画素ブロックに対応する量子化マトリクスを示す図である。

圆 6A]図 6Aは第 1の実施形態に係わる量子化マトリクス生成方法を示す図である。

[図 6B]図 6Bは他の量子化マトリクス生成方法を示す図である。

[図 6C]図 6Cは他の量子化マトリクス生成方法を示す図である。

圆 7]図 7は第 1の実施形態に従うシンタクス構造の概略図を示す図である。

[図 8]図 8は第 1の実施形態に従うシーケンスパラメータセットシンタクスのデータ構造を示す図である。

[図 9]図 9は第 1の実施形態に従うピクチャパラメータセットシンタクスのデータ構造を示す図である。

[図 10]図 10は第 1の実施形態に従うピクチャパラメータセットシンタクスのデータ構造を示す図である。

[図 11]図 11は第 1の実施形態に従うサプリメンタルシンタクスのデータ構造を示す図である。

[図 12]図 12は本発明の第 2の実施形態に従うマルチパス符号ィ匕のフローチャートである。

[図 13]図 13はスライスヘッダーシンタクス内のシンタクス構造を示すずである。

[図 14]図 14はスライスヘッダーシンタクスを示す図である。

[図 15]図 15はスライスヘッダーシンタクスを示す図である。

[図 16]図 16は CurrSliceTypeの一例を示す図である。

[図 17]図 17はスライスヘッダーシンタクスを示す図である。

圆 18]図 18は本発明の第 3の実施形態に従う動画像復号ィ匕装置の構成を示すプロック図である。

圆 19]図 19は本発明の第 3の実施形態に従う動画像復号ィ匕装置のフローチャートである。

発明を実施するための最良の形態

[0014] 以下に添付図面を参照して、本発明の実施形態を詳細に説明する。

[0015] (第 1の実施の形態:符号化）

図 1に示す第 1の実施形態によると、動画像信号は小画素ブロック毎に分割され、入力画像信号 116として動画像符号化装置 100に入力される。動画像符号化装置 1 00では、予測部 101が行う予測モードとして、ブロックサイズや予測信号の生成方法の異なる複数の予測モードが用意されている。本実施の形態では、図 4Aに示されて V、るように左上力も右下に向力つて符号ィ匕処理がなされるものとする。

[0016] 動画像符号ィ匕装置 100に入力される入力画像信号 116は、図 4Bに示すように 1ブロック当たり 16x16画素の複数のブロックに分割されている。入力画像信号 116の一部が予測部 101へと入力され、後述するモード判定部 102、変換部 103、量子化部 104を介して、最終的に符号化処理部 111によって符号化される。この符号化画像信号は、出力バッファ 120に蓄積された後に、符号ィ匕制御部 110が管理する出カタイミングで符号化データ 115として出力される。

[0017] 図 4Bに示される 16x16画素ブロックはマクロブロックと呼ばれ、以下の符号化処理の基本的な処理ブロックサイズとなっている。動画像符号化装置 100は、このマクロブロック単位に入力画像信号 116を読み込み、符号化処理を行う。マクロブロックが 3 2x32画素ブロック単位であっても 8x8画素ブロック単位であっても良い。

[0018] 予測部 101は、参照画像メモリ 107に一時保存されている、符号化済みの参照画像を用いて、当該マクロブロックで選択可能な全てのモードで予測画像信号 118を生成する。予測部 101は、対象画素ブロックで取り得る符号化モードの全ての予測画像信号を生成する。ただし、 H. 264のフレーム内予測 (4x4画素予測（図 4C参照 )又は 8x8画素予測（図 4D参照））のようにマクロブロック内で局所復号画像を作成しないと、次の予測が行えないような場合には、予測部 101が直交変換及び量子化、逆量子化及び逆変換を行っても良い。

[0019] 予測部 101で生成されている予測画像信号 118は、入力画像信号 116とともにモード判定部 102へと入力される。モード判定部 102は、予測画像信号 118を逆変換部 106へ入力するとともに、入力画像信号 116から予測画像信号 118を差し引いた予測誤差信号 119を生成し、変換部 103へと入力する。同時にモード判定部 102は、予測部 101で予測されているモード情報と生成されている予測誤差信号 116を基にモード判定を行う。より具体的に説明すると本実施の形態では次式（1)のようなコスト Kを用いてモード判定を行う。

[0020] K=SAD+ λ X OH (1)

但し、 OHはモード情報、 SADは予測誤差信号の絶対和、 λは定数である。定数 λは、量子化幅や量子化パラメータの値に基づいて決められる。このようにして、得られたコスト Κを基にモードが決定される。コスト Κが最も小さ、値を与えるモードが最適モードとして選択される。

[0021] 本実施の形態では、モード情報と予測誤差信号の絶対和を用いたが、別の実施の形態として、モード情報のみ、予測誤差信号の絶対和のみを用いてモードを判定しても良いし、これらに対してアダマール変換等を行い、近似した値を利用しても良い。また、入力画像信号のアクティビティを用いてコストを作成しても良いし、量子化幅、量子化パラメータを利用してコスト関数を作成しても良、。

[0022] コストを算出するための別の実施の形態として、仮符号ィ匕部を用意し、この仮符号化部の符号ィ匕モードに基づき生成されている予測誤差信号を実際に符号ィ匕したときに得られる符号化データの符号量と、符号化データを局部復号して得られる局部復号画像信号 113と入力画像信号 116との二乗誤差を用いてモードを判定しても良ヽ。この場合のモード判定式は次式（2)により表される。

[0023] J = D+ λ XR (2)

但し、 Jはコスト、 Dは入力画像信号 116と局部復号画像信号 113の二乗誤差を表す符号化歪み、 Rは仮符号化によって見積もられた符号量を表す。このコスト Jを用いた場合は、符号ィ匕モード毎に仮符号化と局部復号 (逆量子化処理や逆変換処理)が必要になるため、回路規模は増大するが、正確な符号量と符号化歪みを用いることが可能となり、符号化効率を高く維持することが可能である。符号量のみ、符号化歪みのみを用いてコストを算出しても良、し、これらを近似した値を用いてコスト関数を作成しても良い。 [0024] モード判定部 102は変換部 103及び逆変換部 106に接続されており、モード判定部 102で選択されているモード情報と予測誤差信号 118は、変換部 103へと入力される。変換部 103は、入力されている予測誤差信号 118を変換し、変換係数データを生成する。ここでは、予測誤差信号 118は例えば離散コサイン変換などを用いて直交変換される。変形例として、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を作成しても良、。

[0025] 変換部 103から得られる変換係数は、量子化部 104へと送られる。量子化部 104 は、変換係数を量子化する。量子化に必要とされる量子化パラメータは、符号化制御部 110に設定されている。量子化部 104は、量子化マトリクス生成部 109から入力される量子化マトリクス 114を用いて、変換係数を量子化し、量子化変換係数 112を生成する。

[0026] 量子化変換係数 112は、モード情報、量子化パラメータなどの予測方法に関する情報とともに符号ィ匕処理部 111へと入力される。符号化処理部 111は、入力されているモード情報等とともに、量子化変換係数 112をエントロピー符号化 (例えばハフマン符号化や算術符号化など)する。符号化処理部 111によるエントロピー符号化によつて得られる符号ィ匕データ 115は、動画像符号ィ匕部 100から出力バッファ 120に出力され、多重化等が行われる。多重化情報は出力バッファ 120を通して送信される。

[0027] 量子化の際に用いられる量子化マトリクス 114を生成する場合、符号ィ匕制御部 110 によって量子化マトリクスの使用の有無を示す指示情報が生成パラメータ設定部 108 へ与えられる。生成パラメータ設定部 108は、この指示情報に従って量子化マトリクス生成パラメータ 117を設定し、量子化マトリクス生成部 109及び符号ィ匕処理部 111へと出力する。

[0028] 量子化マトリクス生成パラメータ 117は、符号ィ匕制御部 110で制御される外部パラメータ設定部（図示せず）によって設定でき、また符号ィ匕画像のブロック単位、スライス単位、ピクチャ単位で更新できる。生成パラメータ設定部 108は、量子化マトリクス生成パラメータ 117の設定タイミングを制御する機能も有する。

[0029] 量子化マトリクス生成部 109は、量子化マトリクス生成パラメータ 117に定められた方法で量子化マトリクス 114を生成し、量子化部 104及び逆量子化部 105へと出力する。同時に符号化処理部 111に入力されて、る量子化マトリクス生成パラメータ 11 7は、量子化部 104から入力されてきたモード情報や変換係数 112とともに、ェントロピー符号化される。

[0030] 逆量子化部 105は、量子化部 104によって量子化されている変換係数 112を、符号ィ匕制御部 110にて設定されている量子化パラメータ、及び量子化マトリクス生成部 109から入力される量子化マトリクス 114に従って逆量子化する。逆量子化されて！/、る変換係数は、逆変換部 106へと送られる。逆変換部 106は逆量子化変換係数に対して逆変換 (例えば逆離散コサイン変換など)を行い、予測誤差信号を復元する。

[0031] 逆変換部 106によって復元されている予測誤差信号 116は、モード判定部 102から供給される判定モードの予測画像信号 118と加算される。予測画像信号 118が加算されている信号は局部復号信号 113となり、参照画像メモリ 107へと入力される。参照画像メモリ 107は局部復号信号 113を復元画像として蓄積する。このように参照画像メモリ 107に蓄積されて、る画像が、予測部 101による予測画像信号等の生成の際に参照される参照画像になる。

[0032] 符号化ループ（図 1における予測部 101→モード判定部 102→変換部 103→量子化部 104→逆量子化部 105→逆変換部 106→参照画像メモリ 107といった順序で流れる処理）は、そのマクロブロックで選択可能な全てのモードに対して処理を行つた場合に 1回のループになる。対象マクロブロックに対して符号化ループが終了すると、次のブロックの入力画像信号 116が入力され、符号化が行われる。量子化マトリクス生成部 108は、マクロブロック毎に生成する必要は無い。生成パラメータ設定部 10 8で設定されている量子化マトリクス生成パラメータ 117が更新されない限り、生成済みの量子化マトリクスを保持する。

[0033] 符号化制御部 110は発生符号量のフィードバック制御及び量子化特性制御、モード判定制御などを行う。また、符号ィ匕制御部 110は発生符号量の制御を行うレート制御、予測部 101の制御、外部入力パラメータの制御を行う。同時に出力バッファ 120 の制御を行、、適切なタイミングで符号ィ匕データを外部に出力する機能を有する。

[0034] 図 2に示される量子化マトリクス生成部 109は、入力される量子化マトリクス生成パラメータ 117に基づいて量子化マトリクス 114を生成する。量子化マトリクスとは図 5に示されるような行列のことであり、量子化や逆量子化の際に周波数位置毎に、対応する重み付けがなされて量子化される。図 5Aは 4x4画素ブロックに対応する量子化マトリタスの 1例を示し、図 5Bは 8x8画素ブロックに対応する量子化マトリクスの 1例を示す。量子化マトリクス生成部 109は、生成パラメータ解釈部 201と切替器 202、少なくとも 1つ以上のマトリクス生成部 203を有する。生成パラメータ解釈部 201は、入力されている量子化マトリクス生成パラメータ 117を解読し、それぞれのマトリクス生成方法に応じて切替器 202の切替情報を出力する。この切替情報は量子化マトリクス生成制御部 210で設定され、切替器 202の出力端を切替える。

[0035] 切替器 202は、生成パラメータ解釈部 201から与えられ、量子化マトリクス生成制御部 210によって設定されている切替情報に従って切り替えられる。例えば、量子化マトリタス生成パラメータ 117のマトリクス生成タイプが第 1タイプである場合には、切替器 202は、生成パラメータ解釈部 201の出力端を第 1マトリクス生成部 203へと接続する。一方、量子化マトリクス生成パラメータ 117のマトリクス生成タイプが第 Nタイプである場合には、切替器 202は、生成パラメータ解釈部 201の出力端を第 Nマトリクス生成部 203へと接続する。

[0036] 量子化マトリクス生成パラメータ 117のマトリクス生成タイプが第 Mタイプ (Nく M)であり、量子化マトリクス生成部 109内に、第 Mマトリクス生成部 203が存在しない場合には、切替器 202は、生成パラメータ解釈部 201の出力端を予め規定されている方法で、対応するマトリクス生成部へと接続する。例えば、量子化マトリクス生成部 109 に存在しな、タイプの量子化マトリクス生成パラメータが入力されて、る場合は、切替器 202は常に第 1マトリクス生成部へ出力端を接続する。似たマトリクス生成タイプが分かって!/ヽる場合には、入力されてヽる第 Mタイプのマトリクス生成タイプに最も近ヽ、第 Lマトリクス生成部に接続しても良い。いずれにせよ、量子化マトリクス生成部 109 は予め決められた接続方法で、入力されている量子化マトリクス生成パラメータ 117 に応じて、生成パラメータ解釈部 201の出力端を第 1乃至第 Nマトリクス生成部 203 の 1つへ接続する。

[0037] 各マトリクス生成部 203では、対応する量子化マトリクス生成パラメータの情報に従つて、量子化マトリクス 114を生成する。具体的には、量子化マトリクス生成パラメータ情報 117は、マトリクス生成タイプ (T)、量子化マトリクスの変化度 (A)、歪み度 (B)、補正項 (C)の情報で構成されている。これらのパラメータは、異なる名称が与えられているが、実際にはどのような使われ方をしても良い。これらを次式（3)のようなパラメータセットとして定義する。

[0038] QMP= (T, A, B, C) (3)

QMPは量子化マトリクス生成パラメータを表している。マトリクス生成タイプ (T)は、どのタイプに対応するマトリクス生成部 203を用いるかを示している。一方、変化度（ A)、歪み度 (B)、補正項 (C)の使用方法はマトリクス生成タイプ毎に自由に定義できる。図 6Aを参照して第 1マトリクス生成タイプを説明する。

[0039] マトリクス生成タイプが 1の場合のマトリクス生成関数の例を次式 (4) (5) (6)のように表す。

[数 1]

r - x + y (4)

( 5)

(6 )

[0040] さらに第 1マトリクスタイプの場合に用いられる変化度 (A)、歪み度 (B)、補正項 (C) のテーブル変換例を次式（7) (8) (9)に示す。

[0041] a = 0. 1 XA (7)

B = 0 (8)

c = 16 + C (9)

ここで、変化度 (A)は量子化マトリクスの周波数位置における DC成分力もの距離としたときの変化の傾きを表している。例えば、変化度 (A)が正の値であれば、周波数位置 rが大きくなるほど、マトリクスの値が大きくなり、高域に大きな値が設定できる。逆に変化度 (A)が負の値であれば、 rが大きくなるほどマトリクスの値は小さくなり、低域において量子化ステップが粗く設定できる。第 1マトリクス生成タイプでは、歪み度 ( B)は利用せず、常に 0の値が設定されている。一方、補正項 (C)は変化の傾き (A) で表される直線の切片を表している。第 1マトリクス生成関数は乗算と加算、減算、シフト演算のみで処理が可能なため、ハードウェアコストが小さくできる利点がある。

[0042] 式（7) (8) (9)を用いて QMP= (1, 40, 0, 0)の場合に生成される量子化マトリクスを次式（10)に示す。

[数 2]

16 20 24 28

20 24 28 32

） =

24 28 32 36

28 32 36 40 ( 1 0)

[0043] 変化度 (Α)、歪み度 (Β)、補正項 (C)のそれぞれの変数の精度はハードウア規模に影響を与えるため、決められた範囲内で効率の良いテーブルを所持することが重要である。式（7)では、変化度 (Α)を 6ビットの非負整数とすると 0から 6. 4までの傾きを取ることが可能である力負の値を取ることが出来ない。よって、次式（11)のように 7ビットを利用して変換テーブルを用いることで一 6. 3から 6. 4ビットまでの範囲を取ることが可能である。

[0044] a =0. I X (A-63) (11)

マトリクス生成タイプ (T)に対応した変化度 (A)、歪み度 (B)、補正項 (C)の変換テ一ブルが設けられ、マトリクス生成タイプ (T)毎に変化度 (A)、歪み度 (B)、補正項（ C)の精度を持つことで、符号化状況及び利用する環境に応じて適切な量子化マトリタス生成パラメータを設定することが可能になる。式 (4) (5) (6)で表される第 1マトリクス生成タイプは、歪み度 (B)が常に 0になるため、これに対応するパラメータを送信する必要は無ぐマトリクス生成タイプによっては、利用するパラメータの数を減少しても良い。この場合、利用しないパラメータは符号ィ匕されない。

[0045] 次に、第 2マトリクス生成タイプとして二次関数を用いた量子化マトリクス生成関数を示す。このマトリクス生成タイプの概念図を図 6Cに示す。

[数 3] Q_4x4(x,y) = ^*r² +-*r+c

(12)

K ， )

[0046] 前記関数 a, b, cにそれぞれ関連する (A) (B) (C)は二次関数の変化の度合い、歪み、補正値をそれぞれ表している。この関数では特に距離が大きくなるにつれ、大幅に値が大きくなる傾向がある。例えば、式 (4) (8) (10)を用いて QMP= (2, 10, 1 , 0)のときの量子化マトリックスを計算すると、次式（14)の量子化マトリクスが生成できる。

[数 4]

K ' )

[0047] 更に第 3マトリクス生成タイプのマトリクス生成関数の例を次式（15) (16)により表す

[数 5]

π

Q_4XA ,y) = *r + b(sm(—r)) + c

(15)

Q_S,_S (x,^) = *r + - (sin(^-r)) + c

(16)

[0048] 第 1マトリクスタイプに図 6Bで示される歪み項が加えられて、る。歪み度 (B)は正弦関数の振幅の大きさを表しており、 bが正の値を取ると直線が下側に歪む効果が現れる。一方、 bが負の値のときは、直線は上側に歪む効果が現れる。 4x4画素ブロック或いは 8x8画素ブロックによって、対応する位相を変更する必要がある。位相を変更することで様々な歪みを生成することができる。式 (4) (15)を用いて QMP= (3, 32 , 7, 6)のときの量子化マトリクスを計算すると、次式（17)の量子化マトリクスが生成できる。 [数 6]

10 14 19 23

14 19 23 27

19 23 27 31

23 27 31 35

[0049] 本実施の形態では正弦関数を用いた力余弦関数や他の関数が用いられても良く、位相や周期等が変更されても良い。歪み度 (B)は例えば、シグモイド関数やガウス関数、対数関数や N次関数など様々なものを利用可能である。また、正弦関数で表される歪み振幅 (B)を含む変化度 (A)、補正項 (C)の変数が整数値で与えられる場合、正弦関数等の処理負荷の高い計算処理を避けるために、変換テーブルを予め所持していても良い。

[0050] マトリクス生成タイプで用いられる関数は、実数演算となり、毎回符号化時に正弦関数演算を行うと演算処理が増加する。また、正弦関数演算を行うためのハードウェアを用意する必要が生じる。そこで、利用するパラメータの精度に応じた変換テーブルを所持しておいても良い。

[0051] 浮動小数演算は整数演算に比べて処理コストが増大するため、量子化マトリクス生成パラメータはそれぞれ整数値で定義され、マトリクス生成タイプに応じた個別の変換テーブルで対応する値を取り出す。

[0052] 実数精度の演算が可能な場合、次式（18)を用いて距離を計算しても良い。

[数 7] r⁼ ^^{2 +} (i s)

[0053] 距離に応じて重み付けを行うことで量子化マトリクスの縦方向、横方向の値を変更することも可能である。例えば、垂直方向を重視する場合には、次式（19)のような距離関数を用いる。

[数 8] r二 +ァ I _{( 1} 9) [0054] 上式を用いて QMP= (2, 1, 2, 8)を用いて量子化マトリクスを生成すると、次式（20 )で表される量子化マトリクスが得られる。

[数 9]

8 10 14 20

9 12 17 24

10 14 20 28

12 17 24 33 ( 2 0 )

[0055] 第 1乃至第 Nマトリクス生成部 203で生成される量子化マトリクス 204が、選択的に量子化マトリクス生成部 109から出力される。量子化マトリクス生成制御部 210は、切替器 202を制御しており、生成パラメータ解釈部 201で、解釈されているマトリクス生成タイプ別に切替器 202の出力端を切り替える。また、量子化マトリクス生成パラメ一タに対応した量子化マトリクスが正しく生成されているかのチェック等を行う。

[0056] 以上により本実施の形態にかかる動画像符号化装置 100及び量子化マトリクス生成部 109の構成を説明した。以下に、本発明の実施の形態に力かる動画像符号ィ匕方法を、動画像符号ィ匕装置 100及び量子化マトリクス生成部 109によって実施する例を図 3のフローチャートを参照して説明する。

[0057] 先ず、外部メモリ（図示せず)から 1フレーム分の画像信号が読み出され、動画像符号ィ匕装置 100に入力画像信号 116として入力される (ステップ S001)。このとき、入力画像信号 116は 16x16画素のマクロブロック単位に分割されて入力される。また、このとき、量子化マトリックス生成パラメータの設定が行われる（S002)。即ち、符号ィ匕制御部 110は、現フレームで量子化マトリクスを利用するかどうかの情報を生成パラメータ設定部 108へ送る。この情報を受けて生成パラメータ設定部 108は量子化マトリタス生成パラメータを、量子化マトリクス生成部 109へ送る。量子化マトリクス生成部 1 09は、入力されている量子化マトリクス生成パラメータの方式に従って、量子化マトリタスを生成する。

[0058] 入力画像信号 116が入力されると、ブロック単位で符号ィ匕が開始される (ステップ S 003)。このとき、入力画像信号 116の 1ブロックが予測部 101へと入力されと、モード判定部 102は、符号化モードを示すインデックスやコストを初期化する (ステップ SOO 4)。その後、入力画像信号 116を用いて、予測部 102にて、ブロックで選択可能な 1 つのモードにおける予測画像信号 118が生成される (ステップ S005)。この予測画像信号 118と入力画像信号 116との差分が計算され、その結果予測誤差信号 119が生成される。この予測誤差信号 119の絶対値和 SADと予測モードの符号量 OHとからコスト costが計算される (ステップ S006)。もしくは、局部復号を行い局部復号信号 113を生成し、局部復号信号 113と入力画像信号 116との差分値から計算される符号量 Dと、一時的な符号ィ匕を行って算出される符号量 Rからコスト costを計算する。

[0059] モード判定部 102は、計算されているコスト costが、最小コスト min— costより小さいか否かを判別し (ステップ S007)、小さい場合 (YES)にはそのコストで最小コストを更新するとともに、その際の符号ィ匕モードを best— modeインデックスとして保持する (ステップ S008)。同時に予測画像の保存を行う（ステップ S009)。計算されているコスト costが、最小コスト min— costより大きい場合（NO)、モード番号を示す index をインクリメントし、インクリメント後の indexがモードの最後かどうかを判定する (ステツプ SO 10)。

[0060] indexがモードの最後の番号である MAXより大き!/、場合 (YES)、 best— modeの符号化モード情報及び予測誤差信号 119が変換部 103及び量子化部 104へと渡され、変換及び量子化が行われる (ステップ S011)。量子化されている変換係数 112 が符号化処理部 111へと入力され、予測情報とともに符号化処理部 111でエントロピ一符号化される（ステップ SO 12)。一方、 indexがモードの最後の番号である MAXより小さい場合 (NO)、次の indexで示される符号ィ匕モードの予測画像信号 118が生成される（ステップ S005)。

[0061] best— modeでの符号化が行われると、量子化されている変換係数 112が逆量子化部 105及び逆変換部 106へと入力され、逆量子化及び逆変換が行われる (ステツプ S013)。これにより、予測誤差信号が復号される。この復号予測誤差信号がモード判定部 102から提供される best— modeの予測画像信号と加算され、局部復号信号 113が生成される。この局部復号信号 113が、参照画像として参照画像メモリ 107へ保存される（ステップ SO 14)。

[0062] 1フレームの符号化が終了しているかどうかの判定が行なわれる（ステップ S015)。処理が完了している場合 (YES)、次のフレームの入力画像信号が読み込まれ、ステップ S002に戻り、符号化処理が行われる。一方、 1フレームの符号化処理が完了していない場合 (NO)、ステップ 003に戻り、次の画素ブロックが入力され、符号化処理が継続される。

[0063] 以上が本発明の実施の形態における、動画像符号化装置 100及び動画像符号化方法の概要である。

[0064] 本発明の前記実施の形態においては、量子化マトリクス生成部 108は、 1つのフレームを符号ィ匕するために、 1つの量子化マトリクスを生成して利用する例を示した。しかし、 1つのフレーム内で、複数の量子化マトリクス生成パラメータを入力し、複数の量子化マトリクスを生成することも可能である。この場合、第 1乃至第 Nマトリクス生成部 203によって異なるマトリクス生成タイプで生成されている量子化マトリクスを、 1つのフレーム内で切り替えることが可能になるため、より柔軟な量子化を行うことが可能となる。具体的には、第 1マトリクス生成部では、一様な重みを持つ量子化マトリクスを生成し、第 2マトリクス生成部では、高域に大きな値を持つ量子化マトリクスを生成する。この 2つのマトリクスを符号ィ匕対象ブロック毎に変更することで、より細かい範囲で量子化の制御が可能になる。量子化マトリクスを生成するために、送信する符号量は高々数ビット程度であるため、符号ィ匕効率を高く維持することが可能である。

[0065] 本発明の実施の形態においては、輝度成分に関する量子化マトリクスの生成に関して 4x4画素ブロックサイズと 8x8画素ブロックサイズの量子化マトリクス生成手法に関して説明しているが、色差成分に関しても同様の枠組みで量子化マトリクスの生成が可能である。このとき、色差成分の量子化マトリクス生成パラメータをシンタクスに多重化するためのオーバーヘッドの増加を避けるために、輝度成分と同じ量子化マトリタスを利用しても良いし、各周波数位置に対応するオフセットをつけた量子化マトリクスを作成して利用しても良、。

[0066] 本発明の本実施の形態においては、第 Nマトリクス生成部 203で、三角関数 (正弦関数)を用いた量子化マトリクス生成法について説明したが、利用する関数はシグモイド関数や、ガウス関数でも良ぐ関数タイプによってより複雑な量子化マトリクスを作成することが可能になる。更に、量子化マトリクス生成制御部 210から与えられる量子化マトリクス生成パラメータ QMPのうち、対応するマトリクス生成タイプ (T)が動画像符号ィ匕装置で利用できない時、そのマトリクス生成タイプ (T)に良く似たマトリクス生成タイプ、で代用して量子化マトリクスを生成することも可能である。具体的には、第 2 マトリクス生成タイプは第 1マトリクス生成タイプに正弦関数を用いた歪み度が加えられている関数であり、生成される量子化マトリクスの傾向も似ている。そこで、 T= 3が入力されているときに、符号ィ匕装置内で第 3マトリクス生成部が利用できない場合には、第 1マトリクス生成部を利用する。

[0067] 本発明の実施の形態においては、マトリクス生成タイプ (Τ)、量子化マトリクスの変化度 (Α)、歪み度 (Β)、補正項 (C)の 4つのパラメータを用いて、たが、これ以外のノラメータを利用しても良ぐマトリクス生成タイプ (Τ)によって決められた数のパラメータを利用できる。また、同時にマトリクス生成タイプ (Τ)によって予め決められたパラメータの変換テーブルを持って、てもよ、。送信する量子化マトリクス生成パラメータの数が少なぐ精度が低いほど、このパラメータを符号ィ匕するための符号量が少なくなるが、同時に量子化マトリクスの自由度が減少するため、適用するプロファイルやハードウェア規模等のバランスを考慮して、量子化マトリクス生成パラメータの数及び精度を選択すればよい。

[0068] 本発明の実施の形態においては、処理対象フレームを 16x16画素サイズなどの矩形ブロックに分割し、画面左上のブロック力も右下に向力つて、順に符号化する場合について説明している力処理順は他の順序であっても良い。例えば、右下から左上に処理を行っても良いし、画面中央から渦巻状に処理を行っても良い。右上から左下に行っても良いし、画面の周辺部から中心部に向力つて処理を行っても良い。

[0069] 本発明の実施の形態においては、変換量子化ブロックサイズを 16x16画素単位のマクロブロックとして分割し、さらにフレーム内予測の処理単位として、 8x8画素ブロックゃ 4x4画素ブロックの場合について説明している力処理対象ブロックは均一なブロック形状にする必要は無ぐ 16x8画素、 8x16画素、 8x4画素、 4x8画素、などのブロックサイズに関しても適用可能である。例えば、 8x4画素ブロックや 2x2画素ブロックに対しても、同様の枠組みで実現が可能である。更に、 1つのマクロブロック中で、均一なブロックサイズを取る必要はなぐそれぞれ異なるブロックの大きさを選択しても良い。例えば、マクロブロック内で 8x8画素ブロックと 4x4画素ブロックを混在させても良い。この場合、分割ブロック数が増えると、分割ブロックを符号ィ匕するための符号量が増加するが、より精度の高い予測が可能であり、予測誤差を削減することが可能である。よって、変換係数の符号量と局所復号画像とのバランスを考慮して、ブロックサイズを選択すればょヽ。

[0070] 本発明の実施の形態においては、変換部 103及び量子化部 104、逆量子化部 10 5及び逆変換部 106が設けられている。しかし、必ずしも全ての予測誤差信号に対して変換量子化及び逆量子化逆変換を行う必要は無ぐ予測誤差信号をそのまま符号化処理部 109で符号化してもよいし、量子化及び逆量子化処理を省略しても良い。同様に、変換処理と逆変換処理を行わなくても良い。

[0071] (第 2の実施の形態：符号化）

図 12のフローチャートを参照して本発明の第 2の実施の形態に係るマルチパス符号化を説明する。本実施の形態では、図 3の第 1の実施の形態と同様の機能を有する符号化フロー、即ちステップ S002乃至 S015に関しては、説明を省略する。ピクチャ毎に最適な量子化マトリクスを設定する場合、量子化マトリクスの最適化が必要になる。このためにはマルチパス符号ィ匕が有効である。このマルチパス符号ィ匕によると、量子化マトリクス生成パラメータの効率的な選択が行える。

[0072] 本実施の形態では、マルチノス符号ィ匕のために、図 12に示されるように第 1の実施の形態のステップ S002の前にステップ S101乃至 S108が追加される。即ち、先ず、動画像符号ィ匕装置 100に 1フレーム分の入力画像信号 116が入力され (ステップ S1 01)、 16x16画素のマクロブロック単位に分割されて符号ィ匕される。このとき、符号ィ匕制御部 110は、現フレームで利用する量子化マトリクス生成パラメータのインデックスを 0に初期化し、最小コストを現す min— costQを初期化する（ステップ S102)。このとき、量子化マトリクス生成制御部 210は、量子化マトリクス生成パラメータセットの中力も PQM—idxで示される量子化マトリクス生成パラメータのインデックスを選択し、量子化マトリクス生成部 109へ送る。量子化マトリクス生成部 109は、入力されている量子化マトリクス生成パラメータの方式に従って、量子化マトリクスを生成する (ステツプ S103)。このとき生成されて!、る量子化マトリクスを用いて 1フレーム分の符号化が行われる（ステップ SI 04)。ここでマクロブロック毎にコストが累積カ卩算され、 1フレームの符号ィ匕コストが算出される (ステップ S 105)。

[0073] 計算されて!、るコスト costが、最小コスト min— costQより小さ!/、か否かを判別し (ステツプ S 106)、算出コストが最小コストより小さい場合 (YES)には、その算出コストで最小コストが更新される。その際の量子化マトリクス生成パラメータのインデックスを B est— PQM—idxインデックスとして保持する（ステップ S107)。計算されているコスト costが、最小コスト min— costQより大きい場合（NO)、 PQM— indexをインクリメントし、インクリメント後の PQM_idxが最後かどうかを判定する（ステップ S 108)。かかる判定が NOの場合、量子化マトリクス生成パラメータのインデックスが更新され、更なる符号化が続けられる。一方、判定が YESの場合は、 Best— PQM—idxが再度量子化マトリクス生成部 109へと入力され、本符号化フロー（ステップ S002乃至 S01 5)が実行される。マルチパス処理時に Best— PQM—idxで符号ィ匕したときの符号化データを保持している場合、本符号ィ匕フローを行なう必要は無ぐ符号化データの更新によって当該フレームの符号ィ匕を終了することが可能である。

[0074] 第 2の実施の形態において、マルチパスで符号ィ匕する場合、必ずしも 1フレーム全体の符号ィ匕を行う必要は無ぐブロック単位の変換係数分布から利用する量子化マトリクス生成パラメータを決定することが可能である。例えば、低レート時に生成されている変換係数がほとんど 0の場合は、量子化マトリクスを利用せずとも出力される符号化データの性質が変わらないため、処理を大幅に削減することが可能である。

[0075] 量子化マトリクス生成パラメータの符号化方法について説明する。図 7は前記実施の形態で用いられるシンタクスの構造の概略を示す。シンタクスは主に 3つのパートが詰め込まれている。スライスレベルシンタクス (402)では、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス（403)では、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。これらシンタクスは、さらに詳細なシンタクスで構成されている。即ち、ハイレベルシンタクス（4 01)は、シーケンスパラメータセットシンタクス（404)とピクチャパラメータセットシンタタス（405)などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス (402)は、スライスヘッダーシンタクス (406)、スライスデータシンタクス（407)などから成る。さらに、マクロブロックレベルシンタクス（403)は、マクロブロックヘッダーシンタクス (408)、マクロブロックデータシンタクス (409)などから構成されている。

[0076] 上述したシンタクスは復号ィヒ時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると復号ィ匕時に正しくデータを復元できなくなる。一方、復号化時に必ずしも必要とされない情報を多重化するための補助的なシンタクスとしてサブリメンタルシンタクスが存在する。このシンタクスでは、画像の統計データやカメラパラメータなどが記述されており、復号ィ匕時にフィルタをかけたり、調整を行えるような役割として用意されている。

[0077] 本実施の形態で、必要になるシンタクス情報はシーケンスパラメータセットシンタクス（404)、ピクチャパラメータセットシンタクス（405)であり、それぞれのシンタクスを以下で説明する。

[0078] 図 8のシーケンスパラメータセットシンタクス内に示される ex— seq— scaling— mat rix— flagは、量子化マトリクスを利用するかどうかを示すフラグであり、このフラグが T RUEであるときは、量子化マトリクスをシーケンス単位で切り替えることが可能である。一方、フラグが FALSEであるときは、シーケンス内では量子化マトリクスを用いることが出来ない。 ex— seq— scaling— matrix— flagが TRUEのときは、更に ex— ma trix _ type、 ex _ matrix _ A、 ex _ matrix _ B、 ex _ matrix _じが送られる。これらはそれぞれ、マトリクス生成タイプ (T)、量子化マトリクスの変化度 (A)、歪み度 (B) 、補正項 (C)に対応している。

[0079] 図 9のピクチャーパラメータセットシンタクス内に示される ex— pic— scaling— matri x— flagは、ピクチャ毎に量子化マトリクスを変更するかどうかを示すフラグであり、このフラグが TRUEであるときは、ピクチャ単位で量子化マトリクスを切り替えることが可能である。一方、フラグが FALSEであるときは、ピクチャ毎に量子化マトリクスを変更することが出来な！/ヽ。 ex— pic— scaling— matrix— flagが TRUEのときは更に ex— matrix一 type、 ex一 matrix一 A、 ex一 matrix一 B、 ex一 matrix一し; れる。これらはそれぞれ、マトリクス生成タイプ (T)、量子化マトリクスの変化度 (A)、歪み度 (B)、補正項 (C)に対応して、る。

[0080] ピクチャーパラメータセットシンタクスの別の例として、図 10に複数の量子化マトリクス生成パラメータを送る場合の例を示す。ピクチャーパラメータセットシンタクス内に示される ex— pic— scaling— matrix— flagは、ピクチャ毎に量子化マトリクスを変更するかどうかを示すフラグであり、当該フラグが TRUEであるときは、ピクチャ単位で量子化マトリクスを切り替えることが可能である。一方、フラグが FALSEであるときは、ピクチャ毎に量子化マトリクスを変更することが出来ない。 ex— pic— scaling— mat rix— flagが TRUEのときは更に ex— num— of— matrix— typeが送られる。この値は、量子化マトリクス生成パラメータのセット数を表しており、この組み合わせによって複数の量子化マトリクスを送ることが可能になる。続、て送られる ex— matrix— type 、 ex一 matrix一 A、 ex一 matrix一 B、 ex一 matrix一し【ま、 ex一 num一 of一 matrix —typeの値だけ送出され、結果としてピクチャ内で複数の量子化マトリクスを設けることが出来るようになる。更に量子化マトリクスをブロック単位で変更したい場合には、対応する量子化マトリクスの数だけ、ブロック毎にビットを送信し、切り替えればよい。 ί列えば、 ex— num— of— matrix— typeが 2の場合、マクロブロックヘッダーシンタクスで 1ビットのシンタクスを付カ卩し、この値が TRUEである力 FALSEであるかに応じて、量子化マトリクスを切り替える。

[0081] 本実施の形態において、前述のように複数の量子化マトリクス生成パラメータを 1つのフレーム内で保持する場合、それらは補助的なシンタクスに多重化できる。図 11にサプリメンタルシンタクスを用いて複数の量子化マトリクス生成パラメータを送る場合の例を示す。サプリメンタルシンタクス内に示される ex— sei— scaling— matrix— f la gは、複数の量子化マトリクスを切り替えるかどうかを示すフラグであり、このフラグが T RUEであるときは、複数の量子化マトリクスを切り替えることが可能である。一方、フラグが FALSEであるときは、量子化マトリクスを切り替えることが出来ない。 ex— sei— s caling _ matrix _ flag力 TRUEのときは更に ex _ num _ of _ matrix _ type力られる。この値は、量子化マトリクス生成パラメータのセット数を表しており、この組み合わせによって複数の量子化マトリクスを送ることが可能になる。続、て送られる ex— matrix type、 ex matrix A、 ex matrix β、 ex matrix し i¾、 ex nu m— of— matrix— typeの値だけ送出され、結果としてピクチャ内で複数の量子化マトリタスを設けることが出来るようになる。

[0082] 本発明の本実施の形態において、図 7に示されるスライスレベルシンタクス中のスライスヘッダーシンタクスによって、量子化マトリクスの再送信を行うことが可能である。このような場合の例を、図 13を用いて説明する。図 13はスライスヘッダーシンタクス内のシンタクス構造を示している。図 13のスライスヘッダーシンタクス内に示される sli ce_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、当該フラグが TRUEであるときは、量子化マトリクスを当該スライスで変更する出来る。一方、フラグが FALSEであるときは、当該スライス内では量子化マトリクスを変更することが出来な、。 slice_ex_scaling_matrix_flagが TRUEのときは更に slice_ex_matrix_typeが送信される。このシンタクスはマトリクス生成タイプ (T)に对 J心'しヽる。ヽ H slice— ex— matrix— A、 slice— ex— matrix— B、 slice_ex_matrix_C Ώ^τέ'ϊ m δ· れる。これらはそれぞれ、量子化マトリクスの変化度 (Α)、歪み度 (Β)、補正項 (C)に対応している。図 13中の NumOlMatrixは、当該スライスで利用可能な量子化マトリクスの数を表している。この値は、スライスレベル内の更に小さい領域で量子化マトリクスを変更する場合、輝度成分と色成分で量子化マトリクスを変更する場合、量子化ブロックサイズで量子化マトリクスを変更する場合、符号化モード毎に量子化マトリクスを変更する場合などに、夫々対応する量子化マトリクスのモデル化パラメータを送信することが可能である。例として当該スライスで、 4x4画素ブロックサイズと 8x8画素ブロックサイズの 2種類の量子化ブロックが存在し、それぞれに対して異なる量子化マトリクスが利用できる場合、 NumOlMatrix値は 2がセットされる。

[0083] 本発明の本実施の形態において、図 14のようなスライスヘッダーシンタクスを用いて、スライスレベルで量子化マトリクスを変更することも可能である。図 14では、図 13 と比べて送信するモデルィ匕パラメータが 3つとなっている。例えば数式（5)を用いた量子化マトリクスの生成を行う場合、歪み度 (B)は常に 0に設定されているために送信する必要が無い。そのため、内部パラメータとして初期値を 0に保持することで符号ィ匕器と復号化器でまったく同じ量子化マトリクスを生成することが可能となる。

[0084] 本発明の本実施の形態において、図 15で表されるスライスヘッダーシンタクスを用いて、パラメータを送信することも可能である。図 15は図 13に加えて、 PrevSliceExMa trixType、 PrevSliceExMatrix— A、 PrevSliceExMatnx— B (更に PrevSliceExMatrix— C) 追加されて、る。より具体的に説明すると slice_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、このフラグが TRU Eのときは、図 13、図 14に示されるようにモデルィ匕パラメータをデコーダに送信する。一方、当該フラグが FALSEの場合、 PrevSliceExMatrixType、 PrevSliceExMatrix_A、 PrevSliceExMatrix_B、（更に PrevSliceExMatrix_C)が設定される。これらの意味は次のように解釈される。

[0085] PrevSliceExMatrixTypeは、符号化順で当該スライスの 1つ前の同じスライスタイプで符号ィ匕された時に使用された生成タイプ (T)を示している。本変数は、スライスの符号ィ匕が終了する直前に更新される。初期値は 0に設定されている。

[0086] PrevSliceExMatrix_Aは符号化順で当該スライスの 1つ前の同じスライスタイプで符号化された時に使用された変化度 (A)を示している。本変数は、スライスの符号ィ匕が終了する直前に更新される。初期値は 0に設定されて、る。

[0087] PrevSliceExMatrix_Bは符号化順で当該スライスの 1つ前の同じスライスタイプで符号ィ匕された時に使用された歪み度 (B)を示している。本変数は、スライスの符号ィ匕が終了する直前に更新される。初期値は 0に設定さて、る。

[0088] PrevSliceExMatrix_Cは符号化順で当該スライスの 1つ前の同じスライスタイプで符号化された時に使用された補正項 (C)を示している。本変数は、スライスの符号ィ匕が終了する直前に更新される。初期値は 16に設定されている。

[0089] CurrSliceTypeは当該符号化スライスのスライスタイプを示しており、例えば I-Slice、 P-Slice、 B- Slice毎に対応するインデックスが割り当てられている。図 16に CurrSliceT ypeの一例を示す。それぞれのスライスタイプ毎に値が割り与えられている。例えば画面内予測のみを用いるト Sliceでは 0が割り与えられている。また、時間順で前に符号化した符号ィ匕フレーム力の単方向予測と画面内予測を用いることが出来る P-Slice には 1が割り与えられている。一方、双方向予測、単方向予測、画面内予測を用いることが出来る B-Sliceでは 2が割り与えられている。

[0090] このように、直前の同じスライスタイプで符号ィ匕された量子化マトリクスのモデルィ匕パラメータを呼び出して再設定することで、モデル化パラメータの送信に必要となる符号量を削減することが可能となる。

[0091] 本発明の本実施の形態において、図 17を用いることも可能である。図 17は、図 15 中の NumO!Matrixが削除された構造となってヽる。符号化スライスで利用可能な量子化マトリクスが 1つのみの場合、図 15より簡単ィ匕された本シンタクスを用いる。本シンタクスは図 15で NumOlMatrixが 1の場合とほぼ同じ動作を示す。

[0092] 復号化器で複数の量子化マトリクスを同一ピクチャ内で保持できる場合、サブリメンタルシンタクス力量子化マトリクス生成パラメータを読み出し、対応する量子化マトリタスを生成する。一方、複数の量子化マトリクスを同一ピクチャ内で保持できない場合、サプリメンタルシンタクスを復号ィ匕せず、ピクチャーパラメータセットシンタクスに記述されている量子化マトリクス生成パラメータによって生成されている量子化マトリクスを用いる。

[0093] 以上説明したように前記実施の形態では、対応するマトリクス生成タイプに応じて、量子化マトリクスを生成し、この量子化マトリクスの生成パラメータを符号ィ匕することで

、量子化マトリクスを送るための符号量を削減でき、且つ、ピクチャ内でも適応的な量子化マトリクス選択が可能になり、主観画質を考慮した量子化や、符号化効率を考慮した符号ィ匕などの様々な用途に対応可能な符号ィ匕をなすことが出来る。つまり画素ブロックの内容等に応じて好適な符号ィ匕をなすことができる。

[0094] 上述したように選択されて、るモードでの符号化の際、復号画像信号の生成は、選択されているモードについてのみ行えばよぐ予測モード判定のためのループ内では、必ずしも実行しなくてもよい。

[0095] 次に、前記動画像符号化装置に対応する動画像復号化装置について説明する。

(第 3の実施の形態:復号化）

図 18に示される本実施形態に係る動画像復号ィ匕装置 300によると、入力バッファ 3 09は図 1の動画像符号ィ匕装置 100から送出され、伝送系または蓄積系を経て送られてきた符号化データを一度保存される。保存された符号化データは 1フレーム毎にシンタタスに基づいて分離されて復号化処理部 301に入力する。復号化処理部 301は、図 7に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、マクロブロックレベルシンタクスの夫々に対して、順次符号ィ匕データの各シンタクスの符号列を復号する。この復号により量子化されている変換係数、量子化マトリタス生成パラメータ、量子化パラメータ、予測モード情報、予測切替情報などが復元される。

[0096] 復号化処理部 301は、復号されたシンタクスから、対応するフレームで量子化マトリタスを利用するかどうかを示すフラグを生成し、それを生成パラメータ設定部 306へと入力する。このフラグが TRUEである時は、更に復号ィ匕処理部 301から量子化マトリタス生成パラメータ 311が、生成パラメータ設定部 306に入力される。生成パラメータ設定部 306は量子化マトリクス生成パラメータ 311の更新機能を有しており、復号ィ匕処理部 301で復号されているシンタクスに基づいて、量子化マトリクス生成パラメータ 311のセットを量子化マトリクス生成部 307へと入力する。量子化マトリクス生成部 30 7は、入力されている量子化マトリクス生成パラメータ 311に対応する量子化マトリクス 318を生成し、逆量子化部 302へと出力する。

[0097] 符号ィ匕処理部 301から出力される量子化されている変換係数は逆量子化部 302に入力され、復元されている各情報を基に、量子化マトリクス 318、量子化パラメータ等を用いて、逆量子化部 302にて逆量子化される。逆量子化されている変換係数は逆変換部 303へ入力される。逆変換部 303は逆量子化されている変換係数を逆変換（例えば逆離散コサイン変換など)し、誤差信号 313を生成する。ここでは、逆直交変換について説明したが、符号化器でウェーブレット変換や独立成分分析などが行われてヽる場合、逆変換部 303では対応する逆ウェーブレット変換や逆独立成分解析などが実行されても良い。逆変換部 303で逆変換されている係数は、誤差信号 313 として、加算器 308へ送られる。加算器 308は予測部 305から出力される予測信号 3 15と誤差信号 313とを加算し、加算信号を復号信号 314として参照メモリ 304へ入力する。復号画像 314は更に動画像復号化部 300外へ送出され、出力バッファ（図示せず)等へ蓄積される。出力バッファに格納されている復号画像は、復号化制御部 310が管理するタイミングで読み出される。

[0098] 一方、復号ィ匕処理部 301で復号されている予測情報 316、モード情報などが予測部 305へ入力される。また、既に符号ィ匕されている参照信号 317が参照メモリ 304から予測部 305へ供給される。予測部 305は、入力されているモード情報等を基に、予測信号 315を生成し、加算器 308へ供給する。

[0099] 復号ィ匕制御部 310は、入力バッファ 307、出力タイミングの制御や、復号化タイミングの制御などを行う。

[0100] 第 3の実施の形態の動画像復号ィ匕装置 300は上述したように構成されており、以下に、動画像復号装置 300によって実施できる動画像復号ィ匕方法を図 19のフローチヤートを参照して説明する。

[0101] 入力バッファ 309から 1フレームの符号化データを読み込み（ステップ S201)、シンタックス構造に従って符号化データを復号化する (ステップ S202)。復号化されているシンタクスに基づき読み込みフレームについて量子化マトリックスを利用する力否かをフラグにより判定する (ステップ S 203)。この判定が YESであると、量子化マトリックス生成パラメータを量子化マトリックス生成部 307に設定する (ステップ 204)。量子化マトリックス生成部 307は生成パラメータに対応する量子化マトリックスを生成する (ステツプ 205)。この量子化マトリックス生成には、上述した動画像符号化装置にて用いた、図 2に示される量子化マトリックス生成部 109と同じ構成の量子化マトリックス生成部 307が使用され、同じ処理を介して量子化マトリックスが生成される。この量子化マトリックス生成部 109に生成パラメータを設定する生成パラメータ生成部 306も符号化装置の生成パラメータ設定部 108と同じ構成のものが使用される。

[0102] 即ち、生成パラメータ生成部 306においても、図 7に示されるように、シンタクスは主に 3つのパート、即ちハイレベルシンタクス（401)、スライスレベルシンタクス（402)及びマクロブロックレベルシンタクス（403)力も成る。また、これらシンタックスは、符号化装置のものと同様にさらに詳細なシンタクスで構成されている。

[0103] 上述したシンタクスは復号ィ匕時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると復号ィ匕時に正しくデータを復元できなくなる。一方、復号化時に必ずしも必要とされない情報を多重化するための補助的なシンタクスとしてサブリメンタルシンタクスが存在する。

[0104] 本実施の形態で、必要になるシンタクス情報はシーケンスパラメータセットシンタクス（404)、ピクチャパラメータセットシンタクス（405)であり、それぞれのシンタクスは動画像符号ィ匕装置においての説明と同様に図 8及び図 9にそれぞれ示されるようにシーケンスパラメータセットシンタクス及びピクチャーパラメータセットシンタクスが構成されている。

[0105] ピクチャーパラメータセットシンタクスの別の例としても動画像符号ィ匕装置において説明したように図 10に示されるような複数の量子化マトリクス生成パラメータを送る場合のピクチャーパラメータセットシンタクスが使用できる。但し、量子化マトリクスをブロック単位で変更したい場合には、対応する量子化マトリクスの数だけ、ブロック毎にビットを送信し、切り替えればよい。例えば、 ex— num— of— matrix— typeが 2の場合、マクロブロックヘッダーシンタクスで 1ビットのシンタクスを付カ卩し、この値が TRUE であるか FALSEであるかに応じて、量子化マトリクスを切り替える。

[0106] 本実施の形態において、前述のように複数の量子化マトリクス生成パラメータを 1つのフレーム内で保持する場合、補助的なシンタクスに多重化されているデータを利用することが可能である。これについても動画像符号ィ匕装置において説明したように図 11に示されるサプリメンタルシンタクスを用いて複数の量子化マトリクス生成パラメ一タを使用することができる。

[0107] 本発明の本実施の形態において、図 7に示されるスライスレベルシンタクス中のスライスヘッダーシンタクスによって、量子化マトリクスの再受信を行うことが可能である。このような場合の例を、図 13を用いて説明する。図 13はスライスヘッダーシンタクス内のシンタクス構造を示している。図 13のスライスヘッダーシンタクス内に示される sli ce_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、当該フラグが TRUEであるときは、量子化マトリクスを当該スライスで変更する出来る。一方、フラグが FALSEであるときは、当該スライス内では量子化マトリクスを変更することが出来な、。 slice_ex_scaling_matrix_flagが TRUEのときは更に slice_ex_matrix_typeが受信される。このシンタクスはマトリクス生成タイプ（T)に对 J心'しヽる。ヽ H slice— ex— matrix— A、 slice— ex— matrix— B、 slice— ex— matrix— C¾受 1目れる。これらはそれぞれ、量子化マトリクスの変化度 (A)、歪み度 (B)、補正項 (C)に対応している。図 13中の NumOlMatrixは、当該スライスで利用可能な量子化マトリクスの数を表している。この値は、スライスレベル内の更に小さい領域で量子化マトリクスを変更する場合、輝度成分と色成分で量子化マトリクスを変更する場合、量子化ブロックサイズで量子化マトリクスを変更する場合、符号化モード毎に量子化マトリクスを変更する場合などに、夫々対応する量子化マトリクスのモデルィ匕パラメータを受信することが可能である。例として当該スライスで、 4x4画素ブロックサイズと 8x8画素ブロックサイズの 2種類の量子化ブロックが存在し、それぞれに対して異なる量子化マトリクスが利用できる場合、 NumOlMatrix値は 2がセットされる。

[0108] 本発明の本実施の形態において、図 14のようなスライスヘッダーシンタクスを用いて、スライスレベルで量子化マトリクスを変更することも可能である。図 14では、図 13 と比べて受信するモデルィ匕パラメータが 3つとなっている。例えば数式 5を用いた量子化マトリクスの生成を行う場合、歪み度 (B)は常に 0に設定されているために受信する必要が無い。そのため、内部パラメータとして初期値を 0に保持することで符号ィ匕器と復号化器でまったく同じ量子化マトリクスを生成することが可能となる。

[0109] また、本発明の本実施の形態において、図 15で表されるスライスヘッダーシンタクスを用いて、パラメータを受信することも可能である。図 15は図 13に加えて、 PrevSlic eExMatrixType、 PrevSliceExMatrix— A、 PrevSliceExMatrix— B (更【こ PrevSliceExMatrix — C)が追加されている。より具体的に説明すると slice_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、このフラグが TRUEのときは、図 13、図 14に示されるようにモデルィ匕パラメータを受信する。一方、当該フラグが FALSEの場合、 PrevSliceExMatrixType , PrevSliceExMatrix_A、 Prev SliceExMatrix_B、（更に PrevSliceExMatrix_C)が設定される。これらの意味は次のように解釈される。

[0110] PrevSliceExMatrixTypeは、復号化 j噴で当該スライスの 1つ前の同じスライスタイプで復号ィ匕された時に使用された生成タイプ (T)を示している。本変数は、スライスの復号ィ匕が終了する直前に更新される。初期値は 0に設定されて、る。

[0111] PrevSliceExMatrix_Aは復号化順で当該スライスの 1つ前の同じスライスタイプで復号化された時に使用された変化度 (A)を示している。本変数は、スライスの復号ィ匕が終了する直前に更新される。初期値は 0に設定されて、る。

[0112] PrevSliceExMatrix_Bは復号化順で当該スライスの 1つ前の同じスライスタイプで復号ィ匕された時に使用された歪み度 (B)を示している。本変数は、スライスの復号ィ匕が終了する直前に更新される。初期値は 0に設定さて、る。

[0113] PrevSliceExMatrix.Cは復号化順で当該スライスの 1つ前の同じスライスタイプで復号化された時に使用された補正項 (C)を示している。本変数は、スライスの復号ィ匕が終了する直前に更新される。初期値は 16に設定されている。

[0114] ここで、 CurrSliceTypeは当該スライスのスライスタイプを示しており、例えば I-Slice、 P -Slice, B- Slice毎に対応するインデックスが割り当てられている。図 16に CurrSliceTy peの一例を示す。それぞれのスライスタイプ毎に値が割り与えられている。例えば画面内予測のみを用いるト Sliceでは 0が割り与えられている。また、時間順で前に符号化した符号ィ匕フレーム力の単方向予測と画面内予測を用いることが出来る P-Slice には 1が割り与えられている。一方、双方向予測、単方向予測、画面内予測を用いることが出来る B-Sliceでは 2が割り与えられている。

[0115] このように、直前の同じスライスタイプで復号ィ匕された量子化マトリクスのモデルィ匕パラメータを呼び出して再設定することで、モデル化パラメータの受信に必要となる符号量を削減することが可能となる。

[0116] 本発明の本実施の形態において、図 17を用いることも可能である。図 17は、図 15

中の NumO!Matrixが削除された構造となって、る。当該スライスで利用可能な量子化マトリクスが 1つのみの場合、図 16より簡単ィ匕された本シンタクスを用いる。本シンタクスは図 15で NumOlMatrixが 1の場合とほぼ同じ動作を示す。

[0117] 上述したように量子化マトリックスが生成されると、復号されている変換係数 312は量子化マトリックスを用いて逆量子化され (ステップ S206)、更に逆変換部 303により逆変換される (ステップ S207)。これにより、誤差信号が再生される。このとき、予測部 305により予測情報 316に基づいて予測画像が生成され (S209)、この予測画像と誤差信号とが加算される (ステップ S209)。この結果、復号画像信号が再生される。この復号画像信号は参照メモリ 304に記憶されると共に外部装置に出力される。

[0118] 以上説明したように本実施の形態では、入力されてきた符号ィ匕データを基に対応するマトリクス生成タイプに応じて、量子化マトリクスを生成し、逆量子化で利用することによって、量子化マトリクス自体の符号量を削減できる。 [0119] 上述した各部の機能は、コンピュータに記憶されているプログラムによって実現できる。

[0120] 本実施形態においては動画像符号ィ匕を例にとり説明したが、静止画像符号化にも本発明を適用することができる。また、ビデオ装置に限らず、オーディオ装置にも適用することができる。

[0121] 本発明によると、量子化マトリクスを生成するための生成関数のインデックス、量子化マトリクスの変化の度合いを表す変化度、歪み度、補正項のうちいずれかの 1っ以上のパラメータを用いて複数の量子化マトリクスを生成し、当該量子化マトリクスを用 V、て量子化及び逆量子化を行!、、最適な量子化マトリクス生成パラメータセットを符号化して送信することで、従来の量子化マトリクス送信方法より高い符号ィ匕効率を実現できる。

[0122] 本発明によれば、低ビットレート時における符号ィ匕効率を向上させることが可能な動画像符号化 ·復号化方法及び装置を実現できる。

産業上の利用可能性

[0123] ビデオ、オーディオ装置、モパイル機器、放送、情報端末、ネットワークなどの各分野に渡り動画像、静止画像、音声などの符号化及び復号化に適用できる。

Claims

請求の範囲

[1] 量子化マトリクスを用いて変換係数を量子化する動画像符号化方法において、量子化マトリクスの生成に関する生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成ステップと、

生成された前記量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化し、量子化変換係数を生成する量子化ステップと、

前記生成パラメータ及び前記量子化変換係数を符号化し、符号化信号を生成する符号化ステップと、

を具備する動画像符号化方法。

[2] 前記符号化ステップは前記量子化変換係数と前記生成パラメータとを多重化して符号ィ匕する請求の範囲第 1項記載の動画像符号ィ匕方法。

[3] 符号化対象となる前記入力画像信号の画像状況或いは符号化状況に応じて、前記生成パラメータを設定する量子化マトリクス生成パラメータ設定ステップを有する請求の範囲第 1項記載の動画像符号化方法。

[4] 前記量子化マトリクス設定ステップは、画像状況或いは符号化状況に応じて、 1つの符号ィ匕画像に対して複数の量子化マトリクスを生成するために複数の生成パラメータを設定するステップを含む請求の範囲第 1項記載の動画像符号化方法。

[5] 前記量子化マトリクス生成ステップは、量子化マトリクスを生成するための複数の生成関数を作成するステップを含む請求の範囲第 1項又は第 2項記載の動画像符号化方法。

[6] 前記量子化マトリクス生成ステップは、量子化マトリクスの生成関数のインデックス、量子化マトリクスの変化の程度を表す変化度、歪み度、補正項の中から、少なくとも 1 つ以上を含む量子化マトリクスの生成パラメータを用いて量子化マトリクスを生成する請求の範囲第 1項又は第 2項記載の動画像符号化方法。

[7] 前記量子化マトリクス生成ステップは、正弦関数、余弦関数、 N次関数、シグモイド関数、ガウス関数のヽずれか 1つを用いて定義されて！ヽる前記生成関数に対応する量子化マトリクス生成パラメータを用いて量子化マトリクスを生成する請求の範囲第 1 項又は第 2項記載の動画像符号化方法。

[8] 前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときの生成関数演算精度を、選択した生成パラメータに対応する、前記生成関数のインデックスに対応して変更するステップを含む請求の範囲第 1項又は第 2項記載の動画像符号ィ匕方法。

[9] 前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときに行われる計算過程が予め対応するテーブルに記録するステップと、生成関数のインデックスに対応して、前記テーブルに記録された計算過程を呼び出して量子化マトリクスを生成するステップを含む請求の範囲第 1項又は第 2項記載の動画像符号ィ匕方法。

[10] 前記符号化ステップは、前記生成パラメータに対して、前記生成関数のインデックス、量子化マトリクスの変化の程度を表す変化度、歪み度、補正項の中から少なくとも 1つ以上をシンタクスに多重化するステップを含む請求の範囲第 1項又は第 2項記載の動画像符号化方法。

[11] 前記量子化マトリクスを用いて、前記量子化変換係数を逆量子化するための逆量子化ステップを有する請求の範囲第 1項又は第 2項記載の動画像符号化方法。

[12] 前記量子化マトリクス生成ステップは、前記量子化マトリクス生成ステップで生成された量子化マトリクスを量子化時に利用する力、利用しないか、を適応的に切り替えることを可能にするステップを含む請求の範囲第 1項又は第 2項記載の動画像符号化方法。

[13] 前記符号化ステップは、複数の量子化マトリクスの生成に用いられる複数の生成パラメータのセットを設定する場合、前記量子化ステップで利用した、前記量子化マトリタスの生成パラメータセットをシンタクスに多重化する力、多重化しないか、を適応的に切り替えるステップを含む請求の範囲第 1項又は第 2項記載の動画像符号化方法

[14] 前記符号化ステップは、前記量子化マトリクスを量子化時に利用する際、符号化シ一ケンス毎、ピクチャ毎、もしくは符号化スライス毎に、前記量子化マトリクスの生成パラメータを用いて生成された量子化マトリクスを切り替えるステップを含む請求の範囲第 1項又は第 2項記載の動画像符号ィヒ方法。

[15] 前記量子化ステップは、前記量子化マトリクスを、マクロブロックの量子化スケールの値が大きいか、或いは小さいか、に応じて切り替えるステップを含む請求の範囲第

1項又は第 2項記載の動画像符号化方法。

[16] 前記量子化ステップは、前記量子化マトリクスを、前記入力画像信号の解像度が所定値よい高いか、低いか、に応じて切り替えるステップを含む請求の範囲第 1項又は第 2項記載の動画像符号化方法。

[17] 変換係数の各周波数位置に対応した量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号化方法にぉヽて、

量子化マトリクスを生成するための生成パラメータを含む入力符号ィ匕信号を復号する復号ステップと、

復号された生成パラメータを基に量子化マトリクスを生成する量子化マトリクス生成ステップと、

前記量子化マトリクス生成ステップで生成された量子化マトリクスを用いて、復号された変換係数を逆量子化する逆量子化ステップと、

前記逆量子化ステップで得られた変換係数をもとに、復号画像を生成する復号画像生成ステップと、

を含む動画像復号化方法。

[18] 量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号ィ匕方法において、量子化マトリクスを生成するための生成パラメータを含む入力符号ィ匕信号を復号する復号ステップと、

復号された生成パラメータの状況に基づき異なる量子化マトリクスための生成パラメータを生成し、前記異なる量子化マトリクスための前記生成パラメータの生成方式に従って量子化マトリクスを生成し、適切なタイミングで更新する量子化マトリクス生成ステツプと、

を具備する動画像復号化方法。

[19] 前記量子化マトリクス生成ステップは、 1つの符号化画像に対して生成される複数の量子化マトリクスに複数の生成パラメータのセットを設定するステップを含む請求の範囲第 17項又は第 18項記載の動画像復号化方法。

[20] 前記量子化マトリクス生成ステップは、量子化マトリクスを生成するための複数の関数を作成するステップを含む請求の範囲第 17項又は第 18項記載の動画像復号ィ匕方法。

[21] 前記量子化マトリクス生成ステップは、復号された量子化マトリクス生成パラメータに基づき量子化マトリクスの生成関数のインデックス、量子化マトリクスの変化の程度を表す変化度、歪み度、補正項の中から、少なくとも 1つ以上を用いて、量子化マトリクスを生成するステップを含む請求の範囲第 17項又は第 18項記載の動画像復号ィ匕方法。

[22] 前記量子化マトリクス生成ステップは、量子化マトリクスを生成するための関数が、正弦関数、余弦関数、 N次関数、シグモイド関数、ガウス関数のいずれか 1つを用いて定義されており、この関数を用いて量子化マトリクスを生成するステップを含む請求の範囲第 17項又は第 18項記載の動画像復号ィ匕方法。

[23] 前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときの生成関数演算精度が、選択した量子化マトリクスの生成パラメータに対応する、前記生成関数のインデックスに対応して変更するステップを含む請求の範囲第 17項又は第 18項記載の動画像復号化方法。

[24] 前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときに必要とする計算過程が予め対応するテーブルに記録するステップと、生成関数のインデックスに対応して、テーブルから記録された計算過程を呼び出し、量子化マトリクスを生成するステップとを含む請求の範囲第 17項又は第 18項記載の動画像復号ィ匕方法。

[25] 前記量子化マトリクス生成ステップは、復号された量子化マトリクスの生成パラメータに基づいて少なくとも 1つ以上の量子化マトリクス生成方法を用いて、量子化マトリクスを生成するステップを含む請求の範囲第 17項又は第 18項記載の動画像復号ィ匕方法。

[26] 前記量子化マトリクス生成ステップは、復号された量子化マトリクスの生成パラメータ内の生成関数インデックスに対応する生成関数が復号ィ匕の際に利用できないとき利用可能な生成関数で代用して量子化マトリクスを生成するステップを含む請求の範囲第 17項又は第 18項記載の動画像復号化方法。

[27] 前記逆量子化ステップは、前記復号された量子化マトリクスを逆量子化時に利用する際、量子化マトリクスの生成パラメータによって生成された量子化マトリクスを利用するか、利用しないか、を適応的に切り替えるステップを含む請求の範囲第 17項又は第 18項記載の動画像復号化方法。

[28] 前記復号ステップは、画像内で前記複数の量子化マトリクスを前記逆量子化ステツプにおいて利用する際、復号化に利用できる場合は、補助的なシンタクスとして量子化マトリクスの生成パラメータを復号ィ匕して逆量子化で利用し、補助的なシンタクスが利用できない時は、予め規定された量子化マトリクスを用いて逆量子化を行うステツプを含む請求の範囲第 17項又は第 18項記載の動画像復号化方法。

[29] 前記逆量子化ステップは、前記量子化マトリクス生成ステップで生成された量子化マトリクスを前記逆量子化ステップにおいてに利用する際、符号ィ匕シーケンス毎、ピクチヤ毎、もしくは符号化スライス毎に、前記量子化マトリクスの生成パラメータを用いて生成された量子化マトリクスを切り替えるステップを含む請求の範囲第 17項又は第 1 8項記載の動画像復号化方法。

[30] 前記逆量子化ステップは、前記量子化マトリクス生成ステップで生成された量子化マトリクスを、マクロブロックの量子化スケールの値が所定値より大きいか、或いは小さいか、に応じて切り替えるステップを含む請求の範囲第 17項又は第 18項記載の動画像復号化方法。

[31] 前記量子化マトリクス生成ステップで生成された量子化マトリクスを、前記入力画像信号の解像度が所定値より高いか、或いは低いか、に応じて切り替えるステップを含む請求の範囲第 17項又は第 18項記載の動画像復号化方法。

[32] 量子化マトリクスを用いて変換係数を量子化する動画像符号化装置において、量子化マトリクスの生成に関する生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成部と、

生成された前記量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化し、量子化係数を生成する量子化部と、

前記生成パラメータ及び前記量子化変換係数を符号化し、符号化信号を生成する符号化部と、

を具備する動画像符号化装置。

[33] 量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号ィ匕装置において、量子化マトリクスを生成するための生成パラメータを含む入力符号ィ匕信号を復号する復号部と、

復号された生成パラメータを基に量子化マトリクスを生成する量子化マトリクス生成部と、

前記量子化マトリクス生成ステップで生成された量子化マトリクスを用いて、復号された変換係数を逆量子化する逆量子化部と、

前記逆量子化部で得られた変換係数をもとに、復号画像を生成する復号画像生成部と、

を具備する動画像復号化装置。

[34] 量子化マトリクスを用いて変換係数を量子化する処理を含めて動画像を符号化することをコンピュータに実行させる動画像符号ィ匕プログラムにおいて、

量子化マトリクスの生成に関する生成関数及び生成パラメータを用いて量子化マトリクスを生成する命令と、

生成された前記量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化し、量子化係数を生成する命令と、

前記生成パラメータ及び前記量子化変換係数を符号化し、符号化信号を生成する命令と、

を具備する動画像符号化プログラム。

[35] 量子化マトリクスを用いて変換係数の逆量子化を行う処理を含めて動画像を復号することをコンピュータに実行させる動画像符号ィ匕プログラムにおいて、

量子化マトリクスを生成するための生成パラメータを含む入力符号ィ匕信号を復号する命令と、

復号された生成パラメータを基に量子化マトリクスを生成する命令と、生成された前記量子化マトリクスを用いて、復号された変換係数を逆量子化する命令と、

前記逆量子化により得られた変換係数をもとに、復号画像を生成する命令と、を含む動画像復号化プログラム。