JPWO2013014693A1

JPWO2013014693A1 - 動画像復号化方法及び動画像符号化方法

Info

Publication number: JPWO2013014693A1
Application number: JP2013525428A
Authority: JP
Inventors: 横山　徹; 徹横山; 村上　智一; 智一村上
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2011-07-22
Filing date: 2011-07-22
Publication date: 2015-02-23
Anticipated expiration: 2031-07-22
Also published as: CN107071406B; CN107071406A; EP2736254A1; EP2736254A4; WO2013014693A1; CN103703780A; CN103703780B; EP2736254B1; JP5677576B2; US20140169465A1

Abstract

予測単位ブロックのサイズが複数あり、可変であるＣＵ（ＣｏｄｉｎｇＵｎｉｔ）を採用する動画像復合化方法及び動画像符号化方法において、ＣＵの予測処理を記述する情報量を削減するために、復号化・符号化対象のＣＵよりも大きいサイズで予測された予測画像の一部を、復号化・符号化対象のＣＵの予測画像として用いる動画像復号化方法及び動画像符号化方法の技術を提供するものである。

Description

本発明は、動画像信号の符号化技術に関する。

ITU-T H.264に代表される動画像符号化方式では、画面全体を16画素×16画素のマクロブロックと呼ばれる符号化単位に分割して符号化を行う。

H.264では、符号対象のマクロブロックに対して、周辺の画素や前後のピクチャを用いて対象マクロブロック内の画素値の予測値を決定し、符号化対象画素と予測値との予測誤差をエントロピー符号化する。

上記のマクロブロック内の画素値の予測の際には、マクロブロック内の絵柄に応じて、周辺画素から予測するイントラ予測と、前後のピクチャの画素から予測するインター予測とをマクロブロック毎に選択することができる。また16画素×16画素よりも小さな予測ブロックに分割して予測を行うことができる。

例えば図2で示すように、H.264のイントラ予測では16画素×16画素のマクロブロックを、16個の4画素×4画素の予測ブロックに分割し、個々の予測ブロックに対して図2のインデックス0から8に示す9種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。また図3で示すように、マクロブロックを分割せずに、16画素×16画素の予測ブロックで、同図中インデックス0から3で示される4種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。

またH.264のインター予測に関しても同様にマクロブロック内で、より小さな予測ブロックに分割して個々の予測ブロックに対して動きベクトルを設定することができる。例えば図4で示すように、過去のピクチャからの動きを予測する場合、16画素×16画素、16画素×8画素、8画素×16画素、8画素×8画素（この場合、さらに個々の予測ブロックを8画素×4画素、4画素×8画素、4画素×4画素に分割可能）の予測ブロックに分割し、ここの予測ブロックに対してそれぞれ異なる動きベクトルを設定することができる。

上記のように、マクロブロックの内部を予測ブロックに分割して個々に予測を行うことにより、マクロブロック内に異なる絵柄の境界があるときなどで予測精度が向上し、圧縮率の向上につながる。

しかし、H.264に代表される従来技術では、いずれもマクロブロックのサイズが16画素×16画素に限定されており、これよりも大きな単位又は小さな単位で予測することができないようになっている。

また、イントラ予測かインター予測かの選択はマクロブロック単位でしか設定できないため、16画素×16画素よりも小さな単位でしか選択できない。

そのような問題に鑑み、特許文献1は、16画素×16画素のブロックを4分木構造に従って、8画素×8画素、4画素×4画素、2画素×2画素のいずれかに分割可能で、これらのブロックサイズに応じて予測モードを変更可能としている（特許文献1）。

特表2007-503784

特許文献1に記載された動画像符号化技術では、符号化単位ブロックを分割した場合、分割されたマクロブロックを符号化単位にした予測処理を行う。そのため、４分木構造による分割マクロブロックの個数が増えると、その分だけ予測情報の符号量が増大し、圧縮率が低下する。

本発明の目的は、このような状況に鑑みてなされたものであり、マクロブロックの予測情報を記述するための情報量を削減する技術を提供するものである。

上記目的を達成する手段を説明する前に、用語の定義を行う。本明細書では、予測モードの選択が可能なブロックサイズが可変なブロックを、従来技術（H264AVCなど）のマクロブロックと区別するため、CU(Coding Unit)と記すことにする。

上記課題を達成する手段として、符号化側で、ある符号化対象のCUに対して予測処理を行う際、符号化対象CUよりも大きい上位のCU(以降、親CUと記す)の予測画像の一部をそのまま用いるか、当該符号化対象CUに対してそれぞれ予測処理を行うかのいずれかを選択可能とすることで達成される。

そして、いずれを選択したかを示すフラグ情報を符号化ストリームに格納し、復号化側で、フラグ情報を読み取ることで、ある符号化対象のCUに対して予測処理を行う際、符号化対象CUよりも大きい上位のCU(以降、親CUと記す)の予測画像の一部をそのまま用いるか、当該符号化対象CUに対してそれぞれ予測処理を行うかのいずれかを選択することで達成される。

例えば、従来技術では、符号化対象CUをCU1〜CU4に４分割したがCU1のみ予測誤差が小さくCU2〜4は予測精度が低い場合、CUの予測結果を用いてCUの予測画像を生成し、CUの予測画像の一部であってCU1の領域に相当する画像を抜き出して予測画像とする。こうすることで、符号化対象CU2〜4に対する予測処理の情報が不要となるため、情報量を削減することができる。

従来の技術では、符号化対象CUを用いた符号化を行う場合、親CUの符号化データを生成していなかったため、符号化対象CUが1つのみ別に予測すればよい画像であっても、個々のCU単位で予測していた。しかし、上述の通り、上位のCUの予測画像の一部を用いるようにすれば、CUの予測処理を記述する情報量を削減し、圧縮率を向上させることができるようになる。

本発明によれば、予測単位ブロックのサイズが複数あり、可変であるCUを採用する画像符号化・復号化方法において、CUの予測処理を記述する情報量を削減することにより、圧縮率を向上させることができるになる。

実施例1による画像符号化装置の概略構成を示す図である。従来技術のイントラ予測処理の一例を説明するための図である。従来技術のイントラ予測処理の一例を説明するための図である。従来技術のインター予測処理の一例を説明するための図である。 CU分割の概念を説明するための図である。 4分木構造のCU分割の一例を説明するための図である。従来技術のCU分割による符号化ストリーム内のシンタックスの一例を説明するための図である。本発明が有効となる一例を説明するための図である。実施例1によるCU分割の一例を説明するための図である。実施例1のCU分割による符号化ストリーム内のシンタックスの一例を説明するための図である。実施例1によるCU分割時の予測画像の合成の一例を説明するための図である。実施例1によるCU分割時の予測画像の合成の別例を説明するための図である。実施例1によるCU分割時の予測画像の合成処理において、イントラ予測の際の処理を説明するための図である。実施例1による予測モード決定部の概略構成を示す図である。実施例1による画像復号化装置の概略構成を示す図である。実施例1による予測選択部の概略構成を示す図である。

本発明は、符号化単位ブロック(以下CU、Coding Unitと記す)の拡大や縮小をともなう符号化を行う際、分割されたCUの予測処理を、分割前の親CUの予測画像を用いることにより分割されたCUの予測処理を省略することで、予測情報量を削減するものである。

以下、添付図面を参照して実施例について説明する。ただし、本実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。

＜画像符号化装置の構成＞
図1は、実施例1による画像符号化装置の概略構成を示す図である。

図1において、画像符号化装置は、CUサイズを決定するCU分割部100と、予測画像格納部107に格納される予測画像と入力画像114との予測差分画像を生成する差分器102、前記予測差分画像をDCTなどの直交変換を行う変換部102、変換後の信号を量子化する量子化部103、量子化後の信号を符号化する可変長符号化部104を有し、符号化ストリーム115を出力する。

本実施例の動画像符号化装置は、上記の予測画像を生成するために2通りの予測処理系統を有する。第1の系統はインター予測によるもので、次の入力画像のための参照画像を得るため、量子化部103で出力された量子化信号を逆量子化する逆量子化部109、逆量子化信号を逆変換して予測差分画像を得る逆変換部108、逆変換後の予測差分画像と予測画像格納部107からの予測画像を加算する加算器111、加算後の画像からブロックノイズを除去した参照画像を得るデブロック処理部112を有する。そして、得られた参照画像を格納する参照画像格納部113、参照画像と入力画像114との間の動き予測を行うインター予測部106を有する。第2の系統はイントラ予測によるもので、入力画像114から画面内予測を行うイントラ予測部105を有する。

予測モード決定部110の処理は、後述するが、上記2通りの予測処理系統、すなわち、インター予測部106からのインター予測画像、及びイントラ予測部105からの画面内予測画像を用いて、最も予測効率が高いと推測される予測処理を決定する。ここで予測効率の指標としては、例えば予測誤差エネルギーなどが挙げられるが、その他として近傍のCUの予測方式(画面間予測か画面内予測か)との類似性などを考慮して予測画像(すなわち予測方式)を選択してもよい。

決定された予測方法で得られる予測画像は予測画像格納部113に格納され、入力画像114との予測差分画像を生成するために用いられる。なお、予測モード決定部110で選択した予測モード(すなわちインター予測かイントラ予測か、及びそれぞれの場合の予測単位ブロックのサイズ)に関する情報は可変長符号化部104に送られ、符号化ストリーム115の一部に格納される。

本実施例では、予測モード決定部110にて決定される予測処理に特徴があるが、予測処理の決定に際しては、CUの分割パターンが関連するため、CU分割部の処理内容について以下に説明する。

＜CU分割部の処理内容(符号化側)＞
以下、図面を参照して、CU分割部100の処理内容について詳細に説明する。

図5は、CUの概念を説明する図である。本実施例では従来技術のマクロブロックに相当する符号化処理単位ブロックを、CU(Coding Unit)と記す。本実施例においてCUに対して以下のような性質を仮定する。ただしこの本実施例の適用が、本仮定のみに限定されるものではない。
(1)CUは正方形である
(2)CUの最大サイズと最小サイズとが符号化ストリーム中に記載されているか、もしくは規格として定義されている
(3)4分木構造によって最大CUから子CU分割に階層的に4分割される
図5において、最大サイズのCUをLCU(Largest Coding Unit)と記し、そのサイズ(LCUの縦もしくは横方向の画素数)をLCU sizeと記す。なお本実施例ではLCU sizeは2のべき乗を想定するが、2のべき乗であることに本実施例の適用が限定されるものではない。

図5で示すように、一つのピクチャはLCU単位で分割される。連続するLCUの集まりをスライスと定義する。この概念は従来技術のマクロブロックに相当する。個々のLCUは4分木構造により階層的に4分割される。

図6は4分木構造により構成されたCU分割の一例を示す図である。同図で示すようにLCUが4つのCU₀、CU₁、CU₂、CU₃に分割されている。CU₀は分割されず最終的にCUとして確定している。CU₁はCU₁₀、CU₁₁、CU₁₂、CU₁₃に、CU₂はCU₂₀、CU₂₁、CU₂₂、CU₂₃に、CU₃はCU₃₀、CU₃₁、CU₃₂、CU₃₃にそれぞれ4分割されている。これらのうち、CU₁₁がさらにCU₁₁₀、CU₁₁₁、CU₁₁₂、CU₁₁₃に、CU₁₂がCU₁₂₀、CU₁₂₁、CU₁₂₂、CU₁₂₃へ、CU₃₀はCU₃₀₀、CU₃₀₁、CU₃₀₂、CU₃₀₃へそれぞれ4分割されており、それ以外のCUは最終的にCUとして確定している。このようにLCUから階層的に4分割していき、CUのサイズが最小サイズになるまで分割を行うことができる。なお、本明細書では、CU₁を分割して得られるCU₁₀、CU₁₁、CU₁₂、CU₁₃をCU₁の子CUと記す。逆にCU₁を、CU₁₀、CU₁₁、CU₁₂、CU₁₃の親CUと記す。

なお、CUとは符号化単位を示すものであり、厳密にはこのCU毎に予測処理と変換処理とが行われるが、本明細書で親CUと記した場合、このCUに対しては必要に応じて予測処理のみが行われ、変換処理は行われないことを付記しておく。

上記の4分木構造の場合、最大サイズ／最小サイズの比が2^N(2のN乗)であった場合に、従来技術のように個々のCUを分割するかしないかのフラグを1bitで表記することで分割パターンを表記できる。

図7を用いて従来技術によるCUの符号化ストリームのシンタックスの一例を説明する。同図中、関数coding_unit()は、(x0,y0)の画素位置かつ、currCUSizeのサイズのCUの符号化シンタックスを示している。なおPicWidthはピクチャ幅(画素数)、PicHeightはピクチャ高(画素数)、MinCUSizeはCUの最小サイズである。

split_flagは、現CUに対し、CUを4分割する(1)か否(0)かを示す1ビットのフラグである(L700)。

split_flagが1の場合、現CUは4分割される。この場合、分割CUのサイズsplitCUSizeは、現CUのサイズcurrCUSizeの1/2とし、横方向の分割位置x1と、縦方向の分割位置y1とをそれぞれ、x1 = x0 + splitCUSize、y1 = y0 + splitCUSizeとする(L702)。そして4つの分割CU(CU₀〜CU₃)が、coding_unit()を再帰的に呼び出すことによって格納される(L703〜L706)。個々の4つの分割CU内でも、同様にsplit_flagによって、さらに分割を行うかどうか指定される。このような再帰呼び出しが、CUサイズがMinCUSize以上である限り行われる。

もしもsplit_flagが0の場合には、このCUが符号化単位として確定し、符号化の主な処理である、予測処理の情報(関数prediction_unit())(L707)と、予測誤差の直交変換情報(関数transform_unit())(L708)とが格納される。本明細書では、直交変換処理については、本発明とは直接係わりがないため、省略する。

L707における予測処理の情報(prediction_unit())としては、例えば前記のイントラ予測かインター予測かの識別子、イントラ予測である場合はその予測方向を示す情報(図2や図3参照)、インター予測である場合は、CU内部の分割情報や動きベクトル情報(図4参照)などが格納される。但し本発明においては、予測処理の方法、及びその情報の内容に限定されるものではない。

CUの分割を細かくしていくほど、細かいサイズで予測処理を行うことができるが、分割されたCU数の分だけ予測情報が必要となるため、符号量が増加する。

そこで本実施例では、予測モード決定部110において、親CU予測部1400を備えることで、CU分割数が増える際の予測情報の情報量削減を図る。以下、予測モード決定部110における処理内容について説明する。

＜予測モード決定部の処理内容＞
次に実施例1による予測モード決定部110の処理内容について説明する。
(1)処理全体の概要
図14は、予測モード決定部110の構成図である。

予測モード決定部110は、親CU予測部1400と予測コスト比較部1401とを有する。親CU予測部1400については後述するように、符号化対象CUの親CUの予測画像を格納し、現CUの予測処理を、親CUの予測画像の一部で置き替えたときの予測コストを算出する。

予測コスト比較部1401は、複数のCUサイズにおける複数のイントラ予測処理、インター予測画像、及び上記の親CU予測部1400からの予測コストを比較し、予測コストが最小となる予測処理を決定し、この予測処理により得られる予測画像を予測画像格納部107へ格納する。なお本発明では予測コストの算出方法は限定しないが、例えば入力画像114と予測画像の絶対差分の総和と予測情報に要する総ビット量の重み付け和などで定義してもよい。この定義によれば予測画像が入力画像に近いほど、さらに予測情報に要するビット量が少ないほど、符号化効率の高い予測処理となる。
(2)親CU予測部の詳細
親CU予測部1400では、符号化対象CUの親CUにおける予測画像を予め生成、格納しておき、符号化対象CUの予測処理を、この親CUの予測画像の一部で置き替えた場合の予測コストを算出する。このような親CUの予測画像による置き換えが有効となるようなシーンについて、図8を用いて説明する。

図8で示すように、ある符号化対象ピクチャの符号化対象のLCU(X)と、その直前のピクチャのある領域Yとが、背景がほぼ同様で、その内部のみに動くオブジェクトがあるような場合を想定する。この場合、LCU(X)の予測処理としては、背景全体の予測処理と、内部の動きのあるオブジェクト部分とで、予測処理を分けると、精度の高い予測が行われると推測される。そこで、このLCU(X)を、背景のCUと動きオブジェクトのCUとに分割し、個々のCUに個々の予測処理を指定すればよい。

しかし前述のような4分木構造によるCU分割の場合、動きオブジェクトの、LCU内の位置によっては、分割CUの数が増えてしまい、結果として予測情報が増えてしまう場合が存在する。このような場合について、図9を用いて説明する。

図9中(A)で示すように、LCUの中心近くの位置に動くオブジェクトがある場合に、背景とオブジェクト部とが異なるCUに含まれるように分割することを考える。まず、同図(A)のLCUを1回分割することで、同図(B)のような４つのCU(1〜4)が作成される。同図(B)ではこのCU(1)〜CU(4)には、オブジェクトと背景とが両方とも多く含まれるため、CU(1)〜CU(4)をそれぞれ分割する。これによりCU(1)からはCU(A〜D)、が、CU(2)からはCU(E〜H)が、CU(3)からはCU(I〜L)が、そしてCU(3)からはCU(M〜P)がそれぞれ作成される。これらの16個のCUのうち、CU(D)、CU(G)、CU(J)、CU(M)は、依然、オブジェクトと背景とが両方が多く含まれるため、これらをさらに分割する。これによりCU(D)からはCU(D1〜D4)が、CU(G)からはCU(G1〜G4)が、CU(J)からはCU(J1〜J4)が、CU(M)からはCU(M1〜M4)が、それぞれ作成される(同図(D))。これらのうちCU(D4)、CU(G3)、CU(J2)、CU(M1)にはオブジェクトのみが多く含まれ、それ以外のCUには背景のみが多く含まれる。よって、CU(D4)、CU(G3)、CU(J2)、CU(M1)では、オブジェクトの動きを考慮した予測処理を、それ以外のCUでは背景部分の動きを考慮した予測処理を行うことで、精度の高い予測処理が実現できると考えられる。

しかし、上記のようにCUの分割を細かく行うと、同図(D)のように24個のCU全てに対して予測処理の情報を格納する必要があり、予測処理情報が増加してしまう。

そこで実施例１における予測モード決定部110では、個々のCU全てに対して必ずしも予測処理の情報を格納するのではなく、その親CUの予測処理で予め得られた予測画像を予測結果とするか、個別のCUで予測処理を行うかのいずれかを選択することを可能とする。

親CU予測部1400では、上記のうちの前者、すなわち親CUの予測画像による置換を選択した場合の予測コストを算出し、この予測コスト結果を予測コスト比較部1401に渡す。予測コスト比較部1401では、上記の後者の通常の予測処理、すなわち通常のインター予測やイントラ予測の予測コストと、前者の親CU予測部1400からの予測コストとを比較し、予測コストの小さい予測処理を選択する。

以下、実施例１による符号化ストリームのCUのシンタックスの一例を説明する。
(3)CUのシンタックスの一例
図10を用いて、実施例1による符号化ストリームのCUのシンタックスの一例を説明する。

従来のCUのシンタックス(図7)と異なる特徴として、split_flag=1の場合に、すなわち現CUを4つの子CUに分割する場合に、1ビットのparent_pred_unit_flagを有し、現CUのサイズでの予測処理の情報を格納するか(1)否か(0)を指定し(L1000)、parent_pred_unit_flag == 1のときには、予測処理情報を格納する(同図中、parent_prediction_unit()関数)(L1001)。

またsplit_flag==0の場合、すなわち現CUが分割されずに現サイズで確定し、符号化対象のCUとなる場合には、、1ビットのparent_pred_flagを有し、親CUの予測画像、すなわちparent_prediction_unitで指定される予測処理で得られた予測画像の一部で置きかえるか(1)、別の予測処理を行うか(0)を指定する(L1002)。

parent_pred_flag == 0のときには、prediction_unit()関数にて別の予測処理の情報が格納される。

parent_pred_flag == 1のときには、親CUの予測画像のうち、符号化対象CUの位置に相当する位置の画像を、符号化対象CUの予測画像とする。現CUにおける予測処理の情報は不要となる。従ってparent_pred_flag==1となるようなCUが多いほど、情報量の削減が期待できる。

以下、図11を用いて、予測モード決定部110内の処理とCUシンタックスの具体例を述べる。

CUの分割パターンは、図9(D)と同様とする。親CU予測部1400ではまず、図11に示すように、LCUサイズで予測処理を決定する。この予測処理の決定方法は、本発明において限定されるものではないが、例えば、複数のイントラ予測やインター予測を行った結果の予測画像と、入力画像114との差分と予測処理を記述するための予測情報のビット量の重みづけ和などによって定義されたコスト値を算出し、コスト値が最小となるような予測処理を決定すればよい。この予測処理で得られた予測画像を、親CUの予測画像として親CU予測部1400内に格納する。そしてLCUのシンタックスにおいて、parent_pred_unit_flag = 1とし、決定された予測処理の情報をparent_prediction_unit()に格納する。

図9(D)と同様にLCUを分割して得られる全てのCUで、この親CU(LCU)の予測画像を予測結果として用いるか否かを判定する。本発明では、この判定処理を限定するものではないが一例としては、親CUの予測画像を予測結果とした場合の予測コストと、個別にイントラ予測を行った場合やインター予測を行った場合の複数の予測処理による予測コスト値を、予測コスト比較部1401で比較し、予測コスト値が小さい予測処理を選択すればよい。

このような予測処理の選択処理により、
(1)親CUの予測画像を予測結果として用いるCU：
CU(A),CU(B),CU(C),CU(D1),CU(D2),CU(D3),CU(E),CU(F),CU(G1),CU(G2),CU(G4),CU(H),CU(I),CU(J1),CU(J3),CU(J4),CU(M2),CU(M3),CU(M4),CU(N),CU(O),CU(P)
(2)別の予測処理を行うCU：
CU(D4),CU(G3),CU(J2),CU(M1)
と決定されたとする。

この場合、(1)のCUに対してはparent_pred_flag=1とし、親CU予測部1400では、親CU(LCU)の予測画像から、各々のCUの位置に対応する箇所の予測画像を、個々のCUの予測画像とする。

(2)のCUに対しては、parent_pred_flag=0とし、個々のCUに対して予測処理の情報をparent_prediction_unit()に格納する。

以上により、従来技術と比べ、(1)のCUに対する予測処理の情報量を削減できるため、圧縮率の向上が期待できる。

また、実施例では、親CUは必ずしも一つに限定されるものではない。図12に示すように、LCUとCU(D)(図9(C)中の”D”、すなわちCU(D1)〜CU(D3)の親CUに相当)の2つでparent_pred_unit_flag=1と指定され、その予測処理がparent_prediction_unit()に格納されている場合、LCUとCU(D)の包含関係から、LCUの予測画像の、CU(D)の位置に相当する箇所だけが上書きされた結果が、親CUの予測画像となる。そして上記(1)のCUに対しては、この親CUの予測画像が適用される(図12参照)。

図12のような場合、予測処理の情報量としては図11の場合に比べ、CU(D)のparent_prediction_unit()に相当する分だけ情報量は増える。しかしCU(D)の箇所に対して、より精度の高い予測処理をLCUとは個別に選択できるため、予測精度が向上し、予測差分情報が減ることで、圧縮率の向上が期待できる。

本実施例では、個々のCUに対し、予測処理を個別に行うか、親CUの予測画像をそのまま用いるかのいずれかを指定することができ、子CUの予測処理と親CUの予測処理の方式の組み合わせを限定するものではなく、インター予測とイントラ予測との任意の組み合わせを適用できる。またインター予測では、時間的に前のピクチャのみを参照ピクチャとする前方向予測や、時間的に前と後ろのピクチャを用いる双方向予測等、様々な予測方法が適用可能である。

但し、図13で示すように、CU(D)でイントラ予測を行う場合、さらにCU(D)周辺の符号化済み画像周囲の符号化済み画像(デブロック処理前)を用いるような場合には、周囲のCU(A)、CU(B)、CU(C)の符号化処理(ただしデブロック処理前)を完了している必要がある。

以上により、本実施例による画像符号化装置における予測モード決定部110では、あるCUの予測処理に対して、その親CUの予測画像を用いるか、別の予測処理を行うかを選択することを可能とし、別の予測処理を行うときにのみ予測処理情報を符号化ストリームに格納する。これによりCUの予測情報量を削減することで、圧縮率の向上が実現できる。
＜画像復号化装置の構成＞
図15は、実施例による画像復号化装置の概略構成を示す図である。図15において、画像復号化装置は、符号化ストリーム1500を入力とし、これを復号する可変長復号化部1501と、可変長復号化部1501で得られるCUサイズ情報を基にCUを分割するCU分割部1502と、前記CU内の、変換量子化された予測誤差画像を逆量子化する逆量子化部1503と、得られた、変換された予測誤差画像を逆変換する逆変換部1504と、予測画像格納部1508に格納される予測画像と、逆変換部1504から出力される予測誤差画像とを加算する加算器1505と、加算結果の画像に対してデブロック処理を行うデブロック処理部1506を有し、出力画像1512を出力する。

本実施例の動画像復号化装置は、上記の予測画像を生成するために、2通りの予測処理系統を有する。第一の系統はイントラ予測によるもので、CU単位で逐次格納される復号済みCUの画像信号(デブロック処理前)を用いてイントラ予測を行うイントラ予測部1507を有する。第二の系統はインター予測によるもので、出力画像を格納する参照画像格納部1510と、参照画像格納部1510に格納される参照画像と、可変長復号部1501で復号された動きベクトルを用いて動き補償を行い、インター予測画像を得る、インター予測部1511を有する。予測選択部1509では、可変長復号化部1501で復号されたCUの予測処理情報に従い、予測画像を生成し、予測画像格納部1508に格納する。
＜予測選択部(復号化側)の処理内容＞
以下、図面を参照して画像復号化側の予測選択部1509の処理内容について説明する。

図16は、予測選択部1509の内部構成を示す図である。予測切替部1601は、可変長復号部1501で復号された各CUの予測処理情報に基づいて、予測処理を切り換えて予測画像を生成し、この予測画像を予測画像格納部1508に格納する。

CUの予測処理情報の具体例としては、図10におけるparent_pred_unit_flag、parent_prediction_unit()、parent_pred_flag、prediction_unit()の情報が挙げられる。図10における符号化ストリームのシンタックスの意味と、これらのシンタックスに対応する親CU予測部1600の処理内容は、符号化装置における親CU予測部1400と同様であるため、説明を省略する。

以上により、本実施例による画像復号化装置における予測選択部1509では、符号化ストリームのCUの予測処理情報に従い、親CUの予測画像を符号化対象CUの予測結果として用いることができる。これにより符号化ストリーム中における符号化対象CUの予測処理情報を削減できるため、圧縮率の向上が実現できる。

以上のように、本発明によれば、符号化対象CUの予測処理として、その親CUの予測画像を用いるか、別の予測処理を行うか、のいずれかを選択することを可能とする。もしも親CUの予測画像を用いることが選択された場合には、画像符号化装置は符号化対象CUの予測処理情報を送らずに、画像復号化装置で同様の親CUの予測処理を行うことにより、符号化対象CUの予測画像を生成することができ、予測処理の情報量を削減することができる。

なお、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

また、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

100…CU分割部
110…予測モード決定部
105…イントラ予測部
106…インター予測部
102…変換部
103…量子化部
104…可変長符号化部
1400…親CU予測部
1401…予測コスト比較部
1501…可変長復号化部
1502…CU分割部
1503…逆量子化部
1504…逆変換部
1507…イントラ予測部
1511…インター予測部
1509…予測選択部
1600…親CU予測部
1601…予測切替部

Claims

入力された符号化ストリームを可変長復号化し、符号化単位で逆量子化、逆変換して予測差分画像とし、前記予測差分画像と前記予測画像と加算して動画像を出力する動画像復号化装置において、
前記復号化する符号化ストリームに、第1符号化単位と前記第1符号化単位よりもサイズが大きくかつ前記第1符号化単位を包含する上位の第2符号化単位との双方の符号化単位で符号化されている符号化ストリームであった場合、
前記第1符号化単位で生成された予測画像と第2符号化単位で生成された予測画像とを生成し、
前記第1符号化単位の予測画像として、前記第2符号化単位で生成された予測画像の一部を用いることを特徴とする動画像復号化方法。
請求項1において、
前記第2符号化単位の予測画像として、前記第1符号化単位で生成された予測画像の一部を用いるか、前記第2符号化単位毎の予測画像を生成するかのいずれかを選択することを特徴とする動画像復号化方法。
請求項1において、
前記符号化ストリームから、前記第2符号化単位の予測画像を生成するか否かを示すフラグ情報を取り出し、
前記フラグ情報が前記第2符号化単位の予測画像を生成することを示す場合に前記第2符号化単位の予測画像を生成し、前記第2符号化単位で生成された予測画像の一部を前記第1符号化単位の予測画像とすることを特徴とする動画像復号化方法。
入力画像を符号化単位に分割し、符号化単位内部の予測画像を生成し、予測画像との差分をとり、予測差分画像を変換、量子化、可変長符号化して符号化ストリームを出力する動画像符号化方法であって、
前記第1符号化単位の予測画像と前記第1の符号化単位よりもサイズが大きくかつ前記第1符号化単位を包含する上位の第2符号化単位の予測画像とを生成し、
前記第1符号化単位の予測画像として、前記第2符号化単位で生成された予測画像の一部を用いることを特徴とする動画像符号化方法。
請求項1において、
前記第2符号化単位の一部を前記第1符号化単位とするか、前記第1符号化単位毎に別途予測画像を生成するかのいずれかを選択することを特徴とする動画像符号化方法。
請求項5において、
前記第2符号化単位の予測画像を生成するか否かを示すフラグ情報を符号化ストリームに格納し、
前記フラグ情報が、前記第2符号化単位の予測画像を生成することを示す場合には、前記第2符号化単位の予測画像を生成するための情報を符号化ストリームに格納することを特徴とする動画像符号化方法。