JPWO2008072500A1 - 動画像符号化装置および動画像復号装置 - Google Patents

Abstract

予測制御部（１１）が、符号化対象のブロックに含まれている高周波成分の多寡により、画面内予測方式または符号化済の縮小された符号化対象ブロックの局所復号画像を用いて予測画像を生成する縮小画像に基づく予測方式のいずれを用いるかを決定する。画面内予測方式を決定した場合には、フレームメモリ（６）に記憶されている符号化済みの隣接ブロックにおける局所復号画像がダウンサンプリング部（７ｂ）によりダウンサンプリングされて画面内予測部（１）により画面内予測し、その予測データを用いて符号化する。縮小画像に基づく予測方式を決定した場合には、下位レイヤ処理で得られた局所復号画像をフレームメモリ（６）から読出して得られた隣接画像を用いて階層間予測を行い、予測データを用いて符号化する。

Description

本発明は、動画像の高能率符号化を行なう動画像符号化装置、および、当該動画像符号化装置で符号化された符号化データを復号する動画像復号装置に関するものである

動画像の持つ空間的相関および時間的相関を利用し、高能率な符号化および復号を実現する背景技術として、非特許文献１（ＩＳＯ／ＩＥＣ １４４９６−１０：２００４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）および非特許文献２（ＩＳＯ／ＩＥＣ １４４９６−１０：２００５／ＦＰＤＡＭ３ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）記載の動画像符号化方式を用いた動画像符号化装置および動画像復号装置がある。

これらの動画像符号化方式について、以下、説明する。まず非特許文献１記載の動画像符号化方式（以下、背景技術１）について説明する。この背景技術１の動画像符号化方式は、符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を用いた画面内予測により予測画像を生成し、その予測画像を用いて符号化する画面内予測符号化方式である。以下、具体的に説明する。

図６は背景技術１を用いた動画像符号化装置のブロック図を示す。図６において、背景技術１を用いた動画像符号化装置は、画面内予測部１と、直交変換部２と、量子化部３と、逆量子化部４と、逆直交変換部５と、フレームメモリ６と、可変長符号化部９とを含む。

画面内予測部１は、画像の空間的相関を利用した画面内予測を行ない、予測画像を生成する。直交変換部２は、入力データに対し、直交変換を行なう。量子化部３は、入力データの量子化を行なう。逆量子化部４は、量子化部３の逆操作にあたる逆量子化を行なう。逆直交変換部５は、直交変換部２の逆操作にあたる逆直交変換を行なう。フレームメモリ６は、画像を一時的に記憶する。可変長符号化部９は、入力データに対し、可変長符号化を行なう。

図６に示した背景技術１における動画像符号化装置の動作は以下の通りである。
＜ステップ５０１＞
所定のブロックサイズ(Ｍ×Ｍ画素ブロック）に分割された符号化対象画像（以下符号化対象ブロック）が、当該動画像符号化装置に入力される。
＜ステップ５０２＞
画面内予測部１は、当該動画像符号化装置に入力された符号化対象ブロックに対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。

予測画像は、フレームメモリ６に記憶されている既に符号化済みの隣接ブロックにおける局所復号画像を用いて画面内予測を行なうことで生成される。この「既に符号化済みの隣接ブロック」とは、今回の符号化対象ブロック（Ｍ×Ｍ画素ブロック）よりも１つ前の段階で既に符号化されているＭ×Ｍ画素ブロックのことであり、具体的には、符号化対象ブロックの、左・上・左上・右上に位置する局所復号された４つのＭ×Ｍ画素ブロックのことである。
＜ステップ５０３＞
符号化対象ブロックと当該ブロックの予測画像の差分である予測残差データ（Ｍ×Ｍ画素ブロック）が直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ５０４＞
さらに量子化された予測残差データは、逆量子化部４および逆直交変換部５での処理によって局所復号が行なわれ、さらに、ステップ５０２にて生成された予測画像と合成されることで、当該符号化対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ５０５＞
また量子化された予測残差データは、可変長符号化部９にも入力され、可変長符号化された後、符号化データとして出力される。
＜ステップ５０６＞
符号化対象画像を構成するすべての符号化対象ブロックについて、ステップ５０１〜５０５を繰り返す。

以上のような処理で背景技術１の符号化処理は実現されており、画面内予測部１の行なう画面内予測および、直交変換部２の行なう直交変換により、符号化対象画像の持つ空間的冗長度が削減され、効率的な符号化が実現されている。

次に非特許文献２記載の動画像符号化方式（以下、背景技術２）について説明する。背景技術２では、階層符号化と呼ばれる技術を用いることで符号化を行なう。つまり、符号化対象のブロックに対して、符号化済の階層の情報に基づき階層間の冗長性を利用して符号化対象である階層を予測する階層間予測を行ない、その予測画像を用いて符号化する階層符号化方式を採用している。

図７に、背景技術２を用いた動画像符号化装置のブロック図を示す。図７において、背景技術２を用いた動画像符号化装置は、ダウンサンプリング部７と、アップサンプリング部８と、切替スイッチ１０と、フィルタ処理部１３と、階層切替制御部１４とをさらに含む。

ダウンサンプリング部７は、入力画像の画素間引きにより、縮小画像を生成する。アップサンプリング部８は、入力画像の画素補間により、拡大画像を生成する。切替スイッチ１０ｂは、２種類の入力データを所定の条件で切替えて出力する。フィルタ処理部１３は、入力画像に対しローパスフィルタ処理を行なう。階層切替制御部１４は、符号化対象の階層の切替を制御する。

その他の構成要素については、図６の動画像符号化装置と同一であるため、説明は繰り返さない。なお、切替スイッチ１０は図中に複数存在するため、符号ａ,ｂを付与し識別するものとする。なお以後、図中に複数の同一要素が存在する場合も同様の方法で識別することとする。

図７に示した背景技術２における動画像符号化装置の動作は以下の通りである。なお以下の説明では、符号化対象画像を、上位レイヤ、下位レイヤの２階層に階層化し符号化する場合に限って説明する。この階層化された上位レイヤには高周波成分および低周波成分が含まれ、下位レイヤには低周波成分のみが含まれるようにする。たとえば、ＶＧＡ（６４０×４８０画素）の画像を２レイヤで階層符号化する場合に、上位レイヤをＶＧＡの画像、下位レイヤを上位レイヤの画像を縮小して得られるＱＶＧＡ（３２０×２４０画素）の画像とする。
＜ステップ６０１＞
まず、下位レイヤの符号化を行なうため、階層切替制御部１４が切替スイッチ１０ａ、１０ｂに対する制御を行なう。切替スイッチ１０ａの出力は、ダウンサンプリング部７の出力する縮小画像、切替スイッチ１０ｂの出力は、画面内予測部１の出力する予測画像がそれぞれ選択される。
＜ステップ６０２＞
所定のブロックサイズ(Ｎ×Ｎ画素ブロック）に分割された符号化対象画像（以下符号化対象ブロック）が、当該動画像符号化装置に入力される。
＜ステップ６０３＞
符号化対象ブロックに対し、フィルタ処理部１３にてローパスフィルタ処理が施され、さらにダウンサンプリング部７にて当該符号化対象ブロックに対する縮小画像（Ｍ×Ｍ画素ブロック）が生成される。なお、ブロックサイズを表わす整数Ｎ、ＭはＮ=αＭ（αは任意の整数）の関係を満たすものとする。
＜ステップ６０４＞
画面内予測部１は、ステップ６０３で生成された縮小画像に対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。

予測画像は、フレームメモリ６に記憶されている既に符号化済みの隣接ブロックにおける局所復号画像(下位レイヤ)に対して背景技術１と同様の画面内予測を行なうことで生成される。
＜ステップ６０５＞
ステップ６０３で生成された縮小画像と当該ブロックの予測画像の差分である予測残差データ（Ｍ×Ｍ画素ブロック）が直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ６０６＞
さらに量子化された予測残差データは、逆量子化部４、逆直交変換部５での処理を経て局所復号が行なわれ、ステップ６０４にて生成された予測画像と合成されることで、当該符号化対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ６０７＞
また量子化された予測残差データは、可変長符号化部９にも入力され、可変長符号化された後、符号化データとして出力される。
＜ステップ６０８＞
符号化対象画像を構成するすべての符号化対象ブロックについて、ステップ６０１〜６０７を繰り返す。
＜ステップ６０９＞
次に、上位レイヤの符号化を行なうため、階層切替制御部１４が切替スイッチ１０ａ、１０ｂに対する制御を行なう。切替スイッチ１０ａの出力は、符号化対象画像、切替スイッチ１０ｂの出力は、アップサンプリング部８の出力する拡大画像がそれぞれ選択される。
＜ステップ６１０＞
所定のブロックサイズ（Ｍ×Ｍ画素ブロック）に分割された符号化対象画像（以下符号化対象ブロック）が、再度、当該動画像符号化装置に入力される。
＜ステップ６１１＞
アップサンプリング部８は、フレームメモリ６に記憶された符号化対象ブロックに対応する下位レイヤの局所復号画像を基に、補間処理により、当該ブロックに対応する拡大画像（Ｍ×Ｍ画素ブロック）を生成する。当該拡大画像は、符号化対象ブロックの予測画像として出力される。
＜ステップ６１２＞
符号化対象ブロックと階層間予測により得られた予測画像の差分である予測残差データ（Ｍ×Ｍ画素ブロック）が直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ６１３＞
さらに量子化された予測残差データは、逆量子化部４、逆直交変換部５での処理を経て、局所復号が行なわれ、ステップ６１１にて生成された予測画像と合成されることで、当該符号化対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ６１４＞
また量子化された予測残差データは、可変長符号化部９にも入力され、可変長符号化された後、符号化データとして出力される。
＜ステップ６１５＞
符号化対象画像を構成する、すべての符号化対象ブロックについて、ステップ６０９〜６１４を繰り返す。

以上の処理によって、背景技術２の符号化処理は実現されている。背景技術２の動画像符号化装置においては、図８に示すように、符号化対象画像ＰｉｃＡが縮小処理され、得られた縮小画像Ｐｉｃａを背景技術１と同様の処理を用いて符号化する。縮小画像に対して、画面内予測および直交変換を行なうことで、背景技術１に比べ画像における広範囲の空間的相関を利用することが可能である。

また上位レイヤの符号化においては、下位レイヤの符号化・復号処理で得られた画像Ｐｉｃｂを拡大処理して得られた画像ＰｉｃＢを予測画像として用いる階層間予測を行なうことで、背景技術１を用いてＰｉｃＡを予測するのに比べ、高精度の予測が可能になる。
ＩＳＯ／ＩＥＣ １４４９６−１０：２００４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ＩＳＯ／ＩＥＣ １４４９６−１０：２００５／ＦＰＤＡＭ３ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ

以上説明したように、背景技術１では、背景技術２に比べ画像の持つ空間的相関を狭い範囲でしか利用することができないため、画像の空間的冗長度が高い画像に対して、効率のよい符号化を行なうことができない。このような傾向は画像の解像度が高くなるほど強くなる。

一方、背景技術２では、縮小画像に対して画面内予測を行なうことで、広い範囲での空間的相関を利用することが可能である。しかしながら、背景技術２が必ずしも背景技術１に比べ効率の良い符号化を行える訳ではない。

図９は、背景技術２を用いて符号化処理を行った場合の、符号化処理過程における画像の空間周波数特性を示す図である。なお図中の記号ＰｉｃＡ〜ＰｉｃＤは図８中の各エンコード処理過程における画像、ＰｉｃＥは復号処理によって得られた復号画像に対応する。

図９では、符号化対象画像が、低周波数領域から高周波数領域までの広範囲の信号を含む場合（以下、ケース１：図中の実線）と、低周波数領域のみに信号が存在する場合と（以下、ケース２：図中の点線）の２種類の例を表わしている。下位レイヤの符号化の過程（図９（ｂ）〜（ｄ））においては、折り返し歪の影響を考慮して、縮小処理の際に、高周波数領域の信号が除去された後に、符号化処理が行なわれるため、いずれの場合も、低周波数領域の信号のみが処理され、処理の間に違いはみられない。しかし、上位レイヤの符号化においては、図９(ｅ）に示す通り、階層間予測後の予測残差画像ＰｉｃＤにおいて、ケース１のみ予測残差として現れている。ケース１のように低周波数領域から高周波数領域までの広範囲の信号を含む画像の符号化を行なう場合、縮小画像を生成する際のローパスフィルタ処理の影響、および、下位レイヤの符号化に伴う符号化歪などが影響し、上位レイヤの符号化において予測残差が低周波数領域にまで発生する場合がある。このような場合、下位レイヤ、上位レイヤのそれぞれで重複して低周波数領域に存在する信号を符号化することになるため、効率の良い符号化が出来なくなる問題すなわち圧縮率が低下するという問題が発生する。

本発明は、係る実情に鑑み考え出されたものであり、その目的は、階層符号化方式による利点を極力維持しつつ、階層符号化方式を採用した場合の無駄な符号化処理の問題をも解決することである。

上記目的を達成するためこの発明のある局面に従えば、画像を所定サイズの複数のブロックに分割し、かつ符号化する動画像符号化装置を提供する。動画像符号化装置は、予測部と、符号化部と、予測制御部と、予測方式情報生成部とを含む。予測部は、符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測方式と、符号化済の縮小された符号化対象ブロックの局所復号画像を用いて予測画像を生成する縮小画像に基づく予測方式との、いずれの方式でも予測を実行可能である。符号化部は、該予測部による予測画像を用いて符号化を行なう。予測制御部は、符号化対象のブロックに対する予測方式として、画面内予測方式または縮小画像に基づく予測方式のいずれを用いるかを所定のブロック毎に決定し、該決定した予測方式により予測部に予測を実行させる制御を行なう。予測方式情報生成部は、符号化部により符号化された符号化データを復号する際に当該符号化データの生成に用いられた予測方式を特定できるように、予測制御部が所定のブロック毎に決定した予測方式を特定するための予測方式情報を符号化する。

好ましくは、予測部は、符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測部と、当該ブロックの符号化済縮小画像を拡大し、当該ブロックの予測画像を生成するアップサンプリング部とを含む。符号化部は、予測制御部が画面内予測方式に決定した場合に、画面内予測部による予測画像を符号化に用い、予測制御部が縮小画像に基づく予測方式に決定した場合に、アップサンプリング部による予測画像を符号化に用いる。

さらに好ましくは、符号化済縮小画像は、画面内予測部を用いて画面内予測された後、符号化される。

好ましくは、予測方式情報生成部は、予測方式情報として、所定のブロックに隣接する符号化済ブロックの符号化に用いられた予測方式に基づいて導出された推定予測方式と、所定のブロックの予測方式が一致するか否かの情報とを出力する。

好ましくは、符号化部は、予測制御部が縮小画像に基づく予測方式を選択した場合には、予測部による予測画像と符号化対象ブロックの画像との差分画像を符号化しない。

この発明の別の局面に従えば、画像を構成するブロック毎に符号化データを復号する動画像復号装置を提供する。動画像復号装置は、予測部と、復号部と、予測方式特定部とを含む。予測部は、復号対象のブロックに対する予測方式として、復号済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測方式と、復号済の縮小された復号対象ブロックを用いて予測画像を生成する縮小画像に基づく予測方式との、いずれの方式でも予測を実行可能である。復号部は、該予測部による予測画像を復号に用いる。予測方式特定部は、復号対象のブロックに用いられた予測方式を特定する予測方式情報から予測方式を特定する。予測部は、予測方式特定部により特定された予測方式により予測を実行する。

好ましくは、予測部は、復号対象のブロックに対して、復号済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測部と、当該ブロックの復号済縮小画像を拡大し、当該ブロックの予測画像を生成するアップサンプリング部とを含む。復号部は、予測方式特定部が画面内予測方式を特定した場合に、画面内予測部による予測画像を復号に用い、予測方式特定部が縮小画像に基づく予測方式を特定した場合に、アップサンプリング部による予測画像を復号に用いる。

さらに好ましくは、復号済縮小画像は、復号された後、画面内予測部を用いて画面内予測された画像データである。

好ましくは、予測方式特定部は、予測方式情報として、復号対象ブロックに隣接する復号済ブロックの復号に用いられた予測方式に基づいて導出された推定予測方式と、復号対象ブロックの予測方式が一致するか否かの情報とを出力する。

好ましくは、復号部は、予測制御部が縮小画像に基づく予測方式を選択した場合には、予測部による予測画像を当該復号対象ブロックの復号画像とする。

本発明の動画像符号化装置および動画像復号装置によれば、所定サイズのブロック毎に予測方式を適応的に切替えることで、効率的な符号化および復号を実現できる。また、本発明の動画像符号化装置では、縮小画像を基にした予測を行なう際、縮小画像作成のためのローパスフィルタ処理が不要であり、処理量を削減することが可能である。

本発明の第１の実施形態に従う動画像符号化装置のブロック図である。 本発明の第１の実施形態の別形態に従う動画像符号化装置のブロック図である。 本発明の第１の実施形態に従う動画像復号装置のブロック図である。 本発明の第２の実施形態に従う動画像符号化装置のブロック図である。 本発明の第２の実施形態に従う動画像復号装置のブロック図である。 背景技術１を用いた動画像符号化装置のブロック図である。 背景技術２を用いた動画像符号化装置のブロック図である。 背景技術２における符号化処理の説明図である。 背景技術２における符号化特性の説明図である。

符号の説明

１ 画面内予測部、２ 直交変換部、３ 量子化部、４ 逆量子化部、５ 逆直交変換部、６ フレームメモリ、７ ダウンサンプリング部、８ アップサンプリング部、９ 可変長符号化部、１０ 切替スイッチ、１１ 予測制御部、１２ 可変長復号部、１３ フィルタ処理部、１４ 階層切替制御部。

［実施形態１]
まず、本発明の第１の実施形態に従う動画像符号化装置について説明する。図１は、本実施形態における動画像符号化装置のブロック図を示す。図１において、予測制御部１１は、符号化対象画像の符号化対象ブロック毎に、切替スイッチ１０ａ、１０ｂ、１０ｃを制御することで、当該符号化対象ブロックに用いる予測方法を決定する。その他の構成要素については、図７の動画像符号化装置における各構成要素と同一であるため、詳細な説明は繰り返さない。

次に本実施形態に従う動画像符号化装置の動作について説明する。本実施形態に従う動画像符号化装置の動作は、以下の通りである。なお、以下の説明においても、背景技術の説明で用いたのと同じブロックサイズＮ×Ｎ画素ブロック、Ｍ×Ｍ画素ブロックを単位として符号化および復号するものとして説明する。
＜ステップ１０１＞
所定のブロックサイズ(Ｎ×Ｎ画素ブロック）に分割された符号化対象画像（以下符号化対象ブロック）が、当該動画像符号化装置に入力される。
＜ステップ１０２＞
予測制御部１１は、符号化対象ブロックの空間周波数特性を基に、当該ブロックに用いる予測方式を決定する。当該ブロックに、高周波数成分が所定量以上含まれている場合には、背景技術１と同様に画面内予測を用いる。一方、当該ブロックにおける高周波数成分が所定量未満の場合には、当該ブロックに対する縮小画像を基にした予測を用いるよう制御する。予測方式の決定方法の詳細については後述する。

なお予測制御部１１が決定した当該ブロックに用いる予測方式は、可変長符号化部９にて可変長符号化され、符号化データとして出力される。

また予測制御部１１は、切替スイッチ１０ａ、１０ｂ、１０ｃを制御し、背景技術１と同様に画面内予測による予測を行なう場合には、切替スイッチ１０ａの出力を符号化対象画像、切替スイッチ１０ｂの出力をフレームメモリ６から出力される局所復号画像、切替スイッチ１０ｃの出力を画面内予測部１の出力する予測画像、にそれぞれ設定する。この場合、以降の処理としてはステップ１０３〜ステップ１０８までの処理が行なわれる。

一方、縮小画像を基にした予測を用いる場合には、一旦、切替スイッチ１０ａ、１０ｂの出力は、ダウンサンプリング部の出力する縮小画像、切替スイッチ１０ｃの出力は画面内予測部１の出力する予測画像、にそれぞれ設定され、ステップ１０９以降の処理が行なわれる。
＜ステップ１０３＞
符号化対象ブロックはさらに、所定ブロックサイズ（Ｍ×Ｍ画素ブロック）に分割され、それぞれのブロックについて、以下の処理が行なわれる。
＜ステップ１０４＞
画面内予測部１は、当該ブロックに対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。なお予測画像は、フレームメモリ６に記憶されている既に符号化済みの隣接ブロックにおける局所復号画像を用いて画面内予測を行なうことで生成される。
＜ステップ１０５＞
当該ブロックとステップ１０４にて生成された予測画像の差分である予測残差データ（Ｍ×Ｍ画素ブロック）が直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ１０６＞
さらに量子化された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て、局所復号が行なわれ、ステップ１０２にて生成された予測画像と合成されることで、当該ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ１０７＞
また量子化された予測残差データは、可変長符号化部９にも入力され、可変長符号化された後、符号化データとして出力される。
＜ステップ１０８＞
符号化対象ブロック（Ｎ×Ｎ画素ブロック）を構成するすべてのブロック（Ｍ×Ｍ画素ブロック）について、ステップ１０３〜ステップ１０７が繰り返された後、ステップ１１９の処理が実行される。
＜ステップ１０９＞
ダウンサンプリング部７ａが、符号化対象ブロックに対し、縮小画像（Ｍ×Ｍ画素ブロック）を生成する。具体的には、符号化対象ブロック（Ｎ×Ｎ画素ブロック）をＭ×Ｍ個の正方形の小領域に分割して、各小領域の左上に位置する画素を抽出することで縮小画像が生成される。
＜ステップ１１０＞
画面内予測部１は、ステップ１０９で生成された縮小画像に対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。なお、フレームメモリ６に記憶されている既に符号化済みの隣接ブロックにおける局所復号画像（Ｎ×Ｎ画素ブロック）をダウンサンプリング部７ｂにて縮小処理して得られる画素ブロックを用いて画面内予測を行なうことで、予測画像は生成される。ダウンサンプリング部７ｂにおける縮小処理は、ダウンサンプリング７ａにおける縮小処理と同様である。
＜ステップ１１１＞
ステップ１０９で生成された縮小画像とステップ１１０で生成された当該ブロックの予測画像との差分である予測残差データ（Ｍ×Ｍ画素ブロック）が直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ１１２＞
さらに量子化された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て、局所復号が行なわれ、ステップ１１０にて生成された予測画像と合成されることで、当該ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ１１３＞
また量子化された予測残差データは、可変長符号化部９にも入力され、可変長符号化された後、符号化データとして出力される。
＜ステップ１１４＞
予測制御部１１は、切替スイッチ１０ａ、１０ｃを制御し、切替スイッチ１０ａの出力を符号化対象画像、切替スイッチ１０ｃの出力をアップサンプリング部８の出力する拡大画像、にそれぞれ設定する。
＜ステップ１１５＞
アップサンプリング部８は、ステップ１１２でフレームメモリ６に記憶した縮小画像の局所復号画像（Ｍ×Ｍ画素ブロック）から拡大画像（Ｎ×Ｎ画素ブロック）を生成する。なお当該拡大画像は、符号化対象ブロックに対する予測画像として出力する。
＜ステップ１１６＞
符号化対象ブロックをＭ×Ｍ画素ブロックに分割して、各画素ブロックとステップ１１５により得られた予測画像上の対応する領域の差分である予測残差データ（Ｍ×Ｍ画素ブロック）がそれぞれ直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ１１７＞
さらに量子化された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て、局所復号が行なわれ、ステップ１１１にて生成された予測画像と合成されることで、当該符号化対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ１１８＞
また量子化された予測残差データは、可変長符号化部９にも入力され、可変長符号化された後、符号化データとして出力される。
＜ステップ１１９＞
符号化対象画像を構成する、すべての符号化対象ブロックについて、ステップ１０１〜１１８を繰り返す。

以上説明したように、本実施形態に従う動画像符号化装置においては、所定のブロックサイズ毎に画面内予測、あるいは、縮小画像を基にした予測のいずれかを適応的に切替えることで、効率の良い符号化を実現することができる。

次に、上述した動画像符号化装置の動作のステップ１０２における予測方式決定方法の詳細について説明する。前述の通り、予測制御部１１は符号化対象ブロックに含まれる高周波成分の推定量の大小により予測方式を決定する。８×８画素からなる符号化対象ブロックの高周波成分の推定量ＡＨは次式により導出される。

ここで、Ａ（ｕ，ｖ)は符号化対象ブロックの画像ａ(ｉ，ｊ)をＤＣＴ変換して得られる周波数成分である。なお、ｉ，ｊはブロック内の水平方向，鉛直方向の位置をそれぞれ示す値である。また、ｕ，ｖは８×８画素ブロックをＤＣＴ変換して得られる水平、鉛直方向の周波数成分の位置をそれぞれ表わす。

予測制御部１１は、あらかじめ実験により定めた閾値Ｄ１を用いて、高周波成分の推定量ＡＨがＤ１よりも小さいならば縮小画像を基にした予測を行ない、ＡＨがＤ１以上ならば背景技術１と同様の画面内予測を行なうように制御する。

なお上記の説明では、予測制御部１１は、符号化対象ブロックの空間周波数特性を基に当該ブロックに用いる予測方式を決定するものとしたが、一旦、それぞれの予測方式を用いた符号化を行った後、発生符号量と、局所復号画像に含まれる歪の量を基に、当該ブロックに用いる予測方式を決定する構成であってもよい。

さらに本実施形態に従う動画像符号化装置においては、予測方式として、画面内予測、縮小画像を用いた予測の２種類のみを切替える構成として説明したが、たとえば、予測特性の異なる複数の画面内予測方式を適応的に切替え可能な構成であってもよい。たとえば、符号化対象ブロックに隣接するブロックをＤＣＴ変換して得られるＤＣＴ係数を用いて当該ブロックにおけるＤＣＴ係数を予測し、予測したＤＣＴ係数を逆ＤＣＴして当該ブロックの予測画像を得る予測方式を、前述した２つの予測方式に加えることもできる。

なお、本実施形態に従う動画像符号化装置においては、対象画像に含まれる空間周波数成分を解析し、高周波数成分が殆ど存在しない場合にのみ、縮小画像を用いた予測を行なうため、背景技術２では縮小画像を作成する際に折り返し歪の影響を考慮し必須であったローパスフィルタ処理は実施する必要がない。しかし高周波数領域に存在するノイズ除去し、更に符号化効率を高める目的で、ダウンサンプリング処理の直前にローパスフィルタ処理を実施する図２のような構成を採用してもよい。

なお、本実施形態に従う動画像符号化装置の説明においては、予測制御部１１にて決定された当該ブロックに用いる予測方式が、可変長符号化部９にて可変長符号化されるものとしたが、予測制御部１１が隣接ブロックの符号化に用いた予測方式に基づいて当該ブロックに用いる予測方式を推定し、当該ブロックに用いる予測方式と推定した予測方式が異なるか否かの情報を可変長符号化部９にて可変長符号化しても構わない。たとえば、当該ブロックの符号化に用いる予測方式をＰｃ、当該ブロックの上、左に隣接するブロックにおいて用いられた予測方式をそれぞれＰｔ，Ｐｌとする。そして、ＰｔとＰｌがともに縮小画像を基にした予測である場合には、縮小画像を基にした予測をＰｃの推定値とし、それ以外の場合には、画面内予測をＰｃの推定値とする。当該ブロックの予測方式と隣接ブロックの予測方式との間の相関を利用することにより、予測方式の符号化に必要な符号量を削減することができる。

次に本実施形態に従う動画像復号装置について説明する。図３は、本実施形態に従う動画像復号装置のブロック図を示す。

図３において、可変長復号部１２は、符号化データの可変長復号を行なう。その他の構成は、図１の動画像符号化装置の各要素と同一であり、詳細な説明は繰り返さない。
＜ステップ２０１＞
入力された符号化データから、Ｎ×Ｎ画素ブロックからなる復号対象画像（以下復号対象ブロック）に用いる予測方式が、可変長復号部１２にて復号される。

このとき、背景技術１と同様の画面内予測が用いられる場合には、切替スイッチ１０ａの出力はフレームメモリ６の出力する局所復号画像に設定され、以降の処理はステップ２０２〜ステップ２０５までの処理が実行される。

一方、縮小画像を基にした予測が用いられる場合には、切替スイッチ１０ａの出力は、ダウンサンプリング部７の出力結果に設定され、ステップ２０６以降の処理が行なわれる。

また、いずれの予測方式が用いられる場合においても、一旦、切替スイッチ１０ｂの出力は画面内予測部１の出力する予測画像に設定される。
＜ステップ２０２＞
復号対象ブロックは更に、所定ブロックサイズ（Ｍ×Ｍ画素ブロック）に分割され、それぞれのブロックについて、可変長復号部１２にて予測残差データの可変長復号が行なわれる。
＜ステップ２０３＞
画面内予測部１は、当該ブロックに対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。
＜ステップ２０４＞
ステップ２０２で可変長復号された予測残差データは、逆量子化部４、逆直交変換部５での処理を経て、局所復号が行なわれ、ステップ２０３にて生成された予測画像と合成されることで、当該復号対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ２０５＞
復号対象ブロックを構成するすべてのブロックについて、ステップ２０２〜ステップ２０４が繰り返された後、ステップ２１４の処理が実行される。
＜ステップ２０６＞
復号対象ブロックに対する縮小画像（Ｍ×Ｍ画素ブロック）について、可変長復号部１２にて予測残差データの可変長復号が行なわれる。
＜ステップ２０７＞
画面内予測部１は、当該ブロックに対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。画面内予測には、動画像符号化装置と同様に、フレームメモリ６に記憶された隣接ブロックの局所復号画像をダウンサンプリング部７ｂにて縮小処理した上で用いる。
＜ステップ２０８＞
ステップ２０６で可変長復号された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て局所復号が行なわれ、ステップ２０７にて生成された予測画像と合成されることで、当該ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ２０９＞
可変長復号部１２は、切替スイッチ１０ｂを制御し、切替スイッチ１０ｂの出力をアップサンプリング部８の出力する拡大画像へ切替える。
＜ステップ２１０＞
復号対象ブロックは更に、所定ブロックサイズ（Ｍ×Ｍ画素ブロック）に分割され、それぞれのブロックについて、可変長復号部１２にて予測残差データの可変長復号が行なわれる。
＜ステップ２１１＞
アップサンプリング部８は、ステップ２０８でフレームメモリに記憶した縮小画像の局所復号画像を基に拡大画像（Ｍ×Ｍ画素ブロック）を生成する。

当該拡大画像は、復号対象ブロックに対する予測画像として出力する。
＜ステップ２１２＞
ステップ２１０にて可変長復号された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て局所復号が行なわれ、ステップ２１１にて生成された予測画像と合成されることで、当該復号対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ２１３＞
復号対象ブロックを構成するすべてのブロックについて、ステップ２０６〜ステップ２１２を繰り返す。
＜ステップ２１４＞
復号対象画像を構成する、すべての復号対象ブロックについて、ステップ２０１〜２１３を繰り返す。

以上のような動画像復号装置の処理により、本実施形態に従う動画像符号化装置で生成された符号化データは復号される。

［実施形態２]
次に本発明の第２の実施形態に従う動画像符号化装置および動画像復号装置について順に説明する。

まず本実施形態の動画像符号化装置について説明する。図４は、本発明の第２の実施形態に従う動画像符号化装置のブロック図を示す。各構成要素については、図１の動画像符号化装置の構成要素と同一であるため詳細な説明は繰り返さない。

なお本実施形態の動画像符号化装置の動作は、以下の通りである。
＜ステップ３０１＞
所定のブロックサイズ(Ｎ×Ｎ画素ブロック）に分割された符号化対象画像（以下符号化対象ブロック）が、当該動画像符号化装置に入力される。
＜ステップ３０２＞
予測制御部１１は、符号化対象ブロックの空間周波数特性を基に、当該ブロックに用いる予測方式を決定する。当該ブロックに、高周波数成分が所定量以上含まれている場合には、背景技術１と同様に画面内予測を用いる。一方、当該ブロックにおける高周波数成分が所定量未満の場合には、当該ブロックに対する縮小画像を基にした予測を用いるよう制御する。

なお予測制御部１１が決定した当該ブロックに用いる予測方式は、可変長符号化部９にて可変長符号化され、符号化データとして出力される。

また予測制御部１１は、切替スイッチ１０ａ、１０ｂ、１０ｃを制御し、背景技術１と同様に画面内予測による予測を行なう場合には、切替スイッチ１０ａの出力を符号化対象画像、切替スイッチ１０ｂの出力はフレームメモリ６の出力する局所復号画像、切替スイッチ１０ｃの出力は画面内予測部１と逆直交変換部５の出力を合成した合成画像を出力するように設定する。この場合、以降の処理としてはステップ３０３〜ステップ３０８までの処理が行なわれる。

一方、縮小画像を基にした予測を用いる場合には、切替スイッチ１０ａ、１０ｂの出力は、ダウンサンプリング部の出力する縮小画像、切替スイッチ１０ｃの出力はアップサンプリング部８の出力する拡大画像、がそれぞれ設定され、ステップ３０９以降の処理が行なわれる。
＜ステップ３０３＞
符号化対象ブロックは更に、所定ブロックサイズ（Ｍ×Ｍ画素ブロック）に分割され、それぞれのブロックについて、以下の処理が行なわれる。
＜ステップ３０４＞
画面内予測部１は、当該ブロックに対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。予測画像は、フレームメモリ６に記憶されている既に符号化済みの隣接ブロックにおける局所復号画像に対して画面内予測を行なうことで生成される。
＜ステップ３０５＞
当該ブロックとステップ３０４にて生成された予測画像の差分である予測残差データ（Ｍ×Ｍ画素ブロック）が直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ３０６＞
さらに量子化された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て局所復号が行なわれ、ステップ３０２にて生成された予測画像と合成されることで、当該符号化対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ３０７＞
また量子化された予測残差データは、可変長符号化部９にも入力され、可変長符号化された後、符号化データとして出力される。
＜ステップ３０８＞
符号化対象ブロックを構成するすべてのブロックについて、ステップ３０３〜ステップ３０７が繰り返された後、ステップ３１４の処理が実行される。
＜ステップ３０９＞
ダウンサンプリング部７ａにて、符号化対象ブロックに対し、縮小画像（Ｍ×Ｍ画素ブロック）が生成される。
＜ステップ３１０＞
画面内予測部１は、ステップ３０９で生成された縮小画像に対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。

なお、フレームメモリ６に記憶されている既に符号化済みの隣接ブロックにおける局所復号画像をダウンサンプリング部７ｂにて縮小処理して得られる画素ブロックを用いて、画面内予測を行なうことで予測画像は生成される。
＜ステップ３１１＞
ステップ３０９で生成された縮小画像と当該ブロックの予測画像の差分である予測残差データ（Ｍ×Ｍ画素ブロック）が直交変換部２および量子化部３の順に入力され、それぞれ直交変換および量子化処理が実行される。
＜ステップ３１２＞
さらに量子化された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て、局所復号が行なわれ、ステップ３１０にて生成された予測画像と合成される。
＜ステップ３１３＞
ステップ３１２で得られた画像（Ｍ×Ｍ画素ブロック）は、アップサンプリング部８の補間処理によって拡大され、当該符号化対象ブロックの局所復号画像（Ｎ×Ｎ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ３１４＞
符号化対象画像を構成する、すべての符号化対象ブロックについて、ステップ３０１〜３１３を繰り返す。

以上説明したように、本実施形態の動画像符号化装置においても、実施形態１に従う動画像符号化装置と同様、予測方式を適応的に切替えることで、効率の良い符号化を実現する。

さらに、本実施形態に従う動画像符号化装置では、縮小画像を用いた予測を行なう場合には、当該ブロックにおける高周波数成分が殆ど存在しないことを利用し、縮小画像の符号化結果のみを符号化する。すなわち、本実施形態に従う動画像符号化装置では、局所復号された縮小画像をアップサンプリングして得られる画像と当該ブロックの画像との差分画像を符号化しないことで、更なる符号化効率の向上を可能としている。さらに、当該ブロックにおける高周波成分が殆ど存在しないため、図１、図４に示した動画像符号化装置では、縮小画像を基にした予測を行なう際、縮小画像作成のためのローパスフィルタ処理が不要であり、処理量を削減することが可能である。

次に本実施形態に従う動画像復号装置について説明する。図５は、本発明の第２の実施形態における動画像復号装置のブロック図を示す。各構成要素については、図３の動画像復号装置の各構成要素と同一であるため説明は繰り返さない。なお本実施形態の動画像復号装置の動作は以下の通りである。
＜ステップ４０１＞
入力された符号化データから、Ｎ×Ｎ画素ブロックからなる復号対象画像（以下復号対象ブロック）に用いる予測方式が、可変長復号部１２にて復号される。

復号対象ブロックに対し、背景技術１と同様の画面内予測が用いられる場合には、切替スイッチ１０aの出力はフレームメモリから出力される局所復号画像、切替スイッチ１０ｂの出力は、画面内予測部１と逆直交変換部５からの出力の合成画像にそれぞれ設定され、以降の処理としてステップ４０２〜ステップ４０５が実行される。

一方、縮小画像を基にした予測が用いられる場合には、切替スイッチ１０ａの出力は、ダウンサンプリング部７の出力、切替スイッチ１０ｂの出力は、アップサンプリング部８の出力にそれぞれ設定され、以降の処理として、ステップ４０６以降の処理が行なわれる。
＜ステップ４０２＞
復号対象ブロックは更に、所定ブロックサイズ（Ｍ×Ｍ画素ブロック）に分割され、それぞれのブロックについて、可変長復号部１２にて予測残差データの可変長復号が行なわれる。
＜ステップ４０３＞
画面内予測部１は、当該ブロックに対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。
＜ステップ４０４＞
ステップ４０２で可変長復号された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て局所復号が行なわれ、ステップ４０３にて生成された予測画像と合成されることで、当該復号対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）として、フレームメモリ６へ記憶される。
＜ステップ４０５＞
復号対象ブロックを構成するすべてのブロックについて、ステップ４０２〜ステップ４０４が繰り返された後、ステップ４０９へ。
＜ステップ４０６＞
復号対象ブロックに対する縮小画像（Ｍ×Ｍ画素ブロック）について、可変長復号部１２にて予測残差データの可変長復号が行なわれる。
＜ステップ４０７＞
画面内予測部１は、当該ブロックに対する予測画像（Ｍ×Ｍ画素ブロック）を生成する。画面内予測には、動画像符号化装置と同様に、フレームメモリ６に記憶された隣接ブロックの局所復号画像をダウンサンプリング部７にて縮小処理した上で用いる。
＜ステップ４０８＞
ステップ４０６で可変長復号された予測残差データは、逆量子化部４および逆直交変換部５での処理を経て局所復号が行なわれ、ステップ４０７にて生成された予測画像と合成された後、アップサンプリング部８にてＮ×Ｎ画素ブロックに拡大処理され、当該ブロックの局所復号画像として、フレームメモリ６へ記憶される。
＜ステップ４０９＞
復号対象画像を構成するすべての復号対象ブロックについて、ステップ４０１〜４０８を繰り返す。
以上のような動画像復号装置の処理により、本実施形態の動画像符号化装置で生成された符号化データは復号される。

［その他の変形例］
次に、その他の変形例を記載する。

（１） 上述した動画像符号化装置の動作説明のステップ１１５（図１）またはステップ３１３（図４）において縮小画像を拡大する方法について以下に示す。背景技術２で定められた方法を用いる以外にもアップサンプリングを行ない予測画像を導出する方法がある。たとえば、背景技術２ではＬａｎｃｚｏｓ３関数に基づく６タップの補間フィルタを基本としてアップサンプリング処理を行なうことで、画像の高周波成分の高精度に補間することができる。しかし、本発明の場合には高周波成分をあまり含まない領域に対してのみ縮小画像を基にした予測を行なうので、高周波成分の補間精度で劣る２タップの線形補間フィルタを利用しても符号化効率への影響は小さい。２タップの線形補間フィルタを利用する場合は、アップサンプリングに必要な処理量を低減することができる。

（２） 上述した動画像符号化装置の動作説明では、ダウンサンプリング部７ａおよびダウンサンプリング部７ｂにおいて、Ｍ×Ｍ個の各小領域内で左上に位置する画素を抽出して縮小画像を構成するとしたが、各小領域内の別の位置、たとえば右下に位置する画素を抽出して縮小画像を構成しても構わない。ブロックをラスタスキャン順に処理する場合には、小領域内の右下の画素を使って縮小画像を構成することで、アップサンプリング時に参照可能な画素数が増加し、その結果として縮小画像を基にした予測画像の精度が向上するという利点がある。

なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

Claims (10)

1. 符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測方式と、符号化済の縮小された前記符号化対象ブロックの局所復号画像を用いて予測画像を生成する縮小画像に基づく予測方式との、いずれの方式でも予測を実行可能な予測部と、
   該予測部による予測画像を用いて符号化を行なう符号化部と、
   前記符号化対象のブロックに対する予測方式として、前記画面内予測方式または前記縮小画像に基づく予測方式のいずれを用いるかを所定のブロック毎に決定し、該決定した予測方式により前記予測部に予測を実行させる制御を行なう予測制御部と、
   前記符号化部により符号化された符号化データを復号する際に当該符号化データの生成に用いられた予測方式を特定できるように、前記予測制御部が前記所定のブロック毎に決定した予測方式を特定するための予測方式情報を符号化する予測方式情報生成部とを備える、動画像符号化装置。
2. 前記予測部は、
   符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測部と、
   当該ブロックの符号化済縮小画像を拡大し、当該ブロックの予測画像を生成するアップサンプリング部と、を含み、
   前記符号化部は、前記予測制御部が前記画面内予測方式に決定した場合に、前記画面内予測部による予測画像を前記符号化に用い、前記予測制御部が前記縮小画像に基づく予測方式に決定した場合に、前記アップサンプリング部による予測画像を前記符号化に用いる、請求の範囲第１項に記載の動画像符号化装置。
3. 前記符号化済縮小画像は、前記画面内予測部を用いて画面内予測された後、符号化される、請求の範囲第２項に記載の動画像符号化装置。
4. 前記予測方式情報生成部は、前記予測方式情報として、前記所定のブロックに隣接する符号化済ブロックの符号化に用いられた予測方式に基づいて導出された推定予測方式と、前記所定のブロックの予測方式が一致するか否かの情報とを出力する、請求の範囲第１項に記載の動画像符号化装置。
5. 前記符号化部は、前記予測制御部が前記縮小画像に基づく予測方式を選択した場合には、前記予測部による予測画像と前記符号化対象ブロックの画像との差分画像を符号化しない、請求の範囲第１項に記載の動画像符号化装置。
6. 画像を構成するブロック毎に符号化データを復号する動画像復号装置であって、
   復号対象のブロックに対する予測方式として、復号済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測方式と、復号済の縮小された前記復号対象ブロックを用いて予測画像を生成する縮小画像に基づく予測方式との、いずれの方式でも予測を実行可能な予測部と、
   該予測部による予測画像を復号に用いる復号部と、
   前記復号対象のブロックに用いられた予測方式を特定する予測方式情報から予測方式を特定する予測方式特定部と、を備え、
   前記予測部は、前記予測方式特定部により特定された予測方式により予測を実行する、動画像復号装置。
7. 前記予測部は、
   復号対象のブロックに対して、復号済の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測部と、
   当該ブロックの復号済縮小画像を拡大し、当該ブロックの予測画像を生成するアップサンプリング部と、を含み、
   前記復号部は、前記予測方式特定部が前記画面内予測方式を特定した場合に、前記画面内予測部による予測画像を前記復号に用い、前記予測方式特定部が前記縮小画像に基づく予測方式を特定した場合に、前記アップサンプリング部による予測画像を前記復号に用いる、請求の範囲第６項に記載の動画像復号装置。
8. 前記復号済縮小画像は、復号された後、前記画面内予測部を用いて画面内予測された画像データである、請求の範囲第７項に記載の動画像復号装置。
9. 前記予測方式特定部は、前記予測方式情報として、前記復号対象ブロックに隣接する復号済ブロックの復号に用いられた予測方式に基づいて導出された推定予測方式と、前記復号対象ブロックの予測方式が一致するか否かの情報とを出力する、請求の範囲第６項に記載の動画像復号装置。
10. 前記復号部は、前記予測制御部が前記縮小画像に基づく予測方式を選択した場合には、前記予測部による予測画像を当該復号対象ブロックの復号画像とする、請求の範囲第６項に記載の動画像復号装置。

Images