JP4835855B2

JP4835855B2 - 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム

Info

Publication number: JP4835855B2
Application number: JP2006539334A
Authority: JP
Inventors: 崇博木本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-10-07
Filing date: 2005-10-06
Publication date: 2011-12-14
Anticipated expiration: 2025-10-06
Also published as: JPWO2006038679A1; US8428116B2; US20080031328A1; WO2006038679A1

Description

本発明は動画像を符号化して符号化データを生成する動画像符号化の装置、方法及びプログラムと、符号化データを復号する動画像復号の装置方法及びプログラムに関し、特に、異なる解像度の動画像を階層的に符号化するスケーラブル符号化に関わる動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラムとに関する。

スケーラブル符号化とは、単一の符号化データから一部を切り出し、その切り出した符号化データを復号することで異なる解像度やフレームレートやビットレートの復号画像を生成できるような符号化技術のことをいう。スケーラブル符号化により、異なる再生環境を持つ端末や伝送環境に対して独立に符号化データを用意するよりも、符号化の処理コスト、蓄積コスト、配信までのコストが大幅に低減する。国際標準の符号化技術であるMPEGにおいても、単一の動画像を符号化する技術と同時にスケーラブル符号化技術が策定されている。そして、このスケーラブル符号化技術において、高能率に符号化する技術も提案されている（例えば、特許文献１）。

図７は、上述の従来技術である、高能率に符号化するスケーラブル符号化技術を有する動画像符号化装置の構成を表すブロック図である。図７を用いて従来技術の動画像符号化装置の動作を説明する。

図７に示す動画像符号化装置は、異なる解像度を持つ２つの入力画像信号1000および2000を符号化する。

符号化器20は、小さい方の解像度（以下下位階層と呼ぶ）を持つ入力画像信号2000を符号化し、テクスチャ情報符号化データ2001および動き情報符号化データ2999を生成する。符号化器20は同時にこれらの符号化データを復号して得られる復号画像信号2002を出力する。フィルタ199は復号画像信号2002を大きい方の解像度（以下上位階層と呼ぶ）を持つ入力画像信号1000と同じ解像度に拡大し、拡大復号画像信号2003を出力する。符号化器11は、拡大復号画像信号2003を参照して入力画像信号1000を符号化し、テクスチャ情報符号化データ1002および動き情報符号化データ1999を生成する。

符号化器20は、従来より用いられている単一解像度の画像信号を符号化する符号化器であり、例えばMPEGで定められる動画像符号化器が用いられる。

符号化器11は、フレームメモリ100、動き推定部101、動き補償部102、フィルタ104、テクスチャ変換部105、テクスチャ符号化部112、テクスチャ逆変換部106、動き情報符号化部107からなる。以下に符号化器10の構成および動作について詳細な説明を行う。

フレームメモリ100は、過去に入力画像信号1000を符号化した後復号した復号画像信号を格納している。動き推定部101は、フレームメモリ100に格納された復号画像信号1005および拡大復号画像信号2003を参照し、これらの参照信号に対して入力画像信号1000内の各領域がどのように動いたかを表す動き情報1998を生成する。動き補償部102は、復号画像信号1006および拡大復号画像信号2003に対し動き情報1998に従って動き補償処理を行い、入力画像信号1000の予測信号1007を生成する。入力画像信号1000から予測信号1007を減算し、予測誤差信号1001を生成する。テクスチャ変換部105は、予測誤差信号1001に対して周波数変換および量子化を行う。テクスチャ符号化部112は加工予測誤差信号2006を参照し、テクスチャ変換部105の出力する量子化変換係数情報1012を符号化する。テクスチャ符号化部112は量子化変換係数情報1012を符号化してテクスチャ情報符号化データ1002を生成する。動き情報符号化部107は動き情報1998を符号化して動き情報符号化データ1999を生成する。テクスチャ逆変換部106は加工予測誤差信号2006を参照し、量子化変換係数情報1012に対して逆量子化および周波数逆変換を行い復号予測誤差信号1003を出力する。復号予測誤差信号1003と予測信号1007を加算し、復号画像信号1004が生成される。復号画像信号1004はフレームメモリ100に格納され、入力画像信号1000の他のフレームを符号化する時に動き補償の参照信号として用いられる。

上位階層の画像信号を符号化する際に、既に符号化した過去のフレームに加えて、下位階層の画像信号の復号結果を参照することで、より高能率に符号化することができる。例えば、過去のフレームでは物体の影になって映っておらず、現在のフレームで初めて現れた領域は、時間方向の相関性を考慮した動き補償予測よりも、下位階層の画像信号の復号結果との差分を符号化することで高能率に符号化することができる。
特開２００１−３２０７１５号公報

スケーラブル符号化技術には、単一の画像信号を符号化する従来より用いられる符号化技術と同等の符号化効率が要求される。スケーラブル符号化では、上位階層の画像を復号するには下位階層の符号化データと上位階層の符号化データとが必要となる。これらのデータ量の総和が、上位階層の復号結果と同一画質となるよう、上位階層画像信号を単独で符号化したときのデータ量とほぼ等しいことが望まれる。従来技術では、上位階層の画像信号を符号化する際に、下位階層の画像信号の復号結果との差分を符号化することで、符号化効率を向上させている。

しかし、上述の要求を満たすには、さらなる符号化効率の向上が必要となる。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、異なる解像度の画像信号を高能率に階層符号化する動画像符号化および復号システムを提供することにある。

上記課題を解決する第１の発明は、異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化装置であって、第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する第１の画像符号化手段と、第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、前記拡大復号画像信号を参照して前記第２の入力画像信号を符号化し、第２の符号化データを生成する第２の画像符号化手段とからなり、前記第２の画像符号化手段が、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号を参照して、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理を行うことを特徴とする。

上記課題を解決する第２の発明は、異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化装置であって、第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する第１の画像符号化手段と、第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、前記拡大復号画像信号を参照して前記第２の入力画像信号を符号化し、第２の符号化データを生成する第２の画像符号化手段とからなり、前記第２の画像符号化手段が、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号を参照して、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理を行うことを特徴とする。

上記課題を解決する第３の発明は、異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化装置であって、第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する第１の画像符号化手段と、第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、前記拡大復号画像信号を参照して前記第２の入力画像信号を符号化し、第２の符号化データを生成する第２の画像符号化手段とからなり、前記第２の画像符号化手段が、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数分布情報を生成し、前記ゼロ領域情報確率分布情報に従って前記第２の予測誤差信号におけるゼロ領域情報をエントロピー符号化するとともに、前記量子化変換係数分布情報に従って対応する領域の前記第２の予測誤差信号における量子化変換係数をエントロピー符号化することを特徴とする。

上記課題を解決する第４の発明は、異なる解像度を持つ複数の画像信号の符号化データに対し、第１の符号化データの復号結果を参照して第２の符号化データを復号して階層的復号処理を行う動画像復号装置であって、第１の符号化データを復号して第１の復号画像信号を生成する第１の画像復号手段と、前記第１の復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、前記拡大復号画像信号を参照して第２の符号化データを復号し、第２の復号画像信号を生成する第２の画像復号手段とからなり、前記第２の画像復号手段における動き補償復号処理を規定する画像信号のフレーム間の動きを表す動き情報を参照し、前記拡大復号画像信号に対して動き補償予測を行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに、非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいて量子化変換係数情報を復号し、前記量子化変換係数情報に対して、量子化の重みづけを変更又は基底を変更して逆量子化、基底を限定した周波数逆変換を行うことを特徴とする。

上記課題を解決する第５の発明は、異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化方法であって、第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成するステップと、第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するステップと、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を、前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理、及び、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報および非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいての前記ゼロ領域情報のエントロピー符号化処理の少なくともいずれかを行うステップとを有することを特徴とする。

上記課題を解決する第６の発明は、異なる解像度を持つ複数の画像信号の符号化データに対し、第１の符号化データの復号結果を参照して第２の符号化データを復号して階層的復号処理を行う動画像復号方法であって、第１の符号化データを復号して第１の復号画像信号を生成するステップと、前記第１の復号画像信号を拡大し、拡大復号画像信号を生成するステップと、前記第２の符号化データに含まれ、第２の復号画像信号の生成における動き補償復号処理を規定する画像信号のフレーム間の動きを表す動き情報を参照し、前記拡大復号画像信号に対して動き補償予測を行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいて量子化変換係数情報を復号し、前記量子化変換係数情報に対して、量子化の重みづけを変更又は基底を変更して逆量子化、基底を限定した周波数逆変換を行うステップとを有することを特徴とする。
上記課題を解決する第７の発明は、異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化処理のプログラムであって、前記プログラムは、情報処理装置に、第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する処理と、第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成する処理と、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を、前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理、及び、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいての前記第２の予測誤差信号のエントロピー符号化処理の少なくともいずれかの処理とを行わせることを特徴とする。
上記課題を解決する第８の発明は、異なる解像度を持つ複数の画像信号の符号化データに対し、第１の符号化データの復号結果を参照して第２の符号化データを復号して階層的復号を行う動画像復号処理のプログラムであって、前記プログラムは、情報処理装置に、第１の符号化データを復号して第１の復号画像信号を生成する処理と、前記第１の復号画像信号を拡大し、拡大復号画像信号を生成する処理と、前記第２の符号化データに含まれ、第２の復号画像信号の生成における動き補償復号処理を規定する画像信号のフレーム間の動きを表す動き情報を参照し、前記拡大復号画像信号に対して動き補償予測を行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理、及び、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいてエントロピー符号化処理の少なくともいずれかの処理とを行わせることを特徴とする。

上記の本発明の概要を以下に説明する。図８は本発明における動画像符号化装置の動作の特徴を表す概念図である。

図８において、フレーム1060、1061、1062は、大きい方の解像度、すなわち上位階層における入力画像信号に含まれるフレームであり、フレーム1071、1072は、動き補償予測によって得られる第２の予測誤差信号1001に含まれるフレームである。フレーム2050、2051、2052は、小さい方の解像度、すなわち下位階層における復号画像信号に含まれるフレームであり、フレーム2060、2061、2062は、拡大復号画像信号に含まれるフレームであり、フレーム2071、2072は、動き補償予測によって得られる第１の予測誤差信号1001に含まれるフレームである。ブロック1081および1082は、それぞれフレーム1071、1072において動き補償予測の対象にならずイントラブロックとして符号化される領域である。フレーム2071内のブロック2081およびフレーム2061内の2083は、それぞれフレーム1071内のブロック1081に対応する領域であり、フレーム2072内のブロック2082およびフレーム2062内の2084は、それぞれフレーム1072内のブロック1082に対応する領域である。

従来技術では、フレーム1071および1072の信号を符号化する際、ブロック1081および1082についてはブロック2083および2084を参照して符号化し、それ以外の領域ではそのまま予測誤差信号を符号化する。後者の符号化処理は、下位階層の入力画像信号において予測誤差信号を符号化した結果と相関がありながらそれぞれ独立に符号化している。すなわちこの符号化結果には冗長性があり、より高能率に符号化できる余地がある。

それに対し、本発明における動画像符号化装置では、フレーム1071および1072の信号を符号化する際、ブロック1081および1082についてはブロック2083および2084を参照して符号化し、それ以外の領域ではフレーム2071および2072を参照して符号化する。フレーム2071および2072を生成する動き補償処理は、下位階層での符号化処理で行われるものではなく、上位階層での符号化処理で行われるものと同一である。そのため、フレーム2071および2072は、フレーム1071および1072の高精度な近似信号となる。本発明により動き補償予測の適用されない領域だけでなく、動き補償処理によって得られる予測誤差信号についても、下位階層の復号結果から得られる情報を考慮した高能率な符号化を実現することができる。

本発明によれば、上位階層において動き補償処理で得られる予測誤差信号に対し、下位階層の復号画像信号を拡大した後に上位階層の動き補償処理を行って前記予測誤差信号の近似信号を生成し、それを参照して前記予測誤差信号を符号化する。本発明により、従来技術に比べて上位階層の予測誤差信号を高能率に符号化することができる。その結果複数階層の画像信号を高能率に階層符号化することが可能となる。

本発明の一実施の形態である動画像符号化装置の構成を示すブロック図である。テクスチャ変換部の一実施例の構成を示すブロック図である。テクスチャ符号化部の一実施例の構成を示すブロック図である。テクスチャ逆変換部の一実施例の構成を示すブロック図である。本発明の一実施の形態である動画像復号装置の構成を示すブロック図である。テクスチャ復号部の一実施例の構成を示すブロック図である。従来技術となる動画像符号化装置の構成を示すブロック図である。本発明における動画像符号化装置の動作の特徴を表す概念図である。図９は本発明による動画像符号化装置をインプリメントした情報処理システムの一般的なブロック構成図である。

符号の説明

10,11,20 符号化器
12,22 復号器
100 フレームメモリ
101 動き推定部
102, 103 動き補償部
104,199 フィルタ
105 テクスチャ変換部
106 テクスチャ逆変換部
107 動き情報符号化部
108 動き情報復号部
110 変換符号化部
111 量子化部
112 テクスチャ符号化部
113 テクスチャ復号部
114 逆量子化部
115 逆変換符号化部
122 ゼロ領域分布情報生成部
120 ゼロ領域情報生成部
126 多重化部
123,125 エントロピー符号化部
124 係数分布情報生成部
125 非ゼロ係数情報符号化データ
131,132 エントロピー復号部
130 逆多重化部
133 係数情報統合部
1000,2000 入力画像信号
1001,2005 予測誤差信号
1002,2001 テクスチャ情報符号化データ
1003 復号予測誤差信号
1004,1005,2002 復号画像信号
1012 量子化変換係数情報
2006 加工予測誤差信号
1007, 2004 予測信号
1998 動き情報
1999,2999 動き情報符号化データ
2003 拡大復号画像信号
1011,1014 変換係数情報
1022,1024 確率分布情報
1020 ゼロ領域情報
1023 ゼロ領域情報符号化データ
1025 非ゼロ係数符号化データ
1015 非ゼロ係数情報
1060,1061,1062,2050,2051,2052,2060,2061,2062,1071,1072,2071,2072 フレーム
1081,1082,2081,2082,2083,2084 ブロック

次に、本発明の実施の形態について図面を参照して詳細に説明する。図１に本発明の一実施の形態である動画像符号化装置を示す。図１に示す動画像符号化装置は、異なる解像度を持つ２つの入力画像信号1000および2000を符号化する。符号化器20は、小さい方の解像度を持つ入力画像信号2000を符号化し、テクスチャ情報符号化データ2001および動き情報符号化データ2999を生成する。同時に符号化器20はこれらの符号化データを復号した結果となる復号画像信号2002を出力する。フィルタ199は復号画像信号2002を大きい方の解像度を持つ入力画像信号1000と同じ解像度に拡大し、拡大復号画像信号2003を出力する。符号化器10は、拡大復号画像信号2003を参照して入力画像信号1000を符号化し、テクスチャ情報符号化データ1002および動き情報符号化データ1999を生成する。

符号化器20は、従来より用いられている単一解像度の画像信号を符号化する符号化器であり、例えばMPEGで定められる動画像符号化器が用いられる。符号化器20の構成および動作は、本発明の特徴に直接関係しないためその詳細な説明を省略する。

符号化器10は、フレームメモリ100、動き推定部101、動き補償部102,103、フィルタ104、テクスチャ変換部105、テクスチャ符号化部112、テクスチャ逆変換部106、動き情報符号化部107からなる。以下に符号化器10の構成および動作について詳細な説明を行う。

フレームメモリ100は、過去に入力画像信号1000を符号化した後復号した復号画像信号を格納している。動き推定部101は、入力画像信号1000とフレームメモリ100に格納された復号画像信号1005を参照し、復号画像信号1005に対して入力画像信号1000内の各領域がどのように動いたかを表す動き情報1998を生成する。動き補償部102は、復号画像信号1005を参照し、動き情報1998に従って動き補償処理を行い、入力画像信号1000の予測信号1007を生成する。入力画像信号1000から予測信号1007を減算し、予測誤差信号1001が得られる。

動き補償部103は、復号画像信号1005に対応する拡大復号画像信号2003を参照し、動き情報1998に基づいて動き補償処理を行い、予測信号2004を生成する。入力画像信号1000に対応する拡大復号画像信号2003から予測信号2004を減算し、予測誤差信号2005が得られる。

フィルタ104は予測誤差信号2006を加工し、加工予測誤差信号2006を生成する。この加工処理としては、ブロック歪みなど符号化によって発生した歪みを減衰させるノイズ除去、画素値の変化を急峻にするシャープ化などが考えられる。

テクスチャ変換部105は、加工予測誤差信号2006を参照して予測誤差信号1001に対して周波数変換および量子化を行う。拡大復号画像信号2003に動き補償予測を行った加工予測誤差信号2006は、入力画像信号1000に動き補償予測を行った予測誤差信号1001に対する高精度の近似信号となる。単独に符号化するのに比べ、近似信号を用いることで非常に高能率に予測誤差信号1001を符号化することが可能である。実施例の一つとして、予測誤差信号1001と加工予測誤差信号2006との差分を符号化する、というのが考えられる。

図２は、テクスチャ変換部105の他の実施例となる構成を示すブロック図である。図２を用いてテクスチャ変換部の構成と動作を説明する。変換符号化部110は、加工予測誤差信号2006を参照して予測誤差信号1001に周波数変換処理を行う。近似信号である加工予測誤差信号2006を参照して適応的に周波数変換処理を行う例として、ある特有の複基底の重ねあわせで信号を表現するガボール変換やフラクタル符号化があげられる。近似信号に基づき用いる基底を限定することで効率的な符号化を行うことができる。

量子化部111は加工予測誤差信号2006を参照し、変換符号化部110の出力する変換係数情報1011を量子化する。近似信号である加工予測誤差信号2006を参照して適応的に量子化を行う例として、量子化の重み付けがあげられる。近似信号の分布に基づいてゼロ近辺の量子化ステップを大きくする、もしくは高周波数帯域での係数の量子化ステップを粗くすることにより、付加情報を符号化することなく主観画質を考慮した量子化を行うことが出来る。あるいは、ベクトル量子化において、近似信号に基づき量子化の基底を限定することで効率的な符号化を行うことが出来る。なお、変換符号化部110、量子化部111のそれぞれについて、加工予測誤差信号を参照しない従来の変換符号化処理、量子化処理を用いても構わない。また、予測誤差信号1001と加工予測誤差信号2006との差分に対して、加工予測誤差信号を参照して周波数変換処理および量子化処理を行っても構わない。

図１に戻り、動画像符号化装置の動作について説明を続ける。テクスチャ符号化部112は加工予測誤差信号2006を参照し、テクスチャ変換部105の出力する量子化変換係数情報1012を符号化し、テクスチャ情報符号化データ1002を生成する。動き情報符号化部107は動き情報1998を符号化して動き情報符号化データを生成する。テクスチャ逆変換部106は加工予測誤差信号2006を参照し、量子化変換係数情報1012に対して逆量子化および周波数逆変換を行い、復号予測誤差信号1003を生成する。復号予測誤差信号1003と予測信号1007を加算し、復号画像信号1004が生成される。復号画像信号1004はフレームメモリ100に格納され、入力画像信号1000の他のフレームを符号化する時に動き補償の参照信号として用いられる。

図３は、テクスチャ符号化部112における一実施例の構成を示すブロック図である。図３を用いてテクスチャ符号化部112の動作と構成について説明する。

ゼロ領域情報生成部120は、符号化単位となる小ブロックごとに量子化変換係数情報1012が全てゼロか否かを示すゼロ領域情報1020を生成する。ゼロ領域分布情報生成部122は、加工予測誤差信号2006を参照し、ゼロ領域情報1020の確率分布情報1022を生成する。エントロピー符号化部123は、確率分布情報1022に従ってゼロ領域情報1020をエントロピー符号化する。該当する小ブロックにおいて、加工予測誤差信号2006の係数パワーが十分小さければ対応する量子化変換係数情報1012が全てゼロである確率は高く、加工予測誤差信号2006の係数パワーが十分大きければ対応する量子化変換係数情報1012が全てゼロである確率は低い。加工予測誤差信号2006を参照することで、ゼロ領域情報1020を非常に高能率に符号化することが可能である。一方、ゼロ領域情報1020の少なくとも一つがゼロではないとされた小ブロックに対し、係数分布情報生成部124は、加工予測誤差信号2006を参照し、量子化変換係数情報1012の確率分布情報1024を生成する。エントロピー符号化部125は、確率分布情報1024を参照し該当する小ブロックの量子化変換係数情報1012をエントロピー符号化する。近似信号である加工予測誤差信号2006から量子化変換係数情報1012の確率分布を推定しそれに従って符号割り当てを行うことで、量子化変換係数情報1012を非常に高能率に符号化することができる。多重化部126は、エントロピー符号化部123の出力するゼロ領域情報符号化データ1023とエントロピー符号化部125の出力する非ゼロ係数符号化データ1025を多重化し、テクスチャ情報符号化データ1002を生成する。

以上でテクスチャ符号化部112の説明を終える。なお、加工予測誤差信号を参照しない従来のエントロピー符号化処理を用いても構わない。

図４は、テクスチャ逆変換部106の構成を示すブロック図である。図４を用いてテクスチャ逆変換部106の構成と動作を説明する。

逆量子化部114は、加工予測誤差信号2006を参照して量子化変換係数情報1012を逆量子化し、変換係数情報1014を生成する。逆変換符号化部115は、加工予測誤差信号2006を参照して変換係数情報1014に対して周波数逆変換を行い、復号予測誤差信号1003を生成する。逆量子化部114、逆変換符号化部115は、それぞれ図２における量子化部111、変換符号化部110に対応している。量子化部111、変換符号化部110が、それぞれ加工予測誤差信号2006を参照しない従来の方法を用いる場合には、逆量子化部114、逆変換符号化部115も同様に従来の方法を用いる。

以上で、本発明の実施例となる動画像符号化装置の説明を終える。なお、予測誤差信号1001を単独で符号化する場合と、加工予測誤差信号2006を参照して予測誤差信号1001を符号化する場合とを、符号化単位となる小ブロックごとに切り替えても構わない。

次に本発明における動画像復号化装置について図を用いて説明する。図５は本発明の一実施の形態である動画像復号装置を示す。

図５に示す動画像復号装置は、異なる解像度を持つ画像信号を符号化した２つの符号化データを復号する。復号器22は、小さい方の解像度を持つ画像信号に対するテクスチャ情報符号化データ2001と動き情報符号化データ2999とを復号し、復号画像信号2002を生成する。フィルタ199は復号画像信号2002を大きい方の解像度を持つ画像信号と同じ解像度に拡大し、拡大復号画像信号2003を出力する。復号器12は、拡大復号画像信号2003を参照し、テクスチャ情報符号化データ1002と動き情報符号化データ1999とを復号し、復号画像信号1004を生成する。

復号器22は、図１における符号化器20と同様に、従来より用いられている単一解像度の画像信号を復号する復号器であり、例えばMPEGで定められる動画像復号器が用いられる。復号器22の構成および動作は、本発明の特徴に直接関係しないためその詳細な説明を省略する。

復号器12は、フレームメモリ100、動き補償部102,103、フィルタ104、テクスチャ復号部113、テクスチャ逆変換部106、動き情報復号部108からなる。以下に復号器12の構成および動作について詳細な説明を行う。

動き情報復号部108は、動き情報符号化データ1999を復号し動き情報1998を生成する。

動き補償部103は、拡大復号画像信号2003を参照し、動き情報1998に基づいて動き補償処理を行い、予測信号2004を生成する。拡大復号画像信号2003から予測信号2004を減算し、予測誤差信号2005を生成する。フィルタ104は予測誤差信号2006を加工し、加工予測誤差信号2006を生成する。動き補償部103およびフィルタ104の動作は、図１における動き補償部103およびフィルタ104と同一である。

テクスチャ復号部113は、加工予測誤差信号2006を参照してテクスチャ情報符号化データ1002を復号し、量子化変換係数情報1012を生成する。

テクスチャ逆変換部106は加工予測誤差信号2006を参照し、量子化変換係数情報1012に対して逆量子化および周波数逆変換を行い、復号予測誤差信号1003を生成する。

動き補償部102は、フレームメモリ100に格納されている過去の復号画像を参照し動き情報1998に基づいて動き補償処理を行い、予測信号1007を生成する。予測信号1007と復号予測誤差信号1003は加算され、復号画像信号1004が生成される。復号画像信号1004はフレームメモリ100に格納され、次の画像復号の参照信号に用いられる。テクスチャ逆変換部106、動き補償部102は、図１におけるテクスチャ逆変換部106、動き補償部102と同一である。

図６は、テクスチャ復号部113の構成を示すブロック図である。図６を用いてテクスチャ復号部113の構成および動作を説明する。

逆多重化部130はテクスチャ情報符号化データ1002を逆多重化し、ゼロ領域情報符号化データ1023と非ゼロ係数符号化データ1025を生成する。ゼロ領域分布情報生成部122は、加工予測誤差信号2006および既に復号したゼロ領域情報1020を参照し、ゼロ領域の確率分布情報1022を生成する。エントロピー復号部131は、確率分布情報1022を参照してゼロ領域情報符号化データ1023を復号し、ゼロ領域情報1020を生成する。また、係数分布情報生成部124は、加工予測誤差信号2006および既に復号した非ゼロ係数情報1015を参照し、非ゼロ係数の確率分布情報1024を生成する。エントロピー復号部132は、確率分布情報1024を参照して非ゼロ係数符号化データ1025を復号し、非ゼロ係数情報1015を生成する。係数情報統合部133は、ゼロ領域情報1020と非ゼロ係数情報1015とを統合し、一フレーム分の量子化変換係数情報1013を生成する。ゼロ領域分布情報生成部122および係数分布情報生成部124は、図３におけるゼロ領域分布情報生成部122および係数分布情報生成部124と同一である。

以上で、本発明の実施例となる動画像復号装置の説明を終える。なお、図１に示す動画像符号化装置と同様に、予測誤差信号1001を単独で復号する場合と、加工予測誤差信号2006を参照して予測誤差信号1001を復号する場合とを、符号化単位となる小ブロックごとに切り替えても構わない。

また、本発明では拡大復号画像信号2003に対して動き補償予測を行い予測誤差信号2005を生成した後に、フィルタ104によって加工し、テクスチャ変換部105やテクスチャ符号化部112やテクスチャ逆変換部106に参照されるが、フィルタ104での処理を行わず予測誤差信号2005を直接参照信号として用いてもよい。

さらに本実施例では、２階層の異なる解像度の画像信号に対する符号化処理および復号処理を実現する動画像符号化装置および動画像復号装置について構成と動作を説明したが、本発明は３階層以上の異なる解像度の画像信号に対する符号化処理および復号処理にも適用可能である。この場合、符号化器10および復号器12における復号画像信号1004を、下位階層での復号画像信号とみなして、上位階層の符号化器10および復号器12を繰り返し動作させることで実現される。

また本実施例では、上位階層の符号化器内部で動き推定を行い、得られた動き情報を元に入力画像信号および下位階層の拡大復号画像信号に対して動き補償予測を行っていたが、本発明の特徴は入力画像信号および下位階層の復号画像信号に対して同一の動き補償予測を行う点にある。これより、下位階層の符号化器における動き推定で得られた動き情報を拡大復号画像信号と共に上位階層の符号化器もしくは復号器に入力し、この動き情報に基づいて上位階層の入力画像信号および下位階層の拡大復号画像信号に対して動き補償予測を行う場合も本発明の適用範囲に含まれる。

さらに、本発明の特徴は下位階層の復号画像信号に対し、上位階層と同一の動き補償予測を行い、得られた予測誤差信号を参照して、上位階層における予測誤差信号に対して量子化や変換符号化やエントロピー符号化などの処理を行う点にある。これより、上位階層における動き補償予測に用いられる動き情報を上位階層と下位階層の解像度比に従って変換し、変換後の動き情報をもとに下位階層の復号画像信号に対して動き補償予測を行い、得られた予測誤差信号を参照し上位階層の予測誤差信号に対して量子化や変換符号化やエントロピー符号化などの処理を行う場合も本発明の適用範囲に含まれる。

本発明による動画像符号化装置及び動画像復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図９は、本発明による動画像符号化装置をインプリメントした情報処理システムの一般的ブロック構成図である。

図９に示す情報処理システムは、プロセッサ300、プログラムメモリ301，記憶媒体301および302からなる。記憶媒体301および302は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができる。

プログラムメモリ301には、上述した符号化器10の各部の処理を、プロセッサ300に行わせるプログラムが格納されており、このプログラムによってプロセッサ300は動作し、結果を記憶媒体301又は302に格納する。

同様に、本発明による動画像復号装置についても、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリ301は、上述した復号器12の各部の処理を、プロセッサ300に行わせるプログラムが格納されており、このプログラムによってプロセッサ300は動作し、結果を記憶媒体301又は302に格納する。

本発明の活用例として、単一の動画シーケンスを異なる再生環境を持つ端末や伝送環境に配信する動画シーケンス配信システム、もしくはこの配信システムからデータを受信して動画を再生する端末への適用が考えられる。本発明技術を有する動画シーケンス配信システムは、独立に符号化データを用意する場合と比べて、同等画質の動画を配信しながら、符号化の処理コスト、蓄積コスト、配信までのコストが大幅に低減させることができる。

また、本発明技術を有する再生端末の利用者は、異なる環境においても常に好適な動画配信を安価に実現した配信サービスを享受できる。

Claims

異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化装置であって、
第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する第１の画像符号化手段と、
第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、
前記拡大復号画像信号を参照して前記第２の入力画像信号を符号化し、第２の符号化データを生成する第２の画像符号化手段とからなり、
前記第２の画像符号化手段が、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号を参照して、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理を行うことを特徴とする動画像符号化装置。
異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化装置であって、
第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する第１の画像符号化手段と、
第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、
前記拡大復号画像信号を参照して前記第２の入力画像信号を符号化し、第２の符号化データを生成する第２の画像符号化手段とからなり、
前記第２の画像符号化手段が、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号を参照して、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理を行うことを特徴とする動画像符号化装置。
異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化装置であって、
第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する第１の画像符号化手段と、
第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、
前記拡大復号画像信号を参照して前記第２の入力画像信号を符号化し、第２の符号化データを生成する第２の画像符号化手段とからなり、
前記第２の画像符号化手段が、前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数分布情報を生成し、前記ゼロ領域情報確率分布情報に従って前記第２の予測誤差信号におけるゼロ領域情報をエントロピー符号化するとともに、前記量子化変換係数分布情報に従って対応する領域の前記第２の予測誤差信号における量子化変換係数をエントロピー符号化することを特徴とする動画像符号化装置。
異なる解像度を持つ複数の画像信号の符号化データに対し、第１の符号化データの復号結果を参照して第２の符号化データを復号して階層的復号処理を行う動画像復号装置であって、
第１の符号化データを復号して第１の復号画像信号を生成する第１の画像復号手段と、
前記第１の復号画像信号を拡大し、拡大復号画像信号を生成するフィルタと、
前記拡大復号画像信号を参照して第２の符号化データを復号し、第２の復号画像信号を生成する第２の画像復号手段とからなり、
前記第２の画像復号手段における動き補償復号処理を規定する画像信号のフレーム間の動きを表す動き情報を参照し、前記拡大復号画像信号に対して動き補償予測を行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに、非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいて量子化変換係数情報を復号し、前記量子化変換係数情報に対して、量子化の重みづけを変更又は基底を変更して逆量子化、基底を限定した周波数逆変換を行うことを特徴とする動画像復号装置。
異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化方法であって、
第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成するステップと、
第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成するステップと、
前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を、前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理、及び、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報および非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいての前記ゼロ領域情報のエントロピー符号化処理の少なくともいずれかを行うステップと
を有することを特徴とする動画像符号化方法。
異なる解像度を持つ複数の画像信号の符号化データに対し、第１の符号化データの復号結果を参照して第２の符号化データを復号して階層的復号処理を行う動画像復号方法であって、
第１の符号化データを復号して第１の復号画像信号を生成するステップと、
前記第１の復号画像信号を拡大し、拡大復号画像信号を生成するステップと、
前記第２の符号化データに含まれ、第２の復号画像信号の生成における動き補償復号処理を規定する画像信号のフレーム間の動きを表す動き情報を参照し、前記拡大復号画像信号に対して動き補償予測を行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいて量子化変換係数情報を復号し、前記量子化変換係数情報に対して、量子化の重みづけを変更又は基底を変更して逆量子化、基底を限定した周波数逆変換を行うステップと
を有することを特徴とする動画像復号方法。
異なる解像度を持つ複数の入力画像信号に対し、一方の入力画像信号の符号化結果を参照してもう一方の入力画像信号を符号化して階層符号化を行う動画像符号化処理のプログラムであって、
前記プログラムは、情報処理装置に、
第１の入力画像信号を符号化し、第１の符号化データを生成し、前記第１の符号化データの復号結果となる復号画像信号を生成する処理と、
第２の入力画像信号と同じ解像度に前記復号画像信号を拡大し、拡大復号画像信号を生成する処理と、
前記第２の入力画像信号に対して動き補償予測を行って第２の予測誤差信号を生成し、前記第２の入力画像信号に対して行ったものと同一の動き補償予測を、前記拡大復号画像信号に対して行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理、及び、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいての前記第２の予測誤差信号のエントロピー符号化処理の少なくともいずれかの処理と
を行わせることを特徴とする動画像符号化処理のプログラム。
異なる解像度を持つ複数の画像信号の符号化データに対し、第１の符号化データの復号結果を参照して第２の符号化データを復号して階層的復号を行う動画像復号処理のプログラムであって、
前記プログラムは、情報処理装置に、
第１の符号化データを復号して第１の復号画像信号を生成する処理と、
前記第１の復号画像信号を拡大し、拡大復号画像信号を生成する処理と、
前記第２の符号化データに含まれ、第２の復号画像信号の生成における動き補償復号処理を規定する画像信号のフレーム間の動きを表す動き情報を参照し、前記拡大復号画像信号に対して動き補償予測を行って第１の予測誤差信号を生成し、前記第１の予測誤差信号に基づいて、前記第２の予測誤差信号に対する周波数変換処理に用いる基底を限定して周波数変換処理、前記第２の予測誤差信号に対する量子化の重みづけを変更し、又は基底を変更して量子化処理、及び、符号化単位となる小ブロックごとに量子化変換係数情報が全てゼロか否かを示すゼロ領域情報の確率分布情報を生成するとともに非ゼロ領域における量子化変換係数確率分布情報を生成し、前記ゼロ領域情報確率分布情報および量子化変換係数確率分布情報に基づいてエントロピー符号化処理の少なくともいずれかの処理と
を行わせることを特徴とする動画像復号処理のプログラム。