JP3568392B2 - 動画像復号化装置 - Google Patents
動画像復号化装置 Download PDFInfo
- Publication number
- JP3568392B2 JP3568392B2 JP16987398A JP16987398A JP3568392B2 JP 3568392 B2 JP3568392 B2 JP 3568392B2 JP 16987398 A JP16987398 A JP 16987398A JP 16987398 A JP16987398 A JP 16987398A JP 3568392 B2 JP3568392 B2 JP 3568392B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- pixels
- inverse
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Complex Calculations (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ方式で圧縮符号化された信号を復号化して、原画像の解像度より低い解像度の再生画像を得るのに適した動画像復号化装置に関する。
【０００２】
【従来の技術】
従来から、デジタルＴＶなどの分野において画像データを圧縮符号化するための画像符号化方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式が知られている。
【０００３】
ＭＰＥＧ方式の代表的なものに、ＭＰＥＧ１とＭＰＥＧ２とがある。ＭＰＥＧ１では、順次走査（ノンインターレース）の画像のみ扱われていたが、ＭＰＥＧ２では、順次走査の画像だけでなく、飛び越し走査（インターレース走査）の画像も扱われるようになった。
【０００４】
これらのＭＰＥＧの符号化には、動き補償予測（時間的圧縮）、ＤＣＴ（空間的圧縮）及びエントロピー符号化（可変長符号化）が採用されている。ＭＰＥＧの符号化では、まず、マクロブロック単位ごとに、時間軸方向の予測符号化（ＭＰＥＧ１ではフレーム予測符号化が、ＭＰＥＧ２ではフレーム予測符号化またはフィールド予測符号化）が行われる。
【０００５】
マクロブロックは、たとえば、１６（水平方向画素数）×１６（垂直方向画素数）の大きさのＹ信号（輝度信号）と、８（水平方向画素数）×８（垂直方向画素数）の大きさのＣｂ信号（色差信号）と、８（水平方向画素数）×８（垂直方向画素数）の大きさのＣｒ信号（色差信号）とからなる。
【０００６】
ここでは、説明の便宜上、Ｙ信号についてのみ説明する。予測符号化方式に対応してＩピクチャ、Ｐピクチャ、Ｂピクチャの３種類の画像タイプが存在する。以下においては、フレーム予測符号化を例にとって説明する。
【０００７】
（１）Ｉピクチャ：フレーム内の情報のみから符号化された画面で、フレーム間予測を行わずに生成される画面であり、Ｉピクチャ内の全てのマクロブロック・タイプは、フレーム内情報のみで符号化するフレーム内符号化である。
【０００８】
（２）Ｐピクチャ：ＩまたはＰピクチャからの予測を行うことによってできる画面であり、一般的に、Ｐピクチャ内のマクロブロック・タイプは、フレーム内情報のみで符号化するフレーム内符号化と、過去の再生画像から予測する順方向フレーム間予測符号化との両方を含んでいる。
【０００９】
（３）Ｂピクチャ：双方向予測によってできる画面で、一般的に、以下のマクロブロック・タイプを含んでいる。
ａ．フレーム内情報のみで符号化するフレーム内符号化
ｂ．過去の再生画像から予測する順方向フレーム間予測符号化
ｃ．未来から予測する逆方向フレーム間予測符号化
ｄ．前後両方の予測による内挿的フレーム間予測符号化
ここで、内挿的フレーム間予測とは、順方向予測と逆方向予測の２つの予測を対応画素間で平均することをいう。
【００１０】
ＭＰＥＧ符号器では、原画像の画像データは、１６（水平方向画素数）×１６（垂直方向画素数）の大きさのマクロブロック単位に分割される。マクロブロック・タイプがフレーム内符号化以外のマクロブロックに対しては、マクロブロック・タイプに応じたフレーム間予測が行われ、予測誤差データが生成される。
【００１１】
マクロブロック単位毎の画像データ（マクロブロック・タイプがフレーム内符号化である場合）または予測誤差データ（マクロブロック・タイプがフレーム間予測符号化である場合）は、８×８の大きさの４つのサブブロックに分割され、各サブブロックの画像データに直交変換の１種である２次元離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ）が数式５に基づいて行われる。つまり、図８に示すように、８×８の大きさのブロック内の各データｆ（ｉ，ｊ）に基づいて、ｕｖ空間（ｕ：水平周波数，ｖ：垂直周波数）における各ＤＣＴ（直交変換）係数Ｆ（ｕ，ｖ）が得られる。
【００１２】
【数５】
【００１３】
ＭＰＥＧ１では、ＤＣＴには、フレームＤＣＴモードのみであるが、ＭＰＥＧ２のフレーム構造では、マクロブロック単位でフレームＤＣＴモードとフィールドＤＣＴモードに切り換えることができる。ただし、ＭＰＥＧ２のフィールド構造では、フィールドＤＣＴモードのみである。
【００１４】
フレームＤＣＴモードでは、１６×１６のマクロブロックが、４分割され左上の８×８のブロック、右上の８×８のブロック、左下の８×８のブロック、右下の８×８のブロック毎にＤＣＴが行われる。
【００１５】
一方、フィールドＤＣＴモードでは、１６×１６のマクロブロックの左半分の８（水平方向画素数）×１６（垂直方向画素数）のブロック内の奇数ラインのみからなる８×８のデータ群、左半分の８×１６のブロック内の偶数ラインのみからなる８×８のデータ群、右半分の８（水平方向画素数）×１６（垂直方向画素数）のブロック内の奇数ラインのみからなる８×８のデータ群および右半分の８×１６のブロック内の偶数ラインのみからなる８×８のデータ群の各データ群毎にＤＣＴが行われる。
【００１６】
上記のようにして得られたＤＣＴ係数に対して量子化が施され、量子化されたＤＣＴ係数が生成される。量子化されたＤＣＴ係数は、ジグザグスキャンまたはオルタネートスキャンされて１次元に並べられ、可変長符号器によって符号化される。ＭＰＥＧ符号器からは、可変長符号器によって得られた変換係数の可変長符号とともに、マクロブロック・タイプを示す情報を含む制御情報および動きベクトルの可変長符号が出力される。
【００１７】
図７は、ＭＰＥＧ復号器の構成を示すブロック図である。
【００１８】
変換係数の可変長符号は、可変長復号化器１０１に送られる。マクロブロック・タイプを含む制御信号はＣＰＵ１１０に送られる。動きベクトルの可変長符号は、可変長復号化器１０９に送られて復号化される。可変長復号化器１０９によって得られた動きベクトルは、第１参照画像用メモリ１０６および第２参照画像用メモリ１０７に、参照画像の切り出し位置を制御するための制御信号として送られる。
【００１９】
可変長復号化器１０１は、変換係数の可変長符号を復号化する。逆量子化器１０２は、可変長復号化器１０１から得られた変換係数（量子化されたＤＣＴ係数）を逆量子化してＤＣＴ係数に変換する。
【００２０】
逆ＤＣＴ回路１０３は、逆量子化器１０２で生成されたＤＣＴ係数列を８×８のサブブロック単位のＤＣＴ係数に戻すとともに、数式６に示す逆変換式に基づいて８×８の逆ＤＣＴを行う。つまり、図８に示すように、８×８のＤＣＴ係数Ｆ（ｕ，ｖ）に基づいて、８×８のサブブロック単位のデータｆ（ｉ，ｊ）が得られる。また、４つのサブブロック単位のデータｆ（ｉ，ｊ）に基づいて１つのマクロブロック単位の再生画像データまたは予測誤差データを生成する。
【００２１】
【数６】
【００２２】
逆ＤＣＴ回路１０３によって生成されたマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データが加算器１０４によって加算されて、再生画像データが生成される。参照画像データは、スイッチ１１２を介して加算器１０４に送られる。ただし、逆ＤＣＴ回路１０３から出力されたデータがフレーム内符号に対する再生画像データである場合には、参照画像データは加算されない。
【００２３】
逆ＤＣＴ回路１０３または加算器１０４によって得られたマクロブロック単位の画像データが、Ｂピクチャに対する再生画像データである場合には、その再生画像データはスイッチ１１３に送られる。
【００２４】
逆ＤＣＴ回路１０３または加算器１０４によって得られたマクロブロック単位の再生画像データが、ＩピクチャまたはＰピクチャに対する再生画像データである場合には、その再生画像データはスイッチ１１１を介して第１参照画像用メモリ１０６または第２参照画像用メモリ１０７に格納される。スイッチ１１１は、ＣＰＵ１１０によって制御される。
【００２５】
平均化部１０８は、メモリ１０６、１０７から読出された再生画像データを平均して、内挿的フレーム間予測符号化に用いられる参照画像データを生成する。
【００２６】
スイッチ１１２は、ＣＰＵ１１０によって次のように制御される。逆ＤＣＴ回路１０３から出力されたデータがフレーム内符号に対する再生画像データである場合には、スイッチ１１２の共通端子が接地端子に切り換えられる。
【００２７】
逆ＤＣＴ回路１０３から出力されたデータが順方向フレーム間予測符号に対する予測誤差データである場合または逆方向フレーム間予測符号に対する予測誤差データである場合には、スイッチ１１２の共通端子が第１参照画像用メモリ１０６の出力が送られる端子または第２参照画像用メモリ１０７の出力が送られる端子のいずれか一方を選択するように切り換えられる。なお、参照画像用メモリ１０６、１０７から参照画像が読み出される場合には、可変長復号化器１０９からの動きベクトルに基づいて、参照画像の切り出し位置が制御される。
【００２８】
逆ＤＣＴ回路１０３から出力されたデータが内挿的フレーム間予測符号に対する予測誤差データである場合には、スイッチ１１２の共通端子が平均化部１０８の出力が送られる端子を選択するように切り換えられる。
【００２９】
スイッチ１１３は、加算器１０４から送られてくるＢピクチャに対する再生画像データ、参照画像用メモリ１０６に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、参照画像用メモリ１０７に格納されたＩピクチャまたはＰピクチャに対する再生画像データが原画像の順序と同じ順番で出力されるようにＣＰＵ１１０によって制御される。復号器から出力された画像データはモニタ装置に与えられ、モニタ装置の表示画面に原画像が表示される。
【００３０】
【発明が解決しようとする課題】
上記従来のＭＰＥＧ復号器では、参照画像用として２画面分のメモリが必要であり、メモリ容量が大きいという問題があった。
【００３１】
この発明は、メモリ容量の低減化が図れる動画像復号化装置を提供することを目的とする。
【００３２】
【課題を解決するための手段】
この発明による動画像符号化装置は、入力信号から得られた所定の大きさのブロック単位の直交変換係数のうち、垂直周波数の高域部分を残し、且つ、水平周波数の高域部分の係数のみを除去して変換係数を半分に削減する係数削減回路、前記係数削減回路によって削減された変換係数を用いて逆直交変換を行うことにより、ブロック単位毎に水平方向の画素数が１／２に削減された再生画像データまたは時間軸予測誤差データを得る逆直交変換回路、前記逆直交変換回路によって得られた時間軸予測誤差データと所定の参照画像データとに基づいて、水平方向の画素数が１／２に削減された再生画像データを生成する加算器、当該加算器によって得られた再生画像データに対してアダマール変換を行って、前記再生画像データに対してビット方向にデータ量が削減された圧縮データを生成するアダマール符号化回路、ならびに当該アダマール符号化回路によって得られた圧縮データのうち前記参照画像データを生成するために必要な圧縮データを記憶する１または複数の参照画像用メモリを備え、前記参照画像用メモリに格納された前記圧縮データに基づいて、逆量子化およびアダマール逆変換処理を行う行うことにより、前記再生画像データに対応した前記参照画像データが生成されることを特徴とする。
【００３６】
前記アダマール符号化回路は、たとえば、前記アダマール変換を４画素単位で行い、その後、４画素単位でデータ量が一定となるように非線形量子化する。
【００３７】
前記所定のブロック単位は、水平方向の画素数がＭで、垂直方向の画素数がＮのＭ×Ｎの大きさのブロック単位であり、原画像の符号化時において直交変換が数式７に基づいて行われたとすると、前記逆直交変換回路は数式８に基づいて逆直交変換を行うものが用いられる。
【００３８】
【数７】
【００３９】
【数８】
【００４０】
前記所定のブロック単位は、水平方向の画素数が８で、垂直方向の画素数が８の８×８の大きさのブロック単位であり、原画像の符号化時において直交変換が数式９に基づいて行われたとすると、前記逆直交変換回路は数式１０に基づいて逆変換を行うものが用いられる。
【００４１】
【数９】
【００４２】
【数１０】
【００４３】
【発明の実施の形態】
以下、図１〜図６を参照して、この発明をＭＰＥＧ復号器に適用した場合の実施の形態について説明する。主としてＹ信号に対す復号化処理について説明する。
【００４４】
図１は、ＭＰＥＧ復号器の構成を示している。
【００４５】
変換係数の可変長符号は、可変長復号化器１に送られる。マクロブロック・タイプを含む制御信号はＣＰＵ２０に送られる。動きベクトルの可変長符号は、可変長復号化器１０に送られて復号化される。可変長復号化器１０によって得られた動きベクトルは、ベクトル値変換回路１１に送られ、動きベクトルの水平方向の大きさが１／２になるように変換される。ベクトル値変換回路１１によって水平方向の大きさが１／２になるように変換された動きベクトルは、第１参照画像用メモリ７および第２参照画像用メモリ８に、参照画像の切り出し位置を制御するための制御信号として送られる。
【００４６】
可変長復号化器１は、変換係数の可変長符号を復号化する。逆量子化器２は、可変長復号化器１から得られた変換係数（量子化されたＤＣＴ係数）を逆量子化してＤＣＴ係数に変換する。水平高域係数除去回路（係数削減回路）３は、図２（ａ）に示すように、逆量子化器２で生成されたＤＣＴ係数列を８（水平方向画素数）×８（垂直方向画素数）のサブブロック単位に対応する８×８のＤＣＴ係数Ｆ（ｕ，ｖ）（ただし、ｕ＝０，１，…７、ｖ＝０，１，…７）に戻すとともに、各サブブロックの水平周波数の高域部分のＤＣＴ係数を除去して、図２（ｂ）に示すように４（水平周波数方向ｕ）×８（垂直周波数方向ｖ）の数のＤＣＴ係数Ｆ（ｕ，ｖ）（ただし、ｕ＝０，１，…３、ｖ＝０，１，…７）に変換する。
【００４７】
逆ＤＣＴ回路４は、水平高域係数除去回路３で生成された４×８の数のＤＣＴ係数に、数式１１で示すような４×８の逆ＤＣＴを施して、図２（ｃ）に示すような元のサブブロック単位のデータが水平方向に１／２に圧縮された４（水平方向画素数）×８（垂直方向画素数）のデータ数からなるデータｆ（ｉ，ｊ）（ただし、ｉ＝０，１，…３、ｊ＝０，１，…７）を生成する。
【００４８】
【数１１】
【００４９】
また、このようにして得られた１つのマクロブロックを構成する４つのサブブロック単位に対応する画像データに基づいて水平方向が１／２に圧縮された８×１６の１つのマクロブロック単位の再生画像データまたは予測誤差データを生成する。したがって、逆ＤＣＴ回路４によって得られるマクロブロック単位のデータ量は、原画像のマクロブロック単位の画像データ量の半分となる。
【００５０】
逆ＤＣＴ回路４によって生成された水平方向が１／２に圧縮された８×１６のマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データ（水平方向が１／２に圧縮された８×１６のマクロブロック単位の参照画像データ）が加算器５によって加算され、再生画像データが生成される。参照画像データは、スイッチ１３を介して加算器５に送られる。ただし、逆ＤＣＴ回路４から出力された画像データがフレーム内符号に対する再生画像データである場合には、参照画像データは加算されない。
【００５１】
逆ＤＣＴ回路４または加算器５によって得られた水平方向が１／２に圧縮された８×１６のマクロブロック単位の再生画像データは、アダマール変換符号化回路２１に送られる。
【００５２】
アダマール変換符号化回路２１は、４次アダマール変換処理および量子化処理を行う。アダマール変換符号化回路２１は、８×１６のマクロブロック単位の再生画像データをブロック分割する。
【００５３】
入力画像信号がインターレース画像の場合には、図３（ａ）に示すように、奇数ラインどうしの隣り合う２つのラインと水平方向に隣合う２画素からなる２×２のブロックおよび偶数ラインどうしの隣り合う２つのラインと水平方向に隣合う２画素からなる２×２のブロックに、再生画像データが分割される。
【００５４】
入力画像信号がプログレッシブ画像の場合には、図３（ｂ）に示すように、垂直方向の隣合う２つのラインと水平方向に隣合う２画素からなる２×２のブロックに、再生画像データが分割される。入力画像信号の種類に応じたブロック分割の切り替えは、ＣＰＵ２０からの制御信号に基づいて行われる。
【００５５】
なお、入力される画像がプログレッシブ画像の場合には、図３（ｄ）に示すように、垂直方向の隣合う４つの画素からなる４×１のブロックに再生画像データを分割し、入力される画像がインターレース画像の場合には、図３（ａ）に示すような２×２のブロックに再生画像データを分割してもよい。また、入力される画像がインターレース画像の場合には、図３（ｃ）に示すように、奇数ラインどうしのライン間において垂直方向の隣合う４つの画素からなる４×１のブロックおよび偶数ラインどうしのライン間において垂直方向の隣合う４つの画素からなる４×１のブロックに、再生画像データを分割してもよい。
【００５６】
各ブロック内の各画素の画素値（８ビット）を、図３（ａ）または図３（ｂ）に示すように、ａ、ｂ、ｃ、ｄとすると、各ブロック毎に、次式で表されるようなアダマール変換が行われる。
【００５７】
【数１２】
【００５８】
本来のアダマール変換では係数は１／（４×２１／２ ）であるが、ここでは、処理を簡単にするために係数を１／４としている。
【００５９】
次に、量子化が行われる。ここでは、ビット方向に１／２に圧縮するために、１ブロック内の４画素の画素値の合計に対して、１６ビットが割り当てられる。
【００６０】
各係数Ｋ０、Ｋ１、Ｋ２、Ｋ３に対するビット割り当て方法としては、たとえば、次の表１に示すように、３つの割り当て方法（１）、（２）、（３）が考えられる。ここでは、方法（１）を採用する。
【００６１】
【表１】
【００６２】
つまり、Ｋ０には、８ビットが、Ｋ１およびＫ２には４ビットが、Ｋ３には０ビットが割り当てられる。したがって、Ｋ０は、上記数式１２によって算出された値がそのまま採用される。また、Ｋ３は、上記数式１２にかかわらず、無視される。
【００６３】
Ｋ１またはＫ２については、上記数式１２で求められた８ビットの値（−１２８〜＋１２７）が、図４の量子化・逆量子化テーブルに基づいて、４ビットの値（−８〜＋７）に変換される。
【００６４】
なお、表１の方法３が採用される場合には、８ビットの係数Ｋ１およびＫ２の値が、たとえば、図５の量子化・逆量子化テーブルに基づいて、３ビットの値（量子化値）に変換される。また、８ビットの係数Ｋ３の値が、たとえば、図６の量子化・逆量子化テーブルに基づいて、２ビットの値（量子化値）に変換される。
【００６５】
Ｋ０、Ｋ１、Ｋ２に対する量子化値を、Ｋ０’、Ｋ１’、Ｋ２’で表すことにする。上記４次アダマール変換処理および量子化処理によって、８×１６のマクロブロック単位の圧縮データが得られる。圧縮データのデータ量は、再生画像データのデータ量の１／２となる。したがって、アダマール変換符号化回路２１によって得られるマクロブロック単位の圧縮データのデータ量は、原画像のマクロブロック単位の画像データ量の１／４となる。
【００６６】
アダマール変換符号化回路２１によって得られたマクロブロック単位の圧縮データが、Ｂピクチャに対する圧縮データである場合には、その圧縮データはスイッチ１４に送られる。
【００６７】
アダマール変換符号化回路２１によって得られたマクロブロック単位の圧縮データが、ＩピクチャまたはＰピクチャに対する圧縮データである場合には、その圧縮データはスイッチ１２を介して第１参照画像用メモリ７または第２参照画像用メモリ８に格納される。第１参照画像用メモリ７または第２参照画像用メモリ８に格納される画像データ量は従来の１／４となる。スイッチ１２は、ＣＰＵ２０によって制御される。
【００６８】
第１アダマール変換復号化回路２２は、第１参照画像用メモリ７から読み出された８×１６のマクロブロック単位の圧縮データに対して、逆量子化処理およびアダマール逆変換処理を行って、再生画像に対応する参照画像データを生成する。
【００６９】
つまり、まず、第１参照画像用メモリ７から読み出された圧縮データを構成する各量子化値Ｋ０’、Ｋ１’、Ｋ２’が、逆量子化値Ｋ０”、Ｋ１”、Ｋ２”に変換される。具体的には、Ｋ０’に対する逆量子化値Ｋ０”はＫ０’と等しい。
【００７０】
Ｋ１’およびＫ２’に対する逆量子化値Ｋ１”およびＫ２”は、図４の量子化・逆量子化テーブルに基づいて求められる。第１参照画像用メモリ７から読み出された圧縮データが、輝度信号（Ｙ信号）に対する圧縮データである場合には、図４の量子化・逆量子化テーブル内のＹ信号に対する逆量子化値のうち、Ｋ１’およびＫ２’に対応するものがその逆量子化値Ｋ１”およびＫ２”として求められる。第１参照画像用メモリ７から読み出された圧縮データが、色差信号（Ｃｂ，Ｃｒ信号）に対する圧縮データである場合には、図４の量子化・逆量子化テーブル内のＣ信号に対する逆量子化値のうち、Ｋ１’およびＫ２’に対応するものがその逆量子化値Ｋ１”およびＫ２”として求められる。
【００７１】
このようにして、得られた逆量子化値Ｋ０”、Ｋ１”、Ｋ２”が得られると、次の数式１３に基づいて、アダマール逆変換処理が行われる。ただし、この例では、Ｋ３”は０として取り扱われる。
【００７２】
【数１３】
【００７３】
これにより、第１参照画像用メモリ７から読み出されたマクロブロック単位の圧縮データが、再生画像データに対応した参照画像データに変換される。
【００７４】
第２アダマール変換復号化回路２３は、第２参照画像用メモリ８から読み出された８×１６のマクロブロック単位の再生画像データに対して、上述したと同様な逆量子化処理およびアダマール逆変換処理を行って、再生画像データに対応した参照画像データを生成する。
【００７５】
平均化部９は、第１アダマール変換復号化回路２２および第２アダマール変換復号化回路２３から読出された画像データを平均して、内挿的フレーム間予測符号化に用いられる８×１６のマクロブロック単位の参照画像データを生成する。
【００７６】
スイッチ１３は、ＣＰＵ２０によって次のように制御される。逆ＤＣＴ回路４から出力されたデータがフレーム内符号化に対する再生画像データである場合には、スイッチ１３の共通端子が接地端子に切り換えられる。
【００７７】
逆ＤＣＴ回路４から出力されたデータが順方向フレーム間予測符号に対する予測誤差データである場合または逆方向フレーム間予測符号に対する予測誤差データである場合には、スイッチ１３の共通端子が第１アダマール変換復号化回路２２からの参照画像データが送られる端子または第２アダマール変換復号化回路２３からの参照画像データが送られる端子のいずれか一方を選択するように切り換えられる。
【００７８】
なお、参照画像用メモリ７、８から参照画像が読み出される場合には、ベクトル値変換回路１１からの動きベクトルに基づいて、その切り出し位置が制御される。ベクトル値変換回路１１によって動きベクトルの水平方向の大きさが１／２に変換されているのは、アダマール変換符号化回路２１から参照画像用メモリ７、８に送られるマクロブロック単位の画像データが水平方向に１／２に圧縮されたものとなっているためである。
【００７９】
逆ＤＣＴ回路４から出力されたデータが内挿的フレーム間予測符号に対する予測誤差データである場合には、スイッチ１３の共通端子が平均化部９の出力が送られる端子を選択するように切り換えられる。
【００８０】
スイッチ１４は、アダマール変換符号化回路２１からスイッチ１４に送られてきたＢピクチャに対する圧縮データ、参照画像用メモリ７に格納されたＩピクチャまたはＰピクチャに対する圧縮データ、参照画像用メモリ８に格納されたＩピクチャまたはＰピクチャに対する圧縮データが原画像の順序と同じ順番で出力されるようにＣＰＵ２０によって制御される。
【００８１】
スイッチ１４から出力された圧縮データは、第３アダマール変換復号化回路１５によって、上述したと同様な逆量子化処理およびアダマール逆変換処理が行われることにより、再生画像データに対応した画像データに変換された後、フォーマット変換回路１６に送られる。
【００８２】
フォーマット変換回路１６は、第３アダマール変換復号化回路１５から送られてきた画像データをモニタ装置の水平および垂直走査線数に対応するようにフォーマット変換する。フォーマット後の画像データは、モニタ装置に送られる。
【００８３】
上記実施の形態によれば、第１参照画像用メモリ７および第２参照画像用メモリ８として、従来のそれらの容量の１／４のものを用いることができる。
【００８４】
ところで、逆量子化器２から得られるサブブロック毎の８×８の変換係数のうち、水平周波数の高域部分のみならず垂直周波数の広域部分を除去し、水平および垂直周波数が共に低い領域の４×４の変換係数のみを用いて４×４の逆変換を行って水平および垂直方向に１／２に圧縮されたデータを生成することが考えられる。このようにすると、第１参照画像用メモリ７および第２参照画像用メモリ８の容量を、上記実施の形態と同様に従来の１／４にすることができる。
【００８５】
しかしながら、水平周波数の高域部分のみならず垂直周波数の高域部分をも除去して、４×４の逆変換を行った場合には、復号しようとする画像がインターレース画像である場合には、空間軸と時間軸とが混合されて画像劣化が生じるという問題がある。このような画像劣化が生じるのを防止するため、上記実施の形態では、水平周波数の高域部分の係数のみを除去し、垂直周波数の高域部分の係数を残して、４×８の逆変換を行った後に、アダマール変換符号化を行っているのである。
【００８６】
上記実施の形態では、ＤＣＴ係数の一部を除去した後に逆ＤＣＴを行って得た画像に基づいて再生画像を生成しているが、ＤＣＴ係数の一部を除去することなく通常通りの逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対してアダマール変換符号化を行うようにしてもよい。
【００８７】
また、ＤＣＴ係数の一部を除去することなく通常通りの逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対して水平方向間引きおよび垂直方向間引きのうちの少なくとも一方の間引き処理を行った後に、アダマール変換符号化を行うようにしてもよい。
【００８８】
上記実施の形態では、ＤＣＴ係数の一部を除去した後に、逆ＤＣＴを行って得た画像に基づいて再生画像を生成しているが、ＤＣＴ係数の一部を０に置換した後に、逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対してアダマール変換符号化を行うようにしてもよい。
【００８９】
また、ＤＣＴ係数の一部を０に置換した後に、逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対して水平方向間引きおよび垂直方向間引きのうちの少なくとも一方の間引き処理を行った後に、アダマール変換符号化を行うようにしてもよい。
【００９０】
【発明の効果】
この発明によれば、メモリ容量の低減化が図れるようになる。
【００９２】
さらに、水平周波数の高域部分の係数のみを除去し、垂直周波数の高域部分の係数を残して、逆直交変換を行った場合には、インターレース画像を復号するときに、空間軸と時間軸とが混合されて画像劣化が生じるのを防ぐことができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ復号器の構成を示すブロック図である。
【図２】水平高域係数除去回路によって水平空間周波数の高域部分が除去された後のＤＣＴ係数を示すとともに、逆ＤＣＴ回路によって逆変換された後のデータを示す模式図である。
【図３】アダマール変換処理を行うためのブロック化を説明するための模式図である。
【図４】量子化・逆量子化テーブルの例を示す模式図である。
【図５】量子化・逆量子化テーブルの例を示す模式図である。
【図６】量子化・逆量子化テーブルの例を示す模式図である。
【図７】従来のＭＰＥＧ復号器の構成を示すブロック図である。
【図８】ＭＰＥＧ符号器で行われるＤＣＴおよび従来のＭＰＥＧ復号器で行われる逆ＤＣＴを説明するための模式図である。
【符号の説明】
１ 可変長復号化器
２ 逆量子化器
３ 水平高域係数除去回路
４ 逆ＤＣＴ回路
５ 加算器
７ 第１参照画像用メモリ
８ 第２参照画像用メモリ
９ 平均化部
１０ 可変長復号化器
１１ ベクトル値変換回路
１２、１３、１４ スイッチ
１５、２２、２３ アダマール変換復号化回路
１６ フォーマット変換回路
２０ ＣＰＵ
２１ アダマール変換符号化回路
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ方式で圧縮符号化された信号を復号化して、原画像の解像度より低い解像度の再生画像を得るのに適した動画像復号化装置に関する。
【０００２】
【従来の技術】
従来から、デジタルＴＶなどの分野において画像データを圧縮符号化するための画像符号化方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式が知られている。
【０００３】
ＭＰＥＧ方式の代表的なものに、ＭＰＥＧ１とＭＰＥＧ２とがある。ＭＰＥＧ１では、順次走査（ノンインターレース）の画像のみ扱われていたが、ＭＰＥＧ２では、順次走査の画像だけでなく、飛び越し走査（インターレース走査）の画像も扱われるようになった。
【０００４】
これらのＭＰＥＧの符号化には、動き補償予測（時間的圧縮）、ＤＣＴ（空間的圧縮）及びエントロピー符号化（可変長符号化）が採用されている。ＭＰＥＧの符号化では、まず、マクロブロック単位ごとに、時間軸方向の予測符号化（ＭＰＥＧ１ではフレーム予測符号化が、ＭＰＥＧ２ではフレーム予測符号化またはフィールド予測符号化）が行われる。
【０００５】
マクロブロックは、たとえば、１６（水平方向画素数）×１６（垂直方向画素数）の大きさのＹ信号（輝度信号）と、８（水平方向画素数）×８（垂直方向画素数）の大きさのＣｂ信号（色差信号）と、８（水平方向画素数）×８（垂直方向画素数）の大きさのＣｒ信号（色差信号）とからなる。
【０００６】
ここでは、説明の便宜上、Ｙ信号についてのみ説明する。予測符号化方式に対応してＩピクチャ、Ｐピクチャ、Ｂピクチャの３種類の画像タイプが存在する。以下においては、フレーム予測符号化を例にとって説明する。
【０００７】
（１）Ｉピクチャ：フレーム内の情報のみから符号化された画面で、フレーム間予測を行わずに生成される画面であり、Ｉピクチャ内の全てのマクロブロック・タイプは、フレーム内情報のみで符号化するフレーム内符号化である。
【０００８】
（２）Ｐピクチャ：ＩまたはＰピクチャからの予測を行うことによってできる画面であり、一般的に、Ｐピクチャ内のマクロブロック・タイプは、フレーム内情報のみで符号化するフレーム内符号化と、過去の再生画像から予測する順方向フレーム間予測符号化との両方を含んでいる。
【０００９】
（３）Ｂピクチャ：双方向予測によってできる画面で、一般的に、以下のマクロブロック・タイプを含んでいる。
ａ．フレーム内情報のみで符号化するフレーム内符号化
ｂ．過去の再生画像から予測する順方向フレーム間予測符号化
ｃ．未来から予測する逆方向フレーム間予測符号化
ｄ．前後両方の予測による内挿的フレーム間予測符号化
ここで、内挿的フレーム間予測とは、順方向予測と逆方向予測の２つの予測を対応画素間で平均することをいう。
【００１０】
ＭＰＥＧ符号器では、原画像の画像データは、１６（水平方向画素数）×１６（垂直方向画素数）の大きさのマクロブロック単位に分割される。マクロブロック・タイプがフレーム内符号化以外のマクロブロックに対しては、マクロブロック・タイプに応じたフレーム間予測が行われ、予測誤差データが生成される。
【００１１】
マクロブロック単位毎の画像データ（マクロブロック・タイプがフレーム内符号化である場合）または予測誤差データ（マクロブロック・タイプがフレーム間予測符号化である場合）は、８×８の大きさの４つのサブブロックに分割され、各サブブロックの画像データに直交変換の１種である２次元離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ）が数式５に基づいて行われる。つまり、図８に示すように、８×８の大きさのブロック内の各データｆ（ｉ，ｊ）に基づいて、ｕｖ空間（ｕ：水平周波数，ｖ：垂直周波数）における各ＤＣＴ（直交変換）係数Ｆ（ｕ，ｖ）が得られる。
【００１２】
【数５】
ＭＰＥＧ１では、ＤＣＴには、フレームＤＣＴモードのみであるが、ＭＰＥＧ２のフレーム構造では、マクロブロック単位でフレームＤＣＴモードとフィールドＤＣＴモードに切り換えることができる。ただし、ＭＰＥＧ２のフィールド構造では、フィールドＤＣＴモードのみである。
【００１４】
フレームＤＣＴモードでは、１６×１６のマクロブロックが、４分割され左上の８×８のブロック、右上の８×８のブロック、左下の８×８のブロック、右下の８×８のブロック毎にＤＣＴが行われる。
【００１５】
一方、フィールドＤＣＴモードでは、１６×１６のマクロブロックの左半分の８（水平方向画素数）×１６（垂直方向画素数）のブロック内の奇数ラインのみからなる８×８のデータ群、左半分の８×１６のブロック内の偶数ラインのみからなる８×８のデータ群、右半分の８（水平方向画素数）×１６（垂直方向画素数）のブロック内の奇数ラインのみからなる８×８のデータ群および右半分の８×１６のブロック内の偶数ラインのみからなる８×８のデータ群の各データ群毎にＤＣＴが行われる。
【００１６】
上記のようにして得られたＤＣＴ係数に対して量子化が施され、量子化されたＤＣＴ係数が生成される。量子化されたＤＣＴ係数は、ジグザグスキャンまたはオルタネートスキャンされて１次元に並べられ、可変長符号器によって符号化される。ＭＰＥＧ符号器からは、可変長符号器によって得られた変換係数の可変長符号とともに、マクロブロック・タイプを示す情報を含む制御情報および動きベクトルの可変長符号が出力される。
【００１７】
図７は、ＭＰＥＧ復号器の構成を示すブロック図である。
【００１８】
変換係数の可変長符号は、可変長復号化器１０１に送られる。マクロブロック・タイプを含む制御信号はＣＰＵ１１０に送られる。動きベクトルの可変長符号は、可変長復号化器１０９に送られて復号化される。可変長復号化器１０９によって得られた動きベクトルは、第１参照画像用メモリ１０６および第２参照画像用メモリ１０７に、参照画像の切り出し位置を制御するための制御信号として送られる。
【００１９】
可変長復号化器１０１は、変換係数の可変長符号を復号化する。逆量子化器１０２は、可変長復号化器１０１から得られた変換係数（量子化されたＤＣＴ係数）を逆量子化してＤＣＴ係数に変換する。
【００２０】
逆ＤＣＴ回路１０３は、逆量子化器１０２で生成されたＤＣＴ係数列を８×８のサブブロック単位のＤＣＴ係数に戻すとともに、数式６に示す逆変換式に基づいて８×８の逆ＤＣＴを行う。つまり、図８に示すように、８×８のＤＣＴ係数Ｆ（ｕ，ｖ）に基づいて、８×８のサブブロック単位のデータｆ（ｉ，ｊ）が得られる。また、４つのサブブロック単位のデータｆ（ｉ，ｊ）に基づいて１つのマクロブロック単位の再生画像データまたは予測誤差データを生成する。
【００２１】
【数６】
逆ＤＣＴ回路１０３によって生成されたマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データが加算器１０４によって加算されて、再生画像データが生成される。参照画像データは、スイッチ１１２を介して加算器１０４に送られる。ただし、逆ＤＣＴ回路１０３から出力されたデータがフレーム内符号に対する再生画像データである場合には、参照画像データは加算されない。
【００２３】
逆ＤＣＴ回路１０３または加算器１０４によって得られたマクロブロック単位の画像データが、Ｂピクチャに対する再生画像データである場合には、その再生画像データはスイッチ１１３に送られる。
【００２４】
逆ＤＣＴ回路１０３または加算器１０４によって得られたマクロブロック単位の再生画像データが、ＩピクチャまたはＰピクチャに対する再生画像データである場合には、その再生画像データはスイッチ１１１を介して第１参照画像用メモリ１０６または第２参照画像用メモリ１０７に格納される。スイッチ１１１は、ＣＰＵ１１０によって制御される。
【００２５】
平均化部１０８は、メモリ１０６、１０７から読出された再生画像データを平均して、内挿的フレーム間予測符号化に用いられる参照画像データを生成する。
【００２６】
スイッチ１１２は、ＣＰＵ１１０によって次のように制御される。逆ＤＣＴ回路１０３から出力されたデータがフレーム内符号に対する再生画像データである場合には、スイッチ１１２の共通端子が接地端子に切り換えられる。
【００２７】
逆ＤＣＴ回路１０３から出力されたデータが順方向フレーム間予測符号に対する予測誤差データである場合または逆方向フレーム間予測符号に対する予測誤差データである場合には、スイッチ１１２の共通端子が第１参照画像用メモリ１０６の出力が送られる端子または第２参照画像用メモリ１０７の出力が送られる端子のいずれか一方を選択するように切り換えられる。なお、参照画像用メモリ１０６、１０７から参照画像が読み出される場合には、可変長復号化器１０９からの動きベクトルに基づいて、参照画像の切り出し位置が制御される。
【００２８】
逆ＤＣＴ回路１０３から出力されたデータが内挿的フレーム間予測符号に対する予測誤差データである場合には、スイッチ１１２の共通端子が平均化部１０８の出力が送られる端子を選択するように切り換えられる。
【００２９】
スイッチ１１３は、加算器１０４から送られてくるＢピクチャに対する再生画像データ、参照画像用メモリ１０６に格納されたＩピクチャまたはＰピクチャに対する再生画像データ、参照画像用メモリ１０７に格納されたＩピクチャまたはＰピクチャに対する再生画像データが原画像の順序と同じ順番で出力されるようにＣＰＵ１１０によって制御される。復号器から出力された画像データはモニタ装置に与えられ、モニタ装置の表示画面に原画像が表示される。
【００３０】
【発明が解決しようとする課題】
上記従来のＭＰＥＧ復号器では、参照画像用として２画面分のメモリが必要であり、メモリ容量が大きいという問題があった。
【００３１】
この発明は、メモリ容量の低減化が図れる動画像復号化装置を提供することを目的とする。
【００３２】
【課題を解決するための手段】
この発明による動画像符号化装置は、入力信号から得られた所定の大きさのブロック単位の直交変換係数のうち、垂直周波数の高域部分を残し、且つ、水平周波数の高域部分の係数のみを除去して変換係数を半分に削減する係数削減回路、前記係数削減回路によって削減された変換係数を用いて逆直交変換を行うことにより、ブロック単位毎に水平方向の画素数が１／２に削減された再生画像データまたは時間軸予測誤差データを得る逆直交変換回路、前記逆直交変換回路によって得られた時間軸予測誤差データと所定の参照画像データとに基づいて、水平方向の画素数が１／２に削減された再生画像データを生成する加算器、当該加算器によって得られた再生画像データに対してアダマール変換を行って、前記再生画像データに対してビット方向にデータ量が削減された圧縮データを生成するアダマール符号化回路、ならびに当該アダマール符号化回路によって得られた圧縮データのうち前記参照画像データを生成するために必要な圧縮データを記憶する１または複数の参照画像用メモリを備え、前記参照画像用メモリに格納された前記圧縮データに基づいて、逆量子化およびアダマール逆変換処理を行う行うことにより、前記再生画像データに対応した前記参照画像データが生成されることを特徴とする。
【００３６】
前記アダマール符号化回路は、たとえば、前記アダマール変換を４画素単位で行い、その後、４画素単位でデータ量が一定となるように非線形量子化する。
【００３７】
前記所定のブロック単位は、水平方向の画素数がＭで、垂直方向の画素数がＮのＭ×Ｎの大きさのブロック単位であり、原画像の符号化時において直交変換が数式７に基づいて行われたとすると、前記逆直交変換回路は数式８に基づいて逆直交変換を行うものが用いられる。
【００３８】
【数７】
【数８】
前記所定のブロック単位は、水平方向の画素数が８で、垂直方向の画素数が８の８×８の大きさのブロック単位であり、原画像の符号化時において直交変換が数式９に基づいて行われたとすると、前記逆直交変換回路は数式１０に基づいて逆変換を行うものが用いられる。
【００４１】
【数９】
【数１０】
【発明の実施の形態】
以下、図１〜図６を参照して、この発明をＭＰＥＧ復号器に適用した場合の実施の形態について説明する。主としてＹ信号に対す復号化処理について説明する。
【００４４】
図１は、ＭＰＥＧ復号器の構成を示している。
【００４５】
変換係数の可変長符号は、可変長復号化器１に送られる。マクロブロック・タイプを含む制御信号はＣＰＵ２０に送られる。動きベクトルの可変長符号は、可変長復号化器１０に送られて復号化される。可変長復号化器１０によって得られた動きベクトルは、ベクトル値変換回路１１に送られ、動きベクトルの水平方向の大きさが１／２になるように変換される。ベクトル値変換回路１１によって水平方向の大きさが１／２になるように変換された動きベクトルは、第１参照画像用メモリ７および第２参照画像用メモリ８に、参照画像の切り出し位置を制御するための制御信号として送られる。
【００４６】
可変長復号化器１は、変換係数の可変長符号を復号化する。逆量子化器２は、可変長復号化器１から得られた変換係数（量子化されたＤＣＴ係数）を逆量子化してＤＣＴ係数に変換する。水平高域係数除去回路（係数削減回路）３は、図２（ａ）に示すように、逆量子化器２で生成されたＤＣＴ係数列を８（水平方向画素数）×８（垂直方向画素数）のサブブロック単位に対応する８×８のＤＣＴ係数Ｆ（ｕ，ｖ）（ただし、ｕ＝０，１，…７、ｖ＝０，１，…７）に戻すとともに、各サブブロックの水平周波数の高域部分のＤＣＴ係数を除去して、図２（ｂ）に示すように４（水平周波数方向ｕ）×８（垂直周波数方向ｖ）の数のＤＣＴ係数Ｆ（ｕ，ｖ）（ただし、ｕ＝０，１，…３、ｖ＝０，１，…７）に変換する。
【００４７】
逆ＤＣＴ回路４は、水平高域係数除去回路３で生成された４×８の数のＤＣＴ係数に、数式１１で示すような４×８の逆ＤＣＴを施して、図２（ｃ）に示すような元のサブブロック単位のデータが水平方向に１／２に圧縮された４（水平方向画素数）×８（垂直方向画素数）のデータ数からなるデータｆ（ｉ，ｊ）（ただし、ｉ＝０，１，…３、ｊ＝０，１，…７）を生成する。
【００４８】
【数１１】
また、このようにして得られた１つのマクロブロックを構成する４つのサブブロック単位に対応する画像データに基づいて水平方向が１／２に圧縮された８×１６の１つのマクロブロック単位の再生画像データまたは予測誤差データを生成する。したがって、逆ＤＣＴ回路４によって得られるマクロブロック単位のデータ量は、原画像のマクロブロック単位の画像データ量の半分となる。
【００５０】
逆ＤＣＴ回路４によって生成された水平方向が１／２に圧縮された８×１６のマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データ（水平方向が１／２に圧縮された８×１６のマクロブロック単位の参照画像データ）が加算器５によって加算され、再生画像データが生成される。参照画像データは、スイッチ１３を介して加算器５に送られる。ただし、逆ＤＣＴ回路４から出力された画像データがフレーム内符号に対する再生画像データである場合には、参照画像データは加算されない。
【００５１】
逆ＤＣＴ回路４または加算器５によって得られた水平方向が１／２に圧縮された８×１６のマクロブロック単位の再生画像データは、アダマール変換符号化回路２１に送られる。
【００５２】
アダマール変換符号化回路２１は、４次アダマール変換処理および量子化処理を行う。アダマール変換符号化回路２１は、８×１６のマクロブロック単位の再生画像データをブロック分割する。
【００５３】
入力画像信号がインターレース画像の場合には、図３（ａ）に示すように、奇数ラインどうしの隣り合う２つのラインと水平方向に隣合う２画素からなる２×２のブロックおよび偶数ラインどうしの隣り合う２つのラインと水平方向に隣合う２画素からなる２×２のブロックに、再生画像データが分割される。
【００５４】
入力画像信号がプログレッシブ画像の場合には、図３（ｂ）に示すように、垂直方向の隣合う２つのラインと水平方向に隣合う２画素からなる２×２のブロックに、再生画像データが分割される。入力画像信号の種類に応じたブロック分割の切り替えは、ＣＰＵ２０からの制御信号に基づいて行われる。
【００５５】
なお、入力される画像がプログレッシブ画像の場合には、図３（ｄ）に示すように、垂直方向の隣合う４つの画素からなる４×１のブロックに再生画像データを分割し、入力される画像がインターレース画像の場合には、図３（ａ）に示すような２×２のブロックに再生画像データを分割してもよい。また、入力される画像がインターレース画像の場合には、図３（ｃ）に示すように、奇数ラインどうしのライン間において垂直方向の隣合う４つの画素からなる４×１のブロックおよび偶数ラインどうしのライン間において垂直方向の隣合う４つの画素からなる４×１のブロックに、再生画像データを分割してもよい。
【００５６】
各ブロック内の各画素の画素値（８ビット）を、図３（ａ）または図３（ｂ）に示すように、ａ、ｂ、ｃ、ｄとすると、各ブロック毎に、次式で表されるようなアダマール変換が行われる。
【００５７】
【数１２】
本来のアダマール変換では係数は１／（４×２１／２ ）であるが、ここでは、処理を簡単にするために係数を１／４としている。
【００５９】
次に、量子化が行われる。ここでは、ビット方向に１／２に圧縮するために、１ブロック内の４画素の画素値の合計に対して、１６ビットが割り当てられる。
【００６０】
各係数Ｋ０、Ｋ１、Ｋ２、Ｋ３に対するビット割り当て方法としては、たとえば、次の表１に示すように、３つの割り当て方法（１）、（２）、（３）が考えられる。ここでは、方法（１）を採用する。
【００６１】
【表１】
つまり、Ｋ０には、８ビットが、Ｋ１およびＫ２には４ビットが、Ｋ３には０ビットが割り当てられる。したがって、Ｋ０は、上記数式１２によって算出された値がそのまま採用される。また、Ｋ３は、上記数式１２にかかわらず、無視される。
【００６３】
Ｋ１またはＫ２については、上記数式１２で求められた８ビットの値（−１２８〜＋１２７）が、図４の量子化・逆量子化テーブルに基づいて、４ビットの値（−８〜＋７）に変換される。
【００６４】
なお、表１の方法３が採用される場合には、８ビットの係数Ｋ１およびＫ２の値が、たとえば、図５の量子化・逆量子化テーブルに基づいて、３ビットの値（量子化値）に変換される。また、８ビットの係数Ｋ３の値が、たとえば、図６の量子化・逆量子化テーブルに基づいて、２ビットの値（量子化値）に変換される。
【００６５】
Ｋ０、Ｋ１、Ｋ２に対する量子化値を、Ｋ０’、Ｋ１’、Ｋ２’で表すことにする。上記４次アダマール変換処理および量子化処理によって、８×１６のマクロブロック単位の圧縮データが得られる。圧縮データのデータ量は、再生画像データのデータ量の１／２となる。したがって、アダマール変換符号化回路２１によって得られるマクロブロック単位の圧縮データのデータ量は、原画像のマクロブロック単位の画像データ量の１／４となる。
【００６６】
アダマール変換符号化回路２１によって得られたマクロブロック単位の圧縮データが、Ｂピクチャに対する圧縮データである場合には、その圧縮データはスイッチ１４に送られる。
【００６７】
アダマール変換符号化回路２１によって得られたマクロブロック単位の圧縮データが、ＩピクチャまたはＰピクチャに対する圧縮データである場合には、その圧縮データはスイッチ１２を介して第１参照画像用メモリ７または第２参照画像用メモリ８に格納される。第１参照画像用メモリ７または第２参照画像用メモリ８に格納される画像データ量は従来の１／４となる。スイッチ１２は、ＣＰＵ２０によって制御される。
【００６８】
第１アダマール変換復号化回路２２は、第１参照画像用メモリ７から読み出された８×１６のマクロブロック単位の圧縮データに対して、逆量子化処理およびアダマール逆変換処理を行って、再生画像に対応する参照画像データを生成する。
【００６９】
つまり、まず、第１参照画像用メモリ７から読み出された圧縮データを構成する各量子化値Ｋ０’、Ｋ１’、Ｋ２’が、逆量子化値Ｋ０”、Ｋ１”、Ｋ２”に変換される。具体的には、Ｋ０’に対する逆量子化値Ｋ０”はＫ０’と等しい。
【００７０】
Ｋ１’およびＫ２’に対する逆量子化値Ｋ１”およびＫ２”は、図４の量子化・逆量子化テーブルに基づいて求められる。第１参照画像用メモリ７から読み出された圧縮データが、輝度信号（Ｙ信号）に対する圧縮データである場合には、図４の量子化・逆量子化テーブル内のＹ信号に対する逆量子化値のうち、Ｋ１’およびＫ２’に対応するものがその逆量子化値Ｋ１”およびＫ２”として求められる。第１参照画像用メモリ７から読み出された圧縮データが、色差信号（Ｃｂ，Ｃｒ信号）に対する圧縮データである場合には、図４の量子化・逆量子化テーブル内のＣ信号に対する逆量子化値のうち、Ｋ１’およびＫ２’に対応するものがその逆量子化値Ｋ１”およびＫ２”として求められる。
【００７１】
このようにして、得られた逆量子化値Ｋ０”、Ｋ１”、Ｋ２”が得られると、次の数式１３に基づいて、アダマール逆変換処理が行われる。ただし、この例では、Ｋ３”は０として取り扱われる。
【００７２】
【数１３】
これにより、第１参照画像用メモリ７から読み出されたマクロブロック単位の圧縮データが、再生画像データに対応した参照画像データに変換される。
【００７４】
第２アダマール変換復号化回路２３は、第２参照画像用メモリ８から読み出された８×１６のマクロブロック単位の再生画像データに対して、上述したと同様な逆量子化処理およびアダマール逆変換処理を行って、再生画像データに対応した参照画像データを生成する。
【００７５】
平均化部９は、第１アダマール変換復号化回路２２および第２アダマール変換復号化回路２３から読出された画像データを平均して、内挿的フレーム間予測符号化に用いられる８×１６のマクロブロック単位の参照画像データを生成する。
【００７６】
スイッチ１３は、ＣＰＵ２０によって次のように制御される。逆ＤＣＴ回路４から出力されたデータがフレーム内符号化に対する再生画像データである場合には、スイッチ１３の共通端子が接地端子に切り換えられる。
【００７７】
逆ＤＣＴ回路４から出力されたデータが順方向フレーム間予測符号に対する予測誤差データである場合または逆方向フレーム間予測符号に対する予測誤差データである場合には、スイッチ１３の共通端子が第１アダマール変換復号化回路２２からの参照画像データが送られる端子または第２アダマール変換復号化回路２３からの参照画像データが送られる端子のいずれか一方を選択するように切り換えられる。
【００７８】
なお、参照画像用メモリ７、８から参照画像が読み出される場合には、ベクトル値変換回路１１からの動きベクトルに基づいて、その切り出し位置が制御される。ベクトル値変換回路１１によって動きベクトルの水平方向の大きさが１／２に変換されているのは、アダマール変換符号化回路２１から参照画像用メモリ７、８に送られるマクロブロック単位の画像データが水平方向に１／２に圧縮されたものとなっているためである。
【００７９】
逆ＤＣＴ回路４から出力されたデータが内挿的フレーム間予測符号に対する予測誤差データである場合には、スイッチ１３の共通端子が平均化部９の出力が送られる端子を選択するように切り換えられる。
【００８０】
スイッチ１４は、アダマール変換符号化回路２１からスイッチ１４に送られてきたＢピクチャに対する圧縮データ、参照画像用メモリ７に格納されたＩピクチャまたはＰピクチャに対する圧縮データ、参照画像用メモリ８に格納されたＩピクチャまたはＰピクチャに対する圧縮データが原画像の順序と同じ順番で出力されるようにＣＰＵ２０によって制御される。
【００８１】
スイッチ１４から出力された圧縮データは、第３アダマール変換復号化回路１５によって、上述したと同様な逆量子化処理およびアダマール逆変換処理が行われることにより、再生画像データに対応した画像データに変換された後、フォーマット変換回路１６に送られる。
【００８２】
フォーマット変換回路１６は、第３アダマール変換復号化回路１５から送られてきた画像データをモニタ装置の水平および垂直走査線数に対応するようにフォーマット変換する。フォーマット後の画像データは、モニタ装置に送られる。
【００８３】
上記実施の形態によれば、第１参照画像用メモリ７および第２参照画像用メモリ８として、従来のそれらの容量の１／４のものを用いることができる。
【００８４】
ところで、逆量子化器２から得られるサブブロック毎の８×８の変換係数のうち、水平周波数の高域部分のみならず垂直周波数の広域部分を除去し、水平および垂直周波数が共に低い領域の４×４の変換係数のみを用いて４×４の逆変換を行って水平および垂直方向に１／２に圧縮されたデータを生成することが考えられる。このようにすると、第１参照画像用メモリ７および第２参照画像用メモリ８の容量を、上記実施の形態と同様に従来の１／４にすることができる。
【００８５】
しかしながら、水平周波数の高域部分のみならず垂直周波数の高域部分をも除去して、４×４の逆変換を行った場合には、復号しようとする画像がインターレース画像である場合には、空間軸と時間軸とが混合されて画像劣化が生じるという問題がある。このような画像劣化が生じるのを防止するため、上記実施の形態では、水平周波数の高域部分の係数のみを除去し、垂直周波数の高域部分の係数を残して、４×８の逆変換を行った後に、アダマール変換符号化を行っているのである。
【００８６】
上記実施の形態では、ＤＣＴ係数の一部を除去した後に逆ＤＣＴを行って得た画像に基づいて再生画像を生成しているが、ＤＣＴ係数の一部を除去することなく通常通りの逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対してアダマール変換符号化を行うようにしてもよい。
【００８７】
また、ＤＣＴ係数の一部を除去することなく通常通りの逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対して水平方向間引きおよび垂直方向間引きのうちの少なくとも一方の間引き処理を行った後に、アダマール変換符号化を行うようにしてもよい。
【００８８】
上記実施の形態では、ＤＣＴ係数の一部を除去した後に、逆ＤＣＴを行って得た画像に基づいて再生画像を生成しているが、ＤＣＴ係数の一部を０に置換した後に、逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対してアダマール変換符号化を行うようにしてもよい。
【００８９】
また、ＤＣＴ係数の一部を０に置換した後に、逆ＤＣＴ（８×８の逆ＤＣＴ）を行って得た画像に基づいて再生画像を生成し、得られた再生画像に対して水平方向間引きおよび垂直方向間引きのうちの少なくとも一方の間引き処理を行った後に、アダマール変換符号化を行うようにしてもよい。
【００９０】
【発明の効果】
この発明によれば、メモリ容量の低減化が図れるようになる。
【００９２】
さらに、水平周波数の高域部分の係数のみを除去し、垂直周波数の高域部分の係数を残して、逆直交変換を行った場合には、インターレース画像を復号するときに、空間軸と時間軸とが混合されて画像劣化が生じるのを防ぐことができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ復号器の構成を示すブロック図である。
【図２】水平高域係数除去回路によって水平空間周波数の高域部分が除去された後のＤＣＴ係数を示すとともに、逆ＤＣＴ回路によって逆変換された後のデータを示す模式図である。
【図３】アダマール変換処理を行うためのブロック化を説明するための模式図である。
【図４】量子化・逆量子化テーブルの例を示す模式図である。
【図５】量子化・逆量子化テーブルの例を示す模式図である。
【図６】量子化・逆量子化テーブルの例を示す模式図である。
【図７】従来のＭＰＥＧ復号器の構成を示すブロック図である。
【図８】ＭＰＥＧ符号器で行われるＤＣＴおよび従来のＭＰＥＧ復号器で行われる逆ＤＣＴを説明するための模式図である。
【符号の説明】
１ 可変長復号化器
２ 逆量子化器
３ 水平高域係数除去回路
４ 逆ＤＣＴ回路
５ 加算器
７ 第１参照画像用メモリ
８ 第２参照画像用メモリ
９ 平均化部
１０ 可変長復号化器
１１ ベクトル値変換回路
１２、１３、１４ スイッチ
１５、２２、２３ アダマール変換復号化回路
１６ フォーマット変換回路
２０ ＣＰＵ
２１ アダマール変換符号化回路
Claims (4)
- 入力信号から得られた所定の大きさのブロック単位の直交変換係数のうち、垂直周波数の高域部分を残し、且つ、水平周波数の高域部分の係数のみを除去して変換係数を半分に削減する係数削減回路、
前記係数削減回路によって削減された変換係数を用いて逆直交変換を行うことにより、ブロック単位毎に水平方向の画素数が１／２に削減された再生画像データまたは時間軸予測誤差データを得る逆直交変換回路、
前記逆直交変換回路によって得られた時間軸予測誤差データと所定の参照画像データとに基づいて、水平方向の画素数が１／２に削減された再生画像データを生成する加算器、
当該加算器によって得られた再生画像データに対してアダマール変換を行って、前記再生画像データに対してビット方向にデータ量が削減された圧縮データを生成するアダマール符号化回路、ならびに
当該アダマール符号化回路によって得られた圧縮データのうち前記参照画像データを生成するために必要な圧縮データを記憶する１または複数の参照画像用メモリを備え、
前記参照画像用メモリに格納された前記圧縮データに基づいて、逆量子化およびアダマール逆変換処理を行う行うことにより、前記再生画像データに対応した前記参照画像データが生成される動画像復号化装置。 - 前記アダマール符号化回路は、前記アダマール変換を４画素単位で行い、その後、４画素単位でデータ量が一定となるように非線形量子化することを特徴とする請求項１に記載の動画像復号化装置。
- 前記所定のブロック単位は、水平方向の画素数がＭで、垂直方向の画素数がＮのＭ×Ｎの大きさのブロック単位であり、原画像の符号化時において直交変換が数式１に基づいて行われたとすると、前記逆直交変換回路は数式２に基づいて逆直交変換を行うものである請求項１又は２に記載の動画像復号化装置。
- 前記所定のブロック単位は、水平方向の画素数が８で、垂直方向の画素数が８の８×８の大きさのブロック単位であり、原画像の符号化時において直交変換が数式３に基づいて行われたとすると、前記逆直交変換回路は数式４に基づいて逆変換を行うものである請求項１又は２に記載の動画像復号化装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16987398A JP3568392B2 (ja) | 1998-06-17 | 1998-06-17 | 動画像復号化装置 |
| EP98124620A EP0926899A3 (en) | 1997-12-25 | 1998-12-23 | An apparatus and process for decoding motion pictures |
| KR1019980058669A KR100568649B1 (ko) | 1997-12-25 | 1998-12-24 | 동화상복호화장치및동화상복호화방법 |
| US10/847,356 US7139315B2 (en) | 1997-12-25 | 2004-05-18 | Apparatus and process for decoding motion pictures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16987398A JP3568392B2 (ja) | 1998-06-17 | 1998-06-17 | 動画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000004440A JP2000004440A (ja) | 2000-01-07 |
| JP3568392B2 true JP3568392B2 (ja) | 2004-09-22 |
Family
ID=15894547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16987398A Expired - Lifetime JP3568392B2 (ja) | 1997-12-25 | 1998-06-17 | 動画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3568392B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009130886A1 (ja) * | 2008-04-24 | 2009-10-29 | パナソニック株式会社 | 動画像符号化装置、撮像装置及び動画像符号化方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3643777B2 (ja) | 2001-02-28 | 2005-04-27 | 三洋電機株式会社 | 動画像復号装置および動画像復号方法 |
| JP4384130B2 (ja) | 2006-03-28 | 2009-12-16 | 株式会社東芝 | 動画像復号方法及び装置 |
| JP4734168B2 (ja) | 2006-05-09 | 2011-07-27 | 株式会社東芝 | 画像復号化装置及び画像復号化方法 |
| JP5496047B2 (ja) | 2010-10-07 | 2014-05-21 | パナソニック株式会社 | 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム |
| WO2012160614A1 (ja) * | 2011-05-25 | 2012-11-29 | パナソニック株式会社 | 動画像復号装置 |
-
1998
- 1998-06-17 JP JP16987398A patent/JP3568392B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009130886A1 (ja) * | 2008-04-24 | 2009-10-29 | パナソニック株式会社 | 動画像符号化装置、撮像装置及び動画像符号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000004440A (ja) | 2000-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100324610B1 (ko) | 화상예측 복호화장치 및 방법 | |
| KR970005831B1 (ko) | 적응적 프레임/필드 변환 부호화를 이용한 영상 부호화기 | |
| JP3686436B2 (ja) | 映像信号の復号化方法 | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
| US8903196B2 (en) | Video presentation at fractional speed factor using time domain interpolation | |
| JPH06189290A (ja) | １ｄ／２ｄ ｄｃｔを用いた映像信号符号化装置 | |
| KR100568649B1 (ko) | 동화상복호화장치및동화상복호화방법 | |
| JPH0775111A (ja) | デジタル信号符号化装置 | |
| JP3568392B2 (ja) | 動画像復号化装置 | |
| JP2933561B2 (ja) | 動画符号変換装置 | |
| JP3643777B2 (ja) | 動画像復号装置および動画像復号方法 | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 | |
| JP3481112B2 (ja) | 動画像復号化装置 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| JP2004349812A (ja) | 画像復号化装置及び画像復号化方法 | |
| JP3384739B2 (ja) | 動画像復号化方法 | |
| JP3166835B2 (ja) | 動画像の高能率符号化方法及び装置 | |
| JP3481111B2 (ja) | 動画像復号化装置 | |
| JP3247349B2 (ja) | 動画像監視装置及び監視方法 | |
| JPH06334995A (ja) | 動画像符号化又は復号化方法 | |
| JP3384738B2 (ja) | 動画像復号化方法 | |
| JP3481118B2 (ja) | 動画像復号化方法 | |
| JP3343553B1 (ja) | 画像予測符号化装置及び方法 | |
| JP2956726B2 (ja) | 動画像の高能率符号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040525 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080625 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100625 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110625 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110625 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120625 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |