JPH11191887A - 動画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、メモリ容量の低減化が図れる動
画像復号化装置を提供することを目的とする。 【解決手段】 入力信号から得られた所定の大きさのブ
ロック単位の直交変換係数のうち、水平周波数の高域部
分の係数を除去して変換係数を半分に削減する係数削減
回路、係数削減回路によって削減された変換係数を用い
て逆直交変換を行うことにより、ブロック単位毎に水平
方向が１／２に圧縮された再生画像データまたは時間軸
予測誤差データを得る逆直交変換回路、逆直交変換回路
によって得られた時間軸予測誤差データと所定の参照画
像データとに基づいて、水平方向が１／２に圧縮された
再生画像データを生成する加算器、ならびに逆直交変換
回路または加算器によって得られた再生画像データのう
ち参照画像データを生成するために必要な再生画像デー
タを記憶する１または複数の参照画像用メモリを備えて
いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像復号化装
置に関し、例えばＭＰＥＧ方式で圧縮符号化された信号
を復号化して、原画像の解像度より低い解像度の再生画
像を得るのに適した動画像復号化装置に関する。

【０００２】

【従来の技術】従来から、デジタルＴＶなどの分野にお
いて画像データを圧縮符号化するための画像符号化方式
として、ＭＰＥＧ（Moving Picture Expert Group)方式
が知られている。

【０００３】ＭＰＥＧ方式の代表的なものに、ＭＰＥＧ
１とＭＰＥＧ２とがある。ＭＰＥＧ１では、順次走査
（ノンインターレース）の画像のみ扱われていたが、Ｍ
ＰＥＧ２では、順次走査の画像だけでなく、飛び越し走
査（インターレース走査）の画像も扱われるようになっ
た。

【０００４】これらのＭＰＥＧの符号化には、動き補償
予測（時間的圧縮）、ＤＣＴ（空間的圧縮）及びエント
ロピー符号化（可変長符号化）が採用されている。ＭＰ
ＥＧの符号化では、まず、１６（水平方向画素数）×１
６（垂直方向画素数）の大きさのマクロブロック単位ご
とに、時間軸方向の予測符号化（ＭＰＥＧ１ではフレー
ム予測符号化が、ＭＰＥＧ２ではフレーム予測符号化ま
たはフィールド予測符号化）が行われる。予測符号化方
式に対応してＩピクチャ、Ｐピクチャ、Ｂピクチャの３
種類の画像タイプが存在する。以下においては、フレー
ム予測符号化を例にとって説明する。

【０００５】（１）Ｉピクチャ：フレーム内の情報のみ
から符号化された画面で、フレーム間予測を行わずに生
成される画面であり、Ｉピクチャ内の全てのマクロブロ
ック・タイプは、フレーム内情報のみで符号化するフレ
ーム内予測符号化である。

【０００６】（２）Ｐピクチャ：ＩまたはＰピクチャか
らの予測を行うことによってできる画面であり、一般的
に、Ｐピクチャ内のマクロブロック・タイプは、フレー
ム内情報のみで符号化するフレーム内符号化と、過去の
再生画像から予測する順方向フレーム間予測符号化との
両方を含んでいる。

【０００７】（３）Ｂピクチャ：双方向予測によってで
きる画面で、一般的に、以下のマクロブロック・タイプ
を含んでいる。 ａ．フレーム内情報のみで符号化するフレーム内予測符
号化 ｂ．過去の再生画像から予測する順方向フレーム間予測
符号化 ｃ．未来から予測する逆方向フレーム間予測符号化 ｄ．前後両方の予測による内挿的フレーム間予測符号化 ここで、内挿的フレーム間予測とは、順方向予測と逆方
向予測の２つの予測を対応画素間で平均することをい
う。

【０００８】ＭＰＥＧ符号器では、原画像の画像データ
は、１６（水平方向画素数）×１６（垂直方向画素数）
の大きさのマクロブロック単位に分割される。マクロブ
ロック・タイプがフレーム内予測符号化以外のマクロブ
ロックに対しては、マクロブロック・タイプに応じたフ
レーム間予測が行われ、予測誤差データが生成される。

【０００９】マクロブロック単位毎の画像データ（マク
ロブロック・タイプがフレーム内予測符号化である場
合）または予測誤差データ（マクロブロック・タイプが
フレーム間予測符号化である場合）は、８×８の大きさ
の４つのサブブロックに分割され、各サブブロックの画
像データに直交変換の１種である２次元離散コサイン変
換（ＤＣＴ：Discrete Cosine Transform ）が数式５に
基づいて行われる。つまり、図４に示すように、８×８
の大きさのブロック内の各データｆ（ｉ，ｊ）に基づい
て、ｕｖ空間（ｕ：水平周波数，ｖ：垂直周波数）にお
ける各ＤＣＴ（直交変換）係数Ｆ（ｕ，ｖ）が得られ
る。

【００１０】

【数５】

【００１１】ＭＰＥＧ１では、ＤＣＴには、フレームＤ
ＣＴモードのみであるが、ＭＰＥＧ２のフレーム構造で
は、マクロブロック単位でフレームＤＣＴモードとフィ
ールドＤＣＴモードに切り換えることができる。ただ
し、ＭＰＥＧ２のフィールド構造では、フィールドＤＣ
Ｔモードのみである。

【００１２】フレームＤＣＴモードでは、１６×１６の
マクロブロックが、４分割され左上の８×８のブロッ
ク、右上の８列８行のブロック、左下の８×８のブロッ
ク、右下の８×８のブロック毎にＤＣＴが行われる。

【００１３】一方、フィールドＤＣＴモードでは、１６
×１６のマクロブロックの左半分の８（水平方向画素
数）×１６（垂直方向画素数）のブロック内の奇数ライ
ンのみからなる８×８のデータ群、左半分の８×１６の
ブロック内の偶数ラインのみからなる８×８のデータ
群、右半分の８（水平方向画素数）×１６（垂直方向画
素数）のブロック内の奇数ラインのみからなる８×８の
データ群および右半分の８×１６のブロック内の偶数ラ
インのみからなる８×８のデータ群の各データ群毎にＤ
ＣＴが行われる。

【００１４】上記のようにして得られたＤＣＴ係数に対
して量子化が施され、量子化されたＤＣＴ係数が生成さ
れる。量子化されたＤＣＴ係数は、ジグザグスキャンま
たはオルタネートスキャンされて１次元に並べられ、可
変長符号器によって符号化される。ＭＰＥＧ符号器から
は、可変長符号器によって得られた変換係数の可変長符
号とともに、マクロブロック・タイプを示す情報を含む
制御情報および動きベクトルの可変長符号が出力され
る。

【００１５】図３は、ＭＰＥＧ復号器の構成を示すブロ
ック図である。

【００１６】変換係数の可変長符号は、可変長復号化器
１０１に送られる。マクロブロック・タイプを含む制御
信号はＣＰＵ１１０に送られる。動きベクトルの可変長
符号は、可変長復号化器１０９に送られて復号化され
る。可変長復号化器１０９によって得られた動きベクト
ルは、第１参照画像用メモリ１０６および第２参照画像
用メモリ１０７に、参照画像の切り出し位置を制御する
ための制御信号として送られる。

【００１７】可変長復号化器１０１は、変換係数の可変
長符号を復号化する。逆量子化器１０２は、可変長復号
化器１０１から得られた変換係数（量子化されたＤＣＴ
係数）を逆量子化してＤＣＴ係数に変換する。

【００１８】逆ＤＣＴ回路１０３は、逆量子化器１０２
で生成されたＤＣＴ係数列を８×８のサブブロック単位
のＤＣＴ係数に戻すとともに、数式６に示す逆変換式に
基づいて８×８の逆ＤＣＴを行う。つまり、図４に示す
ように、８×８のＤＣＴ係数Ｆ（ｕ，ｖ）に基づいて、
８×８のサブブロック単位のデータｆ（ｉ，ｊ）が得ら
れる。また、４つのサブブロック単位のデータｆ（ｉ，
ｊ）に基づいて１つのマクロブロック単位の再生画像デ
ータまたは予測誤差データを生成する。

【００１９】

【数６】

【００２０】逆ＤＣＴ回路１０３によって生成されたマ
クロブロック単位の予測誤差データには、そのマクロブ
ロック・タイプに応じた参照画像データが加算器１０４
によって加算されて、再生画像データが生成される。参
照画像データは、スイッチ１１２を介して加算器１０４
に送られる。ただし、逆ＤＣＴ回路１０３から出力され
たデータがフレーム内予測符号に対する再生画像データ
である場合には、参照画像データは加算されない。

【００２１】逆ＤＣＴ回路１０３または加算器１０４に
よって得られたマクロブロック単位の画像データが、Ｂ
ピクチャに対する再生画像データである場合には、その
再生画像データはスイッチ１１３に送られる。

【００２２】逆ＤＣＴ回路１０３または加算器１０４に
よって得られたマクロブロック単位の再生画像データ
が、ＩピクチャまたはＰピクチャに対する再生画像デー
タである場合には、その再生画像データはスイッチ１１
１を介して第１参照画像用メモリ１０６または第２参照
画像用メモリ１０７に格納される。スイッチ１１１は、
ＣＰＵ１１０によって制御される。

【００２３】平均化部１０８は、メモリ１０６、１０７
から読出された再生画像データを平均して、内挿的フレ
ーム間予測符号化に用いられる参照画像データを生成す
る。

【００２４】スイッチ１１２は、ＣＰＵ１１０によって
次のように制御される。逆ＤＣＴ回路１０３から出力さ
れたデータがフレーム内予測符号に対する再生画像デー
タである場合には、スイッチ１１２の共通端子が接地端
子に切り換えられる。

【００２５】逆ＤＣＴ回路１０３から出力されたデータ
が順方向フレーム間予測符号に対する予測誤差データで
ある場合または逆方向フレーム間予測符号に対する予測
誤差データである場合には、スイッチ１１２の共通端子
が第１参照画像用メモリ１０６の出力が送られる端子ま
たは第２参照画像用メモリ１０７の出力が送られる端子
のいずれか一方を選択するように切り換えられる。な
お、参照画像用メモリ１０６、１０７から参照画像が読
み出される場合には、可変長復号化器１０９からの動き
ベクトルに基づいて、参照画像の切り出し位置が制御さ
れる。

【００２６】逆ＤＣＴ回路１０３から出力されたデータ
が内挿的フレーム間予測符号に対する予測誤差データで
ある場合には、スイッチ１１２の共通端子が平均化部１
０８の出力が送られる端子を選択するように切り換えら
れる。

【００２７】スイッチ１１３は、加算器１０４から送ら
れてくるＢピクチャに対する再生画像データ、参照画像
用メモリ１０６に格納されたＩピクチャまたはＰピクチ
ャに対する再生画像データ、参照画像用メモリ１０７に
格納されたＩピクチャまたはＰピクチャに対する再生画
像データが原画像の順序と同じ順番で出力されるように
ＣＰＵ１１０によって制御される。復号器から出力され
た画像データはモニタ装置に与えられ、モニタ装置の表
示画面に原画像が表示される。

【００２８】

【発明が解決しようとする課題】上記従来のＭＰＥＧ復
号器では、参照画像用として２画面分のメモリが必要で
あり、メモリ容量が大きいという問題があった。

【００２９】この発明は、メモリ容量の低減化が図れる
動画像復号化装置を提供することを目的とする。

【００３０】

【課題を解決するための手段】この発明による動画像復
号化装置は、入力信号から得られた所定の大きさのブロ
ック単位の直交変換係数のうち、水平周波数の高域部分
の係数を除去して変換係数を半分に削減する係数削減回
路、係数削減回路によって削減された変換係数を用いて
逆直交変換を行うことにより、ブロック単位毎に水平方
向が１／２に圧縮された再生画像データまたは時間軸予
測誤差データを得る逆直交変換回路、逆直交変換回路に
よって得られた時間軸予測誤差データと所定の参照画像
データとに基づいて、水平方向が１／２に圧縮された再
生画像データを生成する加算器、ならびに逆直交変換回
路または加算器によって得られた再生画像データのうち
参照画像データを生成するために必要な再生画像データ
を記憶する１または複数の参照画像用メモリを備えてい
ることを特徴とする。

【００３１】上記所定のブロック単位が、水平方向画素
数がＭで、垂直方向画素数がＮのＭ×Ｎの大きさのブロ
ック単位であり、原画像の符号化時において直交変換が
数式７に基づいて行われたとすると、逆直交変換回路と
しては数式８に基づいて逆直交変換を行うものが用いら
れる。

【００３２】

【数７】

【００３３】

【数８】

【００３４】上記所定のブロック単位が、水平方向画素
数が８で、垂直方向画素数が８の８×８の大きさのブロ
ック単位であり、原画像の符号化時において直交変換が
数式９に基づいて行われたとすると、逆直交変換回路と
しては数式１０に基づいて逆直交変換を行うものが用い
られる。

【００３５】

【数９】

【００３６】

【数１０】

【００３７】

【発明の実施の形態】以下、図１および図２を参照し
て、この発明をＭＰＥＧ復号器に適用した場合の実施の
形態について説明する。

【００３８】図１は、ＭＰＥＧ復号器の構成を示してい
る。

【００３９】変換係数の可変長符号は、可変長復号化器
１に送られる。マクロブロック・タイプを含む制御信号
はＣＰＵ２０に送られる。動きベクトルの可変長符号
は、可変長復号化器１０に送られて復号化される。可変
長復号化器１０によって得られた動きベクトルは、ベク
トル値変換回路１１に送られ、動きベクトルの水平方向
の大きさが１／２になるように変換される。ベクトル値
変換回路１１によって水平方向の大きさが１／２になる
ように変換された動きベクトルは、第１参照画像用メモ
リ７および第２参照画像用メモリ８に、参照画像の切り
出し位置を制御するための制御信号として送られる。

【００４０】可変長復号化器１は、変換係数の可変長符
号を復号化する。逆量子化器２は、可変長復号化器１か
ら得られた変換係数（量子化されたＤＣＴ係数）を逆量
子化してＤＣＴ係数に変換する。水平高域係数除去回路
（係数削減回路）３は、図２（ａ）に示すように、逆量
子化器２で生成されたＤＣＴ係数列を８（水平方向画素
数）×８（垂直方向画素数）のサブブロック単位に対応
する８×８のＤＣＴ係数Ｆ（ｕ，ｖ）（ただし、ｕ＝
０，１，…７、ｖ＝０，１，…７）に戻すとともに、各
サブブロックの水平周波数の高域部分のＤＣＴ係数を除
去して、図２（ｂ）に示すように４（水平周波数方向
ｕ）×８（垂直周波数方向ｖ）の数のＤＣＴ係数Ｆ
（ｕ，ｖ）（ただし、ｕ＝０，１，…３、ｖ＝０，１，
…７）に変換する。

【００４１】逆ＤＣＴ回路４は、水平高域係数除去回路
３で生成された４×８の数のＤＣＴ係数に、数式１１で
示すような４×８の逆ＤＣＴを施して、図２（ｃ）に示
すような元のサブブロック単位のデータが水平方向に１
／２に圧縮された４（水平方向画素数）×８（垂直方向
画素数）のデータ数からなるデータｆ（ｉ，ｊ）（ただ
し、ｉ＝０，１，…３、ｊ＝０，１，…７）を生成す
る。

【００４２】

【数１１】

【００４３】また、このようにして得られた１つのマク
ロブロックを構成する４つのサブブロック単位に対応す
る画像データに基づいて水平方向が１／２に圧縮された
８×１６の１つのマクロブロック単位の再生画像データ
または予測誤差データを生成する。したがって、逆ＤＣ
Ｔ回路４によって得られるマクロブロック単位のデータ
量は、原画像のマクロブロック単位の画像データ量の半
分となる。

【００４４】逆ＤＣＴ回路４によって生成された水平方
向が１／２に圧縮された８×１６のマクロブロック単位
の予測誤差データには、そのマクロブロック・タイプに
応じた参照画像データ（水平方向が１／２に圧縮された
８×１６のマクロブロック単位の参照画像データ）が加
算器５によって加算され、再生画像データが生成され
る。参照画像データは、スイッチ１３を介して加算器５
に送られる。ただし、逆ＤＣＴ回路４から出力された画
像データがフレーム内予測符号に対する再生画像データ
である場合には、参照画像データは加算されない。

【００４５】逆ＤＣＴ回路４または加算器５によって得
られた水平方向が１／２に圧縮された８×１６のマクロ
ブロック単位の再生画像データが、Ｂピクチャに対する
再生画像データである場合には、その再生画像データは
スイッチ１４に送られる。

【００４６】逆ＤＣＴ回路４または加算器５によって得
られたマクロブロック単位の再生画像データが、Ｉピク
チャまたはＰピクチャに対する再生画像データである場
合には、その再生画像データはスイッチ１２を介して第
１参照画像用メモリ７または第２参照画像用メモリ８に
格納される。第１参照画像用メモリ７または第２参照画
像用メモリ８に格納される画像データ量は従来の１／２
となる。スイッチ１２は、ＣＰＵ２０によって制御され
る。

【００４７】平均化部９は、第１参照画像用メモリ７お
よび第２参照画像用メモリ８から読出された画像データ
を平均して、内挿的フレーム間予測符号化に用いられる
８×１６のマクロブロック単位の参照画像データを生成
する。

【００４８】スイッチ１３は、ＣＰＵ２０によって次の
ように制御される。逆ＤＣＴ回路４から出力されたデー
タがフレーム内予測符号化に対する再生画像データであ
る場合には、スイッチ１３の共通端子が接地端子に切り
換えられる。

【００４９】逆ＤＣＴ回路４から出力されたデータが順
方向フレーム間予測符号に対する予測誤差データである
場合または逆方向フレーム間予測符号に対する予測誤差
データである場合には、スイッチ１３の共通端子が第１
参照画像用メモリ７からの参照画像データが送られる端
子または第２参照画像用メモリ８からの参照画像データ
が送られる端子のいずれか一方を選択するように切り換
えられる。

【００５０】なお、参照画像用メモリ７、８から参照画
像が読み出される場合には、ベクトル値変換回路１１か
らの動きベクトルに基づいて、その切り出し位置が制御
される。ベクトル値変換回路１１によって動きベクトル
の水平方向の大きさが１／２に変換されているのは、加
算器５から参照画像用メモリ７、８に送られるマクロブ
ロック単位の画像データが水平方向に１／２に圧縮され
たものとなっているためである。

【００５１】逆ＤＣＴ回路４から出力されたデータが内
挿的フレーム間予測符号に対する予測誤差データである
場合には、スイッチ１３の共通端子が平均化部９の出力
が送られる端子を選択するように切り換えられる。

【００５２】スイッチ１４は、加算器５からスイッチ１
４に送られてきたＢピクチャに対する再生画像データ、
参照画像用メモリ７に格納されたＩピクチャまたはＰピ
クチャに対する再生画像データ、参照画像用メモリ８に
格納されたＩピクチャまたはＰピクチャに対する再生画
像データが原画像の順序と同じ順番で出力されるように
ＣＰＵ２０によって制御される。スイッチ１４から出力
された画像データは、フォーマット変換回路１５によっ
てモニタ装置の水平および垂直走査線数に対応するよう
にフォーマット変換された後、モニタ装置に送られる。

【００５３】上記実施の形態によれば、第１参照画像用
メモリ７および第２参照画像用メモリ８として、従来の
それらの容量の１／２のものを用いることができる。

【００５４】ところで、逆量子化器２から得られるサブ
ブロック毎の８×８の変換係数のうち、水平周波数の高
域部分のみならず垂直周波数の広域部分を除去し、水平
および垂直周波数が共に低い領域の４×４の変換係数の
みを用いて４×４の逆変換を行って水平および垂直方向
に１／２に圧縮されたデータを生成することが考えられ
る。このようにすると、第１参照画像用メモリ７および
第２参照画像用メモリ８の容量を、従来の１／４にする
ことができる。

【００５５】しかしながら、水平周波数の高域部分のみ
ならず垂直周波数の高域部分をも除去して、４×４の逆
変換を行った場合には、復号しようとする画像がインタ
ーレース画像である場合には、空間軸と時間軸とが混合
されて画像劣化が生じるという問題がある。このような
画像劣化が生じるのを防止するため、上記実施の形態で
は、水平周波数の高域部分の係数のみを除去し、垂直周
波数の高域部分の係数を残して、４×８の逆変換を行っ
ているのである。

【００５６】

【発明の効果】この発明によれば、メモリ容量の低減化
が図れる動画像復号化装置が得られる。

【図面の簡単な説明】

【図１】ＭＰＥＧ復号器の構成を示すブロック図であ
る。

【図２】水平高域係数除去回路によって水平空間周波数
の高域部分が除去された後のＤＣＴ係数を示すととも
に、逆ＤＣＴ回路によって逆変換された後のデータを示
す模式図である。

【図３】従来のＭＰＥＧ復号器の構成を示すブロック図
である。

【図４】ＭＰＥＧ符号器で行われるＤＣＴおよび従来の
ＭＰＥＧ復号器で行われる逆ＤＣＴを説明するための模
式図である。

【符号の説明】

１ 可変長復号化器 ２ 逆量子化器 ３ 水平高域係数除去回路 ４ 逆ＤＣＴ回路 ５ 加算器 ７ 第１参照画像用メモリ ８ 第２参照画像用メモリ ９ 平均化部 １０ 可変長復号化器 １１ ベクトル値変換回路 １２、１３、１４ スイッチ １５ フォーマット変換回路 ２０ ＣＰＵ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山下 昭彦 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力信号から得られた所定の大きさのブ
   ロック単位の直交変換係数のうち、水平周波数の高域部
   分の係数を除去して変換係数を半分に削減する係数削減
   回路、 係数削減回路によって削減された変換係数を用いて逆直
   交変換を行うことにより、ブロック単位毎に水平方向が
   １／２に圧縮された再生画像データまたは時間軸予測誤
   差データを得る逆直交変換回路、 逆直交変換回路によって得られた時間軸予測誤差データ
   と所定の参照画像データとに基づいて、水平方向が１／
   ２に圧縮された再生画像データを生成する加算器、なら
   びに逆直交変換回路または加算器によって得られた再生
   画像データのうち参照画像データを生成するために必要
   な再生画像データを記憶する１または複数の参照画像用
   メモリを備えている動画像復号化装置。
2. 【請求項２】 上記所定のブロック単位は、水平方向画
   素数がＭで、垂直方向画素数がＮのＭ×Ｎの大きさのブ
   ロック単位であり、原画像の符号化時において直交変換
   が数式１に基づいて行われたとすると、逆直交変換回路
   は数式２に基づいて逆直交変換を行うものである請求項
   １に記載の動画像復号化装置。 【数１】 【数２】
3. 【請求項３】 上記所定のブロック単位は、水平方向画
   素数が８で、垂直方向画素数が８の８×８の大きさのブ
   ロック単位であり、原画像の符号化時において直交変換
   が数式３に基づいて行われたとすると、逆直交変換回路
   は数式４に基づいて逆変換を行うものである請求項１に
   記載の動画像復号化装置。 【数３】 【数４】