JP4802928B2 - 画像データ処理装置 - Google Patents

Description

この発明は、離散コサイン変換またはカルーネン・レーベ変換等の直交変換によって画像情報を圧縮する画像符号化方法において、画面内の予測符号化によって圧縮率を向上させた場合の復号に適用される画像データ処理装置に関する。

近年、画像情報をディジタルとして取り扱い、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した画像情報符号化装置や復号化装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。

特に、ＭＰＥＧ２（ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commition）１３８１８−２）は、汎用画像符号化方式として定義されている。またＭＰＥＧ２は、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準で、現在、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに広く用いられている。

ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より小さい符号量（低ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２という規格が国際標準として承認された。

さらに、近年、当初テレビ会議用の画像符号化を目的として策定されたＨ. ２６Ｌ（ＩＴＵ（International Telecommunication Union ）−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６Ｌは、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能も取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔＭｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われ、２００３年３月には、Ｈ．２６４／ＡＶＣ（Advanced Video Coding ）という規格が国際標準として認められた。非特許文献１には、この規格に基づく処理の内容が記載されている。

「Draft Errata List with Revision-Marked Corrections for H.264/AVC」, JVT-1050, Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 2003

さらに、２００３年９月にマイクロソフトがＳＭＰＴＥ(Society of Motion Picture and Television Engineers)に対してＷＭＶ９にインターレス対応のための拡張を追加したものを提出し、２００５年１０月にＳＭＰＴＥでの規格化作業が終了し、ＳＭＰＴＥ ４２１Ｍとして発表された。この規格は、ＶＣ−１フォーマットと称される。ＶＣ−１フォーマットは、Ｈ．２６４／ＡＶＣと共通点と相違点を有しており、二つの方式の比較については、例えば下記の非特許文献２に記載されている。

日経エレクトロニクス２００４年３月２９日号，131−136頁，および日経エレクトロニクス２００４年４月１２日号，115−120頁，「ベールを脱ぐＷＭＶ９ Ｈ．２６４とはここが違う」

図１および図２は、非特許文献２に記載されているＶＣ−１フォーマットの符号化および復号化の流れを示すブロック図である。入力画像データが分割され、イントラ（フレーム内）予測符号化部１およびインター（フレーム間）予測符号化部２にそれぞれ入力される。イントラ予測符号化部１が直交変換部３、画面内予測符号化部４および量子化部５からなり、量子化部５からの量子化された係数データが可変長符号符号化部６に供給される。可変長符号符号化部６から可変長符号化された符号化データが出力される。係数データとしては、２次元周波数が０でないＡＣ係数と２次元周波数が０のＤＣ係数とがある。

インター予測符号化部２は、入力画像データと局部復号化画像データとの差分を得るための加算器７、差分を直交変換する直交変換部８および直交変換部８からの係数データを量子化する量子化部９とからなる。量子化部９からの量子化された係数データが可変長符号符号化部１０に供給される。可変長符号符号化部１０から可変長符号化された符号化データが出力される。

局部復号化のために、量子化部５および９のそれぞれの出力が供給される逆量子化部１１、直交変換の逆の変換を行う逆変換部１２、動き補償部１３、動き補償部１３の出力と逆変換部１２の出力を加算する加算器１４、加算器１４の出力が供給され、ブロック境界を平滑化するためのデブロックフィルタ１５、および入力画像データの動きを検出する動き予測部１６が設けられている。動き予測部１６で形成された動きベクトルが動き補償部１３に供給されると共に、予測符号化され、可変長符号符号化部１０に対して供給される。

入力画像信号は、イントラ予測で符号化されるものと、インター予測で符号化されるものとに分離され、それぞれイントラ予測符号化部１およびインター予測符号化部２に対して供給される。イントラ予測符号化部１では、単一のフレームを用いて符号化が行われる。イントラ予測符号化部１では、入力画像の画素値が直交変換部３に入力され、ここで離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。直交変換部３の出力（変換係数）が画面内予測符号化部４に供給され、ブロック間の相関を利用して係数データが画面内予測符号化部４によって予測符号化される。画面内予測符号化で符号化された係数データ（差分値）が量子化部５に提供され、量子化部５において量子化処理が施される。量子化部５からの量子化された変換係数が可変長符号符号化部６に供給されて可変長符号化が施される。

インター予測符号化部２では、複数のフレームの画像情報を用いて入力画像信号が符号化される。ローカル復号化によって動き補償部１３から得られた参照画像と入力画像との差分が加算器７の出力に得られる。動き補償部１３では、入力フレームと異なる他のフレームの画像情報の動き補償処理が行われ、参照画像情報が生成される。動き補償のために動き予測部１６からの動きベクトルが使用され、また、動きベクトル情報が可変長符号符号化部１０に出力され、動きベクトル情報が可変長符号化され、画像圧縮情報のヘッダ部に挿入される。その他の処理はイントラ符号化に関するものと同様である。

次に、図２のブロック図を参照して、画像情報復号化装置について説明する。受け取った符号化データがイントラ予測で復号されるものと、インター予測で復号されるものとに分けられ、イントラ予測復号化部２１およびインター予測復号化部２２にそれぞれ供給される。

イントラ予測復号化部２１は、可変長符号復号化部２３と、画面内予測符号復号化部２４と、量子化の逆の処理を行う逆量子化部２５と、直交変換の逆の変換を行う逆変換部２６と、ブロック歪みの軽減のためのデブロッキング・フィルタ２７とからなる。デブロッキング・フィルタ２７の出力に復号画像が得られる。

インター予測復号化部２２は、可変長符号復号化部２８と、量子化の逆の処理を行う逆量子化部２９と、直交変換の逆の変換を行う逆変換部３０と、加算器３１と、ブロック境界を平滑化するためのデブロッキング・フィルタ３２と、動きベクトル復号化部３３と、復号された動きベクトルによって動き補償を行う動き補償部３４とからなる。動き補償部３４において、デブロッキング・フィルタ３２から得られる復号画像が動き補償され、復号画像が加算器３１に供給される。加算器３１において、逆変換部３０からの差分信号と復号画像信号とが加算される。

ＶＣ−１フォーマットは、ＭＰＥＧなどと異なる処理がなされている。非特許文献２によれば、主なものは、以下の通りである。

１．適応型ブロック・サイズによる直交変換
（複数のサイズの直交変換ブロックを使用して直交変換を行う。）
２．１６ビット処理を前提とした直交変換セット
（１６ビットの固定小数点演算を使用して逆変換を実装し、復号化時の演算量を抑える。）
３．動き補償
（探索ブロックと、動きベクトルの検出の画素単位と、予測値生成に使用するフィルタの種類との３つのパラメータの組合せによる４つの動き補償のモードを規定する。）
４．量子化と逆量子化
（２つの量子化の方法が切り換えられる。）
５．デブロッキング・フィルタ
（ブロック境界に不連続が生じるのを防止するために、Ｈ．２６４／ＡＶＣと同様にデブロッキング・フィルタを導入して、ブロック境界を平滑化している。）
６．２つのインタレース符号化方式
（インタレース符号化方式としてInterlaced fieldピクチャ符号化方式と、Interlaced frameピクチャ符号化方式との２つの方式が可能とされている。）
７．Ｂピクチャの符号化方式
（参照するピクチャに対するＢピクチャの位置関係を明示して符号化する等の特徴を有する。）

この発明は、上述したＶＣ−１フォーマットの復号化装置における画面内予測符号復号化部２４に適用される。図３に示すように、従来の処理手順では、前段の可変長符号復号化部２３からの係数（ストリームデータ）と、ピクチャ、マクロブロック、ブロックのそれぞれの先頭を示す同期信号SyncとがＤＣ予測部４１に入力される。ＤＣ係数は、１１ビット定義であり、例えばＭＳＢ（最上位ビット）側に１ビットの０を付加することによって、１２ビットデータとする。ＡＣ係数は、１２ビットである。同期信号が３ビット存在するので、合計１５ビットの幅のストリームがＤＣ予測部４１に対して入力される。

入力データとしては、入力されたストリームに対するパラメータが存在し、パラメータはその変化単位がピクチャ、マクロブロック、ブロックのものが存在するので、それぞれの変化点になった場合、例えば各Syncに同期して可変長符号復号化部２３より送られてくるように設計される。ＤＣ予測部４１で処理を施されたストリームデータは、同様に各Syncを付加された状態で次の並び替え部としてのジグザグスキャン部４２に入力され、さらに、同様に各Syncを付加された状態で次のＡＣ予測部４３で処理される。ＡＣ予測部４３から出力されるSyncおよびストリームデータが次段の逆量子化部２５に供給される。

ＤＣ予測部４１で決定される予測方向のデータは、ジグザグスキャン部４２の処理に影響を及ぼし、また、予測方向のデータがＡＣ予測部４３で予測方向として使用されるので、予測方向のデータがＤＣ予測部４１からジグザグスキャン部４２とＡＣ予測部４３に伝達される。

ＶＣ−１フォーマットにおけるピクチャ、マクロブロック、ブロックの概要を図４に示す。図４は、横方向画素数がXSIZ、縦方向画素数がYSIZのピクチャを表している。このピクチャ中のマクロブロックでＤＣ予測を施される予測対象のマクロブロック（カレントマクロブロックと適宜称する）が示されている。カレントマクロブロックのピクチャ内の位置は、縦mbx （０≦mbx ≦MBXSIZ）、横mby （０≦mby ≦MBYSIZ）とする。ＶＣ−１では、画像は、（Ｙ：Ｃｂ：Ｃｒ＝４：２：０）フォーマットに基づいて符号化されるので、マクロブロックは、Ｙ×４、Ｃｂ×１、Ｃｒ×１の合計６個の（８×８）サイズのＤＣＴブロックより構成される。すなわち、MBXSIZ＝int(XSIZ／１６）、MBYSIZ＝int(YSIZ／１６）（int(x)はx の整数部分を表す）なる関係である。

ＤＣ予測で使用されるＤＣプリディクタについて図５を参照して説明する。ＤＣプリディクタとは、ＤＣ予測が施されるカレントブロック（予測対象ブロック）に隣接する上、左上、左のブロックに属するＤＣ係数のことで、そのブロックをBLKＡ, BLKＢ, BLKＣと
呼び、ＤＣプリディクタをＤＣＡ, ＤＣＢ, ＤＣＣと呼ぶこととする。

図４においてこの関係を示せば、例えばカレントブロックをY0(mbx, mby)とすれば、BLKＡは、Y2(mbx, mby-1)、BLKＢは、Y3(mbx-1, mby-1)、BLKＣは、Y1(mbx-1, mby)となる
。また、カレントブロックをCb(mbx, mby)とすれば、BLKＡは、Cb(mbx, mby-1)、BLKＢは、Cb(mbx-1, mby-1)、BLKCは、Cb(mbx-1, mby)となる。

ＤＣ予測の演算方法を以下に述べる。ＤＣ予測演算を行うためには予測の方向を決定する必要がある。予測の方向は、プリディクタＤＣＡとＤＣＢの差と、ＤＣＣとＤＣＢの差から決定する。abs（ＤＣＢ−ＤＣＡ）≦abs（ＤＣＢ−ＤＣＣ）が真であるときには、予測方向が左となり、この関係が偽であるときには、予測方向が上となる。Ａbs(Ａ)は、Ａの絶対値を表す。ＤＣ予測演算は、この方法で決定された方向の隣接ブロックのＤＣ係数、すなわち、予測方向が左のとき（左予測と適宜称する）では、ＤＣＣをカレントブロックのＤＣ係数に加算し、予測方向が上のとき（上予測と適宜称する）では、ＤＣＡをカレントブロックのＤＣ係数に加算し、ＤＣ係数を復号する。

ここで、ＤＣ係数のスケーリングについて述べる。ＶＣ−１においてはパラメータとしてマクロブロック単位でMQuantと呼ぶ量子化係数値が定義されている。また、HalfStepと呼ばれるパラメータがマクロブロック単位で定義されており、この２つをQuantizerと呼
び、BLKＡ、BLKＢ、BLKＣのQuantizerをそれぞれMQＡ, MQＢ, MQＣとする。カレントブロックと隣接するブロックのQuantizerが異なる場合、所定の演算によってスケーリング処
理が施される。予測方向の決定や加算の処理時では、プリディクタＤＣＡ, ＤＣＢ, ＤＣＣとして、このスケーリング処理後の値が使用される。

次に、ジグザグスキャンに関して説明する。一般にＡＣ係数は、高周波領域（ブロックの右下）に向かうほど量子化により０が発生する確率が高くなる。そのためエンコーダは可変長符号化効率を高めるために、左上側から斜め方向にデータを読むことによって連続して０が発生しやすいようにする。これをジグザグスキャンと呼ぶ。したがってデコーダでは、エンコーダがジグザグにスキャンしたデータを並べ替える必要がある。ＶＣ−１では、プロファイルやサブブロックパターン、予測の方向等により複数種類のスキャンパターンが定義されている。

図６Ａは、ACPRED＝０（ＡＣ予測なし）の場合のスキャンパターン（ノーマルスキャン）を示し、図６Ｂは、ACPRED＝１（ＡＣ予測あり）且つ上予測の場合のスキャンパターン（水平スキャン）を示し、図６Ｃは、ACPRED＝１（ＡＣ予測あり）且つ左予測の場合のスキャンパターン（垂直スキャン）を示す。図７Ａ〜図７Ｄは、インターＳｉｍｐｌｅ／Ｍａｉｎプログレッシブの場合のスキャンパターンを示す。図６および図７中の点線で示す順序でもって係数データが順次出力される。これらの図６および図７以外のスキャンパターンも定義されているが、簡単のため、その図示を省略する。

ジグザグスキャン部４２は、入力されたカレントストリームが複数のスキャンパターンのどのパターンであるかをパラメータデータから知り、係数データの順序をブロック内の位置に対応したものに並び替え、並び替えられた係数データがＡＣ予測部４３に入力される。

ＡＣ予測部４３においてなされるＡＣ予測について図８を参照して説明する。ＡＣ予測は、ＡＣ係数の比較的低次のデータに対してのみなされる。すなわち、各ブロックの第１列のＤＣ係数を除く７個のＡＣ係数、または第１行のＤＣ係数を除く７個のＡＣ係数が予測符号化される。ＡＣ予測演算は、ＡＣ予測を許可するパラメータが有効であり、隣接するブロックがイントラである等の条件を満たした場合、ＤＣ予測で決定された予測の方向によって、カレントブロックの整列する７個のＡＣ係数（予測符号化されている差分値）に対してプリディクタＡＣＡまたはプリディクタＡＣＣの７個のＡＣ係数（予測符号化が復号されている）を加算するものである。すなわち、予測方向が左のときはＡＣＣがカレントブロックの第１列のＡＣ係数に対して加算され、予測方向が上のときはＡＣＡがカレントブロックの第１行のＡＣ係数に対して加算される。ＤＣ係数と同様に、ＡＣ係数もスケーリング処理後のものが使用される。

図９に示すように、ＤＣ予測部４１には、前述したＤＣＡ,ＤＣＢ,ＤＣＣ，MQＡ, MQＢ,MQＣ,intraflagＡ, intraflagＢ, intraflagＣを記録しておくメモリを持つ必要がある
。Intraflagは、そのブロックがイントラかインターかを示すフラグである。

通常、コーデックは、マクロブロック単位で行われることが多いが、本明細書では説明の都合上、ブロック単位の処理とする。すなわち、入力ストリームの順番は図１０におけるブロック(0,0),(1,0),(2,0),…(Ｂx,0),(0,1),(1,1), (1,2) …(Ｂx, Ｂy)であり、出
力ストリームの順番も同様とする。図１０において、処理を施すカレントブロックをＵ(bx, by) とすると、BLKＡはＲ、BLKＢはＱ、BLKＣはＴとなる。

ここで、ブロックＵの処理後（予測符号化の復号後）のデータＵ’（’の記号は処理後を意味する）をブロックＱが記憶されていたメモリのアドレスｂx−１に書き込むとする
。次の処理ブロックＶ（bx+1、by）では、BLKＡは、メモリ上のアドレスｂx＋１（メモリ上のアドレスには実際は各係数の開始位置を示すオフセットを加算したアドレス）のＳ’、BLKＢは、メモリ上のアドレスｂxのＲ’、BLKＣは、メモリ上のアドレスｂx−１のＱ’となる。同様に、処理ブロックＵ(ｂx,ｂy)に対するBLKＣは、Ｒである。このように、ＤＣ予測に使用する処理後のデータは、連続する３個のアドレス（ｂx−１，ｂx，ｂx＋１
）に格納されているので、参照するデータを保持するためには、Ｂx＋１（ブロック）分
のデータがあれば都合がよいことがわかる。

上述したように、ＤＣ予測部４１において、ＤＣ予測に必要なデータはＤＣＡ，ＤＣＢ，ＤＣＣ，MQＡ,MQＢ,MQＣ，intraflagＡ，intraflagＢ，intraflagＣの９個であるから
、メモリに対して９回の読み出しがなされる。したがって、ＤＣ予測部４１の出力ストリームは、メモリから必要なデータが全て読み出されるための遅延とその後の演算遅延の分、遅れて出力されることとなる。また、ＤＣ予測部４１において、予測後のカレントブロックのＤＣ係数、カレントブロックのMQ、intraflagの３個のデータをメモリへ書き込む
ので、書き込みが３回なされる。

ＤＣ予測部４１によってＤＣ係数の予測復号化がなされ、ＤＣ予測部４１からは、復号後のＤＣ係数と、カレントストリームのＡＣ係数（１２ビット）のストリームデータと、スライス、マクロブロック、ブロックの先頭を示す同期信号Syncからなる１５ビットのデータが出力される。また、ＤＣ予測方向のデータも出力される。このＤＣ予測部４１の出力データがジグザグスキャン部４２に供給される。

ジグザグスキャン部４２は、メモリに１ブロックの６４個の係数データを書き込み、また、メモリから１ブロックの係数データを読み出す。カレントストリームのパラメータに含まれるスキャンパターンを示すデータによって書き込みアドレスおよび読み出しアドレスの一方を制御して、ＡＣ係数の順序を並び替え、１ブロックの６４個の係数データを順番に出力する。メモリは、１５ビット×６４の容量を有する。このメモリを２個（２バンク）持つことによって、ストリームデータを途切れなく処理することができる。

スキャンパターンは、図６および図７に示されている。例えば図６Ｂに示すスキャンパターンの場合では、ストリーム入力の並び順は点線で示す順であって、０，１，８，２，３，・・・，５５，６３である。ジグザグスキャン部４２では、この係数データの順序を０，１，２，３，４，・・・・，６２，６３の順に並べ替える。並び替えのために書き込みアドレスとして、０，１，８，２，３，・・・，５５，６３のアドレスを生成し、入力ストリームを該当するメモリアドレスに書き込む。1 ブロック分の書き込みが終了すると、読み出しアドレスとして０，１，２，３，４，・・・・，６２，６３を生成し、メモリから指定アドレスを読み出すことによって、０，１，２，３，４，・・・・，６２，６３と並んだ係数データを得ることができる。ジグザグスキャン部４２から係数データと予測方向を示すデータとがＡＣ予測部４３に対して出力される。

図１１に示すように、ＡＣ予測部４３には、ＡＣＡ,ＡＣＣ，MQＡ,MQＣ,intraflagＡ,
intraflagＣを記録しておくメモリを持つ必要がある。Intraflagは、そのブロックがイントラかインターかを示すフラグである。ＤＣ係数は、一つの係数データの予測であるのに対して、ＡＣ係数は、７個の係数データの予測であり、また、予測方向のデータを受け取るまでは、予測方向が分からないために、ＡＣＡおよびＡＣＣの合計１４個のＡＣ係数をメモリに記憶するようになされる。ＡＣ予測部４３では、MQを使用したスケーリングの処理を行い、スケーリング後のＡＣ係数によって予測復号化がなされる。後段の逆量子化部２５（図２参照）に対して、ＤＣ係数と、カレントストリームのＡＣ係数の８ビットのストリームデータと、スライス、マクロブロック、ブロックの先頭を示す同期信号Syncからなる１１ビットのデータが出力される。

ＡＣ予測部４３では、予測方向が上の場合には、ＡＣＡの７個の係数データと、MQＡ
、intraflagＡの９個のデータがメモリから読み出され、予測方向が左の場合には、ＡＣ
Ｃの７個の係数データと、MQＣ、intraflagＣの９個のデータがメモリから読み出される
。この９個のデータが全て読み出されるための遅延と、その後の演算に要する時間の遅延を伴ってデータが出力されることになる。

メモリに対して、予測処理が施された後のカレントブロックの最上段の１行に位置する７個のＡＣ係数と、最も左側の列に位置する７個のＡＣ係数と、カレントブロックのMQと、intraflagとの合計１６個のデータを書き込むために、書き込みは、１６回行われる。
０，１，２，・・・，６２，６３と順番に１ブロックの係数データが並ぶ場合に、１，２，３，４，５，６，７の位置のＡＣ係数データと、８，１６，２４，３２，４０，８，５６の位置のＡＣ係数データとがメモリに書き込まれる。カレントブロックのMQと、intraflagとは、ＡＣ係数の書き込みがなされていないタイミングでメモリに書き込まれる。

上述した従来の画面内予測符号化の復号化の構成は、ＤＣ予測、ジグザグスキャン、ＡＣ予測を順次処理する構成のために、ＤＣ予測およびＡＣ予測とで共通する演算処理回路を別々に備える必要があり、演算処理回路を二重に備える構成上の無駄があり、また、処理によって生じる遅延が大きくなる問題があった。また、演算回路のみならず、各部でメモリをそれぞれ備えているために、メモリの容量が大きくなり、効率的な構成ではなかった。

したがって、この発明の目的は、演算回路およびメモリの統合を図り、効率的な構成であって、処理によって生じる遅延を短いものとできる画像データ処理装置を提供することにある。

上述した課題を解決するために、この発明は、１画面が複数の画素からなるブロックに細分化され、各ブロックの単位で直交変換符号化がなされ、直交変換符号化によってＤＣ係数およびＡＣ係数が形成され、符号化対象のブロックのＤＣ係数が予測方向で隣接するブロックのＤＣ係数によって予測符号化され、予測方向を使用して符号化対象のブロックのＡＣ係数が隣接するブロックのＡＣ係数によって予測符号化され、符号化データがビットストリームに変換されて伝送され、ビットストリームが入力される画像データ処理装置において、
ＤＣ係数予測用プリディクタに相当するＤＣ係数と、ＡＣ係数予測のために使用される可能性のあるプリディクタに相当するＡＣ係数と、スケーリング処理に使用するパラメータとをメモリから読み出すためのアドレスを生成する読み出しアドレス発生部と、
メモリから読み出されたＤＣ係数およびＡＣ係数のスケーリング処理をパラメータを使用して行う第１の演算部と、
スケーリング処理後のＤＣ係数予測用プリディクタに相当するＤＣ係数を使用して複数の予測方向の一つを決定する第２の演算部と、
決定された予測方向に対応するプリディクタを入力ビットストリーム中のＤＣ係数および所定のＡＣ係数に対して加算して予測後のＤＣ係数およびＡＣ係数を生成する加算部と、
加算部の出力に得られる予測後のビットストリームにおいて、ＤＣ係数予測用プリディクタ、ＡＣ係数予測のために使用される可能性のあるプリディクタに相当するＡＣ係数およびスケーリング処理に使用するパラメータをメモリに書き込むための書き込みアドレスを発生する書き込みアドレス発生部と、
予測後のビットストリームの係数の順序を並び替える係数並び替え部と
を備える画像データ処理装置である。

この発明は、上述した画像データ処理装置において、書き込みアドレス発生部がスキャンパターンとメモリに書き込むべき位置の番号との対応関係を示すテーブルを備え、処理対象のブロックのスキャンパターンに基づいてＡＣ係数予測のために使用される可能性のあるプリディクタに相当するＡＣ係数を規定する画像データ処理装置である。

この発明においては、ＤＣ予測と、ＡＣ予測で共通する演算処理回路の削減が可能となる。演算回路を共通化することにより、入力および出力間の遅延を短くすることができる。また、参照値としてのプリディクタを記録するメモリも統合することができ、メモリを効率よく配置することが可能となり、無駄のないメモリ配置が可能となる。

以下、図面を参照してこの発明の一実施の形態について説明する。この一実施の形態は、上述したＶＣ−１フォーマットの復号化装置における画面内予測符号復号化部２４に対してこの発明を適用した例である。但し、ＶＣ−１フォーマット以外のフォーマットであっても、直交変換の結果の係数データの画面内予測符号復号化を行う処理に対して、この発明を適用することができる。

図１２は、一実施の形態の全体的構成を示す。前段の可変長符号復号化部２３からの係数（ストリームデータ）と、ピクチャ、マクロブロック、ブロックのそれぞれの先頭を示す同期信号SyncとがＤＣ／ＡＣ予測部５１に入力される。ＤＣ係数は、１１ビット定義であり、例えばＭＳＢ（最上位ビット）側に１ビットの０を付加することによって、１２ビットデータとする。ＡＣ係数は、１２ビットである。同期信号が３ビット存在するので、合計１５ビットの幅のストリームがＤＣ／ＡＣ予測部５１に対して入力される。

入力データとしては、入力されたストリームに対するパラメータが存在し、パラメータはその変化単位がピクチャ、マクロブロック、ブロックのものが存在するので、それぞれの変化点になった場合、例えば各Syncに同期して可変長符号復号化部２３より送られてくるように設計される。ＤＣ／ＡＣ予測部５１で処理を施されたストリームデータは、同様に各Syncを付加された状態で次のジグザグスキャン部５２に入力され、処理される。ジグザグスキャン部５２から出力されるSyncおよびストリームデータが次段の逆量子化部２５に供給される。

ＤＣ／ＡＣ予測部５１で決定される予測方向のデータは、ジグザグスキャン部５２の処理に影響を及ぼすので、予測方向のデータがＤＣ／ＡＣ予測部５１からジグザグスキャン部５２に伝送される。

並び替え部としてのジグザグスキャン部５２は、従来構成におけるジグザグスキャン部４２と同様に、エンコーダがジグザグにスキャンしたデータを並べ替える。ＶＣ−１では、図６および図７に示すように、プロファイルやサブブロックパターン、予測の方向等により複数種類のスキャンパターンが定義されているので、ジグザグスキャン部５２は、入力されたカレントストリームが複数のスキャンパターンのどのパターンであるかをパラメータデータから知り、係数データの順序をブロック内の位置に対応したものに並び替える。

一実施の形態では、ＤＣ予測とＡＣ予測とがメモリに対するアクセス、係数のスケーリング処理、予測値の加算処理などが類似していることに着目し、ＤＣ予測と、ＡＣ予測とを共通処理ブロック（ＤＣ／ＡＣ予測部５１）としてまとめている。ＤＣ／ＡＣ予測部５１は、ＤＣ予測のためのプリディクタＤＣＡ,ＤＣＢ,ＤＣＣと、ＡＣ予測のためのプリディクタＡＣＡ,ＡＣＣと、MQＡ, MQＢ,MQＣ,intraflagＡ,intraflagＢ,intraflagＣを記憶するメモリを備えている。図１３に示すように、これらのデータがメモリに保持される。予測のためのＤＣ係数データおよびＡＣ係数データを保持する容量として従来の構成と同様に必要とされるが、MQＡ, MQＢ, MQＣ,intraflagＡ,intraflagＢ,intraflagＣを二重に保持する必要がなくなり、容量が節減できる。

図１４に示すような構成をＤＣ／ＡＣ予測部５１が備え、ＤＣ／ＡＣ予測部５１が図１５に示すタイミングにしたがって動作する。図１６は、動作説明用のシーケンスチャートである。可変長符号復号化部２３からストリームデータＳ８０１が入力される（図１６のシーケンスＳＴ１）。上述したように、このストリームは、１５ビット幅を有している。タイミング生成器（図ではＴＧと表記する。）８０１が入力ストリームＳ８０１の同期信号に基づいてタイミング信号を生成する。タイミング信号Ｓ８０２がアドレス生成器（図ではＡＤＧと表記する。）８０２に供給される。

図１５に示すように、アドレス生成器８０２は、ブロックタイミングを示す同期信号Blocksyncと同期して、入力ストリームＳ８０１に対するＤＣＡ 、ＤＣＢ 、ＤＣＣに相当
するＤＣ係数と、ＡＣＡ, ＡＣＣに相当するＡＣ係数と、MQＡ,MQＢ, MQＣ，intraflagＡ,intraflagＢ,intraflagＣが記憶されているアドレスと、そのそれぞれのデータを読み出すリードイネーブル信号（ハイレベルのときに有効）を生成する。メモリ８１７から読み出されたこれらのデータがセレクタ８０３に入力される（シーケンスＳＴ２）。この段階では、未だ予測方向が決定されていないので、ＡＣ予測のためにＡＣＡおよびＡＣＣの何れを使用するかが決定されない。しかしながら、この一実施の形態では、ＡＣ予測に使用される可能性のある二つのＡＣ係数を先読みすることによってＤＣ予測とＡＣ予測とを共通の構成で行うことを可能としている。

セレクタ８０３は、メモリ８１７から読み出されたデータをＤＣ／ＡＣ係数Ｓ８０５と、MQ（MQＡ,MQ Ｂ, MQＣ）Ｓ８０６と、intra flag（intra flag Ａ,intra flag Ｂ,intra flag Ｃ）Ｓ８２９に分離する。これらのデータがレジスタ８０４、８０５および８２１に対してそれぞれ保持される。ここでＤＣ係数とＡＣ係数の合計８個のスケーリング処理が順次行われることから、レジスタ８０４にＡＣ係数のビット幅分の１２ビットを持たせることによって、メモリ８１７から読み出されたＡＣ係数がレジスタ８０４に順次記憶される。レジスタ８０４、８０５および８２１に保持されているデータＳ８０７，Ｓ８０８およびＳ８３０が演算ユニット（図ではＡＬＵと表記する）８０６に対して供給される。

演算ユニット８０６において、参照するＤＣ／ＡＣ係数、およびMQＡ,MQＢ, MQＣ，intra flagが全て揃ったタイミングでスケーリング演算を行う（シーケンスＳＴ３）。すな
わち、演算ユニット８０６は、入力ストリームＳ８０１が持つカレントMQとレジスタ８０５からの参照ブロックのMQとを比較し、両者が異なり、且つスケーリングを行う条件の場合には、ＤＣ係数Ｓ８０７に対してスケーリング処理を行う。スケーリングが不要な場合では、１を乗算する処理がなされる。演算ユニット８０６の出力信号Ｓ８０９がセレクタ８０７に供給され、レジスタ８０８，８０９，８１０，８１８に記憶される（シーケンスＳＴ４）。

セレクタ８０７は、演算ユニット８０６が出力したＤＣ係数Ｓ８０９がプリディクタＤＣＡからスケーリング演算されたものの場合は、Ｓ８１０としてレジスタ８０８に出力し、レジスタ８０８がそのＤＣ係数を記憶する。プリディクタＤＣＢからスケーリング演算されたＤＣ係数は、Ｓ８１１としてレジスタ８０９に出力され、レジスタ８０９がそのＤＣ係数を記憶する。プリディクタＤＣＣからスケーリング演算されたＤＣ係数は、Ｓ８１２としてレジスタ８１０に出力され、レジスタ８１０がそのＤＣ係数を記憶する。さらに、演算ユニット８０６が出力したＡＣ係数Ｓ８０９がＳ８２３としてレジスタ８１８に出力され、レジスタ８１８がそのＡＣ係数（ＡＣＡ（７個のＡＣ係数）およびＡＣＢ（７個のＡＣ係数））を記憶する。

レジスタ８０８，８０９，８１０，８１８にスケーリング処理後のプリディクタＤＣＡ，ＤＣＢ，ＤＣＣ，ＡＣＡおよびＡＣＢが全て揃ったタイミングで演算ユニット８１１が予測方向を決定する（シーケンスＳＴ６）。前述したように、予測の方向は、プリディクタＤＣＡとＤＣＢの差と、ＤＣＣとＤＣＢの差から決定される。abs（ＤＣＢ−ＤＣＡ）
≦abs（ＤＣＢ−ＤＣＣ）が真であるときには、予測方向が左となり、この関係が偽であ
るときには、予測方向が上となる。左予測では、ＤＣＣをカレントストリームのＤＣ係数に加算し、上予測では、ＤＣＡをカレントストリームのＤＣ係数に加算し、ＤＣ係数を復号する。

演算ユニット８１１が決定した予測方向を示す予測方向信号Ｓ８１５がセレクタ８１２に制御信号として供給されると共に、次段のジグザグスキャン部５２に対して出力される。セレクタ８１２に対してレジスタ８０８からのＳ８１３（ＤＣＡ）およびレジスタ８１２からのＳ８１４（ＤＣＣ）が入力され、予測方向信号Ｓ８１５に応じて一方の信号がセレクタ８１２によって選択され、レジスタ８１３に対してカレントストリームのＤＣ係数に対して加算される値Ｓ８１６として供給される。

レジスタ８１３に書き込まれたプリディクタがセレクタ８２０に対してＳ８１７として出力される。セレクタ８２０に対してＳ８２７（０データ）およびＡＣ係数予測用のプリディクタＳ８２４（レジスタ８１８の出力）が供給される。セレクタ８２０は、タイミング生成器８１９の出力Ｓ８２６によって制御され、Ｓ８２７（０データ）、Ｓ８１７（ＤＣ予測用プリディクタ）、Ｓ８２４（ＡＣ予測用プリディクタ）のそれぞれを適切なタイミングでＳ８２８として加算器８１４に対して出力する（シーケンスＳＴ８，ＳＴ９）。

加算器８１４に対しては、入力（カレント）ストリームが遅延補償用の遅延ＤＬを介して供給される。カレントストリーム中のＤＣ係数に対してセレクタ８２０からのプリディクタＤＣＡまたはＤＣＣが加算され、ＡＣ係数に対してセレクタ８２０からのプリディクタＡＣＡまたはＡＣＣが加算される（シーケンスＳＴ１０）。加算が不要な係数データのタイミングでは、セレクタ８２０が０データを加算器８１４に出力する。このようにして加算器８１４の出力には、予測後のＤＣ係数と、カレントストリームのＡＣ係数の１２ビットのストリームデータと、スライス、マクロブロック、ブロックの先頭を示す同期信号Syncからなる１５ビットのデータＳ８２２が取り出される。

演算ユニット８１１から出力される予測方向信号Ｓ８１５がアドレス生成器８１６に供給される。アドレス生成器８１６には、タイミング生成器８１５が遅延後のカレントストリームの同期信号Syncから形成したタイミング信号Ｓ８１９が供給される。アドレス生成器８１６は、メモリ８１７に対する書き込みアドレスおよびライトイネーブル信号（ハイレベルのときに有効）を生成し、書き込みアドレスおよびライトイネーブル信号をＳ８２０としてメモリ８１７に対して供給する（シーケンスＳＴ１１）。

図１５に示すように、加算器８１４の出力データＳ８２２の中で次のブロックの予測に必要とされる係数データのタイミングでライトイネーブル信号がアクティブとなり、書き込みアドレスが発生し、係数データがメモリ８１７に対して書き込まれる（シーケンスＳＴ１２）。係数データ以外にカレントストリームのMQおよびintra flagを書き込むためのライトイネーブル信号および書き込みアドレスをアドレス生成器８１６が発生し、これらのデータがメモリ８１７に書き込まれる。

図１５に示すタイミングチャートにおいて、メモリ８１７からデータが２３回読み出される。すなわち、ＤＣ／ＡＣ予測部５１において、ＤＣ/ＡＣ 予測に必要なデータはＤＣＡ，ＤＣＢ，ＤＣＣ，MQＡ，MQＢ，MQＣ，intraflagＡ,intraflagＢ,intraflagＣ，ＡＣ
Ａ，ＡＣＣ各７個の合計２３個であるから、メモリから２３回の読み出しがなされる。ここで、ＡＣＡとＡＣＣの両方を読み出すのは、メモリから読み出す時点では予測の方向が決定されていないためで、方向がどちらになってもよいようにスケーリング処理までは両方のデータに関する処理がそれぞれ行われる。

出力ストリームＳ８２２は、このメモリ８１７から必要なデータがすべて読み出されるための遅延と、その後の演算遅延とを伴った分だけ遅れて出力されることとなる。メモリへの書き込みは、予測処理が施された後のカレントのＤＣ係数、および処理後のＡＣ係数のブロック最上段にあたる７個のＡＣ係数と、最左列に当たる７個のＡＣ係数とカレントのMQ、intra flagの合計１７個であるので、１７回行われる。すなわち、出力ストリームのＤＣ係数を０として以下のＡＣ係数の位置をカウントアップすることによって、ＡＣ係数の書き込み位置が１，２，３，４，５，６，７，８，１６，２４，３２，４０，４８，５６となる。MQとintra flagは、ＤＣ係数の書き込み位置０とこの位置以外で書き込めば良い。一例として、６２および６３でこれらを書き込むようになされる。

図１７は、ジグザグスキャンの一例とＤＣ／ＡＣ予測部５１がプリディクタ（参照データ）を必要とする箇所をメモリ８１７に記録する際の関連の一例を示す。ＡＣ予測で必要とされるＡＣ係数は、図１７に示すように、上プリディクタ候補は、１，２，３，４，５，６，７であり、左プリディクタ候補は、８，１６，２４，３２，４０，４８，５６である。出力ストリームＳ８２２の中でこの位置の係数データのみをメモリ８１７に記憶しておけばよいことがわかる。したがって、アドレス生成器８１６は、上プリディクタ候補として、Ｂlocksyncから数えて入力ストリームの位置１，３，４，１０，１１，２２，２３をメモリ８１７に記憶し、左プリディクタ候補として、Ｂlocksyncから数えて入力ストリームの位置２，６，７，１５，１６，１７，２９をメモリ８１７に記憶し、さらに、カレントストリームのMQおよびintra flagを記憶するための書き込みイネーブル信号および書き込みアドレスを生成する。

これらの書き込みべきデータの位置は、スキャンパターン（図６および図７参照）によって変化する。したがって、スキャンパターンと書き込むべき位置の番号との対応関係を示すテーブルが予め作成され、アドレス生成器８１６に備えられている。図１８は、上予測の場合のＡＣ係数の加算位置（メモリ８１７への書き込み位置）を示すテーブルと、左予測の場合のＡＣ係数の加算位置（メモリ８１７への書き込み位置）を示すテーブルを示す。

スキャンパターンとしては、５種類(Normal Scan（図６Ａ）,Horizontal Scan（図６Ｂ）,Vertical Scan（図６Ｃ）,Inter特殊,P Pic Progressive Intra)ある。イントラブロ
ックの場合には、予測方向に応じた３種類のスキャンパターンの何れかである。「Intra
」の条件は、
・Ｉ（ＢＩを含む）PictureのIntra Block
・Interlace Frame Coded P/B Pictureにおいて予測ブロックBLK ＡまたはBLK Ｃの少な
くとも一方がIntra Blockの場合
の何れかを満たすものである。ACPRED＝０（ＡＣ予測なし）の場合には、Normal Scan（
図６Ａ）とされ、ACPRED＝１（ＡＣ予測あり）で且つ上予測の場合には、Horizontal Scan（図６Ｂ）とされ、ACPRED＝１（ＡＣ予測あり）で且つ左予測の場合には、Vertical Scan（図６Ｃ）とされる。
さらに、「Inter特殊」の場合と、「P Pic Progressive Intra」の場合とがある。「Inter特殊」の条件は、
カレントブロックがInterlace Frame Coded P/B PictureにおけるIntra Macro Blockに含まれるブロックであり、且つACPRED＝０（ＡＣ予測なし）または予測ブロックBLK ＡまたはBLK ＣがInter Block（すなわち、Intra Blockでない）
である。この条件を満たすものを本明細書では、便宜上「Inter特殊」と称するもので
ある。さらに、「P Pic Progressive Intra」は、厳密に書くと
Progressive画像のP PictureにおけるIntra Block
を示す。

各テーブルにおいては、上プリディクタ候補を書き込む場合の位置の番号が複数のスキャンパターンに関して規定され、また、左プリディクタ候補を書き込む場合の位置の番号も同様に複数のスキャンパターンに関して規定されている。但し、画面内予測符号の復号化は、イントラブロックに対してのみなされる処理であるために、全てのスキャンパターンに関する規定を行う必要がなく、図示するような５個のスキャンパターンに関して規定がなされている。

図１９は、ＤＣプリディクタの加算およびＤＣ係数の書き込み位置と、MQおよびintra
flagの書き込み位置と、各スキャンパターンに関しての上予測および左予測のそれぞれの場合のＡＣプリディクタの加算位置を示すタイミングチャートである。MQおよびintra flagの書き込み位置（６２，６３）は、２段のタイミングチャートで示されている。

なお、図１３にメモリ８１７がデータを保持する態様の一例を示したが、図２０に示すように、ＤＣ係数（１１ビット）に対してintra flagの１ビットを付加し、MQ（６ビット）を１２ビットの幅にすることによって、メモリを効率的に利用でき、メモリの構成間口を１２ビットに統一することができる。

以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述した一実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えばこの発明は、ＶＣ−１フォーマットに限らず、画面内予測符号の復号化に対して適用できる。例えばカレントブロックの全データに対して予測を行うようにしても良い。また、係数データではなく、画素値に対する予測を行うものに対してもこの発明は適用可能である。

この発明を適用することができる符号化装置の一例のブロック図である。 この発明を適用することができる復号化装置の一例のブロック図である。 従来の画像データ処理装置の構成例を示すブロック図である。 ピクチャ、マクロブロック、ブロックの関係を説明するための略線図である。 ＤＣ係数の予測を説明するための略線図である。 スキャンパターンのいくつかの例を示す略線図である。 スキャンパターンの他のいくつかの例を示す略線図である。 ＡＣ係数の予測を説明するための略線図である。 従来の構成におけるＤＣ係数予測部のメモリに保持されるデータを説明するための略線図である。 メモリに保持されるデータを説明するための略線図である。 従来の構成におけるＡＣ係数予測部のメモリに保持されるデータを説明するための略線図である。 この発明の一実施の形態の構成を示すブロック図である。 この発明の一実施の形態におけるＤＣ／ＡＣ係数予測部のメモリに保持されるデータを説明するための略線図である。 この発明の一実施の形態におけるＤＣ／ＡＣ係数予測部の構成の一例を示すブロック図である。 図１４に示す構成の処理の説明に用いるタイミングチャートである。 図１４に示す構成の処理の説明に用いるシーケンスチャートである。 ジグザグスキャンの一例とＡＣ予測のためのプリディクタの位置を示すタイミングチャートとを示す略線図である。 ＡＣ係数に対する加算位置とスキャンパターンとの対応関係を示すテーブルの一例を示す略線図である。 スキャンパターンのそれぞれに関してＡＣ係数に対する加算位置を示すタイミングチャートである。 この発明の一実施の形態におけるＤＣ／ＡＣ係数予測部のメモリにデータを保持する場合のデータ配置を説明するための略線図である。

符号の説明

１ イントラ予測符号化部
２ インター予測符号化部
３ 直交変換部
４ 画面内予測符号化部
２１ イントラ予測復号化部
２２ インター予測復号化部
２４ 画面内予測符号復号化部
４１ ＤＣ予測部
４２，５２ ジグザグスキャン部
４３ ＡＣ予測部
５１ ＤＣ／ＡＣ予測部

Claims (2)

1. １画面が複数の画素からなるブロックに細分化され、各ブロックの単位で直交変換符号化がなされ、直交変換符号化によってＤＣ係数およびＡＣ係数が形成され、符号化対象のブロックのＤＣ係数が予測方向で隣接するブロックのＤＣ係数によって予測符号化され、上記予測方向を使用して符号化対象のブロックのＡＣ係数が隣接するブロックのＡＣ係数によって予測符号化され、符号化データがビットストリームに変換されて伝送され、上記ビットストリームが入力される画像データ処理装置において、
   ＤＣ係数予測用プリディクタに相当するＤＣ係数と、ＡＣ係数予測のために使用される可能性のあるプリディクタに相当するＡＣ係数と、スケーリング処理に使用するパラメータとをメモリから読み出すためのアドレスを生成する読み出しアドレス発生部と、
   上記メモリから読み出されたＤＣ係数およびＡＣ係数のスケーリング処理を上記パラメータを使用して行う第１の演算部と、
   上記スケーリング処理後の上記ＤＣ係数予測用プリディクタに相当するＤＣ係数を使用して複数の予測方向の一つを決定する第２の演算部と、
   決定された上記予測方向に対応するプリディクタを上記入力ビットストリーム中のＤＣ係数および所定のＡＣ係数に対して加算して予測後のＤＣ係数およびＡＣ係数を生成する加算部と、
   上記加算部の出力に得られる予測後のビットストリームにおいて、上記ＤＣ係数予測用プリディクタ、上記ＡＣ係数予測のために使用される可能性のあるプリディクタに相当する上記ＡＣ係数および上記スケーリング処理に使用するパラメータを上記メモリに書き込むための書き込みアドレスを発生する書き込みアドレス発生部と、
   上記予測後のビットストリームの係数の順序を並び替える係数並び替え部と
   を備える画像データ処理装置。
2. 上記書き込みアドレス発生部がスキャンパターンと上記メモリに書き込むべき位置の番号との対応関係を示すテーブルを備え、処理対象のブロックの上記スキャンパターンに基づいて上記ＡＣ係数予測のために使用される可能性のあるプリディクタに相当するＡＣ係数を規定する請求項１記載の画像データ処理装置。

Images