WO2007129433A1 - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

　マクロブロックパイプライン構造の動画像符号化装置において、隣接ブロックの処理結果を符号化中のブロックの処理に反映する。縦に連続する複数のマクロブロック行がひとまとまりとされ、これらひとまとまりのマクロブロック行から、１行のマクロブロック行当たり１個のマクロブロックが選択され、これら選択された複数のマクロブロックが１マクロブロックサイクルごとにマクロブロックパイプラインに投入され、そのマクロブロックの符号化が開始される。例えば、ｅ行１０列、ｆ行８列、ｇ行６列、ｈ行４列のマクロブロックが１マクロブロックサイクルごとにマクロブロックパイプラインに投入され、符号化が開始される。

Description

明 細 書

動画像符号化装置および動画像符号化方法

技術分野

[0001] 本発明は、 動画像のデータ量を圧縮■削減するための動画像符号化装置お よび動画像符号化方法に関するものである。

背景技術

[0002] 動画像には、 720 Pのようにフレームで形作られているものと、 1 08 0 iのようにフィールドで形作られているものがある。 以下では、 動画像に 含まれる 1枚の画像を示すためにピクチャという用語を用いるとき、 ピクチ ャはフレームとフィールドの両方を表すものとする。

[0003] MPEG— 2や H. 264 (MPEG— 4 A VCとも呼ばれる） 、 VC - 1等の動画像符号化方式では、 画面を 1 6画素 X 1 6画素や 8画素 X 8画 素等のマクロブロック （以下、 MBという。 ） に分割し、 MB単位で動き検 出、 動き補償、 DCTまたは整数変換等の周波数変換、 量子化、 可変長符号 化等を行う。 これらの動画像符号化方式では、 符号化効率を向上させるため に、 符号化済みの周辺 MBの結果をフィードバックし、 符号化中の MB (以 下、 現 MBという。 ） の処理内容を決める適応処理が行われる。

[0004] 例えば、 M P E G _ 2では発生符号量が局所的に変動することを防ぐため に、 個々の MBの量子化パラメータを変更することによって発生符号量を制 御する。 これをレート制御という。 レート制御では、 可変長符号化の結果発 生した符号化済み M Bの符号量に応じて現 M Bの量子化パラメータを変更す る。 例えば、 左隣接 MBの発生符号量が大きい場合、 現 MBの量子化パラメ ータを大きくし、 現 MBの発生符号量を減少させる。

[0005] H. 264は MP EG— 2に比べて 2倍程度の効率で動画像を圧縮できる 。 この高い圧縮効率を実現するために、 H. 264では、 動き補償における 参照ピクチャ数の増加、 可変ブロックサイズ動き補償や 4画素 X 4画素単位 の周波数変換 （以下、 整数変換という。 ） が採用されると共に、 レート制御 に加えて以下の 3つの適応処理が新たに導入された。 ここで、 可変ブロック サイズ動き補償とは、 MBを 8画素 X 1 6画素、 8画素 X 8画素、 4画素 X 4画素等のサブブロック （以下、 SBという。 ） に分割し、 SBごとに動き 補償を行うことをいう。 以下では、 単にブロックというときには、 MBと S Bの両方を意味するものとする。

[0006] (1 ) 予測誤差の符号量だけではなく、 参照ピクチャの符号量と動きべク卜 ルの符号量を考慮し、 それらの合計符号量が最小となる参照ピクチャ、 動き べクトル、 およびブロックの組み合わせを選択する。 動きべクトルについて は、 左隣接ブロック、 上隣接ブロック、 および右上隣接ブロックの動きべク トルから予測される予測動きベクトル （以下、 PMVという。 ） を求め、 P MVと現ブロックの動きベクトルの差分を符号化する。 また、 左隣接ブロッ ク、 上隣接ブロック、 および右上隣接ブロックの動きベクトルは、 空間ダイ レク卜モードの動きべクトルを求めるときにも参照する。

[0007] (2) 隣接 MBの再生画素から予測値を作成し、 イントラ予測を行う。 輝度 信号については 4画素 X 4画素 S B (以下、 4X 4SBという。 ） のイン卜 ラ予測モードと 1 6 X 1 6画素ブロックのイントラ予測モードがある。 輝度 信号の 4 X 4SBのイントラ予測モードでは、 左隣接 4X 4SB、 上隣接 4 X 4 S B、 および右上隣接 4 X 4 S Bの再生画素から現 4 X 4 S Bのイン卜 ラ予測値を作成し、 このィントラ予測値と現 4 X 4 S Bの画素の差分を符号 化する。 この差分画素を整数変換，量子化，逆量子化，逆整数変換し、 その 結果にイントラ予測値を加算することにより再生画素が作成される。 1 6 X 1 6画素ブロックのイントラ予測モードでは左隣接 MBと上隣接 MBの再生 画素から現 1 6 X 1 6画素ブロックのイントラ予測値を作成し、 このイン卜 ラ予測値と現 1 6 X 1 6画素ブロックの画素の差分を符号化する。

[0008] (3) 4画素 X 4画素ブロックの境界にデブロッキングフィルタをかけ、 ブ ロックノイズを除去する。

[0009] 一方、 ハードウェアの動画像符号化装置では、 回路の稼働率を上げるため に MB単位のパイプライン （本特許請求の範囲および明細書では、 マクロブ ロックパイプラインまたは MBパイプラインという。 ） が採用されるのがー 般的である （例えば、 非特許文献 1の叩.126-128、 図 3参照） 。 また、 ハー ドウエアの動画像符号化装置では、 通常横方向の MBの並び （以下 MB行と いう） 内では左端 MBから右端 MBに向かって符号化される。 そして、 1つ の M B行に含まれる右端の M Bの符号化が終了すると、 次にその下の M B行 に属する M Bが左端 M Bから右端 M Bに向かって符号化される。 これがピク チヤの最も上の MB行からピクチャの最も下の MB行まで繰り返される。 図 1は、 従来の H. 264の符号化器の MBパイプラインにおいて、 MBが M Bパイプラインのステージを流れていく様子を示す図である。 n_ 1、 n、 および n + 1はある MB行中の左からそれぞれ n _ 1番目、 n番目、 n + 1 番目の MBを表す。 また、 MBサイクルとは、 MBパイプラインの各ステー ジで 1個の MBが処理されるために要する時間の単位をいい、 各ステージで は 1 MBサイクルで 1個の MBが処理される。

図 1では、 ステージ 0で 1 MBサイクルかけて外部メモリから 1個の MB の符号化に必要なデータを読み出す。 ステージ 1で 1 MBサイクルかけて 1 個の MBについて粗い精度の動き検出を行う。 ステージ 2で 1 MBサイクル かけてステージ 1で検出された粗い精度の候補動きべクトルの周囲の狭い範 囲で詳細な動き検出を行うと共に、 イントラ予測を行う。 ステージ 3では 1 MBサイクルかけて 1個の MBについて整数変換、 量子化、 逆量子化、 およ び逆整数変換を行う。 ステージ 4では 1 MBサイクルかけて 1個の MBにつ いて可変長符号化と動き補償を行う。 そして、 ステージ 5で 1 MBサイクル かけて 1個の MBについてレー卜制御とデブロッキングフィルタを行い、 ス テージ 6で 1 MBサイクルかけて 1個の MB分の再生画素ゃビットス卜リー ムを外部メモリに書き込む。 MBサイクルを 1 000サイクルと仮定すると 、 MBパイプラインを行わない場合には 1個の MBの符号化処理に 7000 サイクルかかるのに対し、 図 1の MBパイプラインでは 1 000サイクルご とに 1つの MBの符号化が終了する。 なお、 MBサイクルのサイクル数は符 号化対象のピクチャの性質に応じて変動する。 例えば、 符号化中の MBが直 前に符号化したピクチャに含まれる M Bと同一である場合には、 M Bサイク ルのサイクル数は非常に少ない。 一方、 符号化中の MBと類似の MBが符号 化済の M Bの中に存在しない場合には、 M Bサイクルのサイクル数は多くな る。

[0011] しかし、 この MBパイプラインで左隣接 MBの処理結果に応じた適応処理 を行うためには、 例えば、 以下の 4点の問題がある。

[0012] (1 ) 図 1に示すように、 n_ 1番目の MBについてレート制御が終了した とき、 既に n + 1番目の MBまで量子化が終了している。 従って、 n_ 1番 目の M Bの発生符号量に応じて量子化パラメータを変更できるのは、 n + 2 番目以降の MBである。 すなわち、 2 MB分レート制御が遅れる。

[0013] (2) 図 1では動き検出を MBパイプライン 2段で実行し、 ステージ 2で高 精度の動きべクトル検出と同時にイントラ予測を実行している。 高精度の動 きべクトルが決定し、 かつイントラ予測かインター予測かが決まらなければ 正確な PMVは算出できないが、 n - 1番目の MBについて高精度の動きべ クトルとイントラ予測かインタ一予測かが決まつたときには n番目の M Bに ついてステージ 1における粗い精度の動きべクトル検出は終了している。 こ のため、 図 1の MBパイプラインでは、 左隣接 MBについては荒い精度の動 きべクトル検出結果しか考慮して動きべクトルを選択することはできず、 左 隣接 MBにおける高精度の動きべクトルおよびイントラ予測 Zインター予測 判定結果を考慮して動きベクトルを選択することができない。 加えて、 H. 264では MBを分割した 8画素 X 1 6画素、 8画素 X 8画素、 4画素 X 4 画素等の SBでも動きべクトルの符号量を考慮して動きべクトル検出を行う ことが望ましいが、 図 1の MBパイプラインでは左隣接 SB、 上隣接 SB、 および右上隣接 SBの動きべクトルの符号量を考慮して動きべクトル検出を 行うことは困難である。

[0014] (3) 1 6画素 X 1 6画素ブロックイントラ予測モードは、 左隣接 1 6画素 X 1 6画素ブロックと上隣接 1 6画素 X 1 6画素ブロックの画素値と現ブロ ックの画素値を評価して決定される。 ここで、 評価に使用する隣接 1 6画素 x 1 6画素ブロックの画素は再生画素であることが望ましい。 再生画素は、 イントラ予測やインター予測で得られた予測誤差を整数変換、 量子化、 逆量 子化および逆整数変換し、 予測値を加算することにより求められる。 しかし

、 図 1の M Bパイプラインではステージ 3で n _ 1番目の M Bの整数変換等 が終わリ、 ステージ 4の動き補償で n _ 1番目の M Bの再生画素が作成され たときには、 ステージ 2における n番目の M Bのイントラ予測は終了してい る。 このため、 n番目の M Bについて 1 6画素 X 1 6画素ブロックイントラ 予測の予測モード判定を行うときには、 その左に隣接した n _ 1番目の M B の再生画素を使用することはできない。 このため、 左に隣接した n _ 1番目 の 1 6画素 X 1 6画素ブロックの予測モード判定については再生画素ではな く、 符号化中の現ピクチャの画素を使用せざるを得ない。 同様に、 H . 2 6 4における 4画素 X 4画素ブロックイントラ予測モードでは左隣接、 上隣接 、 右上隣接の 4画素 X 4画素ブロックの再生画素を使用して予測モードを決 定することが望ましいが、 図 1の M Bパイプラインでは不可能であり、 符号 化中の現ピクチャの画素を使用せざるを得ない。

[0015] ( 4 ) イントラ予測値は、 符号化装置と復号装置で同一のものを使用しなけ ればならないため、 再生画素から作成せざるを得ない。 一方、 Pピクチャと Bピクチャでは、 左に隣接した n - 1番目の M Bがィンター予測モードと判 定された場合には、 動き補償が終わるまで再生画素が得られない。 しかし、 図 1の M Bパイプラインでは、 n - 1番目の M Bについてのステージ 4にお ける再生画素の生成と、 n番目の M Bについてのステージ 3における整数変 換等は同時に実行される。 このため、 Pピクチャと Bピクチャでは、 n _ 1 番目の M Bの再生画素を用いて予測値を作成し、 n番目の M Bの整数変換等 を行うことは困難である。

[0016] また、 ピクチャのデータ量は膨大であるため、 一般にピクチャは動画像符 号化装置の外部のメモリに記憶され、 動画像符号化装置は内部メモリと動き 検出回路を含む。 従来の動画像符号化装置では動きべクトルが存在する可能 性がある領域 （以下、 参照領域という。 ） を動画像符号化装置の外部メモリ から内部メモリにコピーし、 内部メモリ内の画素に対して動きべクトルを検 出するための演算が行われる。 図 2は、 隣接する 2つの MBの参照領域の例 を示す図である。 M B 1 00の参照領域 1 02は M B 1 0 1の参照領域 1 0 3と大部分重なっており、 重なっていない領域の幅は MBの横方向の画素数 と一致する。 参照領域 1 03は参照領域 1 02より右方向に MBの横方向の 画素数分ずれているだけである。 以下では、 このずれている領域を更新領域 1 04と呼ぶ。 従来の動画像符号化装置はこの性質を利用して外部メモリと 内部メモリ間の画素転送量を削減する。 外部メモリから内部メモリへは更新 領域 1 04の画素のみ転送し、 MB 1 0 1の動き検出を開始するとき、 参照 領域の原点を参照領域 1 02の （0， 0) から参照領域 1 03の （0， 0) ' に付け替える。 このように、 更新領域 1 04のみ読み込んで参照領域を更 新することにより外部メモリから内部メモリへの転送量を削減していた。 す なわち、 従来は参照領域の横方向の重なリを利用して外部メモリと内部メモ リの間の画素転送量を削減していた。

[0017] し力、し、 DC I (D i i t a l C i n ema I n i t i a t i v e ) の定めたデジタルシネマ規格による 1ピクチャの大きさは 4096画素 X 2 1 60画素であり、 1 080 i ( 1 920画素 X 1 080画素） の 4倍の 画素数を有する。 今後、 画面サイズは更に大型化し、 また 1秒当たりに符号 化されるピクチャ数も増加する傾向にある。 このため、 従来よりも外部メモ リと内部メモリの間の画素転送量を削減することが要求される。

[0018] また、 動画像符号化装置の処理速度が遅く、 1台では処理が間に合わない 場合、 複数の動画像符号化装置による並列処理が行われる。 従来は、 複数の 画像符号化装置間の接続やデータ転送が簡単になるという理由で画面を水平 方向に分割する方法が採用されることが多かった （例えば、 非特許文献 2参 照） 。 しかし、 画面を水平方向に分割し、 複数の動画像符号化装置で並列処 理する方法では、 カメラから 1ピクチャ分の画素が全て読み込まれるまで符 号化開始が遅延するという問題がある。 この遅延が生じることは、 テレビ電 話や遠隔監視等の低遅延を要求される通信アプリケーションでは望ましくな い。

[0019] また、 H. 264では可変長符号化を算術符号化の一種である CAB AC で行うことができる。 図 3は、 CABAC符号化器のブロック図である。 C ABACでは、 まず、 多値のシンタックスエレメントを 2値化回路 1 05に より可変長の 2値化シンポルに変換する。 次に、 コンテクスト計算回路 1 0 6により 2値化シンボル 1 ビット （以下、 s ymb o Iという。 ） ごとにコ ンテキスト計算を行う。 そして、 計算されたコンテキスト情報に応じて、 算 術符号化の確率テーブル 1 08を選択し、 算術符号化回路 1 07により s y mb o Iを算術符号化するとともに、 確率テーブル 1 08の更新を行い、 次 の s y m b o Iの算術符号化には更新された確率テーブル 1 08を用いる。

[0020] このように、 次の s ymb o Iの算術符号化に更新された確率テーブル 1 08が用いられるため、 s ymb o I ごとに算術符号化せざるを得えず、 処 理サイクル数がかかる。 更に、 1つのスライス内では 1個の確率テーブル 1 08しか使用できないため、 算術符号化器 1 07は並列化できない。

[0021] その上、 Iピクチャには Pピクチャゃ Bピクチヤに比べて多くの符号量が 配分される。 このため、 ピクチャ全体の 2値化シンポルの平均発生量に比べ て Iピクチャの 2値化シンポルの発生量は多い。 急激に発生符号量が増加し たとき、 レー卜制御が破綻することを防ぐために M Bごとの発生符号量を早 期にレート制御に反映させる必要がある。 しかし、 算術符号化回路 1 07に は、 処理サイクル数がかかるにもかかわらず、 並列化が不可能で、 しかも発 生符号量の多い Iピクチャにおいて突発的に発生する 2値化シンボル発生量 を処理できるだけの性能が必要となる。

[0022] なお、 C A B A Cに関して実際の算術符号化は行わずに 2値化シンポルの シンポル長の総和から算術符号化の発生符号量を推定する方法が提案されて いる （例えば、 非特許文献 3の p.20、 図 6参照） 。 具体的には、 2値化シン ポル長 Nと直前の符号化済みピクチャの 2値化シンポル長と発生符号量との比 率 Q?を用いて、

X Nと推定するものである。 ルックアップテ 一ブルを用いれば多値のシンタックスエレメントを 2値化シンポルに 1 C K で変換することが可能である。 このため、 この方法を用いれば算術符号化の 発生符号量の推定をシンタックスエレメント当たり 1 C Kで行うことができ る。

非特許文献 1 :渡辺浩巳， 茶木英明， " H. 264と MPEG-4に両対応 携帯機器向 けコーデック ■コアを開発 VGAの動画を 36mAで符号化" ， 日経エレクトロ二 クス， 2004年 9月 27日号， no. 883， pp123-133.

非特許文献 2：長沼次郎， 岩崎裕江， 新田高庸， 中村健， 吉留健， 小倉充雄， 中島靖之， 田代豊， 大西隆之， 池田充郎， 遠藤真， 八島由幸， "1チップ HDTV MPEG-2 CODEC LS I構成技術—— VASA" , N T T技術ジャーナル， vo l . 15 ， No. 9， pp. 12-15， 2 0 0 3年 9月.

非特許文献 3：山影朋夫， 中條健， 古藤 晋一郎， " HD DVD に用いる動画像 符号化技術 "， 東芝レビュー， vo l . 60, No. 1 , pp. 17-29, 2005.

発明の開示

発明が解決しょうとする課題

[0023] 上述したように、 M Bパイプライン構造の動画像符号化装置では、 隣接ブ ロックの処理結果を符号化中のブロックの処理にフィードバックすることが 困難である。

[0024] また、 ピクチャを記憶している外部メモリから動画像符号化装置の内部メ モリへのデータ転送量が多い。

[0025] 更に、 算術符号化回路は突発的に増加する 2値化シンボル発生量を処理で きるだけの性能を必要とする。

[0026] 以上から、 隣接ブロックの処理結果を符号化中のブロックの処理に容易に フィードバックすることができ、 ピクチャを記憶している外部メモリから内 部メモリへのデータ転送量を削減でき、 算術符号化回路が突発的に増加する 2値化シンボル発生量を処理できるだけの性能を持たなくても良い動画像符 号化装置および動画像符号化方法が要望されている。

課題を解決するための手段

[0027] 本発明の動画像符号化装置は、 縦に連続する少なくても 2行のマクロプロ ック行をひとまとまりとして符号化を行う動画像符号化装置であって、 動画 像符号化の処理を複数のステージに分割して行うマク口プロックパイプライ ンを有し、 前記ひとまとまリのマク口プロック行の中の最も上のマク口プロ ック行に含まれるマクロブ口ックが前記マクロブロックパイプラインに投入 されると、 前記マクロブロックパイプラインが当該マクロブロックの符号化 を開始し、 上に隣接したマク口プロック行に含まれるマク口プロックの符号 化が開始されてから 1マクロブロックサイクル後に、 下に隣接したマクロブ 口ック行に含まれるマク口プロックであって、 前記上に隣接したマク口プロ ック行に含まれるマクロブロックよリ左方向に 1マクロプロック以上離れて いるマク口プロックが前記マク口プロックパイプラインに投入され、 前記マ クロブロックパイプラインが当該マクロブ口ックの符号化を開始することが

、 前記ひとまとまりのマクロブロック行の中の上から 2行目のマクロブロッ ク行から最も下のマクロブロック行まで繰り返される。

また、 本発明の動画像符号化装置は、 動画像符号化の処理を複数のステー ジに分割して行うマクロブロックパイプラインと、 縦に連続する m行 （mは 2以上の整数） のマクロブロック行をひとまとまりとし、 前記ひとまとまり のマク口ブロック行の中の最も上のマク口ブロック行に属するマク口ブロッ クについては、 左下隣接マク口プロックがまだ選択されていないマク口プロ ックを選択し、 かつ、 前記ひとまとまりのマクロブロック行の中の最も上以 外のマクロブ口ック行に属するマクロブ口ックについては、 右上隣接マク口 ブロックが既に選択されているマクロブロックを選択することによって、 前 記ひとまとまりのマクロブロック行に含まれるマクロブロックを 1マクロブ ロック行当たり 1個選択するマクロブロック選択部と、 前記マクロブロック 選択部によって選択された個々のマクロブロックについて、 前記ひとまとま リのマク口ブロック行の中の最も上のマク口ブロック行に属するマク口ブロ ックから、 最も下のマクロブロック行に属するマクロブロックまで、 mマク ロブロックサイクルかけて順番に、 1マクロブロックサイクルごとに個々の マク口プロックを符号化するために必要なデータを前記マク口プロックパイ プラインに設定する符号化データ設定部とを有し、 前記符号化データ設定部 によってマクロブロックを符号化するために必要な前記データが設定される と、 前記マクロブロックパイプラインが当該マクロブ口ックの符号化を開始 し、 前記符号化データ設定部によって前記ひとまとまりのマクロブロック行 の中の最も下のマク口プロック行に属するマク口プロックを符号化するため に必要な前記データが前記マク口プロックパイプラインに設定されると、 前 記マク口プロック選択部が前記選択されている個々のマク口プロックごとに その右隣接マクロブ口ックを新たに選択する。

また、 本発明の動画像符号化装置は、 縦に連続する 2 η行 （ηは 2以上の 整数） のマクロブロック行をひとまとまりとし、 縦に隣接する 2個のマクロ ブロックを組み合わせてマクロブロックペアとしてマクロブロックペアごと にフィールド符号化とフレーム符号化を切リ替えて符号化する動画像符号化 装置であって、 動画像符号化の処理を複数のステージに分割して行うマクロ ブロックパイプラインを有し、 前記ひとまとまりのマクロブロック行の中の 最も上に位置する 2行のマクロブロック行に属するマクロブロックペアに含 まれる片方のマク口プロックが前記マク口プロックパイプラインに投入され ると、 前記マクロブロックパイプラインが当該片方のマクロブロックの符号 化を開始し、 上に隣接した 2行のマク口プロック行に属するマク口プロック ペアに含まれるマク口プロックの片方の符号化が開始されてから 1マクロブ 口ックサイクル後に、 下に隣接した 2行のマクロブ口ック行に属するマク口 ブロックペアに含まれる片方のマクロブロックであって、 前記上に隣接した 2行のマクロブロック行に属するマクロブロックペアより左方向に 1マクロ ブロック以上離れているマクロブロックペアに含まれる片方のマクロブロッ クが前記マク口プロックパイプラインに投入され、 前記マク口プロックパイ プラインが当該片方のマクロブロックの符号化を開始することが、 前記ひと まとまりのマクロブ口ック行の中の上から 3行目と 4行目のマクロブロック 行から最も下に位置する 2行のマクロブロック行まで繰り返され、 前記ひと まとまりのマク口プロック行の中の最も上に位置する 2行のマク口プロック 行に属するマク口プロックペアに含まれるマク口プロックのうち最初に符号 化を開始されなかった他の片方のマクロブ口ックが前記マクロブロックパイ プラインに投入されると、 前記マク口プロックパイプラインが当該他の片方 のマクロブロックの符号化を開始し、 上に隣接した 2行のマクロブロック行 に属するマク口プロックペアに含まれる他の片方のマク口プロックの符号化 が開始されてから 1マクロブロックサイクル後に、 下に隣接した 2行のマク ロブロック行に属するマクロブロックペアであって、 前記上に隣接した 2行 のマクロブロック行に属するマクロブロックペアより左方向に 1マクロブロ ック以上離れている前記マクロブロックペアに含まれるマクロブロックのう ち最初に符号化を開始されなかった他の片方のマク口プロックが前記マク口 プロックパイプラインに投入され、 前記マク口プロックパイプラインが当該 他の片方のマクロブロックの符号化を開始することが、 前記ひとまとまりの マクロブロック行の中の上から 3行目と 4行目のマクロブロック行から最も 下に位置する 2行のマクロブロック行まで繰り返される。

また、 本発明の動画像符号化装置は、 縦に隣接する 2個のマクロブロック を組み合わせてマクロブロックペアとし、 マクロブロックペアごとにフィー ルド符号化とフレーム符号化を切り替えて符号化する動画像符号化装置であ つて、 動画像符号化の処理を複数のステージに分割して行うマクロブロック パイプラインと、 縦に連続する 2 η行 （ηは 2以上の整数） のマクロブロッ ク行をひとまとまりとし、 前記ひとまとまりのマクロブロック行の中の最も 上に位置する 2行のマクロブ口ック行に属するマクロブロックペアについて は、 左下隣接マクロブロックペアがまだ選択されていないマクロブロックべ ァを選択し、 かつ、 前記ひとまとまりのマクロブロック行の中の最も上に位 置する 2行以外のマク口プロック行に属するマク口プロックペアについては 、 右上隣接マクロブロックペアが既に選択されているマクロブロックペアを 選択することによって、 前記ひとまとまりのマクロブロック行に含まれるマ クロブロックペアを 2マクロブロック行当たり 1個選択するマクロブロック ぺァ選択部と、 前記マクロブロックべァ選択部によって選択されたマクロブ ロックペアについて、 フィールド符号化が選択されたときは、 マクロブロッ クペアの奇数ラインでトップフィールドマクロブロックを作成し、 マクロブ ロックペアの偶数ラインでボトムフィールドマクロブロックを作成し、 フレ ーム符号化が選択されたときは、 マクロプロックペアの上半分のラインで上 フレームマクロブ口ックを作成し、 マクロブロックペアの下半分のラインで 下フレームマクロブロックを作成するフィールドマクロブロックペア■フレ 一ムマクロブロックペア作成部と、 前記マクロブロックペア選択部によって 選択されたマクロブロックペアについて、 フィールド符号化が選択されたと きは、 最初に、 前記ひとまとまりのマクロブロック行の中の最も上に位置す る 2行のマクロブロック行に属するマクロブロックペアから、 前記ひとまと まりのマク口ブロック行の中の最も下に位置する 2行のマク口ブロック行に 属するマク口プロックペアまで、 nマクロプロックサイクルかけて順番に、 1マク口ブロックサイクルごとに個々のマク口ブロックペアに含まれるマク 口プロックの片方を符号化するために必要なデータを前記マク口プロックパ ィプラインに設定し、 2回目に、 前記ひとまとまりのマクロブロック行の中 の最も上に位置する 2行のマクロブロック行に属するマクロブロックペアか ら、 前記ひとまとまりのマクロブロック行の中の最も下に位置する 2行のマ ク口ブロック行に属するマク口ブロックペアまで、 nマクロブロックサイク ルかけて順番に、 1マクロブロックサイクルごとに個々のマクロブロックぺ ァに含まれるマクロブロックのうち最初に設定されなかった他の片方を符号 化するために必要なデータを前記マク口プロックパイプラインに設定し、 一 方、 フレーム符号化が選択されたときは、 最初に、 前記ひとまとまりのマク ロブロック行の中の最も上に位置する 2行のマクロブロック行に属するマク ロブロックペアから、 前記ひとまとまりのマクロブロック行の中の最も下に 位置する 2行のマクロブロック行に属するマクロブロックペアまで、 nマク ロブロックサイクルかけて順番に、 1マクロブロックサイクルごとに個々の マクロプロックペアに含まれる上フレームマクロブ口ックを符号化するため に必要なデータを前記マクロブロックパイプラインに設定し、 2回目に、 前 記ひとまとまりのマクロブロック行の中の最も上に位置する 2行のマクロブ 口ック行に属するマクロブロックペアから、 前記ひとまとまりのマクロプロ ック行の中の最も下に位置する 2行のマクロブロック行に属するマクロブロ ックペアまで、 nマクロブロックサイクルかけて順番に、 1マクロブロック サイクルごとに個々のマク口プロックペアに含まれる下フレームマク口プロ ックを符号化するために必要なデータを前記マク口プロックパイプラインに 設定する符号化データ設定部とを有し、 前記符号化データ設定部によってマ クロブロックを符号化するために必要な前記データが設定されると、 前記マ ク口プロックパイプラインが当該マク口プロックの符号化を開始し、 前記符 号化データ設定部によって、 2回目に、 前記ひとまとまりのマクロブロック 行の中の最も下に位置する 2行のマク口ブロック行に属するマク口ブロック ペアに含まれるマクロブロックを符号化するために必要なデータが前記マク ロブロックパイプラインに設定されると、 前記マクロブロックペア選択部が 前記選択されている個々のマクロブロックペアごとにその右隣接マクロプロ ックペアを新たに選択する。

[0031 ] 好ましくは、 本発明の動画像符号化装置は、 前記マクロブロックパイプラ ィンにおける一部のステージで、 マク口プロックサイクルがサブプロックサ ィクルに分割されてサブブロックパイプラインが形成され、 サブブロックご との処理が行われる。

[0032] 好ましくは、 本発明の動画像符号化装置は、 前記ひとまとまりのマクロブ ロック行に含まれるマクロブロックを、 各マクロブロック行当たり 1個符号 化するために必要な全てのデータを記憶する内部メモリを有する。

[0033] 好ましくは、 本発明の動画像符号化装置は、 請求項 1から請求項 4までの いずれか 1項に記載された少なくても 2台の前記動画像符号化装置を含む動 画像符号化装置であって、 ピクチャが前記ひとまとまりのマクロブロック行 ごとに分割され、 この分割された分割領域ごとに個々の前記動画像符号化装 置が割リ当てられ、 縦に連続した分割領域が少なくても 2台の前記動画像符 号化装置によつて並列に符号化される。 [0034] 好ましくは、 本発明の動画像符号化装置は、 シンタックスエレメントを 2 値化シンポルに変換する 2値化部と、 前記 2値化シンボルを記憶する 2値化 シンポル記憶部と、 前記 2値化シンポル記憶部から読み出した 2値化シンポ ルに対応するコンテクス卜情報を復元するコンテクス卜情報復元部と、 前記 2値化シンボル記憶部から読み出した 2値化シンボルを、 前記コンテクス卜 情報復元部によリ復元されたコンテクス卜情報に基づいて算術符号化する算 術符号化部とを有する。

[0035] 好ましくは、 本発明の動画像符号化装置は、 前記 2値化部により変換され た 2値化シンボルを仮算術符号化して仮発生符号量を算出する仮算術符号化 部を有する。

[0036] 好ましくは、 本発明の動画像符号化装置は、 シンタックスエレメントを可 逆圧縮するシンタックスェレメン卜圧縮部と、 前記シンタックスェレメント 圧縮部により圧縮されたシンタックスエレメントを記憶する圧縮シンタック スエレメント記憶部と、 前記圧縮シンタックスエレメント記憶部から前記圧 縮されたシンタックスエレメントを読み出して前記シンタックスエレメン卜 を復元するシンタックスェレメン卜復元部と、 前記シンタックスエレメント 復元部により復元された前記シンタックスエレメントを 2値化シンポルに変 換する 2値化部と、 前記 2値化部によって変換された 2値化シンポルを算術 符号化する算術符号化部とを有する。

[0037] 好ましくは、 本発明の動画像符号化装置は、 前記動画像符号化の処理が、 H . 2 6 4に準拠しており、 前記シンタックスエレメント圧縮部が、 前記シ ンタックスエレメントを C A V L Cで圧縮する。

[0038] また、 本発明の動画像符号化方法は、 動画像符号化の処理を複数のステー ジに分割して行うマク口プロックパイプラインを含み、 縦に連続する少なく ても 2行のマクロブロック行をひとまとまりとして符号化を行う動画像符号 化装置における動画像符号化方法であって、 前記ひとまとまりのマクロプロ ック行の中の最も上のマクロブ口ック行に含まれるマクロブ口ックが前記マ ク口プロックパイプラインに投入されると、 前記マク口プロックパイプライ ンが当該マクロブロックの符号化を開始するステップと、 上に隣接したマク ロブ口ック行に含まれるマクロブ口ックの符号化が開始されてから 1マクロ プロックサイクル後に、 下に隣接したマク口プロック行に含まれるマク口ブ 口ックであって、 前記上に隣接したマク口プロック行に含まれるマク口プロ ックより左方向に 1マクロブロック以上離れているマクロブロックが前記マ ク口プロックパイプラインに投入され、 前記マク口プロックパイプラインが 当該マクロブロックの符号化を開始することが、 前記ひとまとまりのマクロ ブロック行の中の上から 2行目のマクロブロック行から最も下のマクロブロ ック行まで繰り返されるステップとを有する。

また、 本発明の動画像符号化方法は、 動画像符号化の処理を複数のステー ジに分割して行うマクロブロックパイプラインを含む動画像符号化装置にお ける動画像符号化方法であって、 縦に連続する m行 （mは 2以上の整数） の マクロプロック行がひとまとまりとされ、 前記ひとまとまりのマクロブロッ ク行の中の最も上のマクロブ口ック行に属するマクロブ口ックについては、 左下隣接マクロブロックがまだ選択されていないマクロブロックが選択され 、 かつ、 前記ひとまとまりのマクロブロック行の中の最も上以外のマクロブ 口ック行に属するマクロブ口ックについては、 右上隣接マクロブ口ックが既 に選択されているマクロブロックが選択されることによって、 前記ひとまと まりのマク口ブロック行に含まれるマク口ブロックが 1マク口ブロック行当 たり 1個選択される第 1のステップと、 前記第 1のステップによって選択さ れた個々のマクロブロックについて、 前記ひとまとまりのマクロブロック行 の中の最も上のマクロブロック行に属するマクロブロックから、 最も下のマ ク口ブロック行に属するマク口ブロックまで、 mマク口ブロックサイクルか けて順番に、 1マクロブロックサイクルごとに個々のマクロブロックを符号 化するために必要なデータが前記マク口プロックパイプラインに設定される 第 2のステップと、 前記第 2のステップによってマクロブロックを符号化す るために必要な前記データが設定されると、 前記マクロブロックパイプライ ンが当該マクロブロックの符号化を開始する第 3のステップと、 前記第 2の ステップによって前記ひとまとまりのマクロブロック行の中の最も下のマク 口プロック行に属するマク口プロックを符号化するために必要なデータが前 記マクロブロックパイプラインに設定されると、 前記第 1のステップに戻り 、 前記選択されている個々のマク口プロックごとにその右隣接マク口プロッ クが新たに選択される第 4のステップとを有する。

また、 本発明の動画像符号化方法は、 動画像符号化の処理を複数のステー ジに分割して行うマクロブロックパイプラインを含み、 縦に連続する 2 n行 ( nは 2以上の整数） のマクロブロック行をひとまとまりとし、 縦に隣接す る 2個のマク口プロックを組み合わせてマク口プロックペアとしてマク口ブ ロックペアごとにフィールド符号化とフレーム符号化を切リ替えて符号化す る動画像符号化装置における動画像符号化方法であって、 前記ひとまとまり のマクロブロック行の中の最も上に位置する 2行のマクロブ口ック行に属す るマク口プロックペアに含まれる片方のマク口プロックが前記マク口プロッ クパイプラインに投入され、 前記マク口プロックパイプラインが当該片方の マクロブロックの符号化を開始するステップと、 上に隣接した 2行のマクロ ブロック行に属するマクロブロックペアに含まれるマクロブロックの片方の 符号化が開始されてから 1マクロブロックサイクル後に、 下に隣接した 2行 のマクロブ口ック行に属するマクロブ口ックペアに含まれる片方のマク口ブ ロックであって、 前記上に隣接した 2行のマクロブロック行に属するマクロ ブロックペアより左方向に 1マクロブロック以上離れているマクロブロック ペアに含まれる片方のマクロブ口ックが前記マクロブロックパイプラインに 投入され、 前記マクロブロックパイプラインが当該片方のマクロブロックの 符号化を開始することが、 前記ひとまとまりのマクロブロック行の中の上か ら 3行目と 4行目のマク口プロック行から最も下に位置する 2行のマク口ブ 口ック行まで繰リ返されるステップと、 前記ひとまとまりのマクロブロック 行の中の最も上に位置する 2行のマク口ブロック行に属するマク口ブロック ペアに含まれるマクロブロックのうち最初に符号化を開始されなかった他の 片方のマクロブ口ックが前記マクロブロックパイプラインに投入され、 前記 マク口プロックパイプラインが当該他の片方のマク口プロックの符号化を開 始するステップと、 上に隣接した 2行のマク口プロック行に属するマク口ブ ロックペアに含まれる片方のマクロブロックの符号化が開始されてから 1マ ク口プロックサイクル後に、 下に隣接した 2行のマク口プロック行に属する マクロブロックペアであって、 前記上に隣接した 2行のマクロブ口ック行に 属するマクロブロックペアより左方向に 1マクロブロック以上離れている前 記マクロブロックペアに含まれるマクロブロックのうち最初に符号化を開始 されなかつた他の片方のマクロブロックが前記マクロブロックパイプライン に投入され、 前記マク口プロックパイプラインが当該他の片方のマク口プロ ックの符号化を開始することが、 前記ひとまとまりのマクロブロック行の中 の上から 3行目と 4行目のマクロブロック行から最も下に位置する 2行のマ クロブロック行まで繰り返されるステップとを有する。

また、 本発明の動画像符号化方法は、 動画像符号化の処理を複数のステー ジに分割して行うマク口プロックパイプラインを含み、 縦に隣接する 2個の マクロブロックを組み合わせてマクロブロックペアとし、 マクロブロックぺ ァごとにフィールド符号化とフレーム符号化を切り替えて符号化する動画像 符号化装置における動画像符号化方法であって、 縦に連続する 2 η行 （ηは 2以上の整数） のマクロブロック行がひとまとまりとされ、 前記ひとまとま りのマクロブロック行の中の最も上に位置する 2行のマクロブロック行に属 するマクロブロックペアについては、 左下隣接マクロブロックペアがまだ選 択されていないマクロブロックペアが選択され、 かつ、 前記ひとまとまりの マクロプロック行の中の最も上に位置する 2行以外のマクロブ口ック行に属 するマクロブロックペアについては、 右上隣接マクロブロックペアが既に選 択されているマクロブロックペアが選択されることによって、 前記ひとまと まりのマクロブロック行に含まれるマクロブロックペアが 2マクロブロック 行当たり 1個選択される第 1のステップと、 前記第 1のステップによって選 択されたマクロブロックペアについて、 フィールド符号化が選択されたとき は、 マクロブロックペアの奇数ラインでトップフィールドマクロブロックが 作成され、 マクロプロックペアの偶数ラインでポトムフィールドマクロブ口 ックが作成され、 フレーム符号化が選択されたときは、 マクロブロックペア の上半分のラインで上フレームマクロブロックが作成され、 マクロブロック ペアの下半分のラインで下フレームマクロブロックが作成される第 2のステ ップと、 前記第 1のステップによって選択されたマクロブロックペアについ て、 フィールド符号化が選択されたときは、 前記ひとまとまりのマクロプロ ック行の中の最も上に位置する 2行のマクロブロック行に属するマクロブロ ックペアから、 前記ひとまとまりのマクロブロック行の中の最も下に位置す る 2行のマク口ブロック行に属するマク口ブロックペアまで、 nマクロブロ ックサイクルかけて順番に、 1マクロブロックサイクルごとに個々のマクロ ブロックペアに含まれるマクロブロックの片方を符号化するために必要なデ ータが前記マクロブロックパイプラインに設定され、 一方、 フレーム符号化 が選択されたときは、 前記ひとまとまりのマクロブロック行の中の最も上に 位置する 2行のマク口プロック行に属するマク口プロックペアから、 前記ひ とまとまりのマクロブロック行の中の最も下に位置する 2行のマクロブロッ ク行に属するマク口プロックペアまで、 nマクロプロックサイクルかけて順 番に、 1マクロブロックサイクルごとに個々のマクロブロックペアに含まれ る上フレームマク口プロックを符号化するために必要なデータが前記マク口 ブロックパイプラインに設定される第 3のステップと、 前記第 1のステップ によって選択されたマクロブロックペアについて、 フィールド符号化が選択 されたときは、 前記ひとまとまりのマクロブロック行の中の最も上に位置す る 2行のマクロブロック行に属するマクロブロックペアから、 前記ひとまと まりのマク口ブロック行の中の最も下に位置する 2行のマク口ブロック行に 属するマク口プロックペアまで、 nマクロプロックサイクルかけて順番に、 1マク口ブロックサイクルごとに個々のマク口ブロックペアに含まれるマク ロブロックのうち前記第 3のステップにより設定されなかった他の片方を符 号化するために必要なデータが前記マク口プロックパイプラインに設定され 、 一方、 フレーム符号化が選択されたときは、 前記ひとまとまりのマクロブ 口ック行の中の最も上に位置する 2行のマクロブ口ック行に属するマク口ブ ロックペアから、 前記ひとまとまりのマクロブロック行の中の最も下に位置 する 2行のマク口ブロック行に属するマク口ブロックペアまで、 nマクロブ ロックサイクルかけて順番に、 1マクロブロックサイクルごとに個々のマク 口プロックペアに含まれる下フレームマク口プロックを符号化するために必 要なデータが前記マクロブロックパイプラインに設定される第 4のステップ と、 前記第 3のステップまたは前記第 4のステップによってマクロブロック を符号化するために必要な前記データが設定されると、 前記マクロブロック パイプラインが当該マクロブロックの符号化を開始する第 5のステップと、 前記第 4のステップによって前記ひとまとまりのマクロブロック行の中の最 も下に位置する 2行のマクロブロック行に属するマクロブロックペアに含ま れるマク口プロックを符号化するために必要なデータが前記マク口プロック パイプラインに設定されると、 前記第 1のステップに戻り、 前記選択されて いる個々のマクロブロックペアごとにその右隣接マクロブロックペアが新た に選択される第 6のステップとを有する。

発明の効果

[0042] 以上のように、 本発明によれば、 隣接ブロックの処理結果を符号化中のブ ロックの処理に容易にフィードバックすることができ、 ピクチャを記憶して いる外部メモリから内部メモリへのデータ転送量を削減でき、 算術符号化回 路が突発的に増加する 2値化シンボル発生量を処理できるだけの性能を持た なくても良い動画像符号化装置および動画像符号化方法を提供することがで さる。

図面の簡単な説明

[0043] [図 1 ]従来の H . 2 6 4の符号化器の M Bパイプラインにおいて、 M Bが M B パイプラインのステージを流れていく様子を示す図である。

[図 2]隣接する 2つの M Bの参照領域の例を示す図である。

[図 3] C A B A C符号化器のブロック図である。

[図 4] M Bパイプラインに連続して投入される M Bの一例を示す図である。 [図 5]第 1の実施形態による動画像符号化装置のブロック図である。

[図 6]第 1の実施形態による動画像符号化方法の処理のフローチャートを示す 図である。

[図 7] M Bが M Bパイプラインのステージを流れていく様子を示す図である。

[図 8]図 4のピクチャに含まれる M Bが M Bパイプラインに投入され、 ステー ジ 0の処理が開始される M Bサイクル番号を示す図である。

[図 9] 8画素 X 8画素の 4つの S Bに分割された M Bを示す図である。

[図 10] M Bパイプラインに連続して投入される M Bの一例を示す図である。

[図 11 ] M Bが M Bパイプラインのステージを流れていく様子を示す図である

[図 12]第 2の実施形態による動きべクトル検出回路のブロック図である。

[図 13] S Bパイプラインの詳細な動作を示す図である。

[図 14]第 3の実施形態による S Bパイプラインの詳細な動作を示す図である

[図 15]第 3の実施形態による S Bパイプラインの動作を実現するための動き 検出回路のブロック図である。

[図 16] 1 6個の 4画素 X 4画素 S Bに分割された M Bを示す図である。

[図 17] M Bが M Bパイプラインのステージを流れていく様子を示す図である

[図 18] S Bパイプラインの詳細な動作を示す図である。

[図 19] M Bが M Bパイプラインのステージを流れていく様子を示す図である

[図 20] S Bパイプラインの詳細な動作を示す図である。

[図 21 ] M Bが M Bパイプラインのステージを流れていく様子を示す図である

[図 22] S Bパイプラインの詳細な動作を示す図である。

[図 23]内部メモリを有する動画像符号化装置のブロック図である。

[図 24]縦に連続する 4行の M B行に含まれる 4個の M Bを 1個の M Bパイプ ラインで処理する場合の参照領域を示す図である。

[図 25]参照領域用メモリに参照領域を記憶する別の例を示す図である。

[図 26]広い範囲で動きを検出できる動き検出装置と MBパイプライン構造の 動画像符号化装置の組み合わせを示す図である。

[図 27] 2台の動画像符号化装置と内部メモリを有する動画像符号化装置のブ ロック図である。

[図 28] 2台の動画像符号化装置が符号化を分担するピクチャの領域を示す図 である。

[図 29] 2台の動画像符号化装置に含まれる M Bパイプラインのステージを M Bが流れていく様子を示す図である。

[図 30]推定発生符号量に基づいてレー卜制御を行う C A B A C符号化器のブ ロック図である。

[図 31]コンテクス卜情報復元器の処理フローを示す図である。

[図 32]仮の発生符号量に基づいてレー卜制御を行う C A B A C符号化器のブ ロック図である。

[図 33]縦に連続する 4行の MB行をひとまとまりとして符号化を行う場合の 仮算術符号化部のブロック図である。

[図 34]仮算術符号化部において MB行内の先頭の MBについて仮の r a n g e、 I ow、 および確率テーブルを設定する方法の一例を示す図である。

[図 35] 2並列で仮算術符号化を行う場合の仮算術符号化部のブロック図であ る。

[図 36] 2並列で仮算術符号化を行う場合に 4個の MBが MBパイプラインの ステージを流れていく様子を示す図である。

[図 37] C A V L Cで圧縮する場合の C A B A C符号化器のブロック図である

[図 38] 2台の動画像符号化装置が並列に動作し、 CABACで符号化された 1本のビッ卜ストリームを生成する動画像符号化装置のブロック図である。

[図 39] 2台の動画像符号化装置が並列に動作し、 CABACで符号化された 1本のビッ卜ストリームを生成する動画像符号化装置の別の例を示す図であ る。

[図 40]フィールド符号化とフレーム符号化のときの MBペアを示す図である

[図 41]現 MBペアと左隣接 MBペアのフィールド符号化とフレーム符号化の 選択が異なる場合を示す図である。

[図 42] MBパイプラインに投入される MBペアの一例を示す図である。

[図 43]第 1 3の実施形態による動画像符号化装置のブロック図である。

[図 44]第 1 3の実施形態による動画像符号化方法の処理のフローチャートを 示す図である。

[図 45] M Bペアが M Bパイプラインのステージを流れていく様子を示す図で める。

[図 46]ステージ 3とステージ 4における SBパイプラインの詳細な動作を示 す図である。

[図 47] M Bペアが M Bパイプラインのステージを流れていく様子を示す図で める。

[図 48]ステージ 3とステージ 4における SBパイプラインの詳細な動作を示 す図である。

符号の説明

1、 80…！ VI Bパイプライン、 2…！ VI B選択部、 3、 83…符号化データ設 定部、 1 4…参照領域用メモリ、 1 5…バッファメモリ、 20…可変長符号 化部、 23、 40、 41、 42…動画像符号化装置、 24、 25、 26、 2 7·"ΜΒ、 28、 29、 30、 31、 36…参照領域、 32、 33、 34、 35、 37…更新領域、 36 28、 29、 30、 31を全て含む矩形の領 域、 39…内部メモリ、 43 2値化部、 44…発生符号量推定部、 45 2値化シンボル記憶部、 46…算術符号化部、 47…コンテクスト情報復元 部、 48…仮算術符号化部、 68 2並列で仮算術符号化を行う仮算術符号 化部、 69— CAV LC符号化部、 7 C^ CAVLC符号化ビットストリー ム記憶部、 7 1—CAVLC復号部、 72…トップフィールド MB、 73- ボトムフィールド MB、 74'"上フレーム1\18、 75'"下フレーム1\18、 7 6…上フレーム MB奇数ライン、 77…下フレーム MB奇数ライン、 78·" トップフィールド MB上半分 1 6ライン、 79…ボトムフィールド MB上半 分 1 6ライン、 81…！ IBペア選択部、 82…フィールド MBペア Zフレー ム MBペア作成部

発明を実施するための最良の形態

[0045] 以下に、 本発明の実施形態について説明する。

[0046] (第 1の実施形態）

図 4は、 MBパイプラインに連続して投入される MBの一例を示す図であ る。 図 4のピクチャは a行から I行までの 1 2行の MB行を含み、 各 MB行 は 0番目から 1 5番目までの 1 6個の MBを含む。 図 4のピクチャでは、 最 初に a—MB行、 b_MB行、 c_MB行、 d _M B行に含まれる M Bが 1 個の MBパイプラインで符号化され、 次に e—MB行、 f _MB行、 g_M B行、 h—MB行に含まれる MBが 1個の MBパイプラインで符号化され、 最後に i —MB行、 j —MB行、 k_MB行、 I —MB行に含まれる MBが 1個の MBパイプラインで符号化される。 図 4中の e行 1 0列、 f行 8列、 g行 6列、 h行 4列の MBは 1個の MBパイプラインに連続して投入され、 符号化が開始される MBの一例である。 f行 8列の MBは e行 1 0列の MB から左方向に 1 MB離れている。 同様に g行 6列の MBは f行 8列の MBか ら左方向に 1 MB離れており、 h行 4列の MBは g行 6列の MBから左方向 に 1 MB離れている。 これらの 4つの MBは相互に左隣接、 上隣接、 または 右上隣接のいずれの隣接関係にもない。 以下では、 複数のブロックが相互に 左隣接、 上隣接、 または右上隣接のいずれの隣接関係にもないことを、 これ らのブロックは隣接関係にないという。

[0047] 図 5は、 第 1の実施形態による動画像符号化装置のブロック図である。 第

1の実施形態による動画像符号化装置は、 MBパイプライン 1と、 MB選択 部 2と、 符号化データ設定部 3とを有する。 MB選択部 2は、 図 4に示すよ うに、 例えば、 e_MB行、 f _MB行、 g_MB行、 h_MB行をひとま とまりとし、 e—MB行に属する MBについては、 左下隣接 MBがまだ選択 されていない MBを選択し、 かつ、 f —MB行、 g_MB行、 および h_M B行に属する M Bについては、 右上隣接 M Bが既に選択されている M Bを選 択することによって、 e行 1 0列、 f行 8列、 g行 6列、 h行 4列の MBを 選択する。 符号化データ設定部 3は、 e行 1 0列、 f行 8列、 g行 6列、 h 行 4列の M Bの順番で、 各 M Bを符号化するために必要なデータを M Bパイ プライン 1に設定する。 M Bを符号化するために必要なデータが M Bパイプ ライン 1に設定されると、 その MBは MBパイプライン 1に投入され、 符号 化が開始される。 h行 4列の MBを符号化するために必要なデータが MBパ ィプライン 1に設定され、 h行 4列の MBが MBパイプライン 1に投入され ると、 MB選択部 2は、 e行 1 1列、 f行 9列、 g行 7列、 h行 5列の MB を新たに選択する。

図 6は、 第 1の実施形態による動画像符号化方法の処理のフローチャート を示す図である。 例えば、 e—ΜΒ行、 f —ΜΒ行、 g—ΜΒ行、 h_MB 行をひとまとまりとし、 e—MB行に属する MBについては、 左下隣接 MB がまだ選択されていない MBを選択し、 かつ、 f —MB行、 g_MB行、 お よび h— MB行に属する MBについては、 右上隣接 MBが既に選択されてい る MBを選択することによって、 e行 1 0列、 f行 8列、 g行 6列、 h行 4 列の MBを選択する （ステップ S 1 ) 。 次に、 e行 1 0列、 f行 8列、 g行 6列、 h行 4列の MBの順番で、 各 MBを符号化するために必要なデータを MBパイプライン 1に設定し、 順次 MBパイプラインに投入する （ステップ S 2、 ステップ S3) 。 MBを符号化するために必要なデータが MBパイプ ライン 1に設定されると、 その MBは MBパイプライン 1に投入され、 符号 化が開始される。 h行 4列の MBを符号化するために必要なデータが MBパ ィプライン 1に設定され、 h行 4列の MBが MBパイプライン 1に投入され ると、 ステップ S 1に戻り （ステップ S 4) 、 e行 1 1列、 f行 9列、 g行 7列、 h行 5列の MBを新たに選択する （ステップ S 1 ) 。 [0049] 図 7は、 MBが MBパイプラインのステージを流れていく様子を示す図で ある。 図 7では、 ステージ 0で 1 MBサイクルかけて外部メモリから 1個の MBの符号化に必要なデータを読み出す。 ステージ 1で 1 MBサイクルかけ て 1個の MBについて粗い精度の動き検出を行う。 ステージ 2で 1 MBサイ クルかけてステージ 1で検出された粗い精度の候補動きべクトルの周囲の狭 い範囲で詳細な動き検出を行うと共に、 イントラ予測を行う。 ステージ 3で は 1 MBサイクルかけて 1個の MBについて整数変換、 量子化、 逆量子化、 および逆整数変換を行う。 ステージ 4では 1 MBサイクルかけて 1個の MB について可変長符号化と動き補償を行う。 そして、 ステージ 5で 1 MBサイ クルかけて 1個の MBについてレー卜制御とデブロッキングフィルタを行い 、 ステージ 6で 1 MBサイクルかけて 1個の MB分の再生画素ゃビットス卜 リームを外部メモリに書き込む。

[0050] 図 8は、 図 4のピクチャに含まれる MBが MBパイプラインに投入され、 ステージ 0の処理が開始される MBサイクル番号を示す図である。 図 8に示 すように、 e行 1 0列、 f行 8列、 g行 6列、 h行 4列の 4個の MBは、 M Bサイクル番号がそれぞれ 1 04、 1 05、 1 06、 1 07のとき順番にス テージ 0に投入され、 符号化が開始される。 そして、 図 7に示すように、 M Bサイクル番号がそれぞれ 1 1 0、 1 1 1、 1 1 2、 1 1 3のとき順番にス テージ 6に達して符号化が終了する。 このように、 ひとまとまりの 4行の M B行の中で、 最も上の MB行に属する MB、 上から 2番目の MB行に属する MB、 上から 3番目の MB行に属する MB、 上から 4番目の M B行に属する MBの順番に MBパイプライン 1に投入され、 続いてそれらの右隣接 MBが 同様の順番で M Bパイプライン 1に投入される。

[0051] 第 1の実施形態によれば、 縦に連続する m (mは 2以上の整数） 行の MB 行をひとまとまりとして、 これらひとまとまりの MB行から、 1つの MB行 当たり 1個の MBを選択し、 これら選択された m個の MBを 1個の MBパイ プラインに連続して投入するので、 左隣接 MBの処理結果を （m_ 1 ) ステ 一ジ分現 MBの処理にフィードバックできる。 たとえば、 ひとまとまりとし て符号化する MB行の数が 4行のとき、 左隣接 MBの処理結果を 3ステージ 分フィードバックし、 現 MBの処理に反映できる。 このため、 図 7中に矢印 で示すように、 例えば、 f行 7列の MBの高精度の動き検出結果とイントラ 予測結果を f行 8列の MBの粗い精度の動き検出に反映できる。 このように 、 左に隣接した MBの高精度の動き検出結果とイントラ予測結果を考慮して 現 MBの動きベクトルを選択することができる。 また、 同様に矢印で示すよ うに、 f行 7列の MBの動き補償の結果を f行 8列の MBのイントラ予測に 反映できる。 従って、 左に隣接した MBの動き補償により求められた再生画 素を用いて現 MBのイントラ予測を行うことができる。 更に、 f行 7列の M Bのレー卜制御結果を f行 8列の MBの量子化に反映できる。 このように、 左に隣接した M Bのレー卜制御結果に応じて現 M Bの量子化パラメータを修 正することができる。

[0052] 第 1の実施形態では、 下に隣接した MB行に含まれる MBが上に隣接した MB行に含まれる MBから左方向に 1 MB離れている場合を示したが、 1 M B以上離れていれば良く、 例えば 2 MB離れていても良い。 また、 縦に連続 する 4行の MB行をひとまとまりとして、 これら 4行の MB行から、 1つの MB行当たり 1個の MBを選択し、 これら選択された 4個の MBを 1個の M Bパイプラインに連続して投入する例を示したが、 ひとまとまりの M B行の 数は 2行以上であれば良く、 例えば縦に連続する 8行の MB行をひとまとま リとして、 これら 8行の MB行から、 1つの MB行当たり 1個の MBを選択 し、 これら選択された 8個の MBを 1個の MBパイプラインに連続して投入 しても良い。

[0053] また、 図 5では、 動画像符号化装置のブロック図として MB選択部 2と符 号化データ設定部 3を含む例を示したが、 この構造は一例であって、 MBパ ィプライン 1に符号化データを設定する回路が必ずしも M B選択部 2と符号 化データ設定部 3に分かれている必要はない。 例えば、 個々の MB行に含ま れる MBを選択すると同時に MBパイプライン 1にその MBを符号化するた めに必要な符号化データを設定し、 その MBの符号化を開始する。 その後、 下に隣接した M B行に含まれる M Bを選択する回路し、 その M Bの符号化を 開始する回路であっても良い。

[0054] 同様に、 図 6では、 ステップ S 1で e行 1 0列、 f行 8列、 g行 6列、 h 行 4列の MBを選択し、 ステップ S 2とステップ S 3で、 e行 1 0列、 f行 8列、 g行 6列、 h行 4列の MBの順番で、 各 MBを符号化するために必要 なデータを M Bパイプライン 1に設定し、 順次 M Bパイプラインに投入する としたが、 これらのステップは一例に過ぎない。 例えば、 e行 1 0列の MB を選択すると同時に e行 1 0列の MBを符号化するために必要なデータを M Bパイプライン 1に設定し、 e行 1 0列の MBの符号化を開始する。 次に、 f行 8列の M Bを選択すると同時に、 f行 8列の MBを符号化するために必 要なデータを M Bパイプライン 1に設定し、 f行 8列の M Bの符号化を開始 する。 その後、 g行 6列の MBを選択すると同時に g行 6列の MBを符号化 するために必要なデータを MBパイプライン 1に設定し、 e行 6列の MBの 符号化を開始する。 続けて、 h行 4列の MBを選択すると同時に h行 4列の MBを符号化するために必要なデータを MBパイプライン 1に設定し、 h行 4列の MBの符号化を開始する処理としても良い。

[0055] なお、 MBパイプライン 1は本発明の MBパイプラインの例であり、 MB 選択部 2は本発明の M B選択部の例であり、 符号化データ設定部 3は本発明 の符号化データ設定部の例である。

[0056] (第 2の実施形態）

図 9は、 8画素 X 8画素の 4つの S Bに分割された MBを示す図である。 第 2の実施形態では、 8画素 X 8画素の 4つの S B (以下、 8 X 8SBとい う。 ） について動きベクトルのコストと予測誤差のコストの和が最小となる 動きベクトルを検出する例を示す。 一般に、 PMVと動きベクトルの距離が 遠いほど動きベクトルのコストは高いと評価される。 このため、 各 8 X 8S Bについて動き検出を始める前に、 その 8 X 8 S Bの PMVが決まっている ことが望ましい。 例えば、 左隣接 8 X 8SB、 上隣接 8 X 8SB、 右上隣接 8 X 8 S Bの動きべクトルに基づいて PMVを決めるとすると、 図 9の中の 0、 1、 2、 3の番号を付された順番に 8 x 8 S Bごとの動きベクトルを検 出しなければならないことになる。 ただし、 3番の 8 X 8 S Bの動きべクト ル検出時に右上隣接 8 X 8 S Bの動きべクトルは存在しないため、 3番の 8 X 8SBの PMVは 1番と 2番の 8 X 8 S Bの動きべクトル MV 1と MV 2 に基づいて決められる。

[0057] 図 1 0は、 MBパイプラインに連続して投入される MBの一例を示す図で ある。 図 1 0のピクチャは a行から始まっており、 r行の下方にも MB行が 存在する。 また、 1 6列以降にも MBが存在する。 第 2の実施形態では、 例 えば、 i —MB行、 j —MB行、 k_MB行、 I —MB行、 m_MB行、 n — MB行、 o_MB行、 p—MB行をひとまとまりとして、 これらひとまと まりの MB行から、 i行 1 5列、 j行 1 3列、 k行 1 1列、 I行 9列、 m行 7列、 n行 5列、 o行 3列、 p行 1列の MBを選択し、 これら選択された 8 個の MBを 1個の MBパイプラインに連続して投入する。

[0058] 図 1 1は、 MBが MBパイプラインのステージを流れていく様子を示す図 である。 図 1 2は、 第 2の実施形態による動きべクトル検出回路のブロック 図である。 第 2の実施形態による動きベクトル検出回路は、 2画素精度画像 作成回路 5と、 2画素精度メモリ 6と、 2画素精度動き検出回路 7と単画素 精度メモリ 8と、 単画素精度動き検出回路 9と、 1Z4画素精度画像作成回 路 1 0と、 1Z4画素精度動きベクトル検出回路 1 1とを有している。 また 、 動きベクトル検出回路の外部に外部メモリ 4が付加されており、 外部メモ リ 4には単画素精度の画像が記憶されている。 ステージ 0で外部メモリ 4か ら画像を読み出す。 その画像を 2画素精度画像作成回路 5で縮小して 2画素 精度の画像を作成し、 2画素精度メモリ 6に書き込む。 ステージ 1で 2画素 精度メモリ 6から画像を読み出しながら、 2画素精度動き検出回路 7により 2画素精度の候補動きベクトルを検出する。 そして、 ステージ 2で候補べク トルの周辺の領域を外部メモリ 4から読み出して、 単画素精度メモリ 8に書 き込む。 ここで、 一般に外部の大容量メモリは低速であるため、 外部メモリ 4から単画素精度メモリ 8に転送するために 1ステージ割り当てている。 単 画素精度メモリ 8から 2画素精度候補べクトルの周辺の領域を読み出しなが ら、 ステージ 3で単画素精度動き検出回路 9により動きべクトルを検出する 。 その後、 ステージ 4で単画素精度メモリ 8から単画素精度画素を読み出し て、 1Z4画素精度画像作成回路 1 0で 1Z4画素精度の画像を作成しなが ら 1Z4画素精度動きべクトル検出回路 1 1を用いて 1Z4画素精度動きべ クトル検出を行う。 単画素精度メモリ 8からは単画素精度動き検出回路 9と 1Z4画素精度画像作成回路 1 0に単画素精度画像を供給することになるた め、 単画素精度メモリ 8はダブルバッファ構造や 2リード以上可能な多ポー トメモリが用いられる。 なお、 図 1 1ではステージ 4で単画素精度動きべク トルの周囲を直接探索して 1 Z4画素精度動きべクトルを検出するとしたが 、 ステージ 4で半画素精度動きベクトルを検出した後、 ステージ 5で半画素 精度動きべクトルの周囲を探索して 1Z4画素精度動きべクトルを検出して も良い。 また、 ステージ 3で単画素精度動きベクトル検出と半画素精度動き べクトル検出を行い、 ステージ 4で 1Z4画素精度動きべクトル検出を行つ ても良い。

ステージ 1〜ステージ 5では M Bサイクルを 4つの S Bサイクルに分割し 、 各 S Bサイクルで 8 X 8 S Bごとの処理を行う。 ここで、 SBサイクルと は、 1個の S Bが処理されるために要する時間の単位をいい、 SBごとの処 理を行うとき、 MBサイクルは SBサイクルに分割される。 MBサイクルが S Bサイクルに分割され、 S Bごとの処理を行うステージ群を S Bパイブラ インと呼ぶ。 図 1 1に示すステージ 1〜ステージ 5が SBパイプラインであ る。 図 1 3は、 S Bパイプラインの詳細な動作を示す図である。 _0、 _ 1 、 _2、 _ 3はそれぞれ図 9に示す 0、 1、 2、 3の番号を付された 8 X 8 SBである。 例えば、 i 1 5— 2は i行 1 5列の MBに含まれる 2番目の 8 X 8SBを表す。 図 1 3では、 ステージ 5に空ステージを揷入し、 例えば i 1 5— OS Bについてステージ 4で検出された 1Z4画素精度動きべクトル を i 1 5— 1 SBのステージ 1における 2画素精度動きべクトルのコス卜計 算に反映できるようにしている。 このように、 MBサイクルを SB数に等し い数の S Bサイクルに分割したときは、 （5 8数+ 1 ) 段のパイプラインと することにより、 同一の M B内における直前の 8 X 8 S Bの処理結果を次の 8 X 8 S Bに反映させることができる。

[0060] なお、 ステージ 1〜ステージ 5において 8 X 8 S Bごとの動きベクトル検 出回路と並列に動作する M Bごとの動きべクトル検出回路を設けることが可 能である。 また、 ステージ 3〜5において、 ステージ 1において検出された 8 X 8 S Bごとの候補べクトルの周辺領域で 8 X 8 S Bごとの動きべクトル 検出と並列に M Bごと、 1 6画素 X 8画素 S Bごと、 8画素 X 1 6画素 S B ごとの動きべクトルを検出することも可能である。

[0061 ] ステージ 0〜5において動きべクトルが検出された後は、 ステージ 6で 1 6 X 1 6イントラ予測モード、 4 X 4イントラ予測モード、 インター予測モ 一ド等の中から符号化効率の最も良くなる予測モードが選択される。 ステー ジ 7では整数変換、 量子化、 逆量子化、 および逆整数変換が行われる。 ステ ージ 8では可変長符号化と動き補償が行われる。 ステージ 9ではレー卜制御 とデブロッキングフィルタ処理が行われ、 ステージ 1 0では再生画素や符号 化ビッ卜ストリームが外部メモリ 4に書き込まれる。

[0062] このように、 第 2の実施形態によれば、 M Bパイプラインの一部のステー ジで、 M Bサイクルを S Bサイクルに分割して S Bパイプラインを形成し、 S Bごとの処理を行う。 このため、 隣接 S Bの処理結果を符号化中の S Bの 処理にフィードバックすることができる。

[0063] なお、 図 1 3に示すステージ 1〜ステージ 5は本発明のサブブロックパイ プラインのステージの例である。

[0064] (第 3の実施形態）

図 1 4は、 第 3の実施形態による S Bパイプラインの詳細な動作を示す図 である。 図 1 5は、 第 3の実施形態による S Bパイプラインの動作を実現す るための動き検出回路のブロック図である。 第 3の実施形態による動きべク トル検出回路は、 2画素精度画像作成回路 5と、 2画素精度メモリ 6と、 2 画素精度動き検出回路 7と単画素精度メモリ 8と、 1 Z 4画素精度画像作成 回路 1 0と、 2個の 1Z4画素精度動きべクトル検出回路 1 1とを有してい る。 また、 動きベクトル検出回路の外部に外部メモリ 4が付加されている。 図 1 2と図 1 5における同一の符号は同一の構成要素を示す。 本実施形態で は、 1Z4画素精度動き検出回路 1 1を 2個設け、 ステージ 3とステージ 4 を結合して、 1個の 8 X 8 S Bの 1 Z4画素精度動き検出を 2 S Bサイクル かけて行う。 ステージ 3とステージ 4以外は、 第 2の実施形態の MBパイプ ラインと同一のステージ構造である。 2つの 1 Z4画素精度動き検出回路 1 1を 1 S Bサイクルずらして動作させることにより、 個々の 8 X 8 S Bの 1 Z 4画素精度動き検出を 2 S Bサイクルかけて行うことができる。

[0065] なお、 図 1 4に示すステージ 1〜ステージ 5は本発明のサブブロックパイ プラインのステージの例である。

[0066] (第 4の実施形態）

図 1 6は、 1 6個の 4画素 X 4画素 S Bに分割された MBを示す図である 。 4画素 X 4画素 SB (以下、 4X 4SBという。 ） は、 図 1 6に示す 0〜 1 5の順番で 4画素 X 4画素イントラ予測 （以下、 4X 4イントラ予測とい う。 ） される。 例えば、 3番の 4 X 4 S Bについて 4 X 4イントラ予測を行 うときには、 1番の 4 X 4 S Bにおける下端 4行の画素と 2番の 4 X 4 S B の右端 4列の画素が参照される。 また、 1 4番の 4 X 4 S Bについて 4 X 4 イントラ予測を行うときには、 1 2番と 1 3番の 4X 4SBにおける下端の 4行の画素と 1 1番の 4 X 4 S Bにおける右端 4列の画素が参照される。 こ れら隣接 4 X 4SBに属する画素は再生画素を用いることが望ましい。

[0067] 図 1 7は、 MBが MBパイプラインのステージを流れていく様子を示す図 である。 ステージ 4で隣接 4 X 4 SBの再生画素を用いて 4 X 4イントラ予 測を行い、 ステージ 5で予測誤差に対して整数変換■量子化■逆整数変換■ 逆量子化を行ってイントラ予測値を加算し、 再生画素を生成する。 ステージ 4の 4 X 4イントラ予測回路とステージ 5の整数変換■量子化■逆整数変換 ■逆量子化回路は、 第 2の実施形態または第 3の実施形態で示したステージ 1〜ステージ 5の動き検出回路と並列に動作する。 [0068] 第 4の実施形態では、 ステージ 4とステージ 5において MBサイクルを 1 6の SBサイクルに分割する。 このため、 SBパイプラインのステージ数に 比べて SBの数が多く、 （SB数 + 1 ) 段の SBパイプラインとすると、 空 ステージが増加し、 効率が悪い。 図 1 8は、 SBパイプラインの詳細な動作 を示す図である。 _0、 _ 1、 _2、 ……、 _ 1 5はそれぞれ図 1 6に示す 0、 1、 2、 ……、 1 5の番号を付された 4 X 4 S Bを意味する。 例えば、 i 1 5— 8は i行 1 5列の MBに含まれる 8番目の 4 X 4 SBを表す。 図 1 8に示すように、 本実施形態では、 2個の MBに含まれる 4 X 4SBを交互 に処理することにより、 1個の MBを 2MBサイクル、 すなわち 32SBサ ィクルかけて処理する。 1個の MBに属する 4 X 4SBを 4X 4イントラ予 測しているとき、 同時に別の M Bに属する 4 X 4 S Bを整数変換■量子化■ 逆整数変換■逆量子化する。 MBサイクルごとに 1個の MBの処理を開始し 、 別の MBの処理を終えるように動作させ、 MBパイプラインの他ステージ と整合を取る。 ただし、 このように動作させると、 図 1 8に示すように、 ス テージ 4の 4 X 4イントラ予測において、 2 MBサイクルごとに 1 S Bサイ クル、 すなわち 1Z1 6 MBサイクルだけ MBサイクルとずれが発生する。 そのため、 図 1 8では、 ステージ 3の有効期間を 1 5Z1 6 MBサイクルと し、 ステージ 4における 1Z1 6 MBサイクルのずれを吸収している。 なお 、 ステージ 3の処理が重く、 無効期間を設けることができないときは、 ステ ージ 6の有効期間を 1 5Z1 6MBサイクルとし、 1Z1 6MBサイクルの ずれを吸収しても良い。 このように動作させることにより、 4X 4イントラ 予測回路と整数変換■量子化■逆整数変換■逆量子化を行う回路に空を生じ ることなく、 左隣接、 上隣接、 右上隣接の 4 X 4SBに属する画素について 再生画素を用いて 4 X 4イントラ予測を行うことができる。

[0069] なお、 SBパイプラインの前または後のステージの有効期間を短縮するの ではなく、 S Bパイプラインの前または後に空ステージを挿入することによ つて、 MBパイプラインのずれを吸収することもできる。

[0070] 第 4の実施形態では、 図 1 7に矢印で示すように、 左隣接 MBのレート制 御結果を 4X 4イントラ予測に付随して行う量子化に反映することができる

[0071] また、 輝度信号の 1 6画素 X 1 6画素イントラ予測や 4 ： 2 ： 0フォーマ ッ卜のときの色差信号の 8画素 X 8画素イントラ予測は MBごとに処理され る。 このため、 左隣接 MBと上隣接 MBに属する画素を参照できれば良い。 この場合、 ステージ 8の動き補償で得られる再生画素を参照できるため、 4 X 4イントラ予測のようにステージ 5で整数変換■量子化■逆整数変換■逆 量子化を行う必要はない。 なお、 ステージ 6のイントラ■インター判定で 4 X 4イントラ予測モードが選択された場合には、 ステージ 5の整数変換■量 子化■逆整数変換■逆量子化で得られた再生画素を保存しておく構造として も、 ステージ 7で再度整数変換 ·量子化 ·逆整数変換 ·逆量子化を行う構造 としても良い。

[0072] なお、 4 X 4イントラ予測のモード判定を入力された画素によって行うこ とにすれば、 ステージ 5の整数変換■量子化■逆整数変換■逆量子化は省略 することができる。 ただし、 再生画素を用いてモード判定した場合に比べ、 画質は劣化する。

[0073] また、 図 1 8に示すステージ 4とステージ 5は本発明のサブブロックパイ プラインのステージの例である。

[0074] (第 5の実施形態）

図 1 9は、 MBが MBパイプラインのステージを流れていく様子を示す図 である。 図 1 9では、 8 X 8 S Bごとの動きベクトルを検出するために、 4 つの M B行に含まれる M Bが 1個の M Bパイプラインに連続して投入される 。 第 5の実施形態では、 第 2の実施形態〜第 4の実施形態とほぼ同一のステ ージ構造の MBパイプラインにおいて、 例えば、 図 7に示す i —MB行、 j — MB行、 k_MB行、 I —MB行をひとまとまりとして、 これらひとまと まりの MB行から、 i行 1 5列、 j行 1 3列、 k行 1 1列、 I行 9列等の M Bを選択し、 これら選択された 4個の MBを 1個の MBパイプラインに連続 して投入する例を示す。 第 2の実施形態〜第 4の実施形態では 8つの M B行 をひとまとまりとして処理するため、 各左隣接 M Bの処理結果を 1ステージ 分現 M Bの処理にフィードバックできるが、 本実施形態では 3ステージ分し かフィードバックできない。 このため、 左隣接 MBの処理結果を現 MBの処 理に反映するとき、 第 2の実施形態〜第 4の実施形態に比べて制限が生じる

[0075] 図 1 9に示すように、 例えば、 ステージ 5で j行 1 2列の MBのイントラ ■インター判定が終了したとき、 同時にステージ 1において』行 1 3列の M Bの 2画素精度動き検出も終了する。 このため、 左隣接 MBのイントラ -ィ ンター判定結果を現 MBの 2画素精度動き検出に反映できないという制限が ある。 ただし、 図 1 9に矢印で示すように、 左隣接 MBのイントラ■インタ 一判定結果はステージ 2以降に反映できる。 また、 左上隣接 MB、 上隣接 M B、 右上隣接 MB、 左方向に 1つ離れた MB等についてステージ 5で確定し たイントラ■インター判定結果はステージ 1の 2画素精度動き検出に反映で きる。 そこで、 ステージ 1においては、 左上隣接 MB、 上隣接 MB、 右上隣 接 MB、 左方向に 1つ離れた MB等の動きべクトルを参照して仮の PMVを 作成し、 4つの 8 X 8 S B全てが共通にこの仮の PMVを参照して 2画素精 度動き検出を行う。 そして、 ステージ 2ではステージ 1で検出された 2画素 精度の候補動きべクトルの周辺領域を単画素精度メモリ 8に設定し、 ステー ジ 3で真の PMVを作成し、 ステージ 3とステージ 4で真の PMVを参照し て単画素精度動き検出と 1 Z4画素精度動き検出を行う。

[0076] 図 20は、 SBパイプラインの詳細な動作を示す図である。 ステージ 3の 単画素精度動き検出とステージ 4の 1 Z4画素精度動き検出では、 2個の M Bに含まれる 8 X 8 S Bを交互に処理することにより、 1個の MBを 2 MB サイクル、 すなわち 8 S Bサイクルかけて処理する。 1個の MBに属する 8 X 8 S Bについて単画素精度動き検出を行っているとき、 同時に別の MBに 属する 8 X 8 S Bについて 1 Z4画素精度動き検出を行う。 MBサイクルご とに 1個の MBの処理を開始し、 別の MBの処理を終えるように動作させ、 MBパイプラインの他ステージと整合を取る。 そして、 ステージ 2の有効期 間を 3Z4MBサイクルとし、 ステージ 4における 1 Z4MBサイクルのず れを吸収する。 この方法によれば、 1個の MB内に含まれる 4個の 8 X 8 S Bについて 0番から 3番まで連続して処理することができる。 このため、 単 画素精度動き検出と 1 Z 4画素精度動き検出では隣接 8 X 8S Bの動きべク 卜ルを考慮した真の P M Vに基づいて動き検出を行うことができる。

[0077] ただし、 本実施形態では、 空間ダイレクトァドレスの評価が別途必要とな る。 ステージ 1で仮の PMVに基づいて 2画素精度動き検出が行われ、 ステ ージ 2ではステージ 1で検出された候補動きべクトルの周辺領域が単画素精 度メモリ 8に設定される。 ステージ 1の仮の PMVとステージ 3の真の PM Vが異なる場合、 ステージ 3とステージ 4で動き検出する領域に空間ダイレ クトァドレスに対応する位置の MBや 8 X 8 S B等が含まれない。 そこで、 ステージ 3およびステージ 4と並列に空間ダイレクトァドレスに対応する位 置の MBや 8 X 8 S Bのコス卜を評価する処理を行う必要がある。

[0078] 図 21は、 MBが MBパイプラインのステージを流れていく様子を示す図 である。 図 21では、 4 X 4イントラ予測のために、 4行の MB行に含まれ る MBが 1個の MBパイプラインに連続して投入される。 また、 図 22は、 SBパイプラインの詳細な動作を示す図である。 ステージ 4の 4 X 4イン卜 ラ予測とステージ 5の整数変換■量子化■逆量子化■逆整数変換では、 第 4 の実施形態の SBパイプラインと同様の処理を行う。

[0079] ただし、 本実施形態では左隣接 MBの処理結果を 3ステージ分しか現 MB の処理にフィードバックできないため、 動き補償をステージ 7で行うと左隣 接 MBの再生画素を用いて 4 X 4イントラ予測を行うことができない。 そこ で、 動き補償をステージ 6で行なわなければならないという制限がある。 ま た、 左隣接 MBのステージ 8のレー卜制御結果を反映できるのはステージ 5 以降であって、 ステージ 4の量子化には反映できない。 しかし、 ステージ 7 の可変長符号化によって大量のビッ卜が発生し、 ステージ 8で量子化パラメ ータを大きくするというレート制御を行う必要が生じる場合がある。 この場 合には、 ステージ 5のイントラ■インター判定において 4 X 4イントラ予測 モードを選択しないようにするか、 または 4 X 4イントラ予測モードが選択 されたときはステージ 6で新しい量子化パラメータを用いて整数変換■量子 化 ·逆量子化 ·逆整数変換をやり直す必要がある。

[0080] なお、 図 2 0に示すステージ 3とステージ 4、 及び図 2 2に示すステージ

3とステージ 4は本発明のサブブロックパイプラインのステージの例である

[0081 ] 上記第 1の実施形態〜第 5の実施形態では、 縦に連続する複数の M B行を ひとまとまりとし、 1つの M B行当たり 1個の M Bが連続して符号化を開始 される。 これらの M Bは狭い画像領域にあるため、 下に隣接した M B行に属 する M Bの符号化が終了するまで、 その M Bの上隣接 M Bと右上隣接 M Bの 再生画素や動きべクトル等を画像符号化装置内に保持することにしてもその 保持に要する記憶回路の規模は小さい。 この記憶回路を設けることにより、 これらひとまとまりの M B行の一番上の M B行に含まれる M Bを除いて、 例 えば、 現 M Bの符号化のために上隣接 M Bと右上隣接 M Bの再生画素や動き べクトル等をいつたん外部メモリに記憶しておき、 現 M Bの符号化を開始す るとき、 外部メモリから画像符号化装置内の記憶回路に読み込むという操作 が不要となる。

[0082] なお、 第 1の実施形態〜第 5の実施形態で示した M Bパイプラインのステ ージ構造は一例であって、 他のステージ構造とすることも可能である。 そし て、 ステージ構造が変われば、 ひとまとまりとして符号化する縦に連続する 複数の M B行の数が同じであっても、 動き検出やイントラ予測等における制 約は変わる。

[0083] (第 6の実施形態）

図 2 3は、 内部メモリを有する動画像符号化装置のブロック図である。 動 画像符号化装置 2 3は、 参照領域用メモリ 1 4と、 バッファメモリ 1 5と、 動き検出部 1 6と、 動き補償部 1 7と、 イントラ予測部 1 8と、 整数変換- 量子化■逆量子化■逆整数変換部 1 9と、 可変長符号化部 2 0と、 デブ口ッ キングフィルタ部 2 1と、 制御部 2 2とを有している。 また、 動画像符号化 装置 2 3の外部に外部メモリ 4が付加されている。 動画像符号化装置 2 3は 、 M Bの符号化に必要な全てのデータを外部メモリ 4から読み出してその内 部メモリに記憶する。 内部メモリは参照領域用メモリ 1 4とバッファメモリ 1 5の 2種類ある。 動き検出の時に参照される参照画像は参照領域用メモリ 1 4に記憶され、 参照領域用メモリ 1 4から動き検出部 1 6と動き補償部 1 7に供給される。 符号化のために必要なその他のデータはバッファメモリ 1 5に記憶され、 動き検出部 1 6、 動き補償部 1 7、 イントラ予測部 1 8、 整 数変換■量子化■逆量子化■逆整数変換部 1 9、 可変長符号化部 2 0、 デブ ロッキングフィルタ部 2 1はバッファメモリ 1 5との間でデータを転送する 。 制御部 2 2はイントラ■インター判定とレー卜制御を行う。 制御部 2 2は ワイヤードロジックまたはマイクロプロセサで作られる。 なお、 図 2 3では 参照領域用メモリ 1 4とバッファメモリ 1 5を別々のものとして表わしたが 、 参照領域用ァドレスとバッファ用ァドレスが別れていれば 1個の共通メモ リであっても良い。

図 2 4は、 縦に連続する 4行の M B行に含まれる 4個の M Bを 1個の M B パイプラインで処理する場合の参照領域を示す図である。 参照領域 2 8、 参 照領域 2 9、 参照領域 3 0、 及び参照領域 3 1はそれぞれ M B 2 4、 M B 2 5、 M B 2 6、 及び M B 2 7の動き検出のときに参照される領域である。 参 照領域 2 8、 参照領域 2 9、 参照領域 3 0、 及び参照領域 3 1は大きく重な つておリ、 縦に隣リ合う M B行に属する 2個の M Bの参照領域において重な つていない部分の高さは M Bの縦方向の画素数と一致する。 この重なり部分 は動きべクトルの検出範囲が広くなるほど大きくなる。 本実施形態において 、 参照領域 2 8、 参照領域 2 9、 参照領域 3 0、 及び参照領域 3 1に含まれ る全画素は、 参照領域用メモリ 1 4に記憶される。 右方向に隣接する M Bの 符号化を開始するとき、 外部メモリ 4から参照領域用メモリ 1 4へ更新領域 3 2、 更新領域 3 3、 更新領域 3 4、 及び更新領域 3 5のみ転送し、 それま で符号化していた左隣接 M Bの参照領域 2 8、 参照領域 2 9、 参照領域 3 0 、 及び参照領域 3 1の原点から次に符号化する右隣りの M Bのための新しい 原点に付け替える。 ただし、 M B 2 5のための更新領域 3 3は、 M B 2 4の 参照領域 2 8に含まれていない部分のみである。 同様に、 M B 2 6と M B 2 7の更新領域 3 4と更新領域 3 5はそれぞれ M B 2 5と M B 2 6の参照領域 2 9と参照領域 3 0に含まれていない部分のみである。 従って、 外部メモリ 4と参照領域用メモリ 1 4の間の画素転送量を大幅に削減することができる

[0085] 図 2 5は、 参照領域用メモリに参照領域を記憶する別の例を示す図である 。 参照領域用メモリ 1 4には、 参照領域 2 8、 参照領域 2 9、 参照領域 3 0 、 及び参照領域 3 1を全て含む矩形の領域 3 6を記憶する。 この方法によれ ば、 参照領域用メモリ 1 4のアドレス生成が簡単になる。 また、 更新領域 3 7もひとまとまりの矩形領域となるため、 外部メモリ 4から参照領域用メモ リ 1 4への画素の転送が簡単になる。

[0086] 上記では、 連続した 4行の M B行に含まれる 4個の M Bを 1個の M Bパイ プラインで同時に処理する場合を例として示したが、 本実施形態に示す方法 は連続した 2行以上の M B行であれば適用でき、 例えば連続した 8行の M B 行であっても良い。

[0087] なお、 参照領域用メモリ 1 4には単画素精度画像のみ記憶し、 参照領域用 メモリ 1 4から読み出した単画素精度画像から動き検出部 1 6と動き補償部 1 7の内部で半画素精度画像や 1 Z 4画素精度画像を作成する構造とするこ とができる。 この構造は、 予め半画素精度画像や 1 Z 4画素精度画像を作成 して外部メモリ 4に記憶し、 外部メモリ 4から参照領域用メモリ 1 4に半画 素精度画像や 1 Z 4画素精度画像を転送する構造よリも外部メモリ 4と参照 領域用メモリ 1 4の間の画素転送量を削減することができる。

[0088] また、 2画素精度画像等の縮小画像を作成し、 最初に縮小画像上で動き検 出を行い、 段階的に高精度画像で動き検出を行う階層的探索法がある。 この 階層的探索法を採用する場合でも、 参照領域用メモリ 1 4には単画素精度画 像のみを記憶しておき、 動き検出部 1 6と動き補償部 1 7の内部で縮小画像 を作成する構造とすることができる。 この構造は、 予め縮小画像を作成して 外部メモリ 4に記憶し、 外部メモリ 4から参照領域用メモリ 1 4に縮小画像 を転送する構造よりも外部メモリ 4と参照領域用メモリ 1 4の間の画素転送 量を削減することができる。

[0089] その他、 動き検出における演算量を削減する手法としてテレスコピック探 索法が提案されている。 テレスコピック探索法では、 符号化対象画像と参照 画像の中間の画像も必要となる。 この場合には、 中間の画像の中で動き検出 に必要な領域に対しても本実施形態に示す更新方法を適用することができる

[0090] また、 輝度信号だけを本実施形態に示す方法で外部メモリ 4から画像符号 化装置 2 3の内部メモリに転送しても良いし、 輝度信号と色差信号の両方に 本実施形態に示す方法を適用しても良い。 なお、 動き検出のときに色差信号 を参照しない場合には、 色差信号は参照領域用メモリ 1 4とバッファメモリ 1 5のどちらに記憶しても良い。

[0091 ] なお、 参照領域用メモリ 1 4とバッファメモリ 1 5は本発明の内部メモリ の例である。

[0092] このように、 第 1の実施形態〜第 5の実施形態では縦に連続する複数の M B行をひとまとまりとして符号化を行うが、 これら複数の M B行に含まれる M Bの参照領域は大きく重なっているので、 これらの複数の M B行に含まれ る M Bの参照領域を共通の参照領域用メモリに記憶する構造とすれば、 ピク チヤを記憶している外部メモリから、 この重なり部分を更新するための転送 を重複して行う必要がなくなる。 このため、 動画像符号化装置の内部に参照 領域用メモリを設けることにより、 ピクチャを記憶している外部メモリから 動画像符号化装置の内部メモリへのデータ転送量を削減できる。

[0093] (第 7の実施形態）

H D T V映像を符号化対象とする場合、 良好な画質を得るために動きべク トルの範囲は横 ± 2 0 0画素、 縦 ± 1 0 0画素程度必要である。 この範囲の 動きベクトルを検出するための演算量は膨大である。 しかし、 M Bパイプラ ィン構造の動画像符号化装置では、 M Bサイクル当たリのサイクル数は全て のステージで共通である。 動き検出のためのステージのみ M Bサイクル当た りのサイクル数を増加させることはできない。 また、 第 1の実施形態〜第 5 の実施形態に示したように、 処理結果をフィ一ドバックできるステージ数に 限界があるため、 M Bパイプラインのステージ数を増加させることは好まし くない。

[0094] 図 2 6は、 広い範囲で動きを検出できる動き検出装置と M Bパイプライン 構造の動画像符号化装置の組み合わせを示す図である。 動き検出装置 3 8は 、 動きベクトルの符号化コストを考慮せず、 予測誤差の符号化コストのみを 考慮して動きベクトル候補を検出する。 動画像符号化装置 2 3は、 動き検出 装置 3 8で検出された動きべクトル候補を受け取って、 その動きべクトル候 補の周辺領域について動きべクトルの符号化コス卜まで考慮して動き検出を 行う。 すなわち、 広い範囲で P M Vを参照せずに動きを検出し、 検出された 動きべクトル候補の周辺領域について P M Vを参照して再度動き検出を行う 。 受け取った動きべクトル候補の周辺領域における再度の動き検出は 2画素 精度動き検出や単画素精度動き検出等任意の精度の動き検出段階で行うこと が可能である。 動画像符号化装置 2 3では、 この動きベクトル候補の周辺領 域に加えて、 コスト最小の動きべクトルが存在する可能性が高い他の領域、 例えば P M Vの周辺領域でも同時に動き検出を行っても良い。

[0095] また、 動き検出装置 3 8は、 動画像符号化装置 2 3で作成された再生画像 ではなく、 符号化されていない入力されたままの画像を対象として動き検出 を行う構造とすることもできる。 この構造とすることにより、 動画像符号化 装置 2 3から動き検出装置 3 8に再生画像を送る必要が無くなる。

[0096] なお、 動き検出装置 3 8と動画像符号化装置 2 3を同一の L S I上に集積 することも可能である。 この場合、 動画像符号化装置 2 3に接続されている 外部メモリ 4を動き検出装置 3 8と動画像符号化装置 2 3の共有メモリとし 、 動き検出装置 3 8は再生画像を対象として動き検出を行う構造としても良 い。

[0097] また、 例えば、 M P E G— 2から H . 2 6 4へトランスコードするときの ように、 既に検出された動きベクトルを利用できるときには、 動き検出装置

3 8を用いず、 検出済の動きべクトルを直接動画像符号化装置 2 3に入力し 、 この検出済み動きべクトルの周辺領域について動きべクトルの符号化コス 卜まで考慮して動き検出を行う構造とすることもできる。

[0098] (第 8の実施形態）

図 2 7は、 2台の動画像符号化装置と内部メモリを有する動画像符号化装 置のブロック図である。 動画像符号化装置 4 2は、 内部メモリ 3 9と、 動画 像符号化装置 4 0と、 動画像符号化装置 4 1とを有している。 また、 動画像 符号化装置 4 2には外部メモリ 4が付加されている。 図 2 8は、 2台の動画 像符号化装置が符号化を分担するピクチャの領域を示す図である。 i _ M B 行〜 I —M B行、 q— M B行〜 t _ M B行等を動画像符号化装置 4 0が分担 して符号化し、 e—M B行〜 h—M B行、 m _ M B行〜 p _ M B行等を動画 像符号化装置 4 1が分担して符号化する。 このピクチャ分割方法によれば、 動画像符号化装置 4 0と動画像符号化装置 4 1の分担するピクチャの領域が 縦に連続しているため、 両者の参照領域は縦に大きく重なっている。 外部メ モリ 4から内部メモリ 3 9へ 2台の動画像符号化装置 4 0と動画像符号化装 置 4 1の参照領域を転送し、 内部メモリ 3 9から個々の動画像符号化装置 4 0と動画像符号化装置 4 1に転送する構造とすれば、 両者の参照領域の重な リ部分を重複して転送する必要がないため、 外部メモリ 4と内部メモリ 3 9 の間のデータ転送量を削減することができる。

[0099] 図 2 9は、 2台の動画像符号化装置に含まれる M Bパイプラインのステー ジを M Bが流れていく様子を示す図である。 各々の動画像符号化装置 4 0と 動画像符号化装置 4 1のステージ構造は第 1の実施形態の動画像符号化装置 と同一である。 ただし、 例えば、 I _ M B行に属する M Bの再生画素と動き べクトルを動画像符号化装置 4 0から動画像符号化装置 4 1に転送し、 m _ M B行に属する M Bの符号化で参照することが可能である。 このように、 動 画像符号化装置 4 0と動画像符号化装置 4 1の分担する領域の境界において 、 上隣接 M Bと右上隣接 M Bにおける再生画素や動きべクトル等現 M Bの参 照するデータを転送できるタイミングで動画像符号化装置 4 0と動画像符号 化装置 4 1を動作させる。 このように動作させることにより、 図 2 5の i _ M B行〜 I —M B行や m _ M B行〜 p—M B行のように動画像符号化装置 4 0と動画像符号化装置 4 1が分担して符号化する領域ごとにスライス分割す る必要はなく、 ピクチャ全体を 1スライスとすることも可能である。 更に、 a - M B行〜 d _ M B行や e _ M B行〜 h _ M B行等動画像符号化装置 4 0 と動画像符号化装置 4 1が処理するピクチャの最初の領域が入力されると、 動画像符号化装置 4 0と動画像符号化装置 4 1は符号化を開始することがで きるので、 符号化遅延を抑えることができる。

[0100] なお、 動画像符号化装置 4 2は 3個以上の動画像符号化装置を含んでいて も良い。

[0101 ] 動画像符号化装置 4 2は本発明の少なくても 2台の動画像符号化装置を含 む符号化装置の例である。

[0102] このように、 第 8の実施形態によれば、 並列動作する複数台の動画像符号 化装置の参照領域は縦に大きく重なっているので、 外部メモリから並列動作 する動画像符号化装置の共通内部メモリへ全ての動画像符号化装置の参照領 域を転送し、 共通内部メモリから個々の動画像符号化装置に転送する構造と すれば、 参照領域の重なり部分を重複して転送する必要がなくなる。 このた め、 並列動作する動画像符号化装置に共通内部メモリを設けることにより、 ピクチャを記憶している外部メモリから並列動作する動画像符号化装置の共 通内部メモリへのデータ転送量を削減できる。 また、 並列動作する動画像符 号化装置が分担して符号化する領域ごとにスライス分割する必要はなく、 ピ クチャ全体を 1スライスとすることも可能である。 更に、 複数台の動画像符 号化装置が処理するピクチャの最初の領域が入力されると、 動画像符号化装 置は符号化を開始することができるので、 符号化遅延を抑えることができる

[0103] (第 9の実施形態）

H . 2 6 4では可変長符号化の方法として C A B A Cを用いることができ る。 CABACは、 1個の算術符号化部を使用して 1つのスライスに含まれ る全 MBを連続的に処理する。 一方、 第 1の実施形態〜第 8の実施形態に記 載した発明では、 縦に連続する複数の MB行をひとまとまりとして符号化を 行う。 このため、 縦に連続するひとまとまりの MB行に含まれる全ての MB の符号化が終了した後でなければ 2値化シンボルを算術符号化することがで きない。 しかし、 ある MBを符号化したとき、 その発生符号量が著しく多い 場合がある。 このような場合、 早急に量子化パラメータを大きくし、 新たに 符号化する M Bから発生する符号量を減少させるようにレート制御しなけれ ばならない。 第 9の実施形態では、 第 1の実施形態〜第 8の実施形態に記載 した発明が適用された動画像符号化装置において、 例えば、 H. 264で規 定される CAB AC等の算術符号化を行う場合に、 縦に連続するひとまとま りの M B行に含まれる全ての M Bの符号化が終了する前にレー卜制御を行う 方法の一例を示す。

[0104] 図 30は、 推定発生符号量に基づいてレート制御を行う CAB AC符号化 器のブロック図である。 CABAC符号化器は、 2値化部 43と、 発生符号 量推定部 44と、 2値化シンボル記憶部 45と、 算術符号化部 46と、 コン テクス卜情報復元部 47とを有している。 図 30の CABAC符号化器は、 2値化シンポルのシンボル長の総和から算術符号化の発生符号量を推定し、 レート制御を行う。 このため、 縦に連続するひとまとまりの MB行に含まれ る全ての M Bの符号化終了を待たずにレー卜制御することができる。

[0105] まず、 シンタックスエレメントを 2値化部 43により 2値化する。 2値化 部 43は、 ルックアップテーブルを含み、 テーブルルックアップを用いて 2 値化シンポルへの変換を 1サイクルで行う。 そして、 発生符号量推定部 44 により変換された 2値化シンポルのシンボル長の総和から MBごとの発生符 号量を推定し、 制御部 22に推定発生符号量を送ってレート制御を行う。 こ れにより、 縦に連続するひとまとまりの MB行に含まれる全ての MBの符号 化が終了する前にレート制御を行うことができる。

[0106] ここで、 本実施形態に係る動画像符号化装置では、 MB行の先頭の MBを 処理するとき、 その上に隣リ合った M B行の最後の M Bの量子化パラメータ はまだ求まっていない。 しかし、 例えば、 H. 264では、 量子化パラメ一 タは直前に符号化した M Bの量子化パラメータとの差分が 2値化され、 算術 符号化される。 そこで、 MB行内の先頭の MBの量子化パラメータについて は仮の値との差分 （以下、 仮 mb_q p_d e I t aという。 ） を 2値化す るものとする。 なお、 仮の値は、 既に符号化済みの MBの量子化パラメータ を参照して上に隣リ合う M B行内の最後の M Bの量子化パラメータを推測し て決定することが望ましい。 一方、 MB行内の先頭以外の MBの量子化パラ メータは、 直前に符号化した左隣接 MBのものとの差分 （以下、 mb_q p _d e I t aという。 ） を 2値化する。

[0107] 次に、 2値化シンボルをいつたん 2値化シンボル記憶部 45で記憶し、 縦 に連続するひとまとまりの MB行に含まれる全ての MBの符号化が終了した 後、 2値化シンボルを 2値化シンボル記憶部 45から読み出す。 そして、 コ ンテクス卜情報復元部 47を用いてそれに対応するコンテクス卜情報を復元 しながら、 算術符号化部 46により算術符号化を行う。 コンテクスト情報復 元部 47の処理は、 動画像復号装置で使用される CAB AC復号器内のコン テクス卜情報復元処理とほぼ同一である。

[0108] 図 31は、 コンテクスト情報復元器の処理フローを示す図である。 スライ スの先頭でコンテクスト情報を初期化する （ステップ S 5) 。 次に、 変数 tmp をクリアし （ステップ S 6) 、 シンタックスエレメントの 2値化シンボルを 1個取得する （ステップ S 7) 。 その後、 算術符号化する s ymb o Iのコ ンテクスト情報を取得し （ステップ S 8) 、 2値化シンボル記憶部 45から s ymb o I を 1 ビッ卜読み出す （ステップ S 9) 。 そして、 コンテクス卜 情報と s ymb o I を算術符号化部 46に出力する （ステップ S 1 0) 。 変 数 t mpを 1 ビッ卜左論理シフ卜した後、 1_58に3 13₀ I を連結する (ステップ S 1 1 ) 。 この新たな t mpがステップ S 7で取得した 2値化シ ンポルと異なる場合にはステップ S 8に戻る （ステップ S 1 2) 。 t mpが 2値化シンポルと一致する場合にはスライスの最後か否か判定し、 スライス の最後でない場合にはステップ S 6に戻り （ステップ S 1 3) 、 t mpをク リアするとともに新たな 2値化シンボルを取得する （ステップ S 6、 S7) 。 スライスの最後である場合にはコンテクスト情報復元処理を終了する （ス テツプ S 1 3) 。

[0109] ただし、 MB行内の先頭の MBの仮 m b_q p_d e I t aを 2値化シン ポル記憶部 45に記憶し、 コンテクス卜情報復元部 47で MB行内の先頭の MBの量子化パラメータを再現することとすると、 上に隣り合う MB行内の 最後の MBの量子化パラメータを再現し、 それとの差分を算出して実際の m b_q p_d e I t aを求めた後、 再度 2値化し、 算術符号化しなければな らない。 一方、 MB行内の最後の MBの量子化パラメータは、 その MB行に 含まれる全ての MBについて m b_q p_d e I t aを復号しなければ再現 できない。 このため、 MB行内の最後の MBの量子化パラメータを再現する だけのために、 その MB行に含まれるすべての MBについて m b_q p_d e I t aを復号し、 量子化パラメータを再現することが必要となる。 これを 避けるために、 MB行内の最後の MBについては量子化パラメータそのもの を 2値化シンボル記憶部 45に記憶することとしても良い。 MB行内の最後 の MBの量子化パラメータを一定のビッ卜長として記憶することにより、 コ ンテクス卜情報復元部 47で MB行内の最後の MBの量子化パラメータと識 別することができる。

[0110] なお、 2値化シンポル記憶部 45は動画像符号化装置内部に無くても良く 、 外部メモリ 4に 2値化シンボルを記憶することとしても良い。

[0111] また、 2値化部 43は本発明の 2値化部の例であり、 2値化シンボル記憶 部 45は本発明の 2値化シンポル記憶部の例であり、 コンテクスト情報復元 部 47は本発明のコンテクス卜情報復元部の例であり、 算術符号化部 46は 本発明の算術符号化部の例である。

[0112] このように、 本実施形態によれば、 H. 264で規定される CABAC等 の算術符号化を行う場合であっても、 縦に連続するひとまとまりの MB行に 含まれる全ての MBの符号化が終了する前にレー卜制御を行うことができる 。 このため、 ある MBの発生符号量が突発的に増加した場合に、 次に符号化 する MBの量子化パラメータを早急に大きくし、 新たに符号化する MBから 発生する符号量を減少させるようにレート制御することができる。 また、 算 術符号化部 46が突発的に増加する 2値化シンボル発生量を処理できるだけ の性能を有していなくても算術符号化することができる。 特に、 2値化シン ポル記憶部 45に Iピクチャの 2値化シンボルとその前後の Pピクチャや B ピクチャの 2値化シンボルを記憶できるだけの十分な記憶容量を持たせれば 、 算術符号化部 46に Iピクチャの 2値化シンボル発生量を処理できるだけ の性能を持たせる必要はなく、 複数ピクチャの 2値化シンポルの平均発生量 を処理できるだけの性能を持たせれば足りる。

[0113] (第 1 0の実施形態）

図 32は、 仮の発生符号量に基づいてレー卜制御を行う CAB AC符号化 器のブロック図である。 CAB AC符号化器は、 2値化部 43と、 2値化シ ンポル記憶部 45と、 算術符号化部 46と、 コンテクスト情報復元部 47と 、 仮算術符号化部 48とを有している。 図 30と図 32における同一の符号 は同一の構成要素を示す。 2値化シンボルをいつたん 2値化シンボル記憶部 45に記憶し、 2値化シンボル記憶部 45から読み出してそれに対応するコ ンテクスト情報を復元しながら算術符号化 （以下、 真の算術符号化という。 ) を行う点については第 9の実施形態と同じである。 本実施形態では、 2値 化シンボルを仮算術符号化部 48により仮算術符号化して仮の発生符号量を 算出し、 縦に連続するひとまとまりの MB行に含まれる全ての MBの符号化 が終了する前に仮の発生符号量に基づいてレー卜制御する点が異なる。

[0114] MB行内の先頭の MBでは、 通常上に隣り合う MB行内の最後の MBの算 術符号化が終えたときの r a n g e、 I o w、 および確率テーブルを引き継 いで算術符号化を行う。 しかし、 縦に連続する複数の MB行をひとまとまり として符号化を進める場合、 MB行内の先頭の MBを符号化するとき上に隣 接する MB行内の最後の MBは符号化が終わっていない。 このため、 縦に連 続するひとまとまりの MB行の符号化が終了するまで、 上に隣接する MB行 内の最後の MBの算術符号化が終えたときの r a n g e、 I o w、 および確 率テーブルを引き継いで算術符号化を行うことができない。 そこで、 MB行 内の先頭の MBについては仮の値を r a n g e、 I o w、 および確率テープ ルに設定して仮算術符号化を開始する。

[0115] 図 33は、 縦に連続する 4行の MB行をひとまとまりとして符号化を行う 場合の仮算術符号化部のブロック図である。 仮算術符号化部 48は、 コンテ クスト計算部 49と、 算術符号化部 50と、 r a n g eを記憶する部分 5 1 〜54と、 I o wを記憶する部分 55〜58と、 確率テーブル 59〜62と を有している。 コンテクス卜計算部 49は s ymb o I ごとにコンテキス卜 計算を行う。 r a n g eを記憶する部分 5 1〜54、 l owを記憶する部分 55〜58、 および確率テーブル 59〜62は 4行の M B行に対応して 4個 づっ存在する。 r a n g e (n) 記憶部分 5 1、 I ow (n) 記憶部分 55 、 および確率テーブル （n) 59は 4行の MB行のうち最も上の MB行に対 応する。 r a n g e (n + 1 ) 記憶部分 52、 I o w ( n + 1 ) 記憶部分 5 6、 および確率テーブル （n + 1 ) 60は上から 2番目の MB行に対応する 。 そして、 r a n g e (n + 2) 記憶部分 53、 I o w (n + 2) 記憶部分 57、 及び確率テーブル （n + 2) 6 1は上から 3番目の MB行に対応し、 r a n g e (n + 3) 記憶部分 54、 I ow ( n + 3 ) 記憶部分 58、 及び 確率テーブル （n + 3) 62は最も下の MB行に対応する。 r a n g eを記 憶する部分 5 1〜54と I owを記憶する部分 55〜 58の内容は、 4行の M B行に含まれる個々の M Bの算術符号化を開始するときのみ算術符号化部 50に読み込まれ、 その MBの算術符号化を終了するとき算術符号化部 50 から書き込まれ更新される。

[0116] MB行内の先頭の MBについて仮の r a n g e、 l ow、 および確率テー ブルを設定する方法として 3つ考えられる。 最初の方法は、 H. 264で規 定されている初期化を行う方法である。 H. 264ではスライスの先頭で r a n g e、 I ow. および確率テーブルを初期化する。 MB行内の先頭の M Bについて仮算術符号化を開始するとき、 この初期化を行う。 [0117] 2番目の方法は、 縦に連続するひとまとまりの MB行内の個々の MB行ご とに、 MB行内の最後の MBの算術符号化が終えたときの r a n g e、 I o w、 および確率テーブルを、 その下に隣接するひとまとまりの MB行内の対 応する MB行における先頭 MBに引き継ぐ方法である。 図 34は、 仮算術符 号化部において MB行内の先頭の MBについて仮の r a n g e、 I o w、 お よび確率テーブルを設定する方法の一例を示す図である。 図 34には、 1 2 行の MB行を含むピクチャが示されている。 ピクチャの最も上のひとまとま りの 4行の MB行については、 個々の MB行内の最初の MBの r a n g e、 I ow、 および確率テーブルは H. 264で規定されている方法で初期化さ れる。 上から 2番目のひとまとまりの 4つの MB行に含まれる個々の MB行 については、 最も上のひとまとまりの 4行の MB行に含まれる個々の MB行 内の最後の MBの算術符号化が終えたときの r a n g e、 I o w、 および確 率テーブルを引き継ぐ。 同様に、 上から 3番目のひとまとまりの 4行の MB 行については、 上から 2番目のひとまとまりの 4行の MB行に含まれる個々 の MB行内の最後の MBの算術符号化が終えたときの r a n g e、 I o w、 および確率テーブルを引き継ぐ。

[0118] 3番目の方法は、 既に真の算術符号化を終了したピクチャの同じ位置にあ る MBが引き継いだ r a n g e、 I o w、 および確率テーブルと同じものを 、 MB行内の先頭の MBにおける仮の r a n g e、 I o w、 および確率テー ブルとして設定する方法である。

[0119] ある M Bを符号化しているとき 2値化シンポルが突発的に増加し、 仮算術 符号化部 48の処理能力を超えたときは、 その MBについては途中で仮算術 符号化を打ち切り、 次の MBの仮算術符号化を開始しても良い。 2値化シン ポルの発生量が急激に増大した場合には、 第 9の実施形態と同様に 2値化シ ンポルの発生量により発生符号量を推定し、 これから符号化する MBの量子 化パラメータを大きくし、 2値化シンポルの発生量を減少させる等の方法に よりレート制御を行うことができる。 このため、 突発的に発生する 2値化シ ンポルの最大発生量を処理できるだけの性能を仮算術符号化部 48に持たせ る必要はない。 また、 本実施形態の方法でも、 第 9の実施形態の方法同様、 2値化シンボル記憶部 45に十分な記憶容量を持たせれば、 真の算術符号化 部 46に複数ピクチャの 2値化シンポルの平均発生量を処理できるだけの性 能を持たせれば足りる。

[0120] 更に、 上記 1番目の方法と 2番目の方法によれば、 シーンチェンジ等があ つた場合でも同一 M B行内の M Bの算術符号化が行われるにつれて仮算術符 号化に用いられる確率テーブルの値が正確なものに収束する。 このため、 シ ーンチェンジ等があつた場合でも真の算術符号化による発生符号量に基づく レー卜制御に近いレー卜制御を行うことができる。

[0121] 図 35は、 2並列で仮算術符号化を行う場合の仮算術符号化部のブロック 図である。 仮算術符号化部 68は、 2個のコンテクスト計算部 49と、 2個 の算術符号化部 50と、 r a n g eを記憶する部分 5 1〜54と、 l owを 記憶する部分 55〜 58と、 確率テーブル 59〜 62と、 メモリ 63〜 66 と、 セレクタ 67とを有している。 図 33と図 35における同一の符号は同 一の構成要素を示す。 仮算術符号化部 68は、 コンテクスト計算部 49と算 術符号化部 50を 2個づっ有する点で仮算術符号化部 48と異なる。 一方の 算術符号化部 50には、 r a n g e (n) 記憶部分 5 1、 I o w (n) 記憶 部分 55、 確率テーブル （n) 59、 r a n g e (n + 2) 記憶部分 53、 I o w ( n + 2 ) 記憶部分 57、 および確率テーブル （ n + 2 ) 6 1が接続 されており、 ひとまとまりの 4行の MB行のうち最も上の MB行と上から 3 番目の MB行に含まれる MBを仮算術符号化する。 また、 もうひとつの算術 符号化部 50には、 r a n g e (n + 1 ) 記憶部分 52、 I o w ( n + 1 ) 記憶部分 56、 確率テーブル （n + 1 ) 60、 r a n g e ( n + 3 ) 記憶部 分 54、 I ow (n + 3) 記憶部分 58、 および確率テーブル （n + 3) 6 2が接続されており、 ひとまとまりの 4行の MB行のうち上から 2番目の M B行と最も下の MB行に含まれる MBを仮算術符号化する。 図 36は、 2並 列で仮算術符号化を行う場合に 4個の M Bが M Bパイプラインのステージを 流れていく様子を示す図である。 第 1の実施形態と類似した MBパイプライ ンのステージ構造において、 図 1に示す e行 1 0列、 f 行 8列、 g行 6列、 h行 4列の MBが各ステージを流れていく場合の例である。 このように、 2 並列で仮算術符号化を行うことにより、 1つの MBの仮算術符号化を 2 MB サイクルかけて行うことができる。 なお、 図 35に示すメモリ 63、 メモリ 65とメモリ 64、 メモリ 66はそれぞれ 2値化シンポルとシンタックッス データを 2 M Bサイクル保持するために設けられている。

[0122] なお、 仮算術符号化部 48と仮算術符号化部 68は本発明の仮算術符号化 部の例である。

[0123] (第 1 1の実施形態）

シンタックスェレメントを 2値化以外の方法で圧縮していったん記憶した 後、 シンタックスエレメントを復元して 2値化、 算術符号化することもでき る。 例えば、 H. 264では CABACの他に CAV LCも可変長符号化方 式として規定されているが、 CAV LCは 1個のシンタックスエレメントを 1 CKで可変長符号化することができる。 図 37は、 CAVLCで圧縮する 場合の CAB AC符号化器のブロック図である。 CAB AC符号化器は、 2 個の 2値化部 43と、 算術符号化部 46と、 仮算術符号化部 48と、 CAV LC符号化部 69と、 CAVLC符号化ビットストリーム記憶部 70と、 C AVLC復号部 7 1とを有している。 図 32と図 37における同一の符号は 同一の構成要素を示す。 シンタックスエレメントを C A V L C符号化部 69 で圧縮して発生した CAVLC符号化ビッ卜ストリームを CAVLC符号化 ビットストリーム記憶部 70にいつたん記憶する。 そして、 CAVLC符号 化ビッ卜ストリーム記憶部 70から読み出した CAVLC符号化ビットス卜 リームを CAV LC復号部 7 1で復号し、 復元されたシンタックスエレメン 卜を 2値化部 43により 2値化し、 算術符号化部 46により算術符号化する 。 なお、 図 37には、 仮算術符号化を行い、 仮発生符号量でレート制御する 場合を示したが第 9の実施形態で示したように、 2値化シンポルのシンボル 長の総和から算術符号化の発生符号量を推定し、 レー卜制御しても良い。

[0124] ここで、 第 9の実施形態で示したように、 MB行の先頭の MBを符号化す るとき、 その上に隣リ合った M B行の最後の M Bの量子化パラメータはまだ 求まっていない。 そこで、 第 9の実施形態と同様に、 MB行内の先頭の MB の量子化パラメータについては仮の値との差分 （以下、 仮 mb_q p_d e I t aという。 ） を CAVLCで符号化し、 MB行内の先頭以外の MBの量 子化パラメータは直前に符号化した左隣接 MBのものとの差分 （以下、 mb _q p_d e l t aという。 ） を C A V L Cで符号化するものとする。 そし て、 MB行内の先頭の MBの量子化パラメータについては、 上隣接 MB行内 の最後の MBの量子化パラメータを再現し、 それとの差分を算出して実際の mb_q p_d e I t aを求めた後、 2値化し、 算術符号化する。 その際、 全ての MBについて m b_q p_d e I t aを復号して量子化パラメータを 再現することを避けるために、 M B行内の最後の M Bについては量子化パラ メータそのものを CAVLC符号化ビッ卜ストリーム記憶部 70に記憶する こととしても良い。

[0125] シンタックスエレメントを圧縮し、 復元できる可逆圧縮方法であれば、 C AV LC以外の方法を用いることもできる。 すなわち、 シンタックスエレメ ントを可逆圧縮して圧縮されたシンタックスエレメントをいつたん記憶する 。 そして、 この圧縮されたシンタックスエレメントを読み出してシンタック スエレメントを復元する。 この復元されたシンタックスエレメントを 2値化 シンポルに変換し、 算術符号化する。

[0126] H. 264では、 entropy_coding_mode_f lagを指定することにより、 ピク チヤごとに CAV LCと CABACを切り替えることができる。 そこで、 可 逆圧縮方法として CAV LCを用いる場合には、 ある MBの 2値化シンボル の発生量が突発的に増加し、 仮算術符号化した結果真の算術符号化部 46の 処理能力を超えると予測されるとき、 その MBを含むピクチャ全体を C A V LC符号化し、 一方、 仮算術符号化した結果真の算術符号化部 46で処理で きると予測されるとき、 その MBを含むピクチャ全体を CAB AC符号化す ることができる。 これにより、 真の算術符号化部 46の性能が不測するとい う状況を確実に回避できる。 [0127] また、 CAVLC符号化部 69で CAVLC符号化ビットストリームの符 号量を算出し、 CAVLC符号化と仮算術符号化の仮発生符号量を比較して 、 ピクチャごとに発生符号量が少ないと推測されるェントロピー符号化モー ドを選択することもできる。

[0128] なお、 CAVLC符号化部 69は本発明のシンタックスエレメント圧縮部 の例であり、 CAVLC符号化ビットストリーム記憶部 70は本発明の圧縮 シンタックスエレメント記憶部の例であり、 CAVLC復号部 7 1はシンタ ックスエレメン卜復元部の例であり、 2値化部 43は本発明の 2値化部の例 であり、 算術符号化部 46は本発明の算術符号化部の例である。

[0129] (第 1 2の実施形態）

図 38は、 2台の動画像符号化装置が並列に動作し、 CABACで符号化 された 1本のビッ卜ストリームを生成する動画像符号化装置のブロック図で ある。 図 38の動画像符号化装置は、 動画像符号化装置 40と、 動画像符号 化装置 41と、 2値化シンボル記憶部 45と、 コンテクスト情報復元部 47 と、 算術符号化部 46とを有している。 図 27と図 30と図 38における同 一の符号は同一の構成要素を示している。 本実施形態では、 動画像符号化装 置 40と動画像符号化装置 41を含む動画像符号化装置から C A B A Cで符 号化された 1本のビッ卜ストリームが生成される。 動画像符号化装置 40と 動画像符号化装置 41から出力される 2値化シンボルを共通の 2値化シンポ ル記憶部 45にいつたん記憶する。 そして、 2値化シンボルを 2値化シンポ ル記憶部 45から読み出し、 コンテクス卜情報復元部 47を用いてそれに対 応するコンテクスト情報を復元しながら、 算術符号化部 46により算術符号 化を行う。

[0130] なお、 2値化シンボル記憶部 45は本発明の 2値化シンボル記憶部の例で あり、 コンテクス卜情報復元部 47は本発明のコンテクス卜情報復元部の例 であり、 算術符号化部 46は本発明の算術符号化部の例である。

[0131] 図 39は、 2台の動画像符号化装置が並列に動作し、 CABACで符号化 された 1本のビットス卜リームを生成する動画像符号化装置の別の例を示す 図である。 図 39の動画像符号化装置は、 動画像符号化装置 40と、 動画像 符号化装置 41と、 CAVLC符号化ビットストリーム記憶部 70と、 CA VLC復号部 7 1と、 2値化部 43と、 算術符号化部 46とを有している。 図 27と図 37と図 39における同一の符号は同一の構成要素を示している 。 動画像符号化装置 40と動画像符号化装置 41から出力される CAVLC 符号化ビッ卜ストリームを共通の CAVLC符号化ビッ卜ストリーム記憶部 70にいつたん記憶する。 そして、 CAVLC符号化ビットストリームを C AVLC符号化ビッ卜ストリーム記憶部 70から読み出し、 CAVLC復号 部 7 1によリ復号してシンタックスエレメントに戻した後、 そのシンタック スエレメントを 2値化し、 算術符号化を行う。

[0132] なお、 CAVLC符号化ビットストリーム記憶部 70は本発明の圧縮シン タックスエレメント記憶部の例であり、 CAVLC復号部 7 1はシンタック スエレメン卜復元部の例であり、 2値化部 43は本発明の 2値化部の例であ リ、 算術符号化部 46は本発明の算術符号化部の例である。

[0133] また、 図 38の並列動作する動画像符号化装置と図 39の並列動作する動 画像符号化装置は 3台以上の動画像符号化装置を含んでいても良い。

[0134] (第 1 3の実施形態）

H. 264の MBAF F (Ma c r o b l o c k Ad a p t i v e F r a m e F i e l d Co d i n g) では、 縦に隣接する 2つの M Bをぺ ァ （以下、 MBペアという。 ） とし、 1 6画素 X 32ラインごとにフィール ド符号化とフレーム符号化を切り替えて符号化する。 図 40は、 フィールド 符号化とフレーム符号化のときの MBペアを示す図である。 図 40 (a) は フィールド符号化のときの MBペアである。 32ラインの画素のうち、 奇数 ラインでトップフィールド MB 72を作成し、 偶数ラインでボトムフィール ド MB 73を作成する。 また、 図 40 (b) はフレーム符号化のときの MB ペアである。 32ラインのうち、 上半分の 1 6ラインで上フレーム MB 74 を作成し、 下半分の 1 6ラインで下フレーム MB 75を作成する。 トップフ ィールド MB 72とポトムフィールド MB 73はお互いに隣接 M Bの関係に ないが、 上フレーム MB 74は下フレーム MB 75に対して上隣接 MBの関 係にある。 このため、 フレーム符号化が選択された場合、 下フレーム MB 7 5の PMVは上フレーム MB74のイントラ Zインター判定結果を考慮して 決定しなければならないという制限がある。 また、 下フレーム MB75のィ ントラ予測は上フレーム MB 74の再生画素を用いるため、 上フレーム MB 74について動き補償が行われ、 再生画素が作成されなければ、 下フレーム M B 75についてイントラ予測を行うことができないという制限がある。

[0135] 現 M Bペアと左隣接 M Bペアの両方ともフィールド符号化またはフレーム 符号化が選択されている場合、 現 M Bペアに含まれる各々の M Bの左隣接 M Bはその左隣りに位置する MBのみである。 しかし、 現 MBペアと左隣接 M Bペアのフィールド符号化とフレーム符号化の選択が異なる場合、 左隣接 M Bペアに含まれる両方の M Bが現 M Bペアに含まれる個々の M Bの左隣接 M Bとなる。 図 41は、 現 MBペアと左隣接 MBペアのフィールド符号化とフ レーム符号化の選択が異なる場合を示す図である。 図 41 (a) は、 現 MB ペアはフィールド符号化が選択され、 左隣接 MBペアはフレーム符号化が選 択された場合を示す。 トップフィールド MB 72の左隣接 MBには左隣接 M Bペアに含まれる上フレーム MBの奇数ライン 76と下フレーム MBの奇数 ライン 77が対応し、 ボトムフィールド MB 73の左隣接 MBには、 上フレ ーム MBの偶数ラインと下フレーム MBの偶数ラインが対応する。 図 41 ( b) は、 現 MBペアはフレーム符号化が選択され、 左隣接 MBペアはフィー ルド符号化が選択された場合を示す。 上フレーム MB 74の左隣接 MBには トップフィールド MBの上半分 1 6ライン 78とボトムフィールド MBの上 半分 1 6ライン 79が対応し、 下フレーム MB 75の左隣接 MBにはトップ フィールド MBの下半分 1 6ラインとボトムフィールド MBの下半分 1 6ラ インが対応する。 このため、 左隣接 MBペアに含まれる両方の MBについて 動き補償が行われ、 再生画素が算出されなければ、 現 MBペアについてイン 卜ラ予測を行うことができないという制限がある。

[0136] 図 42は、 MBパイプラインに投入される MBペアの一例を示す図である 。 第 1 3の実施形態では、 MB A F Fの場合に、 縦に連続する 8行の MB行 をひとまとまりとして、 これらひとまとまりの MB行から、 縦に連続する 2 つの MB行当たり 1個の MBペアを選択し、 これら選択された 4個の MBぺ ァを 1個の MBパイプラインに投入する。 ピクチャは図 1 0のものと同一で あるが、 上述した通り MB A F Fでは MBペアがフィールド符号化されるか フレーム符号化されるかにより、 2個の MBへのラインの割り当てが異なる 。 そこで、 英字の大文字を用いて MBペアを形作る MBを示す。 フィールド 符号化のときは、 I 1 5、 K 1 3、 Μ 1 1、 Ο 9等はトップフィールド MB 72であり、 J 1 5、 L 1 3、 N 1 1、 P 9等はポトムフィールド MB 73 である。 また、 フレーム符号化のときは、 I 1 5、 K 1 3、 Μ 1 1、 09等 は上フレーム MB 74であり、 J 1 5、 L 1 3、 N 1 1、 P 9等は下フレー ム MB 75である。

図 43は、 第 1 3の実施形態による動画像符号化装置のブロック図である 。 図 43の動画像符号化装置は、 MBパイプライン 80と、 MBペア選択部 81と、 フィールド MBペア Zフレーム MBペア作成部 82と、 符号化デー タ設定部 83とを有している。 MBペア選択部 81は、 例えば、 図 42に示 すように i —MB行、 j —MB行、 k_MB行、 I — ΜΒίτ^ m— ΜΒίτ^ η_ΜΒ行、 ο_ΜΒ行、 ρ _ Μ Β行をひとまとまりとし、 i _MB行と j _ MB行に属する MBペアについては、 左下隣接 MBペアがまだ選択されて いない MBペアを選択し、 かつ、 k—ΜΒ行と I —MB行、 m— ΜΒ行と n — MB行、 o—MB行と p—MB行に属する MBペアについては、 右上隣接 MBペアが既に選択されている MBペアを選択することによって、 I 1 5— J 1 5、 K 1 3— L 1 3、 M 1 1— N 1 1、 O 9— P 9の M Bペアを選択す る。 フィールド MBペア Zフレーム MBペア作成部 82は、 フィールド符号 化が選択されたときは、 MBペアの奇数ラインでトップフィールド MB 72 を作成し、 MBペアの偶数ラインでボトムフィールド MB 73を作成する。 一方、 フレーム符号化が選択されたときは、 MBペアの上半分のラインで上 フレーム MB 74を作成し、 MBペアの下半分のラインで下フレーム MB 7 5を作成する。 符号化データ設定部 83は、 フィールド符号化が選択された とき、 最初に、 I 1 5— J 1 5、 K 1 3— L 1 3、 M 1 1— N 1 1、 O 9 - P 9の MBペアに含まれる片方の MBについて、 4MBサイクルかけて順番 に、 1 MBサイクルごとに個々の MBを符号化するために必要なデータを M Bパイプライン 80に設定する。 M Bを符号化するために必要なデータが M Bパイプライン 80に設定されると、 その MBは MBパイプライン 80に投 入され、 符号化が開始される。 そして、 2回目に I 1 5_J 1 5、 K 1 3_ L 1 3、 M 1 1 -N 1 1、 O 9 _P 9の MBペアに含まれる残りの片方の M Bについて、 4MBサイクルかけて順番に、 1 MBサイクルごとに個々の M Bを符号化するために必要なデータを M Bパイプライン 80に設定する。 M Bを符号化するために必要なデータが MBパイプライン 80に設定されると 、 その MBは MBパイプライン 80に投入され、 符号化が開始される。 また 、 フレーム符号化が選択されたとき、 I 1 5MB、 K 1 3 MB. M 1 1 MB 、 09MB、 J 1 5MB. L 1 3MB. N 1 1 MB. P 9MBの順番で、 1 マクロブロックサイクルごとに個々の MBを符号化するために必要なデータ を M Bパイプライン 80に設定する。 M Bを符号化するために必要なデータ が MBパイプライン 80に設定されると、 その MBは MBパイプライン 80 に投入され、 符号化が開始される。 MBペア選択部 81によって選択された 最後の M Bを符号化するために必要なデータが M Bパイプライン 80に設定 され、 その MBが MBパイプライン 80に投入されると、 MBペア選択部 8 1は、 I 1 6_J 1 6、 K 1 4_L 1 4、 M 1 2_N 1 2、 O 1 0— P 1 0 の MBペアを新たに選択する。

[0138] なお、 MBパイプライン 80は本発明のマクロブロックパイプラインの例 であり、 MBペア選択部 81は本発明のマクロブロックペア選択部の例であ リ、 フィールド MBペア Zフレーム MBペア作成部 82は本発明のフィール ドマクロブロックペア■フレームマクロブロックペア作成部の例であり、 符 号化データ設定部 83は本発明の符号化データ設定部の例である。

[0139] 図 44は、 第 1 3の実施形態による動画像符号化方法の処理のフローチヤ ートを示す図である。 例えば、 図 42に示すように、 i —MB行、 j —MB 行、 k_MB行、 卜 MB行、 m_MB行、 n_MB行、 o_MB行、 p― MB行をひとまとまりとし、 i —MB行と j —MB行に属する MBペアにつ いては、 左下隣接 MBペアがまだ選択されていない MBペアを選択し、 かつ 、 k _M B行と I _M B行、 m_M B行と n _M B行、 o—MBf p—M B行に属する MBペアについては、 右上隣接 MBペアが既に選択されている MBペアを選択することによって、 I 1 5— J 1 5、 K 1 3— L 1 3、 M 1 1— N 1 1、 O 9— P 9の MBペアが選択される （ステップ S 1 4) 。 次に 、 フィールド符号化が選択されたときは、 MBペアの奇数ラインでトップフ ィールド MB 72が作成され、 MBペアの偶数ラインでポトムフィール KM B 73が作成される （ステップ S 1 5、 ステップ S 1 6) 。 一方、 フレーム 符号化が選択されたときは、 MBペアの上半分のラインで上フレーム MB 7 4が作成され、 MBペアの下半分のラインで下フレーム MB 75が作成され る （ステップ S 1 5、 ステップ S 23) 。 そして、 フィールド符号化が選択 されたとき、 最初に、 I 1 5— J 1 5、 K 1 3— L 1 3、 M 1 1— N 1 1、 09— P 9の MBペアに含まれる片方の MBについて、 4MBサイクルかけ て順番に、 1 MBサイクルごとに個々の MBを符号化するために必要なデー タが MBパイプライン 80に設定される （ステップ S 1 7、 ステップ S 1 8 、 ステップ S 1 9) 。 MBを符号化するために必要なデータが MBパイプラ イン 80に設定されると、 その MBは MBパイプライン 80に投入され、 符 号化が開始される。 次に、 I 1 5_J 1 5、 K 1 3_L 1 3、 M 1 1—N 1 1、 09— P 9の MBペアに含まれる残りの片方の MBについて、 4MBサ ィクルかけて順番に、 1 MBサイクルごとに個々の MBを符号化するために 必要なデータが MBパイプライン 80に設定される （ステップ S 20、 ステ ップ S 21、 ステップ S 22) 。 MBを符号化するために必要なデータが M Bパイプライン 80に設定されると、 その MBは MBパイプライン 80に投 入され、 符号化が開始される。 また、 フレーム符号化が選択されたとき、 I 1 5MB、 K 1 3 MB. M 1 1 MB. 09MB、 J 1 5MB. L 1 3 MB. N 1 1 MB. P9MBの順番で、 1 M Bサイクルごとに個々の M Bを符号化 するために必要なデータが M Bパイプライン 80に設定される （ステップ S 24、 ステップ S 25、 ステップ S 26、 ステップ S 27、 ステップ S 28 、 ステップ S 29) 。 MBを符号化するために必要なデータが MBパイプラ イン 80に設定されると、 その MBは MBパイプライン 80に投入され、 符 号化が開始される。 選択された最後の MBを符号化するために必要なデータ が MBパイプライン 80に設定され、 その MBが MBパイプライン 80に投 入されると、 ステップ S 1 4に戻り （ステップ S 21、 ステップ S 28) 、 I 1 6_J 1 6、 K 1 4_L 1 4、 M 1 2_N 1 2、 O 1 0— P 1 0の MB ペアが新たに選択される （ステップ S 1 4) 。

[0140] 図 45は、 MBペアが MBパイプラインのステージを流れていく様子を示 す図である。 図 45は、 8 X 8 S Bごとの動きベクトルを検出するために、 8行の MB行に含まれる MBペアを 1個の MBパイプラインに投入したとき の例を示す。 ここで、 フィールド画像は縦方向の画素数がフレーム画像の半 分であるため、 縮小画像を作成するために縦方向について 2画素の画素値を 平均すると、 フィールド画像とフレーム画像では異なる縮小画像となる。 一 方、 縦単画素 Z横 2画素精度の縮小画像では、 フレームの縮小画像から奇数 ラインを抜き出すとトップフィールドの縮小画像となり、 フレームの縮小画 像から偶数ラインを抜き出すとボトムフィールドの縮小画像となる。 このた め、 図 45には、 ステージ 0で縦単画素 Z横 2画素精度の参照領域をメモリ に設定し、 ステージ 1では縦単画素 Z横 2画素精度で動き検出を行う例を示 す。

[0141] また、 本実施形態では、 I 1 5、 K 1 3、 Μ 1 1、 Ο 9等の MBペアの片 方の MBが 4個連続して MBパイプラインに投入され、 符号化が開始された 後、 J 1 5、 L 1 3、 N 1 1、 P 9等の MBペアの残りの片方の MBが 4個 連続して投入され、 符号化が開始される。 このように、 MBペアの片方の M Bが連続して MBパイプラインに投入され、 符号化が開始されるため、 その 順番で動きベクトルの参照領域を更新すると、 更新領域が不連続となる。 そ こで、 ステージ 0で縦単画素 Z横 2画素精度メモリを設定するときは、 図 2 5に示すように、 8行の M B行の更新領域をひとまとまりの矩形領域として 設定する。

[0142] また、 フィールド符号化とフレーム符号化のいずれかを選択するには、 フ ィールド符号化とフレーム符号化の各々についてィントラ予測とインタ一予 測の両方を行い、 予測誤差の小さい符号化モードと予測モードの組合せを選 択することが望ましい。 しかし、 この方法は膨大な演算量を必要とする。 一 方、 現 M Bペア内の画素のみで符号化モードを判定し、 選択された方のみに ついてイントラ予測とインター予測を行う簡易的な選択法も考えられる。 た とえば、 3 2ライン全てについて隣接したライン間で差分絶対値和または差 分自乗和を求め、 また、 1ラインごと、 すなわち奇数ライン 1 6本と偶数ラ イン 1 6本の隣接ライン間で差分絶対値和または差分自乗和を求めて、 3 2 ライン全てについて求めた方が小さかったときはフレーム符号化、 1ライン ごとに求めた方が小さかったときはフィールド符号化とする等の方法である 。 最適な選択とはならない場合もあるが、 演算量は少ない。 本実施形態では 、 簡易的な選択法を用いることとし、 ステージ 0でフィールド Zフレーム判 定を行った後、 選択された符号化モードについて、 図 4 5に示すようにステ ージ 1〜ステージ 4でインター予測を行い、 また、 それと並列してステージ 3とステージ 4で 4 X 4イントラ予測、 1 6 X 1 6イントラ予測等を行う。

[0143] 本実施形態では、 第 2の実施形態〜第 4の実施形態と同様に縦に連続した

8行の M B行をひとまとまりとして処理する。 しかし、 フレーム符号化が選 択された場合、 上フレーム M B 7 4は下フレーム M B 7 5に対して上隣接 M Bの関係にある。 また、 現 M Bペアと左隣接 M Bペアのフィールド符号化 Z フレーム符号化の選択が異なる場合、 左隣接 M Bペアに含まれる両方の M B が現 M Bペアに含まれる個々の M Bの左隣接 M Bとなる。 このため、 上フレ ーム M B 7 4の処理結果を 3ステージ分しか下フレーム M B 7 5の処理にフ イードバックできず、 また、 左隣接 M Bペアの処理結果を 3ステージ分しか 現 M Bペアの処理にフィードバックできず、 縦に連続した 4行の M B行をひ とまとまりとして処理する第 5の実施形態と同様の制限が生じる。

[0144] 具体的には、 例えば、 ステージ 5で I 1 5MBのイントラ■インター判定 が終了したとき、 同時にステージ 1において J 1 5 MBの縦単画素 Z横 2画 素精度動き検出も終了する。 このため上フレーム MB 74のイントラ■イン タ一判定結果を下フレーム M B75の縦単画素 Z横 2画素精度動き検出に反 映できないという制限がある。 ただし、 図 45に矢印で示すように、 上フレ ーム MB 74のイントラ■インター判定結果はステージ 2以降に反映できる 。 また、 左隣接 MBペア、 上隣接 MBペア、 右上隣接 MBペア等についてス テージ 5で確定したイントラ■ィンター判定結果はステージ 1の縦単画素 Z 横 2画素精度動き検出に反映できる。 そこで、 ステージ 1においては、 左隣 接 MBペア、 上隣接 MBペア、 右上隣接 MBペア等の動きべクトルを参照し て仮の PMVを作成し、 下フレーム MB 75内の 4つの 8 X 8 S B全てが共 通にこの仮の P M Vを参照して縦単画素 Z横 2画素精度動き検出を行う。 そ して、 ステージ 2ではステージ 1で検出された縦単画素 Z横 2画素精度の候 補動きべクトルの周辺領域を単画素精度メモリに設定し、 ステージ 3で真の PMVを作成し、 ステージ 3とステージ 4で真の P M Vを参照して単画素精 度動き検出と 1 Z4画素精度動き検出を行う。

[0145] 図 46は、 ステージ 3とステージ 4における SBパイプラインの詳細な動 作を示す図である。 1つの MB内に含まれる 4個の 8 X 8 S Bについて 0番 から 3香まで連続して処理される。 このため、 単画素精度動き検出と 1Z4 画素精度動き検出では隣接 8 X 8SBの動きべクトルを考慮した真の PMV に基づいて動き検出を行うことができる。

[0146] ただし、 本実施形態では、 空間ダイレクトァドレスの評価が別途必要とな る。 ステージ 1で仮の PMVに基づいて縦単画素 Z横 2画素精度動き検出が 行われ、 ステージ 2ではステージ 1で検出された候補動きべクトルの周辺領 域が単画素精度メモリに設定される。 ステージ 1の仮の PMVとステージ 3 の真の P M Vが異なる場合、 ステージ 3とステージ 4で動き検出する領域に 空間ダイレクトァドレスに対応する位置の MBや 8 X 8 S B等が含まれない 場合がある。 そこで、 ステージ 3およびステージ 4と並列に空間ダイレクト ァドレスに対応する位置の M Bや 8 X 8 S Bのコス卜を評価する処理を行う 必要がある。

[0147] なお、 図 4 6に示すステージ 3とステージ 4は本発明のサブブロックパイ プラインのステージの例である。

[0148] 図 4 7は、 M Bペアが M Bパイプラインのステージを流れていく様子を示 す図である。 図 4 7は、 4 X 4イントラ予測のために、 8行の M B行に含ま れる M Bペアを 1個の M Bパイプラインに投入したときの例を示す。 また、 図 4 8は、 ステージ 3とステージ 4における S Bパイプラインの詳細な動作 を示す図である。 ここで、 第 5の実施形態と同様に、 動き補償はステージ 6 で行われる。 すなわち、 上フレーム M B 7 4について動き補償が行われた後 に下フレーム M B 7 5についてイントラ予測が行われ、 かつ、 左隣接 M Bぺ ァに含まれる両方の M Bについて動き補償が行われた後に現 M Bペアについ てイントラ予測が行われるという条件を満たすために、 動き補償はステージ 6で行われる。

[0149] また、 ステージ 7の可変長符号化による発生符号量の変動を調整するため 、 量子化パラメータを変更するというレート制御をステージ 8で行う必要が 生じる場合がある。 この場合、 第 5の実施形態と同様に、 ステージ 5のイン トラ■インター判定において 4 X 4イントラ予測モードを選択しないように するか、 または 4 X 4イントラ予測モードが選択されたときはステージ 6で 新しい量子化パラメータを用いて整数変換■量子化■逆量子化■逆整数変換 をやり直す必要がある。

[0150] なお、 図 4 8に示すステージ 3とステージ 4は本発明のサブブロックパイ プラインのステージの例である。

[0151 ] このように、 第 1 3の実施形態によれば、 縦に連続する 2 η ( ηは 2以上 の整数） 行の M B行をひとまとまりとして、 これらひとまとまりの M B行か ら、 縦に連続する 2行の M B行当たり 1個の M Bペアを選択し、 最初に、 こ れら選択された n個の M Bペアに含まれる片方の M Bを 1個の M Bパイプラ インに連続して投入し、 符号化を開始する。 そして、 2回目に、 これら選択 された n個の MBペアに含まれる残りの片方の MBを 1個の MBパイプライ ンに連続して投入し、 符号化を開始する。 このため、 最初に投入する片方の MBの処理結果を （n_ 1 ) ステージ分残りの片方の MBの処理にフィード バックでき、 かつ、 左隣接 MBペアの処理結果を （n_ 1 ) ステージ分現 M Bペアの処理にフィードバックできる。 また、 2 n個の MBの参照領域は大 きく重なっているので、 これらの MBの参照領域を共通の参照領域用メモリ に記憶する構造とすれば、 ピクチャを記憶している外部メモリから、 この重 なり部分を更新するための転送を重複して行う必要がなくなる。 このため、 動画像符号化装置の内部に参照領域用メモリを設けることにより、 ピクチャ を記憶している外部メモリから動画像符号化装置の内部メモリへのデータ転 送量を削減できる。

[0152] なお、 本実施形態で示した MBパイプラインのステージ構造は一例であつ て、 他のステージ構造とすることも可能である。 そして、 ステージ構造が変 われば、 ひとまとまりとして符号化する縦に連続する複数の MB行の数が同 じであっても、 動き検出やイントラ予測等における制約は変わる。

[0153] また、 図 43では、 動画像符号化装置のブロック図として MBペア選択部

81とフィールド MBペア Zフレーム MBペア作成部 82と符号化データ設 定部 83を含む例を示したが、 この構造は一例であって、 MBパイプライン 80に符号化データを設定する回路は必ずしも MBペア選択部 81とフィー ルド MBペア Zフレーム MBペア作成部 82と符号化データ設定部 83に分 かれている必要はない。 例えば、 個々の MBペアを選択すると同時にフィー ルド MBペアまたはフレーム MBペアを作成し、 MBパイプライン 80にそ の MBペアに含まれる MBの片方を符号化するために必要な符号化データを 設定して符号化を開始する。 その後、 下に隣接した 2行の MB行に属する M Bペアを選択する。 そして、 ひとまとまりの MB行の中の最も下の 2行の M B行に属する M Bペアに含まれる M Bの片方を符号化するために必要な符号 化データを設定して符号化を開始した後、 ひとまとまりの M B行の中の最も 上の 2行の M B行に属する M Bペアに戻って残リの片方の M Bを符号化する ために必要な符号化データを設定して符号化を開始する回路であっても良い

[0154] 同様に、 図 4 4に示したフローチャートは一例に過ぎない。 例えば、 個々 の M Bペアを選択すると同時にフィールド M Bペアまたはフレーム M Bペア を作成し、 M Bパイプライン 8 0にその M Bペアに含まれる M Bの片方を符 号化するために必要な符号化データを設定して符号化を開始する。 その後、 下に隣接した 2行の M B行に属する M Bペアを選択する。 そして、 ひとまと まりの M B行の中の最も下の 2行の M B行に属する M Bペアに含まれる M B の片方を符号化するために必要な符号化データを設定して符号化を開始した 後、 ひとまとまりの M B行の中の最も上の 2行の M B行に属する M Bペアに 戻って残リの片方の M Bを符号化するために必要な符号化データを設定して 符号化を開始する処理としても良い。

[0155] また、 本実施形態に記載された発明と第 6の実施形態〜第 1 2の実施形態 に記載された発明を同時に動画像符号化装置に適用することも可能である。

[0156] 以上のように、 本発明によれば、 隣接ブロックの処理結果を符号化中のブ ロックの処理にフィードバックすることができる。 また、 ピクチャを記憶し ている外部メモリから内部メモリへのデータ転送量を削減できる。 更に、 算 術符号化回路が突発的に増加する 2値化シンボル発生量を処理できるだけの 性能を持たなくても良くなる。

[0157] ここで、 設計上の都合やその他の要因によって必要となる様々な修正や組 み合わせは、 請求項に記載されている発明や発明の実施形態に記載されてい る具体例に対応する発明の範囲に含まれると理解されるべきである。

[0158] また、 主に H . 2 6 4を対象として説明したが、 M P E G— 2や V C— 1 等の他の動画像符号化方式による動画像符号化装置や動画像符号化方法も本 発明の範囲に含まれると理解されるべきである。

Claims

請求の範囲

[1 ] 縦に連続する少なくても 2行のマクロブロック行をひとまとまりとして符 号化を行う動画像符号化装置であって、

動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインを有し、

前記ひとまとまりのマクロブロック行の中の最も上のマクロブロック行に 含まれるマク口プロックが前記マク口プロックパイプラインに投入されると 、 前記マクロブロックパイプラインが当該マクロブ口ックの符号化を開始し 上に隣接したマク口プロック行に含まれるマク口プロックの符号化が開始 されてから 1マクロブロックサイクル後に、 下に隣接したマクロブロック行 に含まれるマク口プロックであって、 前記上に隣接したマク口プロック行に 含まれるマクロブロックよリ左方向に 1マクロブロック以上離れているマク 口プロックが前記マク口プロックパイプラインに投入され、 前記マク口プロ ックパイプラインが当該マク口プロックの符号化を開始することが、 前記ひ とまとまりのマクロブ口ック行の中の上から 2行目のマクロブ口ック行から 最も下のマクロブロック行まで繰り返される

動画像符号化装置。

[2] 動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインと、

縦に連続する m行 （mは 2以上の整数） のマクロブロック行をひとまとま リとし、 前記ひとまとまりのマクロブロック行の中の最も上のマクロブロッ ク行に属するマクロブ口ックについては、 左下隣接マクロブ口ックがまだ選 択されていないマクロブロックを選択し、 かつ、 前記ひとまとまりのマクロ ブロック行の中の最も上以外のマクロブロック行に属するマクロブロックに ついては、 右上隣接マクロブ口ックが既に選択されているマクロブロックを 選択することによって、 前記ひとまとまりのマクロブロック行に含まれるマ クロブロックを 1マクロブロック行当たり 1個選択するマクロブロック選択 部と、

前記マクロブロック選択部によって選択された個々のマクロブロックにつ いて、 前記ひとまとまりのマクロブロック行の中の最も上のマクロブロック 行に属するマク口ブロックから、 最も下のマク口ブロック行に属するマク口 ブロックまで、 mマクロブロックサイクルかけて順番に、 1マクロブロック サイクルごとに個々のマクロブロックを符号化するために必要なデータを前 記マク口プロックパイプラインに設定する符号化データ設定部と

を有し、

前記符号化データ設定部によってマクロブロックを符号化するために必要 な前記データが設定されると、 前記マクロブロックパイプラインが当該マク ロブロックの符号化を開始し、

前記符号化データ設定部によって前記ひとまとまりのマクロブロック行の 中の最も下のマク口プロック行に属するマク口プロックを符号化するために 必要な前記データが前記マク口プロックパイプラインに設定されると、 前記 マク口プロック選択部が前記選択されている個々のマク口プロックごとにそ の右隣接マクロブ口ックを新たに選択する

動画像符号化装置。

縦に連続する 2 η行 （ηは 2以上の整数） のマクロブロック行をひとまと まりとし、 縦に隣接する 2個のマクロブロックを組み合わせてマクロブロッ クペアとしてマクロブロックペアごとにフィールド符号化とフレーム符号化 を切り替えて符号化する動画像符号化装置であって、

動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインを有し、

前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行のマク ロブ口ック行に属するマクロブ口ックペアに含まれる片方のマクロブロック が前記マク口プロックパイプラインに投入されると、 前記マク口プロックパ ィプラインが当該片方のマク口プロックの符号化を開始し、

上に隣接した 2行のマクロブロック行に属するマクロブロックペアに含ま れるマクロプロックの片方の符号化が開始されてから 1マクロブロックサイ クル後に、 下に隣接した 2行のマクロブロック行に属するマクロブロックぺ ァに含まれる片方のマクロブロックであって、 前記上に隣接した 2行のマク ロブロック行に属するマクロブロックペアより左方向に 1マクロブロック以 上離れているマク口プロックペアに含まれる片方のマク口プロックが前記マ ク口プロックパイプラインに投入され、 前記マク口プロックパイプラインが 当該片方のマクロブロックの符号化を開始することが、 前記ひとまとまりの マクロブロック行の中の上から 3行目と 4行目のマクロブロック行から最も 下に位置する 2行のマクロブロック行まで繰り返され、

前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行のマク ロブ口ック行に属するマクロブロックペアに含まれるマクロブロックのうち 最初に符号化を開始されなかった他の片方のマク口プロックが前記マク口ブ ロックパイプラインに投入されると、 前記マクロブロックパイプラインが当 該他の片方のマク口プロックの符号化を開始し、

上に隣接した 2行のマクロブロック行に属するマクロブロックペアに含ま れる他の片方のマクロブロックの符号化が開始されてから 1マクロブロック サイクル後に、 下に隣接した 2行のマクロブ口ック行に属するマクロブロッ クペアであって、 前記上に隣接した 2行のマクロブロック行に属するマクロ ブロックペアより左方向に 1マクロブロック以上離れている前記マクロプロ ックペアに含まれるマクロブロックのうち最初に符号化を開始されなかった 他の片方のマク口プロックが前記マク口プロックパイプラインに投入され、 前記マク口プロックパイプラインが当該他の片方のマク口プロックの符号化 を開始することが、 前記ひとまとまりのマクロブロック行の中の上から 3行 目と 4行目のマク口プロック行から最も下に位置する 2行のマク口プロック 行まで繰り返される

動画像符号化装置。

縦に隣接する 2個のマクロブ口ックを組み合わせてマクロブロックペアと し、 マクロブロックペアごとにフィールド符号化とフレーム符号化を切リ替 えて符号化する動画像符号化装置であって、

動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインと、

縦に連続する 2 η行 （ηは 2以上の整数） のマクロブロック行をひとまと まりとし、 前記ひとまとまりのマクロブロック行の中の最も上に位置する 2 行のマクロブ口ック行に属するマクロブ口ックペアについては、 左下隣接マ クロブロックペアがまだ選択されていないマクロブロックペアを選択し、 か つ、 前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行以外 のマクロプロック行に属するマクロブ口ックペアについては、 右上隣接マク ロブロックペアが既に選択されているマクロブロックペアを選択することに よって、 前記ひとまとまりのマクロブロック行に含まれるマクロブロックぺ ァを 2マクロブロック行当たり 1個選択するマクロブロックペア選択部と、 前記マクロブロックペア選択部によって選択されたマクロブロックペアに ついて、 フィールド符号化が選択されたときは、 マクロブロックペアの奇数 ラインでトップフィールドマクロブロックを作成し、 マクロブロックペアの 偶数ラインでポトムフィールドマクロブロックを作成し、 フレーム符号化が 選択されたときは、 マクロブロックペアの上半分のラインで上フレームマク ロブ口ックを作成し、 マクロブロックペアの下半分のラインで下フレームマ クロブロックを作成するフィールドマクロブロックペア■フレームマクロブ ロックペア作成部と、

前記マクロブロックペア選択部によって選択されたマクロブロックペアに ついて、 フィールド符号化が選択されたときは、 最初に、 前記ひとまとまり のマクロブロック行の中の最も上に位置する 2行のマクロブ口ック行に属す るマクロブロックペアから、 前記ひとまとまりのマクロブロック行の中の最 も下に位置する 2行のマクロブロック行に属するマクロブロックペアまで、 ηマクロブロックサイクルかけて順番に、 1マクロブロックサイクルごとに 個々のマク口プロックペアに含まれるマク口プロックの片方を符号化するた めに必要なデータを前記マクロブ口ックパイプラインに設定し、 2回目に、 前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行のマクロ プロック行に属するマクロブロックペアから、 前記ひとまとまりのマクロブ 口ック行の中の最も下に位置する 2行のマクロブ口ック行に属するマク口ブ ロックペアまで、 nマクロブロックサイクルかけて順番に、 1マクロブロッ クサイクルごとに個々のマク口プロックペアに含まれるマクロブロックのう ち最初に設定されなかった他の片方を符号化するために必要なデータを前記 マクロブロックパイプラインに設定し、 一方、 フレーム符号化が選択された ときは、 最初に、 前記ひとまとまりのマクロブロック行の中の最も上に位置 する 2行のマクロブロック行に属するマクロブロックペアから、 前記ひとま とまりのマク口ブロック行の中の最も下に位置する 2行のマク口ブロック行 に属するマク口プロックペアまで、 nマクロプロックサイクルかけて順番に 、 1マクロブロックサイクルごとに個々のマクロブロックペアに含まれる上 フレームマク口プロックを符号化するために必要なデータを前記マク口プロ ックパイプラインに設定し、 2回目に、 前記ひとまとまりのマクロブロック 行の中の最も上に位置する 2行のマク口ブロック行に属するマク口ブロック ペアから、 前記ひとまとまりのマクロブロック行の中の最も下に位置する 2 行のマク口ブロック行に属するマク口ブロックペアまで、 nマクロブロック サイクルかけて順番に、 1マクロブロックサイクルごとに個々のマクロプロ ックペアに含まれる下フレームマク口プロックを符号化するために必要なデ ータを前記マク口プロックパイプラインに設定する符号化データ設定部と を有し、

前記符号化データ設定部によってマクロブロックを符号化するために必要 な前記データが設定されると、 前記マクロブロックパイプラインが当該マク ロブロックの符号化を開始し、

前記符号化データ設定部によって、 2回目に、 前記ひとまとまりのマクロ ブロック行の中の最も下に位置する 2行のマク口ブロック行に属するマク口 ブロックペアに含まれるマクロブロックを符号化するために必要なデータが 前記マクロブロックパイプラインに設定されると、 前記マクロブロックペア 選択部が前記選択されている個々のマクロブロックペアごとにその右隣接マ クロプロックペアを新たに選択する

動画像符号化装置。

[5] 前記マクロブロックパイプラインにおける一部のステージで、 マクロプロ ックサイクルがサブブロックサイクルに分割されてサブブロックパイプライ ンが形成され、 サブブロックごとの処理が行われる

請求項 1から請求項 4までのいずれか 1項に記載の動画像符号化装置。

[6] 前記ひとまとまりのマクロブロック行に含まれるマクロブロックを、 各マ ク口プロック行当たリ 1個符号化するために必要な全てのデータを記憶する 内部メモリ

を有する請求項 1から請求項 5までのいずれか 1項に記載の動画像符号化 装置。

[7] 請求項 1から請求項 6までのいずれか 1項に記載された少なくても 2台の 前記動画像符号化装置を含む動画像符号化装置であって、

ピクチャが前記ひとまとまりのマクロブロック行ごとに分割され、 この分 割された分割領域ごとに個々の前記動画像符号化装置が割リ当てられ、 縦に 連続した分割領域が少なくても 2台の前記動画像符号化装置によって並列に 符号化される

動画像符号化装置。

[8] シンタックスエレメントを 2値化シンポルに変換する 2値化部と、

前記 2値化シンポルを記憶する 2値化シンポル記憶部と、

前記 2値化シンボル記憶部から読み出した 2値化シンポルに対応するコン テクス卜情報を復元するコンテクス卜情報復元部と、

前記 2値化シンボル記憶部から読み出した 2値化シンボルを、 前記コンテ クス卜情報復元部により復元されたコンテクス卜情報に基づいて算術符号化 する算術符号化部と

を有する請求項 1から請求項 7までのいずれか 1項に記載の動画像符号化 装置。 [9] 前記 2値化部により変換された 2値化シンポルを仮算術符号化して仮発生 符号量を算出する仮算術符号化部

を有する請求項 8記載の動画像符号化装置。

[10] シンタックスェレメントを可逆圧縮するシンタックスェレメン卜圧縮部と 前記シンタックスエレメント圧縮部により圧縮されたシンタックスエレメ ントを記憶する圧縮シンタックスェレメン卜記憶部と、

前記圧縮シンタックスエレメント記憶部から前記圧縮されたシンタックス エレメントを読み出して前記シンタックスエレメントを復元するシンタック スエレメン卜復元部と、

前記シンタックスエレメント復元部により復元された前記シンタックスェ レメントを 2値化シンポルに変換する 2値化部と、

前記 2値化部によって変換された 2値化シンボルを算術符号化する算術符 号化部と

を有する請求項 1から請求項 7までのいずれか 1項に記載の動画像符号化 装置。

[11 ] 前記動画像符号化の処理が、 H . 2 6 4に準拠しており、

前記シンタックスエレメント圧縮部が、 前記シンタックスエレメントを C A V L Cで圧縮する

請求項 1 0に記載の動画像符号化装置。

[12] 動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインを含み、 縦に連続する少なくても 2行のマクロブロック行をひとま とまりとして符号化を行う動画像符号化装置における動画像符号化方法であ つて、

前記ひとまとまりのマクロブロック行の中の最も上のマクロブロック行に 含まれるマク口プロックが前記マク口プロックパイプラインに投入されると 、 前記マクロブロックパイプラインが当該マクロブ口ックの符号化を開始す るステップと、 上に隣接したマク口プロック行に含まれるマク口プロックの符号化が開始 されてから 1マクロブロックサイクル後に、 下に隣接したマクロブロック行 に含まれるマク口プロックであって、 前記上に隣接したマク口プロック行に 含まれるマクロブロックよリ左方向に 1マクロブロック以上離れているマク 口プロックが前記マク口プロックパイプラインに投入され、 前記マク口プロ ックパイプラインが当該マク口プロックの符号化を開始することが、 前記ひ とまとまりのマクロブ口ック行の中の上から 2行目のマクロブ口ック行から 最も下のマクロブロック行まで繰り返されるステップと

を有する動画像符号化方法。

動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインを含む動画像符号化装置における動画像符号化方法であって、 縦に連続する m行 （mは 2以上の整数） のマクロブロック行がひとまとま リとされ、 前記ひとまとまリのマク口プロック行の中の最も上のマク口プロ ック行に属するマクロブ口ックについては、 左下隣接マクロブ口ックがまだ 選択されていないマクロブロックが選択され、 かつ、 前記ひとまとまりのマ ク口ブロック行の中の最も上以外のマク口ブロック行に属するマク口ブロッ クについては、 右上隣接マク口プロックが既に選択されているマク口プロッ クが選択されることによって、 前記ひとまとまりのマクロブロック行に含ま れるマクロブロックが 1マクロブロック行当たり 1個選択される第 1のステ ップと、

前記第 1のステップによつて選択された個々のマクロブロックについて、 前記ひとまとまりのマクロブロック行の中の最も上のマクロブロック行に属 するマク口ブロックから、 最も下のマク口ブロック行に属するマク口ブロッ クまで、 mマクロブロックサイクルかけて順番に、 1マクロブロックサイク ルごとに個々のマクロブロックを符号化するために必要なデータが前記マク 口プロックパイプラインに設定される第 2のステップと、

前記第 2のステップによってマクロブロックを符号化するために必要な前 記データが設定されると、 前記マクロブロックパイプラインが当該マク口ブ ロックの符号化を開始する第 3のステップと、

前記第 2のステップによって前記ひとまとまりのマクロブロック行の中の 最も下のマク口プロック行に属するマク口プロックを符号化するために必要 なデータが前記マクロブロックパイプラインに設定されると、 前記第 1のス テツプに戻り、 前記選択されている個々のマクロブロックごとにその右隣接 マクロブロックが新たに選択される第 4のステップと

を有する動画像符号化方法。

動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインを含み、 縦に連続する 2 n行 （nは 2以上の整数） のマクロブロッ ク行をひとまとまりとし、 縦に隣接する 2個のマクロブロックを組み合わせ てマクロブロックペアとしてマクロブロックペアごとにフィールド符号化と フレーム符号化を切り替えて符号化する動画像符号化装置における動画像符 号化方法であって、

前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行のマク ロブ口ック行に属するマクロブ口ックペアに含まれる片方のマクロブロック が前記マク口プロックパイプラインに投入され、 前記マク口プロックパイプ ラインが当該片方のマクロブロックの符号化を開始するステップと、 上に隣接した 2行のマクロブロック行に属するマクロブロックペアに含ま れるマクロプロックの片方の符号化が開始されてから 1マクロブロックサイ クル後に、 下に隣接した 2行のマクロブロック行に属するマクロブロックぺ ァに含まれる片方のマクロブロックであって、 前記上に隣接した 2行のマク ロブロック行に属するマクロブロックペアより左方向に 1マクロブロック以 上離れているマク口プロックペアに含まれる片方のマク口プロックが前記マ ク口プロックパイプラインに投入され、 前記マク口プロックパイプラインが 当該片方のマクロブロックの符号化を開始することが、 前記ひとまとまりの マクロブロック行の中の上から 3行目と 4行目のマクロブロック行から最も 下に位置する 2行のマクロブロック行まで繰り返されるステップと、 前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行のマク ロブ口ック行に属するマクロブロックペアに含まれるマクロブロックのうち 最初に符号化を開始されなかった他の片方のマク口プロックが前記マク口ブ 口ックパイプラインに投入され、 前記マク口プロックパイプラインが当該他 の片方のマクロブロックの符号化を開始するステップと、

上に隣接した 2行のマクロブロック行に属するマクロブロックペアに含ま れる片方のマクロブ口ックの符号化が開始されてから 1マクロブロックサイ クル後に、 下に隣接した 2行のマクロブロック行に属するマクロブロックぺ ァであって、 前記上に隣接した 2行のマクロブロック行に属するマクロプロ ックペアより左方向に 1マクロブロック以上離れている前記マクロブロック ペアに含まれるマクロブロックのうち最初に符号化を開始されなかった他の 片方のマクロブ口ックが前記マクロブロックパイプラインに投入され、 前記 マク口プロックパイプラインが当該他の片方のマク口プロックの符号化を開 始することが、 前記ひとまとまりのマクロブロック行の中の上から 3行目と 4行目のマク口プロック行から最も下に位置する 2行のマク口プロック行ま で繰り返されるステップと

を有する動画像符号化方法。

動画像符号化の処理を複数のステージに分割して行うマクロブロックパイ プラインを含み、 縦に隣接する 2個のマク口プロックを組み合わせてマク口 ブロックペアとし、 マクロブロックペアごとにフィールド符号化とフレーム 符号化を切り替えて符号化する動画像符号化装置における動画像符号化方法 であって、

縦に連続する 2 n行 （nは 2以上の整数） のマクロブロック行がひとまと まりとされ、 前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行のマクロブロック行に属するマクロブロックペアについては、 左下隣接 マクロブロックペアがまだ選択されていないマクロブロックペアが選択され 、 かつ、 前記ひとまとまりのマクロブロック行の中の最も上に位置する 2行 以外のマクロブ口ック行に属するマクロブ口ックペアについては、 右上隣接 マクロブロックペアが既に選択されているマクロブロックペアが選択される ことによって、 前記ひとまとまりのマクロブロック行に含まれるマクロプロ ックペアが 2マクロブロック行当たり 1個選択される第 1のステップと、 前記第 1のステップによって選択されたマクロブロックペアについて、 フ ィールド符号化が選択されたときは、 マクロプロックペアの奇数ラインで卜 ップフィールドマクロブロックが作成され、 マクロブロックペアの偶数ライ ンでポトムフィールドマクロプロックが作成され、 フレーム符号化が選択さ れたときは、 マクロブロックペアの上半分のラインで上フレームマクロプロ ックが作成され、 マクロブロックペアの下半分のラインで下フレームマクロ ブロックが作成される第 2のステップと、

前記第 1のステップによって選択されたマクロブロックペアについて、 フ ィールド符号化が選択されたときは、 前記ひとまとまりのマクロブロック行 の中の最も上に位置する 2行のマク口ブロック行に属するマク口ブロックぺ ァから、 前記ひとまとまりのマクロブロック行の中の最も下に位置する 2行 のマク口ブロック行に属するマク口ブロックペアまで、 nマクロブロックサ ィクルかけて順番に、 1マクロブロックサイクルごとに個々のマクロブロッ クペアに含まれるマクロブロックの片方を符号化するために必要なデータが 前記マクロブロックパイプラインに設定され、 一方、 フレーム符号化が選択 されたときは、 前記ひとまとまりのマクロブロック行の中の最も上に位置す る 2行のマクロブロック行に属するマクロブロックペアから、 前記ひとまと まりのマク口ブロック行の中の最も下に位置する 2行のマク口ブロック行に 属するマク口プロックペアまで、 nマクロプロックサイクルかけて順番に、 1マク口ブロックサイクルごとに個々のマク口ブロックペアに含まれる上フ レームマク口プロックを符号化するために必要なデータが前記マク口プロッ クパイプラインに設定される第 3のステップと、

前記第 1のステップによって選択されたマクロブロックペアについて、 フ ィールド符号化が選択されたときは、 前記ひとまとまりのマクロブロック行 の中の最も上に位置する 2行のマク口ブロック行に属するマク口ブロックぺ ァから、 前記ひとまとまりのマクロブロック行の中の最も下に位置する 2行 のマク口ブロック行に属するマク口ブロックペアまで、 nマクロブロックサ ィクルかけて順番に、 1マクロブロックサイクルごとに個々のマクロブロッ クペアに含まれるマクロブロックのうち前記第 3のステップにより設定され なかった他の片方を符号化するために必要なデータが前記マクロブロックパ ィプラインに設定され、 一方、 フレーム符号化が選択されたときは、 前記ひ とまとまりのマクロブロック行の中の最も上に位置する 2行のマクロブロッ ク行に属するマクロブロックペアから、 前記ひとまとまりのマクロブロック 行の中の最も下に位置する 2行のマク口ブロック行に属するマク口ブロック ペアまで、 nマクロブロックサイクルかけて順番に、 1マクロブロックサイ クルごとに個々のマク口ブロックペアに含まれる下フレームマク口ブロック を符号化するために必要なデータが前記マク口プロックパイプラインに設定 される第 4のステップと、

前記第 3のステップまたは前記第 4のステップによってマクロブロックを 符号化するために必要な前記データが設定されると、 前記マクロブロックパ ィプラインが当該マクロブロックの符号化を開始する第 5のステップと、 前記第 4のステツプによつて前記ひとまとまりのマクロブロック行の中の 最も下に位置する 2行のマクロブロック行に属するマクロブロックペアに含 まれるマク口プロックを符号化するために必要なデータが前記マク口プロッ クパイプラインに設定されると、 前記第 1のステップに戻り、 前記選択され ている個々のマクロブロックペアごとにその右隣接マクロブロックペアが新 たに選択される第 6のステップと

を有する動画像符号化方法。