JPH05268590A

JPH05268590A - 動画像符号化復号化回路

Info

Publication number: JPH05268590A
Application number: JP5869792A
Authority: JP
Inventors: Yasushi Oi; 康大井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1992-03-17
Filing date: 1992-03-17
Publication date: 1993-10-15
Also published as: US5589885A

Abstract

(57)【要約】（修正有）【目的】エントロピー符号化，変換符号化，動き補償処
理の３つを分離して処理し、フレームメモリを時分割多
重化してアクセスすることが可能な回路構成を提供す
る。【構成】符号化される画像１５０は動き検出予測処理部
１２１に入力、予測差分信号と予測信号とを出力する。
前者には変換符号化復号化処理部１０２の内部でＤＣＴ
処理および量子化処理を実行して変換係数信号としてイ
ンターフェースデータバス１４２に出力する。変換符号
化復号化処理部１０２は、この変換係数に対して逆量子
化処理および逆ＤＣＴ処理を実行し、これに予測信号を
加算した画像復号化結果をイメージデータバス１４３に
出力する。処理部１０２には、プログラマブルアーキテ
クチャを適用する。処理部１０２からの処理結果の変換
係数は、ジグザグスキャン／エントロピー符号化部１０
１のＦＩＦＯ１１５に蓄えられた後、エントロピー符号
化ＣＰＵ１１２において符号化処理を実行する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像符号化復号化回路
に関し、特に高能率符号化アルゴリズムに基づいて動画
像を符号化するソフトウェアプログラムの可能な動画像
符号化復号化回路に関する。

【０００２】

【従来の技術】一般に、動画像の符号化アルゴリズムは
単一のアルゴリズムによるものではなく、複数のアルゴ
リズムが組み合わせられて用いられる。例えば、ＣＣＩ
ＴＴ勧告の画像符号化標準であるＨ．２６１の場合、動
き補償フレーム間予測、離散コサイン変換（ＤＣＴ）、
量子化及びエントロピー符号化の組み合わせによって高
能率符号化が実現される。また、他の動画像符号化に関
する国際標準化案についても、これらに類似したアルゴ
リズムの組み合わせによって実現されている。

【０００３】従来の動画像符号化復号化回路では、２つ
のタイプの回路構成がとられている。その第１のタイプ
は高速なディジタル信号処理プロセッサ（ＤＳＰ）を利
用し、上述のすべてのアルゴリズムをソフトウェア処理
として実現するものである。かかるアルゴリズムの変更
に対する柔軟性の点では、ＤＳＰを利用したソフトウェ
ア処理は優れているが、現状におけるＤＳＰの性能は動
画像の復号化に必要な性能（３００ＭＯＰＳ〜６００Ｍ
ＯＰＳ，ＭＯＰＳ：ＭｉｌｌｉｏｎＯｐｅｒａｔｉｏ
ｎｓＰｅｒＳｅｃｏｎｄ）に対し、１／１０乃至１
／６０程度の性能しか持っていない。従って、ＤＳＰで
動画像符号化処理を実行するためには、多数のＤＳＰを
結合するマルチプロセッサ構成をとるなどの工夫が必要
になる。このようなシステムの構成をとるには、ソフト
ウェア／ハードウェアのコストの増大を招く場合が多
い。例えば、電子情報通信学会１９８９年春期全国大会
予稿集Ａ３１６−Ａ３２１「ＮＥＴＥＣ−Ｖｉｓｕ
ａＬＩＮＫのハードウェア」等によれば、ＤＳＰは符号
化回路に２０個程度必要になっている。

【０００４】また、第２のタイプは各アルゴリズム毎に
適当な専用回路構成を用いて、複数の処理部の間でパイ
プライン的に画像データを流して処理するものである。
性能を重視するのであれば、複数の異なる専用処理プロ
セッサを結合して並列パイプライン処理を実行するのが
得策である。アルゴリズムに最適な回路構成をとれば、
マルチプロセッサの処理プロセッサ数はＤＳＰに比べて
少なくて済む場合が多い。ここで言う専用処理プロセッ
サは、必ずしも一つのアルゴリズムに対応するものであ
る必要はない。実際の従来例では、２つのアルゴリズム
を統合し、１つの処理プロセッサで処理を実行させるな
どの例が見られる。例えば、米国等においては、ＤＣＴ
とフレーム差分の加算の２つを１つのＬＳＩチップで実
行するような処理ＬＳＩを開発しており、５〜１０チッ
プで動画像符号化復号化処理全体をカバーするＬＳＩチ
ップセットを開発している。このうち、符号化回路とし
て必要な構成要素は６個程度である。これは、日経エレ
クトロニクス１９９０．１０．１５（ｎｏ．５１１）
の記事でも明らかである。

【０００５】

【発明が解決しようとする課題】上述した動画像符号化
復号化回路のうち、第２タイプの回路構成をとるもの
は、各アルゴリズム毎に最適な専用回路構成を一度決定
してしまうと、それを修正改変するための操作が複雑で
あり、コストが大きいという欠点がある。すなわち、ソ
フトウェア処理であれば、アルゴリズムの変更はソフト
ウェアの変更により対応することが可能であるが、専用
プロセッサを用いる場合は再設計が必要であり、多大な
コストを費やすことになる。しかも、かかる第２のタイ
プの回路構成をとるものは、動画像処理で必要となるコ
アフレームメモリのアドレス生成及びそれと同期させた
処理開発タイミングが複雑になる。尚、従来の第１のタ
イプの回路構成であれば、ＤＳＰ自身がフレームメモリ
のアドレス生成を行うことになる。また、各専用処理プ
ロセッサは、前述のアルゴリズム群を、いわばデータフ
ロー量が一定であるように処理を実行する場合が多い。
例えば、ＤＣＴ処理プロセッサであれば、変換されるべ
き画像情報を逐次入力すれば、変換結果が一定時間に逐
次出力されるといったインターフェースをとることにな
る。

【０００６】その場合、ブロックごとのＤＣＴ処理の
開始終了タイミングをいかに制御するか、ＤＣＴ処理
を行うデータをどこから読み出すか、もしそれをフレー
ムメモリから読み出すのであればアドレスはどのように
発生するか、ＤＣＴ処理の結果をどこへ書き込むか、
もしそれをフレームメモリに書き込むのであればアドレ
スはどのように発生するか、という問題をすべてＤＣＴ
処理プロセッサの外部回路で解決せねばならず、外部回
路の設計コストや部品点数削減のメリットが小さいとい
う欠点がある。

【０００７】本発明の目的は、複数のアルゴリズムへの
適応を可能にし、部品点数を削減するとともに、拡張を
容易にする動画像符号化復号化回路を提供することにあ
る。

【０００８】

【課題を解決するための手段】本発明の動画像符号化復
号化回路は、高能率符号化アルゴリズムに基づいて動画
像を符号化するにあたり、ブロック領域に分割された画
像データを入力し且つ変換符号化を実行して変換係数を
前記ブロッムごとに出力する第１の処理手段と、前記変
換係数を入力し且つエントロピー符号化処理結果として
のビット可変長符号データを出力する第２の処理手段と
を有し、前記第１の処理手段における符号化処理の開始
タイミングおよび前記第１の処理手段と前記第２の処理
手段との間のデータ転送の開始タイミングがすべて前記
第２の処理手段内部のビデオタイミング制御部からの出
力信号で制御されるように構成される。

【０００９】また、本発明の動画像符号化復号化回路
は、動画像の各画像フレームを画像内符号化像，前方向
予測符号化画像および両方向予測符号化画像の３種類の
予測符号化法のいずれかに基づいて符号化するにあた
り、動画像の動き検出及び動き予測処理を実行し且つ画
像予測差分信号および画像予測信号を出力する第１の処
理手段と、前記予測符号化の実行のために必要な画像フ
レームデータを保持するコアフレームメモリ手段と、前
記画像予測差分信号により変換符号化を実行して変換係
数を出力し且つ前記画像予測信号を前記画像予測差分信
号に加算して画像復号化結果を出力する第２の処理手段
と、前記変換係数に基ずきエントロピー符号化処理結果
としてのビット可変長符号データを出力する第３の処理
手段とを有し、前記第２の処理手段における符号化処理
の開始タイミングおよび前記３つの処理手段間のデータ
転送の開始タイミングを前記第３の処理手段内部のビデ
オタインミング制御部からの出力信号で制御し、前記コ
アフレームメモリ手段のアドレスを前記第１の処理手段
内部のアドレス生成制御部からのアドレス出力信号によ
り供給するように構成される。

【００１０】更に、本発明の動画像符号化復号化回路
は、動画像の各画像フレームを画像内符号化画像，前方
向予測符号化画像および両方向予測符号化画像の３種類
の予測符号化法のいずれかに基づいて符号化するにあた
り、動画像の動き検出及び動き予測処理を実行し且つ画
像予測差分信号および画像予測信号を出力する第１の処
理手段と、前記予測符号化の実行のために必要な画像フ
レームデータを保持するコアフレームメモリ手段と、前
記画像予測差分信号により変換符号化を実行して変換係
数を出力し且つ前記画像予測信号を前記画像予測差分信
号に加算して画像復号化結果を出力する第２の処理手段
と、前記画像復号化結果をモニタするための画像フレー
ムデータを保持するモニタフレームメモリ手段と、前記
変換係数に基ずきエントロピー符号化処理結果としての
ビット可変長符号データを出力する第３の処理手段と、
前記コアフレームメモリ手段，前記第１の処理手段およ
び前記第２の処理手段を互いに結合する第１のデータバ
スと、前記モニタフレームメモリ手段に結合された第２
のデータバスと、前記第１および第２のデータバスを結
合するバスバッファ手段とを有し、前記コアフレームメ
モリ手段のアドレスを前記第１の処理手段内部の２次元
アドレス生成部より供給し、前記モニタフレームメモリ
手段のアドレスを前記第３の処理手段内部の２次元アド
レス生成部より供給するように構成される。

【００１１】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。図１は本発明における３種類の画像符号化
方式を説明するための概念図である。図１に示すよう
に、ＩＳＯのＭＰＥＧで勧告される予定の動画像符号化
アルゴリズムでは、各フレーム毎に３つのタイプの符号
化方式のいずれかを選択することになり、タイプ１の画
像符号化方式は画像の時間軸方向の符号化を行わず、画
像データそのものを２次元空間上で直交変換するもので
ある。このように符号化される画像はｉｎｔｒａフレー
ム（Ｉフレーム）といわれる。また、タイプ２の画像符
号化方式は過去の画像との差分値を直交変換するもので
ある。このように符号化される画像はｐｒｅｄｉｃｔｅ
ｄフレーム（Ｐフレーム）といわれる。ここでいう過去
の画像はＩフレームおよびＰフレームのいずれかに属す
る。更に、タイプ３の画像符号化方式は過去と未来の２
つの画像の算術平均値との差分値を直交変換するもので
ある。このように符号化される画像はｂｉｄｉｒｅｃｔ
ｉｏｎａｌフレーム（Ｂフレーム）といわれる。ここで
いう過去および未来の画像はＩフレームおよびＰフレー
ムのいずれかに属する。

【００１２】一方、ＩＳＯＭＰＥＧに準拠するには、
これら３つのタイプの画像符号データをすべて復号化で
きる必要がある。しかし、符号化については、Ｐフレー
ムの省略，Ｂフレームの省略あるいはＰフレーム／Ｂフ
レームの両方の省略など、符号化時間やコストあるいは
画質に応じた選択を行なうことが可能である。Ｐフレー
ムの符号化のためには、時間的にそれ以前にＩフレーム
またはＰフレームが必要であり、Ｂフレームの符号化の
ためには、ＩフレームまたはＰフレームが時間的に前後
に必要となる。このようなＩフレームやＰフレームのこ
とをコアフレームと呼ぶ。このコアフレームからの時間
内挿としてＢフレームを求めるため、送られる符号化画
像の時間順序は復元される画像の順序とは異なってい
る。すなわち、図１中の符号出力順序は、通常の画像の
シーケンス順とは異なるものになるが、それに伴い図１
中の画像入力順序も異なったものにする必要がある。こ
の前処理をフレーム変換（ｆｒａｍｅｃｏｎｖｅｒｓ
ｉｏｎ）とよぶ。

【００１３】また、上述したタイプ１／２／３の方式を
含めて符号化を行なう場合は、フレーム変換が必要にな
る。以下に説明する第１の実施例はこのような場合を想
定している。タイプ１の方式のみで全ての画像を符号化
する場合、フレーム間差分をとる必要がないので、フレ
ーム変換処理は必要ない。このような考えで構成された
のが第２の実施例である。しかも、画像符号化時の量子
化誤差の画質への影響を符号化処理と同時に監視したい
場合、復号化画像をそのまま再生する必要があるが、第
３の実施例は、このような場合を想定している。

【００１４】図２は本発明の第一の実施例を示す動画像
符号化復号化回路のブロック図である。図２に示すよう
に、本実施例は大きくわけて、ジグザグスキャン／エン
トロピー符号化部１０１と、変換符号化復号化処理部１
０２と、動き補償処理部１０３と、コアフレームメモリ
１０４とを有する。

【００１５】まず、動き補償処理部１０３は画像入力１
５０に基ずき動き検出および動き予測を行う動き検出／
動き予測処理部１２１と、画像フレーム同期信号１５１
を入力し処理部１２１等を制御する第２のビデオタイミ
ング制御部１２２と、この制御部１２２の出力に基ずき
コアフレームメモリ１０４用の２次元アドレスを生成す
るコアフレームメモリ用２次元アドレス生成部１２３と
を備えている。特に、動き検出／動き予測処理部１２１
では、外部から入力された画像１５０に対し、動き検出
予測処理を実行するが、この処理部１２１の起動を含め
た全ての動き検出予測処理の制御タイミングは、タイミ
ング制御部１２２で制御される。しかも、このタイミン
グ制御部１２２を制御する画像フレーム同期信号１５１
は、画像入力１５０に先行するタイミングで入力され
る。また、動き検出実行の基準となる予測画像（Ｉフレ
ーム，Ｐフレーム）としては、入力画像そのもの、もし
くは変換符号化復号化処理部１０２で符号化の後に復号
化された入力画像が、イメージデータバス１４３を経由
してコアフレームメモリ１０４に格納される。その場合
のアドレス発生は、前述したように、タイミング制御部
１２２が生成する起動信号により２次元アドレス生成部
１２３が実行する。かかる動き検出の必要な画像（Ｐフ
レーム，Ｂフレーム）では、コアフレームメモリ１０４
に格納された画像と外部入力画像１５０との比較による
動き検出予測処理が実行される。その際のコアフレーム
メモリ１０４の読み出しアドレス発生は、２次元アドレ
ス生成部１２３が実行する。このように、動き検出／動
き予測処理部１２１で処理された結果として、Ｉフレー
ムの場合は入力画像１５０そのものが、またＰフレーム
もしくはＢフレームの場合は入力画像と基準画像（予測
画像）との差分信号がインターフェースデータバス１４
２を経由して変換符号化復号化処理部１０２に転送され
る。

【００１６】次に、変換符号化復号化処理部１０２は、
ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓ
ｆｏｒｍ：離散コサイン変換）などの直交変換を中心と
する符号化復号化処理を実行する。すなわち、インター
フェースバス１４２からの入力画像を変換符号化（直交
変換の後量子化）したデータを再びバス１４２を経由し
てジグザグスキャン／エントロピー符号化部１０１の第
２のＦＩＦＯ１１５に転送する。この変換符号化復号化
処理部１０２の起動を含めた全てのタイミング制御は、
第１のビデオタイミング制御部１１４からのタイミング
そのものを示すコマンドタイミング信号１５２と起動さ
れる処理の種類を示すコマンド信号１４１からなる制御
信号により制御される。尚、ビデオタイミング制御部１
１４を起動する信号は、第２のタイミング制御部１２２
の起動と同様に外部から入力される画像フレーム同期信
号１５１に従う。また、ＩフレームおよびＰフレームの
処理では、インターフェースデータバス１４２からの入
力画像を変換符号化の後、変換復号化（逆量子化の後、
逆直交変換）したデータがイメージデータバス１４３を
経由してコアフレームメモリ１０４に格納される。これ
は、前述の動きの検出予測実行の基準画像となる。

【００１７】更に、ジグザグスキャン／エントロピー符
号化部１０１は、前述した第１のビデオタイミング制御
部１１４および第２のＦＩＦＯ１１５の他に第２のＦＩ
ＦＯ１１５のデータをエントロピー符号化するエントロ
ピー符号化ＣＰＵ１１２と、この処理データを一時記憶
し符合出力する第１のＦＩＦＯ１１１とを備えている。
まず、符号化部１０１は第２のＦＩＦＯ１１５に転送さ
れた変換符号化データに対し、エントロピー符号化ＣＰ
Ｕ１１２でランレングス符号化あるいはエントロピー符
号化などの統計情報に基づく符号化処理を実行する。そ
の処理結果はＦＩＦＯ１１１に書込まれるが、この符号
化ＣＰＵ１１２は必要に応じてビデオタイミング制御部
１１４の出力するコマンドの内容に符号量制御などのフ
ィードバックをかける。第１のＦＩＦＯ１１１の内容は
最終的な符号化結果として外部に出力される。

【００１８】以上に述べた処理を統括すると、外部入力
画像１５０は、動き補償処理部１０３、変換符号化復号
化処理部１０２、ジグザグスキャン／エントロピー符号
化部１０１の順で処理され、外部に符号として出力され
る。

【００１９】図３は図２における動画像符号化アルゴリ
ズムのフロー図である。図３に示すように、動画像の符
号化にあたってはＭＰＥＧなどのアルゴリズムを表わ
し、２０１，２０２，２０３の各部分はそれぞれ図２に
おける１０１，１０２，１０３の処理するアルゴリズム
に対応している。また、符号化部１０１，処理部１０２
および１０３に対しては、階層的な時分割多重転送が行
なわれている。この階層はＭＰＥＧで定められる処理階
層に対応しており、しかも、この階層のうち時分割多重
転送に関連するものは、マクロブロック層（Ｍａｃｒｏ
ｂｌｏｃｋＬａｙｅｒ）とブロック層（Ｂｌｏｃｋ
Ｌａｙｅｒ）である。かかるＭＰＥＧの処理単位である
マクロブロックは、４つの輝度ブロック（Ｙ０〜Ｙ３）
および空間的に対応する２つの色差ブロック（Ｃｂ，Ｃ
ｒ）からなり、これら各ブロックは８×８画素の正方形
領域からなる。典型的なＭＰＥＧのビデオシーケンス
は、１フレームあたり３３０マクロブロック（２２列×
１５行）を含んでいる。また、ＭＰＥＧの基本モデルで
は、この大きさの画像を１秒間に３０枚処理する必要が
あり、ブロック数に換算すると、１秒間に５９４００ブ
ロックの処理が必要になる。そのため、ブロック処理に
許容されるサイクルタイムは、帰線期間のマージンなど
を考慮して、約１６．６μｓｅｃ程度になる。同様に、
マクロブロック処理については、１００μｓｅｃ程度に
なる。

【００２０】図４はＭＰＥＧのマクロブロック層におけ
る転送および処理実行タイミング図、図５はＭＰＥＧの
ブロック層におけるデータ転送とバスの対応関係図であ
り、図６はＭＰＥＧのブロック層におけるデータ転送お
よび処理実行のタイミング図である。尚、図５におい
て、各転送スロットで流れるデータのアルゴリズム上の
意味については前述した図３を比較参照することにより
理解できる。すなわち、スロットＡｉ：ブロックｉの予測差分信号スロットＢｉ：ブロックｉの予測信号スロットＣｉ：ブロックｉの画像復号化結果信号スロットＤｉ：ブロックｉの変換係数信号スロットＥ：動き補償用画像信号が各々転送されることになる。

【００２１】まず、時分割多重転送は、６４（８×８）
ワード毎のバースト転送が基本になり、図５に示す各転
送スロットはスロットＥを除いて６４ワード転送に対応
する。なお、コアフレームメモリ１０４のアクセスを伴
う場合、アドレス生成部１２３はこのバースト転送用の
２次元アドレスを生成することになる。また、ジグザグ
スキャン／エントロピー符号化部１０１における符号化
処理はマクロブロック単位で行なわれ、変換符号化復号
化処理部１０２における符号化処理はブロック単位で行
なわれる。ここで、動き補償処理部１０３に関する処理
タイミングは、省略しているが、マクロブロック単位の
パイプライン処理として実行され、フレーム間予測信号
が画像入力の約３マクロブロック遅れで出力される。

【００２２】次に、符号化される画像１５０は、前述し
たように、動き補償処理部１０３の動き検出予測処理部
１２１に入力されるが、画像の入力順序については、前
述した図１に示すようなフレーム変換が先に行なわれ
る。画像入力１５０を入力して処理する動き検出予測処
理部１２１の実行タイミングは、ビデオタイミング制御
部１２２で生成され、動き検出動き予測に必要なコアフ
レームメモリ１０４の読み出しのためのアドレス生成
は、コアフレーム用２次元アドレス生成部１２３で実行
される。このアドレス生成部１２３からの出力制御信号
としては、メモリ１０４のアドレスの他に、リード信号
あるいはライトストローブ信号などがある。尚、転送に
用いられるタイムスロットは、図５のＥの部分に対応す
る。

【００２３】かかる動き検出予測処理部１２１の処理結
果として、予測差分信号（タイムスロットＡｉ）と予測
信号（タイミスロットＢｉ）とが出力される。一方、変
換符号化復号化処理部１０２の内部では、この予測差分
信号に対してＤＣＴ処理および量子化処理を実行するの
で、その結果は変換係数信号（タイムスロットＤｉ）と
して、インターフェースデータバス１４２に出力され
る。さらに、変換符号化復号化処理部１０２では、この
変換係数に対して逆量子化処理および逆ＤＣＴ処理を実
行し、これに予測信号を加算して画像復号化結果をイメ
ージデータバス１４３に出力する（タイムスロットＣ
ｉ）。

【００２４】この変換符号化復号化処理部１０２の内部
実行タイミングについては、図６に示すように、データ
の依存関係に対応する転送タイミングを満たすように処
理される。かかる処理部１０２の内部は、ＤＣＴ処理、
量子化処理、予測差分信号加算処理などの複数の処理に
柔軟に対応するため、例えばディジタル信号処理プロセ
ッサ（ＤＳＰ）のようなプログラマブルアーキテクチャ
を考えることができる。

【００２５】次に、図６に示すように、ブロックｉを処
理する動作手順は次のようになる。尚、ブロックｉの処
理および関連するデータ転送は全て斜線で示している。
まず、スロットＡｉで予測差分信号が動き補償処理部１
０３から入力され、しかる後、変換符号化復号化処理部
１０２が起動される。この起動とほぼ同じ時期にスロッ
トＢｉで予測信号が動き補償処理部１０３から入力され
る。予測差分信号からＤＣＴ処理、量子化処理（Ｑ）を
行って得られる変換係数は、スロットＤｉにおいてジグ
ザグスキャン／エントロピー符号化部１０１に転送され
る。また、コアフレーム（ＩフレームおよびＰフレー
ム）の場合はスロットＣｉを用いてコアフレームがコア
フレームメモリ１０４に転送される。

【００２６】次に、変換符号化復号化処理部１０２の処
理結果として出力された変換係数は、一旦ＦＩＦＯ１１
５に蓄えられた後、エントロピー符号化ＣＰＵ１１２に
おいて符号化処理が実行される。かかるＦＩＦＯ１１５
への書込みは、読み出しがジグザグスキャン順に制御し
やすいように決定される。さらに、符号化されたビット
ストリームはＦＩＦＯ１１１に蓄えられた後、出力され
る。

【００２７】ここで、エントロピー符号化ＣＰＵ１１２
の内部実行タイミングについては、前述した図４に示す
ように、１つのマクロブロックサイクルタイム以内で１
マクロブロックの処理が完了するようなタイミングを満
たすようになっている。処理の種類としては、例えば、
マクロブロックのヘッダ（ｈｅａｄｅｒ）の符号化、変
換係数の符号化、符号量カウントと量子化スケール値の
制御などがある。このエントロピー符号化ＣＰＵ１１２
の内部は、これらの処理仕様に柔軟に対応できるように
するため、マクロプロセッサのようなプログラマブルア
ーキテクチャを考えることができる。以上のタイミング
制御は、２つのビデオタイミング制御部１１４，１２２
で行なわれ、これらのタイミング制御部は外部からの画
像同期入力信号１５１によって起動される。また、動き
補償処理部１０３の内部においては、動き検出予測処理
部１２１および２次元アドレス生成部１２３がビデオタ
イミング制御部１２２からの制御信号によって起動され
る。さらに、変換符号化復号化処理部１０２の起動及び
処理手段１０１，１０２，１０３間でのバーストデータ
転送の起動については、ビデオタイミング制御部１１４
からの制御信号１４１，１５２によって起動されるが、
特に制御信号１５２は起動のタイミングを与えるタイミ
ング信号を表わし、制御信号１４１はその起動動作の種
類を表わすコマンド信号を表わしている。

【００２８】図７は本発明の第二の実施例を示す動画像
符号化復号化回路のブロック図である。図７に示すよう
に、本実施例は前述した図２の第一の実施例と比べる
と、動き補償処理部１０３およびフレームメモリ１０４
がない点が異っている。本実施例はフレーム間符号化を
行なわない符号化方式、例えばＩＳＯＪＰＥＧの標準
に基づく符号化方式等に対して適用される。かかるＩＳ
ＯＭＰＥＧの符号化方式の枠組みで考える場合は、Ｐ
フレーム／Ｂフレームの両方を省略し、Ｉフレームのみ
で符号化することを考えればよい。

【００２９】また、アルゴリズムに関しては、前述した
図３におけるＤＣＴ処理、量子化処理およびジグザグス
キャン処理とエントロピー符号化処理のみに残して、残
りを削除した状態のものを想定すればよい。尚、前述し
た第一実施例で述べた階層的な時分割多重転送の基本的
アイデアは、本実施例においても変更されない。但し、
バーストデータ転送のスロットについては、スロットＡｉ：ブロックｉの画像信号（予測差分信号
で、予測信号が全て０と考える）スロットＤｉ：ブロックｉの変換係数信号の２つだけを用いることになる。また、アルゴリズム上
はコアフレームを必要としないため、コアフレームメモ
リ１０４およびその制御部分も必要としない。また、第
１のビデオタイミング制御部１１４と第２のビデオタイ
ミング制御部１２２とを分離している理由は、本実施例
においても変換符号化復号化処理部１０２の起動及び処
理手段１０１，１０２，１０３間でのバーストデータ転
送の起動の際にビデオタイミング制御部１１４からの制
御信号１４１，１５２によって起動できるようにするた
めである。

【００３０】本実施例では、インターフェースデータバ
ス１４２からブロック分割された画像１５０が変換符号
化復号化処理部１０２に入力される（タイムスロットＡ
ｉ）。この変換符号化復号化処理部１０２の内部では、
予測差分信号に対してＤＣＴ処理および量子化処理を実
行し、その結果は変換係数信号（タイムスロットＤｉ）
として、インターフェースデータバス１４２に出力され
る。また、変換符号化復号化処理部１０２の内部実行タ
イミングについては、前述した図６に記載されているよ
うに、データの依存関係に対応する転送タイミングを満
たすよう処理される。これを実現するため、処理部１０
２の内部は、例えばディジタル信号処理プロセッサ（Ｄ
ＳＰ）のようなプログラマブルアーキテクチャを考える
ことができる。この変換符号化復号化処理部１０２の処
理結果として出力された変換係数は、ジグザグスキャン
／エントロピー符号化部１０１の第２のＦＩＦＯ１１５
に一旦蓄えられた後、エントロピー符号化ＣＰＵ１１２
において符号化処理が実行される。この第２のＦＩＦＯ
１１５への書込みは読み出しをジグザグスキャン順に制
御しやすいように決定される。次に、エントロピー符号
化ＣＰＵ１１２で符号化されたビットストリームは第１
のＦＩＦＯ１１１に蓄えられた後、符号出力される。

【００３１】このエントロピー符号化ＣＰＵ１１２の内
部実行タイミングについては、前述した図４に記載され
ているように、１つのマクロブロックサイクルタイム以
内で１マクロブロックの処理が完了するようなタイミン
グを満たすようになっている。処理の種類としては、例
えばヘッダ（ｈｅａｄｅｒ）の符号化、変換係数の符号
化、符号量カウントと量子化スケール値の制御などがあ
る。また、エントロピー符号化ＣＰＵ１１２の内部は、
例えば、マイクロプロセッサのようなプログラマブルア
ーキテクチャを考えることができる。

【００３２】図８は本発明の第三の実施例を示す動画像
符号化復号化回路のブロック図である。図８に示すよう
に、本実施例は前述した図２の第一の実施例と比べる
と、モニタフレームメモリ１０５およびそのためのモニ
タメモリ用２次元アドレス生成部１１３とバスバッファ
１３１とを追加した点が異なり、特にこのバスバッファ
１３１はイメージデータバスを分割する目的で使用され
ている。本実施例と前述した第一の実施例との主な差異
は、画像符号化時の量子化誤差の画質への影響を符号化
処理と同時に監視するため、復号化画像をそのまま再生
する機能を付加した点である。この復号化画像の再生は
コアフレームメモリ１０４の内容をそのまま表示するこ
とで実行可能である。しかし、このコアフレームメモリ
１０４は、ＩフレームとＰフレームのみが交互に入力さ
れ、Ｂフレームは蓄えられていない。さらに、コアフレ
ーム自体が動き補償処理の目的のため、多くのリードア
クセスを必要とし、モニタリングの目的でのメモリリー
ドとのアクセス競合を発生する可能性がある。以下の説
明では、この問題をもう１つのフレームメモリを追加し
て解決する方式について述べている。

【００３３】まず、アルゴリズムに関しては、前述した
図３に記載されたとおりであり、第一の実施例で述べた
階層的な時分割多重転送の基本的アイデアは、本実施例
においても変更されない。また、バーストデータ転送の
スロットについては、モニタフレームメモリ１０５への
書込み制御などが追加される。

【００３４】次に、変換符号化復号化処理部１０２の内
部では、予測差分信号に対してＤＣＴ処理および量子化
処理が実行され、その処理結果は変換係数信号（タイム
スロットＤｉ）として、インターフェースデータバス１
４２に出力される。さらに、変換符号化復号化処理部１
０２では、この変換係数に対して逆量子化処理および逆
ＤＣＴ処理を実行し、これに予測信号を加算して画像復
号化結果をイメージデータバス１４３に出力する（タイ
ムスロットＣｉ）。このタイムスロットＣｉの転送期間
では、コアフレームメモリ１０４への書込みと同時にモ
ニタフレームメモリ１０５への書込みも実行される。コ
アフレームメモリ１０４は、動き補償処理の目的で多く
のリードアクセスを受けるが、このアクセス受付けは、
前述したように、タイムスロットＥで実行される。

【００３５】これに対し、モニタフレームメモリ１０５
は監視処理の目的でリードアクセスを受けるが、これは
前述した図５のタイムスロットＦで実行される。これら
のタイムスロットＥとタイムスロットＦとが競合しない
ように、バスバッファ１３１が設けられている。このバ
スバッファ１３１はタイムスロットＣｉの転送が発生し
たときのみ、データをイメージデータバス１４３からイ
メージデータバス１４４に通過させる働きをする。この
制御はビデオタイミング制御部１２２で実行されるが、
ビデオタイミング制御部１１４から制御してもよい。

【００３６】次に、監視処理に必要なモニタフレームメ
モリ１０５の読み出しのためのアドレス生成は、モニタ
メモリ用２次元アドレス生成部１１３で実行される。こ
のアドレス生成部１１３からの出力制御信号としては、
モニタフレームメモリ１０５のアドレスの他に、リード
信号あるいはライトストローブ信号などがある。また、
ジグザグスキャン／エントロピー符号下部１における第
１のビデオタイミング制御部１１４から出力される制御
信号１５４は、タイムスロットＦでの出力信号のタイミ
ングとその状態を示しており、これらの制御信号１５４
は、図示されないモニタ画像出力の制御回路へのインタ
ーフェース信号になる。

【００３７】

【発明の効果】以上説明したように、本発明の動画像符
号化復号化回路は、動画像高能率符号化アルゴリズムの
全体を、アルゴリズムの特徴、特にその並列実行可能性
に基づいて３つの処理部分に分割し、各処理に適合した
アーキテクチャで処理実行するにあたり、ジグザグスキ
ャン／エントロピー符号化部および変換符号化復号化処
理部の各々の処理部をソフトウェアプログラム可能とす
ることにより、特定のアルゴリズムのみに固定されない
処理の実行を実現できるという効果がある。また、本発
明は動画のフレーム間動き検出／動き予測処理に伴って
発生するコアフレームメモリアクセスのタイミングやメ
モリアドレスの発生を動き補償処理部で集中管理し、バ
ス結合を処理手段間のデータ転送およびフレームメモリ
とのデータ転送の２つにまとめることにより、簡単なシ
ステム構成と少ない部品点数で動画像の復号化処理を実
行することができるという効果がある。更に、本発明は
変換復号化符号化処理部に対し画像単位領域（例えば、
８画素×８画素）単位での起動を可能にすることによ
り、画面全体の処理タイミングに依存する必要がなくな
るので、、変換符号部とエントロピー復号部とのタイミ
ングの独立性を保つことができ、１つのエントロピー復
号部に対して複数の変換復号化処理部を接続するなどの
拡張を容易に実施できるという効果がある。

【図面の簡単な説明】

【図１】本発明における３種類の画像符号化方式を説明
するための概念図である。

【図２】本発明の第一の実施例を示す動画像符号化復号
化回路のブロック図である。

【図３】図２における画像符号化アルゴリズムのフロー
図である。

【図４】ＭＰＥＧのマクロブロック層のデータ転送と処
理実行のタイミング図である。

【図５】ＭＰＥＧのブロック層のデータ転送とバスの対
応関係図である。

【図６】ＭＰＥＧのブロック層におけるデータ転送と処
理実行のタイミング図である。

【図７】本発明の第二の実施例を示す動画像符号化復号
化回路のブロック図である。

【図８】本発明の第三の実施例を示す動画像符号化復号
化回路のブロック図である。

【符号の説明】

１０１ジグザグスキャン／エントロピー符号化部１０２変換符号化復号化処理部１０３動き補償処理部１０４コアフレームメモリ１０５モニタフレームメモリ１１１，１１５ＦＩＦＯ１１２エントロピー符号化ＣＰＵ１１３モニタメモリ用２次元アドレス生成部１１４，１２２ビデオタイミング制御部１２１動き検出／動き予測処理部１２３コアフレームメモリ用２次元アドレス生成部１３１バスバッファ１４１コマンドバス１４２インターフェースバス１４３，１４４イメージデータバス１５０画像入力１５１画像フレーム同期信号１５２コマンドタイミング信号１５３バスバッファ制御信号１５４画像出力制御信号

Claims

【特許請求の範囲】

【請求項１】高能率符号化アルゴリズムに基づいて動
画像を符号化するにあたり、ブロック領域に分割された
画像データを入力し且つ変換符号化を実行して変換係数
を前記ブロッムごとに出力する第１の処理手段と、前記
変換係数を入力し且つエントロピー符号化処理結果とし
てのビット可変長符号データを出力する第２の処理手段
とを有し、前記第１の処理手段における符号化処理の開
始タイミングおよび前記第１の処理手段と前記第２の処
理手段との間のデータ転送の開始タイミングがすべて前
記第２の処理手段内部のビデオタイミング制御部からの
出力信号で制御されることを特徴とする動画像符号化復
号化回路。
【請求項２】前記第１の処理手段は変換符号化処理用
ソフトウェアプログラムを実行する処理機能を有し、前
記第２の処理手段は可変長符号データの構文構築用ソフ
トウェアプログラムを実行する処理機能を有する請求項
１記載の動画像符号化復号化回路。
【請求項３】動画像の各画像フレームを画像内符号化
像，前方向予測符号化画像および両方向予測符号化画像
の３種類の予測符号化法のいずれかに基づいて符号化す
るにあたり、動画像の動き検出及び動き予測処理を実行
し且つ画像予測差分信号および画像予測信号を出力する
第１の処理手段と、前記予測符号化の実行のために必要
な画像フレームデータを保持するコアフレームメモリ手
段と、前記画像予測差分信号により変換符号化を実行し
て変換係数を出力し且つ前記画像予測信号を前記画像予
測差分信号に加算して画像復号化結果を出力する第２の
処理手段と、前記変換係数に基ずきエントロピー符号化
処理結果としてのビット可変長符号データを出力する第
３の処理手段とを有し、前記第２の処理手段における符
号化処理の開始タイミングおよび前記３つの処理手段間
のデータ転送の開始タイミングを前記第３の処理手段内
部のビデオタインミング制御部からの出力信号で制御
し、前記コアフレームメモリ手段のアドレスを前記第１
の処理手段内部のアドレス生成制御部からのアドレス出
力信号により供給することを特徴とする動画像符号化復
号化回路。
【請求項４】前記第２の処理手段は変換符号化処理用
ソフトウェアプログラムを実行する処理機能を有し、前
記第３の処理手段は可変長符号データの構文構築用ソフ
トウェアプログラムを実行する処理機能を有する請求項
３記載の動画像符号化復号化回路。
【請求項５】動画像の各画像フレームを画像内符号化
画像，前方向予測符号化画像および両方向予測符号化画
像の３種類の予測符号化法のいずれかに基づいて符号化
するにあたり、動画像の動き検出及び動き予測処理を実
行し且つ画像予測差分信号および画像予測信号を出力す
る第１の処理手段と、前記予測符号化の実行のために必
要な画像フレームデータを保持するコアフレームメモリ
手段と、前記画像予測差分信号により変換符号化を実行
して変換係数を出力し且つ前記画像予測信号を前記画像
予測差分信号に加算して画像復号化結果を出力する第２
の処理手段と、前記画像復号化結果をモニタするための
画像フレームデータを保持するモニタフレームメモリ手
段と、前記変換係数に基ずきエントロピー符号化処理結
果としてのビット可変長符号データを出力する第３の処
理手段と、前記コアフレームメモリ手段，前記第１の処
理手段および前記第２の処理手段を互いに結合する第１
のデータバスと、前記モニタフレームメモリ手段に結合
された第２のデータバスと、前記第１および第２のデー
タバスを結合するバスバッファ手段とを有し、前記コア
フレームメモリ手段のアドレスを前記第１の処理手段内
部の２次元アドレス生成部より供給し、前記モニタフレ
ームメモリ手段のアドレスを前記第３の処理手段内部の
２次元アドレス生成部より供給することを特徴とする動
画像符号化復号化回路。
【請求項６】前記第２の処理手段は変換符号化処理用
ソフトウェアプログラムを実行する処理機能を有し、前
記第３の処理手段は可変長符号データの構文構築用ソフ
トウェアプログラムを実行する処理機能を有する請求項
５記載の動画像符号化復号化回路。