JPH1175200A - 動画像符号化装置及びこれを用いた簡易復号化画像モニタ方法，制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 低消費電力化を可能とし、低コストな動画像
符号化装置を提供する。 【解決手段】 符号化順にフレーム順を並び替えるフレ
ーム順並び替え制御手段２や入力画像情報や復号化画像
情報を記憶保持する記憶媒体３，６，１３、動画像の符
号化処理を行なう動き検出手段４、記憶媒体制御手段
５、予測画像生成手段７、符号化画像判定手段８、符号
化画像選択手段９、ＤＣＴ手段１０、量子化手段１１、
可変長符号化手段１２と、局部復号化処理を行なう逆量
子化手段１４やＩＤＣＴ手段１５、復号化画像生成手段
１６とを含み、参照画像として用いない双方向予測画像
の符号化時、フレーム順並び替え制御手段２により、局
部復号処理を行なう逆量子化手段１４やＩＤＣＴ手段１
５、復号化画像生成手段１６の処理を停止させる。これ
により、符号化画像条件に従って回路を効率的に動作さ
せることができ、無駄に電力を消費させないようにする
ことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の符号化を行な
う符号化装置に係り、例えば、ビデオレコーダや画像送
信並びに受信装置などのビデオレート圧縮並びに再生装
置に適用して好適な動画像符号化装置及びこれを用いた
簡易復号化画像モニタ方法，制御方法に関する。

【０００２】

【従来の技術】ディジタル画像圧縮技術を応用した高能
率符号化処理により、画像情報をディジタルビデオディ
スク（ＤＶＤ）などに格納することや、ディジタル放送
の映像符号化方式などに用いることを目的としたISO/IE
Cで標準化されたＭＰＥＧ―２方式で、ＭＰ＠ＭＬ（Mai
n Profile，Main Level）で定義されるサブセットまで
対応する場合、空間解像度として、ＰＡＬ方式では、水
平方向及び垂直方向に最大７２０×５７６画素（ＮＴＳ
Ｃ方式の場合、７２０×４８０画素）であって、ビット
レートは最大１５Ｍｂｉｔ/秒、フレームレートは最大
２５フレーム/秒（ＮＴＳＣ方式の場合、２９．９７フ
レーム／秒）である。

【０００３】この規格に基づく動画像の符号化を行なう
符号化装置が提案されている。例えば、1997年電子情報
通信学会総合大会Ｃ−１２−３３〜３７では、１チップ
ＬＳＩと外部メモリとの構成により、実時間で符号化・
復号化を実現する場合について示されている。

【０００４】また、特開平５−２３６４６６公報に動画
像符号化装置が開示されているが、これを図１３により
説明する。但し、１は動画像情報を画像の表示順に入力
される画像情報入力端子、２０２は画像シーケンスに従
って入力画像のフレーム順を画像の符号化順に並び替え
て出力させるためのフレーム順並び替え制御回路、２０
３はフレーム順並び替え制御回路２に従って入力画像を
保持及び出力する記憶媒体、２０４はＰ画像（前方予測
符号化画像）或いはＢ画像（双方向予測符号化画像）に
対する動き検出回路、２０５は記憶媒体制御回路、２０
６は記憶媒体、２０７は予測画像生成回路、２０８は符
号化画像判定回路、２０９は符号化画像選択回路、２１
０はＤＣＴ(Discrete Cosine Transform：離散コサイン
変換)回路、２１１は量子化回路、２１２は可変長符号
化回路、２１４は逆量子化回路、２１５はＩＤＣＴ(Inv
erse Discrete Cosine Transform：逆離散コサイン変
換)回路、２１６は復号化画像生成回路、１０１は記憶
媒体、１７は符号化画像に対する符号化情報を出力する
符号化情報出力端子である。

【０００５】ここで、連続する複数個のフレームによっ
てＧＯＰ（Group of Pictures）を構成するものであ
り、また、ＧＯＰを構成する画像の種類として、通常、
それ自身の画像情報のみで符号化される画像内符号化画
像（Ｉ画像）、過去のＩ画像またはＰ画像を参照画像と
して、時間軸上で前向きの動き予測を利用して符号化さ
れる前方予測符号化画像（Ｐ画像）、過去と未来のＩ画
像またはＰ画像を参照画像として時間軸上で前向き及び
後ろ向きの動き予測を利用して符号化される双方向予測
符号化画像（Ｂ画像）の３タイプに分類される。

【０００６】ＧＯＰの構成としては、連続するＢ画像の
フレーム数で定まるＭ値によって種類分けを行なうもの
であり、例えばＭ＝３の場合、図５に示すように、ＧＯ
Ｐの先頭からフレーム順に、Ｂ画像，Ｂ画像，Ｉ画像，
Ｂ画像，Ｂ画像，Ｐ画像，……とＢ画像が連続して２フ
レーム発生するものである。また、入力動画像情報は、
８×８画素により構成されるブロック、動きベクトル検
出の対象となる１６×１６画素により構成されるマクロ
ブロックを符号化の対象して定め、予測符号化を行なう
ものである。

【０００７】図１３において、フレーム順並び替え制御
回路２０２により、Ｍ値に従って表示順に入力する入力
画像情報１ａを記憶媒体２０３に記憶保持し、符号化フ
レーム順で、かつ、ブロックスキャンによるマクロブロ
ック単位でこれを読み出し、入力画像情報２０３ａとし
て出力する。

【０００８】記憶媒体２０６では、最も最近の過去に符
号化し、かつ局部復号化処理によって再生されたＩ画像
或いはＰ画像に対する局部復号化画像情報２１６ａを、
記憶媒体制御回路２０５に従って、記憶保持し、Ｐ画像
或いはＢ画像の符号化時に、動き検出回路２０４の後段
での動き探索の参照画像として再生出力する。

【０００９】動き検出回路２０４により、Ｐ画像及びＢ
画像の予測符号化時、各マクロブロック毎に、記憶媒体
２０６より、過去のＩ画像或いはＰ画像の復号化画像情
報を参照画像として読み出して多段階で動きベクトルを
検出し、動きベクトル，予測モードとともに入力画像情
報を出力２０４ａする。この場合、各段階における動き
探索毎に、記憶媒体２０６から探索領域分の画像情報を
アクセスするものである。記憶媒体制御回路５により、
動きベクトル情報に従って、記憶媒体２０６をアクセス
し、予測画像情報２０６ａを読み出す。

【００１０】予測画像生成回路２０７により、マクロブ
ロック単位で、入力画像情報２０４ａと予測画像情報２
０６ａとの差分画像を求めて予測差分画像情報２０７ａ
を生成し、入力画像情報２０７ａと予測画像情報２０７
ｃを夫々出力する。

【００１１】符号化画像判定回路２０８及び符号化画像
選択回路２０９により、マクロブロック単位で、予測差
分画像２０７ａ（ノンイントラマクロブロック）と入力
画像２０７ｂ（イントラマクロブロック）とを比較し、
夫々を符号化した場合に符号量が小さくなる方の画像を
符号化画像として決定し、被符号化画像情報２０９ａと
して出力する。

【００１２】この被符号化画像情報２０９ａは、ＤＣＴ
回路２１０により、ブロック単位で離散コサイン変換さ
れ、量子化回路２１１で変換係数が量子化されて量子化
情報２１１ａが得られる。この量子化情報２１１ａは、
可変長符号化回路２１２において、動きベクトル情報及
び予測モードとともにビット系列に符号化され、符号化
情報２１２ａとして出力される。

【００１３】一方、この量子化情報２１１ａは、逆量子
化回路２１４及びＩＤＣＴ回路２１５により、予測差分
画像情報２１５ａとして再生され、復号化画像生成回路
２１６において、マクロブロック単位でのＩ画像或いは
Ｐ画像の局部復号処理時、イントラマクロブロックであ
る場合には、予測差分画像情報２１５ａを、ノンイント
ラマクロブロックの場合には、予測画像生成回路２０７
で生成された予測画像情報２０７ｃに予測差分画像情報
２１５ａを加算したものを、夫々局部復号化画像情報２
１６ａとして出力し、記憶媒体２０６に記憶保持させ
る。また、Ｂ画像の局部復号処理時には、局部復号化画
像情報２１６ａを記憶媒体１０１に記憶保持させる。

【００１４】また、記憶媒体制御回路２０５により、画
像のフレーム表示順でかつ走査順に記憶媒体２０６に記
憶保持されるＩ画像，Ｐ画像の復号画像情報２０６ｂと
Ｂ画像の復号画像情報１０１ａを夫々読み出し、モニタ
出力回路２２０を介してモニタ表示出力２２０ａする。

【００１５】ここで、多段階探索のため、記憶媒体２０
６へのアクセスを各段階毎に行なう必要があるものの、
各段階の探索では、サブサンプルした信号のみを用い
て、記憶媒体２０６へのアクセスをサブサンプルに応じ
て削減し、さらに、少なくとも最終段では、半画素精度
での動き探索を行なうことから、探索範囲内の画素情報
を全て読み出す必要があること、及び予測画像の生成に
は、全画素の画素情報が必要であることから、最終段の
動き探索のためのアクセスと予測画像作成のためのアク
セスを同時に行なうことにより、アクセス頻度を削減
し、メモリアクセスの効率を向上するものとしている。
また、この動画像符号化装置を実現する場合、複数のチ
ップセット及びチップ個別に用途別にメモリを用いるの
ではなく、１個のＬＳＩと用途別のメモリを１つに統合
（例えば、フレームメモリ）することにより、動画像符
号化装置の電力消費を抑えるようにしている。

【００１６】さらに、動画像の符号化時、全フレームに
対する符号化情報２１１ａは、復号化処理により復号化
画像情報を生成し、かつ、画像の表示順に復号化画像情
報をモニタ表示出力することにより、符号化処理動作を
逐次確認することができるようにしている。

【００１７】また、図示していないが、上記回路構成に
よる動画像符号化装置に、可変長符号化回路２１２と逆
順の処理を行なう可変長復号化回路を設けることによ
り、外部で再生した符号化情報をこの図示しない可変長
復号化回路に入力し、可変長復号処理により得た量子化
情報と符号化条件とに従って、上記復号化処理と同様な
処理で復号画像情報並びにモニタ表示出力することによ
り、上記した符号化処理のために用いた回路ブロックを
流用して復号化装置を実現するものである。

【００１８】

【発明が解決しようとする課題】しかしながら、上記し
た１チップのＬＳＩと、１つに統合した外部メモリ（フ
レームメモリ）などで構成する動画像符号化処理装置に
おいて、メモリアクセスの効率化によってアクセス回数
を低減することにより、電力消費を低減させる手法であ
っても、実時間内で動画像の符号化処理と、局部復号化
処理による復号化画像情報の生成並びに復号化画像情報
の表示出力を行なうことから、フレームメモリのアクセ
スバンド幅を増加させ、かつメモリアクセスの動作周波
数を高くすることにより実現するものであり、従って、
電力消費量が増大化してしまう。

【００１９】また、符号化時、参照画像として用いない
Ｂ画像に対しても、表示出力用に復号化画像情報を記憶
保持するためのフレームメモリ領域を別に用意する必要
があり、メモリ容量の増大化が避けられない。

【００２０】本発明の目的は、かかる問題を解消するた
めに、実時間で動画像の符号化処理を行なう際、符号化
処理のために用いる回路ブロックの全てを常時動作させ
るのではなく、符号化する画像の種類に応じて符号化処
理対象にない回路ブロックの動作を適時停止させ、各回
路ブロックを効率的に動作させることにより、無駄な電
力消費を抑え、かつ、符号化用に必要な最小限のメモリ
容量であっても、符号化処理状況を逐次監視できる低消
費電力で低コストな動画像符号化装置及びこれを用いた
簡易復号化画像モニタ方法，制御方法を提供するもので
あって、特に、使用可能時間の長期化を可能とする据え
置き用或いは蓄電池型の携帯用のビデオレコーダ，画像
送信並びに受信装置などのビデオレート圧縮並びに再生
に適したものとなる。

【００２１】

【課題を解決するための手段】上記した目的を達成する
ために、本発明による第１の動画像符号化装置は、入力
動画像情報をＩ画像，Ｐ画像及びＢ画像として、ＭＰＥ
Ｇ―２方式による符号化を行なう動画像符号化装置にお
いて、入力動画像情報を記憶保持する第１の記憶媒体
と、第１の記憶媒体を制御し、入力画像情報を符号化順
に並び替える制御と、局部復号化処理許可信号を出力す
るフレーム順並び替え制御手段と、後述する局部復号画
像情報を記憶保持する第２の記憶媒体と、符号化時、参
照画像として用いるＩ画像とＰ画像の入力画像情報を記
憶保持する第３の記憶媒体と、第２及び第３の記憶媒体
の書込み及び読出しを制御する記憶媒体制御手段と、Ｐ
画像及びＢ画像の符号化時、夫々の予測方向に対し、多
段階で動き探索を行ない、半画素精度の動きベクトルの
検出及び予測モードを特定する動き検出手段と、動き検
出手段により検出した動きベクトルが示す予測画像情報
と、入力画像情報との予測差分画像を生成して出力する
予測画像生成手段と、予測差分画像（ノンイントラマク
ロブロック）と入力画像（イントラマクロブロック）の
いずれかを符号化画像情報として決定し、被符号化画像
情報を出力する符号化画像判定手段と符号化画像選択手
段と、被符号化画像情報をブロック単位で離散コサイン
変換するＤＣＴ手段と、変換係数に従って量子化する量
子化手段と、該量子化手段により得られた量子化情報を
動きベクトル及び予測モードとともに可変長符号化処理
を行ない、ビット系列で表す符号化情報を出力する可変
長符号化手段と、該量子化情報を逆量子化する逆量子化
手段と、逆離散コサイン変換により予測差分画像情報を
復号するＩＤＣＴ手段と、入力画像の局部復号化時、イ
ントラマクロブロックである場合には、復号した予測差
分画像情報を、ノンイントラマクロブロックの場合に
は、復号した予測差分画像情報に前記予測画像生成手段
で生成した予測画像情報を加算して局部復号化画像情報
を夫々得る復号化画像生成手段とを具備し、該フレーム
順並び替え制御手段にから出力される局部復号化処理許
可信号により、該逆量子化手段とＩＤＣＴ手段と復号化
画像生成手段との動作を制御するものであり、入力画像
の符号化時、復号化画像情報を他の画像の予測符号化の
ための参照画像として用いないＢ画像の場合には、該逆
量子化手段とＩＤＣＴ手段と復号化画像生成手段との動
作を停止させる。

【００２２】かかる構成によると、入力動画像情報に対
する符号化方法として、Ｍ値によって符号化画像の種類
を定めるものであり、例えば、Ｍ＝３の場合、例えば、
図４に示すように、入力画像フレームと符号化画像の種
類の関係は、入力順に、Ｆ０（Ｂ画像），Ｆ１（Ｂ画
像），Ｆ２（Ｉ画像），Ｆ３（Ｂ画像），Ｆ４（Ｂ画
像），Ｆ５（Ｐ画像），……となり、また、符号化フレ
ーム順は、Ｆ２（Ｉ画像），Ｆ０（Ｂ画像），Ｆ１（Ｂ
画像），Ｆ５（Ｐ画像），Ｆ３（Ｂ画像），Ｆ４（Ｂ画
像），……となることから、第１の記憶媒体に少なくと
も３フレーム分記憶保持し、第２の記憶媒体には少なく
とも２フレーム分の復号化画像情報を記憶保持する。第
３の記憶媒体では、記憶媒体制御手段により、Ｉ画像或
いはＰ画像に相当する入力画像情報を走査変換して少な
くとも２フレーム分を記憶保持する。動き検出手段によ
り、Ｐ画像及びＢ画像の予測符号化時、前方予測とし
て、各マクロブロック毎に、第３の記憶媒体より過去の
Ｉ画像或いはＰ画像を参照画像として読み出し、動き探
索によって初段動きベクトルを検出し、この初段の動き
ベクトルに従って、第２の記憶媒体より、過去のＩ画像
或いはＰ画像の復号化画像情報を読み出し、半画素精度
の画像情報を生成し、得られた画像情報を参照画とする
動き探索により、ＭＰＥＧ２の探索精度である半画素精
度の動きベクトルを検出及び予測モードを特定する。

【００２３】予測画像生成手段により、マクロブロック
単位で、入力画像情報と予測画像情報との差分画像を求
め、予測差分画像情報を生成し、入力画像情報と予測画
像情報を夫々出力する。符号化画像判定手段及び符号化
画像選択手段により、予測差分画像（ノンイントラマク
ロブロック）と入力画像（イントラマクロブロック）と
を比較し、符号量が小さくなる画像を符号化画像として
決定し、被符号化画像情報を出力する。被符号化画像情
報は、ＤＣＴ手段と量子化手段とにより、量子化情報を
得て、可変長符号化手段により、動きベクトル情報及び
予測モードとともにビット系列に符号化し、符号化情報
を出力する。一方、量子化情報は、逆量子化手段及びＩ
ＤＣＴ手段により、予測差分画像を再生する。復号化画
像生成手段において、Ｉ画像或いはＰ画像の局部復号化
画像情報として出力し、第２の記憶媒体に記憶保持させ
る。

【００２４】ここで、Ｂ画像の符号化時、復号化画像情
報を他の画像の予測符号化のための参照画像として用い
ないことから、上記フレーム順並び替え制御手段の局部
復号化処理許可信号により、局部復号化処理を行なう、
上記逆量子化手段とＩＤＣＴ手段の動作、復号化画像生
成手段における予測画像と復号予測差分画像の加算処
理、復号化画像情報の出力、記憶媒体制御手段及び第２
の記憶媒体における復号化画像情報の書込み処理を停止
させることが可能となる。これにより、動画像の符号化
処理のために用意している回路全てを常時動作させるの
ではなく、符号化画像の特徴から、符号化処理対象にな
い回路ブロックの動作を適時停止させることが可能とな
り、符号化装置を、例えば、１チップのＬＳＩ化で実現
する場合においても、動画像の符号化処理時、各回路ブ
ロックを効率的に動作させることが可能となり、無駄な
電力消費を抑えることができる。

【００２５】また、本発明による第２の動画像符号化装
置は、上記第１の動画像符号化装置に対し、入力動画像
情報を記憶保持する前記第１の記憶媒体と、Ｉ画像及び
Ｐ画像の局部復号画像情報を記憶保持する前記第２の記
憶媒体とを夫々読出し制御し、入力画像情報び局部復号
化画像情報を表示フレーム順で、かつ走査順に出力させ
るモニタ出力制御手段と、入力画像情報と局部復号化画
像情報とのいずれかを選択し、モニタ表示出力するモニ
タ出力選択手段とを具備し、Ｉ画像及びＰ画像に対して
は、第２の記憶媒体で記憶保持する復号化画像情報を、
また、Ｂ画像については、第１の記憶媒体で記憶保持す
る入力画像情報を夫々表示順にモニタ表示出力する。

【００２６】かかる構成によると、入力画像のフレーム
順を符号化フレーム順に並び替えるために用意している
上記第１の記憶媒体で記憶保持する入力動画像情報と、
予測符号化を行なう際の参照画像情報を記憶するために
用意した第２の記憶媒体で記憶保持するＩ画像及びＰ画
像の復号化画像情報とを、モニタ出力制御手段により、
符号化画像の種類に従って、Ｂ画像の場合には、入力動
画像情報を、Ｉ画像或いはＰ画像の場合には、復号画像
情報を夫々表示フレーム順で、かつ走査順に読み出し、
モニタ出力選択手段により、表示フレーム順に、第２の
記憶媒体の復号化画像情報か、第１の記憶媒体の入力画
像情報かを選択しモニタ表示出力する。これにより、実
時間で連続したスムーズなモニタ表示出力を得るもので
ある。

【００２７】また、Ｂ画像については、入力画像情報を
選択出力することから、例えば、Ｍ＝３の場合、Ｂ画像
の復号化画像情報をモニタ表示出力する場合に比べ、第
２の記憶媒体であるフレームメモリの容量として、少な
くとも２フレーム分のメモリ容量削減が可能となり、か
つ、局部復号画像の生成処理と、フレームメモリへの書
込み処理を省けくことができることから、フレームメモ
リのアクセスバンド幅を増加させず、電力消費量を抑制
することを容易に達成できる。

【００２８】さらに、本発明による第３の動画像符号化
装置は、上記第１または第２の動画像符号化装置におい
て、動作条件として符号化処理か復号化処理かのいずれ
かを指示する処理モードを入力する処理モード入力端子
と、再生符号化情報を入力する符号化情報入力端子、再
生符号化情報を可変長復号化処理し、量子化情報と、動
きベクトル並びに予測モードを再生する可変長復号化手
段と、復号化処理する量子化情報として、前記量子化手
段の出力か、可変長復号化手段の出力かのいずれかを、
前記処理モードに従って選択する選択手段と、上記第１
〜３の記憶媒体を１つにまとめて共通の制御信号により
制御するようにした第４の記憶媒体と、第４の記憶媒体
の制御信号を選択する制御信号選択手段と、第４の記憶
媒体の書込／読出データを選択するデータ選択手段とを
具備し、上記フレーム順並び替え制御手段において、上
記処理モードに従い、上記局部復号化処理許可信号並び
に符号化処理許可信号を出力するものであり、局部復号
化処理許可信号によって上記可変長復号化手段の動作を
も制御し、また、符号化処理許可信号により、上記動き
検出手段と予測画像生成手段と符号化画像判定手段と符
号化画像選択手段とＤＣＴ手段と量子化手段と可変長符
号化手段の動作を制御し、さらには、上記第４の記憶媒
体の領域で、復号化時には、第１の記憶媒体に対応する
領域が使用されないことから、Ｂ画像に対する復号化画
像情報を記憶保持する領域に割り当てる。

【００２９】かかる構成によると、可変長復号化手段に
より、外部からの再生符号化情報を可変長復号化処理
し、量子化情報と、動きベクトル情報並びに予測モード
を再生し、逆量子化手段及びＩＤＣＴ手段により量子化
情報を復号化して、予測差分画像情報を得る。また、再
生した動きベクトル情報並びに予測モードを動き検出手
段及び予測画像生成手段に与え、動き検出手段の指示に
従って、記憶媒体制御手段により、動きベクトルに対応
する予測画像情報を第２の記憶媒体より読み出し、予測
画像生成手段により、動き検出手段の予測画像情報か、
Ｂ画像で双方向予測時には、過去及び未来の予測画像情
報を内挿補間した予測画像情報を生成して出力する。復
号化画像生成手段により、予測モードに従って予測画像
情報と予測差分画像情報とを加算し、復号化画像情報を
生成し、第４の記憶媒体に記憶保持させる。

【００３０】ここで、Ｂ画像に対する復号化画像情報
は、復号化処理時に使用しない第１の記憶媒体に対応す
る領域を割り当てる。また、フレーム順並び替え制御手
段の局部復号化処理許可信号並びに符号化処理許可信号
により、符号化時には、可変長復号化手段を、Ｂ画像の
符号化時には、ＩＤＣＴ手段と逆量子化手段と復号化画
像生成手段とを、また、復号化時には、動き検出手段に
おける動き探索処理と予測画像生成手段の差分画像生成
処理と、符号化画像判定手段と符号化画像選択手段とＤ
ＣＴ手段と量子化手段と可変長符号化手段とを、Ｉ画像
の復号化時には、さらに、動き検出手段と予測画像生成
手段の動作を停止することが可能となる。

【００３１】このように、符号化のために用意した回路
ブロックと、メモリ領域を流用して何らメモリ領域の追
加を必要とせずに復号化処理を有する符号化装置を構成
できる。

【００３２】また、１チップのＬＳＩと外部メモリとを
分けた構成とした場合であっても、符号化画像の種類に
従って、無駄な外部メモリアクセスを停止させることに
より、データ線及び制御信号線での無駄なバタツキの発
生を低減でき、電力消費の低減のみならず、電源ノイ
ズ、輻射ノイズ発生の低減化を容易に達成できる。

【００３３】また、１チップのＬＳＩで復号化処理を有
する符号化装置を構成する場合であっても、符号化処理
と復号化処理のために用意している回路ブロックの全て
を常時動作させるのではなく、符号化或いは復号化する
画像の種類に従って、符号化処理或いは復号化処理対象
にない回路ブロックの動作を適時停止させ、各回路ブロ
ックを効率的に動作させることにより、無駄な電力消費
を抑え、低消費電力で低コストな動画像符号化装置を達
成できる。

【００３４】

【発明の実施の形態】以下、本発明の実施形態を図面を
用いて詳細に説明する。

【００３５】図１は本発明による動画像符号化装置及び
これを用いた復号化画像モニタ方法，制御方法の第１の
実施形態を示すブロック図であって、１は表示順に入力
される画像情報の入力端子、２は画像シーケンスに従っ
て入力画像のフレーム順を画像の符号化順に並び替えて
出力させるためのフレーム順並び替え制御回路、３はフ
レーム順並び替え制御回路２に従う入力画像を保持及び
出力する第１の記憶媒体、４はＰ画像或いはＢ画像に対
する動き検出回路、５は記憶媒体制御回路、６は第２の
記憶媒体、７は予測画像生成回路、８は符号化画像判定
回路、９は符号化画像選択回路、１０はＤＣＴ(Disｃre
te Cosine Trａnsform)回路、１１は量子化回路、１２
は可変長符号化回路、１３は第３の記憶媒体、１４は逆
量子化回路、１５はＩＤＣＴ(Inverse Disｃrete Cosin
e Trａnsform)回路、１６は復号化画像生成回路、１７
は符号化画像に対する符号化情報を出力する符号化情報
出力端子、１８はモニタ出力回路、１９はモニタ出力端
子である。

【００３６】この実施形態では、ＭＰＥＧ―２規格に基
づく動画像の符号化・復号化において、ＭＰ＠ＭＬ（M
ａin Profile、Mａin Level）で定義されるサブセット
まで対応するものとし、前述のように、空間解像度とし
て、ＰＡＬ方式の場合、水平方向及び垂直方向に最大７
２０×５７６画素（ＮＴＳＣ方式の場合には、７２０×
４８０画素）で、画像形式としてＣＣＩＲ ６０１規格
（４：２：２フォーマット）の色差信号を垂直方向に
２：１にサブサンプルした画像（４：２：０フォーマッ
ト）を扱うものである。従って、輝度信号は、ＰＡＬ方
式の場合、最大７２０×５７６画素（ＮＴＳＣ方式の場
合には、７２０×４８０画素）で色差信号が夫々、ＰＡ
Ｌ方式の場合、最大３６０×２８８画素（ＮＴＳＣ方式
の場合には、３６０×２８８画素）に対して符号化を行
なうものであり、ビットレートは最大１５Ｍbit／秒で
ある。

【００３７】入力動画像情報の種類は、飛越し走査であ
るインターレース画像と順次走査であるプログレシブ画
像とを対象とし、符号化の対象となる８×８画素により
構成されるブロックと、動きベクトル検出の対象となる
１６×１６画素により構成されるマクロブロックとを定
めている。また、予測方法として、インターレース画像
を扱う場合には、フィールド間予測或いはフレーム間予
測で適応的に切り替えることにより、予測効率を改善す
るものである。例えば、動きのある画像はフィールド間
予測により、また、静止画部分についてはフレーム間予
測を行なうことにより、予測誤差を最小にするものであ
る。

【００３８】また、半画素精度での動き探索により、動
き予測を行なうことが規定されている。さらに、予測誤
差信号を符号化する際に、予測誤差信号をＤＣＴにより
変換し、変換係数を符号化するのであるが、マクロブロ
ック単位で、フレームに対してＤＣＴを行なう場合（フ
レームＤＣＴ）か、フィールドに分けてＤＣＴ行なう場
合（フィールドＤＣＴ）かのいずれかであって、符号化
情報量が小さくなる方を適応的に選択するものである。
この決定には、実際に夫々の符号化情報量を求めた上で
比較してもよいが、一般的に、差分信号の高周波成分の
パワーを比較して決定することにより、演算量の増大化
を抑えている。

【００３９】画像を再生する際に、ランダム・アクセス
して画像を復号できるようにするための符号化画像の構
造として、連続する複数個のフレームによってＧＯＰ
（Group of Pictures）を構成する。ＧＯＰを構成する
画像の種類として、通常、自身の画像情報のみで符号化
される画像内符号化画像（Ｉ画像）、過去のＩ画像また
はＰ画像を参照画像として、時間軸上で前向きの動き予
測を利用して符号化される予測符号化画像（Ｐ画像）、
過去と未来のＩ画像またはＰ画像を参照画像として、時
間軸上で前向き及び後向きの動き予測を利用して符号化
される双方向予測符号化画像（Ｂ画像）の３タイプで分
類されるものである。

【００４０】また、ＧＯＰ内の画像シーケンスとして、
Ｍ値で表わされ、例えば、Ｍ＝３の場合には、画像の入
力順(Ｆ０，Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，……)と画
像の符号化のタイプ(Ｉ画像，Ｐ画像，Ｂ画像)との関係
は、画像の入力順にＦ０(Ｂ画像），Ｆ１(Ｂ画像），Ｆ
２(Ｉ画像），Ｆ３(Ｂ画像），Ｆ４(Ｂ画像），Ｆ５(Ｐ
画像），……の関係にあり、Ｂ画像は前後のＩ画像或い
はＰ画像間に連続して２フレーム発生する。また、Ｍ＝
２の場合には、同じくＢ画像が連続して１フレーム、Ｍ
＝１の場合には、Ｉ及びＰ画像のみにより構成される。
一方、Ｍ＞３の場合には、数値の増加分Ｂ画像の連続フ
レーム数が増える。

【００４１】ここで、この実施形態では、画像の符号化
条件としては、Ｍ値で表わされる画像シーケンスとし
て、Ｍ＝３とする。

【００４２】また、各フレームに対する符号化処理を１
フレーム以内に収めることにより、実時間処理を実現す
るものである。

【００４３】また、ＧＯＰ先頭のＢ画像（Ｆ０，Ｆ１）
については、前のＧＯＰの最も新しい過去のＩ画像或い
はＰ画像を参照画像とする前方予測及び後方予測による
予測を行なうか、あるいは、後方予測のみによる予測を
行なうものであるが、この実施形態では、説明を簡単に
するために、後方予測のみによる予測を行なうものとす
る。

【００４４】次に、この実施形態の動作を図２を用いて
詳細に説明する。なお、図２は図１における主な回路ブ
ロックの処理を示すタイミング図である。

【００４５】図１において、符号化の対象となる４：
２：２フォーマット或いは４：２：０フォーマットで表
わされる入力動画像情報１ａが表示順に入力端子１から
入力される。ここで、この実施形態では、Ｍ値の最大値
を３に限定しており、例えば、Ｍ＝３の場合、入力動画
像情報１ａのフレーム順と画像シーケンスの関係は、前
述したように、Ｆ０（Ｂ画像），Ｆ１（Ｂ画像），Ｆ２
（Ｉ画像），Ｆ３（Ｂ画像），Ｆ４（Ｂ画像），Ｆ５
（Ｐ画像），……となる。

【００４６】この入力動画像情報１ａは、フレーム順並
び替え制御回路２及び記憶媒体３により、４：２：２フ
ォーマットで表わされる場合には、４：２：０フォーマ
ットに変換され、４：２：０フォーマットである場合に
は、フォーマット変換されず、フレーム順並び替え制御
回路２の指示２ａに従って、一旦記憶媒体３に記憶保持
され、Ｍ値に従う画像シーケンスに従って、符号化順に
対応するフレーム或いはフィールド単位で、かつブロッ
クスキャンによるマクロブロック単位で読み出され、入
力画像情報３ａとして出力される。

【００４７】ここで、入力画像情報３ａの出力フレーム
順は、先頭２フレームＦ０，Ｆ１の符号化タイプがＢ画
像であることから、Ｉ画像であるフレームＦ２を先に符
号化する必要があり、従って、Ｆ２（Ｉ画像），Ｆ０
（Ｂ画像），Ｆ１（Ｂ画像），Ｆ５（Ｐ画像），Ｆ３
（Ｂ画像），Ｆ４（Ｂ画像），……となる。

【００４８】この場合、フレーム順を並び替え及びブロ
ックスキャンを行なうために必要な記憶媒体３（例え
ば、フレームメモリ）の容量として、少なくとも、３フ
レーム分用意するものである。また、各フレームに対す
る符号化処理が１フレーム以内に収まるように、入力画
像情報３ａの出力タイミングが定められる。

【００４９】フレーム順並び替え制御回路２は、符号化
を行なう画像のタイプとして、例えば、Ｉ画像，Ｐ画
像，Ｂ画像を夫々“０１”“１０”“１１”で示す２ビ
ットからなる符号化画像条件情報２ｂと、後述するが、
Ｂ画像の符号化時、局部復号化処理を行なうか否かを示
す復号許可信号２ｃとを夫々出力する。

【００５０】記憶媒体制御回路５と記録媒体１３とは、
符号化画像条件情報２ｂに従って、マクロブロック単位
で入力される入力画像情報３ａでＩ画像或いはＰ画像に
相当する画像情報を走査変換して記憶保持するものであ
り、Ｐ画像またはＢ画像の符号化時、符号化を行なうマ
クロブロックに対し、過去及び未来のＩ画像或いはＰ画
像を参照画として、動き探索を行なう範囲で画像情報１
３ａを出力する。

【００５１】ここで、Ｂ画像の符号化時には、時間軸上
で前向き及び後ろ向きの動き予測を行なうことから、過
去及び未来のＩ画像或いはＰ画像の２フレーム必要であ
り、記録媒体１３の記憶容量として、少なくとも２フレ
ーム分記憶保持するものである。

【００５２】なお、動き検出を多段で求める場合には、
その初段階において、記録媒体１３で記憶保持している
入力画像を参照画像として用い、かつ、動き探索を行な
う精度を粗くするのであれば、記憶媒体１３の容量は、
少なくとも探索精度を粗くした分、容量の削減が可能に
なる。例えば、探索精度として、水平方向を２画素精度
と粗く探索するのであれば、記録媒体１３で必要とする
容量を半減できる。また、動き探索時には、輝度信号の
みを対象とするのであれば、色信号を記憶保持するだけ
の容量を削減できる。

【００５３】次に、各画像のタイプ（Ｉ画像、Ｐ画像、
Ｂ画像）毎の各回路の動作について説明する。

【００５４】まず、Ｉ画像の場合の、例えば、Ｆ２フレ
ームの処理について説明する。

【００５５】前述したように、Ｉ画像については、マク
ロブロック単位で画像内符号化（イントラマクロブロッ
ク）を行なうことから、動き検出回路４と予測画像生成
回路７では、画像転送に必要な処理以外に何ら処理され
ることはなく、入力画像７ｂを出力する。符号化画像判
定回路８においては、イントラマクロブロックであるこ
とから、入力画像７ｂを符号化画像として選択するため
の選択信号８ａを出力する。

【００５６】さらに、入力画像がインタレース画像の場
合、ブロック構成として、フレーム単位或いはフィール
ド単位のいずれの構成によりＤＣＴを行なうかを、マク
ロブロック単位で、差分信号の高周波成分のパワーの比
較により、決定並びにブロック構成選択信号８ｂを出力
する。

【００５７】符号化画像選択回路９では、符号化画像判
定回路８のこれら出力信号８ａ，８ｂに応じて入力画像
７ｂが選択され、かつブロック構成選択信号８ｂの指示
に従ってフレーム単位，フィールド単位のいずれかによ
りブロックが構成され、符号化画像情報９ａとして出力
される。

【００５８】ここで、Ｉ画像の符号化時、動き検出回路
４と予測画像生成回路７での動き探索，予測画像の生
成，入力画像と予測画像との差分画像情報の算出などに
必要な処理を停止させるものである。

【００５９】被符号化画像情報９ａは、ＤＣＴ回路１０
と量子化回路１１とにより、ブロック単位で離散コサイ
ン変換と変換係数への量子化との処理を行ない、量子化
情報１１ａを出力する。

【００６０】可変長符号化回路１２では、この量子化情
報１１ａが、符号化時の予測条件，動きベクトル情報，
ＤＣＴのブロック構成条件などの符号化条件とともに可
変長符号化処理され、ビット系列で表わされる符号化情
報１２ａとして出力される。得られたこの符号化情報１
２ａは、Ｆ２フレームに対する符号化情報Ｆ２_ｅとし
て、出力端子１７から出力される。

【００６１】一方、量子化回路１１から出力される量子
化情報１１ａは、符号化条件に従って、逆量子化回路１
４とＩＤＣＴ回路１５とにより、ＤＣＴ回路１０と量子
化回路１１とは逆の処理がなされ、予測差分画像情報１
５ａを出力される。Ｉ画像に対する復号処理では、復号
化画像生成回路１６は、この予測差分画像情報１５ａそ
のものをＩ画像に対する局部復号化画像情報１６ａとし
て出力する。この局部復号化画像情報１６ａは、Ｆ２フ
レームに対する局部復号画像Ｆ２_edとして、記憶媒体
制御回路５からの指示５ｂに従って記録媒体６に記憶保
持される。

【００６２】次に、Ｐ画像の場合について説明する。こ
の場合のフレームは、図２において、例えば、Ｆ５フレ
ームである。

【００６３】この場合には、過去のＩ画像であるＦ２フ
レームを動き探索を行なう際の参照画として用いる。

【００６４】まず、Ｆ５フレームの入力画像情報３ａ
が、マクロブロック単位で、記録媒体３から動き検出回
路４に供給される。一方、入力画像情報３ａのこのＦ５
フレームは、Ｐ画像に対するものであることから、記憶
媒体制御回路５により、記録媒体１３のＩ画像であるＦ
２フレームが記憶保持しているエリアとは別のエリアに
走査変換されて記憶保持される。

【００６５】動き検出回路４は、各マクロブロックに対
し、フレーム及びフィールド単位で半画素精度での動き
探索による動きベクトル検出を行なうものである。ここ
で、フレーム内全域で動き探索を行なうのであれば、全
く問題ないのであるが、実時間で動き探索を行なうこと
から、探索範囲として、マクロブロックの周辺領域に限
定するか或いは周囲のマクロブロックに対する動き探索
結果である動きベクトルを予測ベクトルとし、予測ベク
トルが示す領域の周辺領域に限定することにより、探索
に要する時間を短縮するものである。

【００６６】さらに、多段階で動き探索を行なうもので
あり、動き探索を行なう際の探索精度と探索範囲とし
て、初段では、複数画素精度、例えば、２画素精度で探
索を行なって初段動きベクトルを決定し、次段では、初
段動きベクトルが示す周辺領域に探索範囲を狭め、整数
画素精度で動き探索により次段動きベクトルを決定し、
同様に、後段では、次段動きベクトルの示す周辺領域に
探索範囲を狭め、半画素精度で動き探索により動きベク
トルを決定するものである。さらに、動き探索結果であ
る予測精度に応じて、予測条件としてフィールド予測か
フレーム予測かを決定するものである。

【００６７】この実施形態では、説明を簡単にするため
に、次段の処理を省いて以下説明する。

【００６８】つまり、各マクロブロックに対して、初段
の処理として、Ｆ２フレームの入力画像において、探索
精度及び探索範囲に一致する画像情報を記録媒体１３よ
り読み出す。この場合、参照画素を間引いて粗く探索す
るものの、処理時間に収まる範囲内でより広範囲に探索
を行なうことにより、動きベクトルを検出し、これを初
段動きベクトル４ｂとして出力する。

【００６９】動き探索の後段では、半画素精度で動き探
索を行なうことから、初段動きベクトル４ｂに従い、記
憶媒体制御回路５による制御信号５ｂにより、記録媒体
６に記憶保持されているＦ２フレームの局部復号画像と
しての画像情報Ｆ２_edのうち、初段動きベクトル４ｂ
が示す位置でマクロブロックサイズより半画素分大きい
１８×１８画素の画像情報を参照画像６ａとして出力す
る。動き検出回路４では、整数画素精度であるこの参照
画像６ａから、画素間の補間処理により、半画素精度の
参照画像が生成され、得られたこの半画素精度の参照画
像に対し、ＭＰＥＧ―２の探索精度である半画素精度で
の動き探索が行なわれ、動きベクトル及び予測モードが
特定される。この場合、参照画像のサイズをさらに広げ
ることにより、初段での動きベクトル探索精度を補うよ
うにしてもよい。

【００７０】このように、特定した動きベクトルが示す
画像情報が予測画像４ｃとして、入力マクロブロックの
画像情報が入力画像４ａとして夫々動き検出回路４から
出力される。さらに、図示しないが、得られた半画素精
度の動きベクトル情報と予測モードとが可変長符号化回
路１２に出力される。

【００７１】予測画像生成回路７では、マクロブロック
単位で入力画像情報４ａと予測画像情報６ａとの差分が
求められ、予測差分画像を７ａとして出力される。ま
た、入力画像情報７ｂと予測画像情報７ｃも出力され
る。

【００７２】符号化画像判定回路８では、これら予測差
分画像７ａと入力画像７ｂとが比較され、それらのうち
の符号化した場合に符号量が小さくなる方の画像が符号
化画像として決定されるものであり、これが入力画像７
ｂである場合には、イントラマクロブロック、予測差分
画像７ａである場合には、予測符号化画像（ノンイント
ラマクロブロック）、また、動き予測により、予測差分
画像７ａと入力画像７ｂが完全に一致した場合には、符
号化が不要な画像（スキップマクロブロック）とする選
択信号８ａが出力される。さらに、入力画像がインタレ
ース画像の場合には、ブロック構成として、フレーム単
位或いはフィールド単位の何れの条件でＤＣＴを行なう
かを、マクロブロック単位で夫々の符号化量を比較して
最小となる条件を定め、ブロック構成の決定並びにブロ
ック構成選択信号８ｂが出力される。

【００７３】符号化画像選択回路９では、符号化画像判
定回路８の出力信号８ａ，８ｂに応じて、入力画像７ｂ
または予測差分画像７ａが選択し、かつブロック構成選
択信号８ｂの指示に従ってブロックが構成され、被符号
化画像情報９ａとして出力される。この被符号化画像情
報９ａは、Ｉ画像の場合と同様に、ＤＣＴ回路１０と量
子化回路１１とによって処理され、量子化情報１１ａと
して出力される。

【００７４】可変長符号化回路１２では、この量子化情
報１１ａが、符号化時の予測条件や動きベクトル情報，
ＤＣＴのブロック構成条件などの符号化条件とともに可
変長符号化処理され、ビット系列で表わされる符号化情
報１２ａとして出力される。得られたこの符号化情報１
２ａは、Ｆ５フレームのＰ画像に対する符号化情報Ｆ５
_ｅとして、出力端子１７から出力される。

【００７５】一方、この量子化情報１１ａは、Ｉ画像の
場合の処理と同様に、符号化条件に従って、逆量子化回
路１４とＩＤＣＴ回路１５により、逆量子化処理及び逆
ＤＣＴ処理がなされ、予測差分画像情報１５ａとして出
力される。

【００７６】復号化画像生成回路１６では、上記の符号
化条件に従って、ノンイントラマクロブロックの場合、
この予測差分画像情報１５ａとこれに対応するブロック
の予測画像情報７ｃとが加算され、局部復号化画像情報
１６ａとして出力される。また、イントラマクロブロッ
クの場合には、この予測差分画像情報１５ａが局部復号
化画像情報１６ａとして出力される。さらに、スキップ
マクロブロックの場合には、予測画像情報７ｃが局部復
号化画像情報１６ａとして出力される。このようにして
得られた局部復号化画像情報１６ａは、Ｆ５フレームに
対する局部復号画像Ｆ５_ed として、記憶媒体制御回路
５の指示５ｂのもとに、記録媒体６に記憶保持させる。

【００７７】次に、Ｂ画像の場合について説明する。こ
の場合のフレームは、図２において、例えば、Ｆ０，Ｆ
３フレームである。

【００７８】この場合には、Ｂ画像の符号化に、過去と
将来のＩ画像またはＰ画像を参照画像として時間軸上で
前向き及び後向きの双方向の動き予測を利用ものであ
る。また、Ｆ０フレームの場合、前述のように、ＧＯＰ
先頭のＢ画像であることから、その予測方向は、後方予
測のみである。従って、未来のＩ画像であるＦ２フレー
ムが動き探索を行なう際の参照画として用いられる。

【００７９】予測符号化の基本動作としては、上記のＦ
５フレームのＰ画像に対する場合と同様の処理を行なう
ものであり、Ｆ０フレームの場合、Ｆ０フレームの符号
化画像情報３aを順次動き検出回路４に供給する。予測
方向が後方予測のみであり、参照画像として、初段で
は、Ｆ２フレームの入力画像であるところの記録媒体１
３で記憶保持しているＦ２のＩ画像情報を、後段では、
Ｆ２フレームの局部復号画像であるところの記録媒体６
で記憶保持している画像情報Ｆ２_edを夫々用い、動き
探索により、半画素精度の動きベクトルとフレーム予測
かフィールド予測かのいずれかの予測モードを特定す
る。

【００８０】ここで、前方予測に対する処理が不要とな
ることから、参照画像を取り込むためのメモリアクセス
処理や動き探索処理などの前方予測に対する処理を停止
させるようにしても良い。また、先頭Ｂ画像の場合、予
測方向を後方予測のみに限定した場合には、Ｐ画像に対
する予測処理と同一化させることにより、Ｂ画像であっ
ても、広範囲な動き探索を行なうようにしてもよい。

【００８１】一方、Ｆ３フレームの場合には、前方予
測，後方予測を夫々行なうものであるが、前方予測の場
合にはＦ２フレーム、後方予測の場合にはＦ５フレーム
を夫々参照画として用いる。この参照画像であるＦ２フ
レームの入力画像で設定される探索範囲で一致する画像
情報を記録媒体１３から読み出し、動き探索により動き
ベクトルを定め、動きベクトル情報４ｂを出力する。

【００８２】後段では、初段の動きベクトル情報４ｂに
従って、Ｆ２フレームの局部復号画像であるところの記
録媒体６に記憶保持している画像情報Ｆ２_edを参照画
として読み出し、画素間の補間処理によって半画素精度
の参照画像を生成し、この得られた半画素精度の参照画
像に対して動き探索を行ない、前方予測に対する半画素
精度の動きベクトルと予測モードを特定する。同様に、
後方予測の場合には、Ｆ５フレームを参照画像として、
上記の前方予測の場合と同様な処理により、半画素精度
の動きベクトルと予測モードを特定する。

【００８３】ここで、初段の動き探索範囲をＰ画像の場
合よりも狭くすることにより、後方予測及び前方予測を
同一フレーム内で完結するものである。

【００８４】予測画像生成回路７では、Ｆ０フレームの
場合、予測画像として後方予測画像のみであり、各マク
ロブロック単位で入力画像情報４ａと予測画像情報６ａ
との差分が求められ、その予測差分画像７ａと入力画像
７ｂと予測画像情報７ｃとが出力される。また、Ｆ３フ
レームの場合には、各マクロブロック単位で入力画像情
報４ａと予測画像情報６ａとの差分が求められる。

【００８５】ここで、前方予測時と後方予測時との夫々
の予測画像情報とこれら予測画像情報から内挿補間によ
って求められた双方向予測画像情報との３種の予測画像
情報について夫々入力画像情報４ａとの差分が算出さ
れ、マクロブロック内で各画素に対する差分値でその絶
対値の累計（以下、絶対値差分和という）が求められ、
３種の予測画像情報のうちで絶対値差分和が最も小さく
なるものが予測方向並びに予測差分画像として決定され
て、予測差分画像７ａ，入力画像７ｂ及び予測画像情報
７ｃが出力される。

【００８６】符号化画像判定回路８，符号化画像選択回
路９，ＤＣＴ回路１０，量子化回路１１及び可変長符号
化回路１２は、Ｂ画像の符号化時では、上記のＰ画像に
おける処理と同様に動作し、これにより、Ｆ０フレーム
或いはＦ３フレームに対する符号化情報Ｆ０_ｅ或いは
符号化情報Ｆ３_ｅが生成され、出力端子１７から出力
される。

【００８７】一方、逆量子化回路１４，ＩＤＣＴ回路１
５及び復号化画像生成回路１６では、Ｐ画像の場合と同
様の処理により、Ｂ画像に対する局部復号化画像が生成
されるようにしてもよいが、Ｂ画像は、他の画像の符号
化における参照画像として用いられることはなく、これ
に対する局部復号化画像が存在しなくても、入力画像の
符号化を実現することができる。このため、１ビットか
らなる復号許可信号２ｃが、局部復号化処理を行なう場
合に“１”を、それ以外に“０”を夫々表わすものとす
ると、Ｂ画像に対する符号化処理タイミングで“０”を
指示した場合には、Ｂ画像に対する局部復号化処理動作
を停止するものである。これにより、逆量子化やＩＤＣ
Ｔの演算処理，復号化画像生成回路１６における予測画
像と復号予測差分画像との加算処理，復号化画像情報１
６ａの出力，記憶媒体制御回路５による記憶媒体６での
復号化画像情報１６ａの書込み処理を停止させる。ま
た、この際、復号化画像生成回路１６へのＢ画像に対す
る予測画像情報７ｃの出力を停止させるようにしてもよ
い。

【００８８】モニタ出力回路１８は、表示フレーム順に
入力される入力動画像情報１ａをそのままモニタ出力１
８ａとして出力端子１９から出力する。なお、入力動画
像情報１ａが４：２：０フォーマットである場合には、
４：２：２フォーマットに変換して出力するようにして
もよい。

【００８９】以上のように、この実施形態では、ＭＰＥ
Ｇ―１／ＭＰＥＧ―２などの動画像符号化装置におい
て、動画像の符号化処理のために用意している回路の全
てを常時、動作させるのではなく、符号化画像条件に応
じて、符号化処理の対象でない回路ブロックの動作を適
時停止させることが可能になる。これにより、この実施
形態による符号化装置を、例えば、１チップのＬＳＩ化
で実現する場合でも、動画像の符号化処理時、各回路ブ
ロックを効率的に動作させることが可能となり、無駄に
消費されていた電力をなくして低消費電力化を容易に達
成できる。

【００９０】また、１チップのＬＳＩであっても、フレ
ームメモリなどのメモリをも１チップ内に収めることも
可能であるが、チップの低コストを狙う場合では、チッ
プサイズがメモリ容量分増大化し、製造コストなどの面
で不経済である。このことから、一般に、ＬＳＩと外部
メモリとを分けた構成で実現しているが、この実施形態
によれば、無駄な外部メモリアクセスを停止させること
により、データ線及び制御信号線での無駄なバタツキの
発生を低減でき、電力消費の低減のみならず、電源ノイ
ズや輻射ノイズ発生の低減化を容易に達成できる。

【００９１】この実施形態では、ＧＯＰ構造の画像シー
ケンスとしてＭ＝３の場合についてのみ説明したが、Ｍ
＝２の場合であっても、Ｂ画像の符号化時では、上記と
同じ処理を行なって局部復号化画像生成に関する動作を
停止させることにより、同様の効果を得られることはい
うまでもない。

【００９２】また、この実施形態では、記録媒体３が３
フレーム分記憶保持する記憶容量を有するものとした
が、勿論、この記憶容量の増大化してフレーム順の並び
替えで可能なフレーム数を増やすことにより、Ｍ＞３と
した場合であっても、同様の効果を得られることはいう
までもない。

【００９３】さらに、この実施形態においては、符号化
処理及び復号化処理として、ＤＣＴを用いたものとした
が、勿論、これに限らず、他の符号化方法，復号化方法
を用いてもよく、上記の制御方法により、低消費電力化
を達成できることはいうまでもない。

【００９４】図３は本発明による動画像符号化装置及び
これを用いた簡易復号化画像モニタ方法，制御方法の第
２の実施形態を示すブロック図であって、２０はモニタ
出力制御回路、２１はモニタ出力選択回路であり、図１
に対応する部分には同一符号をつけて重複する説明を省
略する。

【００９５】また、図４は図３における主な回路ブロッ
クでの処理を示すタイミング図であって、図３に対応す
るものには同一符号をつけている。

【００９６】図３において、図１に示した実施形態と同
様、記録媒体３には、表示順に入力される３フレーム分
の入力画像情報１ａが４：２：０フォーマットで記憶保
持され、記録媒体６には、図１に示した示した実施例で
の符号化処理により、最も新しい過去に入力画像情報１
ａの符号化を行ない、かつその符号化情報を局部復号化
処理して得られた２フレーム分のＩ画像或いはＰ画像の
復号化画像情報が記憶保持され、さらに、記憶媒体３，
６では、４：２：０フォーマットで画像の走査順に画像
情報が記憶される。

【００９７】モニタ出力制御回路２０は、フレーム順並
べ替え制御回路２からの後述するモニタ表示モード２ｄ
により、所定のタイミングで記憶媒体３，６の読出し制
御を行ない、入力画像情報３ｂと局部復号化画像情報６
ｂを走査順及び表示フレーム順に出力させる。

【００９８】一方、モニタ出力選択回路２１では、モニ
タ出力制御回路２０からのモニタ出力選択信号２０ｃに
より、表示順に入力画像情報３ｂと局部復号化画像情報
６ｂとのいずれかが選択され、出力端子１９からモニタ
表示出力２１ａとして出力される。ここで、図１での第
１の実施形態のように、モニタ出力回路１８により、
４：２：０フォーマットで表わされる画像情報を４：
２：２フォーマットに変換して出力するようにしてもよ
い。

【００９９】まず、ＧＯＰ構造の画像シーケンスとし
て、Ｍ＝３の場合のこの実施形態の動作を図４を用いて
説明する。

【０１００】ここでは、Ｉ画像及びＰ画像については、
記録媒体６で記憶保持している符号化時の参照画像用の
復号化画像情報６ｂ（Ｆ２_ed，Ｆ５_ed，……）を、Ｂ
画像については、記録媒体３で記憶保持している入力画
像情報３ｂ（Ｆ０，Ｆ１，Ｆ３，Ｆ４，……）を夫々モ
ニタ表示出力２１ａとして出力するものであり、表示フ
レーム順に対応するフレームの画像情報を走査順に読み
出し、モニタ出力選択信号２０ｃにより、モニタ出力選
択回路２１で入力画像情報３ｂと局部復号化画像情報６
ｂとのいずれかを選択し、出力端子１９からモニタ表示
出力２１ａ（Ｆ０，Ｆ１，Ｆ２_ed，Ｆ３，Ｆ４，Ｆ５_
ed，……)として出力する(図４でのモニタ表示モード
１）。

【０１０１】図６はこの実施形態のＭ＝２の場合での処
理を示すタイミング図である。

【０１０２】同図において、Ｍ＝２の場合、入力画像フ
レーム順と画像シーケンスとの関係として、画像の入力
順にＦ０（Ｂ画像），Ｆ１（Ｉ画像），Ｆ２（Ｂ画
像），Ｆ３（Ｐ画像），Ｆ４（Ｂ画像），Ｆ５（Ｐ画
像），……の関係があり、Ｉ画像或いはＰ画像は２フレ
ーム毎に発生するものである。従って、モニタ出力選択
回路２１では、表示順に入力画像情報３ｂ（Ｆ０，Ｆ
２，Ｆ４，……）と復号化画像情報６ｂ（Ｆ１_ed，Ｆ
３_ed，Ｆ５_ed，……）とを切り替えてモニタ表示出力
２１ａ(Ｆ０、Ｆ１_ed、Ｆ２、Ｆ３_ed、Ｆ４、Ｆ５_e
d，……）として出力する（図６でのモニタ表示モード
１）。

【０１０３】図６はこの実施形態のＭ＝１の場合での処
理を示すタイミング図である。

【０１０４】同図において、Ｍ＝１の場合、入力画像フ
レーム順と画像シーケンスとの関係として、画像の入力
順にＦ０(Ｉ画像），Ｆ１(Ｐ画像），Ｆ２(Ｐ画像），
Ｆ３(Ｐ画像），Ｆ４(Ｐ画像），Ｆ５(Ｐ画像），……
の関係にあり、Ｉ画像或いはＰ画像により構成される。
また、符号化順は表示順に一致し、フレーム順の並び替
え処理が不要となる。さらに、局部復号化画像情報１６
ａは、全てのフレームについて生成される。従って、モ
ニタ出力選択回路２１では、表示順に復号化画像情報６
ｂ(Ｆ０_ed，Ｆ１_ed，Ｆ２_ed，Ｆ３_ed，Ｆ４_ed，Ｆ
５_ed，……)をモニタ表示出力２１ａとして出力する
(図６でのモニタ表示モード１）。

【０１０５】以上のように、この実施形態では、第１の
実施形態と同様の効果とともに、動画像の符号化のため
に用いるフレームメモリである限られたメモリ容量だけ
で、何ら新たなフレームメモリを追加することなく、記
録媒体３，６に記憶保持されている入力画像情報と復号
化画像情報をモニタ表示用に流用することができ、かつ
画像表示順に併せて選択出力することが可能となり、簡
易的に復号化画像情報のモニタ表示出力を得ることが可
能となる。これにより、表示フレーム順にモニタ表示さ
れることから、動画像をより滑らかで自然な画像として
モニタ出力が得られる。

【０１０６】また、Ｂ画像に対しては、入力画像情報を
モニタ出力するために、視覚的に符号化処理の動作状況
を監視できないものの、参照画として用いられるＩ画像
或いはＰ画像については、符号化状況を逐次モニタでき
ることから、視覚的に符号化動作状況を監視でき、万が
一参照画像の符号化処理に不具合が発生して後続の符号
化画像への不具合伝搬が発生するような場合であって
も、早期に検証可能になる。

【０１０７】さらに、Ｍ＝１の場合にあっては、全フレ
ームの復号化画像情報をモニタ表示出力することが可能
となり、符号化画像に対する符号化状況を逐次モニタで
きることから、視覚的に符号化動作状況を監視すること
が可能になる。

【０１０８】ここで、この実施形態では示していない
が、勿論、記録媒体３の記憶容量を拡張し、フレーム順
の並び替え可能なフレーム数を増やすことにより、Ｍ＞
３とした場合であっても、この実施形態で示した同様な
処理により、Ｉ画像及びＰ画像については復号化画像情
報をモニタ表示出力するものである。

【０１０９】また、記憶媒体３，６としてのフレームメ
モリは動画像符号化のために用いるものであり、マクロ
ブロック単位でブロックスキャンにより読み出す動画像
符号化処理のためのアクセスタイミングと、表示走査順
に読み出すモニタ表示出力するためのアクセスタイミン
グとを競合しないように制御するものである。もっと
も、使用するフレームメモリのアクセス速度の高速化に
より、競合しないアクセスタイミング制御を容易に達成
できることはいうまでもない。

【０１１０】ここで、この第２の実施形態における図４
〜図６での他のモニタ表示モードについて説明する。

【０１１１】まず、図４において、Ｍ＝３の場合には、
局部符号化画像情報であるＩ画像或いはＰ画像は３フレ
ーム毎に更新されることから、記録媒体６で記憶保持し
ている最も新しい過去に局部復号化されたＩ画像或いは
Ｐ画像に対する復号化画像情報６ｂ（Ｆ２_ed，Ｆ５_e
d，……）のみを符号化順にモニタ表示出力２１ａとし
て出力するものであり、同一フレームの情報を３フレー
ム連続して、Ｆ２_ed，Ｆ２_ed，Ｆ２_ed，Ｆ５_ed，Ｆ
５_ed，Ｆ５_ed，……のように出力する（図４でのモニ
タ表示モード２）。

【０１１２】図５において、Ｍ＝２の場合には、２フレ
ーム毎に局部符号化画像情報が更新されることから、同
一フレームの情報を２フレーム連続してモニタ表示出力
２１ａ（Ｆ１_ed，Ｆ１_ed，Ｆ３_ed，Ｆ３_ed，Ｆ５_e
d，Ｆ５_ed，……）として出力する（図５でのモニタ表
示モード２）。

【０１１３】図６において、Ｍ＝１の場合には、第２の
実施形態でのＭ＝１の場合と同義であり、表示順に復号
化画像情報６ｂ（Ｆ０_ed，Ｆ１_ed，Ｆ２_ed，Ｆ３_e
d，Ｆ４_ed，Ｆ５_ed，……）をモニタ表示出力２１ａ
として出力する。

【０１１４】以上のように、この実施形態では、表示順
に同一フレームを繰り返し表示することから、動画像の
連続性は損なわれるものの、参照画として用いられるＩ
画像或いはＰ画像の復号画像のみモニタ表示することに
より、視覚的に符号化動作状況の監視がより容易に可能
となる。これにより、万が一、参照画像の符号化処理に
不具合が発生し、後続の符号化画像への不具合伝搬が発
生するような場合であっても、早期に検証可能になる。

【０１１５】図７は本発明による動画像符号化装置及び
これを用いた簡易復号化画像モニタ方法，制御方法の第
３の実施形態を示すブロック図であって、２２は処理モ
ードの入力端子、２３は制御信号選択回路、２４はデー
タ選択回路、２５は先の実施形態での記憶媒体３，６，
１３を１つにまとめ、共通の制御信号により制御される
ようにした記憶媒体、２６は再生された符号化情報を入
力する入力端子、２７は可変長復号化回路、２８は選択
回路であって、図３に対応する部分には同一符号をつけ
て重複する説明を省略する。

【０１１６】また、図８は図７における記憶媒体２４で
メモリ配置図であり、図９〜図１１は図７での主な回路
ブロックの処理を示すタイミング図である。

【０１１７】なお、この第３の実施形態は、再生された
符号化情報を入力して復号する復号モードを備えてお
り、以下では、取り得る最大のＭ値をＭ＝３としてい
る。

【０１１８】図７において、記憶媒体２５は、記憶媒体
３，６，１３を１つにまとめ、共通の制御信号により制
御するようにしたものであり、例えば、図８に示すよう
なアドレス配置が定められている。

【０１１９】ここで、ＰＡＬ方式（６２５ラインのＣＣ
ＩＲ ６０１規格）の４：２：０フォーマットまで対応
する場合、１フレーム当たり、輝度信号Ｙとして７２０
×５７６画素、色差信号Ｃb，Ｃr夫々が３６０×２８８
画素であり、各画素８bitの容量を用いるものである。
また、符号化時、動き検出の初段での参照画像として、
前述したように、走査方向の輝度信号を間引くことか
ら、３６０×５７６画素の容量となる。従って、符号化
時の配置として、図８（ａ）に示すように、記憶媒体３
としてＹ２，Ｃ２，Ｙ３，Ｃ３，Ｙ４，Ｃ４領域、記憶
媒体６としてＹ５，Ｃ５，Ｙ６，Ｃ６領域、記憶媒体１
３としてＹ０，Ｙ１領域を割り当てるものである。ま
た、復号化時の記憶媒体６の配置として、図８（ｂ）に
示すように、後述するが、記憶媒体３，１３は使用せ
ず、また、復号化画像情報として参照画として用いる最
も新しい過去に復号化処理されたＩ画像或いはＰ画像の
復号化画像情報を記憶保持するＹ６，Ｃ６，Ｙ５，Ｃ５
領域及びＢ画像の復号化画像情報を記憶保持するＹ７，
Ｃ７，Ｙ８，Ｃ８領域を割り当てるものである。

【０１２０】入力端子２２から処理モードとして符号化
処理か復号化処理かを指示する処理モード指示信号２２
ａが入力され、これに応じて、フレーム順並び替え制御
回路２から符号化処理であるか或いは復号化動作である
かを示すモード信号２ｅが出力される。この場合、モー
ド信号２ｅ、例えば、符号化処理動作であれば“１”
を、それ以外であれば“０”とする。

【０１２１】制御信号選択回路２３では、先の第１，第
２の実施形態でのフレーム順並び替え制御信号２ａや入
力参照画像情報用制御信号５ａ，局部復号化画像情報用
制御信号５ｂ及びモニタ出力制御信号である入力画像情
報読出制御信号２０ａ，復号化画像情報読出制御信号２
０ｂを入力とし、各制御信号が入力された場合、対応す
るエリアアドレスに変換し，アドレス並びに書込読出用
制御信号２３ａ，データ選択制御信号２３ｂを夫々出力
する。

【０１２２】データ選択回路２４では、記憶媒体２５へ
の書込み時、フレーム順並び替え制御信号２ａや入力参
照画像情報用制御信号５ａ，局部復号化画像情報用制御
信号５ｂによって決定されるデータ選択制御信号２３ｂ
に従って、記憶媒体３，６，１３への書込データである
入力画像情報１ａ，符号化画像情報３ａ，局部復号化画
像情報１６ａのいずれかを選択し、書込データ２４ａと
して出力する。

【０１２３】また、記憶媒体２５からの読出し時、読出
データ２５ａは、フレーム順並び替え制御信号２ａ，入
力参照画像情報用制御信号５ａ，局部復号化画像情報用
制御信号５ｂ，入力画像情報読出制御信号２０ａ，復号
化画像情報読出制御信号２０ｂによって決定されるデー
タ選択制御信号２３ｂに応じて、符号化画像情報３ａ，
局部復号化画像情報６ａ及び６ｂ，入力参照画像情報１
３ａのいずれかに振り分け出力する。

【０１２４】ここで、Ｍ＝３の場合の符号化時、選択回
路２８により、動きベクトル及び予測モードなどの符号
化情報や量子化情報１１ａを夫々選択出力２８ａ，２８
ｂ（１１ａ）とする動作を追加するものの、上記第１，
第２の実施形態で示した同様の処理により、図１０に示
すように、動画像の符号化並びにモニタ出力を行なう。

【０１２５】一方、Ｍ＝２の場合の符号化時には、先の
実施形態で示したように、フレーム順並び替え処理に必
要な記憶媒体３の容量が２フレーム分で済むことから、
記憶媒体２５の配置として、記憶媒体３にＹ２，Ｃ２，
Ｙ３，Ｃ３領域、記憶媒体６にＹ４，Ｃ４，Ｙ５，Ｃ
５，Ｙ６，Ｃ６領域、記憶媒体１３にＹ０，Ｙ１領域夫
々を割り当てる。これにより、図１１に示すように、Ｂ
画像についても、局部復号化処理を行なって記憶媒体６
のＹ４，Ｃ４領域に記憶保持させ、モニタ出力制御回路
２０からの復号化画像情報読出制御信号２０ｂによって
Ｙ４〜６，Ｃ４〜６領域の復号化画像情報を読み出すこ
とにより、全画像に対する復号化画像情報をモニタ表示
出力１８ａとして得ることができる。

【０１２６】次に、以上の構成のこの実施形態の復号化
時の動作について説明するが、ここでは、Ｍ＝３の場合
であって、第１，第２の実施形態で示した符号化条件と
同じ符号化条件で符号化を行なった符号化情報を復号化
処理する場合について、図９を用いて説明する。

【０１２７】まず、入力端子２６から復号化フレーム順
で入力されるＦ２_ｅ(Ｉ画像），Ｆ０_ｅ(Ｂ画像），Ｆ
1_ｅ(Ｂ画像），Ｆ５_ｅ(Ｐ画像），Ｆ３_ｅ(Ｂ画
像），Ｆ４_ｅ(Ｂ画像），……で入力したビット系列で
表わされる再生符号化情報２６ａは、可変長復号化回路
２７での復号化処理され、Ｍ値，マクロブロック単位で
の符号化条件，予測条件並びに半画素精度の動きベクト
ル情報２７ａ，量子化情報２７ｂなどが再生されて出力
される。これら動きベクトル情報２７ａ，量子化情報２
７ｂなどが、選択回路２８により、夫々選択出力２８ａ
(２７ａ），２８ｂ(２７ｂ)として出力される。

【０１２８】また、再生量子化情報２７ｂは、逆量子化
回路１４とＩＤＣＴ回路とにより、各マクロブロック単
位で逆量子化並びにＩＤＣＴ処理が施されることによ
り、復号化差分画像情報１５ａが生成される。

【０１２９】Ｉ画像であるＦ２_ｅフレームの復号化処
理の場合には、フレーム内での符号化処理であって、か
つ全マクロブロックについて復号化処理を行なうもので
あるから、復号化画像情報生成回路１６では、復号化差
分画像情報１５ａそのものを復号化画像情報１６ａとし
て出力する。これは、さらに、局部復号化画像情報用制
御信号５ｂに従って、制御信号選択回路２３により、記
憶媒体２５でのＦ２_ｅフレームの復号化画像情報Ｆ２_
edを記憶保持する領域Ｙ６、Ｃ６に対応するアドレスに
変換され、書込制御信号とともに信号２３ａとして出力
される。また、この復号化画像情報１６ａは、データ選
択信号２３ｂに従って、データ選択回路２４により選択
出力２４ａとなり、記憶媒体２５で書込制御信号２３ａ
に従って記憶保持される。

【０１３０】また、Ｐ画像であるＦ５_ｅの復号化処理
の場合には、過去のＩ画像の復号化画像情報であるＦ２
_edフレームを参照画像として用いるものであって、各
マクロブロック単位で、予測条件並びに動きベクトル情
報２７ａに基づく動き検出回路４の指示に従って、記憶
媒体制御回路５，制御信号選択回路２３，記憶媒体２５
及びデータ選択回路２４により、Ｆ２_edフレームの画
像情報で、動きベクトル情報によって示される領域でか
つ半画素精度であることから、１８×１８画素の領域の
画像情報を参照画像６ａとして読み出す。そして、動き
検出回路４で半画素精度の画像情報を生成し、動きベク
トルが示す１６×１６画素の画像情報４ｃを、予測画像
生成回路７を介し、予測画像情報７ｃとして出力する。

【０１３１】復号化画像生成回路１６では、マクロブロ
ック単位での符号化条件２７ｂにより、スキップマクロ
ブロックの場合には、予測画像情報７ｃを、イントラマ
クロブロックの場合には、復号化差分画像情報１５ａ
を、ノンイントラマクロブロック場合には、予測画像情
報７ｃと復号化差分画像情報１５ａとの加算結果を夫々
復号化画像情報１６ａとして出力し、かつ、Ｉ画像の場
合と同様の処理により、記憶媒体２５のＹ５，Ｃ５領域
にＦ５フレームの復号化画像情報Ｆ５_edとして記憶保
持させる。

【０１３２】また、Ｐ画像であるＦ８_ｅフレームの場
合には、過去のＰ画像の復号化画像情報であるＦ５_ed
フレームを参照画像とし、Ｆ５_ｅフレームの復号化処
理の場合と同様の処理により、復号化画像情報１６ａを
生成し、記憶媒体２５のＹ６，Ｃ６領域にＦ８フレーム
の復号化画像情報Ｆ８_edとして記憶保持させる。

【０１３３】また、Ｂ画像であるＦ０_ｅ，Ｆ１_ｅフレ
ームの復号化処理の場合には、予測方向として後方予測
のみとすることから、未来のＩ画像の復号化画像情報で
あるＦ２_edフレームを夫々参照画像として用いるもの
であり、Ｐ画像の復号化処理の場合と同様の処理によ
り、復号化画像情報１６ａを生成し、記憶媒体２５のＹ
８，Ｃ８領域にＦ０フレームの復号化画像情報Ｆ０_ed
として、Ｙ７，Ｃ７領域にＦ１フレームの復号化画像情
報Ｆ１_edとして夫々記憶保持させる。

【０１３４】一方、Ｂ画像であるＦ３_ｅ、Ｆ４_ｅフレ
ームの復号化処理の場合には、双方向予測方向まで対応
することから、過去のＩ画像であるＦ０_edフレームと
未来のＰ画像であるＦ５_edフレームとを参照画像とす
るものであり、再生したマクロブロック単位での符号化
条件，予測条件並びに半画素精度の動きベクトル情報２
７ａに従って、Ｐ画像の場合と同様に、夫々の予測方向
の予測画像４ｃを生成する。予測画像生成回路７では、
予測条件と予測方向１３ａとに従って、前方予測の予測
画像情報か、後方予測の予測画像情報か、或いは前方予
測と後方予測夫々の予測画像から内挿補間により求めた
双方向予測画像情報かの３種のうち、いずれかを選択し
て予測画像情報７ｃとして出力する。これにより、Ｐ画
像の場合と同様な処理により、復号化画像情報１６ａを
生成し、記憶媒体２５のＹ８，Ｃ８領域にＦ３フレーム
の復号化画像情報Ｆ３_edとして、Ｙ７，Ｃ７領域にＦ
４フレームの復号化画像情報Ｆ４_edとして夫々記憶保
持させる。

【０１３５】さらに、モニタ出力制御回路２０により、
記憶媒体２５で記憶保持している復号化画像情報を、画
像の表示順（Ｆ０_ed，Ｆ１_ed，Ｆ２_ed，Ｆ３_ed，Ｆ
４_ed，Ｆ５_ed，……）で読み出して画像情報６ｂと
し、これをモニタ出力選択回路２１で選択し、再生画像
情報２１ａとして出力端子１９から出力する。

【０１３６】また、この実施形態での動画像の復号化処
理時、フレーム順並び替え制御回路２から符号化処理で
あるか或いは復号化動作であるかを示すモード信号２ｅ
を、動き検出回路４，予測画像生成回路７，符号化画像
判定回路８，符号化画像選択回路９，ＤＣＴ回路，量子
化回路１１及び可変長符号化回路１２に出力する。この
モード信号２ｅの指示に従って、復号化処理時、復号化
処理に関しない回路ブロックである動き検出回路４にお
ける動き探索処理や予測画像生成回路７における差分画
像生成処理，符号化画像判定回路８，符号化画像選択回
路９，ＤＣＴ回路１０，量子化回路１１，可変長符号化
回路１２及びＩ画像或いはＰ画像復号化処理時の予測画
像生成回路７における内挿予測画像生成処理，スキップ
マクロブロック時の逆量子化回路１４，ＩＤＣＴ回路１
５，イントラマクロブロック及びスキップマクロブロッ
ク時の復号化画像生成回路１６における加算処理を夫々
停止させる。

【０１３７】以上のように、この実施形態では、第１，
第２の実施形態で得られる効果とともに、動画像の符号
化処理用に用いた回路ブロックを動画像の復号化回路ブ
ロックとして効果的に流用することが可能となり、回路
規模の増大化を抑えることが容易に達成できる。また、
復号化処理時、復号化処理に関与しない回路ブロックを
停止させることにより、無駄な電力消費を抑えることが
可能となる。

【０１３８】また、複数個の記憶媒体夫々を独自に制御
することなく、アドレス及びデータを夫々共通化するこ
とが可能となる。これにより、１チップＬＳＩ化を行な
う上で製造コストなどの観点からフレームメモリをＬＳ
Ｉ外部に配置する構成とした場合であっても、アドレス
線やデータ線，制御信号線を共通化でき、ＬＳＩ入出力
端子数の増大化を抑えることが可能となる。

【０１３９】さらに、このようにアドレス線やデータ
線，制御信号線を共通化することにより、例えば、各割
り当てられたエリアにとらわれることなく、動作条件に
よっては、全く使用されないメモリ領域が発生する場合
であっても、制御アドレスを流動的に変えることによ
り、他の処理への流用を容易に達成できる。

【０１４０】ここで、この実施形態では、Ｍ＝３である
場合の動作のみについて説明したが、記憶媒体２５の容
量を増やすことにより、Ｍ＞３時の動画像の符号化・復
号化処理についても、上記と同様の処理によって同様の
効果を得られることはいうまでもない。また、記憶媒体
２５として、画像情報を記憶保持する複数のフレームメ
モリを共通化する場合についてのみ説明したが、勿論、
その他の用途で用いるバッファ用メモリをも共通化する
ことが可能であることはいうまでもない。また、上記の
ように１フレーム当たりのフレームメモリ容量を限定す
る必要もない。

【０１４１】図１２は本発明による動画像符号化装置及
びこれを用いた簡易復号化画像モニタ方法，制御方法の
第４の実施形態を示すブロック図であって、図７に対応
する部分には同一符号をつけて重複する説明を省略す
る。

【０１４２】この実施形態は、図７に示した実施形態に
おいて、モニタ出力選択回路２１の入力として、入力画
像情報１ａを追加したものである。

【０１４３】図１２において、動画像の符号化時には、
モニタ出力選択回路２１により、表示フレーム順に入力
する入力動画像情報１ａをそのままモニタ表示出力２１
ａとする。その他の動画像符号化処理や復号化処理動作
については、図７に示した第３の実施形態の場合と同様
である。

【０１４４】この第４の実施形態では、図７で示した第
３の実施形態で得られる効果とともに、動画像の符号化
時、符号化処理状況をモニタ表示により確認することは
できないものの、記憶媒体２５で記憶保持する入力画像
情報３ｂと復号画像情報６ｂの読出し処理を行なわない
分、記憶媒体２５へのアクセスを低減できる。これによ
り、符号化処理に必要な参照画像の読込み領域を拡大す
ることができ、より広範囲な動き探索が容易に可能とな
る。

【０１４５】

【発明の効果】以上説明したように、本発明によれば、
ＭＰＥＧ―１／ＭＰＥＧ―２などの動画像符号化装置に
おいて、動画像の符号化処理のために用いられる回路ブ
ロックの全てを常時動作させるのではなく、符号化処理
に関与しない復号化処理用の回路ブロックの動作を適時
停止させることが可能になる。これにより、この実施形
態を、例えば、１チップのＬＳＩ化で実現する場合にお
いても、動画像の符号化処理時、各回路ブロックを効率
的に動作させることが可能となり、無駄に消費されてい
た電力をなくして低消費電力化を容易に達成できるし、
蓄電池型の携帯型動画像符号化装置などに適応した場合
であっても、消費電力の低減分、使用可能時間の長期化
が可能になる。

【０１４６】また、本発明によると、動画像の符号化の
ために用いられるフレームメモリのある限られたメモリ
容量でもって、何ら新たなフレームメモリを追加するこ
となく、符号化処理の過程で生成されるフレームメモリ
内の入力画像情報及び復号化画像情報をモニタ表示用に
流用することができ、簡易的に復号化画像情報のモニタ
表示出力を得ることが容易に可能となる。これにより、
表示フレーム順にモニタ表示されることから、動画像を
より滑らかで自然な画像としてモニタ出力が得られ、さ
らには、参照画として用いられるＩ画像或いはＰ画像に
対する符号化状況を逐次モニタできることから、視覚的
に符号化動作状況を監視でき、万が一参照画像の符号化
処理に不具合が発生し、後続の符号化画像への不具合伝
搬が発生するような場合であっても、早期に検証可能に
なる。

【０１４７】さらに、本発明によると、画像シーケンス
としてＭ＝１の場合にあっては、全フレームの復号化画
像情報をモニタ表示出力することが可能となり、符号化
画像に対する符号化状況を逐次モニタできることから、
視覚的に符号化動作状況を監視することが可能になる。

【０１４８】さらに、本発明によると、動画像の符号化
処理用に用いられる回路ブロックを動画像の復号化回路
ブロックとして効果的に流用することが可能となり、回
路規模の増大化を抑えることが容易に達成できる。ま
た、復号化処理時、復号化処理に関与しない回路ブロッ
クを停止させることを可能とし、無駄な電力消費を抑え
ることが可能となる。

【０１４９】さらに、本発明によると、複数個の記憶媒
体夫々を独自に制御することなく、アドレス及びデータ
を夫々共通化することが可能となる。これにより、１チ
ップＬＳＩ化を行なう上で、製造コストなどの観点から
フレームメモリをＬＳＩ外部に配置する構成とした場合
であっても、アドレス線やデータ線，制御信号線を共通
化でき、ＬＳＩ入出力端子数の増大化を抑えることが可
能となる。

【図面の簡単な説明】

【図１】本発明による本発明による動画像符号化装置及
びこれを用いた簡易復号化画像モニタ方法，制御方法の
第１の実施形態を示すブロック図である。

【図２】図１における主な回路ブロックでの処理動作を
示すタイミング図である。

【図３】本発明による本発明による動画像符号化装置及
びこれを用いた簡易復号化画像モニタ方法，制御方法の
第２の実施形態を示すブロック図である。

【図４】図３における主な回路ブロックのＭ＝３の場合
の処理動作を示すタイミング図である。

【図５】図３における主な回路ブロックのＭ＝２の場合
の処理動作を示すタイミング図である。

【図６】図３における主な回路ブロックのＭ＝１の場合
の処理動作を示すタイミング図である。

【図７】本発明による本発明による動画像符号化装置及
びこれを用いた簡易復号化画像モニタ方法，制御方法の
第３の実施形態を示すブロック図である。

【図８】図７における記憶媒体のメモリ領域を示す配置
図である。

【図９】図７における主な回路ブロックのＭ＝３の場合
の処理動作を示すタイミング図である。

【図１０】図７における主な回路ブロックのＭ＝２の場
合の処理動作を示すタイミング図である。

【図１１】図７における主な回路ブロックのＭ＝１の場
合の処理動作を示すタイミング図である。

【図１２】本発明による本発明による動画像符号化装置
及びこれを用いた簡易復号化画像モニタ方法，制御方法
の第３の実施形態を示すブロック図である。

【図１３】従来の動画像符号化装置の一例を示すブロッ
ク図である。

【符号の説明】

１ 画像情報の入力端子 ２ フレーム順並び替え制御回路 ３ 記憶媒体 ４ 動き検出回路 ５ 記憶媒体制御回路 ６ 記憶媒体 ７ 予測画像生成回路 ８ 符号化画像判定回路 ９ 符号化画像選択回路 １０ ＤＣＴ回路 １１ 量子化回路 １２ 可変長符号化回路 １３ 記憶媒体 １４ 逆量子化回路 １５ ＩＤＣＴ回路 １６ 復号化画像生成回路 １７ 符号化情報の出力端子 １８ モニタ出力回路 １９ モニタ出力端子 ２０ モニタ出力制御回路 ２１ モニタ出力選択回路 ２２ 処理モードの入力端子 ２３ 制御信号選択回路 ２４ データ選択回路 ２５ 記憶媒体 ２６ 符号化情報の入力端子 ２７ 可変長復号化回路 ２８ 選択回路

フロントページの続き (72)発明者 照井 孝一 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 磯部 幸雄 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 西村 崇 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 入力動画像情報を、各画像フレーム或い
   はフィールド毎に、それ自身の画像情報のみで符号化す
   る画像内符号化画像と、過去に符号化された画像を参照
   画像として時間軸上で前向きの動き予測を利用して符号
   化する前方予測符号化画像と、過去と将来の画像内符号
   化画像または前方予測符号化画像を参照画像として時間
   軸上で前向き及び後向きの動き予測を利用して符号化す
   る双方向予測符号化画像との符号化画像条件により、符
   号化を行なう動画像符号化装置において、 少なくとも、入力動画像情報或いは入力動画像情報と予
   測画像情報との予測差分画像情報を符号化し、符号化画
   像情報を生成する符号化手段と、 該符号化画像情報から復号化画像情報を再生する復号化
   手段とを具備し、符号化画像条件が双方向予測符号化画
   像である入力動画像情報の符号化処理時には、該復号化
   処理手段の動作を停止させ、復号化画像情報の再生を行
   なわないことを特徴とする動画像符号化装置。
2. 【請求項２】 請求項１に記載の動画像符号化装置にお
   いて、 入力動画像情報を記憶保持する第１の記憶媒体と、 該第１の記憶媒体を制御し、符号化フレーム順に並び替
   えるフレーム順並び替え制御手段と、 既に符号化した画像内符号化画像及び前方予測符号化画
   像の局部復号化画像情報を記憶保持する第２の記憶媒体
   と、 該第２の記憶媒体を制御する記憶媒体制御手段と、 予測符号化時、該第２の記憶媒体から読み出した画像情
   報を参照画像として、動き探索により、動きベクトルの
   検出並びに予測モードを決定する動き検出手段と、 入力画像情報と、該動き検出手段によって検出された動
   きベクトルが示す予測画像情報との差分を求め、予測差
   分画像を生成する予測画像生成手段と、 符号化画像として該予測差分画像と入力画像情報とのい
   ずれかを定める符号化画像判定手段と、 該符号化画像判定手段に従って、被符号化画像情報を出
   力する符号化画像選択手段と、 該被符号化画像情報を離散コサイン変換するＤＣＴ手段
   と、 変換係数の量子化を行なう量子化手段と、 該量子化手段で生成された量子化情報を、該動きベクト
   ル情報及び予測条件とともに可変長符号化する可変長符
   号化手段と、 該量子化手段による量子化情報を逆量子化する逆量子化
   手段と、 逆離散コサイン変換するＩＤＣＴ手段と、 該ＩＤＣＴ手段によって得られる予測差分画像情報と、
   該予測画像生成手段によって得られる該予測画像情報と
   により、局部復号化画像情報を生成する復号化画像生成
   手段とを具備し、 前記並び替え制御手段は、入力動画像情報の符号化画像
   条件に従う復号許可信号を出力し、該逆量子化手段，該
   ＩＤＣＴ手段及び該復号化画像生成手段の動作を制御す
   ることを特徴とする動画像符号化装置。
3. 【請求項３】 請求項２に記載の動画像符号化装置にお
   いて、 符号化画像条件が双方向予測符号化画像である入力動画
   像情報の符号化処理時には、前記並び替え制御手段によ
   る復号許可信号により、前記逆量子化手段，前記ＩＤＣ
   Ｔ手段及び前記復号化画像生成手段の動作を停止させ、
   局部復号化画像情報の前記第２の記憶媒体への書込みを
   行なわないことを特徴とする制御方法。
4. 【請求項４】 請求項２に記載の動画像符号化装置にお
   いて、 入力動画像情報を記憶保持する前記第１の記憶媒体と局
   部復号化画像情報を記憶保持する前記第２の記憶媒体の
   読出し制御を行ない、前記入力動画像情報或いは局部復
   号化画像情報を走査順及び表示フレーム順に出力させる
   モニタ出力制御手段と、 該モニタ出力制御手段の指示に従い、前記第１の記憶媒
   体の出力と前記第２の記憶媒体の出力とのいずれかを選
   択出力させるモニタ出力選択手段とを具備することを特
   徴とする動画像符号化装置。
5. 【請求項５】 請求項４に記載の動画像符号化装置にお
   いて、 前記モニタ出力制御手段及び前記モニタ出力選択手段に
   より、表示フレーム画像の符号化条件が画像内符号化画
   像或いは前方予測符号化画像である場合には、前記第２
   の記憶媒体に記憶保持されている局部復号化画像情報
   を、また、双方向予測符号化画像である場合には、前記
   第１の記憶媒体に記憶保持されている入力画像情報を夫
   々読み出すように制御並びに選択することにより、モニ
   タ表示出力を得ることを特徴とする簡易復号化画像モニ
   タ方法。
6. 【請求項６】 請求項４に記載の動画像符号化装置にお
   いて、 前記モニタ出力制御手段及び前記モニタ出力選択手段に
   より、表示フレーム画像の符号化条件が画像内符号化画
   像或いは前方予測符号化画像である場合には、前記第２
   の記憶媒体に記憶保持されている局部復号化画像情報
   を、また、双方向予測符号化画像である場合には、直前
   にモニタ出力した画像内符号化画像或いは前方予測符号
   化画像の局部復号化画像情報を夫々再度モニタ出力する
   ことを特徴とする簡易復号化画像モニタ方法。
7. 【請求項７】 請求項４に記載の動画像符号化装置にお
   いて、 外部からの符号化情報を入力する符号化情報入力手段
   と、 動作条件として符号化処理と復号化処理とのいずれかを
   指示する処理モードを入力する処理モード入力端子と、 外部で再生された再生符号化情報を可変長復号化処理
   し、符号化画像条件と量子化情報と動きベクトル並びに
   予測モードとを再生する可変長復号化手段と、 復号化処理する量子化情報として、前記量子化手段の出
   力と可変長復号化手段の出力とのいずれかを前記処理モ
   ードに従って選択する選択手段と、 前記第１〜３の記憶媒体が１つにまとめられて、共通の
   制御信号により制御する第４の記憶媒体と、 該第４の記憶媒体の制御信号を選択する制御信号選択手
   段と、 該第４の記憶媒体の書込・読出データを選択するデータ
   選択手段とを具備し、 外部からの符号化情報を、該可変長復号化手段と該逆量
   子化手段と該ＩＤＣＴ手段とにより、予測差分画像情報
   を再生し、 画像内符号化画像の復号化時には、該復号化画像生成手
   段により、予測差分画像情報を復号化画像情報として出
   力し、該第４の記憶媒体で該第２の記憶媒体に相当する
   領域に該復号化画像情報を記憶保持と、 予測符号化画像の復号化時、該可変長復号化手段より再
   生した動きベクトル及び予測モードに従って、該記憶媒
   体制御手段により、既に復号化処理した該第２の記憶媒
   体で記憶保持している復号化画像情報を読み出し、該動
   きベクトル検出手段並びに該予測画像生成手段により、
   予測画像情報を生成し、該復号化画像生成手段により、
   予測画像情報と該ＩＤＣＴ手段の予測差分画像情報とを
   加算し、復号化画像情報として出力して第４の記憶媒体
   に記憶保持させ、前方予測符号化画像の場合には、該第
   ２の記憶媒体の領域に、双方向予測符号化画像の場合は
   該第１の記憶媒体の領域に夫々記憶し、さらに、該モニ
   タ出力制御手段により、該第４の記憶媒体で保持してい
   る復号化画像情報を、モニタ表示フレーム順に出力し、 該フレーム順並び替え制御手段は、該処理モードと符号
   化画像条件により、局部復号化処理許可信号並びに符号
   化処理許可信号を生成し、局部復号化処理許可信号によ
   り、可変長復号化手段とＩＤＣＴ手段と逆量子化手段と
   復号化画像生成手段とを、また、符号化処理許可信号に
   より、動き検出手段と予測画像生成手段と符号化画像判
   定手段と符号化画像選択手段とＤＣＴ手段と量子化手段
   と可変長符号化手段とを夫々制御することを特徴とする
   動画像再生装置。
8. 【請求項８】 請求項７に記載の動画像再生装置におい
   て、 前記モニタ出力手段は、動画像の符号化時、該表示フレ
   ーム順で入力する入力動画像情報を選択出力することを
   特徴とする動画像再生装置。
9. 【請求項９】 請求項７または８に記載の動画像符号化
   装置において、 前記フレーム順並び替え制御手段の局部復号化処理許可
   信号並びに符号化処理許可信号により、 符号化時には、可変長復号化手段を、双方向予測符号化
   画像の符号化時には、さらに、ＩＤＣＴ手段と逆量子化
   手段と復号化画像生成手段とを夫々停止させ、 また、復号化時には、動き検出手段における動き探索処
   理と予測画像生成手段の差分画像生成処理と符号化画像
   判定手段と符号化画像選択手段とＤＣＴ手段と量子化手
   段と可変長符号化手段とを、画像内符号化画像の復号化
   時には、さらに、動き検出手段と予測画像生成手段の動
   作を夫々停止させることを特徴とする制御方法。