JP3416649B2 - 可変長符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデータの圧縮処理で
利用される可変長符号化装置に関する。

【０００２】

【従来の技術】従来の可変長符号化装置の代表的な用途
として動画データの圧縮処理がある。動画圧縮の国際規
格であるＭＰＥＧ(Moving Picture Experts Group)で
は、ＤＣＴ（離散コサイン変換）、量子化、動き補償を
伴う差分処理を行う。ＭＰＥＧではマクロブロックと呼
ばれる縦１６、横１６の画素で構成される単位をベース
に動き補償を行って圧縮率の向上を図っている。

【０００３】ＭＰＥＧにおいては可変長符号化を行なっ
ているが、この可変長符号化は確率的に符号長を減少す
るものであるため必ずしも符号化ビット発生量が減少す
るとは限らず、また画像データ、映像の動きなどピクチ
ャのコーディングの困難さに応じて符号化ビット発生量
が揺らぐことになる。

【０００４】このビット発生量の揺らぎはデコーダのバ
ッファモデルによって規定される。具体的には、規格に
よって規定される理想的なデコーダにおいては入力バッ
ファが存在し、リアルタイムデコードにおいてこの入力
バッファがオーバーフロー、あるいはアンダーフローし
てはならないという規定がなされている。よってエンコ
ーダはデコーダの入力バッファの容量の程度のビット発
生量の揺らぎが許されていることになる。逆にいえばこ
の制限をエンコーダでは必ず守られるようにエンコード
しなければならない。

【０００５】このように、ＭＰＥＧでは、可変長符号で
エンコードするのであるが、そのビット発生量に関し制
限を与えなければならない。一般的にその手法はレート
コントロールと呼ばれている。このようなレートコント
ロールについては例えば特開平７−１０７９４７号公報
に開示されているのように、通常量子化する際のステッ
プを変化させる手法などが知られている。また、可変長
符号化を行なったのちに、ビット発生量を制御する方法
としては特開平６−１４３１４号公報などに開示された
手法が知られている。

【０００６】

【発明が解決しようとする課題】しかし、量子化ステッ
プを大きくする方法によると、符号化ビット発生量は減
少することが予想されるが、実際の符号化ビット発生量
は符号化を行なうまでは不明である。このように、正確
に符号量を予測できない以上、量子化ステップで制御す
る方法では、確実性に欠けるという問題がある。このよ
うに従来の手法では、量子化ステップをマクロブロック
単位で変更する方法によっても非常に頻度が低いと思わ
れる状況を想定して符号化ビット発生量の上限を確実に
押えなければならないため、通常はもっと高画質が得ら
れるはずのデータに対しても画質の劣化を招くという問
題があった。特に、リアルタイムでのシステムにおいて
は、エンコードした結果を参照してさらに最適化を図る
などの再エンコード処理が殆んど不可能であるためこの
ような安全策を採らざるを得ず画質の劣化を招いてい
た。

【０００７】これらの問題は可変長符号化を行なったの
ちに制御を行なうことにすれば解決するが、特開平６−
１４３１４号公報に開示されている手法では、全ての可
変長符号の長さを記憶しておく必要があるなどハードウ
ェアの規模が増大し、またローカルデコード画像と、デ
コーダによるデコード画像のずれが生じて画質の劣化が
数フレームに渡って継続するといった状況が発生する。
さらに画質劣化が特定のマクロブロックに集中すること
があり、画質劣化が顕著に表われやすい問題があった。

【０００８】本発明にかかる可変長符号化装置は、上記
課題を解決し、リアルタイム処理において符号化ビット
発生量の上限を画質劣化が目立たないように確実に制限
することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明にかかる可変長符号化装置は、入力されたデー
タを処理単位毎に可変長符号化する可変長符号化手段
と、前記可変長符号化された可変長符号化データを一時
的に記憶するバッファリング手段と、前記バッファリン
グ手段に記憶された可変長符号化データの処理単位当た
りの符号発生量に応じて、入力データに依存しないあら
かじめ用意された前記符号発生量より短い符号に置き換
える符号置き換え処理手段を具備することを特徴とす
る。

【００１０】上記構成により、可変長符号化の結果、処
理単位当たりの符号発生量が多いものを必要に応じて短
い符号で置き換えることにより処理単位当たりの符号量
を低減させ、確実に符号発生量の上限を制限でき、符号
発生量を所定範囲に抑えることができる。

【００１１】次に、前記可変長符号化装置は、前記入力
データの処理単位当たりの符号発生量の上限値を設定す
る手段を備え、前記符号置き換え処理手段が、前記バッ
ファリング手段に記憶された可変長符号化データの処理
単位当たりの符号発生量が前記上限値を越えた場合にあ
らかじめ用意された短い符号に置き換える処理をする手
段と、前記バッファリング手段に記憶された可変長符号
化データの処理単位当たりの符号発生量が前記上限値を
越えない場合に符号の置き換えを行わない処理をする手
段とを備えることが好ましい。

【００１２】上記構成により、処理単位当たりの符号発
生量の上限を柔軟に設定でき、可変長符号化の結果、処
理単位当たりの符号化ビット発生量が上限値を越えたも
のを短い符号で置き換えることにより処理単位当たりの
符号量を確実に上限値以内に制限できる。

【００１３】次に、前記入力は動画像データのフレーム
内圧縮処理またはフレーム間圧縮処理されたデータであ
って、前記処理単位は、動画像データの１ピクチャ当た
りのデータであることが好ましい。

【００１４】上記構成により、動画像データの圧縮処理
過程の可変長符号化処理に適用することができ、ＭＰＥ
Ｇ、Ｈ.２６１などの動画圧縮処理装置の可変長符号処
理に利用することができる。

【００１５】次に、前記符号置き換え処理手段が置き換
えるあらかじめ用意された短い符号が、すでに前記符号
置き換え処理手段による処理が済んだ処理単位にかかる
置き換え処理済データと同じデコード結果が得られるも
のであることが好ましい。

【００１６】上記構成により、置き換えたデータをデコ
ードする際にすでにデコードした画像と同一の画像とな
るので、画質の劣化を感じさせることがない。

【００１７】次に、前記入力データが双方向予測符号化
画像ピクチャである場合、前記符号置き換え処理手段
は、前記置き換えるあらかじめ用意された短い符号と
し、時系列上、前方でもっとも近いフレーム内符号化画
像ピクチャか、前方でもっとも近い前方予測符号化画像
ピクチャか、後方でもっとも近いフレーム内符号化画像
ピクチャか、後方でもっとも近い前方予測符号化画像ピ
クチャのうちのいずれかと、同じデコード結果が得られ
るデータを選択することが好ましい。

【００１８】上記構成により、置き換える必要のある双
方向予測符号化画像ピクチャデータを、時間的に近接す
る前後のピクチャであって、所定の符号発生量に収まっ
た画像データと置き換えることができ、動画像としてデ
コードした場合の違和感のないデータを得ることができ
る。

【００１９】さらに、前記選択において後方の画像ピク
チャを選んだ場合は、前記入力データから前記選択した
後方の画像ピクチャまでの間にある双方向予測符号化画
像ピクチャすべてを前記選択した後方の画像ピクチャと
同じデコード結果が得られるデータと置き換えることが
好ましい。

【００２０】上記構成により、双方向予測符号化画像ピ
クチャデータの置き換え処理において、置き換えた画像
ピクチャに後続する画像ピクチャが時系列上過去のデー
タとなることがなく、デコードした場合、画像の時間的
順番が逆転することのない違和感のないデータを得るこ
とができる。

【００２１】次に、前記入力データが前方予測符号化画
像ピクチャである場合、前記符号置き換え処理手段は、
前記置き換えるあらかじめ用意された短い符号とし、時
系列上、前方でもっとも近いフレーム内符号化画像ピク
チャか、前方でもっとも近い前方予測符号化画像ピクチ
ャのうちのいずれかと同じデコード結果が得られるデー
タを選択し、前記入力データである前方予測符号化画像
ピクチャに後続する前方予測符号化画像ピクチャは、前
記選択された前方の画像ピクチャを参照することが好ま
しい。

【００２２】上記構成により、置き換える必要のある前
方予測符号化画像ピクチャを、近接する前方の画像ピク
チャであって、所定の符号発生量に収まった画像データ
と置き換えることができ、動画像としてデコードした場
合の違和感のないデータを得ることができる。また、置
き換えた前方予測符号化画像ピクチャに後続する前方予
測符号化画像ピクチャの参照処理では前記前方の画像ピ
クチャを参照するので、置き換え処理をした前方予測符
号化画像ピクチャが他の画像ピクチャの参照処理に利用
されることがなく、不具合が発生することがない。

【００２３】

【発明の実施の形態】本発明の可変長符号化装置をＭＰ
ＥＧエンコーダに適応した実施形態を示す。

【００２４】図１は本実施形態にかかるＭＰＥＧエンコ
ーダのブロック図である。図１に示すように外部メモリ
１０１とエンコーダ１０２とで構成されている。

【００２５】エンコーダ１０２はさらに外部メモリイン
ターフェース１０３、画像入力インターフェース１０
４、コード出力インターフェース１０５、エンコード部
１０６、制御部１０７とで構成されている。

【００２６】エンコード部１０６が可変長符号化手段に
該当し、外部メモリ１０１がバッファリング手段に該当
し、後述するように制御部１０７の制御により符号置き
換え処理手段が実行される。また、本実施形態では処理
単位は、画像ピクチャであり、ピクチャタイプはＩピク
チャ（フレーム内圧縮符号化画像）、Ｐピクチャ（前方
予測符号化画像）、Ｂピクチャ（双方向予測符号化画
像）がある。

【００２７】外部メモリ１０１は、参照画像データの保
持やエンコード処理されたビットストリームを一定ビッ
トレートで出力するための緩衝用バッファとしての役割
などを果たす。

【００２８】外部メモリインターフェース１０３は、画
像入力インターフェイス１０４、コード出力インタフェ
ース１０５、エンコード部１０６という複数ブロックか
らの書き込み、読み出しの要求を調停し、他のブロック
と外部メモリとのデータの入出力を実行する。

【００２９】画像入力インターフェース１０４は、外部
からの入力画像１１０を受け入れ、フィルタリングなど
を行なった後、外部メモリインターフェース１０３を介
て入力画像データ１１０を外部メモリ１０１の所定のア
ドレスに書き込む。以下、書き込みを行なった画像デー
タをソース画像データと呼ぶことにする。

【００３０】エンコード部１０６は外部メモリ１０１か
ら画像データを読み込み、エンコード処理を実行し、エ
ンコードしたデータを外部メモリ１０１に書き込む。こ
の際、後述するようにエンコードしたデータの符号発生
量が設定した上限値以上であると制御部１０７が判断す
れば置き換え処理が実行され、置き換え後のデータが外
部メモリ１０１に書き込まれる。詳しい動作は後述す
る。

【００３１】ここで、ライトポインタ１２１は、書き込
んだデータの外部メモリ１０１上のアドレスを示すため
のポインタであり、エンコード処理において発生した符
号量分だけライトポインタ１２１は増加することとな
る。また、後述するようにエンコード処理開始前のライ
トポインタ１２１は制御部１０７のベースポインタ１２
４に渡され、また、エンコード処理後のライトポインタ
１２１も制御部１０７に渡され、外部メモリ１０１に書
き込まれたデータの発生符号量が上限値を越えているか
否かの判断に利用される。

【００３２】制御部１０７は、エンコード部１０６、コ
ード出力インターフェース１０５を制御し、また直接外
部メモリインターフェース１０３を通じて外部メモリ１
０１に対してデータ入出力を行う。設定する発生符号量
の上限値を上限値記憶領域１２５に保持し、エンコード
部１０６によるエンコード処理後の発生符号量が設定上
限値を越えているか否かによる置き換え処理実行要否の
判断を行い、越えている場合は、画像データのピクチャ
タイプ、時系列上の並びを考慮した置き換えパターンに
従って置き換え処理を実行する。なお、設定上限値はピ
クチャタイプに合わせて設定することができ、Ｂピクチ
ャタイプ画像データの上限値がα１、Ｐピクチャタイプ
画像データの上限値がα２である。ベースポインタ１２
４は、エンコード処理実行前のエンコード部１０６のラ
イトポインタ１２１の初期値を受け取り、記憶するもの
である。エンコード処理後のライトポインタ１２１との
差によりエンコード処理による発生符号量算出に用い
る。詳しい処理動作は後述する。

【００３３】コード出力インターフェース１０５は、内
部にリードポインタ１２２、ベースポインタ１２３を保
有し、このポインタを比較しながら外部の要求に応じて
出力ビットストリーム１１１を出力する。ここで、リー
ドポインタ１２２はビットストリームの出力が済んでい
る外部メモリ１０１のアドレスを記憶するためのポイン
タであり、ベースポインタ１２２は、エンコード処理、
置き換え処理が済み、出力可能となったデータの外部メ
モリ１０１のアドレスを記憶するためのポインタであ
る。出力処理についての詳しい動作は後述する。

【００３４】以下、エンコード部１０６の構成を述べ、
続いて、置き換え要否判断処理、置き換えパターン判別
処理、置き換え処理、コード出力インタフェース１０５
を介した出力処理などについて詳しく説明する。

【００３５】まず、エンコード部１０６の構成を説明す
る。図２に示すように、エンコード部１０６は、外部メ
モリ１０１との間で処理画像データを読み書きするため
のアドレスを生成するアドレス生成部２２１を備えてい
る。アドレス生成部２２１は、前述したライトポインタ
１２１を保持している。エンコード部１０６はさらに動
き検出部２０２、差分画像生成部２１３、ＤＣＴ部２０
６、量子化部２０７、可変長符号化部２０８、逆量子化
部２０９、逆ＤＣＴ部２１０、動き補償部２１１を備え
ている。

【００３６】マクロブロックデータ２０１は１６×１６
画素のマクロブロックデータである。

【００３７】動き検出部２０２は、外部メモリ１０１か
ら読み出した参照画像データ２１２を探索領域として、
参照画像データ２１２中の１６×１６画素のブロックデ
ータと処理対象のマックロブロックデータ２０１との比
較を試行してもっとも合致するブロックデータを求め
る。そしてマクロブロックデータ２０１と求めたブロッ
クデータの位置の差をベクトル表現したものを動きベク
トル２１７として差分画像生成部２１３へ出力する。

【００３８】差分画像生成部２１３は、与えられた動き
ベクトル２１７を基に、外部メモリ１０１に記憶されて
いる参照用画像データ２１２のうち入力されたマクロブ
ロックデータ２０１に対応する画像データから予測画像
２１９を生成する。差分画像生成部２１３は、インター
圧縮時では、マクロブロックデータ２０１と予測画像２
１９との差分を差分画像２０４として出力し、イントラ
圧縮時では実際には差分を取らずにマクロブロックデー
タ２０１と同一のデータを差分画像２０４として出力す
る。ここで、差分画像生成部２１３は、処理モードがイ
ンターモードであったのかイントラモードであったのか
を判別する情報と動きベクトル２１７とをモード情報２
０５として出力する。

【００３９】ＤＣＴ処理部２０６は、差分画像２０４に
対して直交変換である離散コサイン変換を行ない、その
結果を出力する。

【００４０】量子化部２０７は、ＤＣＴ処理部２０６の
出力に対して量子化を行ない、その結果を量子化データ
２１６として出力する。この量子化によりＤＣＴ処理結
果の高周波成分が除去されてデータ量が圧縮される。

【００４１】可変長符号化部２０８は、モード情報２０
５とデータの出現確率に基づいて量子化データ２１６を
可変長符号化して出力ビットストリーム２１４として出
力する。ここで動きベクトル２１７を含むモード情報２
０５は出力ビットストリーム２１４の一部に符号化され
る。後述する制御部１０７での置き換え要否判断におい
て可変長符号化したデータの発生符号量が設定した上限
値α１またはα２を越えていると判断された場合には、
制御部１０７による置き換え処理が実行され、制御部１
０７が発行する置き換えパターン信号２３０に従い、保
持している置き換えパターン保持部２３１が保持する置
き換えパターンと置き換えられ、置き換え後のデータを
出力ビットストリーム２１４として出力する。

【００４２】エンコード部１０６は、上記出力ビットス
トリーム２１４生成とともに次のエンコード処理のため
に参照用フレーム画像データ２２０を生成すべく、デコ
ーダで行われるデコード処理と同様の処理を逆量子化部
２０９、逆ＤＣＴ部２１０、動き補償部２１１により行
いデータを用意する。

【００４３】逆量子化部２０９は量子化データ２１６を
逆量子化する。ここで量子化の逆変換に相当するが量子
化において情報量が減少しているためにＤＣＴ部２０６
の出力と逆量子化部２０９の出力とは一致しない。

【００４４】逆ＤＣＴ部２１０は逆量子化部２０９の出
力に対して逆ＤＣＴ処理を行なう。

【００４５】動き補償部２１１は、モード情報２０５や
予測画像２１９を基に動き補償を行なう。動き補償は、
モード情報２０５がイントラモードの場合には逆ＤＣＴ
部２１０の結果をそのまま出力し、モード情報２０５が
インターモードの場合には予測画像２１９と逆ＤＣＴ部
２１０の出力を加算したものを出力する。これは差分画
像生成部２１３の逆の動作に相当する。動き補償部２１
１の出力は参照画像データ２２０としてアドレス生成部
２２１に送られ、外部メモリインタフェース１０３を介
して外部メモリ１０１に書き込まれ、次段のマクロブロ
ックデータ２０１のエンコード処理に使用される。

【００４６】以上のように、エンコード部１０６は、ソ
ース画像データをエンコードし、必要に応じて置き換え
処理されたビットストリームを作成し、その結果を外部
メモリ１０１に書き込む動作を行なう。

【００４７】なお、ＭＰＥＧではエンコード処理の中で
動き補償について入力フレーム画像のピクチャコーディ
ングタイプに応じて異なった処理が行われる。エンコー
ド部１０６は、制御部１０７に指定される３種類のピク
チャコーディングタイプ（Ｉピクチャ、Ｐピクチャ、Ｂ
ピクチャ）の種類に応じて動き検出部２０２や動き補償
部２１２の動作を変更する。

【００４８】Ｉピクチャの場合にはフレーム間の情報、
参照画像を利用せず、動き補償、動き検出などを行なわ
ずにエンコードし、ローカルデコード画像を外部メモリ
１０１に対して書き込む。即ち、動き検出部２０２は動
きベクトル２１７を出力せず、差分画像生成部２１３
は、参照画像２１２を利用せず常にイントラ（動き補償
を行なわない）モードで動作する。

【００４９】Ｐピクチャの場合には時系列上で前方にあ
る参照フレーム画像を１つのみ利用してその参照画像に
対する動き予測を利用してエンコードし、ローカルデコ
ード画像を外部メモリ１０１に対して書き込む。

【００５０】Ｂピクチャの場合には時系列上で近隣の２
つの参照フレーム、例えば前後のＩピクチャまたはＰピ
クチャの２フレームを参照画像として用いる。このタイ
プに関してはローカルデコード画像を外部メモリ１０１
に書き込まない。すなわち、アドレス生成部２２１は、
参照画像データ２２０を外部メモリ１０１に書き込む動
作を行なわない。Ｂピクチャタイプの画像は参照画像と
して用いられることはないためローカルデコード画像を
保持しておく必要がないためである。逆にいうとＢピク
チャタイプに対してのデータ変更操作は他のフレーム画
像に対して影響を全く与えないことがわかる。一方、Ｉ
タイプ、Ｐタイプのデータ変更操作は他のフレームの画
像に影響を与える。

【００５１】以上が、エンコード部１０６の構成であ
る。

【００５２】次に、本実施形態にかかる可変長符号化装
置を利用したＭＰＥＧエンコード処理手順を説明する。
図３は、制御部１０７の処理動作を中心とした本発明の
可変長符号化装置の処理フローである。図４は外部メモ
リ１０１にデータが書き込まれる様子を示した図であ
る。

【００５３】入力画像１１０は一旦、画像入力インター
フェース部１０４を通じて外部メモリ１０１にソース画
像として書き込まれる。この動作は他のブロックから独
立して動作する。以下、既に外部メモリ１０１にソース
画像が取り込まれているものとして説明する。

【００５４】最初に、制御部１０７は初期化処理（ステ
ップ３０１）を実行する。初期化処理では、エンコード
部１０６のライトポインタ１２１、コード出力インター
フェース１０５のリードポインタ１２２、ベースポイン
タ１２３、制御部１０７が保持するベースポインタ１２
４がそれぞれ０に設定される。

【００５５】次にピクチャタイプの決定（ステップ３０
２）が実行される。ピクチャタイプのシーケンスは、Ｍ
ＰＥＧではエンコーダ機器側が決めるものであり、制御
部１０７は、例えばＩ，Ｂ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｂ，
Ｉ，・・・という順番を繰り返すなどのピクチャタイプ
のシーケンスを指定することができる。

【００５６】次に、エンコード部１０６の起動処理（ス
テップ３０３）が実行され、エンコード部１０６の処理
終了待ち（ステップ３０４）に入る。エンコード部１０
６の起動された時点では図４（ａ）に示すようにライト
ポインタ１２１とベースポインタ１２４は一致してい
る。次に、エンコード部１０６は、画像データを１ピク
チャ分外部メモリ１０１から取り込んでエンコード処理
を実行し、エンコード処理結果を外部メモリ１０１へ書
き込む。エンコード部１０６のライトポインタ１２１は
描き込んだ符号量に従って増加していく（図４
（ｂ））。このときコード出力インターフェイス１０５
のベースポインタ１２３の値は前のままであって、現在
エンコード中のデータは外部へ出力されない。

【００５７】次に、制御部１０７は、エンコード部１０
６が１ピクチャ分のエンコード処理を終了すると、符号
発生量計算処理（ステップ３０５）を行なう。この符号
発生量計算処理は、制御部１０７がエンコード部１０６
のライトポインタ１２１の値を読み出して制御部１０７
自身が保持していたベースポインタ１２４と比較するこ
とにより行う。つまりライトポインタはエンコード結果
の書き込みの際に符号発生量に応じて増加しているので
ポインタの増加分を計算することで符号発生量を算出す
ることができる。

【００５８】次に置き換え処理を実行するか否かの判断
（置き換え要否判断）を行う（ステップ３０６）。ここ
では、ステップ３０５で計算した符号化ビット発生量が
上限値を越えているか否かをチェックする。処理中の画
像データのピクチャタイプがＢピクチャであれば、上限
値α１と比較し、処理中の画像データのピクチャタイプ
がＰピクチャであれば、上限値α２と比較する。符号発
生量が上限値以内ならばステップ３０９に進み、符号発
生量が上限値を越える場合にはステップ３０７の置き換
え処理に進む。図４ｂに示した例では設定上限値（例え
ばα１）を越えている。

【００５９】ステップ３０６で符号化ビット発生量が上
限値を越えた場合は、置き換え処理（ステップ３０７、
ステップ３０８）を実行する。まず、ステップ３０７
で、制御部１０７のベースポインタ１２４をエンコード
部１０６のライトポインタ１２１に戻す。これにより、
エンコード部１０６のライトポインタ１２１はエンコー
ド結果書き込み前の元の値に戻る（図４（ｃ））。次い
で、ステップ３０８で、制御部１０７は、処理中の画像
データのピクチャタイプ、時系列上の画像データの位置
に応じて置き換えパターンを判別し、この置き換えパタ
ーン信号２３０をエンコード部１０６に与える。エンコ
ード部１０６は受け取った置き換えパターン信号２３０
に従い、置き換えパターン保持部２３１が保持する置き
換えパターンから指定されたデータをエンコード処理済
みデータとして採用し、外部メモリ１０１に対して、元
の値に戻されたライトポインタ１２１が示すアドレスか
ら上書きして行く。ライトポインタ１２１の値は、上書
きした置き換えデータの書き込み終了地点のアドレスま
で更新される（図４（ｄ））。上書きされず残っている
データは無視され、次の画像データの処理は図４（ｄ）
のライトポインタの値から続行され、次の画像データ処
理結果が書き込まれて行く。

【００６０】置き換えパターン保持部２３１が保持する
データは、 （１）全マクロブロックを前方予測モード、動きベクト
ル０、差分データ０で符号化したもの（前方の参照画像
と同じデコード結果が得られるデータ） （２）全マクロブロックを後方予測モード、動きベクト
ル０、差分データ０で符号化したもの（後方の参照画像
と同じデコード結果が得られるデータ） の２種類である。

【００６１】これらの短いデータは、決められたコード
として、ソース画像を必要とせずにあらかじめ準備して
おくことができ、かつデータ量も非常に少ない。

【００６２】なお上記の置き換えパターン判別処理につ
いての詳細は後述する。

【００６３】次に、制御部１０７は、出力処理のための
ポインタ更新を行う（ステップ３０９）。まず、エンコ
ード部のライトポインタの値をベースポインタ１２４と
コード出力部１０５のベースポインタ１２３に代入す
る。

【００６４】コード出力インターフェイス１０５を介し
た出力処理は以下の通りである。コード出力インターフ
ェイス１０５は、出力要求があったとき、リードポイン
タ１２２がベースポインタ１２３と一致するまで符号化
ビットを読み出して出力ビットストリーム１１１として
出力する。つまり、 （１）リードポインタ１２２、ベースポインタ１２３が
一致していないときには、リードポインタ１２２が指し
示すアドレスのデータを外部メモリ１０１から読み出し
外部へ出力ビットストリーム１１１として出力する。そ
してその後リードポインタ１２２の値は“１”増加す
る。

【００６５】（２）リードポインタ１２２とベースポイ
ンタ１２３が一致しているときは外部に対し出力すべき
データがないことを知らせる。

【００６６】コード出力インターフェース１０５は以上
のような動作をするのでベースポインタ１２３を越えて
リードポインタ１２２は増加せず、ベースポインタ以降
のデータは外部へ出力されない。

【００６７】以上の一連の処理の後、再びピクチャタイ
プの決定（ステップ３０２）に処理が移行する。

【００６８】なお、上記フローは制御部１０７にマイク
ロコードを用いてプログラムされている。

【００６９】次に、置き換えパターン判別処理の詳細に
ついて述べる。置き換えパターンは何種類かのパターン
が存在する。本実施形態では、処理対象の画像データの
ピクチャコーディングタイプと、時系列に並べた場合の
当該画像の位置に応じてパターンを判別する。置き換え
パターン判別において重要な点は以下の２つのルールで
ある。

【００７０】（１）置き換えるデータは時間的に近接す
る参照画像と同じデコード結果が得られるものであるこ
と。これにより置き換え後の画像データの再生画像が前
後の画像と時間的に近く、違和感の少ない再生画像とな
る。

【００７１】（２）置き換え後の画像データの時系列の
並びが前後の画像データと逆転していないこと。これに
より置き換え後の画像データの再生画像が時間的に逆戻
りすることがなく、違和感の少ない再生画像となる。

【００７２】上記２点に注目して、それぞれの置き換え
パターンについて説明を行なう。

【００７３】パターン１は、エンコード処理を行った画
像がピクチャコーディングタイプＢで、前方の参照画像
（ＩまたはＰピクチャ）の直後に相当する画像であっ
て、かつ、その画像のエンコード結果である符号発生量
がα１を越えている場合である。このパターン１は、当
該Ｂピクチャのエンコードデータを、前方の参照画像と
同じデコード結果が得られるデータと置き換えるパター
ンである。図５に一例を示す。図５（ａ）は時系列順に
並べた置き換え処理前の画像データの様子を示し、図５
（ｂ）が置き換え処理後の動画表示の様子を示したもの
である。図５（ａ）に示すように、ピクチャシーケンス
がＩ，Ｂ，Ｂ，Ｂ，Ｐであり、それぞれの画像を順に
ａ，ｂ，ｃ，ｄ，ｅとする。パターン１は、画像ｂのエ
ンコードデータが符号発生量がα１より大きい場合が該
当する。

【００７４】ここで、パターン１の場合の置き換えパタ
ーン信号の生成と置き換え処理について述べる。エンコ
ード処理の順はＩ、Ｐ、Ｂの順に行なわれるのでａ，
ｅ，ｂ，ｃ，ｄの順で行なわれる。画像ｂのエンコード
処理後、ステップ３０６の制御部１０７の置き換え要否
判断で置き換えが必要と判断された場合、制御部１０７
はピクチャタイプがＢであり、かつ、前方の参照画像の
直後にあるのでパターン１と判定でき、置き換えパター
ン保持部２３１が保持している前方の参照画像と同じデ
コード結果が得られるデータを置き換えるデータとして
指定する。このときデコード結果は画像ａと同一のもの
となる。なお、ステップ３０８の置き換え処理により、
再生画像はａ，ａ，ｃ，ｄ，ｅとなる。つまり一瞬だけ
画像ａが連続表示されるのみであり、見た目の違和感を
少なくできる。

【００７５】次に、パターン２を説明する。パターン２
は、エンコード処理を行った画像がピクチャコーディン
グタイプＢで、その画像のエンコード結果である符号発
生量がα１を越えており、当該Ｂピクチャのエンコード
データを、後方の参照画像と同じデコード結果が得られ
るデータと置き換えるパターンである。特に処理対象で
ある画像データの時系列上の並びが後方の参照画像側に
近い場合や、前方の参照画像までの間にエンコード処理
が所定の発生符号量内に収まった他の画像データが存在
する場合のパターンである。図６に一例を示す。図６
（ａ）は時系列順に並べた置き換え処理前の画像データ
の様子を示し、図６（ｂ）が置き換え処理後の動画表示
の様子を示したものである。図６（ａ）に示すように、
ピクチャシーケンスがＩ，Ｂ，Ｂ，Ｂ，Ｐであり、それ
ぞれの画像を順にａ，ｂ，ｃ，ｄ，ｅとする。パターン
２は、画像ｃや画像ｄのエンコードデータが符号発生量
がα１より大きい場合が該当する。ここでは画像ｃが符
号発生量がα１より大きい場合とする。

【００７６】パターン２の場合の置き換えパターン信号
の生成と置き換え処理について述べる。パターン１の場
合の説明と同様、エンコード処理の順はＩ、Ｐ、Ｂの順
に行なわれるのでａ，ｅ，ｂ，ｃ，ｄの順で行なわれ、
画像ｃのエンコード処理後、ステップ３０６の制御部１
０７の置き換え要否判断で置き換えが必要と判断される
と、制御部１０７はピクチャタイプがＢであり、かつ、
先行する参照画像ａとの間に他の画像ｂがあるのでパタ
ーン２と判定し、置き換えパターン信号“２”を発行
し、置き換えパターン保持部２３１が保持している後方
の参照画像と同じデコード結果が得られるデータを置き
換えるデータとして指定する。この置き換えパターン２
はピクチャシーケンス上、後方の参照画像ｅまでのすべ
ての画像に対して、後方の参照画像と同じデコード結果
が得られるデータとの置き換えを指定し、置き換えたデ
ータをエンコードデータとする。そのため、ステップ３
０８の置き換え処理により、図６（ｂ）に示すように、
再生画像はａ，ｂ，ｅ，ｅ，ｅとなる。つまり一瞬だけ
画像ｅが連続表示されるのみであり、見た目の違和感を
少なくできる。

【００７７】なお、このパターン２では、以下の通り、
別の置き換え処理を規定することができる。この別の置
き換えパターン２を図７を用いて説明する。上記の置き
換えパターン２と同様、エンコード処理がＩ、Ｐ、Ｂの
順に行なわれ、ａ，ｅ，ｂ，ｃ，ｄの順で行なわれる。
置き換えパターン保持部２３１は、符号発生量が上限値
α１を越える画像データが出現するまで、Ｂピクチャの
画像をのエンコード結果を第３の置き換えパターンとし
て更新しながら処理を進める。ここでは、画像ｃに対す
る符号発生量がα１を越えるものとする。画像ｃのエン
コード処理後、ステップ３０６の制御部１０７の置き換
え要否判断において置き換えが必要と判断され、制御部
１０７はピクチャタイプがＢであり、かつ、先行する参
照画像ａとの間に他の画像ｂがあるのでパターン２と判
定し、置き換えパターン信号“３”を発行する。ここ
で、パターン信号“３”は第３の置き換えパターン、つ
まり直前のＢピクチャである画像ｂのエンコードデータ
を置き換えるデータとして指定する。そのため、ステッ
プ３０８の置き換え処理により、図７（ｂ）に示すよう
に、再生画像はａ，ｂ，ｂ，ｄ，ｅとなる。

【００７８】置き換えるビットストリームは、画像ｂに
対するＢピクチャデータと同様であり、画像ｃの処理で
は、全てのマクロブロックにおいて画像ｂと同じ双方向
予測を行い、画像処理を実行する。置き換えるデータは
直前のＢピクチャのエンコードデータであり、あらかじ
め用意しておくことが可能であり、データ作成は非常に
高速であってリアルタイム処理が実現可能である。さら
にデコードした結果は前方の画像ｂと同じ画像になる。
つまり一瞬だけ画像ｂが連続表示されるのみであり、見
た目の違和感を少なくできる。

【００７９】なお、上記の別のパターン２では、先行し
たＢピクチャの画像ｂのエンコードデータを第３の置き
換えパターンとして置き換えパターン保持部２３１に保
持したが、制御部１０７は、先行したＢピクチャ画像ｂ
のエンコードデータを描き込んだアドレスを別に保持し
ておく構成でも良い。つまり、続くＢピクチャ画像ｃの
エンコード結果の符号化ビット発生量がα１を越えた場
合、制御部１０７が別に保持していたアドレスに格納さ
れているエンコードデータを画像ｃのエンコードデータ
として続くアドレスにコピーする。さらに次のＢピクチ
ャの符号発生量も大きければ同様に続くアドレスにコピ
ーする。また置き換え処理が必要となるＢピクチャ画像
が連続するときはまとめて連続するアドレスに画像ｂの
エンコードデータをコピーしても良い。この別のパター
ン２の置き換え処理によっても連続するＢピクチャの符
号化ビット発生量はすべて上限値α１以内となり、置き
換えたＢピクチャ分だけ一瞬、同じ画像が連続表示され
るのみであり、見た目の違和感を少なくできる。

【００８０】次に、パターン３を説明する。パターン３
は、エンコード処理を行った画像がピクチャコーディン
グタイプＰで、その画像のエンコード結果である符号発
生量がα２を越えており、当該Ｐピクチャのエンコード
データを、前方の参照画像と同じデコード結果が得られ
るデータと置き換えるパターンである。このパターン３
では置き換えられたＰピクチャは他の画像データの参照
処理には用いられないように、当該Ｐピクチャに続くＰ
ピクチャは置き換えた前方の参照画像を参照する。図８
に一例を示す。図８（ａ）は時系列順に並べた置き換え
処理前の画像データの様子を示し、図８（ｂ）が置き換
え処理後の動画表示の様子を示したものである。図８
（ａ）に示すように、ピクチャシーケンスがＩ，Ｂ，
Ｂ，Ｐ，Ｐであり、それぞれの画像を順にａ，ｂ，ｃ，
ｄ，ｅとする。パターン３は、Ｐピクチャタイプである
画像ｄのエンコードデータが符号発生量がα２より大き
い場合が該当する。

【００８１】パターン３の場合の置き換えパターン信号
の生成と置き換え処理について述べる。パターン１の場
合の説明と同様、エンコード処理の順はＩ、Ｐ、Ｂの順
に行なわれるのでａ，ｄ，ｅ，ｂ，ｃ，の順で行なわれ
る。画像ｄのエンコード処理後、ステップ３０６の制御
部１０７の置き換え要否判断で置き換えが必要と判断さ
れると、制御部１０７はピクチャタイプがＰであるので
パターン３と判定し、置き換えパターン信号“１”を発
行し、前方参照画像と同じデコード結果が得られるデー
タを置き換えるデータとして指定する。この置き換えパ
ターン３はピクチャシーケンス上、参照画像ｄまでのす
べての画像に対して前方の参照画像と同じデコード結果
が得られるデータとの置き換えを指定し、置き換えたデ
ータをエンコードデータとする。そのため、ステップ３
０８の置き換え処理により、図８（ｂ）に示すように、
再生画像はａ，ａ，ａ，ａ，ｅとなる。なお、後続する
Ｐピクチャである画像データｅは、前方参照画像として
元来画像データｄを参照するものであるが、画像データ
ｄが画像データａと同じデコード結果が得られるデータ
に置き換えられているため、結局画像ａを前方の参照画
像として用いることとなる。

【００８２】置き換えるビットストリームはパターン１
と同様に、全てのマクロブロックにおいて前方の参照画
像ａから動きベクトル０で予測を行ない、しかも予測と
実際の画像との差分が“０”であるというデータであ
る。つまり図２において動きベクトル２１７を“０”
に、モード情報２０５をインターモードでかつ前方予測
に、さらに差分画像２０４を全て“０”とするものに対
応し、よって、ＤＣＴ結果は全て“０”、量子化結果は
全て“０”であって、可変長符号化部２０８は全て
“０”のデータに対して符号化を行なったものに相当す
る。従って入力画像や参照画像に全く依存しないコード
であるため、あらかじめ用意しておくことが可能である
ため、データ作成は非常に高速であってリアルタイム処
理が実現可能である。さらにデコードした結果は前方の
参照画像ａと同じ画像になる。つまり一瞬だけ画像ａが
連続表示されるのみであり、見た目の違和感を少なくで
きる。

【００８３】以上３つの置き換えパターンとその置き換
え処理を説明した。これらの方法は任意に組み合わせる
ことができ、柔軟に符号発生量を制御できる。

【００８４】上記置き換え処理を行なった場合に出力さ
れる出力ビットストリーム１１１は置き換えられた画像
のデコード結果がそのごく近くの画像のデコード結果と
同じになる。つまりこれら置き換え処理はデコード結果
がいずれも時間的に非常に近接した画像に置き替わるだ
けであり、また時間的に画像の順番が逆転することがな
いように制御されている。よってその付近で画像が一瞬
フリーズされるように感じるがブロックが大幅に乱れる
ようなことはなく見ための違和感が少なくなる。また置
き換えるビットストリームは、ソース画像データからエ
ンコードするものではなくあらかじめ用意されているも
のであって、書き込みは非常に高速に行なうことができ
リアルタイム処理でデータの置き換えが実現できる。従
ってデコードしたときの違和感を最小限にとどめ、かつ
符号化ビット発生量が確実に制御できる。

【００８５】なお、本実施形態は全てピクチャ単位（フ
レーム構造ではフレーム、フィールド構造ではフィール
ド）の置き換え処理を前提とした説明としたが、より大
きい範囲や小さい範囲でも適用することは可能であり符
号化ビット発生量の制御として効果がある。ただし適用
範囲境界での整合性を図り、見た目の違和感を小さくす
ることが好ましい。

【００８６】また、図３に示した処理フローは制御部１
０７にマイクロコードを用いてプログラムされており、
柔軟なシステム設計が可能である。

【００８７】また、上記実施形態では、図３の処理フロ
ーのステップ３０６の置き換え要否判断において、上限
値をしきい値として用いて、符号発生量と比較して置き
換え処理の要不要を判断する例としたが、置き換え処理
実行か否かの判断処理の方法は、符号発生量と設定した
上限値の比較方法に限られない。例えば、量子化ステッ
プ、平均輝度の値を勘案したしきい値を設定し、そのし
きい値と量子化ステップ、平均輝度を比較して置き換え
処理の要不要を判断する構成としても良い。

【００８８】なお、本発明の可変長符号化装置は、上記
の発明の概念から逸脱することなく、上記の方法及び装
置に種々の変更及び変形を成し得ることが理解されよ
う。従って、本発明は上記実施形態に限定されるもので
はないことに注意する必要がある。

【００８９】

【発明の効果】本発明の可変長符号化装置によれば、リ
アルタイム処理で符号化ビット発生量の上限を確実に制
御でき、符号発生量を制御してレートコントロールが実
現できる。データの置き換え処理は非常に高速に行なう
ことができ、かつ、置き換え処理を行ったデータのデコ
ード結果は近接する画像と同じであり、見た目の違和感
がない。さらにデータ量を確実に制御できるためレート
コントロールの破綻を心配することなく量子化ステップ
を小さくできるので通常の画像の高画質化を図ることが
できる。

【００９０】また、本発明の可変長符号化装置によれ
ば、エンコード機器側のエンコード処理で符号発生量を
制御したエンコードデータを生成するので、デコード機
器側で特別な構成、仕組みを必要とせず、規格に対応し
たどんなデコード機器であっても符号発生量を制御した
データのデコードができ、動画像を生成できる。 ［図面の簡単な説明］

【図１】 本発明の実施形態のＭＰＥＧエンコード装置
のブロック図である。

【図２】 第１図のエンコーダ部１０６の詳細を示すブ
ロック図である。

【図３】 制御部１０７の処理動作のフローチャートで
ある。

【図４】 外部メモリ１０１にデータが書き込まれる様
子を示した図である。

【図５】 置き換えパターン１を説明する図である。

【図６】 置き換えパターン２を説明する図である。

【図７】 別の置き換えパターン２を説明する図であ
る。

【図８】 置き換えパターン３を説明する図である。

【符号の説明】

１０１ 外部メモリ １０２ エンコーダ １０３ 外部メモリインターフェイス １０４ 画像入力インターフェース １０５ コード出力インターフェース １０６ エンコード部 １０７ 制御部 １１０ 入力画像 １１１ 出力ビットストリーム １２１ ライトポインタ １２２ リードポインタ １２３、１２４ ベースポインタ １２５ 上限値記憶領域 ２０１ マクロブロックデータ ２０２ 動き検出部 ２０４ 差分画像 ２０５ モード情報 ２０６ ＤＣＴ部 ２０７ 量子化部 ２０８ 可変長符号化部 ２０９ 逆量子化部 ２１０ 逆ＤＣＴ部 ２１１ 動き補償部 ２１２ 参照画像データ ２１３ 差分画像生成部 ２１４ 出力ビットストリーム ２１６ 量子化データ ２１７ 動きベクトル ２１９ 予測画像 ２２０ 参照用フレーム画像データ ２２１ アドレス生成部 ２３０ 置き換えパターン信号 ２３１ 置き換えパターン保持部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−9684（ＪＰ，Ａ) 特開 平５−68243（ＪＰ，Ａ) 特開 平９−200749（ＪＰ，Ａ) 特開 平８−275158（ＪＰ，Ａ) 特開 平８−137817（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H03M 7/40 H03M 7/30 H04N 7/32

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 入力されたデータを処理単位毎に可変長
   符号化する可変長符号化手段と、前記可変長符号化され
   た可変長符号化データを一時的に記憶するバッファリン
   グ手段と、前記バッファリング手段に記憶された可変長
   符号化データの処理単位当たりの符号発生量に応じて、
   前記入力データに依存しないあらかじめ用意された前記
   符号発生量より短い符号に置き換える符号置き換え処理
   手段と、前記入力データの処理単位当たりの符号発生量
   の上限値を設定する手段とを具備し、 前記符号置き換え処理手段が、前記バッファリング手段
   に記憶された可変長符号化データの処理単位当たりの符
   号発生量が前記上限値を越えた場合にあらかじめ用意さ
   れた短い符号に置き換える処理をする手段と、前記バッ
   ファリング手段に記憶された可変長符号化データの処理
   単位当たりの符号発生量が前記上限値を越えない場合に
   符号の置き換えを行わない処理をする手段とを備え、 前記入力が動画像データのフレーム内圧縮処理またはフ
   レーム間圧縮処理されたデータであって、前記処理単位
   が動画像データの１ピクチャ当たりのデータであり、 前記短い符号は、前記符号発生量が前記上限値を越えた
   可変長符号化データから見て、前方に配置された参照画
   像と後方に配置された参照画像とのいずれかと同じデコ
   ード結果が得られるデータであることを特徴とする可変
   長符号化装置。
2. 【請求項２】 前記符号発生量が前記上限値を越えた可
   変長データが双方向予測符号化画像ピクチャである場
   合、前記符号置き換え処理手段は、時系列上において、
   前記符号発生量が前記上限値を越えた可変長データから
   見て前方に向かって最も近い位置に配置されたフレーム
   内符号化画像ピクチャと、前方に向かって最も近い位置
   に配置された前方予測符号化画像ピクチャと、後方に向
   かって最も近い位置に配置されたフレーム内符号化画像
   ピクチャと、後方に向かって最も近い位置に配置された
   前方予測符号化画像ピクチャとのうちのいずれかと同じ
   デコード結果が得られるデータを、前記置き換えるあら
   かじめ用意された短い符号として選択する請求項１に記
   載の可変長符号化装置。
3. 【請求項３】 前記符号置き換え処理手段が、前記符号
   発生量が前記上限値を越えた可変長データから見て後方
   に向かって最も近い位置に配置されたフレーム内符号化
   画像ピクチャと、後方に向かって最も近い位置に配置さ
   れた前方予測符号化画像ピクチャとのうちのいずれかを
   選んだ場合は、前記符号発生量が前記上限値を越えた可
   変長データから前記選択した後方に向かって最も近い位
   置に配置されたフレーム内符号化画像ピクチャと前方予
   測符号化画像ピクチャとのいずれかまでの間にある双方
   向予測符号化画像ピクチャのすべてを、前記選択した後
   方に向かって最も近い位置に配置されたフレーム内符号
   化画像ピクチャと前方予測符号化画像ピクチャとのいず
   れかと同じデコード結果が得られるデータと置き換える
   請求項２に記載の可変長符号化装置。
4. 【請求項４】 前記符号発生量が前記上限値を越えた可
   変長データが前方予測符号化画像ピクチャである場合、
   前記符号置き換え処理手段は、時系列上において、前記
   符号発生量が前記上限値を越えた可変長データから見て
   前方に向かって最も近い位置に配置されたフレーム内符
   号化画像ピクチャと、前方に向かって最も近い位置に配
   置された前方予測符号化画像ピクチャとのうちのいずれ
   かと同じデコード結果が得られるデータを、前記置き換
   えるあらかじめ用意された短い符号として選択し、前記
   符号発生量が前記上限値を越えた可変長データである前
   方予測符号化画像ピクチャに後続する前方予測符号化画
   像ピクチャは、前記符号置き換え処理手段によって選択
   された前記フレーム内符号化画像ピクチャと前記前方予
   測符号化画像ピクチャとのいずれかを参照する請求項１
   に記載の可変長符号化装置。