JP2820631B2

JP2820631B2 - 画像復号方法および装置

Info

Publication number: JP2820631B2
Application number: JP30749294A
Authority: JP
Inventors: 律彦永井; 豊岡田; 嘉郁川村; 朋行進藤; 茂小松; 孝之小林; 隆二西塔
Original assignee: 株式会社グラフィックス・コミュニケーション・ラボラトリーズ
Priority date: 1994-12-12
Filing date: 1994-12-12
Publication date: 1998-11-05
Anticipated expiration: 2013-11-05
Also published as: JPH08163575A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、符号化された画像デー
タを復号する画像復号方法および装置に関するものであ
る。

【０００２】

【従来の技術】ディジタル表現された画像データを伝送
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報（画像デ
ータ）の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。

【０００３】時間的相関性を利用する方法として、連続
する２画素（フレーム）の差分を符号化したり、画像の
動きを検出して動き補償を行ったりするものがある。ま
た、空間的相関性を利用する方法として、画像を所定の
大きさのブロック（例えば縦方向，横方法とも８画素ず
つ）に分けて、ブロック内のデータを直交変換し、変換
係数をスキャン変換し（例えば低周波成分から高周波成
分の順に並び替える）、可変長符号化を行うものがあ
る。ＭＰＥＧ（Moving Picture Experts Group）が標準
化を進めている画素符号化方式（以下、ＭＰＥＧ２と略
す）は、上記２つの方法を併用するものとなっている。
ＭＰＥＧ２の暫定勧告は”Generic Codingof Moving Pi
ctures and Associated Audio" と題するISO/IEC 13818
-2 に記載されている。

【０００４】本発明は、ＭＰＥＧ２のあらゆる画像を復
号する処理に適応可能であるので、復号処理について説
明する。

【０００５】図５は、このような方法により符号化され
たデータを復号する画像復号装置の従来の構成例を示す
ブロック図である。図５において、バッファ制御部１，
可変長復号器２，スキャン変換器３，逆量子化器４，逆
ＤＣＴ部５，動き補償画像再生部６により復号処理が実
行される。５０はメモリであり、バッファメモリ５１お
よびフレームメモリ（後述する３つのＩ，Ｐ，Ｂフレー
ムのメモリ）５２，５３，５４からなる。また、１００
は符号化された画像を表現する入力ビットストリーム、
２００は再生画像を示す。

【０００６】次に、動作について説明する。入力ビット
ストリーム１００は、バッファ制御部１の制御により、
データ４０としてバッファメモリ５１に蓄積される。バ
ッファメモリ５１から読み出されたデータ４１は、可変
長復号器２によって、可変長復号される。

【０００７】全データが可変長符号化されている訳では
ないが、固定長符号もこの可変長復号器２で復号される
ものとする。次に、スキャン変換器３によりデータの順
序を並び変えた後、逆量子化器４により逆量子化され
る。次に、逆ＤＣＴ部５により逆離散コサイン変換され
る。動き補償画像再生部６では、画像の動きを考慮した
再生を行う。ＭＰＥＧ２では、時間的に前のフレーム
（ここではＩフレーム）と時間的に後のフレーム（ここ
ではＰフレーム）の両方から時間的に中間のフレーム
（ここではＢフレーム）の予測を行う。そのため、Ｂフ
レームの再生には、予め復号されているＩフレームとＰ
フレームの予測フレームデータ４２，４３をフレームメ
モリ５２，５３から読み出す必要がある（ＭＰＥＧ２で
は、時間的に後のＰフレームはＢフレームに先立って復
号される）。予測フレームデータ４２，４３と逆ＤＣＴ
部５の出力である予測誤差によりＢフレームを動き補償
画像再生部６で再生し、再生画素データ４４としてフレ
ームメモリ５４に書き込まれる。フレームメモリ５２，
５３，５４中にあるＩ，Ｐ，Ｂのフレームは所定の順に
各メモリから読み出され（図５ではＢフレームのデータ
４５を読み出している）、再生画像２００が出力され
る。

【０００８】本発明は、ＭＰＥＧ２のあらゆる画像を処
理する装置に適用可能であるが、例として、ＮＴＳＣ画
像を再生する場合を考えてみる。ＮＴＳＣ画像の１フレ
ームは、図６のように横７２０画素、縦４８０ラインか
らなる。これを横，縦とも１６画素ずつに分割する。１
分割の単位をマクロブロックと呼ぶ（以下、ＭＢと略
す）。ＮＴＳＣ画像は、横４５ＭＢ，縦３０ＭＢ、全部
で１３５０ＭＢに分割される。また、ＭＰＥＧ２では横
１行内に閉じたＭＢの集合体をスライスと呼び、ＮＴＳ
Ｃ画像は最低でも３０スライスに分割される。

【０００９】ＭＰＥＧ２では、ＭＢの種類は、大きく分
割して、イントラＭＢとインターＭＢの２つがあり、イ
ントラＭＢは、そのＭＢ内の画像データのみで符号化し
たＭＢであり、一方、インターＭＢは、表示順で以前ま
たは未来、またはその両方のフレームの再生画像との差
分を符号化したＭＢである。また、インターＭＢには、
差分信号に加えて、表示順で以前または未来の再生画像
からの画像の移動分を表す動きベクトルも付加される。

【００１０】ＭＰＥＧ２の入力ビットストリーム１００
は階層構造を持ち、上位の階層から、シーケンス層，グ
ループオブピクチャ層，ピクチャ層，スライス層，ＭＢ
層，ブロック層と呼ばれる。ピクチャ層は１枚の画像を
構成する層で、グループオブピクチャ層は、Ｉフレーム
で始まる複数のピクチャ層で構成される。シーケンス層
は、一連のピクチャのつながりであり、通常シーケンス
層は、複数のグループオブピクチャ層で構成されるが、
グループオブピクチャ層がなく、複数のピクチャ層で構
成される場合もある。復号を開始する場合、シーケンス
層にグループオブピクチャ層が含まれている場合は、シ
ーケンス層の最初のピクチャは必ずＩフレームであるた
め、参照画像を必要とせずに、即座に復号を開始でき
る。しかし、シーケンス層にグループオブピクチャ層が
含まれていない場合、シーケンス層の最初のピクチャ
は、ＩフレームとＰフレームのどちらでもよく、Ｐフレ
ームで始まっている場合は、参照画像なしで復号を開始
するか、参照画像のＩフレームが入力されるまで、復号
を開始しないかのどちらかである。

【００１１】Ｉフレームのデータ量は、Ｐフレーム，Ｂ
フレームに比較して大幅に多くなり、これをバッファメ
モリ５１に蓄積するのに多くの時間が必要となる。その
ため、アプリケーションによっては、Ｉフレームを含ま
ないシーケンスを採用する可能性がある。例えば、放送
のアプリケーションを想定すると、送信するフレームの
データ量のばらつきを少なくするため、Ｉフレームのな
い、ＰフレームとＢフレームのみで構成されたシーケン
スを使用する例が考えられる。また、画像通信のアプリ
ケーションを想定すると、送信したストリームを少ない
遅延時間で復号することが要求されるため、Ｉフレーム
の他、リオーダ遅延の発生するＢフレームを含まないＰ
フレームのみで構成されたシーケンスを使用する例が考
えられる。

【００１２】図７は、Ｉフレームを含まないＰフレーム
とＢフレームのみで構成されたシーケンスを復号する画
像復号装置の例である。図７において、フレームメモリ
１５２，５３はＢフレームを再生するために予め復号さ
れているＰフレームの画像データ１４２，予測フレーム
データ４３を格納しておくフレームメモリである。復号
処理は、前述のＩフレームを含む復号手順と参照画像の
選択以外の処理は同じで、Ｐフレームは時間的に前のＰ
フレームを参照画像にして復号を行い、Ｂフレームは時
間的に前のＰフレームと時間的に後のＰフレームを参照
画像にして復号する。なお、図７において図５と同符号
は同一部分を示す。

【００１３】図８は、ＩフレームもＢフレームも含まな
いＰフレームのみで構成されたシーケンスを復号する画
像復号装置の例である。図８において、フレームメモリ
２５２は、次のＰフレームを再生するために予め復号さ
れている時間的に前のＰフレームの画像データ２４２を
格納しておくフレームメモリである。復号処理は、前述
のＩフレームを含まない復号手順でＢフレームの処理を
除いたものと同じで、Ｐフレームは時間的に前のＰフレ
ームから予測を行う。なお、図８において図５と同一符
号は同一部分を示す。

【００１４】ＭＰＥＧ２のようにフレーム間予測を用い
た符号化では、前に復号した画像を参照画像に使用する
ため、誤差成分等が蓄積され、画像が正しく復元できな
くなる。そのため、ＭＰＥＧ２では、通常、フレーム内
符号化されたフレーム、すなわちＩフレームで画像をリ
フレッシュする。しかし、前述のようにＩフレームを含
まないシーケンスでは、当然Ｉフレームによるリフレッ
シュができないため、ビットストリーム内にイントラＭ
Ｂのみで構成されたスライス、すなわち、イントラスラ
イスが使われることがある。Ｉフレームでは、画面全体
をリフレッシュするのに対し、イントラスライスは画面
の一部すなわちイントラスライスのスライス部分をリフ
レッシュする。例えば、Ｐフレームのみで構成されたシ
ーケンスでは、図９のようにフレーム（画面）毎にイン
トラスライスの位置を変えることにより、数フレームで
画面全体のリフレッシュを行える。

【００１５】また、複数のビデオビットストリームから
１つのビットストリームを選択して復号する場合、ビデ
オシーケンスを切り換えると、通常は、切り換えたビッ
トストリーム中にシーケンスヘッダまたはグループオブ
ピクチャヘッダが表れるまで復号を開始しない。これ
は、シーケンスヘッダ内にシーケンスを復号するのに必
要なデータが含まれているためであるが、もし、これら
のデータが何らかの方法で予め解っているとすると、シ
ーケンスヘッダやグループオブピクチャヘッダの出現を
待つ必要はない。このような場合、ＰフレームやＢフレ
ームから復号を開始すると、参照画像がないため、Ｉフ
レームの出現まで待ち、復号を開始する方法が考えられ
るが、この方法ではビットストリームが画像復号装置に
入力されてから画像を出力するまでの遅延が大きくな
る。

【００１６】

【発明が解決しようとする課題】上述したように、従来
技術では、シーケンス内にＩフレームを含まない場合、
参照画像なしで復号を開始せざるをえないため、イント
ラスライスとイントラＭＢ以外の部分は、正しい画像が
復元できない。前述のように、ＭＰＥＧ２ではフレーム
間予測を用いた符号化では、復元した画像を参照し以降
の画像を復元するために、正しく復元できなかった場合
は、以降のフレームのイントラスライスがイントラＭＢ
でリフレッシュされるまで、ノイズの大きな画像を出力
していた。

【００１７】また、前述したビデオシーケンスの切り替
えによる、ビットストリームの再生の開始時において
は、参照画像のＩフレームが入力されるまで待ち、復号
を開始すると、復号を開始した画像から正しい画像を得
ることができる。しかし、Ｉフレームを待っている間
は、画像が出力されない。

【００１８】本発明は、以上のような従来装置の欠点を
解消した画像復号方法および装置を提供することを目的
とする。

【００１９】

【課題を解決するための手段】本発明にかかる画像復号
方法は、複数の予測フレームから画像フレームを予測し
て符号化された画像データを復号する画像復号方法にお
いて、復号を開始するフレームがフレーム間予測を用い
て符号化されたフレームである場合に、フレーム間予測
されたフレーム内のフレーム間予測されて符号化された
画像データを予め設定された所定の画像データに置き換
えて復号するようにしたものである。

【００２０】そして、予め設定された所定の画像データ
として、グレー色の画像を用いたものである。

【００２１】本発明にかかる画像復号装置では、復号を
開始した最初のフレームがＩフレームでなかった場合、
最初のＰフレームの復号を終了するまで、復号した画像
をフレームメモリに書き込む際に、イントラＭＢ以外の
ＭＢ部分については、グレー色のような予め設定された
所定の画像データを書き込み、イントラＭＢ部分のみ復
号画像を書き込む制御手段を有する。

【００２２】また、前述のように復号されたフレームの
次のフレーム以降については、制御手段がそれまでに復
号されたフレームを参照画像にして、画像を復元する。

【００２３】

【作用】本発明によれば、復号を開始した最初のフレー
ムがＩフレームでなかった場合、最初のＰフレームの復
号を終了するまで、イントラＭＢ以外の部分について予
め設定された画像データをフレームメモリに書き込み、
これを以降のフレームの参照画像として使用すると、従
来のように大きなノイズではなく、比較的小さなノイズ
で表示する画像を出力でき、Ｉフレームが入力されるま
で待って復号を開始する画像復号方法および装置に比較
して、画像を早く出力できる。

【００２４】また、予め設定された画像データとしてグ
レー色の画像を用いたので、画素を輝度信号と色信号に
分離して扱うＭＰＥＧのような復号手段では、グレー色
は中間色であり、実際に存在しない参照画像を復元する
場合にはグレー色にすることでノイズが低減される。

【００２５】

【実施例】

〔実施例１〕図１は、入力ビットストリーム１００がＩ
フレームのないＰフレームとＢフレームのみで構成され
ている場合の構成例で、２０は可変長復号器で、基本的
には図７の可変長復号器２と同じであるが、後述するよ
うに本発明特有の制御も行う。６０は動き補償画像再生
部で、基本的には図７の動き補償画像再生部６と同じで
あるが、後述するように本発明の制御も行う。７０は後
述するように本発明の特徴的な制御を行うための制御信
号で、可変長復号器２０から動き補償画像再生部６０へ
入力される。そして、可変長復号器２０において、復号
を開始した最初のフレームがＩフレームであるか否かの
判別機能と、その判別したフレームがＩフレームでない
場合に、Ｐフレームの復号が終了するまで、イントラＭ
Ｂのみを復号する機能と、本発明の実行要求の制御信号
７０、および動き補償画像再生部６０において、本発明
の実行要求が可変長復号器２０から要求されている場合
に、イントラＭＢ以外のＭＢ（インターＭＢ）を予め指
定された画像に置き換える制御手段が構成されている。
なお、図７と同一符号は同一部分を示す。

【００２６】次に、動作について説明する。可変長復号
器２０は、復号を開始した最初のフレームがＩフレーム
であるか否かを判別し、そのフレームがＩフレームでな
い場合は、本発明の処理の実行要求を制御信号７０を通
じて動き補償画像再生部６０に通知する。また、可変長
復号器２０は、最初のフレームがＰフレームまたはＢフ
レームであった場合、最初のＰフレームの復号が終了す
るまで、イントラＭＢのデータのみをスキャン変換器３
に出力し、インターＭＢのデータは廃棄する。動き補償
画像再生部６０では、前述の制御信号７０からの実行要
求が可変長復号器２０から通知された場合、最初のフレ
ームがＰフレームである場合は、フレームメモリ１５２
に書き込む際に、逆ＤＣＴ部５から送られてこないＭＢ
については、グレー色を書き込む。最初のフレームがＢ
フレームである場合はフレームメモリ５４に書き込む際
に、逆ＤＣＴ部５から送られてこないＭＢについては、
グレー色の画像データに書きかえ、Ｐフレームが送られ
てくるまで同様の処理を繰り返し、Ｐフレームもフレー
ムメモリ１５２に書き込む際に、逆ＤＣＴ部５から送ら
れてこないＭＢについては、グレー色を書き込む。

【００２７】最初のＰ１フレームの次のＢ２フレーム
は、図２に示すように本来は入力される前のＰ０フレー
ムと、最初に入力されたＰ１フレームの２フレームから
予測されたフレームである。そのため、最初のＰ１フレ
ームの次のＢ２フレームは、フレームメモリ１５２から
最初のＰ１フレームを読み出し、入力されていないＰ０
フレームの代わりにもう一つの参照画像は全面グレーで
あるものとして、動き補償画像再生部６０でＢ２フレー
ムを再生し、所定のフレームメモリ５４に書き込む。Ｂ
３フレームも同様である。

【００２８】２番目のＰ４フレーム以降は、通常の処理
と同様に行う。〔実施例２〕本実施例も入力ビットストリーム１００が
ＰフレームとＢフレームのみで構成されている場合の構
成例で、最初のＰフレームまでの処理は実施例１と同じ
である。

【００２９】図３のように、ビットストリーム１００の
入力順序で最初のＰ１フレームから２番目のＰ４フレー
ムの間のＢ２，Ｂ３フレームのデータを廃棄し、２番目
のＰ４フレームはフレームメモリ１５２から予測フレー
ムデータを読み出し、復号の結果をフレームメモリ５３
に書き込む。以降のＢ５フレームについては、通常の処
理と同様に、フレームメモリ１５２，５３から読み出し
動き補償画像再生部６０でＢフレームを再生し、フレー
ムメモリ５４に書き込む。

【００３０】２番目のＰ４フレーム以降は、通常の処理
と同様に行う。〔実施例３〕図４は、入力ビットストリーム１００がＰ
フレームのみで構成されている場合の実施例で、最初の
Ｐフレームまでの処理は実施例１と同じである。

【００３１】最初のＰフレームは、実施例１と同様に逆
ＤＣＴ部５から送られてこないＭＢについては、フレー
ムメモリ２５２に書き込む際にグレー色を書き込む。な
お、図１と同符号は同一部分を示す。

【００３２】以降のＰフレームについては、通常の処理
と同様に行う。〔実施例４〕本実施例は、復号の最初のフレームがＩフ
レームでない場合の実施例である。可変長復号器２０で
復号を開始した最初のフレームがＩフレームであるか否
かを判別し、そのフレームがＩフレームでない場合は、
本発明の制御信号７０からの処理の実行要求を動き補償
画像再生部６０に通知し、ＭＢがイントラＭＢであるか
否かに関わらず、ＭＢについての処理は通常の処理と同
様に行う。

【００３３】フレームメモリに書き込む際にＭＢの種類
がイントラＭＢである場合は、そのままフレームメモリ
に書き込み、インターＭＢの場合は、逆ＤＣＴ部５から
送られてきたデータを廃棄し、グレー色を書き込む。

【００３４】以上の処理以外は実施例１と同じである。

【００３５】

【発明の効果】以上説明したように、本発明にかかる画
像復号方法は、複数の予測フレームから画像フレームを
予測して符号化された画像データを復号する画像復号方
法において、復号を開始するフレームがフレーム間予測
を用いて符号化されたフレームである場合に、フレーム
間予測されたフレーム内のフレーム間予測されて符号化
された画像データを予め設定された所定の画像データに
置き換えて復号するようにしたので、Ｉフレームで始ま
らないビットストリームに対しても少ないノイズで復号
を開始でき、かつ、復号を即座に開始できる。

【００３６】そして、予め設定された所定の画像データ
として、グレー色の画像を用いたので、グレー色が中間
色となりノイズが低減される。

【００３７】さらに、本発明にかかる画像復号装置は、
複数の予測フレームから画像フレームを予測して符号化
された画像データを復号する装置において、復号を開始
するフレームがフレーム間予測を用いて符号化されたフ
レームである場合に、フレーム間予測されたフレーム内
のフレーム間予測されて符号化された画像データを予め
設定された所定の画像データに置き換えて復号する制御
手段を有する構成としたので、Ｉフレームで始まらない
ビットストリームに対しても少ないノイズで復号を開始
でき、かつ、復号を即座に開始できる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】図１の実施例の動作を説明するための図であ
る。

【図３】本発明の他の実施例の動作を説明するための図
である。

【図４】本発明のさらに他の実施例の構成を示すブロッ
ク図である。

【図５】従来の画像復号装置の構成を示すブロック図で
ある。

【図６】ＮＴＳＣ画像の１フレームのＭＢの構成を説明
する図である。

【図７】Ｉフレームを含まないＰフレームとＢフレーム
のみで構成されたシーケンスを復号する従来の画像復号
装置の構成を示すブロック図である。

【図８】ＩフレームもＢフレームも含まないＰフレーム
のみで構成されたシーケンスを復号する従来の画像復号
装置の構成を示すブロック図である。

【図９】画面全体のリフレッシュを行う方法の一例を示
す図である。

【符号の説明】

１バッファ制御部２可変長復号器３スキャン変換器４逆量子化器５逆ＤＣＴ部６動き補償画像再生部２０可変長復号器４０データ４１データ４２予測フレームデータ４３予測フレームデータ４４再生画素データ５０メモリ５１バッファメモリ５２フレームメモリ５３フレームメモリ５４フレームメモリ６０動き補償画像再生部７０制御信号１００入力ビットストリーム１４２画像データ１５２フレームメモリ２００再生画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者川村嘉郁東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者進藤朋行東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者小松茂東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者小林孝之東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者西塔隆二東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】複数の予測フレームから画像フレームを
予測して符号化された画像データを復号する画像復号方
法において、復号を開始するフレームがフレーム間予測
を用いて符号化されたフレームである場合に、フレーム
間予測されたフレーム内のフレーム間予測されて符号化
された画像データを予め設定された所定の画像データに
置き換えて復号することを特徴とする画像復号方法。
【請求項２】予め設定された所定の画像データとし
て、グレー色の画像を用いることを特徴とする請求項１
記載の画像復号方法。
【請求項３】複数の予測フレームから画像フレームを
予測して符号化された画像データを復号する装置におい
て、復号を開始するフレームがフレーム間予測を用いて
符号化されたフレームである場合に、フレーム間予測さ
れたフレーム内のフレーム間予測されて符号化された画
像データを予め設定された所定の画像データに置き換え
て復号する制御手段を有することを特徴とする画像復号
装置。