JPH08223568A - Ｂピクチャのマクロブロック画像復元方法 - Google Patents

Abstract

(57)【要約】 【目的】 Ｂピクチャのブロックデータ及びend-of-blo
ck codeが欠落しても画像乱れを軽減する。 【構成】 Ｂピクチャのマクロブロック画像の復元に際
して、マクロブロック制御部２７は、符号化ブロックパ
ターンコードより求まるブロックデータ数と、マクロブ
ロックエンドコードが検出される迄に検出したブロック
エンドコードの数が一致するか調べる。一致しない場合
には、エラーが発生したものとして、マクロブロック合
成部２４は、前向きベクトル及び後向きベクトルのいず
れかが指示するＩ又はＰピクチャにおけるマクロブロッ
クの画像又はそれぞれのベクトルが指示する画像を合成
して生成された画像をＢピクチャのマクロブロックの画
像として出力し、一致する場合には、前向きベクトル及
び後向きベクトルにより求まる画像及び差分マクロブロ
ックの差分画像を合成してＢピクチャのマクロブロック
の画像を復元して出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＢピクチャのマクロブロ
ック画像を復元する復元方法に係り、特に、ＭＰＥＧフ
ォーマットに従って圧縮してＩ，Ｐ，Ｂの３種類のピク
チャを生成し、これらピクチャが記録された蓄積型記録
媒体よりＢピクチャのマクロブロック画像を復元する復
元方法に関する。

【０００２】

【従来の技術】圧縮音声データと圧縮画像データを時分
割記録してＡＶ再生を可能にしたビデオＣＤが実用化さ
れ、画像圧縮のためにＭＰＥＧ１が標準化されている。 (a) ＭＰＥＧ１画像データ 図３はＭＰＥＧ１画像データの階層構造であり、シーケ
ンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブ
ロック層、ブロック層の６層の階層構成を有している。
シーケンス層はシーケンスヘッダＳＨとＧＯＰ（Group
of Picture)で構成されている。シーケンスヘッダＳＨ
は画面フォーマットなどを指定するもので、シーケンス
開始コードに続いて画面の水平サイズ、垂直サイズ、画
素アスペクト比、ピクチャレート、ビットレート等の画
像復号に必要なデータが記録されている。

【０００３】ＧＯＰ層は複数枚たとえば１５枚のピクチ
ャから構成され、各ピクチャにはＩ，Ｐ，Ｂの３種類が
ある。ＧＯＰ層の開始コードの後には、タイムコードや
クローズドＧＯＰフラグなどが続き、以降に１５枚の各
ピクチャが配列される。Ｉピクチャはフレーム内符号化
画像であり、Ｉピクチャに対応する入力ピクチャ情報だ
けから符号化された画像で、フレーム間予測を用いずに
生成される。このＩピクチャは独立して復号できる反
面、データ量が最も多い。Ｐピクチャはフレーム間予測
符号化画像であり、過去のＩまたはＰピクチャを基準に
予測符号化されている。ＢピクチャはＭＰＥＧ特有のピ
クチャであり、過去のＩまたはＰピクチャと未来のＩま
たはＰピクチャの双方向からフレーム間予測符号化され
ており、データ量は少ない。ＰピクチャはＩピクチャと
Ｂピクチャの中間のデータ量である。

【０００４】１５枚のＩ，Ｐ，Ｂピクチャの符号化に際
しては、図４(a)に示すように、まず、３番目の原画を
符号化してＩ₃ピクチャを生成し、ついで、６番目の原
画をＩピクチャＩ₃を用いて予測するＰ₆ピクチャを生成
し、しかる後、９番目の原画をＰ₆ピクチャを用いて予
測するＰ₉ピクチャを生成し、以下同様にＰ₁₂，Ｐ₁₅ピ
クチャを生成する。Ｉ，Ｐピクチャの生成後、残りの各
原画像を図４(b)に示すように前後のＩピクチャ，Ｐピ
クチャを用いて予測するＢ₁，Ｂ₂，Ｂ₄，Ｂ₅，Ｂ ₇，
Ｂ₈，Ｂ₁₀，Ｂ₁₁，Ｂ₁₃，Ｂ₁₄ピクチャを生成する。図
５はＢピクチャの符号化説明図である。ＧＯＰのピクチ
ャ数Ｎは１５で、Ｉ，Ｐピクチャの周期Ｍは３とする。
連続する２つのＢピクチャがＩ又はＰピクチャにより挟
まれており、各Ｂピクチャは前後のＩ、Ｐピクチャを用
いて該Ｂピクチャに応じた原画像を双方向から予測する
ように生成される。

【０００５】デコーダ側のフレームメモリ容量をできる
だけ少なくするために、各ピクチャの原画順序とビデオ
ＣＤ上での記録順序は図６に示すように異なっており、
原画の１５枚のピクチャ Ｂ₁，Ｂ₂，Ｉ₃，Ｂ₄，Ｂ₅，Ｐ₆，Ｂ₇，Ｂ₈，Ｐ₉，
Ｂ₁₀，Ｂ₁₁，Ｐ₁₂，Ｂ₁₃，Ｂ₁₄，Ｐ₁₅ は記録媒体（ビデオＣＤ）上では、 Ｉ₃，Ｂ₁，Ｂ₂，Ｐ₆，Ｂ₄，Ｂ₅，Ｐ₉，Ｂ₇，Ｂ₈，
Ｐ₁₂，Ｂ₁₀，Ｂ₁₁，Ｐ₁₅，Ｂ₁₃，Ｂ₁₄ とされ、再生時には原画と同じ順序で再生される。再生
に際して、Ｉ₃ピクチャはそれ自身で単独で復号され、
Ｐ₆ピクチャは復号後のＩ₃ピクチャを用いて復号され、
Ｐ₉ピクチャは復号後のＰ₆ピクチャを用いて復号され、
以下同様にＰiピクチャは復号後のＰi-1ピクチャを用い
て復号される。Ｂ₁，Ｂ₂ピクチャは復号後のＩ₃ピクチ
ャと１つ前のＧＯＰにおける復号後のＰ₁₅ピクチャ、こ
れらを基にした差分ピクチャを用いて復号される。
Ｂ₄，Ｂ₅ピクチャは復号後のＩ₃ピクチャとＰ₆ピクチ
ャ、これらを基にした差分ピクチャを用いて復号され、
以下同様に復号される。

【０００６】ピクチャ層は、開始コードの後にＧＯＰ中
の画面順を表示するテンポラル・リファレンス、ピクチ
ャ・タイプなどが続き、その後に複数のスライスが配列
される。ピクチャは任意の長さの複数のスライスに分割
されている。スライスは開始コードを有する一連のデー
タ列の中の最小単位であり、任意の長さの（１６画素
幅）マクロブロックＭＢの帯であり、ピクチャをまたが
ることはできない。１画面は図７に示すように１６×１
６画素よりなるマクロブロックに分割され、該マクロブ
ロックの画像は図３の下方に示すように８×８の４つの
輝度ブロック，，，と８×８の色差ブロックＣ
ｒと８×８の色差ブロックＣｂの６個のブロックで
符号化される。Ｃｒは赤（Ｒ）と輝度信号（Ｙ）の差
（Ｒ−Ｙ）であり、Ｃｂは青（Ｂ）と輝度信号（Ｙ）の
差（Ｂ−Ｙ）である。

【０００７】(b) Ｂピクチャのマクロブロックの符号化 図８はＢピクチャのマクロブロックの符号化説明図、図
９はＢピクチャのマクロブロックの符号データ説明図で
ある。図８において、１はＢピクチャ、２はＢピクチャ
に対して過去のＩ又はＰピクチャ（Ｉピクチャとす
る）、３はＢピクチャに対して未来のＩ又はＰピクチャ
（Ｐピクチャとする）、４はリファレンスピクチャ（Ｂ
ピクチャに対応する入力ピクチャ）である。Ｂピクチャ
のマクロブロック（Ｍ１）を符号化するものとすると以
下のように符号化を行う。

【０００８】(1) Ｂピクチャのマクロブロック（Ｍ１）
と輝度、色差の差が最も少ないエリア（マクロブロッ
ク）を過去のＩピクチャ２より探索する。ついで、該エ
リア、すなわちマクロブロック（Ｍ１′）の所定の画素
の座標とマクロブロックＭ１の対応する画素の座標との
相対差を前向きベクトル１１として記録する。又、Ｉピ
クチャ２のマクロブロック（Ｍ１′）の画像をＭ１にコ
ピーする。 (2) しかる後、Ｂピクチャのマクロブロック（Ｍ１）と
輝度、色差の差が最も少ないエリア（マクロブロック）
を未来のＰピクチャ３より探索する。ついで、該エリ
ア、すなわちマクロブロック（Ｍ１″）の所定の画素の
座標とマクロブロックＭ１の対応する画素の座標との相
対差を後向きベクトル１２として記録する。又、Ｐピク
チャ３のマクロブロック（Ｍ１″）の画像を(1)でコピ
ーした上にコピーする。すなわち、Ｍ１′の画像とＭ
１″の画像を加算する。

【０００９】(3) (1),(2)により生成されたマクロブロ
ックＭ１のブロックの画像データと、リファレンスピ
クチャ４内のＭ１に対応する座標のマクロブロックＭ２
のブロックの画像データとの差分をとり、ブロックデ
ータ１３として記録し、その後に、ブロックデータの区
切りを示すためにブロックエンドコード(end-of-block)
１４を記録する。 (4) 以後、同様に、ブロック〜の差分を演算してブ
ロックデータ１３として記録し、その後に、ブロックデ
ータの区切りを示すためにend-of-block(ブロックエン
ドコード)１４を記録する。尚、差分がないブロックは
スキップする。例えば、ブロック，について差分が
なければ、すなわち差分＝０の場合には、ブロック→
→→の順に記録する。 (5) 全ブロック〜の差分を記録すれば、記録したブ
ロックの順序(→→→)を示す符号化ブロックパ
ターンコード(coded-block-pattern code)１５を記録す
る。

【００１０】(6) 以上の１マクロブロックのコード化が
終了すれば、最後にマクロブロックエンドコード（end-
of-macroblock)１６を記録して当該マクロブロックＭ１
の符号化処理が終了する。 尚、当該ＢピクチャのマクロブロックＭ１のデコード
（復元）に際しては、以上の符号化と逆の操作を行う。

【００１１】

【発明が解決しようとする課題】ところで、ＭＰＥＧ１
の圧縮画像データの伝送においてエラーが発生すると表
示画像が乱れる。例えば、ビデオデコーダが図９に示す
Ｂピクチャの圧縮データ（符号データ）に基づいてマク
ロブロックＭ１をデコードする際、ブロックデータ及び
end-of-blockコードにデータ化け等のエラーが発生する
と、表示画像が乱れる。具体的に説明すると、ブロック
→→→→の順にブロックデータが記録されて
いる時、データエラーによってブロック及びそのend-
of-block codeが欠落したものとする。かかる場合、ビ
デオデコーダはブロック→→→の順にブロック
データをデコードするが、coded-block-pattern codeは
→→→→である。このため、図１０に点線矢
印で示すように、輝度ブロックは輝度ブロックと間
違って判断され、又、色差Ｃｒブロックは輝度ブロッ
クと判断され、更に、色差Ｃｂブロックは色差Ｃｒ
ブロックとして判断されてデコードされてしまう。カ
ラー画像は、３原色である輝度、色差Ｃｒ，Ｃｂにより
合成されるため、上記のように色差及び輝度データが誤
った場合にはカラーバランスが崩れ、表示画像が乱れる
ことになる。以上から本発明の目的は、Ｂピクチャのブ
ロックデータ及びend-of-block codeが欠落しても画像
乱れを軽減できるＢピクチャのマクロブロック画像復元
方法を提供することである。

【００１２】

【課題を解決するための手段】上記課題は、本発明によ
れば、Ｂピクチャのマクロブロック画像の復元に際し
て、符号化ブロックパターンコード（end-of-block cod
e）より求まるブロックデータ数と、マクロブロックエ
ンドコード（end-of-macroblock）が検出される迄に検
出したブロックエンドコード（end-of-block）の数が一
致するか調べる手段と、一致しない場合には、前向きベ
クトル及び後向きベクトルのいずれかが指示するＩ又は
Ｐピクチャにおけるマクロブロックの画像又はそれぞれ
のベクトルが指示する画像を合成して生成された画像を
Ｂピクチャのマクロブロックの画像として出力する手段
と、一致する場合には、前向きベクトル及び後向きベク
トルにより求まる画像及び差分マクロブロックの差分画
像を合成してＢピクチャのマクロブロックの画像を復元
して出力する手段により達成される。

【００１３】

【作用】Ｂピクチャのマクロブロック画像の復元に際し
て、符号化ブロックパターンコードより求まるブロック
データ数と、マクロブロックエンドコードが検出される
迄に検出したブロックエンドコードの数が一致するか調
べ、一致しない場合には、前向きベクトル及び後向きベ
クトルのいずれかが指示するＩ又はＰピクチャにおける
マクロブロックの画像又はそれぞれのベクトルが指示す
る画像を合成して生成された画像をＢピクチャのマクロ
ブロックの画像として出力し、一致する場合には、前向
きベクトル及び後向きベクトルにより求まる画像及び差
分マクロブロックの差分画像を合成してＢピクチャのマ
クロブロックの画像を復元して出力する。以上のように
すれば、Ｂピクチャのブロックデータ及びend-of-block
codeが欠落しても画像乱れを軽減することができる。

【００１４】

【実施例】

(a) 本発明の構成 図１は本発明の実施例構成図である。２１、２２は現在
処理中のＢピクチャに対して表示時間軸で１つ前と１つ
後のＩ又はＰピクチャのいずれかをそれぞれ記憶する第
１、第２のピクチャ記憶部である。例えば、第１ピクチ
ャ記憶部２１が１つ後のＩ又はＰピクチャを記憶してい
るものとすれば、第２ピクチャ２２は１つ前のＩ又はＰ
ピクチャを記憶する。第１、第２のピクチャ記憶部２
１、２２の記憶形態及びその更新システムは、ＭＰＥＧ
１規格内デコーダモデルと同一である。

【００１５】２３はベクトル処理部、２４はマクロブロ
ック合成部である。ベクトル処理部２３は、Ｂピクチャ
ビットストリームより前向きベクトルを検知すると、該
ベクトルが指示する１つ前のＩ又はＰピクチャのエリア
（マクロブロック）のブロックデータを読み取ってマク
ロブロック合成部２４の記憶部にコピーする（記憶部に
既に記憶されているブロックデータと加算する）。又、
ベクトル処理部２３はＢピクチャビットストリームより
後向きベクトルを検知すると、該ベクトルが指示する１
つ後のＩ又はＰピクチャのエリア（マクロブロック）よ
りブロックデータを読み取ってマクロブロック合成部２
４の記憶部にコピーする（記憶部に既に記憶されている
ブロックデータと加算する）。マクロブロック合成部２
４は、ベクトル処理部２３から出力されるマクロブロッ
ク及び必要であれば後述する差分マクロブロック記憶部
から読み取ったマクロブロックを全てブロック番号〜
単位で加算してＢピクチャのマクロブロック画像とし
て出力する。

【００１６】２５は差分マクロブロック生成部、２６は
差分マクロブロック記憶部、２７はマクロブロック制御
部である。差分マクロブロック生成部２５はビットスト
リーム内のcoded-block-pattern code(符号化ブロック
パターンコード)を受信した後に動作を開始し、受信ビ
ットストリーム中のブロック〜のブロックデータ
(差分ブロックデータ)より差分マクロブロックを生成し
て差分マクロブロック記憶部２６に出力して記憶する。
又、差分マクロブロック生成部２５は、差分マクロブロ
ックの生成途中で検出された、 coded-block-pattern
codeから算出した差分マクロブロックのブロック数、
end-of-block code、 end-of-macroblock codeを
受信順にマクロブロック制御部２７に通知する。

【００１７】差分マクロブロック記憶部２６は、差分マ
クロブロック生成部２５より出力される、マクロブロッ
ク内最大６個のブロックデータを、そのブロック番号に
合わせて記憶する。そして、マクロブロック制御部２７
からの出力通知あるいは消去通知により差分マクロブロ
ックのブロックデータをマクロブロック合成部２４へ出
力し、あるいは、その全てを消去する（初期状態にす
る）。マクロブロック制御部２７は、差分マクロブロッ
ク生成部２５から入力される伝送ブロック数、 end
-of-block code、 end-of-macroblock codeに基づい
て、ビットストリーム内のブロックデータの誤り監視を
行い、誤りがなければ、差分マクロブロック記憶部２６
に記憶されている差分マクロブロックのブロックデータ
をマクロブロック合成部２４に出力させ、誤りがあれ
ば、出力を停止すると共に、差分マクロブロック記憶部
２６内の差分マクロブロックデータを消去させる。又、
マクロブロック制御部２７は、誤り検出の有無に関係な
くマクロブロック合成部２４に合成したマクロブロック
のブロックデータの出力を指示する。

【００１８】(b) Ｂピクチャのマクロブロック画像復元
処理 図２は本発明のＢピクチャのマクロブロック画像復元処
理のフローである。マクロブロック制御部２７は差分マ
クロブロック生成部２５より伝送ブロック数が指示され
ると、該伝送ブロック数をＣとする（伝送ブロック数→
Ｃ、ステップ１０１）。ついで、差分マクロブロック生
成部２５より end-of-block codeが通知されたか監視し
（ステップ１０２）、通知されれば、カウントＣを１減
少する（Ｃ−１→Ｃ、ステップ１０３）。しかる後、差
分マクロブロック生成部２５より end-of-macroblock c
odeが通知されたかチェックし（ステップ１０４）、通
知されなければステップ１０２に戻り以降の処理を繰り
返す。

【００１９】一方、ステップ１０４において、差分マク
ロブロック生成部２５より end-of-macroblock codeが
通知されれば、カウントＣが零か調べ（ステップ１０
５）、Ｃ＝０であればエラーがないものとして差分マク
ロブロック記憶部２６に差分マクロブロックのブロック
データの出力を指示する（ステップ１０６）。これによ
り、差分マクロブロック記憶部２６は差分マクロブロッ
クのブロックデータをマクロブロック合成部２４に出力
する。マクロブロック合成部２４は該差分マクロブロッ
クのブロックデータと、既に生成してある前後のＩ又は
Ｐピクチャの合成マクロブロックのブロックデータとを
ブロック毎に加算してＢピクチャのマクロブロックのブ
ロックデータ（画像データ）を復元して出力する（ステ
ップ１０７）。一方、ステップ１０５においてＣが零で
なければ、換言すれば、エラーにより end-of-block c
odeが欠落していれば、マクロブロック制御部２７は差
分マクロブロック記憶部２６に差分マクロブロックのブ
ロックデータの消去を指示して消去させる（ステップ１
０８）。

【００２０】ついで、マクロブロック制御部２７は、マ
クロブロック合成部２４に出力を指示する。これによ
り、マクロブロック合成部２４は、既に生成してある前
後のＩ又はＰピクチャの合成マクロブロックのブロック
データを、Ｂピクチャのマクロブロックのブロックデー
タ（画像データ）として出力する（ステップ１０７）。

【００２１】(c) 変形例 以上では、エラー発生時に前後のＩ又はＰピクチャの合
成マクロブロックのブロックデータを、Ｂピクチャのマ
クロブロックのブロックデータ（画像データ）として出
力する場合であるが、一方の（過去又は未来の）Ｉ又は
ＰピクチャのマクロブロックのブロックデータをＢピク
チャのマクロブロックのブロックデータ（画像データ）
として出力することもできる。以上、本発明を実施例に
より説明したが、本発明は請求の範囲に記載した本発明
の主旨に従い種々の変形が可能であり、本発明はこれら
を排除するものではない。

【００２２】

【発明の効果】以上本発明によれば、Ｂピクチャのマク
ロブロック画像の復元に際して、符号化ブロックパター
ンコードより求まるブロックデータ数と、マクロブロッ
クエンドデータが検出される迄に検出したブロックエン
ドデータの数が一致するか調べ、一致しない場合には、
前向きベクトル及び後向きベクトルのいずれかが指示す
るＩ又はＰピクチャにおけるマクロブロックの画像又は
それぞれのベクトルが指示する画像を合成して生成され
た画像をＢピクチャのマクロブロックの画像として出力
し、一致する場合には、前向きベクトル及び後向きベク
トルにより求まる画像及び差分マクロブロックの差分画
像を合成してＢピクチャのマクロブロックの画像として
出力するように構成したから、エラーによりマクロブロ
ックエンドコードが欠落しても、画像の乱れを軽減する
ことができる。

【図面の簡単な説明】

【図１】Ｂピクチャマクロブロックの復元回路の構成図
である。

【図２】Ｂピクチャのマクロブロック画像復元処理のフ
ロー図である。

【図３】ＭＰＥＧ１画像データの階層構造図である。

【図４】符号化順序説明図である。

【図５】Ｂピクチャの符号化説明図である。

【図６】ＧＰＯを構成するピクチャの媒体上の記録位置
の説明図である。

【図７】マクロブロックと画面の対応説明図である。

【図８】Ｂピクチャのマクロブロックの符号化説明図で
ある。

【図９】Ｂピクチャのマクロブロックの符号データ説明
図である。

【図１０】エラー発生時の問題点説明図である。

【符号の説明】

２１、２１・・第１、第２のピクチャ記憶部 ２３・・ベクトル処理部 ２４・・マクロブロック合成部 ２５・・差分マクロブロック生成部 ２６・・差分マクロブロック記憶部 ２７・・マクロブロック制御部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画面をｎ×ｎ画素よりなるマクロブロッ
   クに分割し、該マクロブロックの画像を４つの輝度ブロ
   ックと色差ブロックＣｒと色差ブロックＣｂの６個のブ
   ロックで符号化し、各画面のマクロブロックの画像をＭ
   ＰＥＧフォーマットに従って圧縮してＩ，Ｐ，Ｂの３種
   類のピクチャを生成し、これらピクチャが記録された蓄
   積型記録媒体よりＢピクチャのマクロブロック画像を復
   元する復元方法において、 Ｂピクチャの各マクロブロック（Ｍ１）の圧縮データ
   は、マクロブロック（Ｍ１）と輝度、色差について差
   が最も少ない過去のＩ又はＰピクチャにおけるマクロブ
   ロック（Ｍ１′）と該マクロブロック（Ｍ１）間の相対
   座標である前向きベクトルと、マクロブロック（Ｍ
   １）と輝度、色差について差が最も少ない未来のＩ又は
   Ｐピクチャにおけるマクロブロック（Ｍ１″）と該マク
   ロブロック（Ｍ１）間の相対座標である後向きベクトル
   と、マクロブロック（Ｍ１′）とマクロブロック（Ｍ
   １″）をブロック単位で加算して得られる合成画像とＢ
   ピクチャに応じた入力ピクチャの対応するマクロブロッ
   クの画像との差分をブロック単位で演算して得られる差
   分画像のブロックデータ（差分が０のブロックデータは
   除く）と、各ブロックデータの終わりを示すブロック
   エンドデータと、ブロックデータの配列順序をブロッ
   ク番号で示す符号化ブロックパターンコードと、マク
   ロブロックの終わりを示すマクロブロックエンドデータ
   を有し、 Ｂピクチャのマクロブロック画像の復元に際して、符号
   化ブロックパターンコードより求まるブロックデータ数
   と、マクロブロックエンドデータが検出される迄に検出
   したブロックエンドデータの数が一致するか調べ、 一致しない場合には、前向きベクトル及び後向きベクト
   ルのいずれかが指示するＩ又はＰピクチャにおけるマク
   ロブロックの画像又はそれぞれのベクトルが指示する画
   像を合成して生成された画像をＢピクチャのマクロブロ
   ックの画像として出力し、 一致する場合には、前向きベクトル及び後向きベクトル
   により求まる画像及び前記差分画像を合成してＢピクチ
   ャのマクロブロックの画像として出力するＢピクチャの
   マクロブロック画像復元方法。