JPH1079946A - 画像符号化装置および画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】符号量を大きく増加させることなく誤り耐性を
高くすることができる画像符号化装置を提供する。 【解決手段】画像信号を圧縮符号化する可変長符号化器
１０６，１１０を含み、得られた圧縮符号を多重化／同
期付加器１１１で多重化すると共に同期符号を付加して
符号化ビットストリーム２０５を出力する画像符号化装
置において、多重化／同期付加器１１１は画面内の少な
くとも水平方向の位置を間欠的に異ならせた複数の特定
位置にのみ同期符号を付加できるように構成され、同期
符号を付加した場合には複数の特定位置の中の同期符号
を付加した位置を示す位置情報を符号化ビットストリー
ム２０５中に付加する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＴＶ電話、ＴＶ会
議システム、携帯情報端末、デジタルビデオディスクシ
ステム、デジタルＴＶ放送システムのように画像信号を
伝送／蓄積するシステムにおいて、画像を少ない情報量
に圧縮符号化する装置および圧縮符号化された情報を復
元し画像を再生する装置に係り、特に無線伝送路のよう
な誤りが生じやすい媒体を介して符号化画像を伝送／蓄
積する場合でも誤り耐性が強く高品質に画像伝送／蓄積
を行うことができる画像符号化装置および復号化装置に
関する。

【０００２】

【従来の技術】画像信号を伝送、蓄積するために少ない
情報量に圧縮符号化する技術として、離散コサイン変換
（ＤＣＴ）符号化、サブバンド符号化、ピラミッド符号
化、可変長符号化等の方式や、これらを組み合わせた方
式など様々な方式が開発されている。また、画像信号の
圧縮符号化の国際標準方式として、静止画の符号化では
ＩＳＯ・ＪＰＥＧ、動画像の符号化ではＩＳＯ・ＭＰＥ
Ｇ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６
２、Ｈ．２６３が規定されている。これらはいずれもコ
サイン変換符号化を用いた方式であり、文献１：安田浩
編著、”ＭＰＥＧ／マルチメディア符号化の国際標
準”、丸善、（平成６年９月）、等に詳細が述べられて
いる。

【０００３】画像信号を圧縮符号化技術を用いて少ない
情報量に符号化することにより、例えば、無線回線等の
伝送路容量が限定された伝送路において画像を伝送する
ことが可能になり、例えば無線伝送機能を付加したＴＶ
電話装置、携帯情報端末、パソコン、ワークステーショ
ン等の間で静止画や動画像の画像通信が可能となる。し
かし、無線伝送路は一般に伝送路誤りが混入する確率が
高く、圧縮符号化された画像を無線伝送路で伝送する場
合、復号された再生画像が伝送路誤りの影響で劣化して
しまうことがある。

【０００４】前述の国際標準方式をはじめとする従来の
画像符号化方式では、入力画像信号をブロックまたはマ
クロブロックと呼ばれる小領域に分割して予測符号化間
または動き補償予測符号化を行った後、符号化モード情
報、動きベクトル情報、ＤＣＴ係数情報等を可変長符号
化して圧縮符号を生成し、これらを多重化して符号化ビ
ットストリームとして伝送する。

【０００５】このような可変長符号化を用いる画像符号
化方式においては、伝送路誤りが混入することにより復
号化装置で可変長復号化の同期外れと呼ばれる現象が生
じることがある。同期外れが起こると、可変長復号化に
おいて伝送路誤りによって符号表に無い符号列が検出さ
れてしまったり、予め定められたシンタックス、セマン
ティックスに違反する状態が検出されてしまう。このよ
うな現象が生じた場合には、次の同期符号が検出される
まで情報の復号が全くできないため、再生画像に大きな
劣化を生じる。

【０００６】また、従来の画像符号化方式では動きベク
トル情報や、ＤＣＴ係数のＤＣ成分の情報等は隣接のブ
ロックやマクロブロックとの差分をとって符号化する方
法がとられる。この場合、ある動きベクトル情報やＤＣ
成分の情報等に誤りが混入して復号値が誤った値になる
と、これらの情報との差分をとって符号化を行った情報
にもその誤りの影響が波及してしまい、画面内の広い領
域にわたって再生画像の品質が劣化する。

【０００７】このような現象を抑えるため、従来の画像
符号化方式では同期符号を小領域毎に付加し、差分をと
る範囲をその小領域内に限定することによって、可変長
符号化の同期外れと差分符号化による画質劣化の波及を
小さな領域に抑えるＧＯＢ／スライスと呼ばれる技術が
用いられている。

【０００８】図９は、ＧＯＢ／スライスにおける領域分
割の例を示したものである。図中、実線ないし破線で区
切られた小さな正方形がマクロブロックである。また、
実線で囲まれた領域がＧＯＢ／スライスであり、図中ド
ット模様で示すマクロブロックがＧＯＢ／スライス同期
符号を付加することのできるマクロブロックである。し
かし、これら従来の方式は以下に示す問題点がある。

【０００９】図９（ａ）のＧＯＢは、同期符号を付加で
きるのは画面の左端のマクロブロックだけである。従っ
て、同期符号で誤りの波及を抑える領域の単位は１ない
しは複数のマクロブロックラインといった大きな領域で
ある。このため、誤りが波及する範囲が広く、大きな画
質劣化が生じてしまう。

【００１０】図９（ｂ）のスライスは、全てのマクロブ
ロックに同期符号を付加できる。このため、誤りが波及
する範囲を小さくすることができる反面、同期符号が付
加された位置を示す位置情報の伝送に多くのビット数が
必要となり、符号量が増加してしまう。

【００１１】図９（ｃ）の同期符号を固定マクロブロッ
ク毎に付加する方式は、その固定マクロブロック数（図
の例では３）が画面内の水平マクロブロック数（図の例
では１１）の約数でないと、図に示すようにマクロブロ
ックの垂直位置によって同期符号を挿入できるマクロブ
ロックの水平位置が異なってしまうという問題点があ
る。

【００１２】

【発明が解決しようとする課題】上述したように、ＧＯ
Ｂ／スライスといった手法により同期符号を符号化ビッ
トストリームに付加して、画質劣化の波及を小さな領域
に抑える従来の画像符号化／復号化装置では、同期符号
を付加できる単位が大きく、誤りが広い範囲に波及して
大きな画質劣化が生じてしまうという問題点や、同期符
号が付加された位置を示す位置情報の伝送に多くのビッ
ト数が必要であるために符号量が増加してしまうという
問題点があった。

【００１３】本発明は、このような従来の問題点を解決
し、符号量を大きく増加させることなく誤り耐性を高く
することができる画像符号化装置および画像復号化装置
を提供することを目的とする。

【００１４】

【発明を解決するための手段】本発明に係る第１の画像
符号化装置は、画像信号を圧縮符号化して圧縮符号を出
力する画像符号化手段と、この画像符号化手段から出力
される圧縮符号を多重化すると共に同期符号を付加して
符号化ビットストリームを出力する多重化／同期付加手
段とを有し、多重化／同期付加手段は、画面内の少なく
とも水平方向の位置を間欠的に異ならせた複数の特定位
置にのみ同期符号を付加できるように構成されると共
に、同期符号を付加した場合には複数の特定位置の中の
該同期符号を付加した位置を示す位置情報を符号化ビッ
トストリーム中に付加することを特徴とする。

【００１５】また、第１の画像符号化装置に対応する第
１の画像復号化装置は、入力される符号化ビットストリ
ーム中の同期符号を検出すると共に該符号化ビットスト
リーム中の圧縮符号を逆多重化する同期検出／逆多重化
手段と、同期検出／逆多重化手段から出力される逆多重
化された圧縮符号を復号して画像信号を再生する画像復
号手段とを有し、符号化ビットストリーム中の同期符号
は、画面内の少なくとも水平方向の位置を間欠的に異な
らせた複数の特定位置のうちの少なくとも一つの位置に
のみ付加されており、同期検出／逆多重化手段は、符号
化ビットストリーム中の同期符号を検出すると共に、複
数の特定位置の中の該同期信号が付加された位置を示す
位置情報を検出することを特徴とする。

【００１６】この第１の画像符号化装置／復号化装置で
は、同期符号が存在できる位置を画面内の少なくとも水
平方向の位置を間欠的に異ならせた複数の特定位置とし
ているため、従来のＧＯＢのように１ないしは複数のマ
クロブロックライン毎にしか同期符号を付加できないと
いった制約無しに同期符号を付加できる。従って、伝送
路誤りの影響を狭い範囲に限定することができ、再生画
像の品質が向上する。また、従来のスライスを用いる方
式に比べ、同期符号を付加できるマクロブロックの数が
少なく、この位置を識別する情報を少ないビット数に抑
えることができるため、符号量が削減される。

【００１７】本発明に係る第２の画像符号化装置は、画
像信号を圧縮符号化して圧縮符号を出力する画像符号化
手段と、画像符号化手段から出力される圧縮符号を多重
化すると共に同期符号を付加して符号化ビットストリー
ムを出力する多重化／同期付加手段とを有し、前記多重
化／同期付加手段は、画面内の複数の特定位置にのみ同
期符号を付加できるように構成されると共に、特定位置
を示す第１の位置情報を符号化ビットストリーム中に含
め、さらに同期符号を付加した場合には複数の特定位置
の中の該同期符号を付加した位置を示す第２の位置情報
を符号化ビットストリーム中に付加することを特徴とす
る。

【００１８】また、第１の画像符号化装置に対応する第
１の画像復号化装置は、入力される符号化ビットストリ
ーム中の同期符号を検出すると共に該符号化ビットスト
リーム中の圧縮符号を逆多重化する同期検出／逆多重化
手段と、同期検出／逆多重化手段から出力される逆多重
化された圧縮符号を復号して画像信号を再生する画像復
号手段とを有し、符号化ビットストリーム中の同期符号
は、画面内の複数の特定位置の少なくとも一つの位置に
のみ付加されており、同期検出／逆多重化手段は、符号
化ビットストリーム中の特定位置を示す第１の位置情報
を検出し、これに基づいて同期符号を検出すると共に、
複数の特定位置の中の該同期信号が付加された位置を示
す第２の位置情報を検出することを特徴とする。

【００１９】この第２の画像符号化装置／復号化装置で
は、同期符号を付加することができる画面内の特定位置
を示す情報を符号化ビットストリーム中に含めて符号化
するため、例えば符号化する入力画像信号の性質や、符
号化ビットストリームを伝送する伝送路の性質等に応じ
て、同期符号を付加することができる位置や数を制御す
ることが可能である。このため、従来のＧＯＢやスライ
スに比べてより効果的に同期符号の付加を行うことがで
き、再生画像の品質が向上する。

【００２０】本発明においては、同期符号を付加するこ
とができる画面内の複数の特定位置を予め規則的に定め
てもよいし、画面内の輪郭部および予め定められた特定
の領域の少なくとも一方、具体的には画面内の人物など
の物体を囲む位置や、その物体内などに定めてもよい。

【００２１】こうすることにより、視覚的に重要な情報
である人物その他の情報をより強く誤り保護するように
同期符号を付加することができ、伝送路誤りが生じたと
きの再生画像の品質が向上する。

【００２２】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００２３】（第1 の実施形態）図１は、動き補償適応
予測と直交符号化の一種である離散コサイン変換符号化
を用いた動画像高能率圧縮符号化装置の例である。動き
補償適応予測離散コサイン変換符号化方式については、
前述の文献１等に詳しいので、動作の概略のみを説明
し、従来方式との差異を詳細に説明する。

【００２４】図１において、フレーム単位で入力される
符号化対象の入力動画像信号１３１は、まずマクロブロ
ック等の小領域単位で動き補償適応予測が行われる。す
なわち、動き補償適応予測器１０１において、入力動画
像信号１３１とフレームメモリ１０２中に蓄えられてい
る既に符号化／局部復号化が行われた画像信号との間の
動きベクトルが検出され、この動きベクトルに基づいて
動き補償予測により予測信号１３２が作成される。この
動き補償予測器１０１においては、動き補償予測符号化
と、入力動画像信号１３１をそのまま符号化するフレー
ム内符号化（予測信号＝０）のうち、符号化に用いて好
適な方の予測モードが選択され、対応する予測信号１３
２が出力される。

【００２５】予測信号１３２は減算器１０３に入力さ
れ、入力動画像信号１３１から予測信号１３２が減算さ
れることによって予測残差信号１３３が出力される。予
測残差信号１３３は、離散コサイン変換器１０４におい
て一定の大きさのブロック単位で離散コサイン変換（Ｄ
ＣＴ）され、ＤＣＴ係数が生成される。このＤＣＴ係数
は、量子化器１０５で量子化される。量子化器１０５か
らの量子化されたＤＣＴ係数データは２分岐され、一方
は第１の可変長符号化器１０６で可変長符号化され、他
方は逆量子化器１０７で逆量子化された後、逆離散コサ
イン変換器１０８で逆離散コサイン変換（逆ＤＣＴ）さ
れることによって、予測残差信号が復号される。逆離散
コサイン変換器１０８から出力される予測残差信号は加
算器１０９において予測信号１３２と加算され、局部復
号信号が生成される。この局部復号信号は、フレームメ
モリ１０２に記憶される。

【００２６】一方、動き補償適応予測器１０１において
決定された予測モードおよび動きベクトルの情報は、第
２の可変長符号化器１１０で可変長符号化される。ただ
し、動きベクトルの情報は隣接の既に符号化された動き
ベクトルの情報から求められた予測動きベクトルとの差
分がとられ、これが可変長符号化される。

【００２７】第１、第２の可変長符号化器１０６，１１
０から出力される可変長符号（圧縮符号）は、多重化／
同期付加器１１１において可変長符号化器１０６，１１
０から出力される圧縮符号の多重化と同期符号の付加が
行われ、符号化ビットストリーム２０５となる。

【００２８】次に、多重化／同期付加器１１１について
説明する。図２は、多重化／同期付加器１１１における
多重化の流れを示す図である。多重化は、ブロック、複
数のブロックからなるマクロブロック（ＭＢ）、１ない
し複数のマクロブロックからなるＧＯＭ(Group of Macr
oblocks)（ＧＯＢ、スライス等とも呼ばれる）、１ない
し複数のＧＯＭからなるピクチャ（画面またはフレーム
ともいう）の各レイヤからなる。さらに、１ないし複数
のピクチャからなるＧＯＰ(Group of Pictures) 、シー
ケンス、セッション等のレイヤを用いても良い。

【００２９】ピクチャレイヤは、図２（ａ）に示すよう
にピクチャ同期符号（ＰＳＣ）、そのピクチャの符号化
モード等を示すピクチャヘッダ（ＰＨ）で始まり、１な
いし複数のＧＯＭレイヤが続く。ＧＯＭレイヤは、図２
（ｂ）に示すように必要に応じてＧＯＭ同期符号（ＧＳ
Ｃ）およびそのＧＯＭの画面内での位置や符号化モード
等を示すＧＯＭヘッダ（ＧＨ）から始まり、そのＧＯＭ
に含まれる１ないしは複数のマクロブロックが続く。マ
クロブロックレイヤは、図２（ｃ）に示すようにそのマ
クロブロックの符号化モード情報、動きベクトル情報お
よびそのマクロブロックに含まれる複数のブロックが含
まれる。

【００３０】図３は、ＧＯＭヘッダ（ＧＨ）に含まれる
情報の例を示した図である。ＧＯＭヘッダには、そのＧ
ＯＭの符号化モードを示す符号化モード情報ＧＭ、その
ＧＯＭのピクチャ（画面）内での位置を示す位置情報Ｇ
Ｎ、そのＧＯＭに含まれるＤＣＴ係数の量子化ステップ
サイズを示すステップサイズ情報ＧＱからなる。

【００３１】図４は、ＧＯＭ形状の２つの例を示す図で
ある。図中、実線がＧＯＭの境界を示し、破線がＧＯＭ
中のマクロブロックの境界を示している。ＧＯＭ内のド
ット模様で示した最初のマクロブロックがＧＯＭ同期符
号ＧＳＣを付加することのできるマクロブロック、すな
わちＧＯＭ同期符号ＧＳＣの付加が許容される特定位置
である。ただし、画面内の最初のＧＯＭにはピクチャ同
期符号ＰＳＣが付加されるので、ＧＯＭ同期符号ＧＳＣ
は付加されない。

【００３２】図４（ａ）の例では、画面水平方向の位置
が左端を０として０，３，６，９番目のマクロブロック
にＧＯＭ同期符号を付加することができる。図４（ｂ）
の例では、画面水平方向の位置が左端を０として０，
２，４，６，８，１０番目で、かつ画面垂直方向の位置
が上端を０として０，２，４，６，８番目のマクロブロ
ックにＧＯＭ同期符号を付加することができる。マクロ
ブロックの画面水平方向および垂直方向の位置をＭx,Ｍ
y とすれば、図４（ａ）および（ｂ）の例では、以下の
条件が成り立つ位置のマクロブロックにＧＯＭ同期符号
を付加することができる。

【００３３】（ａ）（Ｍx mod ３）＝０ （ｂ）((Ｍx mod ２）＝０) and ((Ｍy mod ２）＝０） ここで、（Ａ mod Ｂ）はＡをＢで除したときの剰余を
表す。

【００３４】ＧＯＭ同期符号を付加することのできる図
４（ａ）（ｂ）中にドット模様で示すマクロブロック
は、画面左上より順に０から番号付けされており、この
番号が図３のシンタックスにおける位置情報ＧＮとして
符号化ビットストリーム２０５に付加される。すなわ
ち、この場合の位置情報ＧＮはＧＯＭ同期符号を付加す
ることのできる特定位置を示す。

【００３５】図４（ａ）（ｂ）の例のようにＧＯＭを配
することにより、図９（ａ）に示した従来のＧＯＢのよ
うに、１ないしは数マクロブロックライン毎にしか同期
符号を付加することのできない方式に比べ、同期符号を
付加することのできる密度が高く、誤りが波及する範囲
が狭くなるため、再生画像の品質が向上する。

【００３６】また、図９（ｂ）に示した従来のスライス
では、同期符号を付加することのできるマクロブロック
の総数が多く、同図の例のように９９個のマクロブロッ
クがある場合には、これらの全てに対して同期符号の付
加された位置を特定するために、図３中の位置情報ＧＮ
で示される番号付けが必要であり、この位置情報ＧＮに
多くのビット数を割り当てる必要があった。

【００３７】これに対し、図４の例では同期符号を付加
することのできるマクロブロックの総数は、図４（ａ）
の場合３５個、図４（ｂ）の場合で２９個であり、位置
情報ＧＮのビット数を削減することができる。例えば、
ＧＮを固定長の２進表現で表すとすれば、スライスの場
合は７ビット必要なのに対し、図４（ａ）の例では６ビ
ット、図４（ｂ）の例では５ビットで済む。これは特
に、多くの同期符号を付加する場合には、大きな符号量
削減につながる。

【００３８】次に、本実施形態に係る動画像復号化装置
について説明する。

【００３９】図５は、図１の動画像復号化装置に対応し
た動画像復号化装置の構成を示すブロック図である。図
５において、図１の動画像符号化装置から出力された符
号化ビットストリーム２０５は、図示しない伝送／蓄積
系を経た後、符号化ビットストリーム２０５’として同
期検出／逆多重化器８１１に入力される。

【００４０】同期検出／逆多重化器８１１は、符号化ビ
ットストリーム２０５’中の同期符号を検出するととも
に、量子化されたＤＣＴ係数の可変長符号（以下、予測
残差符号という）８４１と、予測モードおよび動きベク
トル情報の可変長符号（以下、動き補償適応予測情報符
号）８４２を分離して出力する。

【００４１】予測残差符号８４１は第１の可変長復号化
器８０６に入力され、量子化されたＤＣＴ係数８３１が
復号される。このＤＣＴ係数８３１は、逆量子化器８０
７で逆量子化、逆ＤＣＴ器８０８で離散コサイン変換、
という一連の処理が施された後、加算器８０９で動き補
償適応予測器８０１からの出力である動き補償適応予測
信号８３２と加算されて再生画像信号８５０となる。再
生画像信号８５０は、装置外へ出力されると共に、フレ
ームメモリ８２０へ記録される。

【００４２】一方、動き補償適応予測情報符号８４２は
第２の可変長復号化器に入力され、予測モードおよび動
きベクトルの情報が復号される。復号された予測モード
および動きベクトルの情報は動き補償適応予測器８０１
に入力され、これらの情報とフレームメモリ８２０から
の画像信号に基づいて動き補償予測信号８３２が生成さ
れる。

【００４３】以上の処理は、図1 の動画像符号化装置に
対応して動画像を再生する処理であり、逆量子化器８０
７、逆ＤＣＴ器８０８、加算器８０９およびフレームメ
モリ８２０が行う処理は、それぞれ図１における逆量子
化器１０７、逆ＤＣＴ器１０８、加算器１０９およびフ
レームメモリ１０２のそれと実現手段は異なる場合もあ
るが、基本的に同一である。また、第１および第２の可
変長復号化器８０６、８１０、同期検出／逆多重化器８
１１の処理は、符号化ビットストリームに誤りが混入さ
れた場合を除いて、それぞれ図１における可変長符号化
器１０６、１１０、多重化／同期付加器１１１のそれと
逆の処理である。

【００４４】次に、同期検出／逆多重化器８１１につい
て説明する。

【００４５】同期検出／逆多重化器８１１は、図２に示
した多重化規則に基づいて同期符号の検出と逆多重化の
処理を行う。ＧＯＭ同期符号ＧＳＣおよびＧＯＭヘッダ
ＧＨは、ＧＯＭによって存在する場合と存在しない場合
がある。そこで、図４（ａ）（ｂ）にドット模様で示し
たＧＯＭ同期符号を付加することのできるマクロブロッ
クの復号を開始する時点で、ＧＯＭ同期符号ＧＳＣが存
在するかどうかを判定する。

【００４６】同期符号は、ユニークワードと呼ばれる、
それ以外の符号列とは同一のビットパターンとならない
符号語である。複数種類ある同期符号（図２ではピクチ
ャ同期符号ＰＳＣおよびＧＯＭ同期符号ＧＳＣの２種
類）はそれぞれ異なる符号語となっているため、各ＧＯ
Ｍの符号列中の最初の符号語がＧＯＭ同期符号か否かを
一意に判定することが可能である。

【００４７】同期検出／逆多重化器８１１では、ＧＯＭ
同期符号ＧＳＣが検出された場合には、それに続くＧＯ
ＭヘッダＧＨも復号する。その後、そのＧＯＭに含まれ
るマクロブロックレイヤの逆多重化処理を行っていく。
ここで、ＧＯＭヘッダの復号化や、マクロブロックレイ
ヤの復号化処理において、符号化ビットストリーム２０
５’中に伝送路誤りが混入していることが発見された場
合、該ＧＯＭ中の後続のマクロブロックは復号処理を行
わず、後続の符号列中に含まれる同期符号を検出する処
理を開始する。

【００４８】このとき検出された同期符号がＧＯＭ同期
符号ＧＳＣであった場合は、そのＧＯＭのＧＯＭヘッダ
を復号し、そのＧＯＭヘッダ中に示されているＧＯＭの
画面内での位置（ＧＯＭ同期符号ＧＳＣが付加された位
置）を示す位置情報ＧＮを基に該ＧＯＭの位置、すなわ
ちＧＯＭ同期符号ＧＳＣが付加された位置を特定し、復
号化処理を行っていく。

【００４９】また、検出された同期符号がピクチャ同期
符号ＰＳＣであった場合は、誤りが発見されたＧＯＭな
いしはその前のＧＯＭでそのピクチャの復号を打ち切
り、ピクチャ同期符号を検出したピクチャの復号を行
う。

【００５０】本実施形態において、図１中の多重化／同
期付加器１１１におけるＧＯＭ同期符号ＧＳＣの付加
は、全てのＧＯＭで行うようにしてもよいし、一部のＧ
ＯＭのみで行うようにしてもよい。あるいは、ＧＯＭ同
期符号を全く付加しなくてもよい。ＧＯＭ同期符号を多
く付加した方がより伝送路誤りに対する耐性が増し、高
い確率で伝送路誤りが発生する場合には、図５の動画像
復号化装置における再生画像の品質が向上する。ただ
し、多くのＧＯＭ同期符号を付加すると、ＧＯＭ同期符
号とＧＯＭヘッダに伴う符号量が増加してしまい、伝送
路誤りが無い時の符号化品質が低下するので、どの程度
の数のＧＯＭ同期符号を付加するかは、伝送路の品質や
符号化レート、入力動画像信号の性質等に応じて適応的
に変えるようにすることも有効である。

【００５１】（第２の実施形態）次に、本発明に係る第
２の実施形態について説明する。本実施形態による動画
像符号化装置は、入力動画像信号や動きベクトルおよび
予測モードに応じてＧＯＭの形状（ＧＯＭ同期符号を挿
入できるマクロブロックの位置）を決定し、それを示す
ＧＯＭ形状情報（ＧＯＭ同期符号を挿入できるマクロブ
ロックの位置を示す位置情報）を符号化ビットストリー
ム中に含めて符号化する。また、これに対応する動画像
復号化装置では、入力される符号化ビットストリーム中
に含まれるＧＯＭ形状情報（ＧＯＭ同期符号を挿入でき
るマクロブロックの位置を示す位置情報）を復号し、こ
れを用いて動画像の復号処理を行う。

【００５２】図６は、本実施形態に係る動画像符号化装
置のブロック図である。図１と相対応する部分に同一の
符号を付して、第１の実施形態との相違点を中心に説明
すると、本実施形態でＧＯＭ形状決定器６０１が新たに
追加され、このＧＯＭ形状決定器６０１からＧＯＭ形状
情報６０２が多重化／同期符号符号化器１１１へ出力さ
れる。

【００５３】ＧＯＭ形状決定器６０１では、入力動画像
信号１３１や、動き補償適応予測器１０１で決定される
動きベクトル、符号化モードの情報等を基にＧＯＭ形状
を決定し、ＧＯＭ形状情報６０２を出力する。ＧＯＭ形
状情報６０２は、多重化／同期符号符号化器１１１によ
り可変長符号化され、符号化ビットストリーム（出力符
号列）２０５に付加される。

【００５４】次に、ＧＯＭ形状決定器６０１について説
明する。図７（ａ）（ｂ）は、入力動画像信号１３１に
ついて物体検出を行い、それを基にＧＯＭ形状を決定す
る例を示している。まず、入力動画像信号１３１中の物
体検出を行う。この物体検出は、入力動画像信号１３１
から直接行ってもよいし、動きベクトルや符号化モード
を基に決定してもよい。図７（ａ）（ｂ）中、一点鎖線
で示す領域が検出された物体である。そして、物体同士
の境界や、物体と背景との境界、すなわち輪郭部にある
マクロブロックをＧＯＭ同期符号を付加できるマクロブ
ロック（図中ドット模様で示すマクロブロック）として
決定する。この場合、ＧＯＭ同期符号を付加できるマク
ロブロックの位置を示す位置情報は、ＧＯＭ形状情報６
０２として符号化ビットストリーム２０５に付加され
る。

【００５５】このようにＧＯＭ形状を決定することによ
り、一般に画像の性質が大きく異なり、誤りが波及する
と大きな画質劣化につながる、物体と背景の間や異なる
物体同士の間での誤りの波及を抑えることができる。こ
のため、伝送路誤りが起きた時の復号化装置における再
生画像の劣化を防止できる。

【００５６】これらの場合において、ＧＯＭ同期符号を
付加できるマクロブロックの密度を物体毎に変えるよう
にしてもよい。図７（ｂ）の例では、特定の領域、この
例では人物の顔に相当する部分でＧＯＭ同期符号を付加
できるマクロブロックの密度が高くなっており、より多
くのＧＯＭ同期符号を付加することが可能となってい
る。人物の顔は主観的に非常に重要な情報であるため、
このようにより多くのＧＯＭ同期符号を付加してその部
分の誤り耐性を高めることによって主観的品質が向上す
る。逆に、背景のようにそれほど重要でない部分では、
ＧＯＭ同期符号を付加できるマクロブロックの密度を低
くし、画面全体のＧＯＭ同期符号を付加できるマクロブ
ロックの数を減らして、ＧＯＭヘッダの符号量を削減す
ることができる。この候補として、図４に示したＧＯＭ
形状や図９に示した従来のＧＯＢ／スライスに対応する
ＧＯＭ形状を含めるようにしてもよい。

【００５７】ＧＯＭ形状決定器６０１でのＧＯＭ同期符
号を付加できるマクロブロックは、予め用意された複数
の候補の中から選択して決定するようにしてもよい。こ
の場合、この選択決定に係る情報をＧＯＭ形状情報６０
２として符号化する。

【００５８】ＧＯＭ形状情報は、ピクチャヘッダＰＨに
含めて符号化してもよいし、ピクチャよりもさらに上位
のレイヤ（ＧＯＰレイヤ、セッションレイヤ、シーケン
スレイヤ等）がある場合には、その中に含めて符号化し
てもよい。

【００５９】次に、本実施形態に係る動画像復号化装置
について説明する。図８は、図６の動画像符号化装置に
対応した動画像復号化装置の構成を示すブロック図であ
る。図５と相対応する部分に同一の符号を付してその相
違点を中心に説明すると、本実施形態においてはＧＯＭ
形状情報を復号するＧＯＭ形状復号器８１５が新たに追
加されている。

【００６０】同期検出／逆多重化器８１１では、入力さ
れる符号化ビットストリーム中２０５’に含まれる、Ｇ
ＯＭ形状情報を可変長符号化したＧＯＭ形状情報符号８
４３を逆多重化し、ＧＯＭ形状復号器８１５へ出力す
る。ＧＯＭ形状復号器８１５はＧＯＭ形状情報符号８４
３を復号し、ＧＯＭ形状情報８３９を同期検出／逆多重
化器８１１へ出力する。

【００６１】同期検出／逆多重化器８１１は、この復号
されたＧＯＭ形状情報８３９を基に、ＧＯＭ同期符号の
検出とＧＯＭヘッダの復号を行う。

【００６２】ＧＯＭの画面内での位置と図３中のＧＮと
の関連付けはＧＯＭ形状によって決まるので、本実施形
態の動画像復号化装置では、復号したＧＯＭ形状情報８
３９と、ＧＮの値を基に復号したＧＯＭの画面内の位置
を特定する。さらには、ＧＯＭ同期符号を付加すること
のできるマクロブロックは、復号されたＧＯＭ形状情報
により特定されるので、第１の実施形態で述べたような
ＧＯＭ同期符号が付加されたか否かの判定も、このマク
ロブロックで行えばよい。

【００６３】本実施形態において、ＧＯＭ形状は符号量
に応じて決定するようにしてもよい。例えば、各ＧＯＭ
の符号量がほぼ一定となるようにＧＯＭ形状を決定す
る。具体的には、ＧＯＭ形状決定器６０１において、Ｇ
ＯＭ内の各マクロブロックの符号量の総和を計数してい
き、その合計が予め定められた値、ないしは、入力動画
像信号や伝送路の性質等に応じて決められた値を越えた
場合に、そのマクロブロックを該ＧＯＭ内の最後のマク
ロブロックとして決定すればよい。

【００６４】動きベクトル情報やＤＣＴ係数のＤＣ成分
の情報符号化の際に、隣接のマクロブロック内の情報か
らその予測値を求め、これとの差分をとって符号化する
画像符号化方式においては、異なるＧＯＭの中の動きベ
クトル情報、ＤＣＴ係数のＤＣ成分の情報等は、予測値
を求めるのに用いず、同じＧＯＭ内のデータのみを用い
るようにしても良い。これにより、他のＧＯＭのデータ
に伝送路誤りが混入してもその影響が波及しなくなるた
め、伝送路誤りがあったときの再生画像の品質が向上す
る。本発明による動画像符号化装置ではＧＯＭ形状を入
力動画像信号の性質や動きベクトル情報、符号化モード
情報、ＤＣＴ係数の成分等に応じて制御することができ
るため、このような予測の制限を行っても予測効率の低
下を小さく抑えることができる。

【００６５】すなわち、ＧＯＭ形状決定器６０１におい
て、予測の制限を行った場合の符号量の、制限を行わな
かった場合の符号量に対する増加量が小さくなるように
ＧＯＭ形状を決定すればよい。これには、実際に符号化
を行ったときの符号量を基に制御を行ってもよいし、予
測残差の大きさが制限を行わない場合に比べてなるべく
大きくならないように制御を行ってもよい。

【００６６】左隣のマクロブロック、ないしは、左隣を
含む複数のマクロブロックのデータから予測値を求める
符号化方式においては、画面左隣のマクロブロックでは
その左隣のマクロブロックが存在しないために、他のマ
クロブロックに比べ予測効率が低下する。そこで、画面
左端もマクロブロックをＧＯＭの最初のマクロブロッ
ク、すなわち、同期符号を挿入できるマクロブロックと
することにより、予測のＧＯＭ内制限を行ったことによ
る符号量の増加を少なくすることができる。

【００６７】これらの予測の制限を考慮したＧＯＭ形状
制御は、前述の符号量を考慮したＧＯＭ形状制御と組み
合わせて用いるようにしてもよい。例えば、ＧＯＭ形状
決定器６０１においてＧＯＭ内の各マクロブロックの符
号量の総和を計数していき、その合計が予め定められた
値、ないしは、入力動画像信号や伝送路の性質等に応じ
て決められた値を越えた場合に、そのマクロブロックを
そのＧＯＭ内の最後のマクロブロックの候補として決め
る。次に、この候補マクロブロックおよびその前後に符
号化を行ういく画面左端のマクロブロックを選択し、こ
れを次のＧＯＭの最初のマクロブロック、すなわち、同
期符号を挿入できるマクロブロックとして決定するよう
にしてもよい。

【００６８】

【発明の効果】以上説明したように、本発明によれば同
期符号を付加することができる位置を画面内の少なくと
も水平方向の位置を間欠的に異ならせた複数の特定位置
としたことにより、従来のＧＯＢのように１ないしは複
数のマクロブロックライン毎にしか同期符号を付加でき
ないといった制約を受けることなく同期符号を付加でき
る。従って、伝送路誤りの影響を狭い範囲に限定するこ
とができ、再生画像の品質が向上し、また従来のスライ
スを用いる方式に比べ、同期符号を付加できるマクロブ
ロックの数が少なくなり、この位置を識別する情報を少
ないビット数に抑えることができるため、符号量を削減
することができる。

【００６９】また、本発明によれば同期符号を付加する
ことができる画面内の特定位置を示す情報を符号化ビッ
トストリーム中に含めて符号化することにより、例えば
符号化する入力画像信号の性質や、符号化ビットストリ
ームを伝送する伝送路の性質等に応じて、同期符号を付
加することができる位置や数を制御することが可能とな
るため、従来のＧＯＢやスライスに比べてより効果的に
同期符号の付加を行うことができ、再生画像の品質が向
上する。

【００７０】さらに、同期符号を付加することができる
画面内の複数の特定位置を画面内の輪郭部や予め定めら
れた特定の領域、すなわち画面内の人物などの物体を囲
む位置や、その物体内などに定めることにより、視覚的
に重要な情報である人物その他の情報をより強く誤り保
護するように同期符号を付加することができ、伝送路誤
りが生じたときの再生画像の品質を向上させることがで
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化装
置の構成を示すブロック図

【図２】図１の動画像符号化装置における多重化／同期
付加器での多重化の規則を示す図

【図３】図１の動画像符号化装置における符号化ビット
ストリームのＧＯＭヘッダに含まれる情報を示す図

【図４】図１の動画像符号化装置における同期符号を付
加できるマクロブロックの例を示す図

【図５】本発明の第１の実施形態に係る動画像復号化装
置の構成を示すブロック図

【図６】本発明の第２の実施形態に係る動画像符号化装
置の構成を示すブロック図

【図７】図６の動画像符号化装置における同期符号を付
加できるマクロブロックの例を示す図

【図８】本発明の第２の実施形態に係る動画像復号化装
置の構成を示すブロック図

【図９】従来の動画像符号化装置および復号化装置にお
ける同期符号を付加できるマクロブロックを示す図

【符号の説明】

１０１…動き補償適応予測器 １０２…フレームメモリ １０４…離散コサイン変換器 １０５…量子化器 １０７…逆量子化器 １０８…逆離散コサイン変換器 １１１…多重化／同期付加器 １３１…入力動画像信号 ２０５，２０５’…符号化ビットストリーム ６０１…ＧＯＭ形状決定器 ６０２…ＧＯＭ形状情報 ８０１…動き補償適応予測器 ８０７…逆量子化器 ８０８…逆離散コサイン変換器 ８１１…同期検出／逆多重化器 ８２０…フレームメモリ ８５０…再生画像信号 ８１５…ＧＯＭ形状情報復号器 ８４３…ＧＯＭ形状情報符号 ８３９…ＧＯＭ形状情報

───────────────────────────────────────────────────── フロントページの続き (72)発明者 永井 剛 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (6)

【特許請求の範囲】
1. 【請求項１】画像信号を圧縮符号化して圧縮符号を出力
   する画像符号化手段と、 前記画像符号化手段から出力される圧縮符号を多重化す
   ると共に同期符号を付加して符号化ビットストリームを
   出力する多重化／同期付加手段とを有し、 前記多重化／同期付加手段は、画面内の少なくとも水平
   方向の位置を間欠的に異ならせた複数の特定位置にのみ
   前記同期符号を付加できるように構成されると共に、同
   期符号を付加した場合には前記複数の特定位置の中の該
   同期符号を付加した位置を示す位置情報を前記符号化ビ
   ットストリーム中に付加することを特徴とする画像符号
   化装置。
2. 【請求項２】入力される符号化ビットストリーム中の同
   期符号を検出すると共に該符号化ビットストリーム中の
   圧縮符号を逆多重化する同期検出／逆多重化手段と、 前記同期検出／逆多重化手段から出力される逆多重化さ
   れた圧縮符号を復号して画像信号を再生する画像復号手
   段とを有し、 前記符号化ビットストリーム中の前記同期符号は、画面
   内の少なくとも水平方向の位置を間欠的に異ならせた複
   数の特定位置のうちの少なくとも一つの位置にのみ付加
   されており、 前記同期検出／逆多重化手段は、符号化ビットストリー
   ム中の前記同期符号を検出すると共に、前記複数の特定
   位置の中の該同期信号が付加された位置を示す位置情報
   を検出することを特徴とする画像復号化装置。
3. 【請求項３】画像信号を圧縮符号化して圧縮符号を出力
   する画像符号化手段と、 前記画像符号化手段から出力される圧縮符号を多重化す
   ると共に同期符号を付加して符号化ビットストリームを
   出力する多重化／同期付加手段とを有し、 前記多重化／同期付加手段は、画面内の複数の特定位置
   にのみ前記同期符号を付加できるように構成されると共
   に、前記特定位置を示す第１の位置情報を前記符号化ビ
   ットストリーム中に含め、さらに同期符号を付加した場
   合には前記複数の特定位置の中の該同期符号を付加した
   位置を示す第２の位置情報を前記符号化ビットストリー
   ム中に付加することを特徴とする画像符号化装置。
4. 【請求項４】入力される符号化ビットストリーム中の同
   期符号を検出すると共に該符号化ビットストリーム中の
   圧縮符号を逆多重化する同期検出／逆多重化手段と、 前記同期検出／逆多重化手段から出力される逆多重化さ
   れた圧縮符号を復号して画像信号を再生する画像復号手
   段とを有し、 符号化ビットストリーム中の前記同期符号は、画面内の
   複数の特定位置の少なくとも一つの位置にのみ付加され
   ており、 前記同期検出／逆多重化手段は、符号化ビットストリー
   ム中の前記特定位置を示す第１の位置情報を検出し、こ
   れに基づいて前記同期符号を検出すると共に、前記複数
   の特定位置の中の該同期信号が付加された位置を示す第
   ２の位置情報を検出することを特徴とする画像復号化装
   置。
5. 【請求項５】前記画面内の複数の特定位置は、画面内の
   輪郭部および予め定められた特定の領域の少なくとも一
   方に定められていることを特徴とする請求項１または３
   に記載の画像符号化装置。
6. 【請求項６】前記画面内の複数の特定位置の少なくとも
   一つは、画面内の輪郭部および予め定められた特定の領
   域の少なくとも一方に定められていることを特徴とする
   請求項２または４に記載の画像復号化装置。