JP3415548B2 - 動画像復号化装置及び動画像復号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮符号化信号を
復号化して元の動画像信号を再生する動画像復号化装置
及び動画像復号化方法に係り、特に伝送路／蓄積媒体で
の誤りに強い動画像復号化化装置及び動画像復号化方法
に関する。

【０００２】

【従来の技術】ＴＶ電話、ＴＶ会議システム、携帯情報
端末、ディジタルビデオディスクシステムおよびディジ
タルＴＶ放送システムなどのように動画像信号を伝送／
蓄積するシステムにおいては、動画像信号をできるだけ
少ない情報量に圧縮符号化し、得られた圧縮符号化信号
である符号列を伝送路／蓄積媒体へ伝送／蓄積し、伝送
／蓄積された符号列を復号化することによって元の動画
像信号を再生する。

【０００３】このようなシステムに適用される動画像信
号の圧縮符号化技術として、動き補償、離散コサイン変
換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化等
の方式や、これらを組み合わせた方式など様々な方式が
開発されている。また、動画像の圧縮符号化の国際標準
方式としてＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−
Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。これら
の符号化方式は、いずれも動き補償適応予測と離散コサ
イン変換の組み合わせを基本とした方式であり、文献
１：安田浩編著、“マルチメディア符号化の国際標
準”、丸善、（平成３年６月）等にその詳細が述べられ
ている。

【０００４】ところで、このようにして動画像信号を符
号化して得られた符号列を無線伝送路のような誤りが生
じやすい媒体を介して伝送／蓄積する場合、復号化側で
再生される画像信号が伝送／蓄積の際の誤りにより劣化
してしまうことがある。このような誤りの対策として、
例えば誤り確率の異なる複数の伝送路を介して符号列を
伝送できる条件下では、誤りによる画質劣化を少なくす
るため、符号列をいくつかの階層に分けて、上位階層の
符号列はより誤り確率の低い伝送路で伝送を行う階層的
符号化方式が知られている。階層の切り分けとしては、
モード情報、動き補償情報、画像信号の低周波成分を上
位階層とし、画像信号の高周波数成分を上位階層とする
方法等が提案されている。

【０００５】従来の階層的動画像符号化装置の例とし
て、動き補償適応予測とＤＣＴを用いた動画像符号化装
置を図５により説明する。図５において、入力動画像信
号１１はまず予測回路１２で予測に供される。予測回路
１２においては、入力動画像信号１１とフレームメモリ
１３に蓄えられている既に符号化／局部復号化によって
得られた参照画像信号との間の動きベクトルが検出さ
れ、この動きベクトルに基づいて所定の単位領域（予測
領域という）毎に動き補償予測が行われ、動き補償予測
信号が作成される。

【０００６】予測回路１２は、動き補償予測モード（フ
レーム間予測モード）と入力動画像信号１１をそのまま
符号化するフレーム内予測モードを持っており、これら
の予測モードから符号化に最適なモードを選択して、そ
れぞれのモードに対応する予測信号１４を出力する。す
なわち、予測回路１２は動き補償予測モードでは動き補
償予測信号、フレーム内予測モードでは“０”をそれぞ
れ予測信号１４として出力する。

【０００７】減算器１５では、入力動画像信号１１から
予測信号１４が減算されることにより予測残差信号１６
が生成される。予測残差信号１６は、離散コサイン変換
（ＤＣＴ）回路１７において一定の大きさのブロック単
位で離散コサイン変換され、ＤＣＴ係数情報１８とな
る。ＤＣＴ係数情報１８は、量子化回路１９で量子化さ
れる。フレーム内予測モードでは予測信号１４は“０”
であるから、減算器１５からは予測残差信号１６として
入力動画像信号１１がそのまま出力される。

【０００８】量子化回路１９からの量子化されたＤＣＴ
係数情報２０は二分岐され、一方では第１の可変長符号
化回路２１により可変長符号化され、他方では逆量子化
回路２２により逆量子化される。逆量子化回路２２の出
力は、逆離散コサイン変換（逆ＤＣＴ）回路２３により
逆離散コサイン変換される。すなわち、逆量子化回路２
２および逆ＤＣＴ回路２３では量子化回路１９およびＤ
ＣＴ回路１７と逆の処理が行われ、逆ＤＣＴ回路２３の
出力には予測残差信号１６に近似した信号が得られる。
逆ＤＣＴ回路２３の出力は、加算回路２４において予測
回路１２からの予測信号１４と加算され、局部復号信号
２５が生成される。この局部復号信号２５はフレームメ
モリ１３に参照画像信号として記憶される。

【０００９】予測回路１２からは、予測に関わる情報と
して予測モード／動きベクトル情報２６が出力され、可
変長符号化回路２７により可変長符号化される。可変長
符号化回路２１，２７から出力される符号列は、マルチ
プレクサ３０により多重化されるとともに、上位階層符
号列３１および下位階層符号列３２に分けられ、図示し
ない伝送路／蓄積媒体へ出力される。すなわち、上位階
層符号列３１は伝送／蓄積による誤りが生じる確率が比
較的低い伝送路／蓄積媒体に出力され、下位階層符号列
３２は伝送／蓄積による誤りが生じる確率が比較的高い
伝送路／蓄積媒体に出力される。

【００１０】ここで、マルチプレクサ３０での上位階層
符号列３１と下位階層符号列３２の切り分けは、例えば
図６に示すように可変長符号化回路２２からの予測回路
１２での予測モードを表わすモード情報、動きベクトル
情報（ＭＶ）および可変長符号回路２１からの可変長符
号化されたＤＣＴ係数情報のうちの低域ＤＣＴ係数情報
を上位階層符号列３１に当て、可変長符号回路２１から
の可変長符号化されたＤＣＴ係数情報のうちの残った高
域ＤＣＴ係数情報を下位階層符号列３２に当てるという
ように行う。

【００１１】このような従来の階層的動画像符号化装置
には、以下のような問題がある。まず、誤りが生じると
画質が大きく劣化する動きベクトル情報が各予測領域毎
に一つずつしか無いために、動きベクトル情報に誤りが
生じると、その予測領域については動き情報を全く復号
化できなくなり、大きな画質劣化を生じるという点であ
る。このような画質劣化を少なくするためには、図６
（ａ）に示すように動きベクトル情報（ＭＶ）は全て上
位階層符号列３１に当てればよい。しかし、一般に各階
層の符号列の符号量が全階層の符号列の総符号量中で取
り得る割合には制限があり、このように全ての動きベク
トル情報を上位階層符号列３１に含めた場合には、この
制限を越えてしまうことがある。これを防ぐために動き
ベクトル情報を下位階層符号列３２に当てると、誤り耐
性が大幅に低下してしまうという問題が発生する。

【００１２】また、伝送／蓄積される符号列３１，３２
の各符号語は可変長符号化回路２１，２７で作成される
可変長符号により構成されているので、誤りによって復
号化の際に可変長符号の同期外れが起こることがある。
ところが、従来の動画像符号化装置では図６に示すよう
に各階層の符号列３１，３２内に、誤りが生じると復号
化画像に大きな劣化を生じるモード情報、動きベクトル
情報といった重要な予測に関わる情報と、誤りが生じて
もそれほど大きな劣化を生じない予測残差信号のＤＣＴ
係数情報等が混在して多重化されている。このため、重
要でない情報が乗っている符号語の復号化中に同期外れ
が生じると、重要な情報が乗っている符号語にも誤りを
波及させてしまうことがあり、復号画像に大きな劣化を
生じさせる。このような場合には、同期符号が現れるま
では同期回復を図ることができないため、それまでの復
号画像の情報は全て誤ったものとなり、画面内の広範囲
にわたって大きな劣化が生じてしまうという問題があ
る。

【００１３】

【発明が解決しようとする課題】上述したように従来の
動画像符号化装置においては、誤りが生じると復号画像
の品質を大きく低下させてしまう動きベクトル情報のよ
うな予測に関わる情報が各予測領域毎に一つずつしか符
号化されていないため、誤り耐性が低い。

【００１４】誤り耐性を高めるためには、全ての予測に
係る情報を誤り確率の低い伝送路／蓄積媒体によって伝
送／蓄積しなければならないが、各階層の符号列の符号
量が全階層の符号列の総符号量中で取り得る割合に制限
があるため、結果的に誤り確率の異なる複数の伝送路／
蓄積媒体を用いて符号列の伝送／蓄積を行うことで誤り
による画質劣化を緩和するという階層的符号化の特徴を
生かせないという問題が起こる。

【００１５】また、従来の動画像符号化装置では予測に
関わる情報のような比較的重要な情報と、それ以外の比
較的重要でない情報が混在して符号列中に含まれている
ために、重要でない情報で生じた誤りが重要な情報に波
及して大きな画質劣化を生じるという問題があった。

【００１６】従って、本発明は誤り耐性の高い動画像復
号化装置及び動画像復号化方法を提供することを目的と
する。

【００１７】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は入力動画像信号と、該入力動画像信号をな
す入力画像を分割した複数のブロック毎に予測モードを
選択して生成された予測信号との誤差信号である予測残
差信号の量子化されたＤＣＴ係数情報を含む符号列であ
って、分割された複数のブロックの予測に関わる情報の
うち最も重要度の高い予測モードを示す情報、及び当該
複数のブロックの予測に関わる情報のうち比較的重要度
の低い情報を重要度の高い順に並べて多重化した符号列
を入力し、この符号列を復号化して元の動画像信号を再
生することを特徴とする。

【００１８】また、本発明は入力動画像信号と、該入力
動画像信号をなす入力画像を分割した複数のブロック毎
に選択された予測モードにより予測を行って生成された
予測信号との誤差信号である予測残差信号の量子化され
たＤＣＴ係数情報を含む符号列であって、各ブロックの
予測に関わる情報のうち比較的重要度の低いＤＣＴ係数
の情報を複数ブロック分まとめ、比較的重要度の高い予
測モードを示す情報の後に並べて多重化した符号列を入
力し、該符号列を復号化して元の動画像信号を再生する
ことを特徴とする。

【００１９】

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】

【００２５】

【００２６】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。図１は、本発明による動画像符号化
装置の一実施形態のブロック図であり、動き補償適応予
測とＤＣＴを組み合わせた動画像符号化装置に本発明を
適用した例を示している。

【００２７】図１において、入力動画像信号１０１はま
ず予測回路１０２での予測に供される。すなわち、予測
回路１０２においては入力動画像信号１０１とフレーム
メモリ１０３に蓄えられている既に符号化／局部復号化
によって得られた参照画像信号との間の動きベクトルが
検出され、この動きベクトルに基づいて動き補償予測信
号が作成される。予測回路１０２は、動き補償予測モー
ド（フレーム間予測モード）と入力動画像信号１０１を
そのまま符号化するフレーム内予測モードを持ってお
り、符号化に最適な予測モードを選択して、それぞれの
モードに対応する予測信号１０４を出力する。すなわ
ち、予測回路１０２は動き補償予測モードでは動き補償
予測信号、フレーム内予測モードでは“０”を予測信号
１０４としてそれぞれ出力する。

【００２８】減算器１０５では、入力動画像信号１０１
から予測信号１０４が減算されることにより予測残差信
号１０６が生成される。予測残差信号１０６は、離散コ
サイン変換（ＤＣＴ）回路１０７において一定の大きさ
のブロック単位で離散コサイン変換され、ＤＣＴ係数情
報１０８となる。ＤＣＴ係数情報１０８は、量子化回路
１０９で量子化される。なお、フレーム内予測モードで
は、予測信号１０４は“０”であるから、減算器１０５
からは予測残差信号１０６として入力動画像信号１０１
がそのまま出力される。

【００２９】量子化回路１０９からの量子化されたＤＣ
Ｔ係数情報１１０は二分岐され、一方では第１の可変長
符号化回路１１１により可変長符号化され、他方では逆
量子化回路１１２により逆量子化される。逆量子化回路
１１２の出力は逆離散コサイン変換（逆ＤＣＴ）回路１
１３により逆離散コサイン変換される。すなわち、逆量
子化回路１１２および逆ＤＣＴ回路１１３では量子化回
路１０９およびＤＣＴ回路１０７と逆の処理が行われ、
逆ＤＣＴ回路１１３の出力に予測残差信号１０６に近似
した信号が得られる。逆ＤＣＴ回路１１３の出力は加算
回路１１４において予測回路１０２からの予測信号１０
４と加算され、局部復号信号１１５が生成される。この
局部復号信号１１５は、フレームメモリ１０３に参照画
像信号として記憶される。

【００３０】予測回路１０２からは後述するように、予
測に関わる情報として大領域予測モード／動きベクトル
情報１１６および小領域予測モード／動きベクトル情報
１１７が出力され、可変長符号化回路１１８および１１
９によりそれぞれ可変長符号化される。可変長符号化回
路１１１，１１８および１１９から出力される符号列
は、マルチプレクサ１２０により多重化されるととも
に、上位階層符号列１２１および下位階層符号列１２２
に分けられ、図示しない伝送路／蓄積媒体へ出力され
る。

【００３１】ここで、符号列を誤り確率が異なる複数の
伝送路／蓄積媒体を介して伝送／蓄積を行うことが可能
な条件下では、上位階層符号列１２１についてはより誤
り確率の低い伝送路／蓄積媒体を介して伝送／蓄積を行
い、下位階層符号列１２２についてはこれより誤り確率
の高い伝送路／蓄積媒体を介して伝送／蓄積を行うこと
により、上位階層符号列１２１にはできるだけ誤りが生
じにくいようにする。また、符号化列１２１，１２２に
対して誤り訂正符号化を行う場合には、上位階層符号化
列１２１は下位階層符号化列１２２に比べて誤り率が低
くなるように、より強力な誤り訂正符号化を行う。

【００３２】次に、図２を参照して予測回路１０２の構
成および動作を詳細に説明する。予測回路１０２におい
ては、入力動画像信号１０１を上位段階から下位段階に
わたって順次より多くの領域に段階的に分割し、各段階
で分割された領域毎に入力動画像信号に対する動き補償
予測を行って予測信号を生成する。図２の例では、予測
回路１０２での領域分割および予測を２段階としてい
る。すなわち、予測回路１０２は第１段階では入力動画
像信号１０１を図２中実線の領域（大領域という）で示
すように大きく分割し、これらの大領域について粗い画
素精度で動き補償予測を行い、次いで第２段階では必要
に応じて大領域を図中破線の領域（小領域という）に示
すようにさらに細かく分割し、これらの小領域について
細かな画素精度で動き補償予測を行う。

【００３３】そして、可変長符号化回路１１８，１１９
により、予測回路１０２から出力される大領域について
の予測に関する情報のみでなく、小領域についても大領
域についての予測に関する情報を符号化する。このよう
にすることにより、もし小領域についての予測に関する
情報が誤りにより失われた場合でも、復号化装置では大
領域についての予測に関する情報が誤り無く復号化され
れば、大まかな精度で予測を行うことができ、復号画像
の画質の大きな劣化を防ぐことができる。

【００３４】予測回路１０２から出力される予測に関わ
る情報は、予測モードを示す情報と動きベクトルを示す
情報からなる。大領域の予測モードを示す情報と動きベ
クトル（図２中実線の矢印で示す）を示す情報、すなわ
ち大領域予測モード／動きベクトル情報１１６は、可変
長符号化回路１１８で可変長符号化される。この際、動
きベクトル情報については、隣接する既に符号化した大
領域の動きベクトル情報との差分を可変長符号化しても
よいし、差分をとらずにそのまま固定長符号化しても良
い。また、ある間隔の領域毎に動きベクトル情報を固定
長符号化し、それ以外の領域の動きベクトル情報を可変
長符号化するようにしても良い。

【００３５】一方、小領域の予測モードを示す情報と動
きベクトル（図２中破線の矢印で示す）を示す情報、す
なわち小領域予測モード／動きベクトル情報１１７は、
可変長符号化回路１１９で可変長符号化される。この場
合、各小領域毎に動きベクトル情報と大領域動きベクト
ル情報との差分をとって可変長符号化しても良いし、各
大領域毎にまとめてブロック符号化、ベクトル量子化等
を用いて符号化を行っても良い。差分値を可変長符号化
する場合、大領域動きベクトルが小領域動きベクトルを
基に可逆の関数（例えば平均値）で表せるようにすれ
ば、小領域動きベクトルの中のある一つについては大領
域動きベクトルと他の小領域動きベクトルを基に計算に
より求めることが可能であるため、特に符号化の必要は
ない。

【００３６】図３は、上位階層符号列１２１および下位
階層符号列１２２の構成例を示したものである。図３
（ａ）に示す上位階層符号列１２１には、１符号化フレ
ーム毎またはある領域単位毎に、先頭に一意に復号化可
能な同期符号を入れる。ＰＳＣがフレーム単位の同期符
号を示している。この同期符号ＰＳＣの後ろには、当該
フレームの符号化情報を示すピクチャヘッダをつける。
ピクチャヘッダは、当該フレームの時間的位置を示すフ
レーム番号、当該フレームの予測モードを示す情報（モ
ード情報）、当該フレームの上位階層および下位階層そ
れぞれの符号列の長さを示す情報（符号量）からなる。

【００３７】さらに、図３（ａ）に示すようにピクチャ
ヘッダに大領域および小領域の大きさと動き補償の画素
精度を示す情報（大領域ＭＣ精度、小領域ＭＣ精度）を
追加すれば、動き補償の精度をフレーム単位に可変化し
て動きベクトル情報の符号量を制御することが可能にな
る。これにより、伝送路／蓄積媒体等の制約で上位階層
符号列１２１と下位階層符号列１２２の符号量の割合が
規定されている場合にも、それに対応した符号量振り分
けが可能である。また、各フレームの動きベクトル情報
の総符号量の制御もできるため、動き補償精度と動きベ
クトル情報の符号量の関係からみて最適な動き補償精度
を選択することが可能であり、それによって符号化効率
の向上を図ることができる。

【００３８】図３（ａ）に示す上位階層符号列１２１の
ピクチャヘッダの後ろには、各領域の符号化情報が重要
度の高い情報から順番に並べられている点が特徴的であ
る。ここで重要度の高い情報とは、誤りが生じると復号
画像に大きな劣化が生じてしまう情報のことである。す
なわち、上位階層符号列１２１のピクチャヘッダの後ろ
には、まず最も重要度の高い予測モードを示す情報（モ
ード情報）、つまり予測回路１０２から出力される大領
域予測モード／動きベクトル情報１１６および小領域予
測モード情報１１７を可変長符号化回路１１８で符号化
して得られた符号列のうちの予測モード情報の符号列を
入れる。

【００３９】次に、フレーム内予測モードが選択された
領域のＤＣＴ係数情報のＤＣ成分（イントラＤＣ）、つ
まり予測残差信号１０６をＤＣＴ回路１０７および量子
化回路１０９を通して得たＤＣＴ係数情報を可変長符号
化回路１１１で符号化して得られた符号列のうちのＤＣ
成分の符号列を入れる。さらに、動き補償予測モードが
選択された領域では、大まかな動き情報を示す大領域動
きベクトル情報（大領域ＭＶ）、つまり予測回路１０２
から出力される大領域予測モード／動きベクトル情報１
１６を可変長符号化回路１１８で符号化して得られた符
号列のうちの動きベクトル情報の符号列を入れる。

【００４０】一方、図３（ｂ）に示す下位階層符号列１
２２には、小領域の動きベクトル情報（小領域ＭＶ）、
つまり予測回路１０２から出力される小領域予測モード
／動きベクトル情報１１７を可変長符号化回路１１９で
符号化して得られた符号列のうちの動きベクトル情報の
符号列を入れ、さらにその後ろにＤＣＴ係数情報の高周
波成分、つまり予測残差信号１０６をＤＣＴ回路１０７
および量子化回路１０９を通して得たＤＣＴ係数情報を
可変長符号化回路１１１で符号化して得られた符号列の
うちの高周波成分の符号列を入れる。

【００４１】このように動き補償予測を階層化して行
い、予測モードを示すモード情報や大まかな予測情報を
示す大領域動きベクトル情報を上位階層符号列１２１
に、また精細な動きベクトル情報を下位階層符号列１２
２にそれぞれ割り当てている。従って、伝送路／蓄積媒
体での誤りによって下位階層符号列１２２に含まれる小
領域動きベクトル情報が失われた場合でも、動画像復号
化装置では上位階層符号列１２１に含まれる大領域動き
ベクトル情報を用いて大まかな精度で動き補償予測を行
うことができるため、復号画像に大幅な画質劣化が生じ
る確率を低くすることができる。

【００４２】また、本実施形態では上位および下位の各
階層符号列１２１，１２２内でも符号列を重要な情報の
順に並べているため、重要でない情報で生じた誤りが重
要な情報にまで波及することが無く、大幅な画質劣化を
防ぐことができる。

【００４３】次に、本発明による動画像復号化装置の一
実施形態について説明する。図４は、図１の動画像符号
化装置に対応した動画像復号化装置の構成を示すブロッ
ク図である。

【００４４】図４において、図１の動画像符号化装置か
ら出力される上位階層符号列１２１および下位階層符号
列１２２が伝送路／蓄積媒体を介して入力されてきた上
位階層符号列２０１および下位階層符号列２０２は、デ
マルチプレクサ２０３により量子化ＤＣＴ係数情報の可
変長符号２０４、大領域予測モード／動きベクトル情報
の可変長符号２０５および小領域予測モード／動きベク
トル情報の可変長符号２０６に分離された後、可変長復
号化回路２０７，２０８および２０９にそれぞれ入力さ
れる。

【００４５】可変長復号化回路２０７は、可変長符号２
０４を可変長復号化することにより量子化ＤＣＴ係数情
報２１０を出力する。この量子化ＤＣＴ係数情報２１０
は、逆量子化回路２１３により逆量子化され、さらに逆
ＤＣＴ回路２１４で逆離散コサイン変換されることによ
り予測残差信号２１５が生成される。この予測残差信号
２１５は、加算回路２１６で予測回路２１７からの予測
信号２１９と加算され、再生画像信号２２１が生成され
る。再生画像信号２２１は、動画像復号化装置の外部へ
出力されるとともに、フレームメモリ２１８に参照画像
信号として記憶される。

【００４６】一方、可変長復号化回路２０８，２０９で
は可変長符号２０５，２０６から大領域予測モード／動
きベクトル情報２１１および小領域予測モード／動きベ
クトル情報２１２が可変長復号化される。これらの情報
２１１，２１２は、予測回路２１７へ入力される。予測
回路２１７は、フレームメモリ２１８に記憶されている
参照画像信号と大領域予測モード／動きベクトル情報２
１１および小領域予測モード／動きベクトル情報２１２
から動画像信号の予測を行い、予測信号２１９を生成す
る。

【００４７】誤り判定回路２２０は、デマルチプレクサ
２０３および可変長復号化回路２０７，２０８，２０９
の状態に基づいて上位階層符号列２０１および下位階層
符号列２０２の誤りの有無を判定し、その判定結果を予
測回路２１７に与える。誤り判定回路２２０で上位およ
び下位階層符号列２０１，２０２のいずれにも誤りが検
出されなかった場合、予測回路２１７はフレームメモリ
２１８に記憶されている参照画像信号を基にして、図１
における予測信号１０４と同一の予測信号２１９を出力
する。

【００４８】以上の処理は、図１の動画像符号化装置に
対応して画像信号を再生する処理であり、逆量子化回路
２１３、逆ＤＣＴ回路２１４、加算回路２１６、フレー
ムメモリ２１８が行う処理は、それぞれ図１における逆
量子化回路１１２、逆ＤＣＴ回路１１３、加算回路１１
４、フレームメモリ１０３の処理と基本的に同一であ
る。また、可変長復号化回路２０７，２０８，２０９、
マルチプレクサ２０３は、それぞれ図１における可変長
符号化回路１１１，１１８，１１９、マルチプレクサ１
２０の処理の逆の処理を行う。

【００４９】一方、誤り判定回路２２０で上位および下
位階層符号列２０１，２０２の少なくとも一方に誤りが
検出された場合は、例えば以下のように誤りが検出され
た情報よりも重要度の高い情報を用いて再生画像が作成
される。

【００５０】すなわち、（１）下位階層符号列１２２に
含まれる動き補償予測が行われたブロックのＤＣＴ係数
情報に誤りが検出された場合は、そのブロックの予測残
差信号を０とし、正しく復号化されたモード情報、大領
域動きベクトル情報および小領域動きベクトル情報を用
いて得られた動き補償予測信号を予測信号２１９として
再生画像信号２２１を得る。

【００５１】また、（２）小領域動きベクトル情報に誤
りが生じた場合には、その小領域については大領域動き
ベクトル情報を用いて得られた動き補償予測信号を予測
信号２１９として再生画像信号２２１を得る。

【００５２】さらに、（３）大領域動きベクトル情報に
誤りが生じた場合には、その大領域については周囲の領
域や既に復号化されたフレームの動きベクトル情報から
その大領域の動き補償予測をできる時にはその推定値を
用い、周囲の動きベクトル情報にも誤りが生じている場
合には既に復号化されたフレームの画像信号をそのまま
再生画像信号２２１として用いる。

【００５３】（４）フレーム内予測モードが選択された
ブロックのＤＣＴ係数情報のＡＣ成分に誤りが生じた場
合には、ＤＣＴ係数情報のＤＣ成分と周囲ブロックの正
しく復号化された画像信号からそのブロックの画像信号
を予測して再生画像信号２２１とするか、既に復号化さ
れたフレームの画像信号から周囲ブロックの正しく復号
化された画像信号の予測信号を用いてそのブロックの画
像信号を予測して再生画像信号２２１とする。

【００５４】ところで、各種情報の符号化に可変長符号
を用いている場合、誤りにより同期外れが起こり、同期
符号検出等により同期回復が図られるまで後続の符号に
誤りが波及することがある。そのような場合は後続の符
号は復号化には用いない。例えば、下位階層符号列１２
２中の小領域動きベクトル情報に誤りが生じた場合、そ
の小領域以降の動きベクトル情報とそれに続くＤＣＴ係
数情報に誤りが波及することがあるが、そのような場合
には誤りの波及している情報は復号化には用いない。こ
のような同期外れが生じた場合でも、符号列には重要度
の高い順に符号語が並べられているため、重要度の低い
情報で生じた誤りが重要度の高い情報にまで波及するこ
とがなく、再生画像の大幅な劣化を防ぐことができる。

【００５５】誤り判定部２２０で符号列２０１，２０２
に誤りが発生していることを検出する具体的な方法とし
ては、以下の方法を挙げることができる。

【００５６】第１は、パリティ符号、ＣＲＣ符号等の誤
り検出符号を用いる方法である。この場合、図１に示し
た動画像符号化装置のマルチプレクサ１２０において可
変長符号に対して誤り検出符号化を行い、図４に示す動
画像復号化装置のデマルチプレクサ２０３において誤り
検出処理を行い、その検出結果を誤り判定部２２０に与
える。

【００５７】第２は、可変長復号化回路２０７，２０
８，２０９において、入力の符号語と出力値との対応関
係を表わした符号語テーブル中に存在しない符号語が検
出された場合に、それを誤りと判定する方法である。特
に、可変長符号を用いている場合には、誤りが検出され
た部分だけでなくその前後の符号列中にも誤りが波及し
ていることがあるので、当該符号語全てに対して誤り検
出処理を行う。

【００５８】第３は、復号化された符号語を基に再生さ
れた動きベクトル情報、予測信号、ＤＣＴ係数情報、予
測残差信号、再生画像信号等が動画像の符号化において
生じ得ない信号であるか否かを判定することにより誤り
判定を行う方法である。この方法を用いることは本発明
において特徴的であるため、より詳細に説明する。

【００５９】例えば、動きベクトル情報に示される動き
ベクトルが予め規定された探索範囲を超えていたり、画
面外へはみ出している場合には誤りと判定する。

【００６０】また、逆量子化回路２１３で逆量子化され
たＤＣＴ係数情報を判定することにより、誤りを検出す
ることも可能である。入力画像信号１０１の画素値の取
り得る範囲を０〜Ｄ−１、ＤＣＴブロックサイズをＮ×
Ｎとすると、ＤＣＴ係数は以下の範囲内の値をとる。

【００６１】＜フレーム内予測モード＞ ＤＣ成分：０〜Ｎ×Ｄ ＡＣ成分：−（Ｎ／２×Ｄ）〜（Ｎ／２×Ｄ） ＜フレーム間予測モード＞ −（Ｎ／２×Ｄ）〜（Ｎ／２×Ｄ） そこで、復号化されたＤＣＴ係数の値がこの範囲外の値
を取った場合には誤りと判定する。この場合、誤りが検
出されたブロックについてはその全てあるいは一部のＤ
ＣＴ係数を０とするか、復号値を周囲のブロックの復号
値から推定すれば良い。

【００６２】さらに、再生画像信号２２１の画素値で誤
りを判定することも可能である。入力画像信号１０１の
画素値の取り得る範囲を０〜Ｄ−１、ＤＣＴブロックサ
イズをＮ×Ｎ、量子化幅をＱ（線形量子化の場合）とす
ると、再生画像信号２２１の画素値の取り得る範囲は −Ｎ×Ｑ〜Ｄ＋Ｎ×Ｑ となる。そこで、復号化された再生画像信号２２１の画
素値がこの範囲を超えた場合には誤りと判定する。その
場合、例えばフレーム間予測モード（動き補償予測モー
ド）では予測残差信号２１５を“０”とし、フレーム内
予測モードでは逆ＤＣＴ回路２１４への入力のＤＣＴ係
数のうち一部を“０”として逆ＤＣＴを行って再生画像
信号２２１を得るようにするか、または再生画像信号２
２１の周囲のブロックの画素値から推定を行えば良い。

【００６３】以上のように、本発明では動画像復号化装
置における誤り判定部２２０での誤り判定に、再生され
た情報や信号が伝送路／蓄積媒体において生じ得ない情
報や信号であるか否かの判定も加えることによって、よ
り正確な誤り判定を行うことができるようになる。この
ため、誤りが生じた情報や信号を誤り処理をせずにその
まま動画像信号の再生に用いることによって生じる再生
画像の品質劣化を抑えることができる。

【００６４】本発明は、種々変形して実施することがで
きる。例えば、上記実施形態では動画像符号化装置から
出力される符号列を２階層に分ける例を示したが、３階
層以上に分けて符号化を行っても良い。例えば、フレー
ム同期符号（ＰＳＣ）、ピクチャヘッダ、モード情報を
最上位の第１階層とし、フレーム内予測モードでのＤＣ
Ｔ係数情報のＤＣ成分（イントラＤＣ）と大領域動きベ
クトル情報を第２階層、小領域動きベクトル情報を第３
階層、第１階層に割り当てたＤＣＴ係数情報以外のＤＣ
Ｔ係数情報を第４階層にそれぞれ割り当ててもよい。ま
た、ＤＣＴ係数を低域成分と高域成分というようにさら
にいくつかの階層に分けて符号化を行っても良い。

【００６５】また、大領域動きベクトル情報の符号化に
おいて、前記のように固定長符号化を行う動きベクトル
情報と、この固定長符号化を行う動きベクトル情報との
差分を可変長符号化する動きベクトル情報の２通りに分
けて符号化する場合には、同期外れによって後ろの符号
列に誤りが波及することがない固定長符号化された動き
ベクトル情報をフレームないしはある領域単位にまとめ
て先に入れ、その後ろに可変長符号化された動きベクト
ル情報を入れるようにすることが有効である。このよう
にすると、可変長符号化部分で誤りが発生して同期外れ
が起こっても、可変長符号化された動きベクトル情報に
は誤りが波及しないため、復号化の際に固定長符号化さ
れた動きベクトル情報を基に誤りが生じた動きベクトル
を推定して大まかな精度で予測信号を作成することが可
能であるため、誤りによる再生画像の画質劣化を小さく
することができる。

【００６６】なお、図４の動画像復号化装置において再
生された情報が動画像符号化において生じ得ない情報で
あるか否かを判定する方法は、階層符号化された符号列
に限らず、一般の動画像符号化装置により得られた符号
列から元の画像信号を復号化する動画像復号化装置にも
適用することが可能である。

【００６７】

【発明の効果】以上説明したように、本発明によれば誤
り耐性の高い、つまり符号化列の伝送／蓄積の際に生じ
る誤りによる復号画像の画質劣化が小さい動画像復号化
装置及び動画像復号化方法を提供することができる。

【図面の簡単な説明】

【図１】本発明による動画像符号化装置の一実施形態を
示すブロック図

【図２】図１の動画像符号化装置における動き補償領域
とそれに対応する動きベクトルを示す図

【図３】図１の動画像符号化装置から出力される上位階
層および下位階層符号列の例を示す図

【図４】図１の動画像符号化装置に対応する動画像復号
化装置の一実施形態を示すブロック図

【図５】従来の動画像符号化装置の例を示すブロック図

【図６】図５の動画像符号化装置から出力される符号列
の例を示す図

【符号の説明】

１０１…入力画像信号 １０２…予測
回路 １０３…フレームメモリ １０４…予測
信号 １０５…減算器 １０６…予測
残差信号 １０７…離散コサイン変換回路 １０８…ＤＣ
Ｔ係数情報 １０９…量子化回路 １１０…量子
化ＤＣＴ係数情報 １１１…可変長符号化回路 １１２…逆量
子化回路 １１３…逆離散コサイン変換回路 １１４…加算
器 １１５…局部復号信号 １１６…大領域予測モード／動きベクトル情報 １１７…小領域予測モード／動きベクトル情報 １１８，１１９…可変長符号化回路 １２０…マル
チプレクサ １２１…上位階層符号列 １２２…下位
階層符号列 ２０１…上位階層符号列 ２０２…下位
階層符号列 ２０３…デマルチプレクサ ２０４〜２０
６…可変長符号 ２０７〜２０９…可変長符号化回路 ２１０…量子
化ＤＣＴ係数 ２１１…大領域予測モード／動きベクトル情報 ２１２…小領域予測モード／動きベクトル情報 ２１３…逆量子化回路 ２１４…逆離
散コサイン変換回路 ２１５…予測残差信号 ２１６…加算
器 ２１７…予測回路 ２１８…フレ
ームメモリ ２１９…予測信号 ２２０…誤り
判定回路 ２２１…再生画像信号

───────────────────────────────────────────────────── フロントページの続き (72)発明者 駄竹 健志 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (72)発明者 井田 孝 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (72)発明者 山口 昇 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (72)発明者 中條 健 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝研究開発センター内 (56)参考文献 特開 平３−224380（ＪＰ，Ａ) 特開 平５−217300（ＪＰ，Ａ) 特開 平５−219489（ＪＰ，Ａ) 特開 平５−122685（ＪＰ，Ａ) 特開 平４−3684（ＪＰ，Ａ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】入力動画像信号をなす入力画像を分割した
   複数のブロック毎に動き補償予測モードとフレーム内予
   測モードを含む複数の予測モードの中から選択された予
   測モードにより予測を行い、前記動き補償予測モードで
   予測を行ったときに生成される予測信号と前記入力動画
   像信号との誤差信号である予測残差信号、または前記フ
   レーム内予測モードで予測を行ったときに前記入力動画
   像信号について量子化したＤＣＴ係数情報を含む符号列
   であって、各ブロックの予測に関わる情報のうち予測モ
   ードを示す情報を及び該予測モードを示す情報より比較
   的重要度の低い情報をそれぞれ複数ブロック分まとめ、
   該予測モードを示す情報を最も重要度の高い情報と位置
   づけ、複数ブロック分まとめた該予測モードを示す情報
   及び複数ブロック分まとめた該比較的重要度の低い情報
   を重要度の高い順に並べて多重化した符号列を入力する
   手段と、 入力された前記符号列を復号化して元の動画像信号を再
   生する手段とを具備したことを特徴とする動画像復号化
   装置。
2. 【請求項２】入力動画像信号をなす入力画像を分割した
   複数のブロック毎に動き補償予測モードとフレーム内予
   測モードを含む複数の予測モードの中から選択された予
   測モードにより予測を行い、前記動き補償予測モードで
   予測を行ったときに生成される予測信号と前記入力動画
   像信号との誤差信号である予測残差信号、または前記フ
   レーム内予測モードで予測を行ったときに前記入力動画
   像信号について量子化したＤＣＴ係数情報を含む符号列
   であって、各ブロックの予測に関わる情報のうち予測モ
   ードを示す情報を及びＤＣＴ係数の情報をそれぞれ複数
   ブロック分まとめ、該予測モードを示す情報を最も重要
   度の高い情報と位置づけ、複数ブロック分まとめた該予
   測モードを示す情報及び複数ブロック分まとめた該ＤＣ
   Ｔ係数の情報を重要度の高い順に並べて多重化した符号
   列を入力する手段と、 入力された前記符号列を復号化して元の動画像信号を再
   生する手段とを具備したことを特徴とする動画像復号化
   装置。
3. 【請求項３】入力動画像信号をなす入力画像を分割した
   複数のブロック毎に動き補償予測モードとフレーム内予
   測モードを含む複数の予測モードの中から選択された予
   測モードにより予測を行い、前記動き補償予測モードで
   予測を行ったときに生成される予測信号と前記入力動画
   像信号との誤差信号である予測残差信号、または前記フ
   レーム内予測モードで予測を行ったときに前記入力動画
   像信号について量子化したＤＣＴ係数情報を含む符号列
   であって、各ブロックの予測に関わる情報のうち予測モ
   ードを示す情報を及び該予測モードを示す情報より比較
   的重要度の低い情報をそれぞれ複数ブロック分まとめ、
   該予測モードを示す情報を最も重要度の高い情報と位置
   づけ、複数ブロック分まとめた該予測モードを示す情報
   及び複数ブロック分まとめた該比較的重要度の低い情報
   を重要度の高い順に並べて多重化した符号列を入力し、
   該符号列を復号化して元の動画像信号を再生することを
   特徴とする動画像復号化方法。
4. 【請求項４】入力動画像信号をなす入力画像を分割した
   複数のブロック毎に動き補償予測モードとフレーム内予
   測モードを含む複数の予測モードの中から選択された予
   測モードにより予測を行い、前記動き補償予測モードで
   予測を行ったときに生成される予測信号と前記入力動画
   像信号との誤差信号である予測残差信号、または前記フ
   レーム内予測モードで予測を行ったときに前記入力動画
   像信号について量子化したＤＣＴ係数情報を含む符号列
   であって、各ブロックの予測に関わる情報のうち予測モ
   ードを示す情報を及びＤＣＴ係数の情報をそれぞれ複数
   ブロック分まとめ、該予測モードを示す情報を最も重要
   度の高い情報と位置づけ、複数ブロック分まとめた該予
   測モードを示す情報及び複数ブロック分まとめた該ＤＣ
   Ｔ係数の情報を重要度の高い順に並べて多重化した符号
   列を入力し、該符号列を復号化して元の動画像信号を再
   生することを特徴とする動画像復号化方法。