JP3756897B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像信号を高能率に圧縮符号化する動画像符号化装置及び動画像符号化方法に係り、特に伝送路／蓄積媒体での誤りに強い動画像符号化装置及び動画像符号化方法に関する。
【０００２】
【従来の技術】
ＴＶ電話、ＴＶ会議システム、携帯情報端末、ディジタルビデオディスクシステムおよびディジタルＴＶ放送システムなどのように動画像信号を伝送／蓄積するシステムにおいては、動画像信号をできるだけ少ない情報量に圧縮符号化し、得られた圧縮符号化信号である符号列を伝送路／蓄積媒体へ伝送／蓄積し、伝送／蓄積された符号列を復号化することによって元の動画像信号を再生する。
【０００３】
このようなシステムに適用される動画像信号の圧縮符号化技術として、動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式としてＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。これらの符号化方式は、いずれも動き補償適応予測と離散コサイン変換の組み合わせを基本とした方式であり、文献１：安田浩編著、“マルチメディア符号化の国際標準”、丸善、（平成３年６月）等にその詳細が述べられている。
【０００４】
ところで、このようにして動画像信号を符号化して得られた符号列を無線伝送路のような誤りが生じやすい媒体を介して伝送／蓄積する場合、復号化側で再生される画像信号が伝送／蓄積の際の誤りにより劣化してしまうことがある。このような誤りの対策として、例えば誤り確率の異なる複数の伝送路を介して符号列を伝送できる条件下では、誤りによる画質劣化を少なくするため、符号列をいくつかの階層に分けて、上位階層の符号列はより誤り確率の低い伝送路で伝送を行う階層的符号化方式が知られている。階層の切り分けとしては、モード情報、動き補償情報、画像信号の低周波成分を上位階層とし、画像信号の高周波数成分を上位階層とする方法等が提案されている。
【０００５】
従来の階層的動画像符号化装置の例として、動き補償適応予測とＤＣＴを用いた動画像符号化装置を図５により説明する。図５において、入力動画像信号１１はまず予測回路１２で予測に供される。予測回路１２においては、入力動画像信号１１とフレームメモリ１３に蓄えられている既に符号化／局部復号化によって得られた参照画像信号との間の動きベクトルが検出され、この動きベクトルに基づいて所定の単位領域（予測領域という）毎に動き補償予測が行われ、動き補償予測信号が作成される。
【０００６】
予測回路１２は、動き補償予測モード（フレーム間予測モード）と入力動画像信号１１をそのまま符号化するフレーム内予測モードを持っており、これらの予測モードから符号化に最適なモードを選択して、それぞれのモードに対応する予測信号１４を出力する。すなわち、予測回路１２は動き補償予測モードでは動き補償予測信号、フレーム内予測モードでは“０”をそれぞれ予測信号１４として出力する。
【０００７】
減算器１５では、入力動画像信号１１から予測信号１４が減算されることにより予測残差信号１６が生成される。予測残差信号１６は、離散コサイン変換（ＤＣＴ）回路１７において一定の大きさのブロック単位で離散コサイン変換され、ＤＣＴ係数情報１８となる。ＤＣＴ係数情報１８は、量子化回路１９で量子化される。フレーム内予測モードでは予測信号１４は“０”であるから、減算器１５からは予測残差信号１６として入力動画像信号１１がそのまま出力される。
【０００８】
量子化回路１９からの量子化されたＤＣＴ係数情報２０は二分岐され、一方では第１の可変長符号化回路２１により可変長符号化され、他方では逆量子化回路２２により逆量子化される。逆量子化回路２２の出力は、逆離散コサイン変換（逆ＤＣＴ）回路２３により逆離散コサイン変換される。すなわち、逆量子化回路２２および逆ＤＣＴ回路２３では量子化回路１９およびＤＣＴ回路１７と逆の処理が行われ、逆ＤＣＴ回路２３の出力には予測残差信号１６に近似した信号が得られる。逆ＤＣＴ回路２３の出力は、加算回路２４において予測回路１２からの予測信号１４と加算され、局部復号信号２５が生成される。この局部復号信号２５はフレームメモリ１３に参照画像信号として記憶される。
【０００９】
予測回路１２からは、予測に関わる情報として予測モード／動きベクトル情報２６が出力され、可変長符号化回路２７により可変長符号化される。可変長符号化回路２１，２７から出力される符号列は、マルチプレクサ３０により多重化されるとともに、上位階層符号列３１および下位階層符号列３２に分けられ、図示しない伝送路／蓄積媒体へ出力される。すなわち、上位階層符号列３１は伝送／蓄積による誤りが生じる確率が比較的低い伝送路／蓄積媒体に出力され、下位階層符号列３２は伝送／蓄積による誤りが生じる確率が比較的高い伝送路／蓄積媒体に出力される。
【００１０】
ここで、マルチプレクサ３０での上位階層符号列３１と下位階層符号列３２の切り分けは、例えば図６に示すように可変長符号化回路２２からの予測回路１２での予測モードを表わすモード情報、動きベクトル情報（ＭＶ）および可変長符号回路２１からの可変長符号化されたＤＣＴ係数情報のうちの低域ＤＣＴ係数情報を上位階層符号列３１に当て、可変長符号回路２１からの可変長符号化されたＤＣＴ係数情報のうちの残った高域ＤＣＴ係数情報を下位階層符号列３２に当てるというように行う。
【００１１】
このような従来の階層的動画像符号化装置には、以下のような問題がある。まず、誤りが生じると画質が大きく劣化する動きベクトル情報が各予測領域毎に一つずつしか無いために、動きベクトル情報に誤りが生じると、その予測領域については動き情報を全く復号化できなくなり、大きな画質劣化を生じるという点である。このような画質劣化を少なくするためには、図６（ａ）に示すように動きベクトル情報（ＭＶ）は全て上位階層符号列３１に当てればよい。しかし、一般に各階層の符号列の符号量が全階層の符号列の総符号量中で取り得る割合には制限があり、このように全ての動きベクトル情報を上位階層符号列３１に含めた場合には、この制限を越えてしまうことがある。これを防ぐために動きベクトル情報を下位階層符号列３２に当てると、誤り耐性が大幅に低下してしまうという問題が発生する。
【００１２】
また、伝送／蓄積される符号列３１，３２の各符号語は可変長符号化回路２１，２７で作成される可変長符号により構成されているので、誤りによって復号化の際に可変長符号の同期外れが起こることがある。ところが、従来の動画像符号化装置では図６に示すように各階層の符号列３１，３２内に、誤りが生じると復号化画像に大きな劣化を生じるモード情報、動きベクトル情報といった重要な予測に関わる情報と、誤りが生じてもそれほど大きな劣化を生じない予測残差信号のＤＣＴ係数情報等が混在して多重化されている。このため、重要でない情報が乗っている符号語の復号化中に同期外れが生じると、重要な情報が乗っている符号語にも誤りを波及させてしまうことがあり、復号画像に大きな劣化を生じさせる。このような場合には、同期符号が現れるまでは同期回復を図ることができないため、それまでの復号画像の情報は全て誤ったものとなり、画面内の広範囲にわたって大きな劣化が生じてしまうという問題がある。
【００１３】
【発明が解決しようとする課題】
上述したように従来の動画像符号化装置においては、誤りが生じると復号画像の品質を大きく低下させてしまう動きベクトル情報のような予測に関わる情報が各予測領域毎に一つずつしか符号化されていないため、誤り耐性が低い。
【００１４】
誤り耐性を高めるためには、全ての予測に係る情報を誤り確率の低い伝送路／蓄積媒体によって伝送／蓄積しなければならないが、各階層の符号列の符号量が全階層の符号列の総符号量中で取り得る割合に制限があるため、結果的に誤り確率の異なる複数の伝送路／蓄積媒体を用いて符号列の伝送／蓄積を行うことで誤りによる画質劣化を緩和するという階層的符号化の特徴を生かせないという問題が起こる。
【００１５】
また、従来の動画像符号化装置では予測に関わる情報のような比較的重要な情報と、それ以外の比較的重要でない情報が混在して符号列中に含まれているために、重要でない情報で生じた誤りが重要な情報に波及して大きな画質劣化を生じるという問題があった。
【００１６】
従って、本発明は誤り耐性の高い動画像符号化装置及び動画像符号化方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記の課題を解決するため、本発明は入力動画像信号をなす入力画像を複数のブロックに分割し、ブロック毎に動き補償予測モードとフレーム内予測モードを含む複数の予測モードの中から選択された予測モードにより予測を行い、前記動き補償予測モードで予測を行ったときに生成される予測信号と前記入力動画像信号との誤差信号である予測残差信号、または前記フレーム内予測モードで予測を行ったときに前記入力動画像信号をＤＣＴ変換してＤＣＴ係数を求め、該ＤＣＴ係数を量子化する動画像符号化を行うに際して、前記入力画像の各フレームのピクチャヘッダに当該フレームの予測モードを示す情報を配置し、該ピクチャヘッダの後ろに、各ブロックの予測に関わる情報のうち予測モードを示す情報及び該予測モードを示す情報より比較的重要度の低い情報をそれぞれ複数ブロック分まとめ、複数ブロック分まとめた該予測モードを示す情報及び複数ブロック分まとめた該比較的重要度の低い情報を重要度の高い順に並べて多重化することを特徴とする。
【００１８】
また、本発明は同様の動画像符号化を行うに際して、前記入力画像の各フレームのピクチャヘッダに当該フレームの予測モードを示す情報を配置し、該ピクチャヘッダの後ろに、各ブロックの予測に関わる情報のうち予測モードを示す情報及びＤＣＴ係数の情報をそれぞれ複数ブロック分まとめ、複数ブロック分まとめた該予測モードを示す情報及び複数ブロック分まとめた該ＤＣＴ係数の情報を重要度の高い順に並べて多重化することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。図１は、本発明による動画像符号化装置の一実施形態のブロック図であり、動き補償適応予測とＤＣＴを組み合わせた動画像符号化装置に本発明を適用した例を示している。
【００２０】
図１において、入力動画像信号１０１はまず予測回路１０２での予測に供される。すなわち、予測回路１０２においては入力動画像信号１０１とフレームメモリ１０３に蓄えられている既に符号化／局部復号化によって得られた参照画像信号との間の動きベクトルが検出され、この動きベクトルに基づいて動き補償予測信号が作成される。予測回路１０２は、動き補償予測モード（フレーム間予測モード）と入力動画像信号１０１をそのまま符号化するフレーム内予測モードを持っており、符号化に最適な予測モードを選択して、それぞれのモードに対応する予測信号１０４を出力する。すなわち、予測回路１０２は動き補償予測モードでは動き補償予測信号、フレーム内予測モードでは“０”を予測信号１０４としてそれぞれ出力する。
【００２１】
減算器１０５では、入力動画像信号１０１から予測信号１０４が減算されることにより予測残差信号１０６が生成される。予測残差信号１０６は、離散コサイン変換（ＤＣＴ）回路１０７において一定の大きさのブロック単位で離散コサイン変換され、ＤＣＴ係数情報１０８となる。ＤＣＴ係数情報１０８は、量子化回路１０９で量子化される。なお、フレーム内予測モードでは、予測信号１０４は“０”であるから、減算器１０５からは予測残差信号１０６として入力動画像信号１０１がそのまま出力される。
【００２２】
量子化回路１０９からの量子化されたＤＣＴ係数情報１１０は二分岐され、一方では第１の可変長符号化回路１１１により可変長符号化され、他方では逆量子化回路１１２により逆量子化される。逆量子化回路１１２の出力は逆離散コサイン変換（逆ＤＣＴ）回路１１３により逆離散コサイン変換される。すなわち、逆量子化回路１１２および逆ＤＣＴ回路１１３では量子化回路１０９およびＤＣＴ回路１０７と逆の処理が行われ、逆ＤＣＴ回路１１３の出力に予測残差信号１０６に近似した信号が得られる。逆ＤＣＴ回路１１３の出力は加算回路１１４において予測回路１０２からの予測信号１０４と加算され、局部復号信号１１５が生成される。この局部復号信号１１５は、フレームメモリ１０３に参照画像信号として記憶される。
【００２３】
予測回路１０２からは後述するように、予測に関わる情報として大領域予測モード／動きベクトル情報１１６および小領域予測モード／動きベクトル情報１１７が出力され、可変長符号化回路１１８および１１９によりそれぞれ可変長符号化される。可変長符号化回路１１１，１１８および１１９から出力される符号列は、マルチプレクサ１２０により多重化されるとともに、上位階層符号列１２１および下位階層符号列１２２に分けられ、図示しない伝送路／蓄積媒体へ出力される。
【００２４】
ここで、符号列を誤り確率が異なる複数の伝送路／蓄積媒体を介して伝送／蓄積を行うことが可能な条件下では、上位階層符号列１２１についてはより誤り確率の低い伝送路／蓄積媒体を介して伝送／蓄積を行い、下位階層符号列１２２についてはこれより誤り確率の高い伝送路／蓄積媒体を介して伝送／蓄積を行うことにより、上位階層符号列１２１にはできるだけ誤りが生じにくいようにする。また、符号化列１２１，１２２に対して誤り訂正符号化を行う場合には、上位階層符号化列１２１は下位階層符号化列１２２に比べて誤り率が低くなるように、より強力な誤り訂正符号化を行う。
【００２５】
次に、図２を参照して予測回路１０２の構成および動作を詳細に説明する。予測回路１０２においては、入力動画像信号１０１を上位段階から下位段階にわたって順次より多くの領域に段階的に分割し、各段階で分割された領域毎に入力動画像信号に対する動き補償予測を行って予測信号を生成する。図２の例では、予測回路１０２での領域分割および予測を２段階としている。すなわち、予測回路１０２は第１段階では入力動画像信号１０１を図２中実線の領域（大領域という）で示すように大きく分割し、これらの大領域について粗い画素精度で動き補償予測を行い、次いで第２段階では必要に応じて大領域を図中破線の領域（小領域という）に示すようにさらに細かく分割し、これらの小領域について細かな画素精度で動き補償予測を行う。
【００２６】
そして、可変長符号化回路１１８，１１９により、予測回路１０２から出力される大領域についての予測に関する情報のみでなく、小領域についても大領域についての予測に関する情報を符号化する。このようにすることにより、もし小領域についての予測に関する情報が誤りにより失われた場合でも、復号化装置では大領域についての予測に関する情報が誤り無く復号化されれば、大まかな精度で予測を行うことができ、復号画像の画質の大きな劣化を防ぐことができる。
【００２７】
予測回路１０２から出力される予測に関わる情報は、予測モードを示す情報と動きベクトルを示す情報からなる。大領域の予測モードを示す情報と動きベクトル（図２中実線の矢印で示す）を示す情報、すなわち大領域予測モード／動きベクトル情報１１６は、可変長符号化回路１１８で可変長符号化される。この際、動きベクトル情報については、隣接する既に符号化した大領域の動きベクトル情報との差分を可変長符号化してもよいし、差分をとらずにそのまま固定長符号化しても良い。また、ある間隔の領域毎に動きベクトル情報を固定長符号化し、それ以外の領域の動きベクトル情報を可変長符号化するようにしても良い。
【００２８】
一方、小領域の予測モードを示す情報と動きベクトル（図２中破線の矢印で示す）を示す情報、すなわち小領域予測モード／動きベクトル情報１１７は、可変長符号化回路１１９で可変長符号化される。この場合、各小領域毎に動きベクトル情報と大領域動きベクトル情報との差分をとって可変長符号化しても良いし、各大領域毎にまとめてブロック符号化、ベクトル量子化等を用いて符号化を行っても良い。差分値を可変長符号化する場合、大領域動きベクトルが小領域動きベクトルを基に可逆の関数（例えば平均値）で表せるようにすれば、小領域動きベクトルの中のある一つについては大領域動きベクトルと他の小領域動きベクトルを基に計算により求めることが可能であるため、特に符号化の必要はない。
【００２９】
図３は、上位階層符号列１２１および下位階層符号列１２２の構成例を示したものである。図３（ａ）に示す上位階層符号列１２１には、１符号化フレーム毎またはある領域単位毎に、先頭に一意に復号化可能な同期符号を入れる。ＰＳＣがフレーム単位の同期符号を示している。この同期符号ＰＳＣの後ろには、当該フレームの符号化情報を示すピクチャヘッダをつける。ピクチャヘッダは、当該フレームの時間的位置を示すフレーム番号、当該フレームの予測モードを示す情報（モード情報）、当該フレームの上位階層および下位階層それぞれの符号列の長さを示す情報（符号量）からなる。
【００３０】
さらに、図３（ａ）に示すようにピクチャヘッダに大領域および小領域の大きさと動き補償の画素精度を示す情報（大領域ＭＣ精度、小領域ＭＣ精度）を追加すれば、動き補償の精度をフレーム単位に可変化して動きベクトル情報の符号量を制御することが可能になる。これにより、伝送路／蓄積媒体等の制約で上位階層符号列１２１と下位階層符号列１２２の符号量の割合が規定されている場合にも、それに対応した符号量振り分けが可能である。また、各フレームの動きベクトル情報の総符号量の制御もできるため、動き補償精度と動きベクトル情報の符号量の関係からみて最適な動き補償精度を選択することが可能であり、それによって符号化効率の向上を図ることができる。
【００３１】
図３（ａ）に示す上位階層符号列１２１のピクチャヘッダの後ろには、各領域の符号化情報が重要度の高い情報から順番に並べられている点が特徴的である。ここで重要度の高い情報とは、誤りが生じると復号画像に大きな劣化が生じてしまう情報のことである。すなわち、上位階層符号列１２１のピクチャヘッダの後ろには、まず最も重要度の高い予測モードを示す情報（モード情報）、つまり予測回路１０２から出力される大領域予測モード／動きベクトル情報１１６および小領域予測モード情報１１７を可変長符号化回路１１８で符号化して得られた符号列のうちの予測モード情報の符号列を入れる。
【００３２】
次に、フレーム内予測モードが選択された領域のＤＣＴ係数情報のＤＣ成分 （イントラＤＣ）、つまり予測残差信号１０６をＤＣＴ回路１０７および量子化回路１０９を通して得たＤＣＴ係数情報を可変長符号化回路１１１で符号化して得られた符号列のうちのＤＣ成分の符号列を入れる。さらに、動き補償予測モードが選択された領域では、大まかな動き情報を示す大領域動きベクトル情報（大領域ＭＶ）、つまり予測回路１０２から出力される大領域予測モード／動きベクトル情報１１６を可変長符号化回路１１８で符号化して得られた符号列のうちの動きベクトル情報の符号列を入れる。
【００３３】
一方、図３（ｂ）に示す下位階層符号列１２２には、小領域の動きベクトル情報（小領域ＭＶ）、つまり予測回路１０２から出力される小領域予測モード／動きベクトル情報１１７を可変長符号化回路１１９で符号化して得られた符号列のうちの動きベクトル情報の符号列を入れ、さらにその後ろにＤＣＴ係数情報の高周波成分、つまり予測残差信号１０６をＤＣＴ回路１０７および量子化回路１０９を通して得たＤＣＴ係数情報を可変長符号化回路１１１で符号化して得られた符号列のうちの高周波成分の符号列を入れる。
【００３４】
このように動き補償予測を階層化して行い、予測モードを示すモード情報や大まかな予測情報を示す大領域動きベクトル情報を上位階層符号列１２１に、また精細な動きベクトル情報を下位階層符号列１２２にそれぞれ割り当てている。従って、伝送路／蓄積媒体での誤りによって下位階層符号列１２２に含まれる小領域動きベクトル情報が失われた場合でも、動画像復号化装置では上位階層符号列１２１に含まれる大領域動きベクトル情報を用いて大まかな精度で動き補償予測を行うことができるため、復号画像に大幅な画質劣化が生じる確率を低くすることができる。
【００３５】
また、本実施形態では上位および下位の各階層符号列１２１，１２２内でも符号列を重要な情報の順に並べているため、重要でない情報で生じた誤りが重要な情報にまで波及することが無く、大幅な画質劣化を防ぐことができる。
【００３６】
次に、本発明による動画像復号化装置の一実施形態について説明する。図４は、図１の動画像符号化装置に対応した動画像復号化装置の構成を示すブロック図である。
【００３７】
図４において、図１の動画像符号化装置から出力される上位階層符号列１２１および下位階層符号列１２２が伝送路／蓄積媒体を介して入力されてきた上位階層符号列２０１および下位階層符号列２０２は、デマルチプレクサ２０３により量子化ＤＣＴ係数情報の可変長符号２０４、大領域予測モード／動きベクトル情報の可変長符号２０５および小領域予測モード／動きベクトル情報の可変長符号２０６に分離された後、可変長復号化回路２０７，２０８および２０９にそれぞれ入力される。
【００３８】
可変長復号化回路２０７は、可変長符号２０４を可変長復号化することにより量子化ＤＣＴ係数情報２１０を出力する。この量子化ＤＣＴ係数情報２１０は、逆量子化回路２１３により逆量子化され、さらに逆ＤＣＴ回路２１４で逆離散コサイン変換されることにより予測残差信号２１５が生成される。この予測残差信号２１５は、加算回路２１６で予測回路２１７からの予測信号２１９と加算され、再生画像信号２２１が生成される。再生画像信号２２１は、動画像復号化装置の外部へ出力されるとともに、フレームメモリ２１８に参照画像信号として記憶される。
【００３９】
一方、可変長復号化回路２０８，２０９では可変長符号２０５，２０６から大領域予測モード／動きベクトル情報２１１および小領域予測モード／動きベクトル情報２１２が可変長復号化される。これらの情報２１１，２１２は、予測回路２１７へ入力される。予測回路２１７は、フレームメモリ２１８に記憶されている参照画像信号と大領域予測モード／動きベクトル情報２１１および小領域予測モード／動きベクトル情報２１２から動画像信号の予測を行い、予測信号２１９を生成する。
【００４０】
誤り判定回路２２０は、デマルチプレクサ２０３および可変長復号化回路２０７，２０８，２０９の状態に基づいて上位階層符号列２０１および下位階層符号列２０２の誤りの有無を判定し、その判定結果を予測回路２１７に与える。誤り判定回路２２０で上位および下位階層符号列２０１，２０２のいずれにも誤りが検出されなかった場合、予測回路２１７はフレームメモリ２１８に記憶されている参照画像信号を基にして、図１における予測信号１０４と同一の予測信号２１９を出力する。
【００４１】
以上の処理は、図１の動画像符号化装置に対応して画像信号を再生する処理であり、逆量子化回路２１３、逆ＤＣＴ回路２１４、加算回路２１６、フレームメモリ２１８が行う処理は、それぞれ図１における逆量子化回路１１２、逆ＤＣＴ回路１１３、加算回路１１４、フレームメモリ１０３の処理と基本的に同一である。また、可変長復号化回路２０７，２０８，２０９、マルチプレクサ２０３は、それぞれ図１における可変長符号化回路１１１，１１８，１１９、マルチプレクサ１２０の処理の逆の処理を行う。
【００４２】
一方、誤り判定回路２２０で上位および下位階層符号列２０１，２０２の少なくとも一方に誤りが検出された場合は、例えば以下のように誤りが検出された情報よりも重要度の高い情報を用いて再生画像が作成される。
【００４３】
すなわち、（１）下位階層符号列１２２に含まれる動き補償予測が行われたブロックのＤＣＴ係数情報に誤りが検出された場合は、そのブロックの予測残差信号を０とし、正しく復号化されたモード情報、大領域動きベクトル情報および小領域動きベクトル情報を用いて得られた動き補償予測信号を予測信号２１９として再生画像信号２２１を得る。
【００４４】
また、（２）小領域動きベクトル情報に誤りが生じた場合には、その小領域については大領域動きベクトル情報を用いて得られた動き補償予測信号を予測信号２１９として再生画像信号２２１を得る。
【００４５】
さらに、（３）大領域動きベクトル情報に誤りが生じた場合には、その大領域については周囲の領域や既に復号化されたフレームの動きベクトル情報からその大領域の動き補償予測をできる時にはその推定値を用い、周囲の動きベクトル情報にも誤りが生じている場合には既に復号化されたフレームの画像信号をそのまま再生画像信号２２１として用いる。
【００４６】
（４）フレーム内予測モードが選択されたブロックのＤＣＴ係数情報のＡＣ成分に誤りが生じた場合には、ＤＣＴ係数情報のＤＣ成分と周囲ブロックの正しく復号化された画像信号からそのブロックの画像信号を予測して再生画像信号２２１とするか、既に復号化されたフレームの画像信号から周囲ブロックの正しく復号化された画像信号の予測信号を用いてそのブロックの画像信号を予測して再生画像信号２２１とする。
【００４７】
ところで、各種情報の符号化に可変長符号を用いている場合、誤りにより同期外れが起こり、同期符号検出等により同期回復が図られるまで後続の符号に誤りが波及することがある。そのような場合は後続の符号は復号化には用いない。例えば、下位階層符号列１２２中の小領域動きベクトル情報に誤りが生じた場合、その小領域以降の動きベクトル情報とそれに続くＤＣＴ係数情報に誤りが波及することがあるが、そのような場合には誤りの波及している情報は復号化には用いない。このような同期外れが生じた場合でも、符号列には重要度の高い順に符号語が並べられているため、重要度の低い情報で生じた誤りが重要度の高い情報にまで波及することがなく、再生画像の大幅な劣化を防ぐことができる。
【００４８】
誤り判定部２２０で符号列２０１，２０２に誤りが発生していることを検出する具体的な方法としては、以下の方法を挙げることができる。
【００４９】
第１は、パリティ符号、ＣＲＣ符号等の誤り検出符号を用いる方法である。この場合、図１に示した動画像符号化装置のマルチプレクサ１２０において可変長符号に対して誤り検出符号化を行い、図４に示す動画像復号化装置のデマルチプレクサ２０３において誤り検出処理を行い、その検出結果を誤り判定部２２０に与える。
【００５０】
第２は、可変長復号化回路２０７，２０８，２０９において、入力の符号語と出力値との対応関係を表わした符号語テーブル中に存在しない符号語が検出された場合に、それを誤りと判定する方法である。特に、可変長符号を用いている場合には、誤りが検出された部分だけでなくその前後の符号列中にも誤りが波及していることがあるので、当該符号語全てに対して誤り検出処理を行う。
【００５１】
第３は、復号化された符号語を基に再生された動きベクトル情報、予測信号、ＤＣＴ係数情報、予測残差信号、再生画像信号等が動画像の符号化において生じ得ない信号であるか否かを判定することにより誤り判定を行う方法である。この方法を用いることは本発明において特徴的であるため、より詳細に説明する。
【００５２】
例えば、動きベクトル情報に示される動きベクトルが予め規定された探索範囲を超えていたり、画面外へはみ出している場合には誤りと判定する。
【００５３】
また、逆量子化回路２１３で逆量子化されたＤＣＴ係数情報を判定することにより、誤りを検出することも可能である。入力画像信号１０１の画素値の取り得る範囲を０〜Ｄ−１、ＤＣＴブロックサイズをＮ×Ｎとすると、ＤＣＴ係数は以下の範囲内の値をとる。
【００５４】
＜フレーム内予測モード＞ ＤＣ成分：０〜Ｎ×Ｄ ＡＣ成分：−（Ｎ／２×Ｄ）〜（Ｎ／２×Ｄ） ＜フレーム間予測モード＞ −（Ｎ／２×Ｄ）〜（Ｎ／２×Ｄ） そこで、復号化されたＤＣＴ係数の値がこの範囲外の値を取った場合には誤りと判定する。この場合、誤りが検出されたブロックについてはその全てあるいは一部のＤＣＴ係数を０とするか、復号値を周囲のブロックの復号値から推定すれば良い。
【００５５】
さらに、再生画像信号２２１の画素値で誤りを判定することも可能である。入力画像信号１０１の画素値の取り得る範囲を０〜Ｄ−１、ＤＣＴブロックサイズをＮ×Ｎ、量子化幅をＱ（線形量子化の場合）とすると、再生画像信号２２１の画素値の取り得る範囲は −Ｎ×Ｑ〜Ｄ＋Ｎ×Ｑ となる。そこで、復号化された再生画像信号２２１の画素値がこの範囲を超えた場合には誤りと判定する。その場合、例えばフレーム間予測モード（動き補償予測モード）では予測残差信号２１５を“０”とし、フレーム内予測モードでは逆ＤＣＴ回路２１４への入力のＤＣＴ係数のうち一部を“０”として逆ＤＣＴを行って再生画像信号２２１を得るようにするか、または再生画像信号２２１の周囲のブロックの画素値から推定を行えば良い。
【００５６】
以上のように、本発明では動画像復号化装置における誤り判定部２２０での誤り判定に、再生された情報や信号が伝送路／蓄積媒体において生じ得ない情報や信号であるか否かの判定も加えることによって、より正確な誤り判定を行うことができるようになる。このため、誤りが生じた情報や信号を誤り処理をせずにそのまま動画像信号の再生に用いることによって生じる再生画像の品質劣化を抑えることができる。
【００５７】
本発明は、種々変形して実施することができる。例えば、上記実施形態では動画像符号化装置から出力される符号列を２階層に分ける例を示したが、３階層以上に分けて符号化を行っても良い。例えば、フレーム同期符号（ＰＳＣ）、ピクチャヘッダ、モード情報を最上位の第１階層とし、フレーム内予測モードでのＤＣＴ係数情報のＤＣ成分（イントラＤＣ）と大領域動きベクトル情報を第２階層、小領域動きベクトル情報を第３階層、第１階層に割り当てたＤＣＴ係数情報以外のＤＣＴ係数情報を第４階層にそれぞれ割り当ててもよい。また、ＤＣＴ係数を低域成分と高域成分というようにさらにいくつかの階層に分けて符号化を行っても良い。
【００５８】
また、大領域動きベクトル情報の符号化において、前記のように固定長符号化を行う動きベクトル情報と、この固定長符号化を行う動きベクトル情報との差分を可変長符号化する動きベクトル情報の２通りに分けて符号化する場合には、同期外れによって後ろの符号列に誤りが波及することがない固定長符号化された動きベクトル情報をフレームないしはある領域単位にまとめて先に入れ、その後ろに可変長符号化された動きベクトル情報を入れるようにすることが有効である。このようにすると、可変長符号化部分で誤りが発生して同期外れが起こっても、可変長符号化された動きベクトル情報には誤りが波及しないため、復号化の際に固定長符号化された動きベクトル情報を基に誤りが生じた動きベクトルを推定して大まかな精度で予測信号を作成することが可能であるため、誤りによる再生画像の画質劣化を小さくすることができる。
【００５９】
なお、図４の動画像復号化装置において再生された情報が動画像符号化において生じ得ない情報であるか否かを判定する方法は、階層符号化された符号列に限らず、一般の動画像符号化装置により得られた符号列から元の画像信号を復号化する動画像復号化装置にも適用することが可能である。
【００６０】
【発明の効果】
以上説明したように、本発明によれば誤り耐性の高い、つまり符号化列の伝送／蓄積の際に生じる誤りによる復号画像の画質劣化が小さい動画像符号化装置及び動画像符号化方法を提供することができる。
【図面の簡単な説明】
【図１】 本発明による動画像符号化装置の一実施形態を示すブロック図
【図２】 図１の動画像符号化装置における動き補償領域とそれに対応する動きベクトルを示す図
【図３】 図１の動画像符号化装置から出力される上位階層および下位階層符号列の例を示す図
【図４】 図１の動画像符号化装置に対応する動画像復号化装置の一実施形態を示すブロック図
【図５】 従来の動画像符号化装置の例を示すブロック図
【図６】 図５の動画像符号化装置から出力される符号列の例を示す図
【符号の説明】
１０１…入力画像信号
１０２…予測回路
１０３…フレームメモリ
１０４…予測信号
１０５…減算器
１０６…予測残差信号
１０７…離散コサイン変換回路
１０８…ＤＣＴ係数情報
１０９…量子化回路
１１０…量子化ＤＣＴ係数情報
１１１…可変長符号化回路
１１２…逆量子化回路
１１３…逆離散コサイン変換回路
１１４…加算器
１１５…局部復号信号
１１６…大領域予測モード／動きベクトル情報
１１７…小領域予測モード／動きベクトル情報
１１８，１１９…可変長符号化回路
１２０…マルチプレクサ
１２１…上位階層符号列
１２２…下位階層符号列
２０１…上位階層符号列
２０２…下位階層符号列
２０３…デマルチプレクサ
２０４〜２０６…可変長符号
２０７〜２０９…可変長符号化回路
２１０…量子化ＤＣＴ係数
２１１…大領域予測モード／動きベクトル情報
２１２…小領域予測モード／動きベクトル情報
２１３…逆量子化回路
２１４…逆離散コサイン変換回路
２１５…予測残差信号
２１６…加算器
２１７…予測回路
２１８…フレームメモリ
２１９…予測信号
２２０…誤り判定回路
２２１…再生画像信号

Claims (4)

1. 入力動画像信号をなす入力画像を複数のブロックに分割する手段と、
   ブロック毎に動き補償予測モードとフレーム内予測モードを含む複数の予測モードの中から選択された予測モードにより予測を行う予測手段と、
   前記予測手段が前記動き補償予測モードで予測を行ったときに生成される予測信号と前記入力動画像信号との誤差信号である予測残差信号、または前記予測手段が前記フレーム内予測モードで予測を行ったときに前記入力動画像信号をＤＣＴ変換してＤＣＴ係数を得る手段と、
   ＤＣＴ係数を量子化する手段とを備えた動画像符号化装置において、
   前記入力画像の各フレームのピクチャヘッダに当該フレームの予測モードを示す情報を配置し、前記フレーム内予測モードが選択された場合には各ブロックに関わる予測モードを示す情報とＤＣ成分情報をそれぞれ複数ブロック分まとめて符号化し、該複数ブロック分まとめた予測モードを示す情報を最も重要度の高い情報として、該複数ブロック分まとめた予測モードを示す情報を前記ピクチャヘッダの後ろに並べて多重化する多重化手段を具備したことを特徴とする動画像符号化装置。
2. 入力動画像信号をなす入力画像を複数のブロックに分割する手段と、
   ブロック毎に動き補償予測モードとフレーム内予測モードを含む複数の予測モードの中から選択された予測モードにより予測を行う予測手段と、
   前記予測手段が前記動き補償予測モードで予測を行ったときに生成される予測信号と前記入力動画像信号との誤差信号である予測残差信号、または前記予測手段が前記フレーム内予測モードで予測を行ったときに入力される前記入力動画像信号をＤＣＴ変換してＤＣＴ係数を得る手段と、
   ＤＣＴ係数を量子化する手段とを備えた動画像符号化装置において、
   前記入力画像の各フレームのピクチャヘッダに当該フレームの予測モードを示す情報を配置し、前記フレーム内予測モードが選択された場合には各ブロックに関わる予測モードを示す情報とＤＣＴ係数のＤＣ成分情報をそれぞれ複数ブロック分まとめて符号化し、該複数ブロック分まとめた予測モードを示す情報を最も重要度の高い情報として、該複数ブロック分まとめた予測モードを示す情報を前記ピクチャヘッダの後ろに並べて多重化した符号列を生成する手段を具備したことを特徴とする動画像符号化装置。
3. 入力動画像信号をなす入力画像を複数のブロックに分割し、ブロック毎に動き補償予測モードとフレーム内予測モードを含む複数の予測モードの中から選択された予測モードにより予測を行い、前記動き補償予測モードで予測を行ったときに生成される予測信号と前記入力動画像信号との誤差信号である予測残差信号、または前記フレーム内予測モードで予測を行ったときに前記入力動画像信号をＤＣＴ変換してＤＣＴ係数を求め、該ＤＣＴ係数を量子化する動画像符号化方法において、
   前記入力画像の各フレームのピクチャヘッダに当該フレームの予測モードを示す情報を配置し、（ａ）前記フレーム内予測モードが選択された場合には各ブロックに関わる予測モードを示す情報とＤＣ成分情報をそれぞれ複数ブロック分まとめて符号化し、該複数ブロック分まとめた予測モードを示す情報を最も重要度の高い情報として、該複数ブロック分まとめた予測モードを示す情報を前記ピクチャヘッダの後ろに並べて多重化した符号列を入力し、（ｂ）前記動き補償予測モードが選択された場合には各ブロックに関わる予測モードを示す情報と動きベクトル情報をそれぞれ複数ブロック分まとめて符号化し、該複数ブロック分まとめた予測モードを示す情報を最も重要度の高い情報として、該複数ブロック分まとめた予測モードを示す情報を前記ピクチャヘッダの後ろに並べて多重化することを特徴とする動画像符号化方法。
4. 入力動画像信号をなす入力画像を複数のブロックに分割し、ブロック毎に動き補償予測モードとフレーム内予測モードを含む複数の予測モードの中から選択された予測モードにより予測を行い、前記動き補償予測モードで予測を行ったときに生成される予測信号と前記入力動画像信号との誤差信号である予測残差信号、または前記予測手段が前記フレーム内予測モードで予測を行ったときに入力される前記入力動画像信号をＤＣＴ変換してＤＣＴ係数を求め、該ＤＣＴ係数を量子化する動画像符号化方法において、
   前記入力画像の各フレームのピクチャヘッダに当該フレームの予測モードを示す情報を配置し、前記フレーム内予測モードが選択された場合には各ブロックに関わる予測モードを示す情報とＤＣＴ係数のＤＣ成分情報をそれぞれ複数ブロック分まとめて符号化し、該複数ブロック分まとめた予測モードを示す情報を最も重要度の高い情報として、該複数ブロック分まとめた予測モードを示す情報を前記ピクチャヘッダの後ろに並べて多重化した符号列を生成することを特徴とする動画像符号化方法。

Images