JPH09182067A - 画像符号化／復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】誤りにより情報が失われた場合でも早期に回復
可能で、かつ周期リフレッシュや誤り訂正ほどの符号量
の増加がない画像符号化装置を提供する。 【解決手段】符号化器１０１により入力画像信号１３１
を符号化して基本符号列１３２として出力すると共に、
この基本符号列１３２を符号列遅延器１０２で所定時間
遅延させて付加符号列１３３として出力し、符号列合成
器１０３で基本符号列１３２に付加符号列１３３を合成
して出力符号列１３４として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を少ない情報
量に圧縮符号化し、また圧縮符号化により得られた符号
列を復号して画像を再生する画像符号化／復号化装置に
係り、特に無線伝送路のような誤りが生じやすい媒体を
介して符号化画像を伝送／蓄積する場合でも誤り耐性が
強く高品質に伝送／蓄積を行なうことができる画像符号
化／復号化装置に関する。

【０００２】

【従来の技術】ＴＶ電話、ＴＶ会議システム、携帯情報
端末、ディジタルビデオディスクシステムおよびディジ
タルＴＶ放送システムのような画像を伝送したり蓄積す
るシステムにおいて、伝送または蓄積のために画像を少
ない情報量に圧縮符号化する技術として、動き補償、離
散コサイン変換、サブバンド符号化およびピラミッド符
号化等の方式や、これらを組み合わせた方式など様々な
方式が開発されている。また、動画像の圧縮符号化の国
際標準方式としてＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ２，Ｉ
ＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。
これらはいずれも動き補償適応予測と離散コサイン変換
を組み合わせた圧縮符号化方式であり、文献１（安田浩
編著、“マルチメディア符号化の国際標準”、丸善、平
成３年６月）等に詳細が述べられている。

【０００３】図２９に、従来の動画像符号化装置の例と
して動き補償適応予測と離散コサイン変換を用いた符号
化装置の基本構成を示す。入力画像信号１２３１は、領
域分割器１２０１で予め定められた複数の領域に分割さ
れた後、まず動き補償適応予測が行われる。すなわち、
動き補償適応予測器１２０２において入力画像信号１２
３１とフレームメモリ１２０３中に蓄えられている既に
符号化および局部復号化が行われた前フレームの参照画
像信号との間の動きベクトルが検出され、この動きベク
トルを用いて参照画像信号に対して動き補償が行われる
ことにより予測信号１２３３が作成される。ただし、動
き補償適応予測器１２０２では、動き補償予測と入力画
像信号１２３１をそのまま符号化に用いるフレーム内符
号化（予測信号＝０）のうち、好適な方の予測モードが
選択され、その予測モードに対応する予測信号１２３３
が出力される。

【０００４】次に、減算器１２０４において入力画像信
号１２３１から予測信号１２３３が減算され、予測残差
信号１２３４が出力される。予測残差信号１２３４は、
離散コサイン変換器１２０５において一定の大きさのブ
ロック単位で離散コサイン変換（ＤＣＴ）が行われる。
この離散コサイン変換により得られたＤＣＴ係数は、量
子化器１２０１２で量子化される。量子化器１２０６で
量子化されたＤＣＴ係数は二分岐され、一方において可
変長符号化器１２１３で符号化された後、多重化器１２
０９において可変長符号化器１２１４で符号化された動
きベクトル情報と多重化されて符号列として出力され、
他方において逆量子化器１２１０で逆量子化された後、
さらに逆離散コサイン変換器１２１１で逆離散コサイン
変換（逆ＤＣＴ）される。逆離散コサイン変換器１２１
１からの出力は加算器１２１２で適応予測信号１２３３
と加算されて局部復号信号となり、フレームメモリ１２
０３に参照画像信号として記憶される。

【０００５】図３０は、図２９の動画像符号化装置に対
応する動画像復号化装置の基本構成を示す図である。動
画像符号化装置から伝送／蓄積された符号列は、逆多重
化器１３１９において量子化されたＤＣＴ係数と動きベ
クトル情報に分離される。量子化されたＤＣＴ係数情報
は可変長復号化器１３２０、逆量子化器１３１０、逆離
散コサイン変換器１３１１を経て予測誤差信号となる。
動きベクトル情報は可変長復号化器１３２１で復号され
た後、動き補償予測器１３０２に入力される。動き補償
予測器１３０２では動きベクトルを用いてフレームメモ
リ１３０３内の前フレームの参照画像信号に動き補償が
行われ、予測信号が生成される。次に、加算器１３１２
において予測誤差信号と予測信号が加算され、画像信号
が再生される。再生された画像信号は、装置外へ出力さ
れると共にフレームメモリ１３０３に参照画像信号とし
て記憶される。

【０００６】しかし、このような従来の動画像符号化／
復号化装置には、以下のような問題がある。

【０００７】無線通信路等の誤りが混入する可能性のあ
る通信路では、上記のような符号化を行っただけでは、
誤りが生じた場合に復号画像品質が著しく劣化する。特
に、同期信号、モード情報および動きベクトルといった
信号が誤った場合の画質劣化は著しい。

【０００８】また、動画像符号化では前述した通り、動
き補償適応予測符号化が頻繁に用いられるが、この動き
補償適応予測符号化ではフレーム間の差分のみを符号化
するため、誤りが生じるとそのフレームが誤るだけでは
なく、誤った画像がフレームメモリに蓄えられ、その誤
った画像を用いて予測画像を作成し、残差が加えられる
こととなる。そのため、これ以降のフレームが正しく復
号されたとしても、フレーム間差分を用いずフレーム内
のみで符号化されているモード（イントラモード）で情
報が送られてくるか、徐々に誤りの影響が減衰して元に
戻るかのどちらか以外、それ以降のフレームも正しい復
号画像は得られなくなる。

【０００９】図３１は、この様子を図示したものであ
る。この例は黒い円が動いていく様子を示しており、通
常は次フレームの円を表す残差信号（残差信号の黒い円
で表してあるもの）と、前フレームの円を消すための残
差信号（残差信号の点線の円で表してあるもの）が含ま
れたものがフレーム間差分信号として出てくる。ここで
は、簡略化のため動き補償はせず、ＭＶ（動きベクト
ル）＝０としてフレーム間差分をとっている。

【００１０】ここで、誤りにより１フレーム分情報が失
われたとすると、２番目のフレームは全く復号されず、
例えば１番目のフレームのまま出力される。３番目のフ
レームでは、２番目のフレームに加えて始めて正しく復
号できる残差を１番目のフレームに加えてしまい、全く
別の画像となってしまう。これ以降、誤った画像に残差
を加えていくため、基本的に誤りが消えず正しい復号画
像を再生することは出来なくなる。

【００１１】この問題点を解決するため、従来では一定
周期毎にイントラモードで符号化するリフレッシュと呼
ばれる手法が通常用いられる。この場合、イントラモー
ドで符号化すると符号量が増加して誤りのない時の画質
を著しく低下させてしまうため、画面全体を一度にリフ
レッシュするのではなく、１フレームに数マクロブロッ
クずつリフレッシュする周期リフレッシュ等の方法が通
常用いられる。しかしながら、この周期リフレッシュで
は符号量の増加は抑えられる反面、正常な状態に回復す
るまでに長い時間がかかるという問題が起こる。

【００１２】他の誤り対策としては、誤り訂正符号の利
用があるが、これではランダムに生じる誤りは訂正出来
ても、バースト的に連続して数百ビットといった誤りが
生じるような場合には対処が難しく、たとえ対処できた
としても、やはりかなりの冗長度を必要とする。

【００１３】

【発明が解決しようとする課題】上述したように、画像
符号化、特に動画像符号化では誤りによる情報の消失が
大きな画質劣化の要因となる。また、誤りにより消失し
た情報を回復する従来の周期リフレッシュ等の方式で
は、符号化効率を考えると回復までに長い時間を要し、
回復に要する時間を短縮しようとすると符号量が増加し
て効率を悪くするといった問題点があった。

【００１４】本発明は、誤りにより情報が失われた場合
でも早期に回復可能で、かつリフレッシュや誤り訂正ほ
どの符号量の増加がない画像符号化／復号化装置を提供
することを目的とする。

【００１５】

【課題を解決するための手段】本発明に係る画像符号化
装置は、入力画像信号を符号化して基本符号列を出力す
る符号化手段と、基本符号列を所定時間遅延させて付加
符号列として出力する符号列遅延手段と、基本符号列に
付加符号列を合成して出力する符号列合成手段とを具備
したことを特徴とする。

【００１６】また、この画像符号化装置に対応する画像
復号化装置は、入力符号列を基本符号列と基本符号列を
遅延させた付加符号列とに分離する符号列分離手段と、
基本符号列または付加符号列を復号して復号データを出
力する復号手段と、復号データから復号手段で基本符号
列が復号可能か復号不可能かを判定する誤り判定手段
と、判定手段により復号手段で基本符号列が復号可能と
判定された場合は基本符号列を復号手段に入力し、復号
不可能と判定された場合は付加符号列を復号手段に入力
する符号列切替手段とを具備したことを特徴とする。

【００１７】このように本発明においては、入力画像信
号を符号化して得られた符号列が基本符号列として出力
された後、この基本符号列と基本的に同じ付加符号列が
所定時間後に再度出力されることにより、最初に出力し
た基本符号列の情報が伝送／蓄積の過程で誤りによって
破壊された場合でも、所定時間後に出力される付加符号
列の情報で補われ、正しく復号が行われる。

【００１８】また、本発明では画像符号化装置において
付加符号列として最初に出力した基本符号列と全く同じ
符号列をそのまま出力するのではなく、重要な情報のみ
を選択するなどして符号量を削減すべく簡略化した付加
符号列を出力してもよい。画像復号化装置では、付加符
号列のうちの符号量を削減すべく簡略化した部分を補間
する補間手段を有し、基本符号列が復号不可能と判定さ
れた場合は補間後の付加符号列を復号するようにする。
このようにすることにより、誤り無しの場合の復号画像
の品質を著しく低下させることなく、誤り耐性がより向
上する。

【００１９】さらに、本発明では画像符号化装置におい
て付加符号列に同期信号を付加して付加符号列のみで一
つのフレームを構成してもよい。この場合、画像復号化
装置では付加符号列に付加された同期信号により基本符
号列と付加符号列との判別を行い、この判別結果に基づ
いて入力符号列を基本符号列と付加符号列とに分離す
る。このようにすると、画像復号化装置では同期信号の
検出のみで基本符号列か付加符号列かを判別できるの
で、構成が容易になる。また、このように付加符号列に
も同期信号を付加すると、同期信号の総数が増加するこ
とになるため、同期回復の機会が増加する。

【００２０】また、本発明では付加符号列を得るための
符号列簡略化を際に、基本符号列のうち相対的に重要度
の高い重要情報のみを選択し、その選択された重要情報
の符号列を変換して出力してもよい。この場合、重要情
報の符号列変換に重要情報に対して最適化された、基本
符号列の生成時に使用した符号表と異なる符号表を用い
れば、符号列の冗長度を削減し、符号化レートを高くと
ることができる。また、基本符号列の生成時に使用した
符号表と同じ符号表を用いて重要情報を変換すれば、復
号時には同じ復号器を用いて基本符号列と付加符号列を
復号でき、回路の冗長度が削減される。

【００２１】さらに、符号化時の符号量に関する情報
や、動きベクトルその他の誤り耐性に関する情報に基づ
いて、基本符号列から付加符号列を生成する際の簡略化
方式を制御することにより、符号化に適合した付加符号
列を生成することができる。

【００２２】一方、画像復号化装置では、入力された符
号列が基本符号列か付加符号列かの判定を行い、これら
の符号列のうち正しく復号された方の復号値を出力とし
て利用することにより、一方の符号列に生じた誤りを回
復することができる。

【００２３】また、基本符号列か付加符号列の判定や基
本符号列に対応した付加符号列の判定は、入力符号列の
フレームの時間的位置を示す情報により行う。さらに、
誤りを許容して判定を行うことによって誤判定を減少さ
せ、正しく復号できる確率を高くしている。

【００２４】さらに、画像の小領域単位に基本符号列と
付加符号列の復号値を選択することで、より多くの正し
い復号値を得ることができる。

【００２５】

【発明の実施の形態】以下、本発明の実施形態を説明す
る。

【００２６】（第１の実施形態）図１は、本発明の第１
の実施形態に係る画像符号化装置のブロック図である。
入力画像信号１３１は符号化器１０１において符号化さ
れ、符号列（これを基本符号列という）１３２として出
力される。この基本符号列１３２はそのまま符号列合成
器１０３に入力されると共に、メモリを用いた符号列遅
延器１０２に入力され、ここで一定時間記憶保持された
後、出力される。

【００２７】すなわち、符号列遅延器１０２では一定時
間経過後、保持していた過去の符号列（これを付加符号
列という）１３３を出力する。この付加符号列１３３
も、符号列合成器１０３に入力される。符号列合成器１
０３では、符号化器から出力された基本符号列１３２と
符号列遅延器１０２から出力された付加符号列１３３を
合成し、出力符号列１３４として出力する。

【００２８】図２は、従来方式（ａ）と本実施形態によ
る出力符号列（ｂ）（ｃ）の構成を示した図である。符
号列合成器１０３での符号列の合成の方法には様々な方
法があるが、ここでは例として二種類の方式を示してい
る。また、図中のＰＳＣ(Picture Synchronization Cod
e)は、同期信号を表している。

【００２９】図２（ｂ）で提案方式１として例示するも
のは、最初に符号列遅延器１０２を介さずに出力される
基本符号列１３２の直後に、符号列遅延器１０２から出
力されたこれと全く同じ付加符号列１３３を再度出力す
る方式である。この提案方式１では、一つのフレームの
中に同じ符号列の情報が二度含まれているため、片方の
符号列の情報に誤りが生じた場合にも、他方の符号列の
情報を利用することで復号側で正しく復号することがで
きる。

【００３０】ただし、符号列に可変長符号を用いている
場合には、一度誤りが生じると符号の切れ目が分からな
くなり、それ以後全く正しく復号できない同期外れとい
われる状態になってしまうことがある。よって提案方式
１を可変長符号を利用しているシステムに使用すると、
先頭の基本符号列に誤りが生じた場合その後に続く付加
符号列も正しく復号できないことになってしまうので、
本方式は固定長の符号を用いたシステム、または逆方向
にも復号可能な符号列の構成を用いた場合に有効であ
る。

【００３１】また、全く同じ符号列を二度並べることか
ら、一つの同期区間（同期信号から同期信号まで）のビ
ット数を求め、それを二等分することでも各々の符号列
を分離することはできる。ただし、同期信号が失われた
時や疑似同期信号が生じた場合などでは正しい同期区間
の符号量が求められず誤動作することに注意する必要が
ある。

【００３２】次に、図２（ｃ）に示す提案方式２は通常
の可変長符号を用いた場合でも利用できる方式である。
この方式は、入力画像信号の第ｎフレームを符号化した
符号列を基本符号列とし、入力画像信号の第ｎ−１フレ
ームを符号化した符号列を付加符号列として一つのフレ
ームに合成するものである。この方式では前述の提案方
式１と異なり、第ｎ＋１番目の同期区間の中に第ｎフレ
ームを符号化した符号列を付加符号列として再度出力し
ている。これにより第ｎ番目の同期区間で誤りが生じた
情報が失われた場合でも、同じ情報が次の第ｎ＋１番目
の同期区間に存在し、それを用いることによって正しく
復号することができる。

【００３３】この提案方式２では、次の同期区間に二度
目の符号列を合成することから、誤りが生じても次の同
期信号を一緒に破壊しない限り次の同期区間まで誤りが
及ぶことはなく、提案方式１のような可変長符号の同期
外れの問題を特に考慮する必要はない。ただし、誤り時
に正しく復号できるのが次の同期区間の信号を復号して
からになるため、復号器の構成法によっては復号画像信
号の出力するタイミングが本来のものより遅くなる。

【００３４】次に、本実施形態に係る画像復号化装置に
ついて説明する。図３は、図１に示した画像符号化装置
に対応する本実施形態の画像復号化装置の構成を示すブ
ロック図である。図１の画像符号化装置から出力され、
図示しない伝送系または蓄積系を介して入力される入力
符号列４３６は、付加符列分離器４０６により基本符号
列と付加符号列に分離される。通常は切替器４０７で基
本符号列４３２が選択され、復号器４０８に入力され
る。

【００３５】復号器４０８は、基本符号列４３２を復号
すると共に、その復号状態を示す復号状態信号４３９を
誤り検出器４０９へ出力する。誤り検出器４０９では、
復号状態信号４３９から入力符号列４３６に誤りがない
か、そして復号器４０８の復号結果に誤りがないかどう
か等を調べ、誤りの有無を示す誤り検出信号４４０を復
号器４０８に出力する。復号器４０８は、誤り検出信号
４４０から誤りがある場合は基本符号列４３２の復号結
果を復号画像信号４３７として出力し、誤りがある場合
は復号結果を出力しない。

【００３６】また、誤り検出器４０９はさらに切替器制
御信号４３８を切替器４０７に出力し、誤りがある場合
は切替器４０７を切替えて付加符号列４３３を選択さ
せ、これを復号器４０８へ入力させる。この場合、復号
器４０８は付加符号列４３３を復号し、誤り検出器４０
９で誤りが検出されなければその復号結果を基本符号列
４２３の復号結果に代えて復号画像信号４３７として出
力する。

【００３７】なお、基本符号列４３２および付加符号列
４３３の両方が誤った場合には、復号器４０８で一つ前
のフレームをそのまま出力するなどの処理を行えばよ
い。

【００３８】次に、本発明の他の実施形態について説明
する。なお、以降の実施形態において第１の実施形態を
示した図１および図３と同一名称が記載されたブロック
は、第１の実施形態で説明した通りの機能を有するもの
とする。

【００３９】（第２の実施形態）図４は、本発明の第２
の実施形態に係る画像符号化装置のブロック図である。
第１の実施形態との相違点は、入力画像信号１３１を符
号化器２０１により符号化して得られた基本符号列２３
２を符号列簡略化器２０４において符号量を削減するた
めに簡略化した符号列２３５に変換してから、符号列遅
延器２０２に入力する点である。簡略化符号列２３５は
符号列遅延器２０２により一定時間遅延されて付加符号
列２３３となり、符号列合成器２０２において基本符号
列２３２と合成され、出力符号列２３４として出力され
る。

【００４０】符号列簡略化器２０４は、結果的に付加符
号列２３３の符号量を削減するためのものであるから、
その位置は図４のように符号列遅延器２０２の前でなく
ともよく、符号列遅延器２０２の後でもよい。

【００４１】本実施形態によると、付加符号列２３３の
符号量が基本符号列２３２のそれより少ないため、従来
法に対して少ない符号量の増加で第１の実施形態と同程
度の誤り耐性を実現できる。また、符号量の増加が少な
いことから、第１の実施形態よりも誤りが少ない場合、
より高画質な復号画像を得ることができる。

【００４２】一方、誤り時に基本符号列２３２が破壊さ
れ、付加符号列２３３の方で復号を行うと、付加符号列
２３３を簡略化して情報量を削減していることから、復
号結果にある程度の歪みが残る場合がある。しかし、符
号列の簡略化方法を工夫することで、歪みが視覚的にほ
とんど問題にならない程度にすることができる。以下に
その方式について具体例を説明する。

【００４３】まず第１の簡略化方式は、基本符号列２３
２（符号化情報）の中で重要な情報のみを選択する方式
である。基本符号列２３２は、前述したようにモード情
報、動きベクトル、予測残差信号といった性質の異なる
信号から構成されている。符号列簡略化器２０４では、
基本符号列２３２を構成するこれらの信号のうち重要度
の高い信号のみを選択して簡略化符号列２３５として出
力し、符号列遅延器２０２は簡略化符号列２３５を遅延
して付加符号列２３３を出力する。

【００４４】例えば、図５（ａ）に示す通常の符号列の
例を考えてみる。図２９、図３０で説明したように、動
き補償適応予測符号化を用いた画像符号化／復号化装置
の場合、最初のステップとして動き補償による予測信号
の作成があり、次のステップで予測信号に予測残差信号
を加算することになる。この場合、復号化装置では予測
信号まで作成できればある程度の復号画像信号が得られ
ることから、動き補償による予測信号が作成できるレベ
ルの情報のみに限定して簡略化符号列２３５すなわち付
加符号列２３３を構成する。また、ＩＮＴＲＡ（イント
ラ）モードのブロックは予測信号では表現できないた
め、ＩＮＴＲＡモードのブロックの直流成分（ＤＣ）を
付加符号列２３３に加えることで、ＩＮＴＲＡモードに
も対応させるようにする。このように付加符号列２３３
を構成し、基本符号列２３２と合成することで、効率良
く誤り耐性能力を強化することができる。

【００４５】図５（ｂ）（ｃ）に示す提案方式１’、
２’は、それぞれ第１の実施形態で説明した図２（ｂ）
（ｃ）の提案方式１、２に対応する符号列の構成を示し
たものである。図中の各ブロックの右下に表記してある
ｎ−１、ｎ、及びｎ＋１はその情報が何番目のフレーム
に相当する情報であるかを示している。

【００４６】次に、第２の簡略化方式について説明をす
る。上述した第１の簡略化方式は、低ビットレートでの
符号化時には効果的であるが、高いビットレートの場
合、予測信号だけ再生しても元の画像とかなりの相違が
ある場合が多い。そこで、ある程度の予測残差信号も付
加符号列２３３の中に組み込む必要がある。その場合、
予測残差信号のレベルの大きなブロックのみを選択した
り、離散コサイン変換により得られたＤＣＴ係数の低域
に近い成分、すなわちＤＣＴ係数を表す図６の斜線で示
した係数に相当する成分を選択して出力することで符号
量の増加を抑えることができる。

【００４７】上述した第２の簡略化方式では、単純に信
号を選択するだけでは符号量が目的としている量まで減
少しない場合もある。その場合の対処法として、以下に
第３の簡略化方式を示す。第３の簡略化方式では、上記
のように信号を選択した後そのまま簡略化符号列２３５
として出力するのではなく、精度を落してから簡略化符
号列２３５として出力する。例えば、半画素単位の動き
ベクトルを整数画素単位の動きベクトルに再量子化し、
これを簡略化符号列２３５として出力する。

【００４８】また、予測残差信号も簡略化符号列２３５
として出力する方は、通常の量子化幅よりも大きな量子
化幅で再量子化して出力することで、符号量を第１およ
び第２の簡略化方式に比べて少なくすることができる。
再量子化は、ＤＣＴした係数のレベルや、動き補償まで
戻って新しく大きな量子化幅で量子化する方が精度が良
いが、処理に時間がかかるため、量子化された値を半分
にするなどしてさらに量子化するといった方式をとるこ
ともできる。

【００４９】次に、本実施形態に係る画像復号化装置に
ついて説明する。図７は、図４に示した画像符号化装置
に対応する本実施形態の画像復号化装置の構成を示すブ
ロック図である。各部の基本的動作は、図３に示した第
１の実施形態の画像復号化装置と同様であるため、相違
点のみを以下に述べる。

【００５０】本実施形態が第１の実施形態と相違する点
は、誤り時に復号器５０８からの復号状態信号４３９に
基づく誤り検出器５０９からの切替器制御信号５３８で
第１の切替器５０７を付加符号列５３３側に切替えた
後、付加符号列５３３を復号器５０８に直接入力するの
ではなく、一旦付加符号列補間器５１０に入力する点で
ある。この付加符号列補間器５１０では、前述した第１
〜第３の簡略化方式により簡略化された符号列５３３を
復号器５０８で復号できるように、欠けている情報を付
け加えたり、再量子化等で変形した情報を元に戻す等の
処理を行う。

【００５１】もし、画像符号化装置の方でそのまま復号
器５０８に入力しても構わない符号列構成としている場
合は、この付加符号列補間器５１０を設ける必要なく、
図３に示した第１の実施形態と同様の画像復号化装置で
復号できる。例えば、予測残差信号を省く場合、モード
情報を書き換えて予測残差のないモードに予め設定して
おき、付加符号列を構成すればよい。

【００５２】また、付加符号列５３３が簡略化されてい
る場合、画像復号化装置において付加符号列のみで基本
符号列を置き換えて復号してしまうと、簡略化されてい
る分だけ復号画像の品質が誤り無しの時の復号画像の品
質に比べ劣化する。そこで、第１の実施形態の画像復号
化装置と同様に、基本符号列を第２の切替器５１１を介
して復号器５０８に入力して復号した際、正しく復号さ
れた信号はそのまま復号画像信号５３７として出力し、
誤りによって失われた情報のみ付加符号列を復号器５０
８で復号した信号を復号画像信号５３７として出力する
処理を行う。このようにすれば、付加符号列を簡略化す
ることで失われた情報の影響を少なく抑えることができ
る。

【００５３】（第３の実施形態）図８は、本発明の第３
の実施形態に係る画像符号化装置のブロック図である。
本実施形態は、同期信号付加器３０５を新たに加えたこ
とが特徴である。ここでは図１に示した第１の実施形態
を基本にして同期信号付加器３０５を加えた構成を示し
ているが、図４に示した符号列簡略化器を有する第２の
実施形態を基本にした構成も実現できる。

【００５４】第１および第２の実施形態との相違点は、
符号列遅延器３０２を介して付加符号列３３３を出力す
る際、同期信号付加器３０５において付加符号列３３３
に同期信号を付加する点である。この方式の利点は、同
期信号の付加により付加符号列３３３のみで一つの同期
区間を構成しているため、基本符号列３３２から付加符
号列３３３が独立し、他の同期区間で生じた誤りが付加
符号列３３３に及ばないことである。また、付加符号列
３３３で生じた誤りは、この中で閉じたものとなるの
で、他の同期区間に影響を及ぼさない。よって、第１お
よび第２の実施形態に比較して誤りの影響が少なく、誤
り耐性能力がさらに強化される。

【００５５】また、画像復号化装置で付加符号列を分離
する際、同期区間単位で処理することができ、分離が容
易になる。ただし、読み込んだ一同期区間の情報が基本
符号列に相当するものか、または付加符号列に相当する
ものかを判別する情報が必要になる。その判別方法とし
て、ここでは以下に二通りの方法を挙げる。

【００５６】まず、第１の判別方法は同期信号で基本符
号列と付加符号列を判別する方法である。すなわち、同
期信号として基本符号列と付加符号列とで異なったもの
を用意し、使い分けることで判別する。第２の判別方法
は、基本符号列と付加符号列に同期信号には同じものを
用い、その後のヘッダ情報で基本符号列と付加符号列を
判別する方法である。

【００５７】これら第１および第２の判別方法を比較す
ると、符号化の効率という点では第１の判別方法のよう
に同期信号を二つ用意する方が良い場合が多いが、同期
信号は他の符号と全く一致しないものを選ぶ必要があ
る。このように新しくもう一つの同期信号を作成するよ
り、同期信号を一つにしておき、その後ろのヘッダ情報
で区別する第２の判別方法の方が容易に実現できる。

【００５８】しかし、ヘッダ情報までを含んで同期信号
と解釈するならば、長い同期信号で区別していることと
なり、これら第１および第２の判別方法は本質的には同
じこととなる。よって、本実施形態における符号列の構
成を示す図９では、同期信号が２つある場合のみを示し
てある。図９において、図中の各ブロックの右下に表記
してあるｎ、及びｎ＋１は、図８と同様その情報が何番
目のフレームに相当する情報かを示している。

【００５９】次に、本実施形態に係る画像復号化装置に
ついて説明する。図１０は、図８に示した画像符号化装
置に対応する本実施形態の画像復号化装置の構成を示す
ブロック図である。図１および図４に示した第１および
第２の実施形態における画像復号化装置との相違点は、
入力符号列６３６から基本符号列と付加符号列を分離し
て出力するための付加符号列分離器６０６に同期信号判
定器６１２を有し、この同期信号判定器６１２によって
入力符号列６３６が基本符号列か付加符号列かの判別を
行い、これに基づいて基本符号列６３２と付加符号列６
３３を分離して出力する切替器６１３を制御する点であ
る。

【００６０】その他の構成、すなわち基本符号列６３２
と付加符号列６３３を復号器６０８に切り替えて入力す
る切替器６０７と復号器６０８および誤り検出器６０９
は、第１および第２の実施形態における画像復号化装置
と同様である。

【００６１】また、本実施形態でも第２の実施形態の画
像復号化装置で示した基本符号列の正しく復号できた部
分を用い、誤りにより復号できなかった部分のみを付加
符号列の復号によって得られた情報で置き換える処理を
行うことにより、復号画像の品質を上げることができ
る。

【００６２】さらに、本実施形態において基本符号列中
の予測残差信号の前に同期信号を挿入することで、さら
に強力な誤り耐性を実現できる。

【００６３】図１１は、この方式による符号列の構成を
示した図である。符号量の無駄を省くため、第１同期信
号による同期区間は動き適応予測による予測画像が作成
できる最低限の情報のみで構成し、続く第２の同期信号
による同期区間に残差信号に関係するモード情報、残差
信号等を組み込む。そして、前述したように第３の同期
信号による同期区間に付加符号列に相当するものを組み
込む。

【００６４】復号時は、第１の同期区間に誤りが生じた
場合には第３の同期区間の付加符号列で予測画像を作成
し、第２の同期区間の残差信号を加えることで復号画像
信号を作成する。このとき、付加符号列の予測信号作成
に関する情報が第１の同期区間のものと同じ場合は、完
全に正しく復号することができる。第２の同期区間に誤
りが生じた場合は、第１の同期区間の情報で予測画像を
作成し、第２の同期区間の情報で正しく復号されたもの
と第３の同期区間の付加符号列に含まれた残信号に関す
る情報を合わせて復号画像信号を作成する。第３の同期
区間に誤りが生じた場合は、第１、第２同期区間の情報
をそのまま復号すれば良いので、完全に正しく復号でき
る（図１２〜図１４参照） このように、基本符号列中に誤りが生じた場合、単純に
付加符号列に切り替えるのでなく、基本符号列中で正し
く復号できた個所を利用し、それに付加符号列の内容を
加えて復号することで、復号できた情報を最大限に活用
することができる。

【００６５】（第４の実施形態）次に、本発明の第４の
実施形態として、第２の実施形態で説明した符号列簡略
化器２０４の具体例について説明する。図１５は、この
符号列簡略化器の構成を示すブロック図である。図示し
ない符号化器からの入力符号列２０３１は、この実施形
態では例えば図２９に示した動画像符号化装置におい
て、可変長符号化器１２１３，１２１４で可変長符号化
される前の量子化されたＤＣＴ係数や動きベクトル情報
である。この入力符号列２０３１は重要情報選択器２０
０１に入力され、ここで相対的に重要な重要情報２０３
２のみが選択された後、符号列変換器２００２に入力さ
れる。符号列変換器２００２は、入力された重要情報２
０３２を符号表（例えば可変長符号表）を用いて他の符
号列２０３３（例えば可変長符号の符号列）に変換す
る。符号表は、符号化対象値と符号語（例えば可変長符
号語）との対応関係をメモリに記述したものであり、こ
の例では重要情報２０３２が符号化対象値として入力さ
れると、これに対応する符号語が符号列２０３３として
出力される。

【００６６】重要情報選択器２００１は、例えば符号化
器が図２９に示した動き補償予測と予測残差符号化を用
いた動画像符号化装置式の場合、予測残差信号である量
子化されたＤＣＴ係数よりも動きベクトル情報が重要で
あることから、符号化に関する情報を集めたヘッダ部と
動きベクトル情報のみを重要情報として選択する。この
場合、符号化器がフレーム内符号化（イントラ符号化）
モードのときは動きベクトルは存在しないため、重要情
報選択器２００１で全く情報が選択されないことにな
る。そこで、フレーム内符号化モードでは、動きベクト
ル情報の代わりにＤＣＴ係数の直流成分を選択する。こ
れにより、フレーム間符号化モードおよびフレーム内符
号化モードの両モードにおいて重要情報を選択できる。

【００６７】その他、重要情報選択器２００１において
予測残差信号のＤＣＴ係数の低域に近い成分までを重要
情報として選択したり、あるいは全ての動きベクトル情
報を選択するのではなく、一部間引いた動きベクトル情
報を重要情報として選択する方法等をとってもよい。例
えば、８画素×８画素毎に求められていた動きベクトル
を１６画素×１６画素の動きベクトルに変換し、これを
重要情報とする。

【００６８】符号列変換器２００２は、重要情報２０３
２を前述したように可変長符号表などの符号表を用いて
符号列に変換する。ここで、符号列変換器２００２内の
符号表、すなわち付加符号列生成用の符号表は、基本符
号列生成用の符号表と異なっていてもよいし、同一であ
ってもよい。これらはいずれも一長一短があるので、目
的に応じて使い分ければよい。

【００６９】（１）まず、符号列変換器２００２に基本
符号列生成用の符号表と異なる専用の符号表を用いた場
合について説明する。通常、基本符号列を生成する際に
は、重要情報以外の情報まで考慮して最適になるように
作成された符号表を用いるため、符号列変換器２００２
で重要情報のみを符号列に変換する場合に、この基本符
号列生成用の符号表をそのまま利用すると冗長な部分が
ある。そこで、伝送路の符号化レートを重要視する場合
には、基本符号列の符号表とは別に付加符号列に最適な
符号表を符号列変換器２００２に用いて重要情報２０３
２の符号列変換を行う。このようにすることで、効率の
よい符号化が可能である。

【００７０】（２）次に、符号列変換器２００２に基本
符号列生成用の符号表と同一の符号表を用いた場合につ
いて説明する。このように基本符号列生成用の符号表と
付加符号列生成用の符号表を共通にすると、後述するよ
うに付加符号列用の復号のための復号器を特別に用意す
る必要がなくなるため、復号器の回路規模を従来と同じ
にすることができる。これを実現するためには、例えば
予測残差信号のＤＣＴ係数を送らず、動きベクトル情報
のみを重要情報として選択し、符号列変換器２００２を
通して付加符号列として送る際には、基本符号列で予測
残差信号があることを示しているモード情報を予測残差
信号がないことを示すモード情報に変換して、付加符号
列を生成する。これにより、基本符号列と同じ符号表を
用いて付加符号列を生成することが可能である。

【００７１】（第５の実施形態）図１６は、本発明の第
５の実施形態に係る画像復号化装置のブロック図であ
る。入力符号列２１３１は、符号列判定器２１０１にお
いて基本符号列か付加符号列かの判定が行われ、さらに
付加符号列と判定された場合は前に復号した基本符号列
に対応した付加符号列であるかどうかが判定される。こ
れらの判定結果を基に符号列切替器２１０２が切り替え
制御され、入力符号列２１３１が基本符号列の場合は基
本符号列復号器２１０３に入力され、また付加符号列の
場合は付加符号列復号器２１０４に符号列２１３１が入
力される。

【００７２】基本符号列復号器２１０３および付加符号
列復号器２１０４は、出力として復号値２１３５および
２１３６とは別に、復号状態情報２１３３および２１３
４を出力するように構成されている。復号状態情報２１
３３および２１３４は、復号が正しく行われたか否かを
示す情報であり、例えば基本符号列復号器２１０３およ
び付加符号列復号器２１０４で得られる誤り検出情報で
ある。

【００７３】復号値選択器２１０５は、符号列判定器２
１０１の判定結果２１３２と、基本符号列復号器２１０
３の復号状態情報２１３３および付加符号列復号器２１
０４の復号状態情報２１３４とから、基本符号列復号器
２１３３の復号値２１３５および付加符号列復号器２１
３４の復号値２１３６のうち正しいと推定される方の復
号値を選択し、その選択した復号値が出力符号値２１３
８として出力されるように復号値切替器２１０６を制御
する。すなわち、復号値切替器２１０６では、復号値選
択器２１０５からの復号値切替器制御信号２１３７を、
用いて基本符号列および付加符号列の復号値２１３５，
２１３６のいずれかを切り替えて出力する。

【００７４】本実施形態によると、基本符号列復号器２
１０３および付加符号列復号器２１０４からの誤り情報
などの復号状態情報２１３３および２１３４を利用し
て、これらの復号器２１０３および２１０４から出力さ
れる復号値２１３５および２１３６のうち正しい復号値
を出力することが可能である。本実施形態は、第５の実
施形態における（１）の場合、すなわち画像符号化装置
で得られる基本符号列と付加符号列が異なる符号表で符
号化されている場合の画像復号化装置に特に有効であ
る。

【００７５】（第６の実施形態）図１７は、本発明の第
６の実施形態に係る画像復号化装置のブロック図であ
る。入力符号列２２３１は、符号列判定器２２０１にお
いて基本符号列か付加符号列の判定が行われ、さらに付
加符号列と判定された場合は前に復号した基本符号列に
対応した付加符号列であるかどうかが判定される。ま
た、入力符号列２２３１は符号列復号器２２０２により
復号され、さらに基本符号列の場合は復号値蓄積器２２
０４に復号値２２３４が蓄積される。符号列復号器２２
０２は、出力として復号値２２３４とは別に、復号が正
しく行われたか否かを示す誤り情報などの復号状態情報
２２３３を出力する。

【００７６】復号値選択器２２０３は、符号列判定器２
２０１の判定結果２２３２と、符号列復号器２２０２か
らの復号状態情報２２３３とから、基本符号列の復号値
および付加符号列の復号値２２３４のうち正しいと推定
される方の復号値を選択し、その選択した復号値が出力
符号値２２３７として出力されるように復号値切替器２
２０５を制御する。すなわち、復号値切替器２２０５で
は、復号値選択器２２０３からの選択制御信号２２３６
を用いて、復号値蓄積器２２０４からの基本符号列の復
号値２２３５および符号列復号器２２０２から出力され
る付加符号列の復号値２２３４いずれかを切り替えて出
力する。

【００７７】本実施形態によると、同一の符号列復号器
２２０２で基本符号列および付加符号列を復号すること
が可能であるため、復号器を従来方式と同程度の回路規
模で実現することができる。本実施形態は、第４の実施
形態における（２）の場合、すなわち画像符号化装置で
得られる基本符号列と付加符号列が同一の符号表で符号
化されている場合の画像復号化装置に特に有効である。

【００７８】（第７の実施形態）次に、本発明の第７の
実施形態として、第５および第６の実施形態で用いた符
号列判定器２１０１，２２０１の判定アルゴリズムにつ
いて説明する。

【００７９】図１８は、符号列の基本構造の例を表した
ものである。符号列の先頭には同期信号（ＰＳＣ）が配
置され、続いて基本符号列または付加符号列を判定する
ＩＤおよび符号列の時間的位置を示す情報ＴＲが順次配
置され、最後に符号化された情報ＤＡＴＡが配置されて
いる。

【００８０】符号列判定器では、ＩＤにより入力符号列
が基本符号列か付加符号列かの判定を行う。また、ＩＤ
により付加符号列と判定した場合には、さらにその符号
列がＴＲにより前回復号した基本符号列と同じ時間的位
置に当たるものかどうかの判定を行う。これにより、基
本符号列とそれに対応した付加符号列の判定を行うこと
ができる。

【００８１】しかし、この方法では伝送路で誤りが生じ
た場合、基本符号列と付加符号列との対応を間違えるこ
とによる誤動作が生じる場合がある。例えば、図１９の
最上段に示された本来の符号列に対して、図１９（ａ）
に示すように基本符号列１と付加符号列２だけが復号さ
れ、しかも付加符号列の時間的位置情報ＴＲが誤って基
本符号列１のＴＲと一致した場合を考える。この場合に
は、正しくは基本符号列１で１枚の画像を構成して出力
し、その後、付加符号列のみで１枚の画像を構成し出力
するべきところ、基本符号列１と付加符号列２で正しく
復号できた部分を合わせて１枚の画像として出力してし
まう。

【００８２】また、図１９（ｂ）に示すように、基本符
号列２のＴＲが誤り、付加符号列２に対応した基本符号
列と判定されなくなった場合を考える。この場合、本来
は基本符号列２と付加符号列２を合わせて１枚の画像が
構成されるべきところ、２枚の別々の画像が構成される
こととなる。

【００８３】このような不都合を避けるため、例えば図
２０に示すアルゴリズムに従って基本符号列と付加符号
列の関係を判定する。ここでは、基本符号列の時間的位
置情報ＴＲをＴＲ１、付加符号列のＴＲをＴＲ２、一つ
前に復号したＴＲをＰｒｅ＿ＴＲとする。また、固定フ
レームレートで符号化されている場合には、Ｐｒｅ＿Ｔ
Ｒと正しいＴＲ１，ＴＲ２との差分値Ｓｋｉｐ＿Ｔｉｍ
ｅも既知である。

【００８４】そこで、図２０のアルゴリズムでは、まず
ＴＲ１とＴＲ２と一致するかを調べ（ステップＳ１
１）、一致すれば復号した付加符号列は直前に復号され
た基本符号列に対応した符号列であると判定する。一
方、ＴＲ１とＴＲ２が不一致の場合は、次に差分値Ｓｋ
ｉｐ＿Ｔｉｍｅが既知かどうかを調べ（ステップＳ１
２）、既知の場合はＰｒｅ＿ＴＲにＳｋｉｐ＿Ｔｉｍｅ
を加算したものとＴＲ２を比較し（ステップＳ１３）、
同じならば符号列の並びとして、その間に挟まれている
基本符号列のＴＲ１が誤っていると判定する。そして、
ＴＲ１をＴＲ２に修正して（ステップＳ１４）、復号し
た付加符号列は直前に復号された基本符号列に対応した
符号列であると判定する。この様子を図２１に示す。

【００８５】ステップＳ１２においてＳｋｉｐ＿Ｔｉｍ
ｅが既知でない場合、およびステップＳ１３においてＰ
ｒｅ＿ＴＲにＳｋｉｐ＿Ｔｉｍｅを加算したものとＴＲ
２が不一致の場合は、復号した付加符号列は直前に復号
された基本符号列と対応しないと判定する。

【００８６】図２０のアルゴリズムでは、基本符号列の
時間的位置情報ＴＲが誤った場合には対応できるが、そ
れ以外の誤りに関しては対応できない。そこで、それ以
上の誤り耐性を考える必要がある場合には、図２２に示
すアルゴリズムにより基本符号列と付加符号列の関係を
判定する。ここで、Ｓｉｎｇｌｅ＿Ｅｒｒｏｒ＿Ｃｈｅ
ｃｋ（Ａ，Ｂ）は、Ａに１ビット誤りを付加したものと
Ｂが一致するかどうかを判定する関数とする。

【００８７】すなわち、まずＴＲ１とＴＲ２と一致する
かを調べ（ステップＳ２１）、一致すれば符号列１は符
号列２の基本符号列であると判定する。一方、ＴＲ１と
ＴＲ２が不一致の場合は、次にＴＲ１に１ビット誤りを
付加したものとＴＲ２が一致するかどうかを調べ（ステ
ップＳ２２）、一致すれば符号列１は符号列２の基本符
号列であると判定し、不一致であれば次に差分値Ｓｋｉ
ｐ＿Ｔｉｍｅが既知かどうかを調べ（ステップＳ２
３）、既知の場合はさらにＰｒｅ＿ＴＲとＳｋｉｐ＿Ｔ
ｉｍｅの加算値に１ビット誤りを付加したものとＴＲ２
が一致するかどうかを調べ（ステップＳ２４）、一致し
ていれば基本符号列のＴＲ１が誤っていると判定して、
ＴＲ１をＴＲ２に修正し（ステップＳ２５）、符号列１
は符号列２の基本符号列であると判定する。

【００８８】ステップＳ２３においてＳｋｉｐ＿Ｔｉｍ
ｅが既知でない場合、およびステップＳ２４においてＰ
ｒｅ＿ＴＲとＳｋｉｐ＿Ｔｉｍｅの加算値に１ビット誤
りを付加したものとＴＲ２が不一致の場合は、符号列１
は符号列２の基本符号列ではないと判定する。

【００８９】このようなアルゴリズムにより、ＴＲに１
ビット誤りが挿入した場合も正しく判定することが可能
である。この様子を図２３に示す。なお、１ビットより
多い誤りも判定したい場合には、この関数を許容誤り数
に対応したものに変更すればよい。

【００９０】（第８の実施形態）次に、本発明の第８の
実施形態として、第５および第６の実施形態で用いた復
号値選択器２１０５，２２０３の具体例について説明す
る。図２４および図２５は、本実施形態における復号値
選択器の選択方法の例を示した図である。

【００９１】まず、図２４で示す復号値選択方法は、基
本符号列および付加符号列の画像の小領域毎の誤り情報
を図１６の基本符号列復号器２１０３および付加符号列
復号器２１０４、または図１７の符号列復号器２２０２
から受け取る。この誤り情報は、図１６の場合は復号状
態情報２１３３，２１３４に含まれ、図１７の場合は復
号状態情報２２３３に含まれている。

【００９２】そして、これらの誤り情報と図１６の符号
列判定器２１０１または図１７の符号列判定器２２０１
の判定結果から、画像の小領域単位に基本符号列の復号
値を用いるか、付加符号列の復号値を用いるかを決定す
る。図２４では、×を付した領域が誤っていることを表
す。通常、付加符号列は基本符号列の簡略化されたもの
であるので、基本符号列で正しく復号できている領域は
基本符号列の復号値を選択する。基本符号列が誤ってい
る領域であって、付加符号列が正しく復号できている領
域は、付加符号列の復号値を選択する。基本符号列およ
び付加符号列の双方の復号値に誤りが存在する領域は、
前フレームをそのまま使うモードにする（Ｎｏｔ Ｃｏ
ｄｅｄ）。

【００９３】このように小領域単位に基本符号列および
付加符号列の復号値を切り替えて利用することにより、
一方の復号値のみを利用する場合に比較して、より多く
の領域を復号することが可能となる。但し、誤り率が高
い通信状態の場合、誤りが発見されずに復号されている
領域が存在する可能性がある。その場合は、領域単位に
選択せず、完全に復号できたフレーム単位で復号値を利
用することができる。

【００９４】次に、図２５の復号値選択方法について説
明する。上述した図２４の復号値選択方法の場合、基本
符号列の復号時に発見できなかった誤りは、そのまま誤
った復号値として出力されてしまう。これに対して、図
２５に示した復号値選択方法では、復号時の誤り情報に
併せて、復号情報も利用して復号値の選択を行う。復号
情報とは、例えばフレーム内符号化（イントラ）、フレ
ーム間符号化（インター）といった符号化モードを示す
モード情報などである。

【００９５】この復号情報を基本符号列および付加符号
列の小領域単位に整合性を調べ、例えばある小領域でモ
ード情報が変化した場合には、その領域に誤りが生じた
と判定する。こうすることにより、誤りを見逃す確率を
減少することが可能である。また、付加符号列に誤り訂
正符号等を利用し、付加符号列の信頼度を高くすること
で、モード情報が変化した小領域については付加符号列
の情報を選択する方式を用いることが可能である。さら
に、付加符号列に例えばイントラモード数を付加するこ
とで、モードが誤って他のモードになることによる誤り
に対する検出精度を上げることもできる。

【００９６】（第９の実施形態）図２６は、本発明の第
９の実施形態に係る画像符号化装置の要部の構成を示す
ブロック図であり、特に符号化器３１０１と簡略化制御
器３１０２および符号列簡略化器３１０３について示し
ている。符号列簡略化器３１０３は、図４に示した符号
列簡略化器２０４と基本的に同じである。

【００９７】入力画像信号３１３１は、符号化器３１０
１により符号化される。簡略化制御器３１０２は、符号
化器３１０１から符号３１３２とは別に出力される符号
化情報３１３３を用いて、簡略化方式制御信号３１３４
により符号列簡略化器３１０３での簡略化方式を決定す
る。符号列簡略化器３１０３は、この決定された簡略化
方式により符号化器３１０１からの符号列３１３２を簡
略化する。

【００９８】ここで、符号化情報とは、例えば(a) 符号
化器３１０１が発生する符号量と、(b) 符号化器３１０
１で用いる動きベクトルの大きさ、(c) フレーム内符号
化領域の数、(d) 予測残差信号の大小を示す情報であ
り、(b) 〜(d) はいずれもこれらが大きくなるほど誤り
が生じた場合の影響が大きくなるので、誤り耐性に関す
る情報といえる。簡略化制御器３１０２は、この符号化
情報、すなわち符号列の符号量に関する情報および該符
号列の誤り耐性に関する情報に基づいて、符号列簡略化
器３１０３を制御する。

【００９９】具体的には、例えば符号量に余裕がある場
合には、動きベクトルのみでなく、予測残差信号のＤＣ
Ｔ係数までを重要情報として選択したり、予測残差信号
の大きな領域はＤＣＴ係数を重要情報と選択するように
する。また、予測残差信号のＤＣＴ係数を重要情報とし
て選択する場合は、基本符号列中の予測残差信号と同じ
予測残差信号でなく、符号化器３１０１で基本符号列を
符号化する際に用いた量子化幅よりも大きな量子化幅で
粗く予測残差信号を量子化することで、符号量を削減す
る等の方式を用いると効果的である。さらに、誤りが生
じた場合に大きな影響を及ぼすイントラモードの予測残
差信号をインターモードの予測残差信号より、多く選択
するなどの処理も可能となる。また、符号量に余裕のな
い場合、付加符号列を生成し、出力するかどうか自体を
切り替えることも可能である。

【０１００】本実施形態によると、符号化の状況に合わ
せてフレーム単位などの簡略化により発生符号量を調節
したり、大きな誤りを引き起こす原因となる個所だけを
強く保護するようにすることが可能である。

【０１０１】以上、本発明による実施形態を説明した
が、上記実施形態で示した基本符号列と付加符号列の合
成の仕方に限定するものではなく、その他様々な合成の
仕方が適用できる。また、本実施形態では動画像符号化
を対象に説明したが、特に動画像符号化に特化するもの
ではなく、静止画像符号化にも本発明を同様に適用する
ことができる。さらに、画像符号化だけではなく、音声
符号化等の他の符号化に対しても本発明を適用すること
が可能である。

【０１０２】次に、本発明の応用例として、本発明の画
像符号化／復号化装置を適用した動画像伝送システムの
実施形態を図２７を用いて説明する。パーソナルコンピ
ュータ（ＰＣ）１１０１に備え付けられたカメラ１１０
２より入力された動画像信号は、ＰＣ１１０１に組み込
まれた画像符号化装置によって符号化される。この画像
符号化装置から出力される符号化データは、他の音声や
データの情報と多重化された後、無線機１１０３により
無線で送信され、他の無線機１１０４によって受信され
る。無線機１１０４で受信された信号は、動画像信号の
符号化データおよび音声やデータの情報に分解される。
これらのうち、動画像信号の符号化データはワークステ
ーション（ＥＷＳ）１１０５に組み込まれた画像復号化
装置によって復号され、ＥＷＳ１１０５のディスプレイ
に表示される。

【０１０３】一方、ＥＷＳ１１０５に備え付けられたカ
メラ１１０６より入力された動画像信号は、ＥＷＳ１１
０５に組み込まれた画像符号化装置を用いて上記と同様
に符号化される。動画像信号の符号化データは、他の音
声やデータの情報と多重化され、無線機１１０４により
無線で送信され、無線機１１０３によって受信される。
無線機１１０３によって受信された信号は、動画像信号
の符号化データおよび音声やデータの情報に分割され
る。これらのうち、動画像信号の符号化データはＰＣ１
１０１に組み込まれた画像復号化装置によって復号さ
れ、ＰＣ１１０１のディスプレイに表示される。

【０１０４】図２８（ａ）（ｂ）は、図２７におけるＰ
Ｃ１００１およびＥＷＳ１００５に組み込まれた画像符
号化装置および画像復号化装置の構成を概略的に示すブ
ロック図である。

【０１０５】図２８（ａ）に示す画像符号化装置は、カ
メラなどの画像入力部１１０１からの画像信号を入力し
て誤り耐性処理部１１０３を有する情報源符号化部１１
０２と、伝送路符号化部１１０４を有し、情報源符号化
部１１０１においては予測残差信号の離散コサイン変換
（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行わ
れ、伝送路符号化部１１０４においては可変長符号化や
符号化データの誤り検出および誤り訂正符号化などが行
われる。伝送路符号化部１１０４から出力される符号化
データは無線機１１０５に送られ、送信される。

【０１０６】一方、図２８（ｂ）に示す画像復号化装置
は、無線機１２０１によって受信された符号化データを
入力して伝送路符号化部１１０４と逆の処理を行う伝送
路復号化部１２０２と、伝送路復号化部１２０１の出力
信号を入力して情報源符号化部１１０２と逆の処理を行
う誤り耐性処理部１２０４を有する情報源復号化部１２
０３を有し、情報源復号化部１２０３で復号化された画
像はディスプレイなどの画像出力部１０２５によって出
力される。

【０１０７】

【発明の効果】以上説明したように、本発明によれば伝
送／蓄積の際に生じる誤りにより情報が失われた場合で
も早期に回復可能で、復号画像の品質劣化が小さく、し
かも従来の誤り対策である周期リフレッシュや誤り訂正
のような符号量の大きな増加がなく、符号化効率の高い
画像符号化／復号化装置を提供することができる。

【０１０８】すなわち、本発明では入力画像信号の符号
化により生成された符号列を基本符号列として出力した
後、基本的にはこれと同じ内容の付加符号列を所定時間
後に再度出力することによって、基本符号列の情報が伝
送／蓄積過程で発生する誤りによって破壊された場合で
も、付加符号列の情報を用いて正しい復号を行うことが
できる。

【０１０９】また、この際に付加符号列として基本符号
列から重要な情報のみを選択するなどにより簡略化して
符号量を削減させた付加符号列を出力し、復号側で付加
符号列のうちの簡略化した部分を補間して復号を行うよ
うにすれば、誤り無しの場合の復号画像の品質を著しく
低下させることなく、誤り耐性をより向上させる事がで
きる。

【０１１０】さらに、付加符号列に同期信号を付加して
付加符号列のみで一つのフレームを構成し、復号側でこ
の付加符号列に付加された同期信号により基本符号列と
付加符号列との判別を行って入力符号列を基本符号列と
付加符号列とに分離することにより、構成が容易になる
とともに、同期信号の総数が増加することによって同期
回復の機会が増加するため、より誤り耐性が向上する。

【０１１１】また、付加符号列を得るための符号列簡略
化を行うために、基本符号列のうち相対的に重要度の高
い重要情報のみを選択し、その選択された重要情報の符
号列を変換して出力する際、重要情報の符号列変換に重
要情報に対して最適化された基本符号列用の符号表と異
なる符号表を用いれば、符号列の冗長度を削減し、符号
化レートを高くとることができ、基本符号列生成用の符
号表と同じ符号表を用いて重要情報を変換すれば、復号
時には同じ復号器を用いて基本符号列と付加符号列を復
号でき、回路の冗長度を削減することができる。

【０１１２】さらに、符号化時の符号量に関する情報
や、動きベクトルその他の誤り耐性に関する情報に基づ
いて、基本符号列から付加符号列を生成する際の簡略化
方式を制御することにより、符号化に適合した付加符号
列を生成することができる。

【０１１３】一方、画像復号化装置では、入力された符
号列が基本符号列か付加符号列かの判定を行い、これら
の符号列のうち正しく復号された方の復号値を出力とし
て利用することにより、一方の符号列に生じた誤りを回
復することができる。

【０１１４】また、基本符号列か付加符号列の判定や基
本符号列に対応した付加符号列の判定は、入力符号列の
フレームの時間的位置を示す情報により行う。さらに、
誤りを許容して判定を行うことによってで誤判定を減少
させ、正しく復号できる確率を高くすることができる。

【０１１５】さらに、画像の小領域単位に基本符号列と
付加符号列の復号値を選択することで、より多くの正し
い復号値を得ることができる。

【図面の簡単な説明】

【図１】第１の実施形態に係る画像符号化装置の構成を
示すブロック図

【図２】第１の実施形態における符号列の構成を示す図

【図３】第１の実施形態に係る画像復号化装置の構成を
示すブロック図

【図４】第２の実施形態に係る画像符号化装置の構成を
示すブロック図

【図５】第２の実施形態における符号列の配列を示す図

【図６】第２の実施形態における予測残差信号の帯域に
関する選択方法の例を示す図

【図７】第２の実施形態に係る画像復号化装置の構成を
示すブロック図

【図８】第３の実施形態に係る画像符号化装置の構成を
示すブロック図

【図９】第３の実施形態における符号列の構成を示す図

【図１０】第３の実施形態に係る画像復号化装置の構成
を示すブロック図

【図１１】第３の実施形態における符号列の他の構成を
示す図

【図１２】第３の実施形態における誤り時の復号方法を
示す図

【図１３】第３の実施形態における誤り時の復号方法を
示す図

【図１４】第３の実施形態における誤り時の復号方法を
示す図

【図１５】第４の実施形態に係る符号列簡略化器の構成
を示すブロック図

【図１６】第５の実施形態に係る画像復号化装置の構成
を示すブロック図

【図１７】第６の実施形態に係る画像復号化装置の構成
を示すブロック図

【図１８】第７の実施形態を説明するための符号列の構
成例を示す図

【図１９】第７の実施形態を説明するための符号列判定
器が誤動作した場合の動作例を示す図

【図２０】第７の実施形態における符号列判定器のアル
ゴリズムを示すフローチャート

【図２１】第７の実施形態における付加符号列に対応し
た基本符号列の判定例を示す図

【図２２】第７の実施形態における符号列判定器の誤り
を考慮したアルゴリズムを示すフローチャート

【図２３】第７の実施形態における誤りを考慮して判定
を行う方式の例を示す図

【図２４】第８の実施形態における復号値選択器の復号
値選択方法を示す図

【図２５】第８の実施形態における復号時に発見できな
かった誤りを考慮した復号値選択方法の例を示す図

【図２６】第９の実施形態に係る画像符号化装置におけ
る簡略化制御部の構成を示すブロック図

【図２７】本発明の応用例に係るシステムの例を示すブ
ロック図

【図２８】図２７のシステムで使用される画像符号化装
置および画像復号装置の概略構成を示すブロック図

【図２９】従来の画像符号化装置の構成を示すブロック
図

【図３０】従来の画像復号化装置の構成を示すブロック
図

【図３１】従来技術における誤りの影響を説明するため
の図

【符号の説明】

１０１，２０１，３０１，３１０１…符号化器 １０２，２０２，３０２…符号列遅延器 １０３，２０３，３０３…符号列合成器 ２０４，３１０３…符号列簡略化器 ３０５…同期信号付加器 １３１，２３１，３３１，３１３１…入力画像信号 １３２，２３２，３３２，３１３２…基本符号列 １３３，２３３，３３３，３１３５…付加符号列 １３４，２３４，３３４…符号化信号（合成符号列） ２３５…簡略化符号列 ４０６，５０６，６０６…付加符号列分離器 ４０７，５０７，５１１，６０７，６１３…切替器 ４０８，５０８，６０８…復号器 ４０９，５０９，６０９…誤り検出器 ５１０…付加符号列補間器 ６１２…同期信号判定器 ４３６，５３６，６３６…入力符号化信号 ４３２，５３２，６３２…基本符号列 ４３３，５３３，６３３…付加符号列 ４３７，５３７，６３７…復号画像信号 ４３８，５３８，６３８，６４１…切替器制御信号 ４３９…復号状態信号 ４４０…誤り検出信号 １１０１…パーソナルコンピュータ（ＰＣ） １１０２，１１０６…カメラ １１０３，１１０４…無線機 １１０５…ワークステーション（ＥＷＳ） １２０１…領域分割器 １２０２，１３０２…動き補償器 １２０２，１３０２…フレームメモリ １２０４…差分器 １２０５…離散コサイン変換器 １２０６…量子化器 １２０９…多重化器 １２１０，１３１０…逆量子化器 １２１１，１３１１…逆離散コサイン変換器 １２１２，１３１２…加算器 １２１３，１２１４…可変長符号化器 １３１９…逆多重化器 １３２０，１３２１…可変長復号化器 １２３１…入力画像信号 １２３３…予測信号 １２３４…予測残差信号 ２００１…重要情報選択器 ２００２…符号列変換器 ２０３１…入力符号列 ２０３２…重要情報 ２０３３…変換後の符号列 ２１０１…符号列判定器 ２１０２…符号列切替器 ２１０３…符号列基本符号列復号器 ２１０４…付加符号列復号器 ２１０５，２２０３…復号値選択器 ２１０６，２２０５…復号値切替器 ２１３１，２２３１…入力符号列 ２１３２，２２３２…判定結果 ２１３３，２１３４，２２３３…復号状態情報 ２１３５，２１３６，２２３４，２２３５…復号値 ２１３７，２２３６…復号値切替器制御信号 ２１３８，２２３７…復号画像信号 ２２０３…符号列復号器 ３１０２…簡略化制御器 ３１３３…符号化情報 ３１３４…簡略化方式制御信号

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊池 義浩 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 渡邊 敏明 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (13)

【特許請求の範囲】
1. 【請求項１】入力画像信号を符号化して基本符号列を出
   力する符号化手段と、 前記基本符号列を所定時間遅延させて付加符号列として
   出力する符号列遅延手段と、 前記基本符号列に前記付加符号列を合成して出力する符
   号列合成手段とを具備したことを特徴とする画像符号化
   装置。
2. 【請求項２】前記付加符号列をその符号量を削減すべく
   簡略化する符号列簡略化手段を有し、前記符号列合成手
   段は該符号列簡略化手段によって簡略化された付加符号
   列を前記基本符号列に合成して出力することを特徴とす
   る請求項１に記載の画像符号化装置。
3. 【請求項３】前記付加符号列に同期信号を付加する同期
   信号付加手段を有し、前記符号列合成手段は該同期信号
   付加手段によって同期信号が付加された付加符号列を前
   記基本符号列に合成して出力することを特徴とする前記
   請求項１または２に記載の画像符号化装置。
4. 【請求項４】入力符号列を基本符号列と該基本符号列を
   遅延させた付加符号列とに分離する符号列分離手段と、 前記基本符号列または前記付加符号列を復号して復号デ
   ータを出力する復号手段と、 前記復号データから前記復号手段で前記基本符号列が復
   号可能か復号不可能かを判定する判定手段と、 前記判定手段により前記復号手段で前記基本符号列が復
   号可能と判定された場合は前記基本符号列を前記復号手
   段に入力し、復号不可能と判定された場合は前記付加符
   号列を前記復号手段に入力する符号列切替手段とを具備
   したことを特徴とする画像復号化装置。
5. 【請求項５】前記付加符号列について符号量を削減すべ
   く簡略化した部分を補間する補間手段を有し、前記符号
   列切替手段は前記判定手段により前記復号手段で前記基
   本符号列が復号不可能と判定された場合は該補間手段に
   よる補間後の付加符号列を前記復号手段に入力すること
   を特徴とする請求項４に記載の画像復号化装置。
6. 【請求項６】前記符号列分離手段は、前記付加符号列に
   付加された同期信号により前記基本符号列と付加符号列
   との判別を行い、この判別結果に基づいて前記入力符号
   列を基本符号列と付加符号列とに分離することを特徴と
   する前記請求項４または５に記載の画像復号化装置。
7. 【請求項７】前記符号化手段は、前記入力画像信号を所
   定の符号表を用いて符号化して前記基本符号列を生成す
   るものであり、 前記符号列簡略化手段は、前記基本符号列のうち相対的
   に重要度の高い重要情報のみを選択する重要情報選択手
   段と、該重要情報選択手段により選択された重要情報の
   符号列を該重要情報に対して最適化された、前記符号化
   手段と異なる符号表を用いて変換する符号列変換手段と
   を有することを特徴とする請求項２に記載の画像符号化
   装置。
8. 【請求項８】前記符号化手段は、前記入力画像信号を所
   定の符号表を用いて符号化して前記基本符号列を生成す
   るものであり、 前記符号列簡略化手段は、前記基本符号列のうち相対的
   に重要度の高い重要情報のみを選択する重要情報選択手
   段と、該重要情報選択手段により選択された重要情報の
   符号列を前記符号化手段と同一の符号表を用いて変換す
   る符号列変換手段とを有することを特徴とする請求項２
   に記載の画像符号化装置。
9. 【請求項９】前記符号化手段から出力される符号化列の
   符号量に関する情報および該符号列の誤り耐性に関する
   情報に基づいて前記符号列簡略化手段の簡略化方式を制
   御する手段を有することを特徴とする請求項２、７およ
   び８のいずれか１項に記載の画像符号化装置。
10. 【請求項１０】入力符号列に対して基本符号列か該基本
    符号列を遅延させた付加符号列かの判定を行う符号列判
    定手段と、 前記基本符号列を復号する基本符号列復号手段と、 前記付加符号列を復号する付加符号列復号手段と、 前記符号列判定手段により前記入力符号列が基本符号列
    と判定された場合は該入力符号列を前記基本符号列復号
    手段に入力し、前記入力符号列が付加符号列と判定され
    た場合は該入力符号列を前記付加符号列復号手段に入力
    する符号列切替手段と、 前記符号列判定手段の判定結果と前記基本符号列復号手
    段の復号状態および前記付加符号列復号手段の復号状態
    に基づき、前記基本符号列復号手段の復号値および前記
    付加符号列復号手段の復号値のいずれかを選択して出力
    する手段とを具備したことを特徴とする画像復号化装
    置。
11. 【請求項１１】入力符号列に対して基本符号列か該基本
    符号列を遅延させた付加符号列かの判定を行う符号列判
    定手段と、 前記入力符号列を復号する符号列復号手段と、 前記符号列復号手段により復号された復号値を蓄える復
    号値蓄積手段と、 前記符号列判定手段の判定結果と前記符号列復号手段の
    復号状態に基づき、前記符号列復号手段の復号値および
    前記復号値蓄積手段に蓄えられた復号値のいずれかを選
    択して出力する手段とを具備したことを特徴とする画像
    復号化装置。
12. 【請求項１２】前記符号列判定手段は、前記入力符号列
    のフレームの時間的位置を示す情報によって該入力符号
    列が基本符号列か付加符号列かの判定を行うことを特徴
    とする請求項１０または１１に記載の画像復号化装置。
13. 【請求項１３】前記復号値選択手段は、前記基本符号列
    復号手段および前記付加符号列復号手段の復号情報およ
    び誤り情報および前記符号列判定手段により、画像の小
    領域単位に前記基本符号列復号手段の復号値および前記
    付加符号列復号手段の復号値のいずれかを選択すること
    を特徴とする請求項１０または１１に記載の画像復号化
    装置。