JP3661879B2 - 画像信号復号化方法及び画像信号復号化装置 - Google Patents
画像信号復号化方法及び画像信号復号化装置 Download PDFInfo
- Publication number
- JP3661879B2 JP3661879B2 JP03609395A JP3609395A JP3661879B2 JP 3661879 B2 JP3661879 B2 JP 3661879B2 JP 03609395 A JP03609395 A JP 03609395A JP 3609395 A JP3609395 A JP 3609395A JP 3661879 B2 JP3661879 B2 JP 3661879B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- error
- synchronization code
- decoding operation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図５及び図６）
発明が解決しようとする課題（図７〜図９）
課題を解決するための手段（図１〜図３）
作用（図４）
実施例（図１〜図４）
（１）復号処理回路の構成（図１〜図３）
（１−１）全体構成（図１）
（１−２）デコード制御回路（図２及び図３）
（１−２ー１）回路構成（図２）
（１−２−２）処理動作（図３）
（２）復号動作例（図４）
（３）他の実施例
発明の効果
【０００２】
本発明は画像信号復号化方法及び画像信号復号化装置に関し、例えば動画像信号を光磁気デイスクや磁気テープ等の記録媒体に記録再生する記録再生装置や、動画像信号を伝送路を介して送受するテレビ会議システムの受信装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、テレビ会議システムやテレビ電話システム、また放送システム等のように動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため映像信号のライン相関やフレーム間相関を利用して画像信号を圧縮符号化する方法が用いられている。例えばライン相関を利用すれば、画像信号を直交変換（例えばＤＣＴ（離散コサイン変換））符号化処理することによつて圧縮することができる。またフレーム間相関を利用すれば、画像信号をさらに圧縮することができる。
【０００４】
通常、時間的に隣接するフレームの画像はそれ程大きな変化を有していない。すなわち両者の差を演算すると、その差信号は小さな値となる。そこでこの差信号を符号化し、符号量を圧縮する。しかしながら差信号のみを伝送したのでは、元の画像を復元することができない。そこで各フレームの画像をＩピクチヤ、Ｐピクチヤ又はＢピクチヤの３種類のいずれかのフレームフオーマツトに変換することにより画像信号を圧縮符号化する方法が採られている。
【０００５】
この符号化方法を図５に示す。この圧縮符号化方法では一連のフレーム群が１７フレーム（フレームＦ１〜Ｆ１７）単位で処理される。この処理単位はグループオブピクチヤと呼ばれる。このグループオブピクチヤは先頭フレームＦ１から順にＩピクチヤ、Ｂピクチヤ、Ｐピクチヤにそれぞれ符号化され、以下、第４番目以降のフレームＦ４〜Ｆ１７はＢピクチヤ又はＰピクチヤに交互に符号化されるようになされている。
【０００６】
ここでＩピクチヤは１フレーム分の画像信号をそのまま符号化することにより得られるピクチヤである。またＰピクチヤは、図５（Ａ）に示すように、基本的にはそれより時間的に先行するＩピクチヤに対する画像信号の差又は時間的に先行するＰピクチヤに対する画像信号の差を符号化することにより得られるピクチヤである。またＢピクチヤは、図５（Ｂ）に示すように、基本的には時間的に先行するフレームと後行するフレームとの平均値に対する画像信号の差を符号化することにより得られるピクチヤである。この符号化方法は両方向予測符号化と呼ばれている。
【０００７】
因にＢピクチヤには両方向予測符号化の他に次の３種類の符号化方法が実際には用いられている。その第１の処理方法は元のフレームＦ２のデータをそのまま伝送データとして伝送するものである。これはイントラ符号化と呼ばれ、Ｉピクチヤと同様の処理である。第２の処理方法は、時間的に後のフレームＦ３からの差分を演算し、その差分を伝送するものである。これは後方予測符号化と呼ばれている。
【０００８】
また第３の処理方法は、時間的に先行するフレームＦ１との差分を伝送するものである。これは前方予測符号化と呼ばれる。
そして符号化時にはこれら４つの符号化方法のうち伝送データが最も少なくなる方法で符号化されたデータをＢピクチヤとして採用している。
【０００９】
さて実際の符号化装置では、これらフレームフオーマツト（Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤ）の画像信号をさらにブロツクフオーマツトの信号に変換し、ビツトストリームとして伝送している。
このブロツクフオーマツトを図６に示す。この図６に示すように、フレームフオーマツトの画像信号は１ライン当りＨドツトでなるラインがＶライン集められてなる。
【００１０】
１フレームの画像信号は１６ラインを単位として長さの決まつていないＮ個のスライスに区分される。各スライスはＭ個のマクロブロツクでなる。各マクロブロツクは１６×１６個の画素（ドツト）に対応する輝度信号により構成され、この輝度信号は８×８ドツトを単位とするブロツクＹ［１］〜Ｙ［４］に区分される。そしてこの１６×１６ドツトの輝度信号には８×８ドツトの色信号ＣｂとＣｒとが対応されている。
復号化装置はこのようにブロツクフオーマツトに変換されたビツトストリームを記録媒体や伝送路を介して受信し、復号することにより画像信号を得るようになされている。
【００１１】
【発明が解決しようとする課題】
ところで復号化装置は受信されたビツトストリームになんらかの誤りが存在する場合、エラースタートコードＤESをビツトストリーム中に挿入し、これを後段の可変長復号化回路に与えるようになされている。
【００１２】
可変長復号化回路は通常順次入力されるビツトストリームを解析して復号化し、復号されたビツトストリームを後段の回路に与えると共に、各種制御パラメータを後段の各部に与えるように動作しているが、このようなエラースタートコードＤESが検出された場合には復号動作を一時中断するようになされている。
【００１３】
可変長復号化回路は中断と同時にビツトストリーム中から次の同期コードを検索する動作に移り、同期コードが見つかる位置まで順次入力されるビツトストリームの復号動作を読み飛ばすようになされている。そして可変長復号化回路は同期コードを発見した段階で復号動作を再開するようになされている。
【００１４】
この様子を図７を用いて説明する。図７に示すように画像データのビツトストリームはヘツダ部分とデータ部分とによつて構成されている。ここでフレームヘツダはフレームのヘツダを示し、スライスヘツダはこのフレームを構成する各スライスのヘツダを示している。またマクロブロツク（ＭＢ）ヘツダはこれら各スライスを構成する各マクロブロツクのヘツダを示し、これに続くブロツクデータは各ブロツクの実際のデータを示している。
【００１５】
さて同期コードはスライスヘツダ及びフレームヘツダに挿入されており、マクロブロツクヘツダには含まれていない。従つて可変長復号化回路が復号動作を再開する単位は通常スライス又はフレームになる。
このときスライスヘツダには画面上の縦方向のアドレスが入つており、またスライスの初めのマクロブロツクヘツダには画面上の横方向のアドレスが入つている。このため復号動作を再開すれば再生画像の画面上の位置を正しく判断することができる。
【００１６】
しかし復号動作中に誤りが発見された場合、ビツトストリームのどの辺りから復号動作に誤りがあつたかの判別は難しい。このためそれまでの復号動作が正しかつたのか否かの判別がつかない。これはビツトストリームが可変長符号化されたデータであるためにあるビツトに誤りが生じた場合でも可変長符号にそのパターンが当てはまつて整合性が採れ、すぐに誤りとして検出できないためである。
【００１７】
例えば「0011011101」というビツトストリームがあり、これを可変長復号化処理の際に「001 」、「101 」、「1101」というように本来可変長復号すべきものとする。ところがビツトストリームに生じた誤りのために「0111011101」というビツトストリームになつてしまつた場合、「01」、「11」、「01」、「11」……というように可変長復号してしまうことがあり得る。
【００１８】
しかしながらこのように誤つて可変長復号されたとしても、その誤りを発見したときに、どの位置から可変長復号処理が誤つていたのかを判別することはできない。すなわちエラーが発生してもすぐに発見できるとは限らない。
このため誤り位置とその発見位置との態様によつては１フレームのデータ処理に割り当てられている時間内にその復号動作を完了させることができない場合もあつた。これを図８を用いて説明する。
【００１９】
まず図８（Ａ）に示すように例えば誤りを発生と同時にエラーとして発見し得た場合や、図８（Ｂ）に示すように誤りが発生してからしばらくの間にエラーとして発見し得た場合については次の同期コードから復号動作を再開すれば処理時間の破綻なく画像を再生できる。因に図８（Ｂ）の例において「誤りが発生してからしばらくの間にエラーとして発見された」場合とはこのエラー発見までに可変長復号によつて得られた画像データがエラーの存在するスライス内に属することを意味する。従つてこの時点までの復号に要する時間は本来そのスライスの復号に要する時間内である。
【００２０】
ところが図８（Ｃ）や（Ｄ）のようにエラーが発生してから発見までに復号された画像データの画素数が本来のスライスに属する画素数を越えてしまつている場合、すなわち本来は次の同期コードによつて区切られた位置以降で復号されるべき場所まで進んでしまつている場合、エラーの発見から次に検出された同期コードの位置から復号動作を再開すると同じ位置の画素データをあたかも２重に復号されるかのようになり、復号に要する時間がその分不足することになる問題があつた。
【００２１】
この一例を図９に示す。図では「４０」番〜「５０」番のマクロブロツクで構成されるスライス部分が可変長復号動作の誤りのために「５０」番以降のマクロブロツクがあたかも存在するかのように復号されている。この例の場合、可変長復号回路は「５３」番のマクロブロツクが得られた時点でエラーを発見し、次のスライスヘツダに設けられている同期コードを検出して復号動作を再開する。
【００２２】
このとき次のスライスヘツダにはマクロブロツクアドレスとして「５１」番以降のマクロブロツクの格納が記録されており、復号動作の再開と共に「５１」番、「５２」番……のマクロブロツクが順に復号される。すなわち「５１」番、「５２」番、「５３」番のマクロブロツクの処理に要する時間が二重となるのである。
ところが１フレームの画像を復号するのに要する時間は本来決まつており、このように画面上の同じ部分の画像を２重に復号することによつて１フレームの復号時間内に復号動作が完結しないことがあつた。
【００２３】
本発明は以上の点を考慮してなされたもので、ビツトストリーム中から誤りが発見されたために一時中断されていた復号動作をそれ以降に存在する同期コードの位置から復帰する場合にも誤りを含むフレームの復号処理を必ず所定の復号時間内に終了させることができる画像信号復号方法及び画像信号復号装置を提案しようとするものである。
【００２４】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、所定ブロツクごとに符号化された画像信号のビツト列を順次復号化し出力する画像信号復号化方法及び画像信号復号化装置において、画像信号の所定部分の少なくとも一部を復号化する時に、当該一部に誤りが存在するか否かを検出し、その結果、一部に誤りの存在を検出した時に復号動作を中断すると共に、当該検出した誤りの位置後のビツト列に存在する同期コード部分から読み出される第１の画像位置と、誤りが検出される直前に復号化していた第２の画像位置とを比較し、時間軸上で第２の画像位置よりも後方位置に存在する第１の画像位置における同期コードを復号動作の再開位置として選択し、その選択した同期コードから復号動作を再開するようにした。
【００２５】
【作用】
従つて画像信号に対する復号動作の再開位置を、誤り部分を含む一連のビツト列の復号動作が所定時間内に完了するように、検出した誤りの位置に応じて選択することができ、かくして誤りが発生しても一連の復号動作を予め定められている所定時間内に完了させることができる画像信号復号化方法及び画像信号復号化装置を実現できる。
【００２６】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２７】
（１）復号処理回路の構成
（１−１）全体構成
ここではビツトストリームからエラースタートコードＤESが発見された場合や可変長復号動作中にエラーが発見された場合に、可変長復号回路による復号動作の再開位置をエラーの発見位置に応じて設定し、再開以降の処理に要する時間が１フレームの復号処理時間内に納まるように調整する機能を有する復号処理回路の概要を説明する。まずこの機能を有する復号処理回路の全体構成を図１に示す。
【００２８】
復号処理回路１は記録媒体や伝送路を介して画像データのビツトストリームＳ１を受信バツフア２に取り込んで一時記憶する。
可変長復号化回路３は受信バツフア２より読み出したビツトストリームを可変長復号することにより画像データを求め、これを逆量子化回路４に与えると共に、後段での処理に用いる各種のフラグ情報Ｓ２〜Ｓ６を逆量子化回路４及び動き補償回路部５に出力する。ここでフラグ情報Ｓ２〜Ｓ６は、量子化ステツプＳ２、動きベクトルＳ３、予測モードＳ４、フレーム／フイールド予測フラグＳ５（以下、予測フラグＳ５という）及びフレーム／フイールドＤＣＴフラグＳ６（以下、ＤＣＴフラグＳ６という）をいう。
【００２９】
また可変長復号化回路３はデコード制御回路６との間で送受される各種の制御信号Ｓ７〜Ｓ１２に基づいて可変長復号動作を実行するようになされている。ここで制御信号Ｓ７〜Ｓ１２はマクロブロツク復号終了信号Ｓ７、エラー発見信号Ｓ８、同期コード発見／判別信号Ｓ９、マクロブロツクアドレスＳ１０、同期コードサーチ信号Ｓ１１、デコード開始信号Ｓ１２をいう。
可変長復号化回路３はこれら制御信号のうちデコード開始信号Ｓ１２の指示に基づいて復号化動作の中断、再開を切り替えているのであるが、その詳細については次項以降において説明する。
【００３０】
さて可変長復号化回路３から復号された画像データは逆量子化回路４に与えられる。逆量子化回路４は、量子化スケールＳ２に基づいて入力されたデータを逆量子化し、処理結果をＩＤＣＴ回路７に出力する。
ＩＤＣＴ回路７は逆量子化回路４から入力したデータ（ＤＣＴ係数）を逆ＤＣＴ処理し、処理結果を動き補償回路部５に供給する。このときＩＤＣＴ回路７の出力データはフレーム／フイールドＤＣＴブロツク並び替え回路８に入力される。
【００３１】
フレーム／フイールドＤＣＴブロツク並び替え回路８はＤＣＴフラグＳ６の指示に基づいてＩＤＣＴ回路７から入力されたデータを並び替え、画像データＳ１３を演算器９に出力する。
演算器９は上述の処理により得られた画像データＳ１３と動き補償回路１０から入力される予測画像データＳ１４とに基づいて再生画像信号Ｓ１５を演算（例えば加算）し、これを後段の回路へ出力する。
【００３２】
ここで動き補償回路１０はフレームメモリ１１に格納されている画像データに基づいて予測画像データＳ１４を生成している。例えば画像データＳ１３がＩピクチヤである場合、この画像データＳ１３はそのまま再生画像信号Ｓ１５として演算器９から出力される。このときフレームメモリ１１は次に入力される画像データ（Ｐ又はＢピクチヤのデータ）Ｓ１３の予測画像データＳ１４を生成するためこの再生画像信号Ｓ１５を前方予測画像部１１Ｂに記憶する。
【００３３】
動き補償回路１０は入力される画像データＳ１３が１フレーム前の画像データを予測画像データとするＰピクチヤのデータであり、かつそれが前方予測モードのデータである場合、前方予測画像部１１Ｂから１フレーム前の画像データ（Ｉピクチヤのデータ）を読み出し、これを可変長復号化回路３から与えられた動きベクトルＳ３に基づいて動き補償することにより予測画像データＳ１４を生成する。
【００３４】
この予測画像データＳ１４と画像データ（差分データ）Ｓ１３とを演算器９において加算したものが次の再生画像信号Ｓ１５となる。
さてこの再生画像信号Ｓ１５はＰピクチヤの画像データであり、これに続く画像データはＢピクチヤ又はＰピクチヤであるためこの再生画像信号Ｓ１５はフレームメモリ１１の後方予測画像部１１Ａに記憶される。
因にＰピクチヤの画像データであつても画像内予測モードで符号化されたデータの場合にはＩピクチヤの画像データと同様、演算器９からそのまま出力される。従つてこの場合には、再生画像信号Ｓ１５は前方予測画像部１１Ｂに記憶される。
【００３５】
この状態において、次に入力される画像データがＢピクチヤであり、かつその予測モードＳ４が前方予測モードであつた場合には、動き補償回路１０は予測モードＳ４に応じて前方予測画像部１１ＢからＩピクチヤの画像データを読み出し、これを動きベクトルＳ３で動き補償するように動作する。
これに対して、次に入力される画像データがＢピクチヤであり、かつその予測モードＳ４が後方予測モードで符号化されたものであつた場合には、動き補償回路１０は予測モードＳ４に応じて後方予測画像部１１ＡからＰピクチヤの画像データを読み出し、これを動きベクトルＳ３で動き補償するように動作する。
【００３６】
またこれらの他、入力される画像データがＢピクチヤであり、かつその予測モードＳ４が両方向予測モードであつた場合、動き補償回路１０は予測モードＳ４に応じて前方予測画像部１１Ｂおよび後方予測画像部１１ＡからＩピクチヤ及びＰピクチヤの画像データをそれぞれ読み出し、これを動きベクトルＳ３で動き補償するように動作する。このようにして予測画像データＳ１４が生成される。
【００３７】
ただしこのとき演算器９から出力される加算出力はＢピクチヤの画像データであり、他の画像の予測画像生成のために利用されることはない画像データであるのでフレームメモリ１１に記憶されることはない。
これらＢピクチヤの画像が出力された後、動き補償回路１０は後方予測画像部１１Ａに記憶されているＰピクチヤの画像データを読み出し、演算器９に供給するように動作する。ただしこのときＰピクチヤに対する動き補償はない。
【００３８】
最後にこの復号処理回路１には符号装置側の予測モード切り替え回路とＤＣＴモード切り替え回路に対応する回路が図示されていないが、これらの回路に対応する処理、すなわち奇数フイールドと偶数フイールドのラインの信号が分離された構成を元の混在する構成に必要に応じて戻す処理は動き補償回路１０が実行している。
また、以上においては輝度信号の処理について説明したが、色差信号の処理についても同様である。ただしこの場合、動きベクトルは輝度信号用のものを垂直方向及び水平方向に１／２にしたものが用いられる。
【００３９】
（１−２）デコード制御回路
（１−２ー１）回路構成
デコード制御回路６は、図２に示すように、エラー処理部６Ａ、デコードアドレス算出部６Ｂ、アドレス比較器６Ｃの３つ処理ブロツクによつて構成されている。
【００４０】
エラー処理部６Ａは可変長復号化回路３からエラー発見信号Ｓ８が入力された場合に可変長復号化回路３における復号動作を中断するのに用いられる回路であり、エラー発見信号Ｓ８に応じてデコード開始信号Ｓ１２を制御するようになされている。因にこのエラー発見信号Ｓ８は可変長復号化回路３に入力されるビツトストリーム中にエラースタートコードが含まれている場合や可変長復号動作中に誤りが発見された場合に出力される信号である。
【００４１】
またエラー処理部６Ａはデコード開始信号Ｓ１２によつて中断させた可変長復号動作を適切な位置で再開させるため同期コードサーチ信号Ｓ１１を可変長復号化回路３に出力するようになされている。
エラー処理部６Ａはこの同期コードサーチ信号Ｓ１１によつて可変長復号化回路３の動作モードをビツトストリーム中から同期コードをサーチするモードに制御するようになされている。
またエラー処理部６Ａは可変長復号化回路３が同期コードを発見したときに出力する同期コード発見／判別信号Ｓ９を入力し、この信号に基づいて可変長復号化回路３が発見した同期コードの種類を判別する。
【００４２】
例えば発見された同期コードの種類がエラースタートコードＤESの場合、エラー処理部６Ａは同期コードのサーチを続行させるように制御する。
これに対して発見された同期コードの種類がスライスヘツダである場合には、アドレス比較器６Ｃの比較出力に基づいて同期コードのサーチを続行するか否かを決定する。
そしてこれらのいずれででもない場合には、フレームの初めから復号動作を再開させるようになされている。
【００４３】
ここでアドレス比較器６Ｃから出力される比較出力はマクロブロツクアドレスＳ１０とデコードアドレスＳ１６との比較によつて得られる。
因にマクロブロツクアドレスＳ１０は同期コードの後に続くスライスヘツダとマクロブロツクヘツダから得られるものである。またデコードアドレスＳ１６は可変長復号化回路３がマクロブロツクの処理を終了するたびに出力するマクロブロツク復号終了信号Ｓ７のカウント値であり、可変長復号化回路３が実際に復号していた画面上の位置を表す値である。
【００４４】
（１−２−２）処理動作
次にデコード制御回路６で実行される一連の処理状況を図３を用いて説明する。通常、デコード制御回路６は状態ＳＴ１−ＳＴ２に示すように、可変長復号化回路３に復号動作の実行を指示すると共にエラーが発見されたか否かを判別している。ここでエラー処理部６Ａがエラー発見信号Ｓ８からエラーの存在を発見すると、状態はＳＴ３に移り、可変長復号化回路３の復号動作を中断させると共に同期コードをサーチさせるモードに移る。
【００４５】
続いてデコード制御回路６はエラー処理部６Ａに入力される同期コード発見／判別信号Ｓ９に基づいて発見された同期コードがスライスヘツダのものか否か判断する。
このとき肯定結果が得られた場合（すなわちスライスヘツダの場合）には、デコード制御回路６は状態ＳＴ５の処理に移り、デコードアドレス算出部６Ｂでカウントされているデコードアドレスと発見された位置のマクロブロツクアドレスとを比較する。
【００４６】
ここで肯定結果が得られる場合（すなわち発見された同期コード部分のマクロブロツクアドレスが中断時までに得られたマクロブロツクアドレスより小さかつた場合）、発見された同期コードの位置から復号動作を再開すると再開後の復号処理時間に破綻が生じることになるので、デコード制御回路６は状態ＳＴ３に戻つて次の同期コードの検索に移る。
【００４７】
これに対して状態ＳＴ５において否定結果が得られる場合（すなわち発見された同期コード部分のマクロブロツクアドレスが中断時までに得られたマクロブロツクアドレスより大きくなつている場合）、デコード制御回路６は状態ＳＴ６に移り、発見された同期コードに続いて得られたマクロブロツクアドレスからデコードを再開させるようにデコード開始信号Ｓ１２を制御する。この後、デコード制御回路６の状態はＳＴ１に戻る。
【００４８】
さて以上の説明は状態ＳＴ４の段階で判定結果が肯定結果であつた場合、すなわち読み出された同期コードがスライスヘツダの同期コードであつた場合であるが、この段階で否定結果が得られた場合にはデコード制御回路６の処理は状態ＳＴ７に移る。
この状態ＳＴ７において、デコード制御回路６は読み出された同期コードがエラースタートコードに含まれている同期コードであるのか否か判定する。
【００４９】
このとき肯定結果が得られた場合、すなわち同期コードがエラースタートコードに含まれている同期コードであつた場合、復号動作をそのまま継続することはできないため、デコード制御回路６の処理状態は再び状態ＳＴ３に戻る。そして目的とするスライスヘツダの同期コードを発見するための同期コード検出動作に移る。
【００５０】
これに対してこの状態ＳＴ７においても否定結果が得られた場合、すなわちスライスヘツダの同期コードでもなく、またエラースタートコードの同期コードでもない場合（これはスライスより上位階層の同期コードであることを意味し、この例の場合、フレームヘツダである）、デコード制御回路６は状態ＳＴ８の処理に移り、フレームの最初から無条件に可変長復号動作を再開させるようにデコード開始信号Ｓ１２を制御する。
デコード制御回路６はこれら一連の状態遷移に基づいて可変長復号化回路３を制御することにより復号処理回路１における一連の処理時間が所定の時間内に納まるように動作する。
【００５１】
（２）復号動作例
以上の構成において、復号処理回路１の復号動作例を図４を用いて説明する。ここで図４（Ａ）はビツトストリームにデータ誤りが含まれておらず、かつその復号動作に誤りもない正常な復号動作が実行される場合の処理タイミングを表しており、図４（Ｂ）が従来用いられている復号動作例である。この図４（Ｂ）に示すように、従来の場合には途中から本来処理が終了しているべき時間に対して遅れが生じている。例えば「７７」番の復号処理が終了する時点は本来の時点に対してマクロブロツク４個分ほど遅れが生じている。
【００５２】
これに対して復号処理回路１の復号動作が図４（Ｃ）である。この復号処理回路１の場合にも復号誤りによるスライスオーバーを発見するまでの動作は図４（Ｂ）と同じである。
このとき可変長復号化回路３はデコード制御回路６のエラー処理部６Ａにエラー発見信号Ｓ８を送つてスライスオーバー等の誤りを知らせる。そしてエラー処理部６Ａはエラー発見信号Ｓ８に基づいてデコード開始信号Ｓ１２を制御することにより可変長復号化回路３の復号動作を中断させる。
【００５３】
またこれと共にエラー処理回路６Ａは同期コードサーチ信号Ｓ１１を出力して可変長復号化回路３を同期コードのサーチモードに移行させる。
ここではまず同期コードとして次のスライスの先頭に設けられているスライスヘツダの同期ヘツダが読み出され、これに続く最初のマクロブロツクを示すマクロブロツク（ＭＢ）アドレスがアドレス比較器６Ｃに入力されることになる。
因にこのマクロブロツクアドレスは「５１」となる。
【００５４】
アドレス比較器６ＣはこのマクロブロツクアドレスＳ１０とマクロブロツク復号終了信号Ｓ７に基づいて求めたデコードアドレスとを比較することになるが、デコード処理は「５３」まで終了しているので状態ＳＴ５の判定結果は肯定結果となる。すなわちエラー処理回路６Ａはマクロブロツクアドレス「５１」で始まるスライスから復号動作を再開すると、処理時間が二重になることが分かるためこのスライス部分を読み飛ばすように同期コードサーチ信号Ｓ１１及びデコード開始信号Ｓ１２を制御する。
【００５５】
図４（Ｃ）ではその後、マクロブロツクアドレスが「６２」から始まるスライスを同期コードの検索から発見し、このスライスから復号動作を再開している。この結果、このフレームの最後に位置する「７７」番のマクロブロツクについての処理が終了する時点は図４（Ａ）で与えられる終了時点より前になり、復号動作に破綻が生じるおそれを回避できる。
【００５６】
以上の構成によれば、ビツトストリームの可変長復号動作中に誤りが発見された場合、誤りが発見される直前までに処理の完了していたマクロブロツクのアドレス（デコードアドレス）を基に復号処理の再開位置を設定するようにしたことにより、処理再開後におけるビツトストリームの復号動作が規定の１フレーム時間内に納まるようにできる。これによりデータや復号動作に生じた誤りの有無によらずどのフレームについても復号動作に破綻のない復号処理回路を実現することができる。
【００５７】
またこのとき復号処理の再開位置をビツトストリーム中に挿入されている同期コードとすることにより再開位置を短時間で検索することができる。
さらに復号処理の再開位置を設定する際、同期コードの発見によつて求められた復号処理の再開候補位置と誤りが発見される直前までに処理の完了した画像位置とを比較し、候補に選択した画像の位置が復号動作の完了している画像の位置に比して時間軸上後方となるまでビツトストリームの復号動作を読み飛ばすようにしたことにより、復号される画像位置の重複を確実に回避できるようにすることができる。
【００５８】
（３）他の実施例
なお上述の実施例においては、ビツトストリームのデータ構造をマクロブロツク、スライス、フレームの３階層とする場合について述べたが、本発明はこれに限らず、さらに多くの階層構造をとるビツトストリームについても適用し得る。この場合、可変長復号動作の復帰位置はスライスヘツダ及びフレームヘツダの他それらの中間階層を表すヘツダからで良い。
【００５９】
また上述の実施例においては、可変長復号動作中にエラーが発見された場合、復号処理を一時中断すると共に以降の処理時間が所定の処理時間内に納まるように再開位置を決定する場合について述べたが、本発明はこれに限らず、可変長復号動作以外の他の復号動作中にエラーが発見された場合にも広く適用し得る。
【００６０】
さらに上述の実施例においては、逆量子化処理後の処理としてＩＤＣＴ処理が実行されているが、符号化時にＤＣＴ以外の直交変換符号化方法が用いられた場合にはそれに応じた逆変換処理を実行すれば良い。
【００６１】
さらに上述の実施例においては、主に画像信号の復号について述べたが、本発明はこれに限らず、画像信号と同時に伝送される音声信号や制御信号についての復号処理にも適用することができる。
【００６２】
【発明の効果】
上述のように本発明によれば、所定ブロツクごとに符号化された画像信号のビツト列を順次復号化し出力する画像信号復号化方法及び画像信号復号化装置において、画像信号の所定部分の少なくとも一部を復号化する時に、当該一部に誤りが存在するか否かを検出し、その結果、一部に誤りの存在を検出した時に復号動作を中断すると共に、当該検出した誤りの位置後のビツト列に存在する同期コード部分から読み出される第１の画像位置と、誤りが検出される直前に復号化していた第２の画像位置とを比較し、時間軸上で第２の画像位置よりも後方位置に存在する第１の画像位置における同期コードを復号動作の再開位置として選択し、その選択した同期コードから復号動作を再開するようにしたことにより、画像信号に対する復号動作の再開位置を、誤り部分を含む一連のビツト列の復号動作が所定時間内に完了するように、検出した誤りの位置に応じて選択することができ、かくして誤りが発生しても一連のビツト列の復号動作を予め定められている所定時間内に完了させることができる画像信号復号化方法及び画像信号復号化装置を実現することができる。
【図面の簡単な説明】
【図１】本発明による画像信号復号化装置の一実施例を示すブロツク図である。
【図２】デコード制御回路の内部回路を示すブロツク図である。
【図３】デコード制御回路内処理の状態遷移を示すフローチヤートである。
【図４】実施例の場合に得られるデコード処理結果を示すタイミングチヤートである。
【図５】画像データを圧縮する場合に用いられるピクチヤのタイプを説明するのに用いる略線図である。
【図６】画像データのデータ構造の説明に供する略線図である。
【図７】ビツトストリームの構成を示す略線図である。
【図８】エラー発生位置とエラー発見位置との位置関係の態様を示す略線図である。
【図９】従来例の場合に得られるデコード処理結果を示すタイミングチヤートである。
【符号の説明】
１……復号処理回路、２……受信バツフア、３……可変長復号化回路、４……逆量子化回路、５……動き補償回路部、６……デコード制御回路、６Ａ……エラー処理部、６Ｂ……デコードアドレス算出部、６Ｃ……アドレス比較器、７……ＩＤＣＴ回路、９……演算器、１０……動き補償回路、１１……フレームメモリ。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図５及び図６）
発明が解決しようとする課題（図７〜図９）
課題を解決するための手段（図１〜図３）
作用（図４）
実施例（図１〜図４）
（１）復号処理回路の構成（図１〜図３）
（１−１）全体構成（図１）
（１−２）デコード制御回路（図２及び図３）
（１−２ー１）回路構成（図２）
（１−２−２）処理動作（図３）
（２）復号動作例（図４）
（３）他の実施例
発明の効果
【０００２】
本発明は画像信号復号化方法及び画像信号復号化装置に関し、例えば動画像信号を光磁気デイスクや磁気テープ等の記録媒体に記録再生する記録再生装置や、動画像信号を伝送路を介して送受するテレビ会議システムの受信装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、テレビ会議システムやテレビ電話システム、また放送システム等のように動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため映像信号のライン相関やフレーム間相関を利用して画像信号を圧縮符号化する方法が用いられている。例えばライン相関を利用すれば、画像信号を直交変換（例えばＤＣＴ（離散コサイン変換））符号化処理することによつて圧縮することができる。またフレーム間相関を利用すれば、画像信号をさらに圧縮することができる。
【０００４】
通常、時間的に隣接するフレームの画像はそれ程大きな変化を有していない。すなわち両者の差を演算すると、その差信号は小さな値となる。そこでこの差信号を符号化し、符号量を圧縮する。しかしながら差信号のみを伝送したのでは、元の画像を復元することができない。そこで各フレームの画像をＩピクチヤ、Ｐピクチヤ又はＢピクチヤの３種類のいずれかのフレームフオーマツトに変換することにより画像信号を圧縮符号化する方法が採られている。
【０００５】
この符号化方法を図５に示す。この圧縮符号化方法では一連のフレーム群が１７フレーム（フレームＦ１〜Ｆ１７）単位で処理される。この処理単位はグループオブピクチヤと呼ばれる。このグループオブピクチヤは先頭フレームＦ１から順にＩピクチヤ、Ｂピクチヤ、Ｐピクチヤにそれぞれ符号化され、以下、第４番目以降のフレームＦ４〜Ｆ１７はＢピクチヤ又はＰピクチヤに交互に符号化されるようになされている。
【０００６】
ここでＩピクチヤは１フレーム分の画像信号をそのまま符号化することにより得られるピクチヤである。またＰピクチヤは、図５（Ａ）に示すように、基本的にはそれより時間的に先行するＩピクチヤに対する画像信号の差又は時間的に先行するＰピクチヤに対する画像信号の差を符号化することにより得られるピクチヤである。またＢピクチヤは、図５（Ｂ）に示すように、基本的には時間的に先行するフレームと後行するフレームとの平均値に対する画像信号の差を符号化することにより得られるピクチヤである。この符号化方法は両方向予測符号化と呼ばれている。
【０００７】
因にＢピクチヤには両方向予測符号化の他に次の３種類の符号化方法が実際には用いられている。その第１の処理方法は元のフレームＦ２のデータをそのまま伝送データとして伝送するものである。これはイントラ符号化と呼ばれ、Ｉピクチヤと同様の処理である。第２の処理方法は、時間的に後のフレームＦ３からの差分を演算し、その差分を伝送するものである。これは後方予測符号化と呼ばれている。
【０００８】
また第３の処理方法は、時間的に先行するフレームＦ１との差分を伝送するものである。これは前方予測符号化と呼ばれる。
そして符号化時にはこれら４つの符号化方法のうち伝送データが最も少なくなる方法で符号化されたデータをＢピクチヤとして採用している。
【０００９】
さて実際の符号化装置では、これらフレームフオーマツト（Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤ）の画像信号をさらにブロツクフオーマツトの信号に変換し、ビツトストリームとして伝送している。
このブロツクフオーマツトを図６に示す。この図６に示すように、フレームフオーマツトの画像信号は１ライン当りＨドツトでなるラインがＶライン集められてなる。
【００１０】
１フレームの画像信号は１６ラインを単位として長さの決まつていないＮ個のスライスに区分される。各スライスはＭ個のマクロブロツクでなる。各マクロブロツクは１６×１６個の画素（ドツト）に対応する輝度信号により構成され、この輝度信号は８×８ドツトを単位とするブロツクＹ［１］〜Ｙ［４］に区分される。そしてこの１６×１６ドツトの輝度信号には８×８ドツトの色信号ＣｂとＣｒとが対応されている。
復号化装置はこのようにブロツクフオーマツトに変換されたビツトストリームを記録媒体や伝送路を介して受信し、復号することにより画像信号を得るようになされている。
【００１１】
【発明が解決しようとする課題】
ところで復号化装置は受信されたビツトストリームになんらかの誤りが存在する場合、エラースタートコードＤESをビツトストリーム中に挿入し、これを後段の可変長復号化回路に与えるようになされている。
【００１２】
可変長復号化回路は通常順次入力されるビツトストリームを解析して復号化し、復号されたビツトストリームを後段の回路に与えると共に、各種制御パラメータを後段の各部に与えるように動作しているが、このようなエラースタートコードＤESが検出された場合には復号動作を一時中断するようになされている。
【００１３】
可変長復号化回路は中断と同時にビツトストリーム中から次の同期コードを検索する動作に移り、同期コードが見つかる位置まで順次入力されるビツトストリームの復号動作を読み飛ばすようになされている。そして可変長復号化回路は同期コードを発見した段階で復号動作を再開するようになされている。
【００１４】
この様子を図７を用いて説明する。図７に示すように画像データのビツトストリームはヘツダ部分とデータ部分とによつて構成されている。ここでフレームヘツダはフレームのヘツダを示し、スライスヘツダはこのフレームを構成する各スライスのヘツダを示している。またマクロブロツク（ＭＢ）ヘツダはこれら各スライスを構成する各マクロブロツクのヘツダを示し、これに続くブロツクデータは各ブロツクの実際のデータを示している。
【００１５】
さて同期コードはスライスヘツダ及びフレームヘツダに挿入されており、マクロブロツクヘツダには含まれていない。従つて可変長復号化回路が復号動作を再開する単位は通常スライス又はフレームになる。
このときスライスヘツダには画面上の縦方向のアドレスが入つており、またスライスの初めのマクロブロツクヘツダには画面上の横方向のアドレスが入つている。このため復号動作を再開すれば再生画像の画面上の位置を正しく判断することができる。
【００１６】
しかし復号動作中に誤りが発見された場合、ビツトストリームのどの辺りから復号動作に誤りがあつたかの判別は難しい。このためそれまでの復号動作が正しかつたのか否かの判別がつかない。これはビツトストリームが可変長符号化されたデータであるためにあるビツトに誤りが生じた場合でも可変長符号にそのパターンが当てはまつて整合性が採れ、すぐに誤りとして検出できないためである。
【００１７】
例えば「0011011101」というビツトストリームがあり、これを可変長復号化処理の際に「001 」、「101 」、「1101」というように本来可変長復号すべきものとする。ところがビツトストリームに生じた誤りのために「0111011101」というビツトストリームになつてしまつた場合、「01」、「11」、「01」、「11」……というように可変長復号してしまうことがあり得る。
【００１８】
しかしながらこのように誤つて可変長復号されたとしても、その誤りを発見したときに、どの位置から可変長復号処理が誤つていたのかを判別することはできない。すなわちエラーが発生してもすぐに発見できるとは限らない。
このため誤り位置とその発見位置との態様によつては１フレームのデータ処理に割り当てられている時間内にその復号動作を完了させることができない場合もあつた。これを図８を用いて説明する。
【００１９】
まず図８（Ａ）に示すように例えば誤りを発生と同時にエラーとして発見し得た場合や、図８（Ｂ）に示すように誤りが発生してからしばらくの間にエラーとして発見し得た場合については次の同期コードから復号動作を再開すれば処理時間の破綻なく画像を再生できる。因に図８（Ｂ）の例において「誤りが発生してからしばらくの間にエラーとして発見された」場合とはこのエラー発見までに可変長復号によつて得られた画像データがエラーの存在するスライス内に属することを意味する。従つてこの時点までの復号に要する時間は本来そのスライスの復号に要する時間内である。
【００２０】
ところが図８（Ｃ）や（Ｄ）のようにエラーが発生してから発見までに復号された画像データの画素数が本来のスライスに属する画素数を越えてしまつている場合、すなわち本来は次の同期コードによつて区切られた位置以降で復号されるべき場所まで進んでしまつている場合、エラーの発見から次に検出された同期コードの位置から復号動作を再開すると同じ位置の画素データをあたかも２重に復号されるかのようになり、復号に要する時間がその分不足することになる問題があつた。
【００２１】
この一例を図９に示す。図では「４０」番〜「５０」番のマクロブロツクで構成されるスライス部分が可変長復号動作の誤りのために「５０」番以降のマクロブロツクがあたかも存在するかのように復号されている。この例の場合、可変長復号回路は「５３」番のマクロブロツクが得られた時点でエラーを発見し、次のスライスヘツダに設けられている同期コードを検出して復号動作を再開する。
【００２２】
このとき次のスライスヘツダにはマクロブロツクアドレスとして「５１」番以降のマクロブロツクの格納が記録されており、復号動作の再開と共に「５１」番、「５２」番……のマクロブロツクが順に復号される。すなわち「５１」番、「５２」番、「５３」番のマクロブロツクの処理に要する時間が二重となるのである。
ところが１フレームの画像を復号するのに要する時間は本来決まつており、このように画面上の同じ部分の画像を２重に復号することによつて１フレームの復号時間内に復号動作が完結しないことがあつた。
【００２３】
本発明は以上の点を考慮してなされたもので、ビツトストリーム中から誤りが発見されたために一時中断されていた復号動作をそれ以降に存在する同期コードの位置から復帰する場合にも誤りを含むフレームの復号処理を必ず所定の復号時間内に終了させることができる画像信号復号方法及び画像信号復号装置を提案しようとするものである。
【００２４】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、所定ブロツクごとに符号化された画像信号のビツト列を順次復号化し出力する画像信号復号化方法及び画像信号復号化装置において、画像信号の所定部分の少なくとも一部を復号化する時に、当該一部に誤りが存在するか否かを検出し、その結果、一部に誤りの存在を検出した時に復号動作を中断すると共に、当該検出した誤りの位置後のビツト列に存在する同期コード部分から読み出される第１の画像位置と、誤りが検出される直前に復号化していた第２の画像位置とを比較し、時間軸上で第２の画像位置よりも後方位置に存在する第１の画像位置における同期コードを復号動作の再開位置として選択し、その選択した同期コードから復号動作を再開するようにした。
【００２５】
【作用】
従つて画像信号に対する復号動作の再開位置を、誤り部分を含む一連のビツト列の復号動作が所定時間内に完了するように、検出した誤りの位置に応じて選択することができ、かくして誤りが発生しても一連の復号動作を予め定められている所定時間内に完了させることができる画像信号復号化方法及び画像信号復号化装置を実現できる。
【００２６】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２７】
（１）復号処理回路の構成
（１−１）全体構成
ここではビツトストリームからエラースタートコードＤESが発見された場合や可変長復号動作中にエラーが発見された場合に、可変長復号回路による復号動作の再開位置をエラーの発見位置に応じて設定し、再開以降の処理に要する時間が１フレームの復号処理時間内に納まるように調整する機能を有する復号処理回路の概要を説明する。まずこの機能を有する復号処理回路の全体構成を図１に示す。
【００２８】
復号処理回路１は記録媒体や伝送路を介して画像データのビツトストリームＳ１を受信バツフア２に取り込んで一時記憶する。
可変長復号化回路３は受信バツフア２より読み出したビツトストリームを可変長復号することにより画像データを求め、これを逆量子化回路４に与えると共に、後段での処理に用いる各種のフラグ情報Ｓ２〜Ｓ６を逆量子化回路４及び動き補償回路部５に出力する。ここでフラグ情報Ｓ２〜Ｓ６は、量子化ステツプＳ２、動きベクトルＳ３、予測モードＳ４、フレーム／フイールド予測フラグＳ５（以下、予測フラグＳ５という）及びフレーム／フイールドＤＣＴフラグＳ６（以下、ＤＣＴフラグＳ６という）をいう。
【００２９】
また可変長復号化回路３はデコード制御回路６との間で送受される各種の制御信号Ｓ７〜Ｓ１２に基づいて可変長復号動作を実行するようになされている。ここで制御信号Ｓ７〜Ｓ１２はマクロブロツク復号終了信号Ｓ７、エラー発見信号Ｓ８、同期コード発見／判別信号Ｓ９、マクロブロツクアドレスＳ１０、同期コードサーチ信号Ｓ１１、デコード開始信号Ｓ１２をいう。
可変長復号化回路３はこれら制御信号のうちデコード開始信号Ｓ１２の指示に基づいて復号化動作の中断、再開を切り替えているのであるが、その詳細については次項以降において説明する。
【００３０】
さて可変長復号化回路３から復号された画像データは逆量子化回路４に与えられる。逆量子化回路４は、量子化スケールＳ２に基づいて入力されたデータを逆量子化し、処理結果をＩＤＣＴ回路７に出力する。
ＩＤＣＴ回路７は逆量子化回路４から入力したデータ（ＤＣＴ係数）を逆ＤＣＴ処理し、処理結果を動き補償回路部５に供給する。このときＩＤＣＴ回路７の出力データはフレーム／フイールドＤＣＴブロツク並び替え回路８に入力される。
【００３１】
フレーム／フイールドＤＣＴブロツク並び替え回路８はＤＣＴフラグＳ６の指示に基づいてＩＤＣＴ回路７から入力されたデータを並び替え、画像データＳ１３を演算器９に出力する。
演算器９は上述の処理により得られた画像データＳ１３と動き補償回路１０から入力される予測画像データＳ１４とに基づいて再生画像信号Ｓ１５を演算（例えば加算）し、これを後段の回路へ出力する。
【００３２】
ここで動き補償回路１０はフレームメモリ１１に格納されている画像データに基づいて予測画像データＳ１４を生成している。例えば画像データＳ１３がＩピクチヤである場合、この画像データＳ１３はそのまま再生画像信号Ｓ１５として演算器９から出力される。このときフレームメモリ１１は次に入力される画像データ（Ｐ又はＢピクチヤのデータ）Ｓ１３の予測画像データＳ１４を生成するためこの再生画像信号Ｓ１５を前方予測画像部１１Ｂに記憶する。
【００３３】
動き補償回路１０は入力される画像データＳ１３が１フレーム前の画像データを予測画像データとするＰピクチヤのデータであり、かつそれが前方予測モードのデータである場合、前方予測画像部１１Ｂから１フレーム前の画像データ（Ｉピクチヤのデータ）を読み出し、これを可変長復号化回路３から与えられた動きベクトルＳ３に基づいて動き補償することにより予測画像データＳ１４を生成する。
【００３４】
この予測画像データＳ１４と画像データ（差分データ）Ｓ１３とを演算器９において加算したものが次の再生画像信号Ｓ１５となる。
さてこの再生画像信号Ｓ１５はＰピクチヤの画像データであり、これに続く画像データはＢピクチヤ又はＰピクチヤであるためこの再生画像信号Ｓ１５はフレームメモリ１１の後方予測画像部１１Ａに記憶される。
因にＰピクチヤの画像データであつても画像内予測モードで符号化されたデータの場合にはＩピクチヤの画像データと同様、演算器９からそのまま出力される。従つてこの場合には、再生画像信号Ｓ１５は前方予測画像部１１Ｂに記憶される。
【００３５】
この状態において、次に入力される画像データがＢピクチヤであり、かつその予測モードＳ４が前方予測モードであつた場合には、動き補償回路１０は予測モードＳ４に応じて前方予測画像部１１ＢからＩピクチヤの画像データを読み出し、これを動きベクトルＳ３で動き補償するように動作する。
これに対して、次に入力される画像データがＢピクチヤであり、かつその予測モードＳ４が後方予測モードで符号化されたものであつた場合には、動き補償回路１０は予測モードＳ４に応じて後方予測画像部１１ＡからＰピクチヤの画像データを読み出し、これを動きベクトルＳ３で動き補償するように動作する。
【００３６】
またこれらの他、入力される画像データがＢピクチヤであり、かつその予測モードＳ４が両方向予測モードであつた場合、動き補償回路１０は予測モードＳ４に応じて前方予測画像部１１Ｂおよび後方予測画像部１１ＡからＩピクチヤ及びＰピクチヤの画像データをそれぞれ読み出し、これを動きベクトルＳ３で動き補償するように動作する。このようにして予測画像データＳ１４が生成される。
【００３７】
ただしこのとき演算器９から出力される加算出力はＢピクチヤの画像データであり、他の画像の予測画像生成のために利用されることはない画像データであるのでフレームメモリ１１に記憶されることはない。
これらＢピクチヤの画像が出力された後、動き補償回路１０は後方予測画像部１１Ａに記憶されているＰピクチヤの画像データを読み出し、演算器９に供給するように動作する。ただしこのときＰピクチヤに対する動き補償はない。
【００３８】
最後にこの復号処理回路１には符号装置側の予測モード切り替え回路とＤＣＴモード切り替え回路に対応する回路が図示されていないが、これらの回路に対応する処理、すなわち奇数フイールドと偶数フイールドのラインの信号が分離された構成を元の混在する構成に必要に応じて戻す処理は動き補償回路１０が実行している。
また、以上においては輝度信号の処理について説明したが、色差信号の処理についても同様である。ただしこの場合、動きベクトルは輝度信号用のものを垂直方向及び水平方向に１／２にしたものが用いられる。
【００３９】
（１−２）デコード制御回路
（１−２ー１）回路構成
デコード制御回路６は、図２に示すように、エラー処理部６Ａ、デコードアドレス算出部６Ｂ、アドレス比較器６Ｃの３つ処理ブロツクによつて構成されている。
【００４０】
エラー処理部６Ａは可変長復号化回路３からエラー発見信号Ｓ８が入力された場合に可変長復号化回路３における復号動作を中断するのに用いられる回路であり、エラー発見信号Ｓ８に応じてデコード開始信号Ｓ１２を制御するようになされている。因にこのエラー発見信号Ｓ８は可変長復号化回路３に入力されるビツトストリーム中にエラースタートコードが含まれている場合や可変長復号動作中に誤りが発見された場合に出力される信号である。
【００４１】
またエラー処理部６Ａはデコード開始信号Ｓ１２によつて中断させた可変長復号動作を適切な位置で再開させるため同期コードサーチ信号Ｓ１１を可変長復号化回路３に出力するようになされている。
エラー処理部６Ａはこの同期コードサーチ信号Ｓ１１によつて可変長復号化回路３の動作モードをビツトストリーム中から同期コードをサーチするモードに制御するようになされている。
またエラー処理部６Ａは可変長復号化回路３が同期コードを発見したときに出力する同期コード発見／判別信号Ｓ９を入力し、この信号に基づいて可変長復号化回路３が発見した同期コードの種類を判別する。
【００４２】
例えば発見された同期コードの種類がエラースタートコードＤESの場合、エラー処理部６Ａは同期コードのサーチを続行させるように制御する。
これに対して発見された同期コードの種類がスライスヘツダである場合には、アドレス比較器６Ｃの比較出力に基づいて同期コードのサーチを続行するか否かを決定する。
そしてこれらのいずれででもない場合には、フレームの初めから復号動作を再開させるようになされている。
【００４３】
ここでアドレス比較器６Ｃから出力される比較出力はマクロブロツクアドレスＳ１０とデコードアドレスＳ１６との比較によつて得られる。
因にマクロブロツクアドレスＳ１０は同期コードの後に続くスライスヘツダとマクロブロツクヘツダから得られるものである。またデコードアドレスＳ１６は可変長復号化回路３がマクロブロツクの処理を終了するたびに出力するマクロブロツク復号終了信号Ｓ７のカウント値であり、可変長復号化回路３が実際に復号していた画面上の位置を表す値である。
【００４４】
（１−２−２）処理動作
次にデコード制御回路６で実行される一連の処理状況を図３を用いて説明する。通常、デコード制御回路６は状態ＳＴ１−ＳＴ２に示すように、可変長復号化回路３に復号動作の実行を指示すると共にエラーが発見されたか否かを判別している。ここでエラー処理部６Ａがエラー発見信号Ｓ８からエラーの存在を発見すると、状態はＳＴ３に移り、可変長復号化回路３の復号動作を中断させると共に同期コードをサーチさせるモードに移る。
【００４５】
続いてデコード制御回路６はエラー処理部６Ａに入力される同期コード発見／判別信号Ｓ９に基づいて発見された同期コードがスライスヘツダのものか否か判断する。
このとき肯定結果が得られた場合（すなわちスライスヘツダの場合）には、デコード制御回路６は状態ＳＴ５の処理に移り、デコードアドレス算出部６Ｂでカウントされているデコードアドレスと発見された位置のマクロブロツクアドレスとを比較する。
【００４６】
ここで肯定結果が得られる場合（すなわち発見された同期コード部分のマクロブロツクアドレスが中断時までに得られたマクロブロツクアドレスより小さかつた場合）、発見された同期コードの位置から復号動作を再開すると再開後の復号処理時間に破綻が生じることになるので、デコード制御回路６は状態ＳＴ３に戻つて次の同期コードの検索に移る。
【００４７】
これに対して状態ＳＴ５において否定結果が得られる場合（すなわち発見された同期コード部分のマクロブロツクアドレスが中断時までに得られたマクロブロツクアドレスより大きくなつている場合）、デコード制御回路６は状態ＳＴ６に移り、発見された同期コードに続いて得られたマクロブロツクアドレスからデコードを再開させるようにデコード開始信号Ｓ１２を制御する。この後、デコード制御回路６の状態はＳＴ１に戻る。
【００４８】
さて以上の説明は状態ＳＴ４の段階で判定結果が肯定結果であつた場合、すなわち読み出された同期コードがスライスヘツダの同期コードであつた場合であるが、この段階で否定結果が得られた場合にはデコード制御回路６の処理は状態ＳＴ７に移る。
この状態ＳＴ７において、デコード制御回路６は読み出された同期コードがエラースタートコードに含まれている同期コードであるのか否か判定する。
【００４９】
このとき肯定結果が得られた場合、すなわち同期コードがエラースタートコードに含まれている同期コードであつた場合、復号動作をそのまま継続することはできないため、デコード制御回路６の処理状態は再び状態ＳＴ３に戻る。そして目的とするスライスヘツダの同期コードを発見するための同期コード検出動作に移る。
【００５０】
これに対してこの状態ＳＴ７においても否定結果が得られた場合、すなわちスライスヘツダの同期コードでもなく、またエラースタートコードの同期コードでもない場合（これはスライスより上位階層の同期コードであることを意味し、この例の場合、フレームヘツダである）、デコード制御回路６は状態ＳＴ８の処理に移り、フレームの最初から無条件に可変長復号動作を再開させるようにデコード開始信号Ｓ１２を制御する。
デコード制御回路６はこれら一連の状態遷移に基づいて可変長復号化回路３を制御することにより復号処理回路１における一連の処理時間が所定の時間内に納まるように動作する。
【００５１】
（２）復号動作例
以上の構成において、復号処理回路１の復号動作例を図４を用いて説明する。ここで図４（Ａ）はビツトストリームにデータ誤りが含まれておらず、かつその復号動作に誤りもない正常な復号動作が実行される場合の処理タイミングを表しており、図４（Ｂ）が従来用いられている復号動作例である。この図４（Ｂ）に示すように、従来の場合には途中から本来処理が終了しているべき時間に対して遅れが生じている。例えば「７７」番の復号処理が終了する時点は本来の時点に対してマクロブロツク４個分ほど遅れが生じている。
【００５２】
これに対して復号処理回路１の復号動作が図４（Ｃ）である。この復号処理回路１の場合にも復号誤りによるスライスオーバーを発見するまでの動作は図４（Ｂ）と同じである。
このとき可変長復号化回路３はデコード制御回路６のエラー処理部６Ａにエラー発見信号Ｓ８を送つてスライスオーバー等の誤りを知らせる。そしてエラー処理部６Ａはエラー発見信号Ｓ８に基づいてデコード開始信号Ｓ１２を制御することにより可変長復号化回路３の復号動作を中断させる。
【００５３】
またこれと共にエラー処理回路６Ａは同期コードサーチ信号Ｓ１１を出力して可変長復号化回路３を同期コードのサーチモードに移行させる。
ここではまず同期コードとして次のスライスの先頭に設けられているスライスヘツダの同期ヘツダが読み出され、これに続く最初のマクロブロツクを示すマクロブロツク（ＭＢ）アドレスがアドレス比較器６Ｃに入力されることになる。
因にこのマクロブロツクアドレスは「５１」となる。
【００５４】
アドレス比較器６ＣはこのマクロブロツクアドレスＳ１０とマクロブロツク復号終了信号Ｓ７に基づいて求めたデコードアドレスとを比較することになるが、デコード処理は「５３」まで終了しているので状態ＳＴ５の判定結果は肯定結果となる。すなわちエラー処理回路６Ａはマクロブロツクアドレス「５１」で始まるスライスから復号動作を再開すると、処理時間が二重になることが分かるためこのスライス部分を読み飛ばすように同期コードサーチ信号Ｓ１１及びデコード開始信号Ｓ１２を制御する。
【００５５】
図４（Ｃ）ではその後、マクロブロツクアドレスが「６２」から始まるスライスを同期コードの検索から発見し、このスライスから復号動作を再開している。この結果、このフレームの最後に位置する「７７」番のマクロブロツクについての処理が終了する時点は図４（Ａ）で与えられる終了時点より前になり、復号動作に破綻が生じるおそれを回避できる。
【００５６】
以上の構成によれば、ビツトストリームの可変長復号動作中に誤りが発見された場合、誤りが発見される直前までに処理の完了していたマクロブロツクのアドレス（デコードアドレス）を基に復号処理の再開位置を設定するようにしたことにより、処理再開後におけるビツトストリームの復号動作が規定の１フレーム時間内に納まるようにできる。これによりデータや復号動作に生じた誤りの有無によらずどのフレームについても復号動作に破綻のない復号処理回路を実現することができる。
【００５７】
またこのとき復号処理の再開位置をビツトストリーム中に挿入されている同期コードとすることにより再開位置を短時間で検索することができる。
さらに復号処理の再開位置を設定する際、同期コードの発見によつて求められた復号処理の再開候補位置と誤りが発見される直前までに処理の完了した画像位置とを比較し、候補に選択した画像の位置が復号動作の完了している画像の位置に比して時間軸上後方となるまでビツトストリームの復号動作を読み飛ばすようにしたことにより、復号される画像位置の重複を確実に回避できるようにすることができる。
【００５８】
（３）他の実施例
なお上述の実施例においては、ビツトストリームのデータ構造をマクロブロツク、スライス、フレームの３階層とする場合について述べたが、本発明はこれに限らず、さらに多くの階層構造をとるビツトストリームについても適用し得る。この場合、可変長復号動作の復帰位置はスライスヘツダ及びフレームヘツダの他それらの中間階層を表すヘツダからで良い。
【００５９】
また上述の実施例においては、可変長復号動作中にエラーが発見された場合、復号処理を一時中断すると共に以降の処理時間が所定の処理時間内に納まるように再開位置を決定する場合について述べたが、本発明はこれに限らず、可変長復号動作以外の他の復号動作中にエラーが発見された場合にも広く適用し得る。
【００６０】
さらに上述の実施例においては、逆量子化処理後の処理としてＩＤＣＴ処理が実行されているが、符号化時にＤＣＴ以外の直交変換符号化方法が用いられた場合にはそれに応じた逆変換処理を実行すれば良い。
【００６１】
さらに上述の実施例においては、主に画像信号の復号について述べたが、本発明はこれに限らず、画像信号と同時に伝送される音声信号や制御信号についての復号処理にも適用することができる。
【００６２】
【発明の効果】
上述のように本発明によれば、所定ブロツクごとに符号化された画像信号のビツト列を順次復号化し出力する画像信号復号化方法及び画像信号復号化装置において、画像信号の所定部分の少なくとも一部を復号化する時に、当該一部に誤りが存在するか否かを検出し、その結果、一部に誤りの存在を検出した時に復号動作を中断すると共に、当該検出した誤りの位置後のビツト列に存在する同期コード部分から読み出される第１の画像位置と、誤りが検出される直前に復号化していた第２の画像位置とを比較し、時間軸上で第２の画像位置よりも後方位置に存在する第１の画像位置における同期コードを復号動作の再開位置として選択し、その選択した同期コードから復号動作を再開するようにしたことにより、画像信号に対する復号動作の再開位置を、誤り部分を含む一連のビツト列の復号動作が所定時間内に完了するように、検出した誤りの位置に応じて選択することができ、かくして誤りが発生しても一連のビツト列の復号動作を予め定められている所定時間内に完了させることができる画像信号復号化方法及び画像信号復号化装置を実現することができる。
【図面の簡単な説明】
【図１】本発明による画像信号復号化装置の一実施例を示すブロツク図である。
【図２】デコード制御回路の内部回路を示すブロツク図である。
【図３】デコード制御回路内処理の状態遷移を示すフローチヤートである。
【図４】実施例の場合に得られるデコード処理結果を示すタイミングチヤートである。
【図５】画像データを圧縮する場合に用いられるピクチヤのタイプを説明するのに用いる略線図である。
【図６】画像データのデータ構造の説明に供する略線図である。
【図７】ビツトストリームの構成を示す略線図である。
【図８】エラー発生位置とエラー発見位置との位置関係の態様を示す略線図である。
【図９】従来例の場合に得られるデコード処理結果を示すタイミングチヤートである。
【符号の説明】
１……復号処理回路、２……受信バツフア、３……可変長復号化回路、４……逆量子化回路、５……動き補償回路部、６……デコード制御回路、６Ａ……エラー処理部、６Ｂ……デコードアドレス算出部、６Ｃ……アドレス比較器、７……ＩＤＣＴ回路、９……演算器、１０……動き補償回路、１１……フレームメモリ。
Claims (2)
- 所定ブロツクごとに符号化された画像信号のビツト列を順次復号化し出力する画像信号復号化方法において、
上記画像信号の所定部分の少なくとも一部を復号化する時に、当該一部に誤りが存在するか否かを検出する誤り検出ステツプと、
上記一部に誤りの存在が検出された時に復号動作を中断する復号動作中断ステツプと、
検出された上記誤りの位置後のビツト列に存在する同期コードの中から、上記復号動作の再開位置となる上記同期コードを選択する同期コード選択ステツプと、
選択された上記同期コードから上記復号動作を再開する復号動作再開ステツプと
を具え、
上記同期コード選択ステツプは、
上記誤りの位置以降で順次上記同期コードが発見されるごとに当該同期コード部分から読み出される第１の画像位置と、上記誤りが検出される直前に復号化していた第２の画像位置とを比較し、時間軸上で上記第２の画像位置よりも後方位置に存在する上記第１の画像位置における上記同期コードを上記復号動作の上記再開位置として選択する
ことを特徴とする画像信号復号化方法。 - 所定ブロツクごとに符号化された画像信号のビツト列を順次復号化し出力する画像信号復号化装置において、
上記画像信号の所定部分の少なくとも一部を復号化する時に、当該一部に誤りが存在するか否かを検出する誤り検出手段と、
上記一部に誤りの存在が検出された時に復号動作を中断する復号動作中断手段と、
検出された上記誤りの位置後のビツト列に存在する同期コードの中から、上記復号動作の再開位置となる上記同期コードを選択する同期コード選択手段と、
選択された上記同期コードから上記復号動作を再開する復号動作再開手段と
を具え、
上記同期コード選択手段は、
上記誤りの位置以降で順次上記同期コードが発見されるごとに当該同期コード部分から読み出される第１の画像位置と、上記誤りが検出される直前に復号化していた第２の画像位置とを比較し、時間軸上で上記第２の画像位置よりも後方位置に存在する上記第１の画像位置における上記同期コードを上記復号動作の上記再開位置として選択する
ことを特徴とする画像信号復号化装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03609395A JP3661879B2 (ja) | 1995-01-31 | 1995-01-31 | 画像信号復号化方法及び画像信号復号化装置 |
| US08/591,686 US5867231A (en) | 1995-01-31 | 1996-01-25 | Method and apparatus for decoding video signal |
| KR1019960002267A KR100421756B1 (ko) | 1995-01-31 | 1996-01-31 | 화상신호복호화방법및화상신호복호화장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03609395A JP3661879B2 (ja) | 1995-01-31 | 1995-01-31 | 画像信号復号化方法及び画像信号復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08214301A JPH08214301A (ja) | 1996-08-20 |
| JP3661879B2 true JP3661879B2 (ja) | 2005-06-22 |
Family
ID=12460149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03609395A Expired - Fee Related JP3661879B2 (ja) | 1995-01-31 | 1995-01-31 | 画像信号復号化方法及び画像信号復号化装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5867231A (ja) |
| JP (1) | JP3661879B2 (ja) |
| KR (1) | KR100421756B1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6154780A (en) * | 1996-12-18 | 2000-11-28 | Intel Corporation | Method and apparatus for transmission of a flexible and error resilient video bitstream |
| WO2000054512A1 (fr) * | 1999-03-05 | 2000-09-14 | Kabushiki Kaisha Toshiba | Procede et appareil de codage d'une image de film |
| US6498663B1 (en) | 1999-09-24 | 2002-12-24 | Scientific-Atlanta, Inc. | Methods and systems for detecting optical link performance of an optical link in a hybrid fiber coaxial path |
| US20030012286A1 (en) * | 2001-07-10 | 2003-01-16 | Motorola, Inc. | Method and device for suspecting errors and recovering macroblock data in video coding |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5497404A (en) * | 1992-07-14 | 1996-03-05 | General Instrument Corporation | Transmission error recovery for digital communication systems using variable length data packets where data is stored in header locations of memory |
| EP0624990B1 (en) * | 1993-05-12 | 1999-03-31 | Matsushita Electric Industrial Co., Ltd. | Video recording and reproducing apparatus |
| KR950010337B1 (ko) * | 1993-05-18 | 1995-09-14 | 엘지전자주식회사 | 디지탈 브이씨알의 배속영상 구현방법 및 그 장치 |
| US5502493A (en) * | 1994-05-19 | 1996-03-26 | Matsushita Electric Corporation Of America | Variable length data decoder for use with MPEG encoded video data |
-
1995
- 1995-01-31 JP JP03609395A patent/JP3661879B2/ja not_active Expired - Fee Related
-
1996
- 1996-01-25 US US08/591,686 patent/US5867231A/en not_active Expired - Lifetime
- 1996-01-31 KR KR1019960002267A patent/KR100421756B1/ko not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08214301A (ja) | 1996-08-20 |
| KR960030705A (ko) | 1996-08-17 |
| KR100421756B1 (ko) | 2004-06-26 |
| US5867231A (en) | 1999-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2962012B2 (ja) | 動画像符号化装置及びその復号装置 | |
| KR100392856B1 (ko) | 동화상처리방법 | |
| JP3157101B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| US6212236B1 (en) | Image decoding apparatus | |
| KR20010102185A (ko) | 동화상 복호 장치 및 동화상 복호 방법 | |
| US20030012284A1 (en) | Method and apparatus for decoding motion video game | |
| KR20050079418A (ko) | 에러의 전파를 방지하고 병렬 처리가 가능한 디코딩 방법및 그 디코딩 장치 | |
| JP3661879B2 (ja) | 画像信号復号化方法及び画像信号復号化装置 | |
| JP3065251B2 (ja) | 動画像復号装置 | |
| JP3240024B2 (ja) | 画像処理方法 | |
| JP3245496B2 (ja) | 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置 | |
| JPH1023424A (ja) | 動画像圧縮データ復号装置 | |
| JP2002010263A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP3956081B2 (ja) | グレー形状情報を含むデジタル動映像の符号化方法 | |
| JP3582195B2 (ja) | 動画像処理方法 | |
| JPH0775110A (ja) | 画像信号の符号化方法 | |
| JPH09238353A (ja) | 画像符号化方法及び装置、画像伝送方法、並びに画像記録媒体 | |
| JP2002077922A (ja) | 画像制御システム及び画像復号化装置 | |
| JP2887177B2 (ja) | 動画像圧縮符号の復号方法及び復号装置 | |
| JPH06268992A (ja) | 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体 | |
| KR0128878B1 (ko) | 엠펙 비트 스트림 포맷을 이용하는 점프 장치 및 그 방법 | |
| JPH08205170A (ja) | 動画像復号化装置及び動画像符号化装置 | |
| KR0122746B1 (ko) | 프레임별 부호화 장치 | |
| JP2914368B1 (ja) | 時報に合わせた動画像信号符号化方法及び装置 | |
| JP2000295567A (ja) | 符号化データ編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041004 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041224 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050317 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080401 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |