JP3852594B2 - ディジタル画像復号装置及びディジタル画像復号方法 - Google Patents
ディジタル画像復号装置及びディジタル画像復号方法 Download PDFInfo
- Publication number
- JP3852594B2 JP3852594B2 JP2002307033A JP2002307033A JP3852594B2 JP 3852594 B2 JP3852594 B2 JP 3852594B2 JP 2002307033 A JP2002307033 A JP 2002307033A JP 2002307033 A JP2002307033 A JP 2002307033A JP 3852594 B2 JP3852594 B2 JP 3852594B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- error
- motion
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル放送システムやCATVシステムなどのシステムに関して、特にそのディジタル画像復号装置に関するものである。
【０００２】
【従来の技術】
図１６は例えば、「3-2-7 エラー耐性」、中島他、テレビジョン学会誌 vol .49 No.4 pp463-464に示された画像復号装置のエラー復号に関する従来の構成例である。
図において５６０はＩピクチャー（Intra-Picture 、イントラ符号化画像）を示す。Ｉピクチャー５６０は例えば４８０×７０４画素より構成されており、１６×１６画素のマクロブロックに分割されている。
MPEG(Moving Pictures Expert Group)などの画像間の予測符号化を用いた符号化方式は、一般にエラーに対して弱い。これは、予測符号化が以前に復号された画像から行われるためである。このため、一度エラーが生じると、このエラーは時間方向に伝搬する。
【０００３】
エラーのコンシールメントとして最も簡単な方法は、エラーで失われたブロックを、予測のための参照画像から、動きを考慮せずそのままはめ込む方法である。さらに、この性能を向上させようとした場合、動きベクトルを用いて、参照画像から動き補償を行ってコンシールメントする方法がある。これを実現するのが図１６に示すイントラコンシールメントベクトルである。
イントラコンシールメントベクトルは、I ピクチャ(Intraピクチャ) ５６０の各マクロブロックに付加される。このとき、この付加される動きベクトルは、自分自身のブロックの下に位置するブロックの動きベクトルである。復号器は、伝送されてくる各マクロブロックのベクトルを、横１列単位で記憶しておく。仮にブロックがエラーで失われた場合、このブロックのベクトルは１列上にすでに伝送され記憶されているので、これを用いてコンシールメント処理を行う。
【０００４】
【発明が解決しようとする課題】
従来のディジタル復号装置について、以上の様にコンシールメント処理されているが、コンシールメント処理の方法に関しては１列上のマクロブロックのベクトルを用いることのみしか記載されておらず具体性に欠けるものがあった。例えば、エラーを起こしたマクロブロックの下のラインのマクロブロックでもエラーを起こしたとき、あるいは適用する動きベクトルが有効領域外を示すときの対処についても記載がない。
従って、従来のディジタル復号装置では、例えばエラーを起こしたマクロブロックの下のラインのマクロブロックでもエラーを起こしたとき、単に１列上のマクロブロックを用いてコンシールメント処理すると結局相関関係の少ないブロックを用いることになり、視覚的にエラーの伝播が広がり、画像が乱れるという問題点があった。
【０００５】
この発明は上記の様な問題点を解消するためになされたもので、エラーに対するコンシールメントの実用性を高めたディジタル画像復号装置及びディジタル画像復号方法に関するものである。
【００１１】
【課題を解決するための手段】
この発明に係るディジタル画像復号装置は、分割されたブロックのエラーを検出するエラー検出手段と、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別手段と、分割されたブロックの動きベクトルを設定する動きベクトル設定手段と、分割されたブロックの動きベクトルを記憶する動きベクトル記憶手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを設定するものである。
また、この発明に係るディジタル画像復号装置は、エラー検出手段によりエラーが検出された場合であって、動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、ベクトル設定手段は当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを設定するものである。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として大きさをゼロのゼロベクトルを設定するものである。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として当該フレームの有効領域限界までのベクトルに短縮するものである。
【００２０】
また、この発明に係るディジタル画像復号方法は、分割されたブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別ステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記識別ステップにおいて当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを動きベクトル設定手段に設定するステップと、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップとを有するものである。
また、この発明に係るディジタル画像復号方法は、ブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを動きベクトル設定手段に設定するステップと、前記動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップを有するものである。
【００２４】
【発明の実施の形態】
発明の実施の形態１.
以下、この発明における復号装置の一発明の実施の形態を図１、図２、図３について説明する。図１はこの発明の実施の形態に係る復号装置を示すブロック図、図２はこの発明の実施の形態に係る動きベクトル記憶メモリを示す構成図、図３はこの発明の実施の形態に係る動きベクトルの設定を示す図である。
【００２５】
図１において、１００は復号部、１０１はエラー検出手段として機能するエラー検出部、１０２は動きベクトル記憶手段として機能する動きベクトル記憶部、１０３はベクトル設定手段として機能するベクトル設定部、１０４はフレームメモリ、１０５は動き補償復号手段として機能する動き補償復号部、２００は符号化データ、２０１はエラー解析用符号化データ、２０２はエラーフラグ、２０３は復号された動きベクトル、２０４は差分復号データ、２０５は動きベクトル、２０６は設定された動きベクトル、２０７および２０８は予測画像データ、２０９は加算器、２１０は復号画像データ、２１１は指示信号である。
【００２６】
図２において３００は各ブロックにおける動きベクトル格納場所であり、ブロック毎に動きベクトルが格納されている。図１と同一記号は同一またはそれ相当の内容を示す。
図３において、３１０は１フレームの画像、３１１はエラーブロック、３１２はエラーブロックの真上に位置する復号正常ブロック、３１３は復号正常ブロックの動きベクトル、３１４はエラーブロックに対して設定された動きベクトルである。
【００２７】
次に図１、図２、図３をもとに動作を説明する。
図１に示すように、復号部１００では入力した符号化データ２００の復号処理を行う。符号化方式は１フレームをいくつかのブロックに分割してそれぞれのブロック毎に符号化し、かつ時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式（たとえばH.261, MPEG1/2やベクトル量子化など）とする。なお、発明の実施の形態において符号化および復号の順序は便宜上、左上より右方向へ、右端の次は下段の左端より右方向へ順次行うものとする。
【００２８】
エラー検出部１０１では、エラー解析用符号化データ２０１をもとに、復号部１００で復号中にエラーがあるかどうかを検出する。たとえば、入力した符号化データ２００を可変長復号している最中にエラー解析用符号化データ２０１を解析してエラーの検出を行う。エラー解析用符号化データ２０１は符号化データ２００のうちヘッダデータのみでも符号化データ２００そのものでもよく、その復号装置で必要とされるエラーが検出できるデータであればよく本発明を限定するものではない。エラーが検出された場合は、復号部１００にエラーフラグ２０２を出力する。
【００２９】
復号部１００では、現在符号化しているブロックの動き補償復号ベクトル２０３を動きベクトル記憶部１０２へ出力する。動きベクトル記憶部１０２は、この動き補償復号ベクトル２０３を所定の動きベクトル格納場所３００に記憶する。この動きベクトル記憶部１０２は水平１ブロックライン分の記憶容量を持つ。
【００３０】
復号部１００でエラーフラグ２０２を受け取った場合、すなわち復号中にエラーが検出された場合、復号部１００よりベクトル設定部１０３に対してエラーブロック用の動きベクトルを設定するように指示信号２１１が発行される。ベクトル設定部１０３では動きベクトル記憶部１０２の所定の場所に記憶された動きベクトル２０５（例えば図３に示すようにエラーブロック３１１の真上に位置するブロック３１２に相当するベクトル）を設定する。これは動画において一般的にあるブロックとそのブロックの近傍のブロックとは相関関係があるという傾向を利用している。
【００３１】
図３においてブロック３１２とブロック３１１とで動きが異なれば、３１１のブロックに対して３１２のベクトルを適用することは効果的でないが、ブロック３１１、３１２共に同一方向に動いている画像の一部のブロックであればブロック３１１でエラーが生じても３１１のブロックに対して３１２のベクトルを適用することは効果的である。動きベクトルに関して近傍のブロックと相関関係が強いほど効果を発揮する。
【００３２】
ベクトル設定部１０３で動きベクトル２０５を設定した後、復号部１００よりベクトル０（すなわち動きベクトル無し）を動きベクトル記憶部１０２へ転送して記憶される。これは、エラーブロックの動きベクトルが予測不能なためである。
エラーがない状態では、復号部１００で復号された動き補償復号ベクトル２０３は動きベクトル記憶部１０２において所定の位置に記憶された後、そのままベクトル設定部１０３に出力され動き補償復号部１０５へ出力される。
【００３３】
動き補償復号部１０５では入力した動きベクトル２０６に従い、時間的に近傍な予測フレームを格納するフレームメモリ１０４より予測画像データ２０７を読み出し加算器２０９へ出力する。
【００３４】
加算器２０９では復号部１００より出力された差分復号データ２０４および動き補償復号部１０５より出力された予測画像データ２０８を加算する。加算結果は復号画像データ２１０として表示装置へ出力されると共に、次フレームの予測に使用する場合はフレームメモリ１０４へ出力される。次のエラーブロック３１１の真下にあるブロックがエラーブロックである場合には、動きベクトル記憶部１０２の中で、エラーブロック３１１に対応する位置に記憶されたベクトル０を動きベクトル設定部１０３に設定することになる。エラーブロック３１１の真下のブロック３１２はブロックＡから見て２ブロック上になる。したがって、ブロックＡに隣接するブロックよりもさらに離れているブロック３１２の方が一般的に相関関係が低くなるので、この実施の形態では２ブロック離れた動きベクトルは使用していない。
【００３５】
ただし、画像フレームの中の広い部分で画像が動く場合などは、２ブロック以上離れていても動きベクトルの相関関係が強い場合も存在し得るため、他の実施の形態として２ブロック以上離れたブロックの動きベクトルに基づいたベクトルをエラーブロック（Ａ）に適用してもよい。また、実施の形態１でエラーブロック３１２自身のベクトルを０にしてエラーブロック３１２の真下のブロックＡにその０ベクトルを適用したのは、ブロックＡのエラーの影響が周辺のブロックに波及するのを抑制するためである。時間的に連続した復号フレームを見た場合、ベクトルを０にすることによりエラーが修復されるまでの間は時間が経過してもエラーブロックが固定位置に張り付いたように見える。０でなければベクトルに応じてエラーブロックの画像が更新されることになり、場合によっては再生画像が乱れたように見えることもあり得る。
【００３６】
以上のようにこの発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された当該エラーブロックの近傍のブロックの動きベクトルを設定し、前記動きベクトル記憶手段は当該エラーが検出されたブロックの動きベクトルとしてゼロベクトルを記憶するので、エラーの状態を低減するとともにエラーの伝播を抑制できるという効果を奏する。
【００３７】
尚、上記発明の実施の形態では、エラーブロックが数ラインに亘って続いて場合、最初のエラーブロックのみ動きベクトル設定部１０３に近傍の正常ブロックの動きベクトルを設定し、動きベクトル記憶部１０２に０を設定するようにしたが、これに限定されず、エラーブロックが数ラインに亘って続いた場合には任意のラインまでは、動きベクトル設定部でエラーブロックに適用するベクトルとして近傍の正常ブロックの動きベクトルを設定し、その次のラインからエラーブロックに対して動きベクトル記憶部１０２に０を設定してもよい。
【００３８】
発明の実施の形態２．
この発明の実施の形態は、画像フレームの最上段のブロックでエラーを検出した場合の動作に関するものである。復号装置は図１に示す構成と同じである。
図４は、この発明の実施の形態に係る動きベクトル設定部のフローチャート、図５はこの発明の実施の形態に係る動きベクトルの設定を示す図である。
図５において、図３と同一記号は、同一または同一相当の内容を示す。
【００３９】
次に図４、図５を用いて動作を説明する。
動きベクトル設定部１０３では、復号部１００からのエラー発生の指示信号２１１によりエラーブロック３１１の近傍のブロック例えば真上のブロックの動きベクトル２０５をエラーブロックの動きベクトルとして動きベクトル記憶部１０２より取り出す。次にエラーブロック３１１が画像フレームの最上段か否かを判断する（ステップ４０１）。
【００４０】
エラーブロック３１１が画像フレーム３１０の最上段のブロックラインに位置する場合、図５に示すようにエラーブロック３１１の動きベクトルを‘０’とする（ステップ４０３）。これは最上段の上には動きベクトルを参照するブロックが存在しないためである。
一方、ステップ４０１においてエラーブロックが画像フレームの最上段ではないと判断した場合には、エラーブロックの動きベクトルとして、真上のブロックの動きベクトルを用いる（ステップ４０２）。
【００４１】
この発明の実施の形態２に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、フレームの最上段のブロックについて前記エラー検出手段によりエラーが検出された場合には、前記動きベクトル設定手段は当該エラーが検出されたブロックの動きベクトルとしてゼロベクトルを設定するので、領域外の部分のデータを参照せず、エラーコンシールメントに際し画像を乱さないという効果を奏する。
【００４２】
発明の実施の形態３．
図６は、この発明の実施の形態３に係る動きベクトル記憶メモリーを示す構成図である。復号装置は図１に示す構成と同じである。
図６において、図２と同一番号は、同一または同一相当の内容を示す。
図３および図６を用いてこの発明の実施の形態に係る復号装置の動作を説明する。
この発明の実施の形態に係る動きベクトル記憶部１０２では、１ブロックライン分の動きベクトルを記憶できる。ここで、正常に復号されればブロックの動きベクトルは、所定の位置の格納場所たとえば３００a に格納される。
【００４３】
エラーが起こったブロックに対しては、エラーブロックの真上のブロック（以下の第７図に示すように、エラーブロック３１１に対する正常復号ブロック３１２）の動きベクトルを動きベクトル格納場所３００n より読み出して動きベクトル設定部１０３へ出力した後、エラーブロック３１１自身の動きベクトルとして動きベクトル格納場所３００n には‘０’を書き込む。
【００４４】
これはエラーブロックの動きベクトルはエラーにより予測不能であるためで、「動きベクトル無し」とみなし動きベクトルを‘０’とする。‘０’とすることにより、エラーブロックの真下のブロックがさらにエラーブロックとなった場合、真下のブロックは動きベクトル格納場所３００n から動きベクトルを読み出すためさきに設定した‘０’を読み出すことになる。このようにすると、誤りが画像フレームの縦方向のブロックに生じて真上のエラーブロックに相当する動きベクトルを用いて自身のエラーブロックの動き補償予測を行わなければならない場合でも、エラーの伝播が必要以上に広がらないように抑制する。
【００４５】
もし、エラーブロックの動きベクトルとしてエラーブロックのヘッダ情報にある信用できないベクトルをそのまま用いるとすると、誤ったベクトルを引き継いで後方のブロックの復号を行うことになる。エラーブロックの動きベクトルを‘０’とすることにより、参照する予測画像フレームと同一な画像を予測画像として取り出すので時間的な画像変化がなく視覚的にエラーの伝播が必要以上に広がらない様に見える効果がある。また、エラーブロック以降のブロックの復号に対してもエラーの伝播を抑制する効果がある。
【００４６】
上記例では、エラーが発生したブロックに対して、近傍ブロックとして同一フレーム上の一ブロックライン上かつ真上のブロックをそのブロックの動きベクトルとして使用する場合、図３に示す様にあるエラーが発生したエラーブロック３ル１の動きベクトルをエラーブロックの真上に位置する正常処理ブロック３１２の動きベクトル３１３をエラーブロックの動きベクトル３１４としたが、エラーブロックの左のブロックすなわち直前に復号されたブロックの動きベクトルやエラーブロックの近傍のブロック（ただしエラーブロックでないことが推認されすでに復号されているブロック）の動きベクトルを用いてもよく、本発明を制限するものではない。
【００４７】
また、上記発明の実施の形態では１ブロックライン分の動きベクトルを記憶するようにしたが、特に１ブロックライン分に限定する必要はなく、エラーコンシールの内容に応じてメモリの容量を変えてもよく、本発明を制限するものではない。
【００４８】
以上のようにこの発明の実施の形態３に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された当該エラーブロックの近傍のブロックの動きベクトルを設定し、前記動きベクトル記憶手段は当該エラーが検出されたブロックの動きベクトルとしてゼロベクトルを記憶するので、エラーの状態を低減するとともにエラーの伝播を抑制できるという効果を奏する。
【００４９】
発明の実施の形態４．
図７はこの発明の実施の形態４に係る動きベクトルの設定を示す図である。図７において、図３と同一番号は、同一または同一相当の内容を示す。
図８はこの発明の実施の形態４に係る動きベクトル設定部の動作を示すフローである。復号装置は図１に示す構成と同一である。
【００５０】
次に図７および図８を用いて動作を説明する。
動きベクトル設定部１０３では、復号部１００からのエラー発生の指示信号２１１によりエラーブロックの近傍の（図７では真上のもしくは真左横の）ブロックに相当する動きベクトル２０５を動きベクトル記憶部１０２より取り出す。この動きベクトル２０５をエラーブロック３１１に適用した場合に画像フレーム３１０から外に出るかどうかを判断する（ステップ８０１）。
【００５１】
その動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出す場合、動きベクトル設定部１０３は、動きベクトルを‘０’に設定する（ステップ８０３）。これは、適用した動きベクトルでは予測が不能なためで、動きベクトルを‘０’にした理由は復号するエラーブロックと予測画像と比して時間的に画像の変化がないようにするためである。
【００５２】
動きベクトル２０５をエラーブロック３１１に適用した場合に画像フレーム３１０からはみ出さない場合には、動きベクトル設定部１０２はこの動きベクトルを設定する（ステップ８０２）。
【００５３】
図７では、エラーブロック３１１の真上のブロック３１２の動きベクトル３１３を適用したベクトル３２３が予測無効領域を指し示す例と、エラーブロック３１１の真左横のブロック３１６の動きベクトル３１７を適用したベクトル３２７が予測無効領域を指し示す例を表している。
【００５４】
この発明の実施の形態に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、当該エラーが検出されたエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとして設定したときに前記フレーム外の無効領域を指し示す場合には、前記ベクトル設定手段は前記動きベクトル記憶手段より読み出した当該エラーブロックの近傍のブロックの動きベクトルを短縮処理した後に設定するので、範囲外のデータで予測を行うことを防止するという効果を奏する。
【００５５】
特にベクトル設定手段を短縮処理としてゼロベクトルを設定するので、確実かつ簡易に範囲外のデータで予測を行うことを防止するという効果を奏する。
【００５６】
発明の実施の形態５．
図９は、発明の実施の形態５に係る動きベクトルの設定を示す図である。図９において、第３図および図７と同一番号は、同一または同一相当の内容を示す。
図１０は、発明の実施の形態５に係る復号装置の動作を示すフローである。
復号装置は図１に示す構成と同一である。
【００５７】
次に図９および図１０を用いて動作を説明する。
動きベクトル設定部１０３では、復号部１００からのエラー発生の指示信号２１１によりエラーブロックの近傍の（図９では真上のもしくは真左横の）ブロックに相当する動きベクトル２０５を動きベクトル記憶部１０２より取り出す。
【００５８】
まず、その動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出す場合か否かを判断する（ステップ１００１）。その動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出す場合、動きベクトル設定部１０３は、動きベクトルをフレームの境界すなわち予測領域有効限界にベクトルを短縮して設定する（ステップ１００３）。これは、適用した動きベクトルでは予測が不能なためで、動きベクトルを短縮して設定した理由は、復号するエラーブロックが再現する動きをエラーブロックの近傍のブロックの動きになるべく合わせることにより近傍のブロックと比して空間的に画像の変化をできるだけ少なくするためである。
【００５９】
ステップ１００１において、動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出さないと判断した場合には、エラーブロックの動きベクトルとして真上のブロックの動きベクトルを用いる。
【００６０】
発明の実施の形態４では時間的に画像の変化がないようにするためであるのに対して、発明の実施の形態５は上述したように空間的に画像の変化をできるだけ少なくするためであるのが特徴である。
【００６１】
このようにこの発明の実施の形態に記載された発明によれば、ディジタル画像復号装置は、ベクトル設定手段を短縮処理として当該フレームの有効領域限界までのベクトルに短縮するので、エラーブロックの近傍のブロックの動きベクトルと近いベクトルにより補償することができ、時間的または空間的に再現性をよりよくしたエラーコンシールメントができるという効果を奏する。
【００６２】
図９では、エラーブロック３１１の真上のブロック３１２の動きベクトル３１３を予測可能限界まで短縮して適用したベクトル３２４の例と、エラーブロック３１１の真左横のブロック３１６の動きベクトル３１７を予測可能限界まで短縮して適用したベクトル３２８の例を表している。
【００６３】
発明の実施の形態６．
図１１は、発明の実施の形態６に係る動きベクトルの設定を示す図である。図１１において、図３、図７、図９、図１２および図１３と同一番号は、同一または同一相当の内容を示す。復号装置の構成は図１と同一の構成である。
【００６４】
次に図１１について動作を説明する。
現在復号しているフレーム３１０の復号途中でエラーが検出された場合、現エラーブロック３１１に対して上記発明の実施の形態の復号処理を行うだけでなく、現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対してもエラーブロックと見なして上記発明の実施の形態の処理行う。
【００６５】
現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できる場合は、現エラーブロック３１１のみをエラー処理して次ブロック以降のブロック３１５は正常時の復号処理をすることができる。ただし、次のブロックが現エラーブロック３１１のパラメータやデータに基づいて復号する場合は、現在のエラーを引き継ぐためその後たとえ動作的には異常がなく復号されても結果的にはエラーブロックになる。
【００６６】
したがって、現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できるかどうかの識別を行う回路を挿入し、独立なら次ブロック以降のブロック３１５は正常時の復号処理をするようにしてもよい。ただ一般的には隣接するブロック同士は相関関係が強く、たとえばブロック間で直流成分や動きベクトルの差分を取りその差分信号を符号化するなど符号化効率を上げるためにブロック間の相関関係を利用する場合が多い。
【００６７】
したがって、上記のような一般的な符号化データを復号する場合は、エラーが検出されたブロック以降３１５は現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対しては強制的に一律エラーブロックと見なして処理する方法があり、その場合前記識別回路などの特別な回路を追加する必要がない。ただし、隣接するブロックが独立して復号できる場合、正常に復号できるブロックも一律エラーブロックとして処理されてしまう。したがって、次に復号する隣接ブロックが現エラーブロックとは独立して復号可能かどうか識別し、独立復号可能な場合は隣接ブロック以降は次に新たなエラーが検出されるまで正常に復号が行えるようにする。この動作を現エラーの影響がおよばない次の復号単位（たとえばスライス単位やピクチャ単位など）の直前までの各ブロックについて行う。このようにエラーの影響をエラーを起こしたブロックになるべくとどめるようにすることにより、エラーの伝播を抑制するだけでなく、より再現性の高いエラーコンシールメントが行える。
【００６８】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックとこのブロックと隣接し次に復号する隣接ブロックとが独立して復号可能かどうか識別する識別手段と、前記ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックが当該エラーブロックと独立して復号できないと識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして動きベクトルを設定するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
【００６９】
発明の実施の形態７．
図１２は、この発明の実施の形態７に係る動きベクトルの設定を示す図である。図１２において、図３、図７、図９および図１３と同一番号は、同一または同一相当の内容を示す。復号装置は図１で示した構成と同一である。
【００７０】
図において３０２、３０３、３０４、３１０、３３０、３３１はそれぞれ画像フレームである。動きベクトル３４２、３５２はフレーム３０２に対応する正常ブロック３１２の動きベクトルであり、動きベクトル３４３、３５３はフレーム３３１に対応する正常ブロック３１２の動きベクトルである。１フレームは２フィールドより構成される場合があり、その各フィールドより動きベクトルを求めた場合には、このように１フレームより２つの動きベクトルが算出される場合がある。
【００７１】
次に図１２について動作を説明する。
現在復号しているフレーム３１０が時間的に過去のフレーム３０２および時間的に未来のフレーム３３１を予測画像として復号する場合、正常な復号時はブロック３１２で予測に使用するフレーム３０２に対応する動き補償ベクトル３４２、３５２およびフレーム３３１の各フィールドに対応する動き補償ベクトル３４３、３５３あるいは何れか一方の予測フレームの２つのベクトルを用いる。フレーム３１０でエラーが発生した場合、エラーブロック３１１の動き補償ベクトルとして上記エラーブロック３１１の近傍のブロック（図１２では真上）の動き補償ベクトル３４２、３４３、３５２、３５３のうち何れか一つの動き補償ベクトルを適用する。
【００７２】
これは、エラーブロックの近傍のブロックのすべての動き補償ベクトルを用いてもエラーブロックの再現性が必ずしも向上するとは限らず、またすべてのベクトルを記憶するメモリが必要になるためである。一部の数のベクトルのみ適用することによりエラーブロック用のベクトル記憶メモリを減らすことができ、すべての動き補償ベクトルを用いた場合と比較してエラーブロックの再現性に余り差がないことが一般的にいえる。
【００７３】
たとえば、ベクトル３４２、３４３、３５２、３５３すべてを使用して動き補償を行う場合、ベクトル３４２、３４３は同一フレームのベクトルであり、同様にベクトル３５２、３５３は同一フレームのベクトルであるため、同一フレーム内のそれぞれのベクトル３４２、３４３またはベクトル３５２、３５３から予測される画像はほとんどの場合ほぼ同一もしくは類似のものである。
【００７４】
また、動き予測を行う場合、上記４つのベクトルから予測される画像に基づいて予測が行われるため、４つの画像が同一もしくは類似の画像でなければもともとの符号化データが符号化効率が悪い上予測効率が悪いことになる。たとえば４つのベクトルから予測される画像に基づいた予測が４つの予測画像（あるいは３４２と３４３をペアにし３５２と３５３をペアにした２つのフレーム予測画像）の算術平均画像を用いるものであった場合、いずれか１つでも類似でない画像がれば的外れな予測画像となるため算術平均を取る意味がなくなってしまう。
【００７５】
したがって、符号化効率及び予測効率を考慮して符号化されたデータであることを前提にするのであれば、たとえば上記４つのベクトルより予測される画像は何れもほぼ同一もしくは類似の画像であるということができる。
【００７６】
以上の理由からエラーブロックの近傍のブロックの一部の数の動き補償ベクトルを用いて動き補償を行っても、すべての動き補償ベクトルを用いた場合と比較してもエラーブロックの再現性に余り差がないことが説明できる。
【００７７】
なお、この発明の実施の形態では各フィールドに対応する動き補償ベクトルについて記述したが、各ブロックを分割しそれぞれ分割されたサブブロックに対応する動き補償ベクトルであってもよい。また、時間的に差異のある複数のベクトルであってもよく、ある任意のブロックに使用される複数の動き補償ベクトルがフィールドに対応するものだけではないことは明白であり、フィールドに対応する動き補償ベクトル以外の動き補償ベクトルを用いてもよく本発明を制限するものではないことは明らかである。
【００７８】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、複数の動きベクトルより動きベクトルを選択して当該選択された動きベクトルをブロック毎に記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された当該エラーブロックの近傍のブロックの動きベクトルを設定するので、より少ないハードウエアで、エラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理を行うことができるという効果を奏する。
【００７９】
発明の実施の形態８．
図１３は、この発明の実施の形態８及び発明の実施の形態９に係る動きベクトルの設定を示す図である。
図１３において、図３、図７および図９と同一番号は、同一または同一相当の内容を示す。復号装置は図１で示した構成と同一である。
【００８０】
次に図１３について動作を説明する。
現在復号しているフレーム３１０が時間的に過去のフレーム３０２および時間的に未来のフレーム３３１を予測画像として復号する場合、正常な復号時はブロック３１２で予測に使用するフレーム３０２に対応する動き補償ベクトル３４２およびフレーム３３１に対応する動き補償ベクトル３４３あるいは何れか一方を用いる。
【００８１】
フレーム３１０でエラーが発生した場合、エラーブロック３１１の動き補償ベクトルとして上記エラーブロック３１１の近傍のブロック（図１３では真上）の動き補償ベクトル３４２および３４３のうちフレーム３１０に時間的に近いフレーム３３１の動き補償ベクトル３４３を適用する。
【００８２】
これは、複数の動き補償ベクトルを用いてもエラーブロックの再現性が必ずしも向上するとは限らず、また複数分のベクトルを記憶するメモリが必要になるためである。一つのベクトルのみを適用することによりエラーブロック用のベクトル記憶メモリを最小限にすることができる。また、フレーム３１０に時間的に近いフレーム３３１の動き補償ベクトル３４３を適用した理由は、一般的に被写体が動いている場合時間的に近い方の予測フレームより予測画像を取りだした方が再現性が高いからである。
【００８３】
以上のようにこの発明の実施の形態に記載された発明に係るディジタル画像復号装置は、動きベクトル記憶手段が、前記複数のベクトルのうち当該フレームに時間的に近いフレームの動きベクトルを優先的に選択するものとしたので、エラーが起こったとき、そのエラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理を行うことができるという効果を奏する。
【００８４】
発明の実施の形態９．
次に図１３についてこの発明の実施の形態９に係る復号装置の動作を説明する。
現在復号しているフレーム３１０が時間的に過去のフレーム３０２および時間的に未来のフレーム３３１を予測画像として復号する場合、正常な復号時はブロック３１２で予測に使用するフレーム３０２に対応する動き補償ベクトル３４２およびフレーム３３１に対応する動き補償ベクトル３４３あるいは何れか一方を用いる。
【００８５】
フレーム３１０でエラーが発生した場合、エラーブロック３１１の動き補償ベクトルとして上記エラーブロック３１１の近傍のブロック（図１３では真上）の動き補償ベクトル３４２および３４３のうちフレーム３１０より以前に復号されたフレーム３０２の動き補償ベクトル３４２を適用する。
【００８６】
これは、複数の動き補償ベクトルを用いてもエラーブロックの再現性が必ずしも向上するとは限らず、また複数分のベクトルを記憶するメモリが必要になるためである。一つのベクトルを適用することによりエラーブロック用のベクトル記憶メモリを最小限にすることができる。ただし、目的に応じてメモリ容量を問わずに少しでも再現性の高いエラーコンシールメントが行えるように複数の動きベクトルのうちすべてもしくは一部を選択して、選択した動きベクトルに基づいた動きベクトルをエラーブロックに適用することもあり得る。つまり、「選択」という表現の何れか一つのベクトルを選択するという狭義の意味ではなく、上記説明のようにすべてもしくは一部（一つも含む）のベクトルを選択するという意味である。「選択」に関する意味は他の実施の形態についても同様である。
【００８７】
また、フレーム３１０より以前に復号されたフレーム３０２の動き補償ベクトル３４２を適用した理由は、常に過去のフレームからの動き補償ベクトルを適用することにより「過去」か「未来」かを表すパラメータを記憶する必要がなく、発明の実施の形態８では時間的に近い方が「過去」か「未来」か何れの場合もあり得て再現性が高いという特徴があるが、発明の実施の形態９では適用するベクトルを「過去」のベクトルに限定することにより、発明の実施の形態８に比べエラーブロック用のベクトル記憶メモリを少なくすることができる。
【００８８】
以上のようにこの発明の実施の形態に記載された発明に係るディジタル画像復号装置は、動きベクトル記憶手段を前記複数のベクトルのうち当該フレームよりも時間的に過去のフレームの動きベクトルを優先的に選択するものとしたので、未来の画像フレームを考慮する必要のないため、より少ないハードウエアで、エラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理が行うことができるという効果を奏する。
【００８９】
発明の実施の形態１０．
図１４はこの発明の実施の形態１０に係る動きベクトルの設定を示す図である。図１４において、図３、図７、図９および図１３と同一番号は、同一または同一相当の内容を示す。復号装置は図１で示した構成と同一である。
【００９０】
上記各実施の形態では、エラーが発生したブロックに対して、近傍ブロックとして同一フレームの一ブロックライン上でありなおかつ真上のブロックをそのブロックの動きベクトルとして使用する例を挙げ、図３に示すようにエラーが発生したエラーブロックの真上に位置する正常処理ブロック３１２の動きベクトル３１３を適用した。
【００９１】
しかしながら、ブロック３１２の動きベクトル３１３だけではなく、エラーブロックの左のブロック３１６すなわち直前に復号されたブロックの動きベクトル３１７やエラーブロックの真左ブロック３１８の動きベクトル３１９、エラーブロックの真上右ブロック３２０の動きベクトル３２１などエラーブロックの近傍のブロックの動きベクトルに基づいた動きベクトルを用いてもよく、本発明を制限するものではない。
【００９２】
ここでいう「基づいたベクトル」とは前記何れか１つあるいは複数の動きベクトルそのものを適用した動きベクトルであっても、前記複数の動きベクトルの算術平均あるいは前記複数の動きベクトルのうち頻度の一番多いベクトルであってもよく、本発明を制限するものではない。つまりエラーブロックが元々持っていた動きベクトルにできるだけ近いと思われるようなベクトルを算出する方法によりベクトルを求めるのが目的である。
【００９３】
これは動画において一般的にあるブロックとそのブロックの近傍のブロックとは相関関係があるという傾向を利用している。動きベクトルに関して近傍のブロックと相関関係が強いほど動きベクトルの再現性が高いという効果を発揮するのはいうまでもない。
【００９４】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、前記複数のブロックの動きベクトルを記憶する動きベクトル記憶手段と、前記ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された複数のブロックの中から当該エラーブロックに適する動きベクトルを選択し設定するので、エラーが起こったとき、そのエラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理が行えるという効果を奏する。
【００９５】
発明の実施の形態１１．
図１５はこの発明の実施の形態１１に係る復号装置を示すブロック図である。図１５において、図１と同一番号は、同一または同一相当の内容を示す。
次に図１５を用いて復号装置の動作を説明する。
現在復号しているフレーム３１０の復号途中でエラーが検出された場合、現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できる場合は、現エラーブロック３１１のみをエラー処理して次エラーブロック以降のブロック３１５は正常時の復号処理をすることができる。ただし、次のブロックが現エラーブロック３１１のパラメータやデータの基づいて復号する場合は、現在のエラーを引き継ぐためその後たとえ動作的には異常がなく復号されても結果的にはエラーブロックになる。
【００９６】
従って、現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できるかどうかを判定するためにはエラー判定部２２０が必要となる。このエラー判定部２２０は、前記エラー検出部１０１より送出されるエラー指示信号２０２により現在復号中のブロックがエラーであることが判明した場合、次のブロック以降の符号化データ２００を入力して次ブロック以降の特性を解析する。
【００９７】
解析の結果、現エラーブロックと独立して復号できるなら次ブロック以降のブロック３１５は正常な復号処理を行うことができるため、復号部１００に対して「エラーブロック以降のブロックはエラーブロックとは独立して復号できる」を示すエラー判定信号２２１を送出する。
復号部１００では、「独立符号可」を示す信号であれば、現エラーブロックのみをエラー処理（エラーブロック用ベクトル設定）する。たとえば、エラーブロックの直後がＩＮＴＲＡ ＭＢ（フレーム内予測により符号化されたＭＢ）である場合はエラーブロックの直後のブロックはエラーブロックとは独立して復号できる。
【００９８】
一方、解析の結果、現エラーブロックと独立して復号することができない場合は「独立復号不可」の信号をエラー判定部２２０より復号部１００に送出し、復号部１００で現エラーブロック３１１に対して上記実施の形態のような復号処理を行うだけでなく、現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対してもエラーブロックと見做して動きベクトル設定部１０３に対して上記実施の形態のエラー処理を行う。たとえば、エラーブロックの直後のブロックがエラーブロックの動きベクトルに基づいてベクトル生成する場合などは「独立復号不可」となる。
【００９９】
なお、実施の形態１１では「現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対してもエラーブロックとみなして動きベクトル設定部１０３に対して上記実施の形態のエラー処理を行う」ようにしたが、必ずしもすべてのブロック３１５に対してエラーブロックとみなさなくてもよい。すなわち、実施の形態６でも説明したが、次に復号する隣接ブロックが現エラーブロックとは独立して復号可能かどうか識別し、独立復号不可能な場合は隣接ブロックもエラーブロックとみなして処理をし、独立復号可能な場合は隣接ブロック以降は次に新たなエラーが検出されるまでに正常に復号が行えるようにする。この動作を現エラーの影響がおよばない次の復号単位（たとえばスライス単位やピクチャ単位など）の直前までの各ブロックについて行う。つまり、一つ一つのブロックに対し、直前の隣接エラーブロックと独立して復号できるかを調べるようにすれば、エラーブロック以降一律エラーブロックとみなすよりエラーの影響をエラーを起こしたブロックになるべくとどめるようにすることが可能になるため、エラーの伝播を抑制するだけでなく、より再現性の高いエラーコンシールメントが行える。
【０１００】
「独立復号不可」の場合、現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対し、動きベクトルを「０」とする場合（ケース１）と近傍のブロックのベクトルに基づいてベクトルを適用する場合（ケース２）とがあり、ブロック毎に何れかのベクトルを設定する。ケース１の場合の利点はエラーブロックがリフレッシュされるまでの期間（たとえば数フレーム後にＩＮＴＲＡフレームが来るなど）エラーの起こった場所以外にエラーが波及しないということが上げられる。ただし、リフレッシュされるまでの期間は常に同一の画像であるため、エラーブロック（群）が一目でわかる。
【０１０１】
また、ケース２の場合の利点は、エラーブロックの本来の画像に近い画像を再生できる。ただし、若干の誤差があるためリフレッシュされるまでの期間が長い場合は、前記誤差が蓄積しエラーブロックの近傍の領域までエラーの影響が広がってしまう。ケース１とケース２とはそれぞれ一長一短があるため、条件に応じてどちらを選ぶか決める必要がある。
【０１０２】
上記実施の形態では、次のブロック以降の符号化データ２００を入力するようにしたが、この場合、エラー判定部２２０で符号化データの復号を行う必要があるため、エラー判定部２２０で解析に必要なデータを復号部１００から入力してもよい。
【０１０３】
なお、上記エラー判定部の動作を復号部で行うようにすれば、エラー判定部は回路の構成として復号部の中に含めてもよく、回路の構成によって本発明が制限されるものではない。
【０１０４】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックとこのブロックと隣接し次に復号する隣接ブロックとが独立して復号可能かどうか識別する識別手段と、前記ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックが当該エラーブロックと独立して復号できないと識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして動きベクトルを設定するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
【０１１０】
【発明の効果】
この発明に係るディジタル画像復号装置は、分割されたブロックのエラーを検出するエラー検出手段と、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別手段と、分割されたブロックの動きベクトルを設定する動きベクトル設定手段と、分割されたブロックの動きベクトルを記憶する動きベクトル記憶手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを設定するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
また、この発明に係るディジタル画像復号装置は、エラー検出手段によりエラーが検出された場合であって、動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、ベクトル設定手段は当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを設定するので、範囲外のデータで予測を行うことを防止するという効果を奏する。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として大きさをゼロのゼロベクトルを設定するので、確実かつ簡易に範囲外のデータで予測を行うことを防止するという効果を奏する。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として当該フレームの有効領域限界までのベクトルに短縮するので、エラーブロックの近傍のブロックの動きベクトルと近いベクトルにより補償することができ、時間的または空間的に再現性をよりよくしたエラーコンシールメントができるという効果を奏する。
【０１１９】
また、この発明に係るディジタル画像復号方法は、分割されたブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別ステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記識別ステップにおいて当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを動きベクトル設定手段に設定するステップと、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップとを有するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
また、この発明に係るディジタル画像復号方法は、ブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを動きベクトル設定手段に設定するステップと、前記動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップを有するので、範囲外のデータで予測を行うことを防止するという効果を奏する。
【図面の簡単な説明】
【図１】 発明の実施の形態に係る復号装置を示すブロック図である。
【図２】 発明の実施の形態１に係る動きベクトル記憶メモリを示す図である。
【図３】 発明の実施の形態１に係る動きベクトルの設定を示す図である。
【図４】 発明の実施の形態２に係る動きベクトル設定部のフローチャートである。
【図５】 発明の実施の形態２に係る動きベクトルの設定を示す図である。
【図６】 発明の実施の形態３に係る動きベクトル記憶メモリを示す図である。
【図７】 発明の実施の形態４に係る動きベクトルの設定を示す図である。
【図８】 発明の実施の形態４に係る動きベクトル設定部のフローチャートである。
【図９】 発明の実施の形態５に係る動きベクトルの設定を示す図である。
【図１０】 発明の実施の形態５に係る動きベクトル設定部のフローチャートである。
【図１１】 発明の実施の形態６に係る動きベクトルの設定を示す図である。
【図１２】 発明の実施の形態７に係る動きベクトルの設定を示す図である。
【図１３】 発明の実施の形態８及び発明の実施の形態９に係る動きベクトルの設定を示す図である。
【図１４】 発明の実施の形態１０に係る動きベクトルの設定を示す図である。
【図１５】 発明の実施の形態１１に係る復号装置を示すブロック図である。
【図１６】 従来の動きベクトルの設定を示す図である。
【符号の説明】
１００ 復号部、１０１ エラー検出部、１０２ 動きベクトル記憶部、
１０３ ベクトル設定部、１０４ フレームメモリ、１０５ 動き補償復号部、２００ 符号化データ、２０１ エラー解析用符号化データ、２０２ エラーフラグ、２０３ 動きベクトル、２０４ 差分復号データ、２０５ 動きベクトル、２０６ 設定動きベクトル、２０７ 予測画像データ、２０８ 予測画像データ、２０９ 加算器、２１０ 復号画像データ、２１１ 指示信号、２２０ エラー判定部、２２１ エラー判定信号、３００ 動きベクトル格納場所、３０２予測画像フレーム、３０３ 予測画像フレーム、３０４ 予測画像フレーム、３１０ 復号画像フレーム、３１１ エラーブロック、３１２ 復号正常ブロック（エラーブロックの真上）、３１３ 復号正常ブロックの動きベクトル、
３１４ エラーブロックに適用した動きベクトル、３１５ エラーブロック以降のブロック、３１６ 復号正常ブロック（エラーブロックの真左横）、３１７ 復号正常ブロックの動きベクトル、３１８ 復号正常ブロック（エラーブロックの真左横）、３１９ 復号正常ブロックの動きベクトル、３２０ 復号正常ブロック（エラーブロックの真上右横）、３２１ 復号正常ブロックの動きベクトル、３２３ エラーブロックに適用しようとした領域外の動きベクトル、３２４ エラーブロックに適用する領域限界に短縮調整された動きベクトル、３２７ エラーブロックに適用しようとした領域外の動きベクトル、３２８ エラーブロックに適用する領域限界に短縮調整された動きベクトル、３３０ 予測画像フレーム、３３１ 予測画像フレーム、３４２ 予測動きベクトル、３４３ 予測動きベクトル、３５２ 予測動きベクトル、３５３ 予測動きベクトル、５６０ 復号フレーム。
【発明の属する技術分野】
本発明は、デジタル放送システムやCATVシステムなどのシステムに関して、特にそのディジタル画像復号装置に関するものである。
【０００２】
【従来の技術】
図１６は例えば、「3-2-7 エラー耐性」、中島他、テレビジョン学会誌 vol .49 No.4 pp463-464に示された画像復号装置のエラー復号に関する従来の構成例である。
図において５６０はＩピクチャー（Intra-Picture 、イントラ符号化画像）を示す。Ｉピクチャー５６０は例えば４８０×７０４画素より構成されており、１６×１６画素のマクロブロックに分割されている。
MPEG(Moving Pictures Expert Group)などの画像間の予測符号化を用いた符号化方式は、一般にエラーに対して弱い。これは、予測符号化が以前に復号された画像から行われるためである。このため、一度エラーが生じると、このエラーは時間方向に伝搬する。
【０００３】
エラーのコンシールメントとして最も簡単な方法は、エラーで失われたブロックを、予測のための参照画像から、動きを考慮せずそのままはめ込む方法である。さらに、この性能を向上させようとした場合、動きベクトルを用いて、参照画像から動き補償を行ってコンシールメントする方法がある。これを実現するのが図１６に示すイントラコンシールメントベクトルである。
イントラコンシールメントベクトルは、I ピクチャ(Intraピクチャ) ５６０の各マクロブロックに付加される。このとき、この付加される動きベクトルは、自分自身のブロックの下に位置するブロックの動きベクトルである。復号器は、伝送されてくる各マクロブロックのベクトルを、横１列単位で記憶しておく。仮にブロックがエラーで失われた場合、このブロックのベクトルは１列上にすでに伝送され記憶されているので、これを用いてコンシールメント処理を行う。
【０００４】
【発明が解決しようとする課題】
従来のディジタル復号装置について、以上の様にコンシールメント処理されているが、コンシールメント処理の方法に関しては１列上のマクロブロックのベクトルを用いることのみしか記載されておらず具体性に欠けるものがあった。例えば、エラーを起こしたマクロブロックの下のラインのマクロブロックでもエラーを起こしたとき、あるいは適用する動きベクトルが有効領域外を示すときの対処についても記載がない。
従って、従来のディジタル復号装置では、例えばエラーを起こしたマクロブロックの下のラインのマクロブロックでもエラーを起こしたとき、単に１列上のマクロブロックを用いてコンシールメント処理すると結局相関関係の少ないブロックを用いることになり、視覚的にエラーの伝播が広がり、画像が乱れるという問題点があった。
【０００５】
この発明は上記の様な問題点を解消するためになされたもので、エラーに対するコンシールメントの実用性を高めたディジタル画像復号装置及びディジタル画像復号方法に関するものである。
【００１１】
【課題を解決するための手段】
この発明に係るディジタル画像復号装置は、分割されたブロックのエラーを検出するエラー検出手段と、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別手段と、分割されたブロックの動きベクトルを設定する動きベクトル設定手段と、分割されたブロックの動きベクトルを記憶する動きベクトル記憶手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを設定するものである。
また、この発明に係るディジタル画像復号装置は、エラー検出手段によりエラーが検出された場合であって、動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、ベクトル設定手段は当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを設定するものである。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として大きさをゼロのゼロベクトルを設定するものである。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として当該フレームの有効領域限界までのベクトルに短縮するものである。
【００２０】
また、この発明に係るディジタル画像復号方法は、分割されたブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別ステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記識別ステップにおいて当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを動きベクトル設定手段に設定するステップと、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップとを有するものである。
また、この発明に係るディジタル画像復号方法は、ブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを動きベクトル設定手段に設定するステップと、前記動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップを有するものである。
【００２４】
【発明の実施の形態】
発明の実施の形態１.
以下、この発明における復号装置の一発明の実施の形態を図１、図２、図３について説明する。図１はこの発明の実施の形態に係る復号装置を示すブロック図、図２はこの発明の実施の形態に係る動きベクトル記憶メモリを示す構成図、図３はこの発明の実施の形態に係る動きベクトルの設定を示す図である。
【００２５】
図１において、１００は復号部、１０１はエラー検出手段として機能するエラー検出部、１０２は動きベクトル記憶手段として機能する動きベクトル記憶部、１０３はベクトル設定手段として機能するベクトル設定部、１０４はフレームメモリ、１０５は動き補償復号手段として機能する動き補償復号部、２００は符号化データ、２０１はエラー解析用符号化データ、２０２はエラーフラグ、２０３は復号された動きベクトル、２０４は差分復号データ、２０５は動きベクトル、２０６は設定された動きベクトル、２０７および２０８は予測画像データ、２０９は加算器、２１０は復号画像データ、２１１は指示信号である。
【００２６】
図２において３００は各ブロックにおける動きベクトル格納場所であり、ブロック毎に動きベクトルが格納されている。図１と同一記号は同一またはそれ相当の内容を示す。
図３において、３１０は１フレームの画像、３１１はエラーブロック、３１２はエラーブロックの真上に位置する復号正常ブロック、３１３は復号正常ブロックの動きベクトル、３１４はエラーブロックに対して設定された動きベクトルである。
【００２７】
次に図１、図２、図３をもとに動作を説明する。
図１に示すように、復号部１００では入力した符号化データ２００の復号処理を行う。符号化方式は１フレームをいくつかのブロックに分割してそれぞれのブロック毎に符号化し、かつ時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式（たとえばH.261, MPEG1/2やベクトル量子化など）とする。なお、発明の実施の形態において符号化および復号の順序は便宜上、左上より右方向へ、右端の次は下段の左端より右方向へ順次行うものとする。
【００２８】
エラー検出部１０１では、エラー解析用符号化データ２０１をもとに、復号部１００で復号中にエラーがあるかどうかを検出する。たとえば、入力した符号化データ２００を可変長復号している最中にエラー解析用符号化データ２０１を解析してエラーの検出を行う。エラー解析用符号化データ２０１は符号化データ２００のうちヘッダデータのみでも符号化データ２００そのものでもよく、その復号装置で必要とされるエラーが検出できるデータであればよく本発明を限定するものではない。エラーが検出された場合は、復号部１００にエラーフラグ２０２を出力する。
【００２９】
復号部１００では、現在符号化しているブロックの動き補償復号ベクトル２０３を動きベクトル記憶部１０２へ出力する。動きベクトル記憶部１０２は、この動き補償復号ベクトル２０３を所定の動きベクトル格納場所３００に記憶する。この動きベクトル記憶部１０２は水平１ブロックライン分の記憶容量を持つ。
【００３０】
復号部１００でエラーフラグ２０２を受け取った場合、すなわち復号中にエラーが検出された場合、復号部１００よりベクトル設定部１０３に対してエラーブロック用の動きベクトルを設定するように指示信号２１１が発行される。ベクトル設定部１０３では動きベクトル記憶部１０２の所定の場所に記憶された動きベクトル２０５（例えば図３に示すようにエラーブロック３１１の真上に位置するブロック３１２に相当するベクトル）を設定する。これは動画において一般的にあるブロックとそのブロックの近傍のブロックとは相関関係があるという傾向を利用している。
【００３１】
図３においてブロック３１２とブロック３１１とで動きが異なれば、３１１のブロックに対して３１２のベクトルを適用することは効果的でないが、ブロック３１１、３１２共に同一方向に動いている画像の一部のブロックであればブロック３１１でエラーが生じても３１１のブロックに対して３１２のベクトルを適用することは効果的である。動きベクトルに関して近傍のブロックと相関関係が強いほど効果を発揮する。
【００３２】
ベクトル設定部１０３で動きベクトル２０５を設定した後、復号部１００よりベクトル０（すなわち動きベクトル無し）を動きベクトル記憶部１０２へ転送して記憶される。これは、エラーブロックの動きベクトルが予測不能なためである。
エラーがない状態では、復号部１００で復号された動き補償復号ベクトル２０３は動きベクトル記憶部１０２において所定の位置に記憶された後、そのままベクトル設定部１０３に出力され動き補償復号部１０５へ出力される。
【００３３】
動き補償復号部１０５では入力した動きベクトル２０６に従い、時間的に近傍な予測フレームを格納するフレームメモリ１０４より予測画像データ２０７を読み出し加算器２０９へ出力する。
【００３４】
加算器２０９では復号部１００より出力された差分復号データ２０４および動き補償復号部１０５より出力された予測画像データ２０８を加算する。加算結果は復号画像データ２１０として表示装置へ出力されると共に、次フレームの予測に使用する場合はフレームメモリ１０４へ出力される。次のエラーブロック３１１の真下にあるブロックがエラーブロックである場合には、動きベクトル記憶部１０２の中で、エラーブロック３１１に対応する位置に記憶されたベクトル０を動きベクトル設定部１０３に設定することになる。エラーブロック３１１の真下のブロック３１２はブロックＡから見て２ブロック上になる。したがって、ブロックＡに隣接するブロックよりもさらに離れているブロック３１２の方が一般的に相関関係が低くなるので、この実施の形態では２ブロック離れた動きベクトルは使用していない。
【００３５】
ただし、画像フレームの中の広い部分で画像が動く場合などは、２ブロック以上離れていても動きベクトルの相関関係が強い場合も存在し得るため、他の実施の形態として２ブロック以上離れたブロックの動きベクトルに基づいたベクトルをエラーブロック（Ａ）に適用してもよい。また、実施の形態１でエラーブロック３１２自身のベクトルを０にしてエラーブロック３１２の真下のブロックＡにその０ベクトルを適用したのは、ブロックＡのエラーの影響が周辺のブロックに波及するのを抑制するためである。時間的に連続した復号フレームを見た場合、ベクトルを０にすることによりエラーが修復されるまでの間は時間が経過してもエラーブロックが固定位置に張り付いたように見える。０でなければベクトルに応じてエラーブロックの画像が更新されることになり、場合によっては再生画像が乱れたように見えることもあり得る。
【００３６】
以上のようにこの発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された当該エラーブロックの近傍のブロックの動きベクトルを設定し、前記動きベクトル記憶手段は当該エラーが検出されたブロックの動きベクトルとしてゼロベクトルを記憶するので、エラーの状態を低減するとともにエラーの伝播を抑制できるという効果を奏する。
【００３７】
尚、上記発明の実施の形態では、エラーブロックが数ラインに亘って続いて場合、最初のエラーブロックのみ動きベクトル設定部１０３に近傍の正常ブロックの動きベクトルを設定し、動きベクトル記憶部１０２に０を設定するようにしたが、これに限定されず、エラーブロックが数ラインに亘って続いた場合には任意のラインまでは、動きベクトル設定部でエラーブロックに適用するベクトルとして近傍の正常ブロックの動きベクトルを設定し、その次のラインからエラーブロックに対して動きベクトル記憶部１０２に０を設定してもよい。
【００３８】
発明の実施の形態２．
この発明の実施の形態は、画像フレームの最上段のブロックでエラーを検出した場合の動作に関するものである。復号装置は図１に示す構成と同じである。
図４は、この発明の実施の形態に係る動きベクトル設定部のフローチャート、図５はこの発明の実施の形態に係る動きベクトルの設定を示す図である。
図５において、図３と同一記号は、同一または同一相当の内容を示す。
【００３９】
次に図４、図５を用いて動作を説明する。
動きベクトル設定部１０３では、復号部１００からのエラー発生の指示信号２１１によりエラーブロック３１１の近傍のブロック例えば真上のブロックの動きベクトル２０５をエラーブロックの動きベクトルとして動きベクトル記憶部１０２より取り出す。次にエラーブロック３１１が画像フレームの最上段か否かを判断する（ステップ４０１）。
【００４０】
エラーブロック３１１が画像フレーム３１０の最上段のブロックラインに位置する場合、図５に示すようにエラーブロック３１１の動きベクトルを‘０’とする（ステップ４０３）。これは最上段の上には動きベクトルを参照するブロックが存在しないためである。
一方、ステップ４０１においてエラーブロックが画像フレームの最上段ではないと判断した場合には、エラーブロックの動きベクトルとして、真上のブロックの動きベクトルを用いる（ステップ４０２）。
【００４１】
この発明の実施の形態２に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、フレームの最上段のブロックについて前記エラー検出手段によりエラーが検出された場合には、前記動きベクトル設定手段は当該エラーが検出されたブロックの動きベクトルとしてゼロベクトルを設定するので、領域外の部分のデータを参照せず、エラーコンシールメントに際し画像を乱さないという効果を奏する。
【００４２】
発明の実施の形態３．
図６は、この発明の実施の形態３に係る動きベクトル記憶メモリーを示す構成図である。復号装置は図１に示す構成と同じである。
図６において、図２と同一番号は、同一または同一相当の内容を示す。
図３および図６を用いてこの発明の実施の形態に係る復号装置の動作を説明する。
この発明の実施の形態に係る動きベクトル記憶部１０２では、１ブロックライン分の動きベクトルを記憶できる。ここで、正常に復号されればブロックの動きベクトルは、所定の位置の格納場所たとえば３００a に格納される。
【００４３】
エラーが起こったブロックに対しては、エラーブロックの真上のブロック（以下の第７図に示すように、エラーブロック３１１に対する正常復号ブロック３１２）の動きベクトルを動きベクトル格納場所３００n より読み出して動きベクトル設定部１０３へ出力した後、エラーブロック３１１自身の動きベクトルとして動きベクトル格納場所３００n には‘０’を書き込む。
【００４４】
これはエラーブロックの動きベクトルはエラーにより予測不能であるためで、「動きベクトル無し」とみなし動きベクトルを‘０’とする。‘０’とすることにより、エラーブロックの真下のブロックがさらにエラーブロックとなった場合、真下のブロックは動きベクトル格納場所３００n から動きベクトルを読み出すためさきに設定した‘０’を読み出すことになる。このようにすると、誤りが画像フレームの縦方向のブロックに生じて真上のエラーブロックに相当する動きベクトルを用いて自身のエラーブロックの動き補償予測を行わなければならない場合でも、エラーの伝播が必要以上に広がらないように抑制する。
【００４５】
もし、エラーブロックの動きベクトルとしてエラーブロックのヘッダ情報にある信用できないベクトルをそのまま用いるとすると、誤ったベクトルを引き継いで後方のブロックの復号を行うことになる。エラーブロックの動きベクトルを‘０’とすることにより、参照する予測画像フレームと同一な画像を予測画像として取り出すので時間的な画像変化がなく視覚的にエラーの伝播が必要以上に広がらない様に見える効果がある。また、エラーブロック以降のブロックの復号に対してもエラーの伝播を抑制する効果がある。
【００４６】
上記例では、エラーが発生したブロックに対して、近傍ブロックとして同一フレーム上の一ブロックライン上かつ真上のブロックをそのブロックの動きベクトルとして使用する場合、図３に示す様にあるエラーが発生したエラーブロック３ル１の動きベクトルをエラーブロックの真上に位置する正常処理ブロック３１２の動きベクトル３１３をエラーブロックの動きベクトル３１４としたが、エラーブロックの左のブロックすなわち直前に復号されたブロックの動きベクトルやエラーブロックの近傍のブロック（ただしエラーブロックでないことが推認されすでに復号されているブロック）の動きベクトルを用いてもよく、本発明を制限するものではない。
【００４７】
また、上記発明の実施の形態では１ブロックライン分の動きベクトルを記憶するようにしたが、特に１ブロックライン分に限定する必要はなく、エラーコンシールの内容に応じてメモリの容量を変えてもよく、本発明を制限するものではない。
【００４８】
以上のようにこの発明の実施の形態３に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された当該エラーブロックの近傍のブロックの動きベクトルを設定し、前記動きベクトル記憶手段は当該エラーが検出されたブロックの動きベクトルとしてゼロベクトルを記憶するので、エラーの状態を低減するとともにエラーの伝播を抑制できるという効果を奏する。
【００４９】
発明の実施の形態４．
図７はこの発明の実施の形態４に係る動きベクトルの設定を示す図である。図７において、図３と同一番号は、同一または同一相当の内容を示す。
図８はこの発明の実施の形態４に係る動きベクトル設定部の動作を示すフローである。復号装置は図１に示す構成と同一である。
【００５０】
次に図７および図８を用いて動作を説明する。
動きベクトル設定部１０３では、復号部１００からのエラー発生の指示信号２１１によりエラーブロックの近傍の（図７では真上のもしくは真左横の）ブロックに相当する動きベクトル２０５を動きベクトル記憶部１０２より取り出す。この動きベクトル２０５をエラーブロック３１１に適用した場合に画像フレーム３１０から外に出るかどうかを判断する（ステップ８０１）。
【００５１】
その動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出す場合、動きベクトル設定部１０３は、動きベクトルを‘０’に設定する（ステップ８０３）。これは、適用した動きベクトルでは予測が不能なためで、動きベクトルを‘０’にした理由は復号するエラーブロックと予測画像と比して時間的に画像の変化がないようにするためである。
【００５２】
動きベクトル２０５をエラーブロック３１１に適用した場合に画像フレーム３１０からはみ出さない場合には、動きベクトル設定部１０２はこの動きベクトルを設定する（ステップ８０２）。
【００５３】
図７では、エラーブロック３１１の真上のブロック３１２の動きベクトル３１３を適用したベクトル３２３が予測無効領域を指し示す例と、エラーブロック３１１の真左横のブロック３１６の動きベクトル３１７を適用したベクトル３２７が予測無効領域を指し示す例を表している。
【００５４】
この発明の実施の形態に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックの動きベクトルを記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、当該エラーが検出されたエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとして設定したときに前記フレーム外の無効領域を指し示す場合には、前記ベクトル設定手段は前記動きベクトル記憶手段より読み出した当該エラーブロックの近傍のブロックの動きベクトルを短縮処理した後に設定するので、範囲外のデータで予測を行うことを防止するという効果を奏する。
【００５５】
特にベクトル設定手段を短縮処理としてゼロベクトルを設定するので、確実かつ簡易に範囲外のデータで予測を行うことを防止するという効果を奏する。
【００５６】
発明の実施の形態５．
図９は、発明の実施の形態５に係る動きベクトルの設定を示す図である。図９において、第３図および図７と同一番号は、同一または同一相当の内容を示す。
図１０は、発明の実施の形態５に係る復号装置の動作を示すフローである。
復号装置は図１に示す構成と同一である。
【００５７】
次に図９および図１０を用いて動作を説明する。
動きベクトル設定部１０３では、復号部１００からのエラー発生の指示信号２１１によりエラーブロックの近傍の（図９では真上のもしくは真左横の）ブロックに相当する動きベクトル２０５を動きベクトル記憶部１０２より取り出す。
【００５８】
まず、その動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出す場合か否かを判断する（ステップ１００１）。その動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出す場合、動きベクトル設定部１０３は、動きベクトルをフレームの境界すなわち予測領域有効限界にベクトルを短縮して設定する（ステップ１００３）。これは、適用した動きベクトルでは予測が不能なためで、動きベクトルを短縮して設定した理由は、復号するエラーブロックが再現する動きをエラーブロックの近傍のブロックの動きになるべく合わせることにより近傍のブロックと比して空間的に画像の変化をできるだけ少なくするためである。
【００５９】
ステップ１００１において、動きベクトル２０５をエラーブロック３１１に適用すると画像フレーム３１０からはみ出さないと判断した場合には、エラーブロックの動きベクトルとして真上のブロックの動きベクトルを用いる。
【００６０】
発明の実施の形態４では時間的に画像の変化がないようにするためであるのに対して、発明の実施の形態５は上述したように空間的に画像の変化をできるだけ少なくするためであるのが特徴である。
【００６１】
このようにこの発明の実施の形態に記載された発明によれば、ディジタル画像復号装置は、ベクトル設定手段を短縮処理として当該フレームの有効領域限界までのベクトルに短縮するので、エラーブロックの近傍のブロックの動きベクトルと近いベクトルにより補償することができ、時間的または空間的に再現性をよりよくしたエラーコンシールメントができるという効果を奏する。
【００６２】
図９では、エラーブロック３１１の真上のブロック３１２の動きベクトル３１３を予測可能限界まで短縮して適用したベクトル３２４の例と、エラーブロック３１１の真左横のブロック３１６の動きベクトル３１７を予測可能限界まで短縮して適用したベクトル３２８の例を表している。
【００６３】
発明の実施の形態６．
図１１は、発明の実施の形態６に係る動きベクトルの設定を示す図である。図１１において、図３、図７、図９、図１２および図１３と同一番号は、同一または同一相当の内容を示す。復号装置の構成は図１と同一の構成である。
【００６４】
次に図１１について動作を説明する。
現在復号しているフレーム３１０の復号途中でエラーが検出された場合、現エラーブロック３１１に対して上記発明の実施の形態の復号処理を行うだけでなく、現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対してもエラーブロックと見なして上記発明の実施の形態の処理行う。
【００６５】
現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できる場合は、現エラーブロック３１１のみをエラー処理して次ブロック以降のブロック３１５は正常時の復号処理をすることができる。ただし、次のブロックが現エラーブロック３１１のパラメータやデータに基づいて復号する場合は、現在のエラーを引き継ぐためその後たとえ動作的には異常がなく復号されても結果的にはエラーブロックになる。
【００６６】
したがって、現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できるかどうかの識別を行う回路を挿入し、独立なら次ブロック以降のブロック３１５は正常時の復号処理をするようにしてもよい。ただ一般的には隣接するブロック同士は相関関係が強く、たとえばブロック間で直流成分や動きベクトルの差分を取りその差分信号を符号化するなど符号化効率を上げるためにブロック間の相関関係を利用する場合が多い。
【００６７】
したがって、上記のような一般的な符号化データを復号する場合は、エラーが検出されたブロック以降３１５は現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対しては強制的に一律エラーブロックと見なして処理する方法があり、その場合前記識別回路などの特別な回路を追加する必要がない。ただし、隣接するブロックが独立して復号できる場合、正常に復号できるブロックも一律エラーブロックとして処理されてしまう。したがって、次に復号する隣接ブロックが現エラーブロックとは独立して復号可能かどうか識別し、独立復号可能な場合は隣接ブロック以降は次に新たなエラーが検出されるまで正常に復号が行えるようにする。この動作を現エラーの影響がおよばない次の復号単位（たとえばスライス単位やピクチャ単位など）の直前までの各ブロックについて行う。このようにエラーの影響をエラーを起こしたブロックになるべくとどめるようにすることにより、エラーの伝播を抑制するだけでなく、より再現性の高いエラーコンシールメントが行える。
【００６８】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックとこのブロックと隣接し次に復号する隣接ブロックとが独立して復号可能かどうか識別する識別手段と、前記ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックが当該エラーブロックと独立して復号できないと識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして動きベクトルを設定するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
【００６９】
発明の実施の形態７．
図１２は、この発明の実施の形態７に係る動きベクトルの設定を示す図である。図１２において、図３、図７、図９および図１３と同一番号は、同一または同一相当の内容を示す。復号装置は図１で示した構成と同一である。
【００７０】
図において３０２、３０３、３０４、３１０、３３０、３３１はそれぞれ画像フレームである。動きベクトル３４２、３５２はフレーム３０２に対応する正常ブロック３１２の動きベクトルであり、動きベクトル３４３、３５３はフレーム３３１に対応する正常ブロック３１２の動きベクトルである。１フレームは２フィールドより構成される場合があり、その各フィールドより動きベクトルを求めた場合には、このように１フレームより２つの動きベクトルが算出される場合がある。
【００７１】
次に図１２について動作を説明する。
現在復号しているフレーム３１０が時間的に過去のフレーム３０２および時間的に未来のフレーム３３１を予測画像として復号する場合、正常な復号時はブロック３１２で予測に使用するフレーム３０２に対応する動き補償ベクトル３４２、３５２およびフレーム３３１の各フィールドに対応する動き補償ベクトル３４３、３５３あるいは何れか一方の予測フレームの２つのベクトルを用いる。フレーム３１０でエラーが発生した場合、エラーブロック３１１の動き補償ベクトルとして上記エラーブロック３１１の近傍のブロック（図１２では真上）の動き補償ベクトル３４２、３４３、３５２、３５３のうち何れか一つの動き補償ベクトルを適用する。
【００７２】
これは、エラーブロックの近傍のブロックのすべての動き補償ベクトルを用いてもエラーブロックの再現性が必ずしも向上するとは限らず、またすべてのベクトルを記憶するメモリが必要になるためである。一部の数のベクトルのみ適用することによりエラーブロック用のベクトル記憶メモリを減らすことができ、すべての動き補償ベクトルを用いた場合と比較してエラーブロックの再現性に余り差がないことが一般的にいえる。
【００７３】
たとえば、ベクトル３４２、３４３、３５２、３５３すべてを使用して動き補償を行う場合、ベクトル３４２、３４３は同一フレームのベクトルであり、同様にベクトル３５２、３５３は同一フレームのベクトルであるため、同一フレーム内のそれぞれのベクトル３４２、３４３またはベクトル３５２、３５３から予測される画像はほとんどの場合ほぼ同一もしくは類似のものである。
【００７４】
また、動き予測を行う場合、上記４つのベクトルから予測される画像に基づいて予測が行われるため、４つの画像が同一もしくは類似の画像でなければもともとの符号化データが符号化効率が悪い上予測効率が悪いことになる。たとえば４つのベクトルから予測される画像に基づいた予測が４つの予測画像（あるいは３４２と３４３をペアにし３５２と３５３をペアにした２つのフレーム予測画像）の算術平均画像を用いるものであった場合、いずれか１つでも類似でない画像がれば的外れな予測画像となるため算術平均を取る意味がなくなってしまう。
【００７５】
したがって、符号化効率及び予測効率を考慮して符号化されたデータであることを前提にするのであれば、たとえば上記４つのベクトルより予測される画像は何れもほぼ同一もしくは類似の画像であるということができる。
【００７６】
以上の理由からエラーブロックの近傍のブロックの一部の数の動き補償ベクトルを用いて動き補償を行っても、すべての動き補償ベクトルを用いた場合と比較してもエラーブロックの再現性に余り差がないことが説明できる。
【００７７】
なお、この発明の実施の形態では各フィールドに対応する動き補償ベクトルについて記述したが、各ブロックを分割しそれぞれ分割されたサブブロックに対応する動き補償ベクトルであってもよい。また、時間的に差異のある複数のベクトルであってもよく、ある任意のブロックに使用される複数の動き補償ベクトルがフィールドに対応するものだけではないことは明白であり、フィールドに対応する動き補償ベクトル以外の動き補償ベクトルを用いてもよく本発明を制限するものではないことは明らかである。
【００７８】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、複数の動きベクトルより動きベクトルを選択して当該選択された動きベクトルをブロック毎に記憶する動きベクトル記憶手段と、ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された当該エラーブロックの近傍のブロックの動きベクトルを設定するので、より少ないハードウエアで、エラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理を行うことができるという効果を奏する。
【００７９】
発明の実施の形態８．
図１３は、この発明の実施の形態８及び発明の実施の形態９に係る動きベクトルの設定を示す図である。
図１３において、図３、図７および図９と同一番号は、同一または同一相当の内容を示す。復号装置は図１で示した構成と同一である。
【００８０】
次に図１３について動作を説明する。
現在復号しているフレーム３１０が時間的に過去のフレーム３０２および時間的に未来のフレーム３３１を予測画像として復号する場合、正常な復号時はブロック３１２で予測に使用するフレーム３０２に対応する動き補償ベクトル３４２およびフレーム３３１に対応する動き補償ベクトル３４３あるいは何れか一方を用いる。
【００８１】
フレーム３１０でエラーが発生した場合、エラーブロック３１１の動き補償ベクトルとして上記エラーブロック３１１の近傍のブロック（図１３では真上）の動き補償ベクトル３４２および３４３のうちフレーム３１０に時間的に近いフレーム３３１の動き補償ベクトル３４３を適用する。
【００８２】
これは、複数の動き補償ベクトルを用いてもエラーブロックの再現性が必ずしも向上するとは限らず、また複数分のベクトルを記憶するメモリが必要になるためである。一つのベクトルのみを適用することによりエラーブロック用のベクトル記憶メモリを最小限にすることができる。また、フレーム３１０に時間的に近いフレーム３３１の動き補償ベクトル３４３を適用した理由は、一般的に被写体が動いている場合時間的に近い方の予測フレームより予測画像を取りだした方が再現性が高いからである。
【００８３】
以上のようにこの発明の実施の形態に記載された発明に係るディジタル画像復号装置は、動きベクトル記憶手段が、前記複数のベクトルのうち当該フレームに時間的に近いフレームの動きベクトルを優先的に選択するものとしたので、エラーが起こったとき、そのエラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理を行うことができるという効果を奏する。
【００８４】
発明の実施の形態９．
次に図１３についてこの発明の実施の形態９に係る復号装置の動作を説明する。
現在復号しているフレーム３１０が時間的に過去のフレーム３０２および時間的に未来のフレーム３３１を予測画像として復号する場合、正常な復号時はブロック３１２で予測に使用するフレーム３０２に対応する動き補償ベクトル３４２およびフレーム３３１に対応する動き補償ベクトル３４３あるいは何れか一方を用いる。
【００８５】
フレーム３１０でエラーが発生した場合、エラーブロック３１１の動き補償ベクトルとして上記エラーブロック３１１の近傍のブロック（図１３では真上）の動き補償ベクトル３４２および３４３のうちフレーム３１０より以前に復号されたフレーム３０２の動き補償ベクトル３４２を適用する。
【００８６】
これは、複数の動き補償ベクトルを用いてもエラーブロックの再現性が必ずしも向上するとは限らず、また複数分のベクトルを記憶するメモリが必要になるためである。一つのベクトルを適用することによりエラーブロック用のベクトル記憶メモリを最小限にすることができる。ただし、目的に応じてメモリ容量を問わずに少しでも再現性の高いエラーコンシールメントが行えるように複数の動きベクトルのうちすべてもしくは一部を選択して、選択した動きベクトルに基づいた動きベクトルをエラーブロックに適用することもあり得る。つまり、「選択」という表現の何れか一つのベクトルを選択するという狭義の意味ではなく、上記説明のようにすべてもしくは一部（一つも含む）のベクトルを選択するという意味である。「選択」に関する意味は他の実施の形態についても同様である。
【００８７】
また、フレーム３１０より以前に復号されたフレーム３０２の動き補償ベクトル３４２を適用した理由は、常に過去のフレームからの動き補償ベクトルを適用することにより「過去」か「未来」かを表すパラメータを記憶する必要がなく、発明の実施の形態８では時間的に近い方が「過去」か「未来」か何れの場合もあり得て再現性が高いという特徴があるが、発明の実施の形態９では適用するベクトルを「過去」のベクトルに限定することにより、発明の実施の形態８に比べエラーブロック用のベクトル記憶メモリを少なくすることができる。
【００８８】
以上のようにこの発明の実施の形態に記載された発明に係るディジタル画像復号装置は、動きベクトル記憶手段を前記複数のベクトルのうち当該フレームよりも時間的に過去のフレームの動きベクトルを優先的に選択するものとしたので、未来の画像フレームを考慮する必要のないため、より少ないハードウエアで、エラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理が行うことができるという効果を奏する。
【００８９】
発明の実施の形態１０．
図１４はこの発明の実施の形態１０に係る動きベクトルの設定を示す図である。図１４において、図３、図７、図９および図１３と同一番号は、同一または同一相当の内容を示す。復号装置は図１で示した構成と同一である。
【００９０】
上記各実施の形態では、エラーが発生したブロックに対して、近傍ブロックとして同一フレームの一ブロックライン上でありなおかつ真上のブロックをそのブロックの動きベクトルとして使用する例を挙げ、図３に示すようにエラーが発生したエラーブロックの真上に位置する正常処理ブロック３１２の動きベクトル３１３を適用した。
【００９１】
しかしながら、ブロック３１２の動きベクトル３１３だけではなく、エラーブロックの左のブロック３１６すなわち直前に復号されたブロックの動きベクトル３１７やエラーブロックの真左ブロック３１８の動きベクトル３１９、エラーブロックの真上右ブロック３２０の動きベクトル３２１などエラーブロックの近傍のブロックの動きベクトルに基づいた動きベクトルを用いてもよく、本発明を制限するものではない。
【００９２】
ここでいう「基づいたベクトル」とは前記何れか１つあるいは複数の動きベクトルそのものを適用した動きベクトルであっても、前記複数の動きベクトルの算術平均あるいは前記複数の動きベクトルのうち頻度の一番多いベクトルであってもよく、本発明を制限するものではない。つまりエラーブロックが元々持っていた動きベクトルにできるだけ近いと思われるようなベクトルを算出する方法によりベクトルを求めるのが目的である。
【００９３】
これは動画において一般的にあるブロックとそのブロックの近傍のブロックとは相関関係があるという傾向を利用している。動きベクトルに関して近傍のブロックと相関関係が強いほど動きベクトルの再現性が高いという効果を発揮するのはいうまでもない。
【００９４】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、前記複数のブロックの動きベクトルを記憶する動きベクトル記憶手段と、前記ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合に、前記動きベクトル設定手段は前記動きベクトル記憶手段に記憶された複数のブロックの中から当該エラーブロックに適する動きベクトルを選択し設定するので、エラーが起こったとき、そのエラーブロックに対してより再現性の良い、効率的なエラーコンシールメント処理が行えるという効果を奏する。
【００９５】
発明の実施の形態１１．
図１５はこの発明の実施の形態１１に係る復号装置を示すブロック図である。図１５において、図１と同一番号は、同一または同一相当の内容を示す。
次に図１５を用いて復号装置の動作を説明する。
現在復号しているフレーム３１０の復号途中でエラーが検出された場合、現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できる場合は、現エラーブロック３１１のみをエラー処理して次エラーブロック以降のブロック３１５は正常時の復号処理をすることができる。ただし、次のブロックが現エラーブロック３１１のパラメータやデータの基づいて復号する場合は、現在のエラーを引き継ぐためその後たとえ動作的には異常がなく復号されても結果的にはエラーブロックになる。
【００９６】
従って、現エラーブロック３１１の次のブロックが現エラーブロック３１１とは独立して復号できるかどうかを判定するためにはエラー判定部２２０が必要となる。このエラー判定部２２０は、前記エラー検出部１０１より送出されるエラー指示信号２０２により現在復号中のブロックがエラーであることが判明した場合、次のブロック以降の符号化データ２００を入力して次ブロック以降の特性を解析する。
【００９７】
解析の結果、現エラーブロックと独立して復号できるなら次ブロック以降のブロック３１５は正常な復号処理を行うことができるため、復号部１００に対して「エラーブロック以降のブロックはエラーブロックとは独立して復号できる」を示すエラー判定信号２２１を送出する。
復号部１００では、「独立符号可」を示す信号であれば、現エラーブロックのみをエラー処理（エラーブロック用ベクトル設定）する。たとえば、エラーブロックの直後がＩＮＴＲＡ ＭＢ（フレーム内予測により符号化されたＭＢ）である場合はエラーブロックの直後のブロックはエラーブロックとは独立して復号できる。
【００９８】
一方、解析の結果、現エラーブロックと独立して復号することができない場合は「独立復号不可」の信号をエラー判定部２２０より復号部１００に送出し、復号部１００で現エラーブロック３１１に対して上記実施の形態のような復号処理を行うだけでなく、現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対してもエラーブロックと見做して動きベクトル設定部１０３に対して上記実施の形態のエラー処理を行う。たとえば、エラーブロックの直後のブロックがエラーブロックの動きベクトルに基づいてベクトル生成する場合などは「独立復号不可」となる。
【００９９】
なお、実施の形態１１では「現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対してもエラーブロックとみなして動きベクトル設定部１０３に対して上記実施の形態のエラー処理を行う」ようにしたが、必ずしもすべてのブロック３１５に対してエラーブロックとみなさなくてもよい。すなわち、実施の形態６でも説明したが、次に復号する隣接ブロックが現エラーブロックとは独立して復号可能かどうか識別し、独立復号不可能な場合は隣接ブロックもエラーブロックとみなして処理をし、独立復号可能な場合は隣接ブロック以降は次に新たなエラーが検出されるまでに正常に復号が行えるようにする。この動作を現エラーの影響がおよばない次の復号単位（たとえばスライス単位やピクチャ単位など）の直前までの各ブロックについて行う。つまり、一つ一つのブロックに対し、直前の隣接エラーブロックと独立して復号できるかを調べるようにすれば、エラーブロック以降一律エラーブロックとみなすよりエラーの影響をエラーを起こしたブロックになるべくとどめるようにすることが可能になるため、エラーの伝播を抑制するだけでなく、より再現性の高いエラーコンシールメントが行える。
【０１００】
「独立復号不可」の場合、現在のエラーの影響がおよばない次の復号単位の直前までのすべてのブロック３１５に対し、動きベクトルを「０」とする場合（ケース１）と近傍のブロックのベクトルに基づいてベクトルを適用する場合（ケース２）とがあり、ブロック毎に何れかのベクトルを設定する。ケース１の場合の利点はエラーブロックがリフレッシュされるまでの期間（たとえば数フレーム後にＩＮＴＲＡフレームが来るなど）エラーの起こった場所以外にエラーが波及しないということが上げられる。ただし、リフレッシュされるまでの期間は常に同一の画像であるため、エラーブロック（群）が一目でわかる。
【０１０１】
また、ケース２の場合の利点は、エラーブロックの本来の画像に近い画像を再生できる。ただし、若干の誤差があるためリフレッシュされるまでの期間が長い場合は、前記誤差が蓄積しエラーブロックの近傍の領域までエラーの影響が広がってしまう。ケース１とケース２とはそれぞれ一長一短があるため、条件に応じてどちらを選ぶか決める必要がある。
【０１０２】
上記実施の形態では、次のブロック以降の符号化データ２００を入力するようにしたが、この場合、エラー判定部２２０で符号化データの復号を行う必要があるため、エラー判定部２２０で解析に必要なデータを復号部１００から入力してもよい。
【０１０３】
なお、上記エラー判定部の動作を復号部で行うようにすれば、エラー判定部は回路の構成として復号部の中に含めてもよく、回路の構成によって本発明が制限されるものではない。
【０１０４】
この発明の実施の形態に記載された発明に係るディジタル画像復号装置は、ブロックのエラーを検出するエラー検出手段と、ブロックとこのブロックと隣接し次に復号する隣接ブロックとが独立して復号可能かどうか識別する識別手段と、前記ブロックの動きベクトルを設定する動きベクトル設定手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックが当該エラーブロックと独立して復号できないと識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして動きベクトルを設定するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
【０１１０】
【発明の効果】
この発明に係るディジタル画像復号装置は、分割されたブロックのエラーを検出するエラー検出手段と、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別手段と、分割されたブロックの動きベクトルを設定する動きベクトル設定手段と、分割されたブロックの動きベクトルを記憶する動きベクトル記憶手段と、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを設定するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
また、この発明に係るディジタル画像復号装置は、エラー検出手段によりエラーが検出された場合であって、動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、ベクトル設定手段は当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを設定するので、範囲外のデータで予測を行うことを防止するという効果を奏する。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として大きさをゼロのゼロベクトルを設定するので、確実かつ簡易に範囲外のデータで予測を行うことを防止するという効果を奏する。
また、この発明に係るディジタル画像復号装置は、ベクトル設定手段は、短縮処理として当該フレームの有効領域限界までのベクトルに短縮するので、エラーブロックの近傍のブロックの動きベクトルと近いベクトルにより補償することができ、時間的または空間的に再現性をよりよくしたエラーコンシールメントができるという効果を奏する。
【０１１９】
また、この発明に係るディジタル画像復号方法は、分割されたブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別ステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記識別ステップにおいて当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを動きベクトル設定手段に設定するステップと、動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップとを有するので、エラーブロック以降のブロックがエラーを引き継ぐ可能性がある場合にエラーの伝播を抑制できるという効果を奏する。
また、この発明に係るディジタル画像復号方法は、ブロックのエラーを検出するエラー検出ステップと、前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、前記エラー検出ステップにおいてエラーが検出された場合であって、前記動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときにフレーム外の無効領域を指し示す場合には、当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを動きベクトル設定手段に設定するステップと、前記動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップを有するので、範囲外のデータで予測を行うことを防止するという効果を奏する。
【図面の簡単な説明】
【図１】 発明の実施の形態に係る復号装置を示すブロック図である。
【図２】 発明の実施の形態１に係る動きベクトル記憶メモリを示す図である。
【図３】 発明の実施の形態１に係る動きベクトルの設定を示す図である。
【図４】 発明の実施の形態２に係る動きベクトル設定部のフローチャートである。
【図５】 発明の実施の形態２に係る動きベクトルの設定を示す図である。
【図６】 発明の実施の形態３に係る動きベクトル記憶メモリを示す図である。
【図７】 発明の実施の形態４に係る動きベクトルの設定を示す図である。
【図８】 発明の実施の形態４に係る動きベクトル設定部のフローチャートである。
【図９】 発明の実施の形態５に係る動きベクトルの設定を示す図である。
【図１０】 発明の実施の形態５に係る動きベクトル設定部のフローチャートである。
【図１１】 発明の実施の形態６に係る動きベクトルの設定を示す図である。
【図１２】 発明の実施の形態７に係る動きベクトルの設定を示す図である。
【図１３】 発明の実施の形態８及び発明の実施の形態９に係る動きベクトルの設定を示す図である。
【図１４】 発明の実施の形態１０に係る動きベクトルの設定を示す図である。
【図１５】 発明の実施の形態１１に係る復号装置を示すブロック図である。
【図１６】 従来の動きベクトルの設定を示す図である。
【符号の説明】
１００ 復号部、１０１ エラー検出部、１０２ 動きベクトル記憶部、
１０３ ベクトル設定部、１０４ フレームメモリ、１０５ 動き補償復号部、２００ 符号化データ、２０１ エラー解析用符号化データ、２０２ エラーフラグ、２０３ 動きベクトル、２０４ 差分復号データ、２０５ 動きベクトル、２０６ 設定動きベクトル、２０７ 予測画像データ、２０８ 予測画像データ、２０９ 加算器、２１０ 復号画像データ、２１１ 指示信号、２２０ エラー判定部、２２１ エラー判定信号、３００ 動きベクトル格納場所、３０２予測画像フレーム、３０３ 予測画像フレーム、３０４ 予測画像フレーム、３１０ 復号画像フレーム、３１１ エラーブロック、３１２ 復号正常ブロック（エラーブロックの真上）、３１３ 復号正常ブロックの動きベクトル、
３１４ エラーブロックに適用した動きベクトル、３１５ エラーブロック以降のブロック、３１６ 復号正常ブロック（エラーブロックの真左横）、３１７ 復号正常ブロックの動きベクトル、３１８ 復号正常ブロック（エラーブロックの真左横）、３１９ 復号正常ブロックの動きベクトル、３２０ 復号正常ブロック（エラーブロックの真上右横）、３２１ 復号正常ブロックの動きベクトル、３２３ エラーブロックに適用しようとした領域外の動きベクトル、３２４ エラーブロックに適用する領域限界に短縮調整された動きベクトル、３２７ エラーブロックに適用しようとした領域外の動きベクトル、３２８ エラーブロックに適用する領域限界に短縮調整された動きベクトル、３３０ 予測画像フレーム、３３１ 予測画像フレーム、３４２ 予測動きベクトル、３４３ 予測動きベクトル、３５２ 予測動きベクトル、３５３ 予測動きベクトル、５６０ 復号フレーム。
Claims (6)
- フレーム中の画像を複数のブロックに分割し、隣接するブロックの相関関係を利用して各ブロック毎に符号化されたブロックを含む符号化データを当該ブロック毎に動きベクトルを用いて復号するディジタル画像復号装置において、
分割されたブロックのエラーを検出するエラー検出手段と、
分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別手段と、
分割されたブロックの動きベクトルを設定する動きベクトル設定手段と、
分割されたブロックの動きベクトルを記憶する動きベクトル記憶手段と、
動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号手段とを有し、
前記エラー検出手段によりエラーが検出された場合であって、前記識別手段により当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、前記動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを設定することを特徴とするディジタル画像復号装置。 - 前記エラー検出手段によりエラーが検出された場合であって、前記動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときに前記フレーム外の無効領域を指し示す場合には、前記ベクトル設定手段は当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを設定することを特徴とする請求項１に記載のディジタル画像復号装置。
- 前記ベクトル設定手段は、短縮処理として大きさをゼロのゼロベクトルに短縮することを特徴とする請求項２に記載のディジタル画像復号装置。
- 前記ベクトル設定手段は、短縮処理として当該フレームの有効領域限界までのベクトルに短縮することを特徴とする請求項２に記載のディジタル画像復号装置。
- フレーム中の画像を複数のブロックに分割し、隣接するブロックの相関関係を利用して各ブロック毎に符号化されたブロックを含む符号化データを当該ブロック毎に動きベクトルを用いて復号するディジタル画像復号方法において、
分割されたブロックのエラーを検出するエラー検出ステップと、
前記エラー検出ステップにおいてエラーが検出されない場合には、当該ブロックの動きベクトルを動きベクトル設定手段に設定し、当該ブロックの動きベクトルをベクトル記憶手段に記憶するステップと、
分割されたブロックとこのブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたかどうか識別する識別ステップと、
前記エラー検出ステップにおいてエラーが検出された場合であって、前記識別ステップにおいて当該エラーブロックと隣接し次に復号する隣接ブロックとが相関関係を利用して符号化されたブロックであると識別した場合には、動きベクトル設定手段は当該隣接ブロックもエラーブロックとして近傍のブロックの動きベクトルを前記動きベクトル記憶手段より読み出し当該読み出した動きベクトルに基づいて算出した動きベクトルを動きベクトル設定手段に設定するステップと、
動きベクトル設定手段に設定された動きベクトルにより動き補償復号を行う動き補償復号ステップとを有するディジタル画像復号方法。 - 前記エラー検出ステップにおいてエラーが検出された場合であって、前記動きベクトル記憶手段より読み出したエラーブロックの近傍のブロックの動きベクトルを当該エラーブロックの動きベクトルとしたときに前記フレーム外の無効領域を指し示す場合には、当該エラーブロックの近傍のブロックの動きベクトルの大きさを短縮する短縮処理をし、この短縮処理をした動きベクトルを動きベクトル設定手段に設定するステップと、
を有する請求項５に記載のディジタル画像復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002307033A JP3852594B2 (ja) | 2002-10-22 | 2002-10-22 | ディジタル画像復号装置及びディジタル画像復号方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002307033A JP3852594B2 (ja) | 2002-10-22 | 2002-10-22 | ディジタル画像復号装置及びディジタル画像復号方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33518495A Division JP3496378B2 (ja) | 1995-12-22 | 1995-12-22 | ディジタル画像復号装置及びディジタル画像復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003179937A JP2003179937A (ja) | 2003-06-27 |
| JP3852594B2 true JP3852594B2 (ja) | 2006-11-29 |
Family
ID=19197436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002307033A Expired - Fee Related JP3852594B2 (ja) | 2002-10-22 | 2002-10-22 | ディジタル画像復号装置及びディジタル画像復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3852594B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8811473B2 (en) | 2009-07-07 | 2014-08-19 | Panasonic Corporation | Moving picture decoding device, moving picture decoding method, moving picture decoding system, integrated circuit, and program |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4523886B2 (ja) | 2005-07-08 | 2010-08-11 | 富士通株式会社 | 動画像復号装置、動画像復号方法および動画像復号プログラム |
| JP2009105986A (ja) * | 2009-02-16 | 2009-05-14 | Toshiba Corp | 復号器 |
-
2002
- 2002-10-22 JP JP2002307033A patent/JP3852594B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8811473B2 (en) | 2009-07-07 | 2014-08-19 | Panasonic Corporation | Moving picture decoding device, moving picture decoding method, moving picture decoding system, integrated circuit, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003179937A (ja) | 2003-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3297293B2 (ja) | 動画像復号方法および動画像復号装置 | |
| JP5536174B2 (ja) | リファレンスビデオフレーム及びノンリファレンスビデオフレームの検出及び隠蔽の方法及び装置 | |
| JP4724061B2 (ja) | 動画像符号化装置 | |
| US7453941B1 (en) | Moving pictures encoding method and apparatus for detecting a scene change between fields of an interlaced image | |
| US20090262837A1 (en) | Moving Image Decoding Apparatus and moving image decoding method | |
| KR20040018501A (ko) | 비-프레임의 역 이산 코사인 변환 연산을 줄임으로써복잡도를 감소한 비디오 디코딩 | |
| EP1777967B1 (en) | Filtering apparatus, method, and medium for multi-format codec | |
| JPH08154247A (ja) | 圧縮画像データ処理装置及び方法 | |
| KR100215824B1 (ko) | 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법 | |
| US8165217B2 (en) | Image decoding apparatus and method for decoding prediction encoded image data | |
| JP3519441B2 (ja) | 動画像伝送装置 | |
| US6909750B2 (en) | Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing | |
| JP4509809B2 (ja) | ディジタル画像復号装置及び方法 | |
| JP3496378B2 (ja) | ディジタル画像復号装置及びディジタル画像復号方法 | |
| JP3852594B2 (ja) | ディジタル画像復号装置及びディジタル画像復号方法 | |
| US7016414B2 (en) | Method and system for skipping decoding of overlaid areas of video | |
| JP2006203597A (ja) | ディジタル画像復号装置及び方法 | |
| JP2006279330A (ja) | 動き補償処理方法 | |
| JP5183309B2 (ja) | 映像復号化装置及び方法 | |
| JP2008109642A (ja) | 映像復号化装置及び方法 | |
| US8179965B2 (en) | Moving picture coding method | |
| JP2824024B2 (ja) | 画像復号方法および装置 | |
| KR100774453B1 (ko) | 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법 | |
| US20080279277A1 (en) | Methods and systems for performing image processing upon pixel data and loading pixel data in parallel | |
| JPH09214975A (ja) | シーンチェンジ適応動画像符号化方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060829 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |