JPWO2002051162A1 - 動画像復号方法および動画像復号装置 - Google Patents
動画像復号方法および動画像復号装置 Download PDFInfo
- Publication number
- JPWO2002051162A1 JPWO2002051162A1 JP2002552331A JP2002552331A JPWO2002051162A1 JP WO2002051162 A1 JPWO2002051162 A1 JP WO2002051162A1 JP 2002552331 A JP2002552331 A JP 2002552331A JP 2002552331 A JP2002552331 A JP 2002552331A JP WO2002051162 A1 JPWO2002051162 A1 JP WO2002051162A1
- Authority
- JP
- Japan
- Prior art keywords
- error
- decoded
- image
- image data
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Abstract
可変長復号部（１０）のエラー検出部（１１）は、復号すべき符号化画像のエラーを検出し、そのエラーに関するエラー情報を制御部（８）へ送出する。エラー情報に基づきエラーが検出されたかもしくはエラー発生頻度が大きく画像への影響が大きいと判定すると、制御部（８）は表示部（９）への復号画像データの転送を中止する。その後、エラーが検出されなくなったかもしくは画像への影響が小さいと判定すると、制御部（８）は表示部（９）への復号画像データの転送を再開する。この結果、エラーにより崩れた違和感のある画像を表示することを防止することができる。
Description
技術分野
この発明は、ＭＰＥＧ２、ＭＰＥＧ４等の動画像圧縮・伸張規格に従い圧縮された映像符号化データを受信して復号し、復号画像を表示する動画像復号方法および動画像復号装置に関するものである。
背景技術
第１図はＭＰＥＧ２やＭＰＥＧ４等の動画像圧縮・伸張規格に従い圧縮された映像符号化データを受信して復号し、復号画像を表示する従来の動画像復号装置の構成を示すブロック図である。図において、１は受信した圧縮された映像符号化データを可変長復号する可変長復号部であり、２は可変長復号されたデータを逆量子化、逆ＤＣＴ処理する逆量子化／逆ＤＣＴ部であり、３は可変長復号部１にて復号された動きベクトル情報に応じた予測画像を作成する動き補償予測部であり、４は逆量子化、逆ＤＣＴ処理されたデータと予測画像とを加算する加算器であり、５ａ，５ｂ，５ｃはそれぞれフレームメモリであり、６は加算器４の出力をフレームメモリ５ａ〜５ｃのいずれかに切り替えて送出するスイッチであり、７はフレームメモリ５ａ〜５ｃのいずれかの出力を切り替えて送出するスイッチである。
次に動作について説明する。
可変長復号部１は受信した圧縮映像データを可変長復号する。逆量子化／逆ＤＣＴ部２は可変長復号部１により可変長復号されたデータを逆量子化、逆ＤＣＴ処理し加算器４へ出力する。一方、動き補償予測部３は、可変長復号部１により復号された動きベクトル情報に応じた予測画像を作成し加算器４へ出力する。そして、加算器４は、逆量子化／逆ＤＣＴ部２により逆量子化、逆ＤＣＴ処理されたデータと動き補償予測部３により作成された予測画像とを加算して復号画像を出力する。
第１図に示すように、従来の動画像復号装置は、２フレーム分の予測用参照画像と１フレーム分のＢピクチャとを格納するための３つのフレームメモリ５ａ〜５ｃを備えている。すなわち、フレームメモリ５ａは前方向予測用参照フレームを格納し、フレームメモリ５ｂは後方向予測用参照フレームを格納し、フレームメモリ５ｃはＢピクチャフレームを格納する。
フレームメモリ５ａおよびフレームメモリ５ｂは、入力されたＩピクチャフレームまたはＰピクチャフレームを復号する毎に、交互に復号されたＩピクチャフレームまたはＰピクチャフレームを格納する。すなわち、復号画像がＩピクチャまたはＰピクチャである場合にはフレームメモリ５ａまたはフレームメモリ５ｂに格納され、他の予測符号化画像の復元のために使用される。このために、ＩピクチャフレームまたはＰピクチャフレームが入力される度に、動画像復号装置は、スイッチ６によって復号画像の格納先を切り替える。
他方、復号画像がＢピクチャである場合、予測符号化画像の復元のためにそのＢピクチャを参照する必要がないが、フレーム構造画像のフィールド構造画像への変換、画像サイズの拡大・縮小、復号画像の出力タイミング調整などのために、動画像復号装置は、スイッチ６を制御してその復号画像すなわち復号されたＢピクチャフレームをフレームメモリ５ｃに格納する。
例えば、第２図に示すような表示順の映像ビットストリームデータが入力された場合、動画像復号装置は、最初のＩピクチャフレームであるフレーム１０３を復号すると復号画像をフレームメモリ５ａに格納し、次のＰピクチャフレームであるフレーム１０６を復号すると復号画像をフレームメモリ５ｂに格納する。そして、動画像復号装置は、次に、２つのＢピクチャフレームであるフレーム１０４及びフレーム１０５を復号する際には、前方向予測用参照画像としてフレームメモリ５ａに格納された復号画像データを使用し、後方向予測用参照画像としてフレームメモリ５ｂに格納された復号画像データを使用する。そして、２つの復号結果をフレームメモリ５ｃに格納する。
動画像復号装置は、次のＰピクチャフレームであるフレーム１０９を復号すると、復号結果をフレームメモリ５ａおよびフレームメモリ５ｂのうち、既に書き込まれている復号画像データがより古いものである方のフレームメモリ（ここではフレームメモリ５ａ）に書き込む。そして、動画像復号装置は、次に、２つのＢピクチャフレームであるフレーム１０７及びフレーム１０８を復号する際には、前方向予測用参照画像としてフレームメモリ５ｂに格納された復号画像データを使用し、後方向予測用参照画像としてフレームメモリ５ａに格納された復号画像データを使用する。そして、２つの復号結果をフレームメモリ５ｃに格納する。
動き補償予測部３は、Ｉピクチャを復号する際には、０を加算器４に出力し、Ｐピクチャを復号する際には、フレームメモリ５ａあるいはフレームメモリ５ｂに格納されている復号画像データを可変長復号部１により復号された動きベクトル分移動して得られた画像データを出力し、Ｂピクチャを復号する際には、フレームメモリ５ａおよびフレームメモリ５ｂに格納されている復号画像データを可変長復号部１により復号された動きベクトル分移動して得られた画像データを出力する。
従来の動画像復号装置は、このようにして得られフレームメモリ５ａ〜５ｃに格納した復号画像データを、スイッチ７を切替えることにより表示順に表示部９へ出力する。
ところで、ＭＰＥＧ２、ＭＰＥＧ４等の動画像圧縮・伸張規格では予測符号化を用いて動画像を符号化しているが、伝送エラー等により予測用参照フレームにデータ欠損がある場合は、その影響が他のフレームにも伝搬してしまう。例えば、第３図はＮ＝１５、Ｍ＝３のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構成を示した図であり、表示順にフレームが左から右にならんでいる。ここでフレーム１０６のＰピクチャがエラーにより画像が崩れたとき、フレーム１０６を予測用参照画像として用いている、フレーム１０４、フレーム１０５、フレーム１０７、フレーム１０８、フレーム１０９にエラーの影響が現れる。同様に、フレーム１０９を予測用参照画像として用いている、フレーム１１０、フレーム１１１、フレーム１１２にエラーの影響が現れ、さらに、フレーム１１２を予測用参照画像として用いている、フレーム１１３、フレーム１１４、フレーム１１５にエラーの影響が現れる。すなわち、フレーム１０６のエラーは、フレーム１０１、フレーム１０２、フレーム１０３の３フレームを除く１２個のフレームに影響を及ぼすことになる。
第４図はＩピクチャフレームにエラーが起こった場合の例を示す図である。Ｉピクチャであるフレーム１０３にエラーがある場合、このフレームを予測用参照画像として用いている、フレーム１０１、フレーム１０２、フレーム１０４、フレーム１０５、フレーム１０６にエラーの影響が現れる。さらに、フレーム１０６のエラーは、上述したように、フレーム１０７以降のフレームにも影響を与える。この場合、実に、第４図に示す全てのフレームに影響が及ぶことになる。
従って、第１図に示すような従来の動画像復号装置では、エラー発生時には、エラーの発生した画素を直前のフレームの同じ位置の画素で置き換えるなどのエラーコンシールメント処理を行うことによりエラーに対処していたが、エラーコンシールメント処理はちょっとしたエラーについては有効であるものの、そうでないエラーについては、エラーにより崩れた目障りな画像が出力されてしまうという課題があった。
第５図はこのような従来のエラーコンシールメント処理の課題を解決するためになされた、特開平１０−２３４３１号に開示されたエラー発生のために正常に復号できない場合に復号不可能な画像の代わりに既に復号された復号画像を出力する動画像復号装置の構成を示すブロック図である。図において、第１図と同一の参照符号は同一または相当する構成要素を示している。また、第５図において、２０は伝送ビットエラー発生などのために可変長復号することができない符号化画像が可変長復号部１に入力された場合に、エラーを検出しこのエラー検出をエラー処理制御部２１に通知するエラー検出部であり、２２は入力された符号化画像のヘッダ情報部分を可変長復号部１から受けて復号し、その符号化画像のピクチャタイプを示す情報を復号制御部２３およびエラー処理制御部２１へ出力するヘッダ復号部である。
次に動作について説明する。
復号制御部２３は、可変長復号部１、逆量子化／逆ＤＣＴ部２、動き補償予測部３、スイッチ６を制御して、一連の入力符号化画像を順次復号してフレームメモリ５ａ〜５ｃに格納し、スイッチ７を制御して切り替えフレームメモリ５ａ〜５ｃに格納された復号画像データを表示順に表示部９へと出力する。
エラー検出部２０が復号中にエラーを検出すると、そのエラー検出をエラー処理制御部２１に通知する。エラー処理制御部２１は、エラー検出部２０からエラー検出通知を受けると、復号制御部２３に対して、現在復号中の符号化画像の復号を中止し、エラー発生時の状況によってシーケンスレイヤなどを含む次のピクチャまでのデータを破棄するように指示する。この結果、復号制御部２３は、可変長復号部１に符号を破棄させ、逆量子化／逆ＤＣＴ部２および動き補償予測部３を制御して復号動作を中止させる。復号制御部２３は、さらに、スイッチ７を制御して、復号されなかった画像データの代わりに既に復号済みの画像データをフレームメモリ５ａ〜５ｃのいずれかから読み出して表示部９へ出力する。
エラー処理制御部２１は、ヘッダ復号部２２から次に復号すべき画像のピクチャタイプを通知されると、その画像が正常に復号できる画像であるか否かを判定し、その画像が正常に復号できる画像である場合には、その画像を復号するように復号制御部２３に指示し、その画像が正常に復号できない画像である場合には、次の画像の直前までの符号を破棄するように復号制御部２３に指示する。
これにより、第５図に示す動画像復号装置は、正常に復号できない画像がある場合でも、崩れた画像を出力することがない。
従来の動画像復号装置は以上のように構成されているので、伝送エラー等のエラーが発生した場合に崩れた画像が出力されることを防止できるが、エラー発生頻度の大小等のエラーの内容にも関わらず、エラーが発生し正常に復号できない符号化画像の復号を中止し、画像を既に復号された画像に置き換えて出力するので、エラー期間中は同一画像が出力されてしまい、観察者に違和感を与えてしまうという課題があった。
この発明は上記のような課題を解決するためになされたもので、エラーの有無に関わらず符号化画像を復号し、発生したエラーもしくはエラー発生頻度の大小等のエラーの内容に応じて復号画像の表示を制御することにより、崩れた画像を表示させない動画像復号方法および動画像復号装置を得ることを目的とする。
発明の開示
請求の範囲第１項記載の発明に係る動画像復号方法は、入力された圧縮映像データ中の復号すべき符号化画像にエラーがあるか否かを検出し、エラーを検出したか否かに関わらず前記符号化画像を復号し復号画像データをメモリに格納し、検出したエラーに関するエラー情報に基づいて、復号画像データの前記メモリ手段からの転送を制御するものである。
このことによって、エラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第２項記載の発明に係る動画像復号方法は、エラー情報に基づいて、復号画像データのメモリ手段からの転送を中止するものである。
このことによって、エラー情報に基づきエラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第３項記載の発明に係る動画像復号方法は、エラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
請求の範囲第４項記載の発明に係る動画像復号方法は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像にエラーがなくかつ該符号化画像が予測用参照画像を用いず復号されるＩピクチャである場合に、そのＩピクチャから復号画像データのメモリ手段からの転送を再開するものである。
このことによって、エラーを含む予測用参照画像を他のフレームの復号に用いることを防止してエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第５項記載の発明に係る動画像復号方法は、復号画像データのメモリ手段からの転送を中止した後、一定時間経過後に復号画像データのメモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できる効果を奏する。
請求の範囲第６項記載の発明に係る動画像復号方法は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像内の全てのマクロブロックデータが予測を必要としないイントラ符号化されたデータになった際に、その符号化画像から復号画像データのメモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できるうえに、全てのマクロブロックがイントラマクロブロックになったフレームから復号画像データの転送を再開するのでエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第７項記載の発明に係る動画像復号方法は、エラー情報に基づいて、エラーのある符号化画像の復号画像データに代わってあらかじめ用意された画像データを転送するものである。
このことによって、エラー発生時に使用者が指定した画像を表示し、使用者に不快感を与えることなく崩れた画像を表示することを防止できる効果を奏する。
請求の範囲第８項記載の発明に係る動画像復号方法は、エラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
請求の範囲第９項記載の発明に係る動画像復号装置は、入力された圧縮映像データ中の符号化画像を復号し復号画像データを出力する復号手段と、復号すべき符号化画像にエラーがあるか否かを検出し、エラーを検出した場合にそのエラーに関するエラー情報を送出するエラー検出手段と、前記復号手段からの前記復号画像データを格納するメモリ手段と、前記エラー検出手段がエラーを検出したか否かに関わらず前記復号手段により得られた前記復号画像データを前記メモリ手段に格納し、前記エラー検出手段からのエラー情報に基づいて、復号画像データの前記メモリ手段からの転送を制御する制御手段とを備えたものである。
このことによって、エラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第１０項記載の発明に係る動画像復号装置は、制御手段が、エラー検出手段からのエラー情報に基づいて、復号画像データのメモリ手段からの転送を中止するものである。
このことによって、エラー情報に基づきエラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第１１項記載の発明に係る動画像復号装置は、エラー検出手段からのエラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
請求の範囲第１２項および第１３項記載の発明に係る動画像復号装置は、制御手段が、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像にエラーがなくかつ該符号化画像が予測用参照画像を用いず復号されるＩピクチャである場合に、そのＩピクチャから復号画像データの前記メモリ手段からの転送を再開するものである。
このことによって、エラーを含む予測用参照画像を他のフレームの復号に用いることを防止してエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第１４項および第１５記載の発明に係る動画像復号装置は、制御手段が、復号画像データのメモリ手段からの転送を中止した後、一定時間経過後に復号画像データの前記メモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できる効果を奏する。
請求の範囲第１６項および第１７項記載の発明に係る動画像復号装置は、制御手段が、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像内の全てのマクロブロックデータが予測を必要としないイントラ符号化されたデータになった際に、その符号化画像から復号画像データの前記メモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できるうえに、全てのマクロブロックがイントラマクロブロックになったフレームから復号画像データの転送を再開するのでエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第１８項記載の発明に係る動画像復号装置は、制御手段が、エラー検出手段からのエラー情報に基づいて、エラーのある符号化画像の復号画像データに代わってあらかじめ用意された画像データを転送するものである。
このことによって、エラー発生時に使用者が指定した画像を表示し、使用者に不快感を与えることなく崩れた画像を表示することを防止できる効果を奏する。
請求の範囲第１９項記載の発明に係る動画像復号装置は、エラー検出手段からのエラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
発明を実施するための最良の形態
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
第６図はこの発明の実施の形態１による動画像復号装置の構成を示すブロック図である。図において、１０は受信した圧縮された映像データを可変長復号する可変長復号部であり、１１は受信した圧縮された映像データから伝送ビットエラー等のエラーを検出するエラー検出部（エラー検出手段）であり、２は可変長復号されたデータを逆量子化、逆ＤＣＴ処理する逆量子化／逆ＤＣＴ部であり、３は可変長復号部１０により復号された動きベクトル情報に応じた予測画像を作成する動き補償予測部であり、４は逆量子化、逆ＤＣＴ処理されたデータと予測画像とを加算する加算器であり、５ａ，５ｂ，５ｃはフレームメモリ（メモリ手段）であり、６は加算器４の出力をフレームメモリ５ａ〜５ｃのいずれかに切り替えて送出するスイッチであり、７はフレームメモリ５ａ〜５ｃのいずれかの出力を切り替えて送出するスイッチ、８はエラー検出部１１が検出したエラーに基づきスイッチ６，７を制御する制御部（制御手段）である。なお、復号手段は、可変長復号部１０、逆量子化／逆ＤＣＴ部２、動き補償予測部３、および加算器４を含む。
次に動作について説明する。
可変長復号部１０は受信した圧縮映像データを可変長復号する。この際、エラー検出部１１は、受信した圧縮映像データ中の復号すべき符号化画像すなわちフレームにエラーがあるか否かを検出し、エラーを検出した場合にはそのエラーに関するエラー情報を制御部８に伝達する。以下では、まずエラー検出部１１がエラーを検出しなかった場合について説明する。
逆量子化／逆ＤＣＴ部２は可変長復号部１０により可変長復号されたデータを逆量子化、逆ＤＣＴ処理し加算器４へ出力する。一方、動き補償予測部３は、可変長復号部１０により復号された動きベクトル情報に応じた予測画像を作成し加算器４へ出力する。そして、加算器４は、逆量子化／逆ＤＣＴ部２により逆量子化、逆ＤＣＴ処理されたデータと動き補償予測部３により作成された予測画像とを加算して復号画像を出力する。
加算結果である復号画像がＩピクチャまたはＰピクチャである場合には、制御部８はスイッチ６を制御してフレームメモリ５ａまたはフレームメモリ５ｂに交互に復号画像を格納し、Ｂピクチャである場合には、フレームメモリ５ｃに格納する。
例えば第２図に示すような表示順の映像ビットストリームデータが入力されたとすると、制御部８は、まず、最初のＩピクチャフレームであるフレーム１０３をフレームメモリ５ａに格納する。フレームメモリ５ａに格納された復号画像データは、次に復号されるＢピクチャのフレーム１０１、フレーム１０２の後方向予測用参照フレームやその次に復号されるＰピクチャのフレーム１０６の前方向予測用参照フレームとして参照される。次に、動き補償予測部３は、フレームメモリ５ａに格納された復号画像データを前方向予測用参照フレームとして参照し、Ｐピクチャであるフレーム１０６の復号を行い、制御部８は、その復号結果を、前のＩピクチャあるいはＰピクチャを格納しなかった方のフレームメモリ５ｂに格納する。そして、フレームメモリ５ｂに格納された復号画像データは、次に復号されるＰピクチャフレームであるフレーム１０９の前方向予測用参照フレームとして参照される。
動き補償予測部３は、次に、フレームメモリ５ａに格納された復号画像データを前方向予測用参照フレームとして参照し、さらに、フレームメモリ５ｂに格納された復号画像データを後方向予測用参照フレームとして参照し、Ｂピクチャフレームであるフレーム１０４，１０５を続けて復号し、制御部８はこれらの復号結果をフレームメモリ５ｃに格納する。
制御部８は、同様に、フレーム１０９の復号結果を、前のＩピクチャあるいはＰピクチャを格納しなかった方のフレームメモリ５ａに格納する。そして、動き補償予測部３は、フレームメモリ５ａに格納された復号画像データを後方向予測用参照フレームとして参照し、さらに、フレームメモリ５ｂに格納された復号画像データを前方向予測用参照フレームとして参照し、Ｂピクチャフレームであるフレーム１０７，１０８を復号し、制御部８はこれらの復号結果をフレームメモリ５ｃに格納する。フレーム１０９の復号結果は、次に復号されるＰピクチャフレームであるフレーム１１２の前方向予測用参照フレームとして参照される。
以下、ＩピクチャまたはＰピクチャを復号した場合は、制御部８は、同様に、フレームメモリ５ａ，５ｂのうち、直前のＩピクチャまたはＰピクチャの復号画像データの書き込みを行わなかった方のフレームメモリに書き込み、動き補償予測部３は、書き込んだ復号画像データを続いて復号されるＢピクチャの後方向予測用参照フレームとして使用する。また、動き補償予測部３は、フレームメモリ５ａ，５ｂのうち書き込みを行わなかった方のフレームメモリに格納されている復号画像データを前方向予測用参照フレームとして使用する。
制御部８は、スイッチ７を制御してフレームメモリ５ａ〜５ｃの出力を切替えて表示部９に接続することにより、フレームメモリ５ａ〜５ｃに格納された復号画像データを表示順に表示部９に転送する。表示部９は、少なくとも１フレーム分のフレームメモリを有しており、スイッチ７を介してフレームメモリ５ａ〜５ｃから転送されてきた画像を表示する。
これに対して、可変長復号部１０のエラー検出部１１がエラーを検出した場合、エラー検出部１１は検出したエラーに関するエラー情報を制御部８に伝達する。制御部８は、エラーを検出しなかった場合と同様にスイッチ６の切替えを制御して、フレームメモリ５ａ〜５ｃに格納される復号画像データの更新を行うとともに、スイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃのいずれからもエラーを含んだ復号画像データが表示部９へと出力されないようにする。この結果、フレームメモリ５ａ〜５ｃのいずれも復号画像データを出力しないので、表示部９は、次にデータの出力が開始されるまで、最後に転送された画像を表示し続ける。
その後、エラー検出部１１がエラーを検出しなくなった場合は、制御部８はスイッチ７の切替えを制御して復号画像データの表示部９への転送を再開する。なお、エラー検出部１１がエラーを検出しなくなった場合、エラーを検出した場合と同様に、エラーが検出されなくなったことを制御部８に伝達する。これに伴い、制御部８は、スイッチ７の切替えを制御して、いままでフレームメモリ５ａ〜５ｃに格納されたいずれの復号画像データも出力していなかった状態を解除し、エラーがない場合と同様に、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データから順番に転送を再開する。なお、既に述べたように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態１によれば、制御部８は、エラー検出部１１がエラーを検出したか否かに関わらず、復号画像データをフレームメモリ５ａ〜５ｃのいずれかに格納し、エラーを含む復号画像データを表示部９へ転送しないようにスイッチ７を制御するので、エラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
また、制御部８は、エラー検出部１１がエラーを検出したか否かに関わらず、復号画像データをフレームメモリ５ａ〜５ｃのいずれかに格納するので、発生したエラーの内容に応じた画像の表示制御を行えるという柔軟性がある。これについては、以下の実施の形態にて詳細に述べる。
実施の形態２．
この発明の実施の形態２による動画像復号装置は、可変長復号部１０に設けられており、伝送エラー等のエラーを検出するとともにエラー発生頻度を求めるエラー検出部１１と、エラー検出部１１により求められたエラー発生頻度が小さく画像に対する影響が少ない場合には、エラーを含んだ復号画像データを表示部９へ出力する制御部８とを備えているものである。この実施の形態２による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次の動作について説明する。
実施の形態２による動画像復号装置のエラーを検出しなかった場合の動作は上記実施の形態１によるものと同様であるので、以下では、エラー発生頻度の大小に応じた表示制御についてのみ説明する。
可変長復号部１０のエラー検出部１１が圧縮映像データ中の復号すべき符号化画像すなわちフレームのエラーを検出した場合には、エラー検出部１１は、１フレーム分のデータ長、エラーと判定された復号語長、エラーを含むマクロブロック数、エラーを含む画像ブロック数などのエラー情報を制御部８に伝送する。制御部８は、エラー検出部１１からの上記エラー情報に基づき、エラーと判定された復号語長が一定値以上、エラーを含むマクロブロック数が一定値以上、エラーを含むブロック数が一定値以上のうちのいずれか１つ以上の条件が成り立つか否かを判定する。１つ以上の条件が成り立つと判定すると、制御部８は、エラー発生頻度が大きく画像に及ぼす影響が大きいと判断して、フレームメモリ５ａ〜５ｃのいずれに格納されている復号画像データも表示部９へ転送されないようにスイッチ７の切替えを制御する。
他方、それらの条件のいずれも成り立たない場合には、制御部８はエラー発生頻度が小さく画像に及ぼす影響が小さいと判断して、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データが表示部９へ転送されるようにスイッチ７の切り替えを制御する。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
なお、動き補償予測部３は、エラーが発生した場合に公知の方法に従ってエラーコンシールメント処理を実施するが、エラー発生頻度が小さい場合には、エラーコンシールメント処理を実施してもそれほど目障りな画像となるわけではない。
以上のように、この発明の実施の形態２によれば、エラーを検出したか否かに応じて単に復号画像の表示制御を行うのではなく、エラー発生頻度の大小に応じて復号画像の表示制御を行うので、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
実施の形態３．
この発明の実施の形態３による動画像復号装置は、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、エラー検出部１１がエラーを検出しなくなったかまたはエラー発生頻度が小さくなったと判定した場合、エラーがなくかつ予測用参照フレームを用いず復号されるＩピクチャから表示部９への復号画像データの転送を再開する制御部８を備えているものである。この実施の形態３による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次に動作について説明する。
実施の形態３による動画像復号装置のエラー検出時の動作は上記実施の形態１または上記実施の形態２によるものと同様であるので、以下では、表示部９への復号画像データの転送再開についてのみ説明する。
第７図はＩピクチャ前後の一連のフレームを示す図である。図示のＩピクチャよりも前のＩピクチャにエラーがあると仮定した場合には、図示のＩピクチャ以前の各フレームは、エラーのあるＩピクチャの復号画像データを予測用参照画像として用いて復号されたものであるので、エラーの影響を含む復号画像になっている。一方、図中のＩピクチャ以降のフレームは、Ｉピクチャ以降にエラーがなければエラーのない復号画像であるといえる。
制御部８は、Ｉピクチャが復号されたか否かを示す情報と、表示順で少なくともそのＩピクチャに関するエラーを含むか否かを示す情報とを把握している。制御部８は、Ｉピクチャが復号され少なくともこのＩピクチャにエラーがない場合に、スイッチ７の切替えを制御してフレームメモリ５ａ〜５ｃに格納されている復号画像データの表示部９への転送を再開する。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態３によれば、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、予測用参照画像として用いられるＩピクチャがエラーを含まない場合に、そのＩピクチャから表示部９への復号画像データの転送を再開するので、エラーを含む予測用参照画像を他のフレームの復号に用いることを防止してエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
実施の形態４．
この発明の実施の形態４による動画像復号装置は、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、一定時間経過後に表示部９への復号画像データの転送を再開する制御部８を備えているものである。この実施の形態４による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次に動作について説明する。
実施の形態４による動画像復号装置のエラー検出時の動作は上記実施の形態１または上記実施の形態２によるものと同様であるので、以下では、表示部９への復号画像データの転送再開についてのみ説明する。
第８図はＩピクチャのあとＰピクチャしかない場合の一連のフレームを示す図である。このような一連のフレームが入力された場合、上記実施の形態３による動画像復号装置の制御部８は、Ｉピクチャが入力されず表示部９への復号画像データの転送を再開するための条件が満たされることがないので、スイッチ７を切替え制御してフレームメモリ５ａ〜５ｃから表示部９への復号画像データの転送を行うことができない。すなわち、上記実施の形態３による動画像復号装置は、エラーのないＩピクチャを受信しない限り、いつまでも静止画像を表示しつづける。
このような場合、この実施の形態４による動画像復号装置の制御部８は、エラー発生後一定時間経過するとエラーの影響は小さくなった判定し、表示部９への復号画像データの転送を再開することができる。すなわち、エラー発生後一定時間経過すると、制御部８は、表示部９への復号画像データの転送を再開するようにスイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データの転送を行う。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態４によれば、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、一定時間経過した際に表示部９への復号画像データの転送を再開するので、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できる効果を奏する。
実施の形態５．
この発明の実施の形態５による動画像復号装置は、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、次に復号すべき１フレーム内の全てのマクロブロックデータが予測用参照フレームを用いずに復号されるイントラ符号化されたデータすなわちイントラマクロブロックデータになった際に、表示部９への復号画像データの転送を再開する制御部８を備えているものである。この実施の形態５による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次に動作について説明する。
実施の形態５による動画像復号装置のエラー検出時の動作は上記実施の形態１または上記実施の形態２によるものと同様であるので、以下では、表示部９への復号画像データの転送再開についてのみ説明する。
第９図は水平方向８マクロブロック、垂直方向６マクロブロックで構成されるフレームの例を示す図である。図において、各正方形が１つのマクロブロックに相当する。白抜きになっている各マクロブロック２０１はエラーがなくなった後イントラで復号されたイントラマクロブロックであり、黒く塗りつぶした各マクロブロック２０２はエラーがなくなった後イントラで復号されていない非イントラマクロブロックである。
エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、制御部８は、復号すべきフレーム内の全てのマクロブロックデータが予測用参照フレームを用いずに復号されるイントラ符号化されたデータすなわちイントラマクロブロックデータになったか否かを判定している。例えば第９図に示すような場合、２つのマクロブロック２０２がイントラマクロブロックで復号し、全てのマクロブロックデータがイントラで復号されたデータであると判定すると、制御部８は、表示部９への復号画像データの転送を再開するようにスイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データの転送を行う。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態５によれば、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、次に復号すべき１フレーム内の全てのマクロブロックデータが予測用参照フレームを用いずに復号されるイントラ符号化されたデータすなわちイントラマクロブロックデータになった際に、表示部９への復号画像データの転送を再開するので、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できるうえに、全てのマクロブロックがイントラマクロブロックになったフレームから表示部９への復号画像データの転送を再開するので、エラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
実施の形態６．
第１０図はこの発明の実施の形態６による動画像復号装置の構成を示すブロック図である。図において、第６図に示すものと同一の参照符号は、上記実施の形態１によるものと同一または相当する構成要素を示している。また、第１０図において、５ｄは所望の画像データを格納するためのフレームメモリである。この実施の形態６による動画像復号装置は、フレームメモリ５ｄをさらに備えている点で、上記実施の形態１による動画像復号装置と異なる。動画像復号装置の使用者は、所望の画像データをフレームメモリ５ｄにあらかじめ格納することができる。また、制御部８は、エラー検出部１１からのエラー発生頻度の大小等のエラー情報に基づき、エラーを含んだ復号画像データの代わりにフレームメモリ５ｄに格納されている所望の画像データを表示部９へ出力するように構成されている。
次に動作について説明する。
エラー検出部１１は、上記実施の形態１または実施の形態２によるものと同様に動作するので、以下ではその説明を省略する。
エラー検出部１１がエラーを検出しなかった場合、制御部８は、スイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃに格納されている復号画像データを表示順に表示部９に転送する。
一方、エラー検出部１１がエラーを検出した場合、制御部８は、エラー検出部１１からのエラー発生頻度の大小等のエラー情報に基づきスイッチ７の切替えを制御し、フレームメモリ５ｄに格納されている所望の画像データを表示部９へ出力する。
その後、エラー検出部１１がエラーを検出しなくなった場合、エラーを検出しない場合と同様、制御部８は、スイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃに格納されている復号画像データを表示順に表示部９へ転送する。
なお、フレームメモリ５ｄは必ずしも１フレーム分である必要はなく、複数フレーム分フレームメモリ５ｄを設けてもよい。この場合、エラー検出部１１がエラーを検出すると、制御部８は複数のフレームメモリ５ｄを切り替えて格納されている複数の画像データを順次表示部９へ出力する。したがって、エラー発生時に複数の静止画を状況に応じて切り替えて表示部９に表示してもよいし、準動画像として一連の画像を連続的に表示部９に表示するようにしてもよい。
以上のように、この発明の実施の形態６によれば、エラー発生時にエラーにより崩れた画像の代わりに使用者の指定した画像を表示するので、使用者に不快感を与えることなく崩れた画像を表示することを防止できる効果を奏する。
産業上の利用可能性
以上のように、この発明に係る動画像復号方法および動画像復号装置は、ＭＰＥＧ２またはＭＰＥＧ４等の動画像圧縮・伸張規格に従い圧縮された映像符号化データを受信して復号し、復号画像を表示する映像受信端末装置において、伝送エラー等のエラー発生時にエラーにより崩れた画像の表示を防止して、映像を使用者に提示するのに適している。
【図面の簡単な説明】
第１図は従来の動画像復号装置の構成を示すブロック図である。
第２図はＧＯＰの構成例を示す図である。
第３図はＰピクチャにエラーがあった場合のエラーの伝搬を示す図である。
第４図はＩピクチャにエラーがあった場合のエラーの伝搬を示す図である。
第５図は他の従来の動画像復号装置の構成を示すブロック図である。
第６図はこの発明の実施の形態１による動画像復号装置の構成を示すブロック図である。
第７図はこの発明の実施の形態３による、エラー検出後Ｉピクチャ以降表示を開始する処理を示す図である。
第８図はこの発明の実施の形態４による、エラー検出後一定時間後に表示を開始する処理を示す図である。
第９図は、エラー検出後一部のマクロブロックがイントラマクロブロックではない場合を示す図である。
第１０図はこの発明の実施の形態６による動画像復号装置の構成を示すブロック図である。
この発明は、ＭＰＥＧ２、ＭＰＥＧ４等の動画像圧縮・伸張規格に従い圧縮された映像符号化データを受信して復号し、復号画像を表示する動画像復号方法および動画像復号装置に関するものである。
背景技術
第１図はＭＰＥＧ２やＭＰＥＧ４等の動画像圧縮・伸張規格に従い圧縮された映像符号化データを受信して復号し、復号画像を表示する従来の動画像復号装置の構成を示すブロック図である。図において、１は受信した圧縮された映像符号化データを可変長復号する可変長復号部であり、２は可変長復号されたデータを逆量子化、逆ＤＣＴ処理する逆量子化／逆ＤＣＴ部であり、３は可変長復号部１にて復号された動きベクトル情報に応じた予測画像を作成する動き補償予測部であり、４は逆量子化、逆ＤＣＴ処理されたデータと予測画像とを加算する加算器であり、５ａ，５ｂ，５ｃはそれぞれフレームメモリであり、６は加算器４の出力をフレームメモリ５ａ〜５ｃのいずれかに切り替えて送出するスイッチであり、７はフレームメモリ５ａ〜５ｃのいずれかの出力を切り替えて送出するスイッチである。
次に動作について説明する。
可変長復号部１は受信した圧縮映像データを可変長復号する。逆量子化／逆ＤＣＴ部２は可変長復号部１により可変長復号されたデータを逆量子化、逆ＤＣＴ処理し加算器４へ出力する。一方、動き補償予測部３は、可変長復号部１により復号された動きベクトル情報に応じた予測画像を作成し加算器４へ出力する。そして、加算器４は、逆量子化／逆ＤＣＴ部２により逆量子化、逆ＤＣＴ処理されたデータと動き補償予測部３により作成された予測画像とを加算して復号画像を出力する。
第１図に示すように、従来の動画像復号装置は、２フレーム分の予測用参照画像と１フレーム分のＢピクチャとを格納するための３つのフレームメモリ５ａ〜５ｃを備えている。すなわち、フレームメモリ５ａは前方向予測用参照フレームを格納し、フレームメモリ５ｂは後方向予測用参照フレームを格納し、フレームメモリ５ｃはＢピクチャフレームを格納する。
フレームメモリ５ａおよびフレームメモリ５ｂは、入力されたＩピクチャフレームまたはＰピクチャフレームを復号する毎に、交互に復号されたＩピクチャフレームまたはＰピクチャフレームを格納する。すなわち、復号画像がＩピクチャまたはＰピクチャである場合にはフレームメモリ５ａまたはフレームメモリ５ｂに格納され、他の予測符号化画像の復元のために使用される。このために、ＩピクチャフレームまたはＰピクチャフレームが入力される度に、動画像復号装置は、スイッチ６によって復号画像の格納先を切り替える。
他方、復号画像がＢピクチャである場合、予測符号化画像の復元のためにそのＢピクチャを参照する必要がないが、フレーム構造画像のフィールド構造画像への変換、画像サイズの拡大・縮小、復号画像の出力タイミング調整などのために、動画像復号装置は、スイッチ６を制御してその復号画像すなわち復号されたＢピクチャフレームをフレームメモリ５ｃに格納する。
例えば、第２図に示すような表示順の映像ビットストリームデータが入力された場合、動画像復号装置は、最初のＩピクチャフレームであるフレーム１０３を復号すると復号画像をフレームメモリ５ａに格納し、次のＰピクチャフレームであるフレーム１０６を復号すると復号画像をフレームメモリ５ｂに格納する。そして、動画像復号装置は、次に、２つのＢピクチャフレームであるフレーム１０４及びフレーム１０５を復号する際には、前方向予測用参照画像としてフレームメモリ５ａに格納された復号画像データを使用し、後方向予測用参照画像としてフレームメモリ５ｂに格納された復号画像データを使用する。そして、２つの復号結果をフレームメモリ５ｃに格納する。
動画像復号装置は、次のＰピクチャフレームであるフレーム１０９を復号すると、復号結果をフレームメモリ５ａおよびフレームメモリ５ｂのうち、既に書き込まれている復号画像データがより古いものである方のフレームメモリ（ここではフレームメモリ５ａ）に書き込む。そして、動画像復号装置は、次に、２つのＢピクチャフレームであるフレーム１０７及びフレーム１０８を復号する際には、前方向予測用参照画像としてフレームメモリ５ｂに格納された復号画像データを使用し、後方向予測用参照画像としてフレームメモリ５ａに格納された復号画像データを使用する。そして、２つの復号結果をフレームメモリ５ｃに格納する。
動き補償予測部３は、Ｉピクチャを復号する際には、０を加算器４に出力し、Ｐピクチャを復号する際には、フレームメモリ５ａあるいはフレームメモリ５ｂに格納されている復号画像データを可変長復号部１により復号された動きベクトル分移動して得られた画像データを出力し、Ｂピクチャを復号する際には、フレームメモリ５ａおよびフレームメモリ５ｂに格納されている復号画像データを可変長復号部１により復号された動きベクトル分移動して得られた画像データを出力する。
従来の動画像復号装置は、このようにして得られフレームメモリ５ａ〜５ｃに格納した復号画像データを、スイッチ７を切替えることにより表示順に表示部９へ出力する。
ところで、ＭＰＥＧ２、ＭＰＥＧ４等の動画像圧縮・伸張規格では予測符号化を用いて動画像を符号化しているが、伝送エラー等により予測用参照フレームにデータ欠損がある場合は、その影響が他のフレームにも伝搬してしまう。例えば、第３図はＮ＝１５、Ｍ＝３のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構成を示した図であり、表示順にフレームが左から右にならんでいる。ここでフレーム１０６のＰピクチャがエラーにより画像が崩れたとき、フレーム１０６を予測用参照画像として用いている、フレーム１０４、フレーム１０５、フレーム１０７、フレーム１０８、フレーム１０９にエラーの影響が現れる。同様に、フレーム１０９を予測用参照画像として用いている、フレーム１１０、フレーム１１１、フレーム１１２にエラーの影響が現れ、さらに、フレーム１１２を予測用参照画像として用いている、フレーム１１３、フレーム１１４、フレーム１１５にエラーの影響が現れる。すなわち、フレーム１０６のエラーは、フレーム１０１、フレーム１０２、フレーム１０３の３フレームを除く１２個のフレームに影響を及ぼすことになる。
第４図はＩピクチャフレームにエラーが起こった場合の例を示す図である。Ｉピクチャであるフレーム１０３にエラーがある場合、このフレームを予測用参照画像として用いている、フレーム１０１、フレーム１０２、フレーム１０４、フレーム１０５、フレーム１０６にエラーの影響が現れる。さらに、フレーム１０６のエラーは、上述したように、フレーム１０７以降のフレームにも影響を与える。この場合、実に、第４図に示す全てのフレームに影響が及ぶことになる。
従って、第１図に示すような従来の動画像復号装置では、エラー発生時には、エラーの発生した画素を直前のフレームの同じ位置の画素で置き換えるなどのエラーコンシールメント処理を行うことによりエラーに対処していたが、エラーコンシールメント処理はちょっとしたエラーについては有効であるものの、そうでないエラーについては、エラーにより崩れた目障りな画像が出力されてしまうという課題があった。
第５図はこのような従来のエラーコンシールメント処理の課題を解決するためになされた、特開平１０−２３４３１号に開示されたエラー発生のために正常に復号できない場合に復号不可能な画像の代わりに既に復号された復号画像を出力する動画像復号装置の構成を示すブロック図である。図において、第１図と同一の参照符号は同一または相当する構成要素を示している。また、第５図において、２０は伝送ビットエラー発生などのために可変長復号することができない符号化画像が可変長復号部１に入力された場合に、エラーを検出しこのエラー検出をエラー処理制御部２１に通知するエラー検出部であり、２２は入力された符号化画像のヘッダ情報部分を可変長復号部１から受けて復号し、その符号化画像のピクチャタイプを示す情報を復号制御部２３およびエラー処理制御部２１へ出力するヘッダ復号部である。
次に動作について説明する。
復号制御部２３は、可変長復号部１、逆量子化／逆ＤＣＴ部２、動き補償予測部３、スイッチ６を制御して、一連の入力符号化画像を順次復号してフレームメモリ５ａ〜５ｃに格納し、スイッチ７を制御して切り替えフレームメモリ５ａ〜５ｃに格納された復号画像データを表示順に表示部９へと出力する。
エラー検出部２０が復号中にエラーを検出すると、そのエラー検出をエラー処理制御部２１に通知する。エラー処理制御部２１は、エラー検出部２０からエラー検出通知を受けると、復号制御部２３に対して、現在復号中の符号化画像の復号を中止し、エラー発生時の状況によってシーケンスレイヤなどを含む次のピクチャまでのデータを破棄するように指示する。この結果、復号制御部２３は、可変長復号部１に符号を破棄させ、逆量子化／逆ＤＣＴ部２および動き補償予測部３を制御して復号動作を中止させる。復号制御部２３は、さらに、スイッチ７を制御して、復号されなかった画像データの代わりに既に復号済みの画像データをフレームメモリ５ａ〜５ｃのいずれかから読み出して表示部９へ出力する。
エラー処理制御部２１は、ヘッダ復号部２２から次に復号すべき画像のピクチャタイプを通知されると、その画像が正常に復号できる画像であるか否かを判定し、その画像が正常に復号できる画像である場合には、その画像を復号するように復号制御部２３に指示し、その画像が正常に復号できない画像である場合には、次の画像の直前までの符号を破棄するように復号制御部２３に指示する。
これにより、第５図に示す動画像復号装置は、正常に復号できない画像がある場合でも、崩れた画像を出力することがない。
従来の動画像復号装置は以上のように構成されているので、伝送エラー等のエラーが発生した場合に崩れた画像が出力されることを防止できるが、エラー発生頻度の大小等のエラーの内容にも関わらず、エラーが発生し正常に復号できない符号化画像の復号を中止し、画像を既に復号された画像に置き換えて出力するので、エラー期間中は同一画像が出力されてしまい、観察者に違和感を与えてしまうという課題があった。
この発明は上記のような課題を解決するためになされたもので、エラーの有無に関わらず符号化画像を復号し、発生したエラーもしくはエラー発生頻度の大小等のエラーの内容に応じて復号画像の表示を制御することにより、崩れた画像を表示させない動画像復号方法および動画像復号装置を得ることを目的とする。
発明の開示
請求の範囲第１項記載の発明に係る動画像復号方法は、入力された圧縮映像データ中の復号すべき符号化画像にエラーがあるか否かを検出し、エラーを検出したか否かに関わらず前記符号化画像を復号し復号画像データをメモリに格納し、検出したエラーに関するエラー情報に基づいて、復号画像データの前記メモリ手段からの転送を制御するものである。
このことによって、エラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第２項記載の発明に係る動画像復号方法は、エラー情報に基づいて、復号画像データのメモリ手段からの転送を中止するものである。
このことによって、エラー情報に基づきエラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第３項記載の発明に係る動画像復号方法は、エラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
請求の範囲第４項記載の発明に係る動画像復号方法は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像にエラーがなくかつ該符号化画像が予測用参照画像を用いず復号されるＩピクチャである場合に、そのＩピクチャから復号画像データのメモリ手段からの転送を再開するものである。
このことによって、エラーを含む予測用参照画像を他のフレームの復号に用いることを防止してエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第５項記載の発明に係る動画像復号方法は、復号画像データのメモリ手段からの転送を中止した後、一定時間経過後に復号画像データのメモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できる効果を奏する。
請求の範囲第６項記載の発明に係る動画像復号方法は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像内の全てのマクロブロックデータが予測を必要としないイントラ符号化されたデータになった際に、その符号化画像から復号画像データのメモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できるうえに、全てのマクロブロックがイントラマクロブロックになったフレームから復号画像データの転送を再開するのでエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第７項記載の発明に係る動画像復号方法は、エラー情報に基づいて、エラーのある符号化画像の復号画像データに代わってあらかじめ用意された画像データを転送するものである。
このことによって、エラー発生時に使用者が指定した画像を表示し、使用者に不快感を与えることなく崩れた画像を表示することを防止できる効果を奏する。
請求の範囲第８項記載の発明に係る動画像復号方法は、エラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
請求の範囲第９項記載の発明に係る動画像復号装置は、入力された圧縮映像データ中の符号化画像を復号し復号画像データを出力する復号手段と、復号すべき符号化画像にエラーがあるか否かを検出し、エラーを検出した場合にそのエラーに関するエラー情報を送出するエラー検出手段と、前記復号手段からの前記復号画像データを格納するメモリ手段と、前記エラー検出手段がエラーを検出したか否かに関わらず前記復号手段により得られた前記復号画像データを前記メモリ手段に格納し、前記エラー検出手段からのエラー情報に基づいて、復号画像データの前記メモリ手段からの転送を制御する制御手段とを備えたものである。
このことによって、エラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第１０項記載の発明に係る動画像復号装置は、制御手段が、エラー検出手段からのエラー情報に基づいて、復号画像データのメモリ手段からの転送を中止するものである。
このことによって、エラー情報に基づきエラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
請求の範囲第１１項記載の発明に係る動画像復号装置は、エラー検出手段からのエラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
請求の範囲第１２項および第１３項記載の発明に係る動画像復号装置は、制御手段が、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像にエラーがなくかつ該符号化画像が予測用参照画像を用いず復号されるＩピクチャである場合に、そのＩピクチャから復号画像データの前記メモリ手段からの転送を再開するものである。
このことによって、エラーを含む予測用参照画像を他のフレームの復号に用いることを防止してエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第１４項および第１５記載の発明に係る動画像復号装置は、制御手段が、復号画像データのメモリ手段からの転送を中止した後、一定時間経過後に復号画像データの前記メモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できる効果を奏する。
請求の範囲第１６項および第１７項記載の発明に係る動画像復号装置は、制御手段が、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像内の全てのマクロブロックデータが予測を必要としないイントラ符号化されたデータになった際に、その符号化画像から復号画像データの前記メモリ手段からの転送を再開するものである。
このことによって、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できるうえに、全てのマクロブロックがイントラマクロブロックになったフレームから復号画像データの転送を再開するのでエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
請求の範囲第１８項記載の発明に係る動画像復号装置は、制御手段が、エラー検出手段からのエラー情報に基づいて、エラーのある符号化画像の復号画像データに代わってあらかじめ用意された画像データを転送するものである。
このことによって、エラー発生時に使用者が指定した画像を表示し、使用者に不快感を与えることなく崩れた画像を表示することを防止できる効果を奏する。
請求の範囲第１９項記載の発明に係る動画像復号装置は、エラー検出手段からのエラー情報がエラー発生頻度であるものである。
このことによって、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
発明を実施するための最良の形態
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
第６図はこの発明の実施の形態１による動画像復号装置の構成を示すブロック図である。図において、１０は受信した圧縮された映像データを可変長復号する可変長復号部であり、１１は受信した圧縮された映像データから伝送ビットエラー等のエラーを検出するエラー検出部（エラー検出手段）であり、２は可変長復号されたデータを逆量子化、逆ＤＣＴ処理する逆量子化／逆ＤＣＴ部であり、３は可変長復号部１０により復号された動きベクトル情報に応じた予測画像を作成する動き補償予測部であり、４は逆量子化、逆ＤＣＴ処理されたデータと予測画像とを加算する加算器であり、５ａ，５ｂ，５ｃはフレームメモリ（メモリ手段）であり、６は加算器４の出力をフレームメモリ５ａ〜５ｃのいずれかに切り替えて送出するスイッチであり、７はフレームメモリ５ａ〜５ｃのいずれかの出力を切り替えて送出するスイッチ、８はエラー検出部１１が検出したエラーに基づきスイッチ６，７を制御する制御部（制御手段）である。なお、復号手段は、可変長復号部１０、逆量子化／逆ＤＣＴ部２、動き補償予測部３、および加算器４を含む。
次に動作について説明する。
可変長復号部１０は受信した圧縮映像データを可変長復号する。この際、エラー検出部１１は、受信した圧縮映像データ中の復号すべき符号化画像すなわちフレームにエラーがあるか否かを検出し、エラーを検出した場合にはそのエラーに関するエラー情報を制御部８に伝達する。以下では、まずエラー検出部１１がエラーを検出しなかった場合について説明する。
逆量子化／逆ＤＣＴ部２は可変長復号部１０により可変長復号されたデータを逆量子化、逆ＤＣＴ処理し加算器４へ出力する。一方、動き補償予測部３は、可変長復号部１０により復号された動きベクトル情報に応じた予測画像を作成し加算器４へ出力する。そして、加算器４は、逆量子化／逆ＤＣＴ部２により逆量子化、逆ＤＣＴ処理されたデータと動き補償予測部３により作成された予測画像とを加算して復号画像を出力する。
加算結果である復号画像がＩピクチャまたはＰピクチャである場合には、制御部８はスイッチ６を制御してフレームメモリ５ａまたはフレームメモリ５ｂに交互に復号画像を格納し、Ｂピクチャである場合には、フレームメモリ５ｃに格納する。
例えば第２図に示すような表示順の映像ビットストリームデータが入力されたとすると、制御部８は、まず、最初のＩピクチャフレームであるフレーム１０３をフレームメモリ５ａに格納する。フレームメモリ５ａに格納された復号画像データは、次に復号されるＢピクチャのフレーム１０１、フレーム１０２の後方向予測用参照フレームやその次に復号されるＰピクチャのフレーム１０６の前方向予測用参照フレームとして参照される。次に、動き補償予測部３は、フレームメモリ５ａに格納された復号画像データを前方向予測用参照フレームとして参照し、Ｐピクチャであるフレーム１０６の復号を行い、制御部８は、その復号結果を、前のＩピクチャあるいはＰピクチャを格納しなかった方のフレームメモリ５ｂに格納する。そして、フレームメモリ５ｂに格納された復号画像データは、次に復号されるＰピクチャフレームであるフレーム１０９の前方向予測用参照フレームとして参照される。
動き補償予測部３は、次に、フレームメモリ５ａに格納された復号画像データを前方向予測用参照フレームとして参照し、さらに、フレームメモリ５ｂに格納された復号画像データを後方向予測用参照フレームとして参照し、Ｂピクチャフレームであるフレーム１０４，１０５を続けて復号し、制御部８はこれらの復号結果をフレームメモリ５ｃに格納する。
制御部８は、同様に、フレーム１０９の復号結果を、前のＩピクチャあるいはＰピクチャを格納しなかった方のフレームメモリ５ａに格納する。そして、動き補償予測部３は、フレームメモリ５ａに格納された復号画像データを後方向予測用参照フレームとして参照し、さらに、フレームメモリ５ｂに格納された復号画像データを前方向予測用参照フレームとして参照し、Ｂピクチャフレームであるフレーム１０７，１０８を復号し、制御部８はこれらの復号結果をフレームメモリ５ｃに格納する。フレーム１０９の復号結果は、次に復号されるＰピクチャフレームであるフレーム１１２の前方向予測用参照フレームとして参照される。
以下、ＩピクチャまたはＰピクチャを復号した場合は、制御部８は、同様に、フレームメモリ５ａ，５ｂのうち、直前のＩピクチャまたはＰピクチャの復号画像データの書き込みを行わなかった方のフレームメモリに書き込み、動き補償予測部３は、書き込んだ復号画像データを続いて復号されるＢピクチャの後方向予測用参照フレームとして使用する。また、動き補償予測部３は、フレームメモリ５ａ，５ｂのうち書き込みを行わなかった方のフレームメモリに格納されている復号画像データを前方向予測用参照フレームとして使用する。
制御部８は、スイッチ７を制御してフレームメモリ５ａ〜５ｃの出力を切替えて表示部９に接続することにより、フレームメモリ５ａ〜５ｃに格納された復号画像データを表示順に表示部９に転送する。表示部９は、少なくとも１フレーム分のフレームメモリを有しており、スイッチ７を介してフレームメモリ５ａ〜５ｃから転送されてきた画像を表示する。
これに対して、可変長復号部１０のエラー検出部１１がエラーを検出した場合、エラー検出部１１は検出したエラーに関するエラー情報を制御部８に伝達する。制御部８は、エラーを検出しなかった場合と同様にスイッチ６の切替えを制御して、フレームメモリ５ａ〜５ｃに格納される復号画像データの更新を行うとともに、スイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃのいずれからもエラーを含んだ復号画像データが表示部９へと出力されないようにする。この結果、フレームメモリ５ａ〜５ｃのいずれも復号画像データを出力しないので、表示部９は、次にデータの出力が開始されるまで、最後に転送された画像を表示し続ける。
その後、エラー検出部１１がエラーを検出しなくなった場合は、制御部８はスイッチ７の切替えを制御して復号画像データの表示部９への転送を再開する。なお、エラー検出部１１がエラーを検出しなくなった場合、エラーを検出した場合と同様に、エラーが検出されなくなったことを制御部８に伝達する。これに伴い、制御部８は、スイッチ７の切替えを制御して、いままでフレームメモリ５ａ〜５ｃに格納されたいずれの復号画像データも出力していなかった状態を解除し、エラーがない場合と同様に、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データから順番に転送を再開する。なお、既に述べたように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態１によれば、制御部８は、エラー検出部１１がエラーを検出したか否かに関わらず、復号画像データをフレームメモリ５ａ〜５ｃのいずれかに格納し、エラーを含む復号画像データを表示部９へ転送しないようにスイッチ７を制御するので、エラーによる崩れた目障りな画像を表示しないようにすることができる効果を奏する。
また、制御部８は、エラー検出部１１がエラーを検出したか否かに関わらず、復号画像データをフレームメモリ５ａ〜５ｃのいずれかに格納するので、発生したエラーの内容に応じた画像の表示制御を行えるという柔軟性がある。これについては、以下の実施の形態にて詳細に述べる。
実施の形態２．
この発明の実施の形態２による動画像復号装置は、可変長復号部１０に設けられており、伝送エラー等のエラーを検出するとともにエラー発生頻度を求めるエラー検出部１１と、エラー検出部１１により求められたエラー発生頻度が小さく画像に対する影響が少ない場合には、エラーを含んだ復号画像データを表示部９へ出力する制御部８とを備えているものである。この実施の形態２による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次の動作について説明する。
実施の形態２による動画像復号装置のエラーを検出しなかった場合の動作は上記実施の形態１によるものと同様であるので、以下では、エラー発生頻度の大小に応じた表示制御についてのみ説明する。
可変長復号部１０のエラー検出部１１が圧縮映像データ中の復号すべき符号化画像すなわちフレームのエラーを検出した場合には、エラー検出部１１は、１フレーム分のデータ長、エラーと判定された復号語長、エラーを含むマクロブロック数、エラーを含む画像ブロック数などのエラー情報を制御部８に伝送する。制御部８は、エラー検出部１１からの上記エラー情報に基づき、エラーと判定された復号語長が一定値以上、エラーを含むマクロブロック数が一定値以上、エラーを含むブロック数が一定値以上のうちのいずれか１つ以上の条件が成り立つか否かを判定する。１つ以上の条件が成り立つと判定すると、制御部８は、エラー発生頻度が大きく画像に及ぼす影響が大きいと判断して、フレームメモリ５ａ〜５ｃのいずれに格納されている復号画像データも表示部９へ転送されないようにスイッチ７の切替えを制御する。
他方、それらの条件のいずれも成り立たない場合には、制御部８はエラー発生頻度が小さく画像に及ぼす影響が小さいと判断して、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データが表示部９へ転送されるようにスイッチ７の切り替えを制御する。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
なお、動き補償予測部３は、エラーが発生した場合に公知の方法に従ってエラーコンシールメント処理を実施するが、エラー発生頻度が小さい場合には、エラーコンシールメント処理を実施してもそれほど目障りな画像となるわけではない。
以上のように、この発明の実施の形態２によれば、エラーを検出したか否かに応じて単に復号画像の表示制御を行うのではなく、エラー発生頻度の大小に応じて復号画像の表示制御を行うので、視覚上ほとんど目立たないようなエラーを含む復号画像の表示を可能にしエラー検出時に同一画像を表示している時間を短縮でき、より自然な画像を表示することができる効果を奏する。
実施の形態３．
この発明の実施の形態３による動画像復号装置は、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、エラー検出部１１がエラーを検出しなくなったかまたはエラー発生頻度が小さくなったと判定した場合、エラーがなくかつ予測用参照フレームを用いず復号されるＩピクチャから表示部９への復号画像データの転送を再開する制御部８を備えているものである。この実施の形態３による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次に動作について説明する。
実施の形態３による動画像復号装置のエラー検出時の動作は上記実施の形態１または上記実施の形態２によるものと同様であるので、以下では、表示部９への復号画像データの転送再開についてのみ説明する。
第７図はＩピクチャ前後の一連のフレームを示す図である。図示のＩピクチャよりも前のＩピクチャにエラーがあると仮定した場合には、図示のＩピクチャ以前の各フレームは、エラーのあるＩピクチャの復号画像データを予測用参照画像として用いて復号されたものであるので、エラーの影響を含む復号画像になっている。一方、図中のＩピクチャ以降のフレームは、Ｉピクチャ以降にエラーがなければエラーのない復号画像であるといえる。
制御部８は、Ｉピクチャが復号されたか否かを示す情報と、表示順で少なくともそのＩピクチャに関するエラーを含むか否かを示す情報とを把握している。制御部８は、Ｉピクチャが復号され少なくともこのＩピクチャにエラーがない場合に、スイッチ７の切替えを制御してフレームメモリ５ａ〜５ｃに格納されている復号画像データの表示部９への転送を再開する。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態３によれば、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、予測用参照画像として用いられるＩピクチャがエラーを含まない場合に、そのＩピクチャから表示部９への復号画像データの転送を再開するので、エラーを含む予測用参照画像を他のフレームの復号に用いることを防止してエラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
実施の形態４．
この発明の実施の形態４による動画像復号装置は、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、一定時間経過後に表示部９への復号画像データの転送を再開する制御部８を備えているものである。この実施の形態４による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次に動作について説明する。
実施の形態４による動画像復号装置のエラー検出時の動作は上記実施の形態１または上記実施の形態２によるものと同様であるので、以下では、表示部９への復号画像データの転送再開についてのみ説明する。
第８図はＩピクチャのあとＰピクチャしかない場合の一連のフレームを示す図である。このような一連のフレームが入力された場合、上記実施の形態３による動画像復号装置の制御部８は、Ｉピクチャが入力されず表示部９への復号画像データの転送を再開するための条件が満たされることがないので、スイッチ７を切替え制御してフレームメモリ５ａ〜５ｃから表示部９への復号画像データの転送を行うことができない。すなわち、上記実施の形態３による動画像復号装置は、エラーのないＩピクチャを受信しない限り、いつまでも静止画像を表示しつづける。
このような場合、この実施の形態４による動画像復号装置の制御部８は、エラー発生後一定時間経過するとエラーの影響は小さくなった判定し、表示部９への復号画像データの転送を再開することができる。すなわち、エラー発生後一定時間経過すると、制御部８は、表示部９への復号画像データの転送を再開するようにスイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データの転送を行う。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態４によれば、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、一定時間経過した際に表示部９への復号画像データの転送を再開するので、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できる効果を奏する。
実施の形態５．
この発明の実施の形態５による動画像復号装置は、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、次に復号すべき１フレーム内の全てのマクロブロックデータが予測用参照フレームを用いずに復号されるイントラ符号化されたデータすなわちイントラマクロブロックデータになった際に、表示部９への復号画像データの転送を再開する制御部８を備えているものである。この実施の形態５による動画像復号装置の他の構成要素は、第６図に示す上記実施の形態１によるものと同一であるので、以下ではその説明を省略する。
次に動作について説明する。
実施の形態５による動画像復号装置のエラー検出時の動作は上記実施の形態１または上記実施の形態２によるものと同様であるので、以下では、表示部９への復号画像データの転送再開についてのみ説明する。
第９図は水平方向８マクロブロック、垂直方向６マクロブロックで構成されるフレームの例を示す図である。図において、各正方形が１つのマクロブロックに相当する。白抜きになっている各マクロブロック２０１はエラーがなくなった後イントラで復号されたイントラマクロブロックであり、黒く塗りつぶした各マクロブロック２０２はエラーがなくなった後イントラで復号されていない非イントラマクロブロックである。
エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、制御部８は、復号すべきフレーム内の全てのマクロブロックデータが予測用参照フレームを用いずに復号されるイントラ符号化されたデータすなわちイントラマクロブロックデータになったか否かを判定している。例えば第９図に示すような場合、２つのマクロブロック２０２がイントラマクロブロックで復号し、全てのマクロブロックデータがイントラで復号されたデータであると判定すると、制御部８は、表示部９への復号画像データの転送を再開するようにスイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃのいずれかに格納されている復号画像データの転送を行う。上記したように、どのフレームメモリに格納されている復号画像データを出力するかは、復号したフレームがＩピクチャフレーム、Ｐピクチャフレーム、Ｂピクチャフレームであるかにより一意的に決まっている。
以上のように、この発明の実施の形態５によれば、エラー発生頻度の大小等のエラー情報に基づき、復号画像データのフレームメモリ５ａ〜５ｃからの表示部９への転送を中止した後、次に復号すべき１フレーム内の全てのマクロブロックデータが予測用参照フレームを用いずに復号されるイントラ符号化されたデータすなわちイントラマクロブロックデータになった際に、表示部９への復号画像データの転送を再開するので、仮に予測用参照フレームを用いずに復号されるＩピクチャが圧縮映像データに含まれない場合にも、同一画像が長時間出力されることを防止できるうえに、全てのマクロブロックがイントラマクロブロックになったフレームから表示部９への復号画像データの転送を再開するので、エラーの伝搬を絶つことができ、エラーにより崩れた目障りな画像を表示しないようにできる効果を奏する。
実施の形態６．
第１０図はこの発明の実施の形態６による動画像復号装置の構成を示すブロック図である。図において、第６図に示すものと同一の参照符号は、上記実施の形態１によるものと同一または相当する構成要素を示している。また、第１０図において、５ｄは所望の画像データを格納するためのフレームメモリである。この実施の形態６による動画像復号装置は、フレームメモリ５ｄをさらに備えている点で、上記実施の形態１による動画像復号装置と異なる。動画像復号装置の使用者は、所望の画像データをフレームメモリ５ｄにあらかじめ格納することができる。また、制御部８は、エラー検出部１１からのエラー発生頻度の大小等のエラー情報に基づき、エラーを含んだ復号画像データの代わりにフレームメモリ５ｄに格納されている所望の画像データを表示部９へ出力するように構成されている。
次に動作について説明する。
エラー検出部１１は、上記実施の形態１または実施の形態２によるものと同様に動作するので、以下ではその説明を省略する。
エラー検出部１１がエラーを検出しなかった場合、制御部８は、スイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃに格納されている復号画像データを表示順に表示部９に転送する。
一方、エラー検出部１１がエラーを検出した場合、制御部８は、エラー検出部１１からのエラー発生頻度の大小等のエラー情報に基づきスイッチ７の切替えを制御し、フレームメモリ５ｄに格納されている所望の画像データを表示部９へ出力する。
その後、エラー検出部１１がエラーを検出しなくなった場合、エラーを検出しない場合と同様、制御部８は、スイッチ７の切替えを制御し、フレームメモリ５ａ〜５ｃに格納されている復号画像データを表示順に表示部９へ転送する。
なお、フレームメモリ５ｄは必ずしも１フレーム分である必要はなく、複数フレーム分フレームメモリ５ｄを設けてもよい。この場合、エラー検出部１１がエラーを検出すると、制御部８は複数のフレームメモリ５ｄを切り替えて格納されている複数の画像データを順次表示部９へ出力する。したがって、エラー発生時に複数の静止画を状況に応じて切り替えて表示部９に表示してもよいし、準動画像として一連の画像を連続的に表示部９に表示するようにしてもよい。
以上のように、この発明の実施の形態６によれば、エラー発生時にエラーにより崩れた画像の代わりに使用者の指定した画像を表示するので、使用者に不快感を与えることなく崩れた画像を表示することを防止できる効果を奏する。
産業上の利用可能性
以上のように、この発明に係る動画像復号方法および動画像復号装置は、ＭＰＥＧ２またはＭＰＥＧ４等の動画像圧縮・伸張規格に従い圧縮された映像符号化データを受信して復号し、復号画像を表示する映像受信端末装置において、伝送エラー等のエラー発生時にエラーにより崩れた画像の表示を防止して、映像を使用者に提示するのに適している。
【図面の簡単な説明】
第１図は従来の動画像復号装置の構成を示すブロック図である。
第２図はＧＯＰの構成例を示す図である。
第３図はＰピクチャにエラーがあった場合のエラーの伝搬を示す図である。
第４図はＩピクチャにエラーがあった場合のエラーの伝搬を示す図である。
第５図は他の従来の動画像復号装置の構成を示すブロック図である。
第６図はこの発明の実施の形態１による動画像復号装置の構成を示すブロック図である。
第７図はこの発明の実施の形態３による、エラー検出後Ｉピクチャ以降表示を開始する処理を示す図である。
第８図はこの発明の実施の形態４による、エラー検出後一定時間後に表示を開始する処理を示す図である。
第９図は、エラー検出後一部のマクロブロックがイントラマクロブロックではない場合を示す図である。
第１０図はこの発明の実施の形態６による動画像復号装置の構成を示すブロック図である。
Claims (19)
- 入力された圧縮映像データ中の復号すべき符号化画像にエラーがあるか否かを検出し、
エラーを検出したか否かに関わらず前記符号化画像を復号し復号画像データをメモリ手段に格納し、
検出したエラーに関するエラー情報に基づいて、復号画像データの前記メモリ手段からの転送を制御することを特徴とする動画像復号方法。 - エラー情報に基づいて、復号画像データのメモリ手段からの転送を中止することを特徴とする請求の範囲第１項記載の動画像復号方法。
- エラー情報はエラー発生頻度であることを特徴とする請求の範囲第２項記載の動画像復号方法。
- 復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像にエラーがなくかつ該符号化画像が予測用参照画像を用いず復号されるＩピクチャである場合に、そのＩピクチャから復号画像データのメモリ手段からの転送を再開することを特徴とする請求の範囲第２項記載の動画像復号方法。
- 復号画像データのメモリ手段からの転送を中止した後、一定時間経過後に復号画像データのメモリ手段からの転送を再開することを特徴とする請求の範囲第２項記載の動画像復号方法。
- 復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像内の全てのマクロブロックデータが予測を必要としないイントラ符号化されたデータになった際に、その符号化画像から復号画像データのメモリ手段からの転送を再開することを特徴とする請求の範囲第２項記載の動画像復号方法。
- エラー情報に基づいて、エラーのある符号化画像の復号画像データに代わってあらかじめ用意された画像データを転送することを特徴とする請求の範囲第１項記載の動画像復号方法。
- エラー情報はエラー発生頻度であることを特徴とする請求の範囲第７項記載の動画像復号方法。
- 入力された圧縮映像データ中の符号化画像を復号し復号画像データを出力する復号手段と、
復号すべき符号化画像にエラーがあるか否かを検出し、エラーを検出した場合にそのエラーに関するエラー情報を送出するエラー検出手段と、
前記復号手段からの前記復号画像データを格納するメモリ手段と、
前記エラー検出手段がエラーを検出したか否かに関わらず前記復号手段により得られた前記復号画像データを前記メモリ手段に格納し、前記エラー検出手段からのエラー情報に基づいて、復号画像データの前記メモリ手段からの転送を制御する制御手段と
を備えたことを特徴とする動画像復号装置。 - 制御手段は、エラー検出手段からのエラー情報に基づいて、復号画像データのメモリ手段からの転送を中止することを特徴とする請求の範囲第９項記載の動画像復号装置。
- エラー検出手段からのエラー情報はエラー発生頻度であることを特徴とする請求の範囲第１０項記載の動画像復号装置。
- 制御手段は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像にエラーがなくかつ該符号化画像が予測用参照画像を用いず復号されるＩピクチャである場合に、そのＩピクチャから復号画像データの前記メモリ手段からの転送を再開することを特徴とする請求の範囲第１０項記載の動画像復号装置。
- 制御手段は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像にエラーがなくかつ該符号化画像が予測用参照画像を用いず復号されるＩピクチャである場合に、そのＩピクチャから復号画像データの前記メモリ手段からの転送を再開することを特徴とする請求の範囲第１１項記載の動画像復号装置。
- 制御手段は、復号画像データのメモリ手段からの転送を中止した後、一定時間経過後に復号画像データの前記メモリ手段からの転送を再開することを特徴とする請求の範囲第１０項記載の動画像復号装置。
- 制御手段は、復号画像データのメモリ手段からの転送を中止した後、一定時間経過後に復号画像データの前記メモリ手段からの転送を再開することを特徴とする請求の範囲第１１項記載の動画像復号装置。
- 制御手段は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像内の全てのマクロブロックデータが予測を必要としないイントラ符号化されたデータになった際に、その符号化画像から復号画像データの前記メモリ手段からの転送を再開することを特徴とする請求の範囲第１０項記載の動画像復号装置。
- 制御手段は、復号画像データのメモリ手段からの転送を中止した後、復号すべき符号化画像内の全てのマクロブロックデータが予測を必要としないイントラ符号化されたデータになった際に、その符号化画像から復号画像データの前記メモリ手段からの転送を再開することを特徴とする請求の範囲第１１項記載の動画像復号装置。
- 制御手段は、エラー検出手段からのエラー情報に基づいて、エラーのある符号化画像の復号画像データに代わってあらかじめ用意された画像データを転送することを特徴とする請求の範囲第９項記載の動画像復号装置。
- エラー検出手段からのエラー情報はエラー発生頻度であることを特徴とする請求の範囲第１８項記載の動画像復号装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2000/009052 WO2002051162A1 (en) | 2000-12-20 | 2000-12-20 | Method and apparatus for decoding motion video image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2002051162A1 true JPWO2002051162A1 (ja) | 2004-04-22 |
Family
ID=11736816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002552331A Abandoned JPWO2002051162A1 (ja) | 2000-12-20 | 2000-12-20 | 動画像復号方法および動画像復号装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20030012284A1 (ja) |
| EP (1) | EP1347651A1 (ja) |
| JP (1) | JPWO2002051162A1 (ja) |
| CN (1) | CN1435057A (ja) |
| WO (1) | WO2002051162A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19602186C1 (de) * | 1996-01-23 | 1997-05-22 | Porsche Ag | Kraftfahrzeug mit einer bugseitigen Kühleranordnung |
| EP1176833A3 (en) * | 2000-07-25 | 2012-06-27 | Panasonic Corporation | Image decoding method, image decoding apparatus, and data storage medium |
| US7010046B2 (en) * | 2002-05-02 | 2006-03-07 | Lsi Logic Corporation | Method and/or architecture for implementing MPEG frame display using four frame stores |
| KR100469427B1 (ko) * | 2002-06-24 | 2005-02-02 | 엘지전자 주식회사 | 이동통신 시스템의 동영상 재생 방법 |
| EP1742480B1 (en) | 2002-07-11 | 2008-10-29 | Matsushita Electric Industrial Co., Ltd. | Virtual display buffer management method for H.264 prediction image decoding. |
| CN1297145C (zh) * | 2002-08-05 | 2007-01-24 | 华邦电子股份有限公司 | 可预防错误传递的可变长度解码器 |
| CN100356795C (zh) * | 2003-12-30 | 2007-12-19 | 凌阳科技股份有限公司 | 影像解压缩电路与方法 |
| CN101848389A (zh) * | 2004-08-31 | 2010-09-29 | 松下电器产业株式会社 | 运动图像编码、解码方法及装置、记录介质的记录方法 |
| KR20090028788A (ko) * | 2006-06-29 | 2009-03-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 키 프레임 추출 방법 및 시스템 |
| JP4833923B2 (ja) | 2007-06-15 | 2011-12-07 | 富士通セミコンダクター株式会社 | トランスコード装置、トランスコーダ、デコーダおよびトランスコード方法 |
| AU2007237289A1 (en) * | 2007-11-30 | 2009-06-18 | Canon Kabushiki Kaisha | Improvement for wyner ziv coding |
| JP5357255B2 (ja) * | 2008-07-22 | 2013-12-04 | トムソン ライセンシング | スケーラブルビデオ符号化（ｓｖｃ）復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法 |
| CN102458810B (zh) | 2009-06-09 | 2015-05-06 | 倍耐力轮胎股份公司 | 用于在生轮胎的硫化和模制处理期间控制流体排放的方法和用于车辆车轮的轮胎 |
| US9538128B2 (en) * | 2011-02-28 | 2017-01-03 | Cisco Technology, Inc. | System and method for managing video processing in a network environment |
| CN103327312B (zh) * | 2012-03-20 | 2016-04-20 | 腾讯科技（深圳）有限公司 | 视频帧的解码处理方法和装置 |
| JP2014049846A (ja) * | 2012-08-30 | 2014-03-17 | Renesas Electronics Corp | 動画像復号処理装置およびその動作方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3810830B2 (ja) * | 1995-07-20 | 2006-08-16 | 株式会社日立製作所 | 符号化映像信号の復号化処理方法及びそれを用いた復号化装置 |
| JP3065251B2 (ja) * | 1996-07-08 | 2000-07-17 | 日本電気株式会社 | 動画像復号装置 |
| JP2000165888A (ja) * | 1998-11-30 | 2000-06-16 | Oki Electric Ind Co Ltd | 動画像復号表示方法および装置 |
-
2000
- 2000-12-20 JP JP2002552331A patent/JPWO2002051162A1/ja not_active Abandoned
- 2000-12-20 CN CN00819112A patent/CN1435057A/zh active Pending
- 2000-12-20 WO PCT/JP2000/009052 patent/WO2002051162A1/ja not_active Application Discontinuation
- 2000-12-20 US US10/182,719 patent/US20030012284A1/en not_active Abandoned
- 2000-12-20 EP EP00987661A patent/EP1347651A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US20030012284A1 (en) | 2003-01-16 |
| WO2002051162A1 (en) | 2002-06-27 |
| EP1347651A1 (en) | 2003-09-24 |
| CN1435057A (zh) | 2003-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100495820B1 (ko) | 비디오 코딩 | |
| JPWO2002051162A1 (ja) | 動画像復号方法および動画像復号装置 | |
| US7116714B2 (en) | Video coding | |
| US20070291131A1 (en) | Apparatus and Method for Controlling Image Coding Mode | |
| US20090016435A1 (en) | Replacement of frame data in a video stream signal | |
| JP3630590B2 (ja) | 復号化装置及び伝送システム | |
| JP2008182730A (ja) | 送信装置 | |
| US10142644B2 (en) | Decoding frames | |
| JPH08154247A (ja) | 圧縮画像データ処理装置及び方法 | |
| JP2003032689A (ja) | 画像符号化装置、画像復号化装置及び動画像伝送システム | |
| JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
| JP2003116136A (ja) | 動画像復号装置 | |
| JP2007288604A (ja) | 映像伝送システム及び映像伝送方法 | |
| JPH1023431A (ja) | 動画像復号装置 | |
| JP2008311784A (ja) | 動画像復号装置および動画像復号方法 | |
| JP3483806B2 (ja) | 動画像信号の符号化装置及び符号化方法 | |
| JP3661879B2 (ja) | 画像信号復号化方法及び画像信号復号化装置 | |
| JP2004064746A (ja) | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 | |
| WO2006120778A1 (ja) | 信号再生装置 | |
| JP4851270B2 (ja) | 動画像復号装置、および復号方法。 | |
| KR19980054362A (ko) | 비트스트림 오버플로우를 방지하는 영상디코딩방법 | |
| JP2000165888A (ja) | 動画像復号表示方法および装置 | |
| JP2008042769A (ja) | 動画像復号装置及び動画像復号方法 | |
| JP2010166140A (ja) | 画像復号装置および画像データ出力方法 | |
| JPH08102939A (ja) | 圧縮動画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20040614 |