JP3624435B2 - 情報再生装置及び方法 - Google Patents
情報再生装置及び方法 Download PDFInfo
- Publication number
- JP3624435B2 JP3624435B2 JP17027694A JP17027694A JP3624435B2 JP 3624435 B2 JP3624435 B2 JP 3624435B2 JP 17027694 A JP17027694 A JP 17027694A JP 17027694 A JP17027694 A JP 17027694A JP 3624435 B2 JP3624435 B2 JP 3624435B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- layer
- error
- error recovery
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【産業上の利用分野】
本発明は、本発明は、例えばいわゆるコンパクト・ディスクを使った読み出し専用メモリであるCD−ROMや、CD−I(CD−インタラクティブ:CD−Interactive) などの情報記録媒体より提供された情報を再生するための情報再生装置及びその方法に関する。
【0002】
【従来の技術】
従来より、画像信号を圧縮符号化する手法としては、種々提案されているが、その一具体例として、例えば、カラー動画像符号化方式の国際標準化作業グループであるいわゆるMPEG(Moving Picture Expert Group)方式がある。このMPEG方式は、いわゆるディジタルストレージメディア用の画像信号の高能率符号化方式であり、フレームの画像を、Iピクチャ(イントラ符号化画像:Intra−coded picture)、Pピクチャ(前方予測符号化画像: Perdictive−coded picture)またはBピクチャ(両方向予測符号化画像: Bidirectionally−coded picture)の3種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【0003】
上記MPEGによる画像信号の高能率符号化方式の原理は、以下に示すようなものである。
【0004】
すなわち、この高能率符号化方式では、先ず、画像間の差分を取ることで時間軸方向の冗長度を落とし、その後、いわゆる離散コサイン変換(DCT)処理と可変長符号とを使用して空間軸方向の冗長度を落とすようにしている。
【0005】
先ず、上記時間軸方向の冗長度について以下に述べる。
【0006】
一般に、連続した動画においては、時間的に前後の画像と、ある注目している画像(すなわちある時刻の画像)とは良く似ているものである。このため、例えば図4に示すように、今から符号化しようとしている画像と、時間的に前方の画像との差分を取り、その差分を伝送するようにすれば、時間軸方向の冗長度を減らして伝送する情報量を少なくすることが可能となる。このようにして符号化される画像は、上記Pピクチャと呼ばれる。同様に、上述の今から符号化しようとしている画像と、時間的に前方或いは後方若しくは、前方及び後方から作られた補間画像との差分をとり、それらのうち小さな値の差分を伝送するようにすれば、時間軸方向の冗長度を減らして伝送する情報量を少なくすることが可能となる。このようにして符号化される画像は、上記Bピクチャと呼ばれる。なお、この図4において、図中Iで示す画像は上記Iピクチャを示し、図中Pで示す画像は上記Pピクチャを示し、図中Bで示す画像は上記Bピクチャを示している。
【0007】
次に、上記空間軸方向の冗長度について以下に述べる。
【0008】
画像データの差分は、そのまま伝送するのではなく、8×8画素の単位ブロック毎に離散コサイン変換(DCT)をかける。当該DCTは、画像を画素レベルでなく、コサイン関数のどの周波数成分がどれだけ含まれているかで表現するものであり、例えば2次元DCTにより、8×8画素の単位ブロックのデータは、2次元DCTにより8×8のコサイン関数の成分の係数ブロックに変換される。例えば、テレビカメラで撮影したような自然画の画像信号は滑らかな信号になることが多く、この場合、当該画像信号に対して上記DCT処理を施すことにより効率良くデータ量を落とすことができる。
【0009】
すなわち、例えば自然画の画像信号のような滑らかな信号の場合、上記DCTをかけることにより、ある係数の回りに大きな値が集中するようになる。この係数を量子化すると、上記8×8の係数ブロックは殆どが0になり、大きな係数のみが残るようになる。そこで、この8×8の係数ブロックのデータを伝送する際には、いわゆるジグザグスキャンの順で、非零係数とその係数の前にどれだけ0が続いたかを示すいわゆる0ランを一組としたいわゆるハフマン符号で送るようにすることで、伝送量を減らすことが可能となる。また、復号器側では、逆の手順で画像を再構成する。
【0010】
次に、上述のMPEG方式が取り扱うデータの構造を図5に示す。すなわち、この図5に示すデータ構造は、下から順に、ブロック層と、マクロブロック層と、スライス層と、ピクチャ層と、グループオブピクチャ(GOP:Group of Picture)層と、ビデオシーケンス層とからなる階層構造になっている。以下、この図5において下の層から順に説明する。
【0011】
先ず、上記ブロック層において、当該ブロック層の単位ブロックは、輝度又は色差の隣合った8×8の画素(8ライン×8画素の画素)から構成される。上述したDCT(離散コサイン変換)は、この単位ブロック毎にかけられる。
【0012】
上記マクロブロック層において、当該マクロブロック層のマクロブロックは、左右及び上下に隣合った4つの輝度ブロック(輝度の単位ブロック)Y0 ,Y1 ,Y2 ,Y3 と、画像上では上記輝度ブロックと同じ位置に当たる色差ブロック(色差の単位ブロック)Cr ,Cb との全部で6個のブロックで構成される。これらブロックの伝送の順は、Y0 ,Y1 ,Y2 ,Y3 ,Cr ,Cb の順である。ここで、当該符号化方式において、予測画(差分をとる基準の画像)に何を用いるか、或いは差分を送らなくても良いか等は、このマクロブロック単位で判断される。
【0013】
上記スライス層は、画像の走査順に連なる1つ又は複数のマクロブロックで構成されている。このスライスの頭(ヘッダ)では、画像内における動きベクトル及びDC(直流)成分の差分がリセットされ、また、最初のマクロブロックは、画像内での位置を示すデータを持っており、したがってエラーが起こった場合でも復帰できるようになされている。そのため、上記スライスの長さや始まる位置は任意となり、伝送路のエラー状態によって変えられるようになっている。
【0014】
上記ピクチャ層において、ピクチャすなわち1枚1枚の画像は、少なくとも1つ又は複数の上記スライスから構成される。そして、それぞれが符号化の方式にしたがって、上記Iピクチャ,Pピクチャ,Bピクチャ,DCイントラ符号化画像(DC coded (D) picture)の4種類の画像に分類される。
【0015】
ここで、上記Iピクチャにおいては、符号化される時に、その画像1枚の中だけで閉じた情報のみを使用する。したがって、言い換えれば、復号化する時にIピクチャ自身の情報のみで画像が再構成できることになる。実際には、差分を取らずにそのままDCT処理して符号化を行う。この符号化方式は、一般的に効率が悪いが、これを随所に入れておけば、ランダムアクセスや高速再生が可能となる。
【0016】
上記Pピクチャにおいては、予測画像(差分をとる基準となる画像)として、入力で時間的に前に位置し既に復号化されたIピクチャ又はPピクチャを使用する。実際には、動き補償された予測画像との差を符号化するのと、差を取らずにそのまま符号化する(イントラ符号)のと何れか効率の良い方を上記マクロブロック単位で選択する。
【0017】
上記Bピクチャにおいては、予測画像として時間的に前に位置し既に復号化されたIピクチャ又はPピクチャ及び、その両方から作られた補間画像の3種類を使用する。これにより、上記3種類の動き補償後の差分の符号化とイントラ符号との中で一番効率の良いものをマクロブロック単位で選択できる。
【0018】
上記DCイントラ符号化画像は、DCTのDC係数のみで構成されるイントラ符号化画像であり、他の3種の画像と同じシーケンスには存在できないものである。
【0019】
上記グループオブピクチャ(GOP)層は、1又は複数枚のIピクチャと、0又は複数枚の非Iピクチャとから構成されている。ここで、符号器への入力順を、例えば、1I,2B,3B,4P*5B,6B,7I,8B,9B,10I,11B,12B,13P,14B,15B,16P*17B,18B,19I,20B,21B,22Pのようにした時、当該符号器の出力すなわち復号器の入力は、例えば、1I,4P,2B,3B*7I,5B,6B,10I,8B,9B,13P,11B,12B,16P,14B,15B*19I,17B,18B,22P,20B,21Bとなる。このように符号器の中で順序の入れ換えがなされるのは、例えば、上記Bピクチャを符号化又は復号化する場合には、その予測画像となる時間的には後方である上記Iピクチャ又はPピクチャが先に符号化されていなくてはならないからである。ここで、上記Iピクチャの間隔(例えば9)及び、Iピクチャ又はBピクチャの間隔(例えば3)は自由である。また、Iピクチャ又はPピクチャの間隔は、当該グループオブピクチャ層の内部で変わってもよいものである。なお、グループオブピクチャ層の切れ目は、上記*で表されている。また、上記IはIピクチャ、上記PはPピクチャ、上記BはBピクチャを示している。
【0020】
上記ビデオシーケンス層は、画像サイズ、画像レート等が同じ1又は複数のグループオブピクチャ層から構成される。
【0021】
上述したように、上記MPEG方式で圧縮符号化された動画像を伝送する場合には、先ず1枚の画像をピクチャ内で圧縮した画像が送られ、次にこの画像を動き補償した画像との差分が伝送される。
【0022】
さらに、図5の構造を持つ符号化されたビットストリームについてより詳細に説明する。
【0023】
ビデオシーケンス層は、ビデオシーケンス層の初めを示す32ビットの同期コード(sequence start code) と、画像の横の画素数を示す12ビットの情報(horizontal size) と、画像の縦のライン数を示す12ビットの情報(vertical size)と、画素間隔の縦横比を表すインデックスである4ビットの情報(pel aspect ratio) と、画素の表示レートのインデクスである4ビットの情報(picture rate)と、発生ビット量に対する制限のためのビットレートであって400ビット単位で切り上げる情報(bit rate) と、”1”の1ビットの情報(reserved bit) と、発生ビット量に対する制限のための仮想バッファの大きさを決める10ビットのパラメータ(buffer size)と、各パラメータが決められた制限以内であることを示す1ビットのフラグ(constrained perameter flag) と、イントラマクロブロック用量子化マトリクスデータの存在を示す1ビットのフラグ(load intar qunatize matrix)と、イントラマクロブロック用の量子化マトリクスを示す8×63ビットの情報(intar qunatize matrix)と、非イントラマクロブロック用量子化マトリクスデータの存在を示す32ビットの(load non intar qunatize matrix)j、非イントラマクロブロック用の量子化マトリクスを示す8×64ビットの情報(non intar qunatize matrix)と、拡張データがあることを示す32ビットの同期コード(extension start code) と、将来の互換のためのISOが決定する8ビット×nの情報(sequence extension byte)と、ユーザデータがあることを示す32ビットの同期コード(user data start code) と、ユーザのアプリケーション用の8ビット×nの情報(user data )と、1又は複数のシーケンスの終わりを示す32ビットの同期コード(sequence end code)とからなる。
【0024】
グループオブピクチャ層は、GOPの始まりを示す32ビットの同期コード(group start code)と、シーケンスの頭からの時間を示す25ビットのコード(time code)と、GOP内の画像が他のGOPのデータを使わずに再構成できることを示す1ビットのフラグ(closed gop) と、選考するGOPのデータが編集などのために使えないことを示す1ビットのフラグ(broken−link)と、拡張データがあることを示す32ビットの同期コード(extension start code) と、将来の互換のためのISOが決定する8ビット×nの情報(group extension byte)と、ユーザデータがあることを示す32ビットの同期コード(user data start code) と、ユーザのアプリケーション用の8ビット×nの情報(user data )と、1以上のIピクチャと0以上のIピクチャ以外のピクチャ層のデータ(picture layer data)とからなる。
【0025】
ピクチャ層は、ピクチャ層のはじまりを示す32ビットの同期コード(picture start code)と、表示順を示す値でGOPの頭でリセットされる1024の10ビットの剰余値(temporal reference )と、画像の符号化モード(ピクチャタイプ)を示す3ビットの値(picture coding type) と、ランダムアクセスした時のバッファの初期状態を示す16ビットのパラメータ(buffer fullness)と、B又はPピクチャに存在し、動きベクトルの精度が画素単位か半分画素かを示す1ビットの情報(full pel forward vector)及び前方への動きベクトルのサーチ範囲を示す3ビットの情報(forward f)と、Bピクチャに存在し、動きベクトルの精度が画素単位か半分画素かを示す1ビットの情報(full pel backward vector) 及び後方への動きベクトルのサーチ範囲を示す3ビットの情報(backward f) と、エクストラ情報ピクチャがあることを示す1ビット×nのフラグ(extra bit picture)と、将来の応用のためのISOが決定する8ビット×nの情報(extra information picture)と、上記フラグ(extra bit picture)がないことを示す16ビットの”0”の情報と、拡張データがあることを示す32ビットの同期コード(extra bit code) と、将来の互換のためのISOが決定する8ビット×nの情報(extra information picture)と、ユーザデータがあることを示す32ビットの同期コード(extension start code) と、ユーザのアプリケーション用の8ビット×nの情報(picture extension data ) と、1以上のスライス層データ( slice layer data) とからなる。
【0026】
スライス層は、スライス層のはじまりを示す32ビットの同期コード(slice start code)と、そのスライスで使われる量子化幅を与える5ビットのデータ(qunatize scale) と、エクストラ情報ピクチャがあることを示す1ビット×nのフラグ(extra bit scale)と、将来の応用のためのISOが決定する8ビット×nの情報(extra information scale)と、上記情報(extra information picture)がないことを示す16ビットの”0”の情報と、1以上のマクロブロック層のデータである(macroblock layer data) とからなる。
【0027】
マクロブロック層は、レート制御に使う11ビットのダミーコード(macroblock stuffing) と、スキップマクロブロック33個に相当する11ビットのコード(macroblock escape)と、そのマクロブロックの前のスキップマクロブロックの数+1を表す可変長符号化画像の左端からマクロブロックの数+1を表す1〜11ビットの情報(macroblock adress increment) と、そのマクロブロックの符号化モードを示す可変長符号でマクロブロックタイプが量子化幅を示す値を持っている時に存在する1〜8ビットの情報(macro block type)と、そのマクロブロック以降の量子化幅を示す5ビットの値(qunatize scale) と、マクロブロックタイプが前方及び両方向予測の時存在し、そのマクロブロックの前方動きベクトルの水平成分と前のマクロブロックのベクトルとの差分を上記情報(forward f)で表される可変長符号化により符号化したものである1〜14ビットの情報(motiom horizontal forward)と、後方動きベクトルの垂直成分である1〜14ビットの情報(motiom vertical backward) と、そのマクロブロック内の6つのブロックの係数を持つかどうかを示す可変長符号の情報である30ビットの情報(coded block pattern)と、上記情報(coded block pattern)で伝送されたことが示されたブロック層のデータはY0 ,Y1 ,Y2 ,Y3 ,Cr,Cbであることを示す1〜6ブロックの情報(block layer data) と、Dピクチャの時のみ存在しマクロブロックの終わりを示す1ビットの”1”の情報(end of macroblock)とからなる。
【0028】
ブロック層は、イントラマクロブロックの時存在し、次のDCT,DC差分のビット数を表す2〜7ビットの可変長符号の情報(dct dc ltuminace),(dct dc size chrominance)と、そのブロックのDC成分の前のブロックのDC成分との成分の1〜8ビットの可変長符号の情報(dct dc differential) と、イントラマクロブロック以外の時存在し、DC成分の2〜28ビットの可変長符号の情報(dct coef first)と、DCT係数をDC成分の次からジグザグの順序で送り、0でなる係数とその直前の0係数の数を組とした2〜28ビットの可変長符号の情報(dct coef next) と、そのブロックでそれ以降の係数が全て0であることを示す2ビットのコード(end of block) とからなる。
【0029】
【発明が解決しようとする課題】
ところで、従来より、情報記録媒体としては、例えば光学ディスクにオーディオ信号を記録したいわゆるコンパクト・ディスク(すなわちCD−DA:コンパクト・ディスク・ディジタル・オーディオ)が存在する。
【0030】
しかし、上記オーディオ信号のみを記録するCD−DA(以下オーディオCDと呼ぶ)では、音だけのデータをトラックという単位に分割して記録しているだけなので、例えば再生機能をコントロールするプログラムやスクリプトなどを入れることはできない。また、再生の順序は、単なるリニア再生か使用者が指図した順序に再生させるだけであり、内容供給者が他の様々な順序で再生させたいと思っても自由度がない。
【0031】
これに対して、いわゆるCDーI(CD−インタラクティブ:CD−Interactive) では、音や動画や静止画などをデータファイルとして扱えるようになっている。
【0032】
このような音や動画や静止画などを記録できるディスクにおいて、例えば動画を記録する場合には、ディスクの記録可能な容量を考慮して、前述したようなMPEGフォーマットの動画を記録することが望ましい。
【0033】
しかし、このようなMPEGフォーマットで圧縮符号化された動画のビットストリームの読み出しエラーによって、再生装置のデコードシーケンスにエラーが発生した場合、画像が劣化してしまうことになる。
【0034】
そこで、本発明は、上述したようなことに鑑み、ディスクからのデータの読み出しエラーによって再生エラーに陥ったとしても、画像の劣化を極力抑え、通常動作に復帰できる情報再生装置及びその方法を提供することを目的とする。
【0035】
【課題を解決するための手段】
本発明に係る情報再生装置は、上述の目的を達成するために提案されたものであり、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生装置であって、上記複数の階層情報のうち最下層である第1の階層情報でのエラーについては、当該第1の階層情報の複数からなる第2の階層情報の平均値を用いてエラー復帰を行う第1のエラー復帰手段を有することを特徴とするものである。
【0037】
また、上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、第2の階層情報の複数からなる第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置まで時間的に前又は後の画像の情報に置き換えてエラー復帰を行ったり、第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置までの情報を削除してエラー復帰を行ったり、第3の階層情報の先頭位置まで戻ってエラー復帰を行ったりする。
【0038】
さらに、上記第3の階層情報よりも上位の階層情報でのエラーについては、次の当該上位の階層情報の開始位置まで読み飛ばして、エラー復帰を行うようにする。
【0039】
また、本発明に係る情報再生方法は、上述の目的を達成するために提案されたものであり、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生方法であって、上記複数の階層情報のうち最下層である第1の階層情報でのエラーについては、当該第1の階層情報の複数からなる第2の階層情報の平均値を用いてエラー復帰を行う第1のエラー復帰工程を有することを特徴とするものである。
【0041】
また、上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、第2の階層情報の複数からなる第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置まで時間的に前又は後の画像の情報に置き換えてエラー復帰が行われたり、第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置までの情報を削除してエラー復帰を行ったり、第3の階層情報の先頭位置まで戻ってエラー復帰が行われたりする。
【0042】
さらに、上記第3の階層情報よりも上位の階層情報でのエラーについては、次の当該上位の階層情報の開始位置まで読み飛ばして、エラー復帰が行われるようにする。
【0043】
【作用】
本発明に係る情報再生装置及びその方法によれば、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生したときに、各階層情報のエラーが発生したならば、各階層に応じてエラー復帰を行う。
【0044】
【実施例】
以下、本発明の一実施例について図面を参照しながら説明する。
【0045】
本発明実施例の情報再生装置は、複数の階層情報によって構成される所定の動画シーケンスとして前述したMPEGフォーマットの動画シーケンスが記録されてなる情報記録媒体(例えばいわゆるビデオCD)を再生する情報再生装置であって、前記ブロック層,マクロブロック層,スライス層,ピクチャ層,GOP層,ビデオシーケンス層の各階層情報のエラーを、図1に示すように各階層に応じて復帰するエラー復帰手段としての例えばLSI(大規模集積回路)により構成される制御用シーケンサ300を有することを特徴とするものである。
【0046】
ここで、当該制御用シーケンサ300は、上記複数の階層のうち最下層である第1の階層としのブロック層でのエラーについては、第2の階層であるマクロブロック層の各ブロックの平均値を用いて、エラー復帰(エラーリカバリ)を行う。
【0047】
また、上記エラー復帰と共に若しくは別に、制御用シーケンサ300は、マクロブロック層のエラーについては、第3の階層であるスライス層の次の先頭位置(スライス・スタート・コード(slice start code))若しくは当該マクロブロック層を含む画像の最後の位置まで時間的に前又は後の画像(I,Pピクチャではフォワード側、Bピクチャではバックワード側)の情報に置き換えてエラー復帰を行ったり、次のスライス・スタート・コード(slice start code)若しくは当該マクロブロックを含む画像の最後の位置まで所定の情報(例えば、白色,黒色,灰色,青色、緑色、オレンジ色等の特定の目立たない色や、前及び/又は後の平均値)に置き換えてエラー復帰を行ったり、次のスライス・スタート・コード(slice start code)若しくは当該マクロブロックを含む画像の最後の位置までの情報を削除してエラー復帰を行ったり、スライス・スタート・コード(slice start
code)まで戻ってエラー復帰を行ったりする。
【0048】
さらに、上記制御用シーケンサ300は、上記スライス層よりもよりも上位の階層であるピクチャ層,GOP層,ビデオシーケンス層の情報のエラーについては、次のこれら上位の階層情報の開始位置(ピクチャ・スタート・コード(picture start code)や、グループ・スタート・コード(group start code)、シーケンス・スタート・コード(sequence start code) )まで読み飛ばして、エラー復帰を行うようにする。
【0049】
以下、図1について説明する。
本発明実施例の情報再生装置の概略構成を示す図1において、端子200にはいわゆるMPEG1フォーマットのビデオビットストリームが供給される。このビットストリームは、例えばフレームメモリからなるビットストリームバッファ201に一旦蓄えられた後に読み出され、可変長符号の復号化回路202に送られる。当該可変長符号の復号化回路202は、上記ビットストリームバッファ201より供給されたデータを可変長復号化し、その復号された画像のDCT係数や量子化ステップ情報等を逆量子化回路203に送る。逆量子化回路203では符号化の際の量子化に対応する逆量子化処理が施され、さらに次の逆DCT回路204では符号化の際のDCTに対応する逆DCT処理が施される。これら処理は全てマクロブロック単位で行われる。
【0050】
当該逆DCT回路204からの出力は、切換スイッチ205の一方の被切換端子に供給されると共に加算器206にも送られる。当該切換スイッチ205は供給されたデータがIピクチャのマクロブロックのデータの場合には、そのまま出力し、他のピクチャのマクロブロックのデータである場合には、加算器206から供給されたデータを出力する。上記切換スイッチ205の出力データは、順次切り換えられる選択スイッチ214を介して、フレームメモリ210〜213に順次送られて記憶され、画像の再現や表示に使用されるようになる。すなわち、このフレームメモリ210〜213に記憶されたデータが、上記加算器206に後に入力される画像データ(P又はBピクチャのデータ)の予測画像データ生成のために使用される。
【0051】
各フレームメモリ210〜213は、メモリ読み出し回路217,215によって読み出しが制御され、各フレームメモリ210〜213から読み出されたデータは、選択スイッチ207〜209のそれぞれ対応する被選択端子に送られる。この選択スイッチ207〜209も、スイッチ205,214同様に処理するマクロブロックの種類に応じて切り換えが行われるものである。
【0052】
ここで、選択スイッチ208,209の出力は、メモリ読み出し回路215,217を介してハーフピクセル処理回路216,218に送られ、ここで画素数を1/2にするハーフピクセル処理が行われた後、加算器219又は選択スイッチ220の対応する被選択端子に送られる。加算器219の出力も選択スイッチ220の対応する被選択端子に送られる。この選択スイッチ220からの出力は、一方の被切換端子に”0”が供給される切換スイッチ221の他方の被切換端子に送られる。この切換スイッチ221はピクチャタイプに応じてマクロブロック毎に切り換えられるものであり、Iピクチャのときには上記一方の被切換端子に、他のピクチャのときには上記他方の被切換端子に切り換えられるものである。この切換スイッチ221の出力が上記加算器206に送られる。
【0053】
また、上記選択スイッチ207の出力は、復元された画像データとなってディスプレイ制御回路222に送られる。ディスプレイ制御回路222からの出力は、端子223から出力ビデオ信号として後段の構成に送られる。
【0054】
さらに、制御用シーケンサ300は、可変長符号の復号化回路202からのエラーリカバリビットを受けて、各スイッチ205,207〜209,214,220,221の切換制御を行うことにより、後述するエラーリカバリ処理を行う。
【0055】
ところで、本実施例の情報再生装置は、上記MPEGフォーマットで圧縮符号化された情報がいわゆるコンパクトディスクのような記録メディアに記録されている場合に、このディスクを再生するものである。
【0056】
したがって、当該ディスクから読み出したデータにはエラーが存在することがある。このようにMPEGフォーマットで圧縮符号化された動画のビットストリームが記録されたディスクから読み出したデータの読み出しエラーによって、再生装置のデコードシーケンスにエラーが発生した場合、画像が劣化してしまうことになる。
【0057】
このため、本実施例の情報再生装置においては、ディスクからのデータの読み出しエラーによって再生エラーに陥ったとしても、画像の劣化を極力抑え、通常動作に復帰できるようにしている。
【0058】
以下、本実施例の情報再生装置において、読み出しデータにエラーがあっても自分で復帰してエラーによる画質の劣化を極力抑えてデコードを進める方法について説明する。
【0059】
本実施例装置では、ビットストリームのエラーによるデコードシーケンスのエラーリカバリを、上記制御用シーケンサ300にて、以下のような方法で行うようにしている。
【0060】
先ず、制御用シーケンサ300では、可変長符号の復号化回路202によって発生されるエラーリカバリビットが0の時には、エラーリカバリを行わない。
【0061】
各レイヤにおけるエラーリカバリは、図2及び図3のフローチャートに従って行う。
【0062】
先ず、図2において、ステップS500で可変長符号のデコード中に発生するエラーである係数デコードエラーであるか否かの判断を行う。ノーと判断した場合には判断を繰り返し、イエスと判断したときにはステップS501に進む。
【0063】
ステップS501では前記エンド・オブ・ブロック(end of block) を送出し、ステップS502において当該エラーをマクロブロック・レイヤ(ブロックを6個まとめたマクロブロック)のレベルまでもっていく。すなわち、当該ステップS502では、エラーがマクロブッロク内のエラーであるか否かの判定を行い、ノーと判定したときには判定を繰り返し、イエスと判定したときにはステップS503に進む。
【0064】
このステップS503では、エラーの発生したマクロブロック以降のマクロブッロクをスキップマクロブロック扱いにする。
【0065】
ここで、マクロブロック内のブロック・レイヤのエラーである場合には、以下のようにする。例えば、Iピクチャのマクロブロック(イントラ・マクロブロック)で係数デコード時にエラーが発生したときには、そのマクロブロック内でDCの値(すなわち例えば平均値)を保つ。次のマクロブロックに入ったときにDCをリセットする。すなわち例えば、DC係数は、そのブロック以降、同一マクロブロック内の係数が存在しないIピクチャのマクロブロック(イントラ・マクロブロック)として扱われる。それ以降のマクロブロックは、フォワード側からベクトル=(0,0)で動き補償される。また、例えば、AC係数は、そのブロック以降、同一マクロブロック内の係数が存在しないマクロブロックとして扱われる。それ以降のマクロブロックは、Iピクチャ,Pピクチャの場合にはフォワード側から、Bピクチャの場合にはバックワード側から、ベクトル=(0,0)で動き補償される。
【0066】
また、マクロブロック・レイヤのエラーである場合には、以下のようにする。例えば、アドレスインクリメントする。すなわち、そのマクロブロックを含む以降のマクロブロックをI,Pピクチャの場合にはフォワード側から、Bピクチャの場合にはバックワード側から、ベクトル=(0,0)で動き補償する。これが後述するように例えば次のスライス・スタート・コード(slice start code)で示される位置まで繰り返される。また、エラーの発生したマクロブロック以降のベクトルを0とし、その後は上記アドレスインクリメントと同様にする。さらに、前記コーデッド・ブロック・パターン(coded block pattern)の場合、そのマクロブロック以降は係数がないものとして扱い、その後は上記アドレスインクリメントと同様にする。
【0067】
言い換えれば、スキップ・マクロブロック扱いとするということは、フレーム間相関をとるときに、係数が全く発生しないことであり、他のマクロブロックをそのまま持ってくるような扱いにする。なお、このときのスキップするマクロブロックとして、前のマクロブロックを使うか、後のマクロブロックを使うかは、ピクチャのタイプによって違い、例えばPピクチャの場合には時間的に前のものを使う。例えば、前記図4の例において、P9のピクチャでエラーが発生したときは、P6のピクチャを使用する。これに対して、Bピクチャでエラーになった場合には後ろの方のピクチャを使用する。例えばB11のピクチャでエラーが発生した場合は、P9のピクチャから持ってくる。Iピクチャでエラーが発生した場合には、前のピクチャは存在しないはずであるが、本実施例で扱う信号は一連のビデオ信号であるので、その前のPピクチャからもっていくる。
【0068】
ここで、上記マクロブロック扱いとしてエラー以降にマクロブロックを埋めていくとき、次のスタート・コードが見つかるまで埋めていく。このとき、スタートコードに前述したようにいくつか種類があるが、このステップS504では、例えば、前記スライス・スタート・コード(slice start code)の探索を行う。すなわち、スライス・レイヤ内のエラーか否か判断する。当該ステップS504において、スライス・スタート・コード(slice start code)が無いと判断したときには、ステップS505に進む。一方、ステップS504において、スライス・スタート・コード(slice start code)があると判断したときには、ステップS506に進む。
【0069】
ステップS506では、スライス・スタート・コード(slice start code)で指定される位置(Sx,Sy)と現在のデコード位置(Rx,Ry)とを比較し、現在までのマクロブロックのデコード位置がスライス・スタート・コード(slice start code)で指定される位置(Sx,Sy)よりも大きければ((Rx,Ry)>(Sx,Sy)のとき)ステップS504に戻り、次のスライス・スタート・コード(slice start code)を探し、それ以外のときにはステップS507に進む。
【0070】
当該ステップS507では、(Rx,Ry)=(Sx,Sy)となるまで、スキップ・マクロブロック扱いとする。すなわち、スライス・スタート・コード(slice start code)で示される垂直位置まで、I,Pピクチャの場合にはフォワード側から、Bピクチャの場合にはバックワード側からベクトル=(0,0)で動き補償する。
【0071】
その後、ステップS507で復帰する。すなわち、スライス・レイヤの頭から復帰する。このようにスライス・レイヤの頭から復帰したことにより、水平方向のスキップは上記マクロブロックのアドレスインクリメントによって行われる。言い換えれば、ステップS504、ステップS506、ステップS507の流れでは、スライス・スタート・コード(slice start code)が見つかった場合は、当該スライス・スタート・コード(slice start code)が示している位置の一つ前までスキップ・マクロブロックによって前のデータを埋めていく。その後は、ステップS508において通常のデコードに復帰する。
【0072】
また、上記ステップS504において、スライス・スタート・コード(slice start code)が無いと判断したときのステップS505では、最後のマクロブロックまでスキップする処理を行う。すなわち、スライス・スタート・コード(slice start code)は、1枚の画像につき一つ入っていればよいので、通常は一番先頭に存在し、したがって、エラー発生時点では存在しないため、この場合は図3のステップS513のように、最後のマクロブロックまでスキップして埋めてしまう。
【0073】
さらに、上記ステップS504において、スライス・スタート・コード(slice start code)が見つからず、前記ピクチャ・スタート・コード(picture start code)や、グループ・スタート・コード(group start code)、シーケンス・スタート・コード(sequence start code) などに遭遇したときには、図3に示すように、そのピクチャの最後まで上記ブロック・レイヤ、マクロブロック・レイヤで述べた方法で動き補償を行う。その後は、遭遇した、スタートコードに従って、処理を行う。
【0074】
次に、図3を用いて、他のレイヤのエラーの場合のエラーリカバリの流れを説明する。ここで、他のレイヤのエラーとして、ピククャ・レイヤのエラー,グループ・レイヤのエラー,シーケンス・レイヤのエラーの場合のエラーは、スタートコードそのもののエラーか、マーカービットのエラーのいずれかである。なお、エラー発生後は、次のスタート・コードを探すが、前記ユーザ・データ・スタート・コード(user data start code) 、エクステンション・スタート・コード(extension start code) などのコードは、レイヤを限定できないので読み飛ばす。
【0075】
この図3において、上記図2のステップS505で最後のマクロブロックまでスキップした後、或いは、エラーがステップS510のピクチャ・レイヤのエラー、ステップS511のグループ・レイヤのエラー、ステップS512のシーケンス・レイヤのエラーのときには、以下の処理を行う。
【0076】
先ず、シーケンス・レイヤのエラーか否かの判断として、ステップS514で前記シーケンス・スタート・コード(sequence start code) があるか否かの判断を行い、イエスと判定したときにはステップS518でシーケンス・レイヤの復帰を行い、ノーと判定したときにはステップS515に進む。
【0077】
ステップS515では、前記グループ・スタート・コード(group start code)か否かの判断を行い、イエスと判定したときにはステップS519でグループ・レイヤの復帰を行い、ノーと判定したときは、ステップS516に進む。
【0078】
ステップS516では、前記ピクチャ・スタート・コード(picture start code)か否かの判断を行い、イエスと判定したときにはステップS520でピクチャ・レイヤの復帰を行い、ノーと判定したときは、ステップS517に進む。
【0079】
ステップS517では、前記シーケンス・エンド・コード(sequence end code) か否かの判断を行い、イエスと判定したときにはステップS521でシーケンス・エンドの復帰を行い、ノーと判定したときは、ステップS522に進む。
【0080】
ステップS522では、次のスタート・コードを探し、ステップS514に戻る。
【0081】
【発明の効果】
本発明の情報再生装置及びその方法においては、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生したときに、各階層情報のエラーが発生したならば、各階層に応じてエラー復帰を行うため、情報記録媒体からの情報の読み出しエラーによって再生エラーに陥ったとしても、画像の劣化を極力抑え、通常動作に復帰可能となる。
【図面の簡単な説明】
【図1】本発明実施例の情報再生装置の要部の構成を示すブロック回路図である。
【図2】本実施例装置におけるエラーリカバリの流れの前半部分を示すフローチャートである。
【図3】本実施例装置におけるエラーリカバリの流れの後半部分を示すフローチャートである。
【図4】MPEGフォーマットにおけるフレーム間相関とピクチャタイプの関係を説明するための図である。
【図5】MPEGフォーマットにおける階層構造を説明するための図である。
【符号の説明】
201 ビットストリームバッファ
202 可変長符号の復号化回路
203 逆量子化回路
204 逆DCT回路
205,221 切換スイッチ
206,219 加算器
207〜209,214 選択スイッチ
210〜213 フレームメモリ
215,217 メモリ読み出し回路
216,218 ハーフピクセル処理回路
222 ディスプレイ制御回路
300 制御用シーケンサ
Claims (10)
- 複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生装置であって、
上記複数の階層情報のうち最下層である第1の階層情報でのエラーについては、当該第1の階層情報の複数からなる第2の階層情報の平均値を用いてエラー復帰を行う第1のエラー復帰手段を有する
ことを特徴とする情報再生装置。 - 上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、第2の階層情報の複数からなる第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置まで、時間的に前又は後の画像の情報に置き換えて、エラー復帰を行う第2のエラー復帰手段を有することを特徴とする請求項1記載の情報再生装置。
- 上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、第2の階層情報の複数からなる第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置までの情報を削除して、エラー復帰を行う第2のエラー復帰手段を有することを特徴とする請求項1記載の情報再生装置。
- 上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、当該第2の階層情報の複数からなる第3の階層情報の先頭位置まで戻って、エラー復帰を行う第2のエラー復帰手段を有することを特徴とする請求項1記載の情報再生装置。
- 上記複数の階層情報のうち最下層の複数の第1の階層情報で構成される第2の階層情報の複数からなる第3の階層情報よりも上位の階層情報でのエラーについては、次の上位の階層情報の開始位置まで読み飛ばして、エラー復帰を行う第3のエラー復帰手段を有してなることを特徴とする請求項1から請求項4のうちのいずれか1項に記載の情報再生装置。
- 複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生方法であって、
上記複数の階層情報のうち最下層である第1の階層情報でのエラーについては、当該第1の階層情報の複数からなる第2の階層情報の平均値を用いてエラー復帰を行う第1のエラー復帰工程を有する
ことを特徴とする情報再生方法。 - 上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、第2の階層情報の複数からなる第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置まで、時間的に前又は後の画像の情報に置き換えて、エラー復帰を行う第2のエラー復帰工程を有することを特徴とする請求項6記載の情報再生方法。
- 上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、第2の階層情報の複数からなる第3の階層情報の次の先頭位置若しくは当該第2の階層情報を含む画像の最後の位置までの情報を削除して、エラー復帰を行う第2のエラー復帰工程を有することを特徴とする請求項6記載の情報再生方法。
- 上記複数の階層情報のうち最下層である第1の階層情報の複数からなる第2の階層情報でのエラーについては、当該第2の階層情報の複数からなる第3の階層情報の先頭位置まで戻って、エラー復帰を行う第2のエラー復帰工程を有することを特徴とする請求項6記載の情報再生方法。
- 上記複数の階層情報のうち最下層の複数の第1の階層情報で構成される第2の階層情報の複数からなる第3の階層情報よりも上位の階層情報でのエラーについては、次の上位の階層情報の開始位置まで読み飛ばして、エラー復帰を行う第3のエラー復帰工程を有してなることを特徴とする請求項6から請求項9のうちのいずれか1項に記載の情報再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17027694A JP3624435B2 (ja) | 1994-06-29 | 1994-06-29 | 情報再生装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17027694A JP3624435B2 (ja) | 1994-06-29 | 1994-06-29 | 情報再生装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0818984A JPH0818984A (ja) | 1996-01-19 |
JP3624435B2 true JP3624435B2 (ja) | 2005-03-02 |
Family
ID=15901952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17027694A Expired - Fee Related JP3624435B2 (ja) | 1994-06-29 | 1994-06-29 | 情報再生装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3624435B2 (ja) |
-
1994
- 1994-06-29 JP JP17027694A patent/JP3624435B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0818984A (ja) | 1996-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100350335B1 (ko) | 화상정보처리방법및그장치 | |
KR100446365B1 (ko) | 화상 전송 방법 | |
US6574274B2 (en) | Picture signal processing system, decoder, picture signal processing method, and decoding method | |
US5822024A (en) | Image data processing method and apparatus of same | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
JPH10145798A (ja) | デジタル符号化信号処理方式 | |
KR100260475B1 (ko) | 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체 | |
JP3147792B2 (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
JPH09116866A (ja) | 符号化方法、符号化復号化方法及び記録再生装置 | |
JP3624435B2 (ja) | 情報再生装置及び方法 | |
JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
JPH0888854A (ja) | 動画像符号化方式 | |
JP3240737B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
JPH0898142A (ja) | 画像再生装置 | |
JPH0879703A (ja) | 画像情報処理方法及び装置 | |
JP3235917B2 (ja) | 画像記録再生装置 | |
JP3727236B2 (ja) | 映像記録装置及び映像再生装置 | |
JPH09298711A (ja) | 画像情報記録再生装置の編集用圧縮画像データの発生装置 | |
JP3741964B2 (ja) | 映像記録方法 | |
JP2812203B2 (ja) | 画像再生装置 | |
JP3381723B2 (ja) | データ生成装置 | |
JP3381728B2 (ja) | 記録媒体 | |
JP3381725B2 (ja) | データ記録装置 | |
JP3381727B2 (ja) | データ再生装置 | |
JP4596277B2 (ja) | 符号化装置、符号化方法、復号装置及び復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |