JP3624435B2

JP3624435B2 - 情報再生装置及び方法

Info

Publication number: JP3624435B2
Application number: JP17027694A
Authority: JP
Inventors: 義雅細野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-06-29
Filing date: 1994-06-29
Publication date: 2005-03-02
Anticipated expiration: 2020-03-02
Also published as: JPH0818984A

Description

【０００１】
【産業上の利用分野】
本発明は、本発明は、例えばいわゆるコンパクト・ディスクを使った読み出し専用メモリであるＣＤ−ＲＯＭや、ＣＤ−Ｉ（ＣＤ−インタラクティブ：ＣＤ−Ｉｎｔｅｒａｃｔｉｖｅ）などの情報記録媒体より提供された情報を再生するための情報再生装置及びその方法に関する。
【０００２】
【従来の技術】
従来より、画像信号を圧縮符号化する手法としては、種々提案されているが、その一具体例として、例えば、カラー動画像符号化方式の国際標準化作業グループであるいわゆるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式がある。このＭＰＥＧ方式は、いわゆるディジタルストレージメディア用の画像信号の高能率符号化方式であり、フレームの画像を、Ｉピクチャ（イントラ符号化画像：Ｉｎｔｒａ−ｃｏｄｅｄｐｉｃｔｕｒｅ）、Ｐピクチャ（前方予測符号化画像：Ｐｅｒｄｉｃｔｉｖｅ−ｃｏｄｅｄｐｉｃｔｕｒｅ）またはＢピクチャ（両方向予測符号化画像：Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ−ｃｏｄｅｄｐｉｃｔｕｒｅ）の３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【０００３】
上記ＭＰＥＧによる画像信号の高能率符号化方式の原理は、以下に示すようなものである。
【０００４】
すなわち、この高能率符号化方式では、先ず、画像間の差分を取ることで時間軸方向の冗長度を落とし、その後、いわゆる離散コサイン変換（ＤＣＴ）処理と可変長符号とを使用して空間軸方向の冗長度を落とすようにしている。
【０００５】
先ず、上記時間軸方向の冗長度について以下に述べる。
【０００６】
一般に、連続した動画においては、時間的に前後の画像と、ある注目している画像（すなわちある時刻の画像）とは良く似ているものである。このため、例えば図４に示すように、今から符号化しようとしている画像と、時間的に前方の画像との差分を取り、その差分を伝送するようにすれば、時間軸方向の冗長度を減らして伝送する情報量を少なくすることが可能となる。このようにして符号化される画像は、上記Ｐピクチャと呼ばれる。同様に、上述の今から符号化しようとしている画像と、時間的に前方或いは後方若しくは、前方及び後方から作られた補間画像との差分をとり、それらのうち小さな値の差分を伝送するようにすれば、時間軸方向の冗長度を減らして伝送する情報量を少なくすることが可能となる。このようにして符号化される画像は、上記Ｂピクチャと呼ばれる。なお、この図４において、図中Ｉで示す画像は上記Ｉピクチャを示し、図中Ｐで示す画像は上記Ｐピクチャを示し、図中Ｂで示す画像は上記Ｂピクチャを示している。
【０００７】
次に、上記空間軸方向の冗長度について以下に述べる。
【０００８】
画像データの差分は、そのまま伝送するのではなく、８×８画素の単位ブロック毎に離散コサイン変換（ＤＣＴ）をかける。当該ＤＣＴは、画像を画素レベルでなく、コサイン関数のどの周波数成分がどれだけ含まれているかで表現するものであり、例えば２次元ＤＣＴにより、８×８画素の単位ブロックのデータは、２次元ＤＣＴにより８×８のコサイン関数の成分の係数ブロックに変換される。例えば、テレビカメラで撮影したような自然画の画像信号は滑らかな信号になることが多く、この場合、当該画像信号に対して上記ＤＣＴ処理を施すことにより効率良くデータ量を落とすことができる。
【０００９】
すなわち、例えば自然画の画像信号のような滑らかな信号の場合、上記ＤＣＴをかけることにより、ある係数の回りに大きな値が集中するようになる。この係数を量子化すると、上記８×８の係数ブロックは殆どが０になり、大きな係数のみが残るようになる。そこで、この８×８の係数ブロックのデータを伝送する際には、いわゆるジグザグスキャンの順で、非零係数とその係数の前にどれだけ０が続いたかを示すいわゆる０ランを一組としたいわゆるハフマン符号で送るようにすることで、伝送量を減らすことが可能となる。また、復号器側では、逆の手順で画像を再構成する。
【００１０】
次に、上述のＭＰＥＧ方式が取り扱うデータの構造を図５に示す。すなわち、この図５に示すデータ構造は、下から順に、ブロック層と、マクロブロック層と、スライス層と、ピクチャ層と、グループオブピクチャ（ＧＯＰ：ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）層と、ビデオシーケンス層とからなる階層構造になっている。以下、この図５において下の層から順に説明する。
【００１１】
先ず、上記ブロック層において、当該ブロック層の単位ブロックは、輝度又は色差の隣合った８×８の画素（８ライン×８画素の画素）から構成される。上述したＤＣＴ（離散コサイン変換）は、この単位ブロック毎にかけられる。
【００１２】
上記マクロブロック層において、当該マクロブロック層のマクロブロックは、左右及び上下に隣合った４つの輝度ブロック（輝度の単位ブロック）Ｙ０，Ｙ１，Ｙ２，Ｙ３と、画像上では上記輝度ブロックと同じ位置に当たる色差ブロック（色差の単位ブロック）Ｃｒ，Ｃｂとの全部で６個のブロックで構成される。これらブロックの伝送の順は、Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｒ，Ｃｂの順である。ここで、当該符号化方式において、予測画（差分をとる基準の画像）に何を用いるか、或いは差分を送らなくても良いか等は、このマクロブロック単位で判断される。
【００１３】
上記スライス層は、画像の走査順に連なる１つ又は複数のマクロブロックで構成されている。このスライスの頭（ヘッダ）では、画像内における動きベクトル及びＤＣ（直流）成分の差分がリセットされ、また、最初のマクロブロックは、画像内での位置を示すデータを持っており、したがってエラーが起こった場合でも復帰できるようになされている。そのため、上記スライスの長さや始まる位置は任意となり、伝送路のエラー状態によって変えられるようになっている。
【００１４】
上記ピクチャ層において、ピクチャすなわち１枚１枚の画像は、少なくとも１つ又は複数の上記スライスから構成される。そして、それぞれが符号化の方式にしたがって、上記Ｉピクチャ，Ｐピクチャ，Ｂピクチャ，ＤＣイントラ符号化画像（ＤＣｃｏｄｅｄ（Ｄ）ｐｉｃｔｕｒｅ）の４種類の画像に分類される。
【００１５】
ここで、上記Ｉピクチャにおいては、符号化される時に、その画像１枚の中だけで閉じた情報のみを使用する。したがって、言い換えれば、復号化する時にＩピクチャ自身の情報のみで画像が再構成できることになる。実際には、差分を取らずにそのままＤＣＴ処理して符号化を行う。この符号化方式は、一般的に効率が悪いが、これを随所に入れておけば、ランダムアクセスや高速再生が可能となる。
【００１６】
上記Ｐピクチャにおいては、予測画像（差分をとる基準となる画像）として、入力で時間的に前に位置し既に復号化されたＩピクチャ又はＰピクチャを使用する。実際には、動き補償された予測画像との差を符号化するのと、差を取らずにそのまま符号化する（イントラ符号）のと何れか効率の良い方を上記マクロブロック単位で選択する。
【００１７】
上記Ｂピクチャにおいては、予測画像として時間的に前に位置し既に復号化されたＩピクチャ又はＰピクチャ及び、その両方から作られた補間画像の３種類を使用する。これにより、上記３種類の動き補償後の差分の符号化とイントラ符号との中で一番効率の良いものをマクロブロック単位で選択できる。
【００１８】
上記ＤＣイントラ符号化画像は、ＤＣＴのＤＣ係数のみで構成されるイントラ符号化画像であり、他の３種の画像と同じシーケンスには存在できないものである。
【００１９】
上記グループオブピクチャ（ＧＯＰ）層は、１又は複数枚のＩピクチャと、０又は複数枚の非Ｉピクチャとから構成されている。ここで、符号器への入力順を、例えば、１Ｉ，２Ｂ，３Ｂ，４Ｐ＊５Ｂ，６Ｂ，７Ｉ，８Ｂ，９Ｂ，１０Ｉ，１１Ｂ，１２Ｂ，１３Ｐ，１４Ｂ，１５Ｂ，１６Ｐ＊１７Ｂ，１８Ｂ，１９Ｉ，２０Ｂ，２１Ｂ，２２Ｐのようにした時、当該符号器の出力すなわち復号器の入力は、例えば、１Ｉ，４Ｐ，２Ｂ，３Ｂ＊７Ｉ，５Ｂ，６Ｂ，１０Ｉ，８Ｂ，９Ｂ，１３Ｐ，１１Ｂ，１２Ｂ，１６Ｐ，１４Ｂ，１５Ｂ＊１９Ｉ，１７Ｂ，１８Ｂ，２２Ｐ，２０Ｂ，２１Ｂとなる。このように符号器の中で順序の入れ換えがなされるのは、例えば、上記Ｂピクチャを符号化又は復号化する場合には、その予測画像となる時間的には後方である上記Ｉピクチャ又はＰピクチャが先に符号化されていなくてはならないからである。ここで、上記Ｉピクチャの間隔（例えば９）及び、Ｉピクチャ又はＢピクチャの間隔（例えば３）は自由である。また、Ｉピクチャ又はＰピクチャの間隔は、当該グループオブピクチャ層の内部で変わってもよいものである。なお、グループオブピクチャ層の切れ目は、上記＊で表されている。また、上記ＩはＩピクチャ、上記ＰはＰピクチャ、上記ＢはＢピクチャを示している。
【００２０】
上記ビデオシーケンス層は、画像サイズ、画像レート等が同じ１又は複数のグループオブピクチャ層から構成される。
【００２１】
上述したように、上記ＭＰＥＧ方式で圧縮符号化された動画像を伝送する場合には、先ず１枚の画像をピクチャ内で圧縮した画像が送られ、次にこの画像を動き補償した画像との差分が伝送される。
【００２２】
さらに、図５の構造を持つ符号化されたビットストリームについてより詳細に説明する。
【００２３】
ビデオシーケンス層は、ビデオシーケンス層の初めを示す３２ビットの同期コード（ｓｅｑｕｅｎｃｅｓｔａｒｔｃｏｄｅ）と、画像の横の画素数を示す１２ビットの情報（ｈｏｒｉｚｏｎｔａｌｓｉｚｅ）と、画像の縦のライン数を示す１２ビットの情報（ｖｅｒｔｉｃａｌｓｉｚｅ）と、画素間隔の縦横比を表すインデックスである４ビットの情報（ｐｅｌａｓｐｅｃｔｒａｔｉｏ）と、画素の表示レートのインデクスである４ビットの情報（ｐｉｃｔｕｒｅｒａｔｅ）と、発生ビット量に対する制限のためのビットレートであって４００ビット単位で切り上げる情報（ｂｉｔｒａｔｅ）と、”１”の１ビットの情報（ｒｅｓｅｒｖｅｄｂｉｔ）と、発生ビット量に対する制限のための仮想バッファの大きさを決める１０ビットのパラメータ（ｂｕｆｆｅｒｓｉｚｅ）と、各パラメータが決められた制限以内であることを示す１ビットのフラグ（ｃｏｎｓｔｒａｉｎｅｄｐｅｒａｍｅｔｅｒｆｌａｇ）と、イントラマクロブロック用量子化マトリクスデータの存在を示す１ビットのフラグ（ｌｏａｄｉｎｔａｒｑｕｎａｔｉｚｅｍａｔｒｉｘ）と、イントラマクロブロック用の量子化マトリクスを示す８×６３ビットの情報（ｉｎｔａｒｑｕｎａｔｉｚｅｍａｔｒｉｘ）と、非イントラマクロブロック用量子化マトリクスデータの存在を示す３２ビットの（ｌｏａｄｎｏｎｉｎｔａｒｑｕｎａｔｉｚｅｍａｔｒｉｘ）ｊ、非イントラマクロブロック用の量子化マトリクスを示す８×６４ビットの情報（ｎｏｎｉｎｔａｒｑｕｎａｔｉｚｅｍａｔｒｉｘ）と、拡張データがあることを示す３２ビットの同期コード（ｅｘｔｅｎｓｉｏｎｓｔａｒｔｃｏｄｅ）と、将来の互換のためのＩＳＯが決定する８ビット×ｎの情報（ｓｅｑｕｅｎｃｅｅｘｔｅｎｓｉｏｎｂｙｔｅ）と、ユーザデータがあることを示す３２ビットの同期コード（ｕｓｅｒｄａｔａｓｔａｒｔｃｏｄｅ）と、ユーザのアプリケーション用の８ビット×ｎの情報（ｕｓｅｒｄａｔａ）と、１又は複数のシーケンスの終わりを示す３２ビットの同期コード（ｓｅｑｕｅｎｃｅｅｎｄｃｏｄｅ）とからなる。
【００２４】
グループオブピクチャ層は、ＧＯＰの始まりを示す３２ビットの同期コード（ｇｒｏｕｐｓｔａｒｔｃｏｄｅ）と、シーケンスの頭からの時間を示す２５ビットのコード（ｔｉｍｅｃｏｄｅ）と、ＧＯＰ内の画像が他のＧＯＰのデータを使わずに再構成できることを示す１ビットのフラグ（ｃｌｏｓｅｄｇｏｐ）と、選考するＧＯＰのデータが編集などのために使えないことを示す１ビットのフラグ（ｂｒｏｋｅｎ−ｌｉｎｋ）と、拡張データがあることを示す３２ビットの同期コード（ｅｘｔｅｎｓｉｏｎｓｔａｒｔｃｏｄｅ）と、将来の互換のためのＩＳＯが決定する８ビット×ｎの情報（ｇｒｏｕｐｅｘｔｅｎｓｉｏｎｂｙｔｅ）と、ユーザデータがあることを示す３２ビットの同期コード（ｕｓｅｒｄａｔａｓｔａｒｔｃｏｄｅ）と、ユーザのアプリケーション用の８ビット×ｎの情報（ｕｓｅｒｄａｔａ）と、１以上のＩピクチャと０以上のＩピクチャ以外のピクチャ層のデータ（ｐｉｃｔｕｒｅｌａｙｅｒｄａｔａ）とからなる。
【００２５】
ピクチャ層は、ピクチャ層のはじまりを示す３２ビットの同期コード（ｐｉｃｔｕｒｅｓｔａｒｔｃｏｄｅ）と、表示順を示す値でＧＯＰの頭でリセットされる１０２４の１０ビットの剰余値（ｔｅｍｐｏｒａｌｒｅｆｅｒｅｎｃｅ）と、画像の符号化モード（ピクチャタイプ）を示す３ビットの値（ｐｉｃｔｕｒｅｃｏｄｉｎｇｔｙｐｅ）と、ランダムアクセスした時のバッファの初期状態を示す１６ビットのパラメータ（ｂｕｆｆｅｒｆｕｌｌｎｅｓｓ）と、Ｂ又はＰピクチャに存在し、動きベクトルの精度が画素単位か半分画素かを示す１ビットの情報（ｆｕｌｌｐｅｌｆｏｒｗａｒｄｖｅｃｔｏｒ）及び前方への動きベクトルのサーチ範囲を示す３ビットの情報（ｆｏｒｗａｒｄｆ）と、Ｂピクチャに存在し、動きベクトルの精度が画素単位か半分画素かを示す１ビットの情報（ｆｕｌｌｐｅｌｂａｃｋｗａｒｄｖｅｃｔｏｒ）及び後方への動きベクトルのサーチ範囲を示す３ビットの情報（ｂａｃｋｗａｒｄｆ）と、エクストラ情報ピクチャがあることを示す１ビット×ｎのフラグ（ｅｘｔｒａｂｉｔｐｉｃｔｕｒｅ）と、将来の応用のためのＩＳＯが決定する８ビット×ｎの情報（ｅｘｔｒａｉｎｆｏｒｍａｔｉｏｎｐｉｃｔｕｒｅ）と、上記フラグ（ｅｘｔｒａｂｉｔｐｉｃｔｕｒｅ）がないことを示す１６ビットの”０”の情報と、拡張データがあることを示す３２ビットの同期コード（ｅｘｔｒａｂｉｔｃｏｄｅ）と、将来の互換のためのＩＳＯが決定する８ビット×ｎの情報（ｅｘｔｒａｉｎｆｏｒｍａｔｉｏｎｐｉｃｔｕｒｅ）と、ユーザデータがあることを示す３２ビットの同期コード（ｅｘｔｅｎｓｉｏｎｓｔａｒｔｃｏｄｅ）と、ユーザのアプリケーション用の８ビット×ｎの情報（ｐｉｃｔｕｒｅｅｘｔｅｎｓｉｏｎｄａｔａ）と、１以上のスライス層データ（ｓｌｉｃｅｌａｙｅｒｄａｔａ）とからなる。
【００２６】
スライス層は、スライス層のはじまりを示す３２ビットの同期コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）と、そのスライスで使われる量子化幅を与える５ビットのデータ（ｑｕｎａｔｉｚｅｓｃａｌｅ）と、エクストラ情報ピクチャがあることを示す１ビット×ｎのフラグ（ｅｘｔｒａｂｉｔｓｃａｌｅ）と、将来の応用のためのＩＳＯが決定する８ビット×ｎの情報（ｅｘｔｒａｉｎｆｏｒｍａｔｉｏｎｓｃａｌｅ）と、上記情報（ｅｘｔｒａｉｎｆｏｒｍａｔｉｏｎｐｉｃｔｕｒｅ）がないことを示す１６ビットの”０”の情報と、１以上のマクロブロック層のデータである（ｍａｃｒｏｂｌｏｃｋｌａｙｅｒｄａｔａ）とからなる。
【００２７】
マクロブロック層は、レート制御に使う１１ビットのダミーコード（ｍａｃｒｏｂｌｏｃｋｓｔｕｆｆｉｎｇ）と、スキップマクロブロック３３個に相当する１１ビットのコード（ｍａｃｒｏｂｌｏｃｋｅｓｃａｐｅ）と、そのマクロブロックの前のスキップマクロブロックの数＋１を表す可変長符号化画像の左端からマクロブロックの数＋１を表す１〜１１ビットの情報（ｍａｃｒｏｂｌｏｃｋａｄｒｅｓｓｉｎｃｒｅｍｅｎｔ）と、そのマクロブロックの符号化モードを示す可変長符号でマクロブロックタイプが量子化幅を示す値を持っている時に存在する１〜８ビットの情報（ｍａｃｒｏｂｌｏｃｋｔｙｐｅ）と、そのマクロブロック以降の量子化幅を示す５ビットの値（ｑｕｎａｔｉｚｅｓｃａｌｅ）と、マクロブロックタイプが前方及び両方向予測の時存在し、そのマクロブロックの前方動きベクトルの水平成分と前のマクロブロックのベクトルとの差分を上記情報（ｆｏｒｗａｒｄｆ）で表される可変長符号化により符号化したものである１〜１４ビットの情報（ｍｏｔｉｏｍｈｏｒｉｚｏｎｔａｌｆｏｒｗａｒｄ）と、後方動きベクトルの垂直成分である１〜１４ビットの情報（ｍｏｔｉｏｍｖｅｒｔｉｃａｌｂａｃｋｗａｒｄ）と、そのマクロブロック内の６つのブロックの係数を持つかどうかを示す可変長符号の情報である３０ビットの情報（ｃｏｄｅｄｂｌｏｃｋｐａｔｔｅｒｎ）と、上記情報（ｃｏｄｅｄｂｌｏｃｋｐａｔｔｅｒｎ）で伝送されたことが示されたブロック層のデータはＹ０，Ｙ１，Ｙ２，Ｙ３，Ｃｒ，Ｃｂであることを示す１〜６ブロックの情報（ｂｌｏｃｋｌａｙｅｒｄａｔａ）と、Ｄピクチャの時のみ存在しマクロブロックの終わりを示す１ビットの”１”の情報（ｅｎｄｏｆｍａｃｒｏｂｌｏｃｋ）とからなる。
【００２８】
ブロック層は、イントラマクロブロックの時存在し、次のＤＣＴ，ＤＣ差分のビット数を表す２〜７ビットの可変長符号の情報（ｄｃｔｄｃｌｔｕｍｉｎａｃｅ），（ｄｃｔｄｃｓｉｚｅｃｈｒｏｍｉｎａｎｃｅ）と、そのブロックのＤＣ成分の前のブロックのＤＣ成分との成分の１〜８ビットの可変長符号の情報（ｄｃｔｄｃｄｉｆｆｅｒｅｎｔｉａｌ）と、イントラマクロブロック以外の時存在し、ＤＣ成分の２〜２８ビットの可変長符号の情報（ｄｃｔｃｏｅｆｆｉｒｓｔ）と、ＤＣＴ係数をＤＣ成分の次からジグザグの順序で送り、０でなる係数とその直前の０係数の数を組とした２〜２８ビットの可変長符号の情報（ｄｃｔｃｏｅｆｎｅｘｔ）と、そのブロックでそれ以降の係数が全て０であることを示す２ビットのコード（ｅｎｄｏｆｂｌｏｃｋ）とからなる。
【００２９】
【発明が解決しようとする課題】
ところで、従来より、情報記録媒体としては、例えば光学ディスクにオーディオ信号を記録したいわゆるコンパクト・ディスク（すなわちＣＤ−ＤＡ：コンパクト・ディスク・ディジタル・オーディオ）が存在する。
【００３０】
しかし、上記オーディオ信号のみを記録するＣＤ−ＤＡ（以下オーディオＣＤと呼ぶ）では、音だけのデータをトラックという単位に分割して記録しているだけなので、例えば再生機能をコントロールするプログラムやスクリプトなどを入れることはできない。また、再生の順序は、単なるリニア再生か使用者が指図した順序に再生させるだけであり、内容供給者が他の様々な順序で再生させたいと思っても自由度がない。
【００３１】
これに対して、いわゆるＣＤーＩ（ＣＤ−インタラクティブ：ＣＤ−Ｉｎｔｅｒａｃｔｉｖｅ）では、音や動画や静止画などをデータファイルとして扱えるようになっている。
【００３２】
このような音や動画や静止画などを記録できるディスクにおいて、例えば動画を記録する場合には、ディスクの記録可能な容量を考慮して、前述したようなＭＰＥＧフォーマットの動画を記録することが望ましい。
【００３３】
しかし、このようなＭＰＥＧフォーマットで圧縮符号化された動画のビットストリームの読み出しエラーによって、再生装置のデコードシーケンスにエラーが発生した場合、画像が劣化してしまうことになる。
【００３４】
そこで、本発明は、上述したようなことに鑑み、ディスクからのデータの読み出しエラーによって再生エラーに陥ったとしても、画像の劣化を極力抑え、通常動作に復帰できる情報再生装置及びその方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
本発明に係る情報再生装置は、上述の目的を達成するために提案されたものであり、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生装置であって、上記複数の階層情報のうち最下層である第１の階層情報でのエラーについては、当該第１の階層情報の複数からなる第２の階層情報の平均値を用いてエラー復帰を行う第１のエラー復帰手段を有することを特徴とするものである。
【００３７】
また、上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、第２の階層情報の複数からなる第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置まで時間的に前又は後の画像の情報に置き換えてエラー復帰を行ったり、第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置までの情報を削除してエラー復帰を行ったり、第３の階層情報の先頭位置まで戻ってエラー復帰を行ったりする。
【００３８】
さらに、上記第３の階層情報よりも上位の階層情報でのエラーについては、次の当該上位の階層情報の開始位置まで読み飛ばして、エラー復帰を行うようにする。
【００３９】
また、本発明に係る情報再生方法は、上述の目的を達成するために提案されたものであり、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生方法であって、上記複数の階層情報のうち最下層である第１の階層情報でのエラーについては、当該第１の階層情報の複数からなる第２の階層情報の平均値を用いてエラー復帰を行う第１のエラー復帰工程を有することを特徴とするものである。
【００４１】
また、上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、第２の階層情報の複数からなる第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置まで時間的に前又は後の画像の情報に置き換えてエラー復帰が行われたり、第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置までの情報を削除してエラー復帰を行ったり、第３の階層情報の先頭位置まで戻ってエラー復帰が行われたりする。
【００４２】
さらに、上記第３の階層情報よりも上位の階層情報でのエラーについては、次の当該上位の階層情報の開始位置まで読み飛ばして、エラー復帰が行われるようにする。
【００４３】
【作用】
本発明に係る情報再生装置及びその方法によれば、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生したときに、各階層情報のエラーが発生したならば、各階層に応じてエラー復帰を行う。
【００４４】
【実施例】
以下、本発明の一実施例について図面を参照しながら説明する。
【００４５】
本発明実施例の情報再生装置は、複数の階層情報によって構成される所定の動画シーケンスとして前述したＭＰＥＧフォーマットの動画シーケンスが記録されてなる情報記録媒体（例えばいわゆるビデオＣＤ）を再生する情報再生装置であって、前記ブロック層，マクロブロック層，スライス層，ピクチャ層，ＧＯＰ層，ビデオシーケンス層の各階層情報のエラーを、図１に示すように各階層に応じて復帰するエラー復帰手段としての例えばＬＳＩ（大規模集積回路）により構成される制御用シーケンサ３００を有することを特徴とするものである。
【００４６】
ここで、当該制御用シーケンサ３００は、上記複数の階層のうち最下層である第１の階層としのブロック層でのエラーについては、第２の階層であるマクロブロック層の各ブロックの平均値を用いて、エラー復帰（エラーリカバリ）を行う。
【００４７】
また、上記エラー復帰と共に若しくは別に、制御用シーケンサ３００は、マクロブロック層のエラーについては、第３の階層であるスライス層の次の先頭位置（スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ））若しくは当該マクロブロック層を含む画像の最後の位置まで時間的に前又は後の画像（Ｉ，Ｐピクチャではフォワード側、Ｂピクチャではバックワード側）の情報に置き換えてエラー復帰を行ったり、次のスライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）若しくは当該マクロブロックを含む画像の最後の位置まで所定の情報（例えば、白色，黒色，灰色，青色、緑色、オレンジ色等の特定の目立たない色や、前及び／又は後の平均値）に置き換えてエラー復帰を行ったり、次のスライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）若しくは当該マクロブロックを含む画像の最後の位置までの情報を削除してエラー復帰を行ったり、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔ
ｃｏｄｅ）まで戻ってエラー復帰を行ったりする。
【００４８】
さらに、上記制御用シーケンサ３００は、上記スライス層よりもよりも上位の階層であるピクチャ層，ＧＯＰ層，ビデオシーケンス層の情報のエラーについては、次のこれら上位の階層情報の開始位置（ピクチャ・スタート・コード（ｐｉｃｔｕｒｅｓｔａｒｔｃｏｄｅ）や、グループ・スタート・コード（ｇｒｏｕｐｓｔａｒｔｃｏｄｅ）、シーケンス・スタート・コード（ｓｅｑｕｅｎｃｅｓｔａｒｔｃｏｄｅ））まで読み飛ばして、エラー復帰を行うようにする。
【００４９】
以下、図１について説明する。
本発明実施例の情報再生装置の概略構成を示す図１において、端子２００にはいわゆるＭＰＥＧ１フォーマットのビデオビットストリームが供給される。このビットストリームは、例えばフレームメモリからなるビットストリームバッファ２０１に一旦蓄えられた後に読み出され、可変長符号の復号化回路２０２に送られる。当該可変長符号の復号化回路２０２は、上記ビットストリームバッファ２０１より供給されたデータを可変長復号化し、その復号された画像のＤＣＴ係数や量子化ステップ情報等を逆量子化回路２０３に送る。逆量子化回路２０３では符号化の際の量子化に対応する逆量子化処理が施され、さらに次の逆ＤＣＴ回路２０４では符号化の際のＤＣＴに対応する逆ＤＣＴ処理が施される。これら処理は全てマクロブロック単位で行われる。
【００５０】
当該逆ＤＣＴ回路２０４からの出力は、切換スイッチ２０５の一方の被切換端子に供給されると共に加算器２０６にも送られる。当該切換スイッチ２０５は供給されたデータがＩピクチャのマクロブロックのデータの場合には、そのまま出力し、他のピクチャのマクロブロックのデータである場合には、加算器２０６から供給されたデータを出力する。上記切換スイッチ２０５の出力データは、順次切り換えられる選択スイッチ２１４を介して、フレームメモリ２１０〜２１３に順次送られて記憶され、画像の再現や表示に使用されるようになる。すなわち、このフレームメモリ２１０〜２１３に記憶されたデータが、上記加算器２０６に後に入力される画像データ（Ｐ又はＢピクチャのデータ）の予測画像データ生成のために使用される。
【００５１】
各フレームメモリ２１０〜２１３は、メモリ読み出し回路２１７，２１５によって読み出しが制御され、各フレームメモリ２１０〜２１３から読み出されたデータは、選択スイッチ２０７〜２０９のそれぞれ対応する被選択端子に送られる。この選択スイッチ２０７〜２０９も、スイッチ２０５，２１４同様に処理するマクロブロックの種類に応じて切り換えが行われるものである。
【００５２】
ここで、選択スイッチ２０８，２０９の出力は、メモリ読み出し回路２１５，２１７を介してハーフピクセル処理回路２１６，２１８に送られ、ここで画素数を１／２にするハーフピクセル処理が行われた後、加算器２１９又は選択スイッチ２２０の対応する被選択端子に送られる。加算器２１９の出力も選択スイッチ２２０の対応する被選択端子に送られる。この選択スイッチ２２０からの出力は、一方の被切換端子に”０”が供給される切換スイッチ２２１の他方の被切換端子に送られる。この切換スイッチ２２１はピクチャタイプに応じてマクロブロック毎に切り換えられるものであり、Ｉピクチャのときには上記一方の被切換端子に、他のピクチャのときには上記他方の被切換端子に切り換えられるものである。この切換スイッチ２２１の出力が上記加算器２０６に送られる。
【００５３】
また、上記選択スイッチ２０７の出力は、復元された画像データとなってディスプレイ制御回路２２２に送られる。ディスプレイ制御回路２２２からの出力は、端子２２３から出力ビデオ信号として後段の構成に送られる。
【００５４】
さらに、制御用シーケンサ３００は、可変長符号の復号化回路２０２からのエラーリカバリビットを受けて、各スイッチ２０５，２０７〜２０９，２１４，２２０，２２１の切換制御を行うことにより、後述するエラーリカバリ処理を行う。
【００５５】
ところで、本実施例の情報再生装置は、上記ＭＰＥＧフォーマットで圧縮符号化された情報がいわゆるコンパクトディスクのような記録メディアに記録されている場合に、このディスクを再生するものである。
【００５６】
したがって、当該ディスクから読み出したデータにはエラーが存在することがある。このようにＭＰＥＧフォーマットで圧縮符号化された動画のビットストリームが記録されたディスクから読み出したデータの読み出しエラーによって、再生装置のデコードシーケンスにエラーが発生した場合、画像が劣化してしまうことになる。
【００５７】
このため、本実施例の情報再生装置においては、ディスクからのデータの読み出しエラーによって再生エラーに陥ったとしても、画像の劣化を極力抑え、通常動作に復帰できるようにしている。
【００５８】
以下、本実施例の情報再生装置において、読み出しデータにエラーがあっても自分で復帰してエラーによる画質の劣化を極力抑えてデコードを進める方法について説明する。
【００５９】
本実施例装置では、ビットストリームのエラーによるデコードシーケンスのエラーリカバリを、上記制御用シーケンサ３００にて、以下のような方法で行うようにしている。
【００６０】
先ず、制御用シーケンサ３００では、可変長符号の復号化回路２０２によって発生されるエラーリカバリビットが０の時には、エラーリカバリを行わない。
【００６１】
各レイヤにおけるエラーリカバリは、図２及び図３のフローチャートに従って行う。
【００６２】
先ず、図２において、ステップＳ５００で可変長符号のデコード中に発生するエラーである係数デコードエラーであるか否かの判断を行う。ノーと判断した場合には判断を繰り返し、イエスと判断したときにはステップＳ５０１に進む。
【００６３】
ステップＳ５０１では前記エンド・オブ・ブロック（ｅｎｄｏｆｂｌｏｃｋ）を送出し、ステップＳ５０２において当該エラーをマクロブロック・レイヤ（ブロックを６個まとめたマクロブロック）のレベルまでもっていく。すなわち、当該ステップＳ５０２では、エラーがマクロブッロク内のエラーであるか否かの判定を行い、ノーと判定したときには判定を繰り返し、イエスと判定したときにはステップＳ５０３に進む。
【００６４】
このステップＳ５０３では、エラーの発生したマクロブロック以降のマクロブッロクをスキップマクロブロック扱いにする。
【００６５】
ここで、マクロブロック内のブロック・レイヤのエラーである場合には、以下のようにする。例えば、Ｉピクチャのマクロブロック（イントラ・マクロブロック）で係数デコード時にエラーが発生したときには、そのマクロブロック内でＤＣの値（すなわち例えば平均値）を保つ。次のマクロブロックに入ったときにＤＣをリセットする。すなわち例えば、ＤＣ係数は、そのブロック以降、同一マクロブロック内の係数が存在しないＩピクチャのマクロブロック（イントラ・マクロブロック）として扱われる。それ以降のマクロブロックは、フォワード側からベクトル＝（０，０）で動き補償される。また、例えば、ＡＣ係数は、そのブロック以降、同一マクロブロック内の係数が存在しないマクロブロックとして扱われる。それ以降のマクロブロックは、Ｉピクチャ，Ｐピクチャの場合にはフォワード側から、Ｂピクチャの場合にはバックワード側から、ベクトル＝（０，０）で動き補償される。
【００６６】
また、マクロブロック・レイヤのエラーである場合には、以下のようにする。例えば、アドレスインクリメントする。すなわち、そのマクロブロックを含む以降のマクロブロックをＩ，Ｐピクチャの場合にはフォワード側から、Ｂピクチャの場合にはバックワード側から、ベクトル＝（０，０）で動き補償する。これが後述するように例えば次のスライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）で示される位置まで繰り返される。また、エラーの発生したマクロブロック以降のベクトルを０とし、その後は上記アドレスインクリメントと同様にする。さらに、前記コーデッド・ブロック・パターン（ｃｏｄｅｄｂｌｏｃｋｐａｔｔｅｒｎ）の場合、そのマクロブロック以降は係数がないものとして扱い、その後は上記アドレスインクリメントと同様にする。
【００６７】
言い換えれば、スキップ・マクロブロック扱いとするということは、フレーム間相関をとるときに、係数が全く発生しないことであり、他のマクロブロックをそのまま持ってくるような扱いにする。なお、このときのスキップするマクロブロックとして、前のマクロブロックを使うか、後のマクロブロックを使うかは、ピクチャのタイプによって違い、例えばＰピクチャの場合には時間的に前のものを使う。例えば、前記図４の例において、Ｐ９のピクチャでエラーが発生したときは、Ｐ６のピクチャを使用する。これに対して、Ｂピクチャでエラーになった場合には後ろの方のピクチャを使用する。例えばＢ１１のピクチャでエラーが発生した場合は、Ｐ９のピクチャから持ってくる。Ｉピクチャでエラーが発生した場合には、前のピクチャは存在しないはずであるが、本実施例で扱う信号は一連のビデオ信号であるので、その前のＰピクチャからもっていくる。
【００６８】
ここで、上記マクロブロック扱いとしてエラー以降にマクロブロックを埋めていくとき、次のスタート・コードが見つかるまで埋めていく。このとき、スタートコードに前述したようにいくつか種類があるが、このステップＳ５０４では、例えば、前記スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）の探索を行う。すなわち、スライス・レイヤ内のエラーか否か判断する。当該ステップＳ５０４において、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）が無いと判断したときには、ステップＳ５０５に進む。一方、ステップＳ５０４において、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）があると判断したときには、ステップＳ５０６に進む。
【００６９】
ステップＳ５０６では、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）で指定される位置（Ｓｘ，Ｓｙ）と現在のデコード位置（Ｒｘ，Ｒｙ）とを比較し、現在までのマクロブロックのデコード位置がスライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）で指定される位置（Ｓｘ，Ｓｙ）よりも大きければ（（Ｒｘ，Ｒｙ）＞（Ｓｘ，Ｓｙ）のとき）ステップＳ５０４に戻り、次のスライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）を探し、それ以外のときにはステップＳ５０７に進む。
【００７０】
当該ステップＳ５０７では、（Ｒｘ，Ｒｙ）＝（Ｓｘ，Ｓｙ）となるまで、スキップ・マクロブロック扱いとする。すなわち、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）で示される垂直位置まで、Ｉ，Ｐピクチャの場合にはフォワード側から、Ｂピクチャの場合にはバックワード側からベクトル＝（０，０）で動き補償する。
【００７１】
その後、ステップＳ５０７で復帰する。すなわち、スライス・レイヤの頭から復帰する。このようにスライス・レイヤの頭から復帰したことにより、水平方向のスキップは上記マクロブロックのアドレスインクリメントによって行われる。言い換えれば、ステップＳ５０４、ステップＳ５０６、ステップＳ５０７の流れでは、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）が見つかった場合は、当該スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）が示している位置の一つ前までスキップ・マクロブロックによって前のデータを埋めていく。その後は、ステップＳ５０８において通常のデコードに復帰する。
【００７２】
また、上記ステップＳ５０４において、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）が無いと判断したときのステップＳ５０５では、最後のマクロブロックまでスキップする処理を行う。すなわち、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）は、１枚の画像につき一つ入っていればよいので、通常は一番先頭に存在し、したがって、エラー発生時点では存在しないため、この場合は図３のステップＳ５１３のように、最後のマクロブロックまでスキップして埋めてしまう。
【００７３】
さらに、上記ステップＳ５０４において、スライス・スタート・コード（ｓｌｉｃｅｓｔａｒｔｃｏｄｅ）が見つからず、前記ピクチャ・スタート・コード（ｐｉｃｔｕｒｅｓｔａｒｔｃｏｄｅ）や、グループ・スタート・コード（ｇｒｏｕｐｓｔａｒｔｃｏｄｅ）、シーケンス・スタート・コード（ｓｅｑｕｅｎｃｅｓｔａｒｔｃｏｄｅ）などに遭遇したときには、図３に示すように、そのピクチャの最後まで上記ブロック・レイヤ、マクロブロック・レイヤで述べた方法で動き補償を行う。その後は、遭遇した、スタートコードに従って、処理を行う。
【００７４】
次に、図３を用いて、他のレイヤのエラーの場合のエラーリカバリの流れを説明する。ここで、他のレイヤのエラーとして、ピククャ・レイヤのエラー，グループ・レイヤのエラー，シーケンス・レイヤのエラーの場合のエラーは、スタートコードそのもののエラーか、マーカービットのエラーのいずれかである。なお、エラー発生後は、次のスタート・コードを探すが、前記ユーザ・データ・スタート・コード（ｕｓｅｒｄａｔａｓｔａｒｔｃｏｄｅ）、エクステンション・スタート・コード（ｅｘｔｅｎｓｉｏｎｓｔａｒｔｃｏｄｅ）などのコードは、レイヤを限定できないので読み飛ばす。
【００７５】
この図３において、上記図２のステップＳ５０５で最後のマクロブロックまでスキップした後、或いは、エラーがステップＳ５１０のピクチャ・レイヤのエラー、ステップＳ５１１のグループ・レイヤのエラー、ステップＳ５１２のシーケンス・レイヤのエラーのときには、以下の処理を行う。
【００７６】
先ず、シーケンス・レイヤのエラーか否かの判断として、ステップＳ５１４で前記シーケンス・スタート・コード（ｓｅｑｕｅｎｃｅｓｔａｒｔｃｏｄｅ）があるか否かの判断を行い、イエスと判定したときにはステップＳ５１８でシーケンス・レイヤの復帰を行い、ノーと判定したときにはステップＳ５１５に進む。
【００７７】
ステップＳ５１５では、前記グループ・スタート・コード（ｇｒｏｕｐｓｔａｒｔｃｏｄｅ）か否かの判断を行い、イエスと判定したときにはステップＳ５１９でグループ・レイヤの復帰を行い、ノーと判定したときは、ステップＳ５１６に進む。
【００７８】
ステップＳ５１６では、前記ピクチャ・スタート・コード（ｐｉｃｔｕｒｅｓｔａｒｔｃｏｄｅ）か否かの判断を行い、イエスと判定したときにはステップＳ５２０でピクチャ・レイヤの復帰を行い、ノーと判定したときは、ステップＳ５１７に進む。
【００７９】
ステップＳ５１７では、前記シーケンス・エンド・コード（ｓｅｑｕｅｎｃｅｅｎｄｃｏｄｅ）か否かの判断を行い、イエスと判定したときにはステップＳ５２１でシーケンス・エンドの復帰を行い、ノーと判定したときは、ステップＳ５２２に進む。
【００８０】
ステップＳ５２２では、次のスタート・コードを探し、ステップＳ５１４に戻る。
【００８１】
【発明の効果】
本発明の情報再生装置及びその方法においては、複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生したときに、各階層情報のエラーが発生したならば、各階層に応じてエラー復帰を行うため、情報記録媒体からの情報の読み出しエラーによって再生エラーに陥ったとしても、画像の劣化を極力抑え、通常動作に復帰可能となる。
【図面の簡単な説明】
【図１】本発明実施例の情報再生装置の要部の構成を示すブロック回路図である。
【図２】本実施例装置におけるエラーリカバリの流れの前半部分を示すフローチャートである。
【図３】本実施例装置におけるエラーリカバリの流れの後半部分を示すフローチャートである。
【図４】ＭＰＥＧフォーマットにおけるフレーム間相関とピクチャタイプの関係を説明するための図である。
【図５】ＭＰＥＧフォーマットにおける階層構造を説明するための図である。
【符号の説明】
２０１ビットストリームバッファ
２０２可変長符号の復号化回路
２０３逆量子化回路
２０４逆ＤＣＴ回路
２０５，２２１切換スイッチ
２０６，２１９加算器
２０７〜２０９，２１４選択スイッチ
２１０〜２１３フレームメモリ
２１５，２１７メモリ読み出し回路
２１６，２１８ハーフピクセル処理回路
２２２ディスプレイ制御回路
３００制御用シーケンサ

Claims

複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生装置であって、
上記複数の階層情報のうち最下層である第１の階層情報でのエラーについては、当該第１の階層情報の複数からなる第２の階層情報の平均値を用いてエラー復帰を行う第１のエラー復帰手段を有する
ことを特徴とする情報再生装置。
上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、第２の階層情報の複数からなる第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置まで、時間的に前又は後の画像の情報に置き換えて、エラー復帰を行う第２のエラー復帰手段を有することを特徴とする請求項１記載の情報再生装置。
上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、第２の階層情報の複数からなる第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置までの情報を削除して、エラー復帰を行う第２のエラー復帰手段を有することを特徴とする請求項１記載の情報再生装置。
上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、当該第２の階層情報の複数からなる第３の階層情報の先頭位置まで戻って、エラー復帰を行う第２のエラー復帰手段を有することを特徴とする請求項１記載の情報再生装置。
上記複数の階層情報のうち最下層の複数の第１の階層情報で構成される第２の階層情報の複数からなる第３の階層情報よりも上位の階層情報でのエラーについては、次の上位の階層情報の開始位置まで読み飛ばして、エラー復帰を行う第３のエラー復帰手段を有してなることを特徴とする請求項１から請求項４のうちのいずれか１項に記載の情報再生装置。
複数の階層情報によって構成される所定の動画シーケンスが記録されてなる情報記録媒体を再生する情報再生方法であって、
上記複数の階層情報のうち最下層である第１の階層情報でのエラーについては、当該第１の階層情報の複数からなる第２の階層情報の平均値を用いてエラー復帰を行う第１のエラー復帰工程を有する
ことを特徴とする情報再生方法。
上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、第２の階層情報の複数からなる第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置まで、時間的に前又は後の画像の情報に置き換えて、エラー復帰を行う第２のエラー復帰工程を有することを特徴とする請求項６記載の情報再生方法。
上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、第２の階層情報の複数からなる第３の階層情報の次の先頭位置若しくは当該第２の階層情報を含む画像の最後の位置までの情報を削除して、エラー復帰を行う第２のエラー復帰工程を有することを特徴とする請求項６記載の情報再生方法。
上記複数の階層情報のうち最下層である第１の階層情報の複数からなる第２の階層情報でのエラーについては、当該第２の階層情報の複数からなる第３の階層情報の先頭位置まで戻って、エラー復帰を行う第２のエラー復帰工程を有することを特徴とする請求項６記載の情報再生方法。
上記複数の階層情報のうち最下層の複数の第１の階層情報で構成される第２の階層情報の複数からなる第３の階層情報よりも上位の階層情報でのエラーについては、次の上位の階層情報の開始位置まで読み飛ばして、エラー復帰を行う第３のエラー復帰工程を有してなることを特徴とする請求項６から請求項９のうちのいずれか１項に記載の情報再生方法。