JP4190148B2 - 伝送時のデータ欠落によるエラーを強力に回復する原始コーディング - Google Patents

Description

【０００１】
発明の背景
１．関連出願
本出願は、１９９７年１０月２３日出願の米国特許出願番号０８／９５６，６３２号「伝送損失におけるエラーを強力に回復する画像−ブロックマッピング（Image-to-Block Mapping to Provide for Robust Error Recovery During Transmission Losses）」、１９９７年１０月２３日出願の米国特許出願番号０８／９５７，５５５号「伝送損失におけるエラーを強力に回復する原始コーディング（Source Coding to Provide for Robust Error Recovery During Transmission Losses）」、１９９７年１０月２３日出願の米国特許出願番号０８／９５６，８７０号「伝送損失におけるエラーを強力に回復するマルチプルブロック回復方法（Multiple Block Recovery Method to Provide for Robust Error Recovery During Transmission Losses）」の一部継続出願として１９９８年１月２日に出願された米国特許出願番号０９／００２，５４７号「伝送損失におけるエラーを強力に回復する画像−ブロックマッピング（Image-to-Block Mapping to Provide for Robust Error Recovery During Transmission Losses）」、１９９８年１月２日に出願された米国特許出願番号０９／００２，４７０号「伝送損失におけるエラーを強力に回復する原始コーディング（Source Coding to Provide for Robust Error Recovery During Transmission Losses）」、１９９８年１月２日に出願された米国特許出願番号０９／００２，５５３号「伝送損失におけるエラーを強力に回復するマルチプルブロック回復方法（Multiple Block Recovery Method to Provide for Robust Error Recovery During Transmission Losses）」の一部継続出願として１９９８年１月３０日に出願された米国特許出願番号０９／０１６，０８３号「伝送損失におけるエラーを強力に回復する原始コーディング（Source Coding to Provide for Robust Error Recovery During Transmission Losses）」の継続出願である。１９９８年１月３０日に出願された米国特許出願番号０９／０１６，０８３号、１９９８年１月２日に出願された米国特許出願番号０９／００２，５４７号、米国特許出願番号０９／００２，４７０号、米国特許出願番号０９／００２，５５３号、１９９７年１０月２３日出願の米国特許出願番号０８／９５６，６３２号、米国特許出願番号０８／９５７，５５５号、米国特許出願番号０８／９５６，８７０号は、参照により本願に組み込まれるものとする。
【０００２】
２．発明の分野
本発明は、信号伝送中のデータ欠落に起因するエラーを強力に回復する技術に関する。
【０００３】
３．背景技術
信号伝送中に発生するランダムエラーにより失われたデータを再構築するための様々な手法が提案されている。しかしながら、これらの手法は、連続したデータパケットの欠落を回復することはできない。連続したデータパケットの欠落は、当分野では、バーストエラーと呼ばれる。バーストエラーにより、再生信号は、大きく劣化する。さらに、通信の高速化を目的とする圧縮技術は、バーストエラーにより起こる信号の劣化を増長させ、これにより再生信号の劣化はさらに深刻なものとなる。バーストエラーによる伝送信号及び／又は記録信号への影響の例は、圧縮技術が重要な役割を果たす高精細度テレビジョン（high definition television：以下、ＨＤＴＶという。）や、移動通信装置等において確認される。
【０００４】
ＨＤＴＶの出現により、テレビジョンシステムにおいて、ナショナルテレビジョンシステムコミッティ（National Television Systems Committee：ＮＴＳＣ）が提案する従来の標準規格より高い解像度が実現されるようになった。現在提案されているＨＤＴＶ信号は、主にデジタル信号である。カラーテレビジョン信号がデジタル形式に変換される場合、通常、輝度信号及び色差信号は、８ビットにデジタル化される。カラーテレビジョン信号をデジタル伝送するためには、２１６メガビット毎秒の基準データ伝送速度が必要である。この伝送速度は、ＨＤＴＶの場合はさらに高く、通常、１２００メガビット毎秒の伝送速度が必要となる。このような高い伝送速度は、現在の無線規格によりサポートされている帯域幅をはるかに上回る。したがって、効率的な圧縮技術が求められている。
【０００５】
圧縮技術は、移動通信の分野においても重要な役割を果たす。通常、移動通信の用途における遠隔の端末間でパケットデータが送受信される。移動通信の伝送チャネル数は限られており、パケット送信の前にパケットを効率的に圧縮する技術が必要である。高い伝送速度を達成するために、多くの圧縮技術が提案されている。
【０００６】
画像圧縮のための適応ダイナミックレンジコーディング（Adaptive Dynamic Range Coding：以下、ＡＤＲＣという。）及び、離散コサイン変換（discrete cosine transform：以下、ＤＣＴという。）技術が知られている。これらの技術は、画像内の局所的な相関を利用して高圧縮率を達成するものである。しかしながら、符号化された信号を復号する際にエラーが顕著となるため、効率的な圧縮アルゴリズムは、複合的なエラーの増殖の原因ともなる。このようなエラーの増大により、再生映像は大幅に劣化する。
【０００７】
発明の開示
本発明は、信号を原始コーディングする方法を提供する。特に、本発明は、複数の信号要素からなる信号を処理する。各信号要素は、ビットストリームとして符号化される。与えられたビットストリームは、異なる複数のビットストリームに分散される。これにより、セグメント成分のパラメータ記述成分が異なる複数のビットストリームに分散される。分散処理により、エラーは複数のレベルに分散される。したがって、分散処理の逆の処理がデコーダによりなされると、伝送時のバーストエラーは局所的な欠落として分散される。
【０００８】
本発明は、複数のレベルのシャッフリング処理を提供する。信号は、複数のレベルを有するものと定義される。各レベルは、複数のフレーム、複数の画素、複数のビットから構成される。一具体例において、各レベル内及びレベル間でシャッフリングが行われ、これにより欠落が発生した画像領域における画像の再構築が容易となる。
【０００９】
すなわち、本発明に係る原始コーディング方法は、複数の信号要素からなる信号を原始コーディングして、強力なエラー回復を実現する原始コーディング方法において、各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化するステップと、上記符号化された複数の信号要素を複数の信号要素のセットに分割するステップと、上記符号化された各信号要素のセットについて、該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成するステップと、上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散するステップとを有する。
【００１０】
そして、この原始コーディング方法は、上記符号化された信号要素を、上記符号化された信号要素のビットを複数のビットストリームに亘って分散するステップの前に、バッファ内に分散するステップを更に有する。
【００１１】
ここで、上記信号は、ビデオ信号である。
【００１２】
また、上記複数のビットストリームの各ビットストリームのビットを再分散するステップと、上記各ビットストリームの符号化された複数の信号要素を再割当てするステップと、上記符号化された複数の信号要素から上記信号を再構築するステップとを更に有する。
【００１３】
さらに、この原始コーディング方法は、上記複数のビットストリームの各ビットストリームのビットを、上記符号化された各信号要素を表すビットが上記分散するステップの前の位置に戻るように、再分散するステップと、上記複数のビットストリームの符号化された信号要素を、上記信号要素のセットに再割当てするステップとを更に有する。
【００１４】
次に、本発明に係るデジタル信号処理システムは、複数の信号要素からなる信号を原始コーディングして、強力なエラー回復を実現するプロセッサを備え、上記プロセッサは、各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化するステップと、上記符号化された複数の信号要素を複数の信号要素のセットに分割するステップと、上記符号化された各信号要素のセットについて、該信号要素のセットの符号化された各信号要素を表す複数のビットからなるビットストリームを形成するステップと、上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散するステップとを実行するものである。
【００１５】
次に、本発明に係る記録媒体は、プロセッサにより実行可能な命令を格納したコンピュータにより読取可能な記録媒体であって、上記プロセッサに、各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化するステップと、上記符号化された複数の信号要素を複数の信号要素のセットに分割するステップと、上記符号化された各信号要素のセットについて、該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成するステップと、上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散するステップとを実行させて、上記複数の信号要素からなる信号に対する強力なエラー回復を実現する原始コーディングを実行させる命令が格納されてコンピュータにより読取可能なものである。
【００１６】
次に、本発明の復号方法は、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号する復号方法において、上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散するステップと、上記各ビットストリームの符号化された複数の信号要素を再割当てするステップと、上記符号化された複数の信号要素から上記信号を再構築するステップとを有する。
【００１７】
一方、本発明に係る再生方法は、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生する再生方法において、上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散するステップと、上記複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てするステップとを有する。
【００１８】
そして、本発明に係る信号処理システムは、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号する信号処理システムにおいて、上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散する再分散手段と、上記各ビットストリームの符号化された複数の信号要素を再割当てする再割当手段と、上記符号化された複数の信号要素から上記信号を再構築する再構築手段とを備える。
【００１９】
また、本発明に係る信号処理システムは、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生する信号処理システムにおいて、信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、原始コーディングされた信号の複数のビットストリームから各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散する手段と、複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てする手段とを備える。
【００２０】
次に、本発明に係る記録媒体は、プロセッサにより実行可能な命令を格納したコンピュータにより読取可能な記録媒体であって、プロセッサに、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号させる際に、信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散するステップと、各ビットストリームの符号化された複数の信号要素を再割当てするステップと、符号化された複数の信号要素から上記信号を再構築するステップと を実行させる命令が格納されてコンピュータにより読取可能なものである。
【００２１】
また、本発明に係る記録媒体は、プロセッサにより実行可能な命令を格納したコンピュータにより読取可能な記録媒体であって、プロセッサに、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生させる際に、信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、上記原始コーディングされた信号の複数のビットストリームから各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散するステップと、上記複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てするステップとを実行させる命令が格納されてコンピュータにより読取可能なものである。
【００２２】
次に、本発明に係る原始コーディング装置は、複数の信号要素からなる信号を原始コーディングして、強力なエラー回復を実現する原始コーディング装置において、各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化する符号化手段と、上記符号化された複数の信号要素を複数の信号要素のセットに分割する分割手段と、上記符号化された各信号要素のセットについて、該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成するビットストリーム形成手段と、上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散する分散手段とを備える。
【００２３】
次に、本発明の復号装置は、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号する復号装置において、上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散する再分散手段と、上記各ビットストリームの符号化された複数の信号要素を再割当てする再割当手段と、上記符号化された複数の信号要素から上記信号を再構築する再構築手段とを備える。
【００２４】
一方、本発明の再生方法は、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生する再生装置において、上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散する再分散手段と、上記複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てする再割当手段とを備える。
【００２５】
発明の詳細な説明
本発明は、強力なエラー回復を実現するコーディング及び信号ストリームの処理の手法を提供する。以下の記述においては、説明を目的として、本発明の理解を容易にするために多くの詳細事項について述べる。しかしながら、当業者にとって、これら特定の詳細事項が本発明の実施に必ずしも必要でないことは明らかである。また、本発明を具体的かつ明瞭に説明するために、ブロック図においては、周知の電気的構造及び回路を例示する。
【００２６】
本発明を適用した信号処理方法及び信号構造について、映像信号の処理を例に説明する。しかしながら、ここに説明する方法及び装置は、音声信号や他のデジタルデータビットストリーム等、複数の信号要素からなる種々の信号に適用することができる。さらに、ここに説明する処理例は、データ圧縮のための適応ダイナミックレンジコーディング（Adaptive Dynamic Range Coding：以下、ＡＤＲＣという。）処理を用いている。しかしながら、他の様々なコーディング方式及びアルゴリズムを用いてもよい。ＡＤＲＣの詳細については、１９９１年９月４日〜６日にイタリアのトリノで開催されたＨＤＴＶ及びその未来に関する第４回国際研究会（Fourth International Workshop on HDTV and Beyond）において、近藤、藤森、中屋らにより発表された「将来のＨＤＴＶデジタルＶＴＲのための適応ダイナミックレンジコーディング方式（Adaptive Dynamic Range Coding Scheme for Future HDTV Digital VTR）」に記載されている。
【００２７】
この論文では、異なる種類のＡＤＲＣが紹介されている。これらは、以下の式により実現される。
【００２８】
【数１】

【００２９】
【数２】

【００３０】
【数３】

【００３１】
信号の符号化、伝送、続いて行われる復号処理を包括的にＦＩＧ．１に示す。信号１００は、エンコーダ１１０に入力されるデータストリームである。エンコーダ１１０は、ＡＤＲＣ圧縮アルゴリズムに基づいて、伝送媒体１３５を介して伝送されるパケット１，・・・，Ｎを生成する。デコーダ１２０は、これらパケット１，・・・，Ｎを受信し、信号１３０を生成する。信号１３０は、信号１００を再構築する信号である。
【００３２】
エンコーダ１１０とデコーダ１２０は、様々な形式で実現されて、以下に説明する機能を実行することができる。ある具体例においては、エンコーダ１１０及び／又はデコーダ１２０は、通常、中央演算処理装置、メモリ、１つ以上の入出力装置、コプロセッサ等を備える汎用又は専用のコンピュータシステムにより実行される、媒体に格納されたソフトウェアプログラムとして実現される。これに代えて、エンコーダ１１０及び／又はデコーダ１２０を以下に説明する機能を実行する論理回路として実現してもよい。さらに、エンコーダ１１０及び／又はデコーダ１２０は、ハードウェア、ソフトウェア又はファームウェアの組み合わせとして実現してもよい。
【００３３】
この具体例においては、信号１００は、それぞれがインタレースビデオシステムにおいて画像を示す情報を含む一連のビデオフレームからなるカラービデオ画像を示す信号である。各フレームは、２つのフィールドからなり、一方のフィールドは、画像の偶数ラインに相当し、他方のフィールドは、画像の奇数ラインに相当する。データは、画素値を含み、画素値は、画像内の対応する位置の色成分を表す。例えば、この具体例において、色成分は、輝度信号Ｙと、色差信号Ｕ、Ｖからなる。なお、本発明による処理がインタレース処理されたビデオ信号以外の信号にも適用できることは明らかである。さらに、本発明はＹＵＶ色空間に限定されるものではなく、この他の色空間を示す画像にも適応できることは明らかである。
【００３４】
ＦＩＧ．１において、エンコーダ１１０は、Ｙ信号、Ｕ信号、Ｖ信号を分離し、それぞれの信号グループをＡＤＲＣアルゴリズムに基づいて別々に処理する。以下では、説明を簡潔に行うために、Ｙ信号の処理について述べるが、符号化処理は、Ｕ信号及びＶ信号に対しても同様に行われる。
【００３５】
この具体例において、エンコーダ１１０は、信号１００の、この明細書ではフレーム対と呼ばれる２つの連続するフレームに亘るＹ信号を３つの３次元（３Ｄ）ブロックにグループ化する。さらに、一具体例では、３Ｄブロックは、所定のフレーム対に亘る同一の局所領域における２つの２次元ブロックをグループ化して生成される。ここで、２次元（２Ｄ）ブロックは、フレーム又はフィールド内の局所画素をグループ化して生成される。ここに記述する処理は、他のブロック構造に対しても適用できる。信号のグループ化については、画像−ブロックマッピングの説明において詳述する。
【００３６】
この具体例においては、任意の３Ｄブロックに対し、エンコーダ１１０は、３Ｄブロックを形成する２つの２Ｄブロック間について、画素値に変化があるか否かを算出する。値に実質的な変化が認められた場合は、モーションフラグ（Motion Flag）が設定される。当分野で周知の通り、モーションフラグを用いることにより、エンコーダ１１０は、各フレーム対において画像の特定領域の画像が同じ場合、量子化符号の数を減らすことができる。エンコーダ１１０は、３Ｄブロック内における最大画素強度値（ＭＡＸ）及び最小画素強度値（ＭＩＮ）を検出する。エンコーダ１１０は、これら値ＭＡＸ、ＭＩＮを用いて、与えられたデータの３Ｄブロックのダイナミックレンジの値（ＤＲ）を算出する。変形例では、ノンエッジマッチングＡＤＲＣの場合、ＤＲ＝ＭＡＸ−ＭＩＮ＋１である。また、エッジマッチングＡＤＲＣの場合、ＤＲ＝ＭＡＸ−ＭＩＮである。他の具体例においては、エンコーダ１１０は、ビデオフレームのシーケンスを示すフレームのストリーム信号をフレーム毎に符号化する。さらに、他の変形例においては、エンコーダ１１０は、ビデオフィールドのシーケンスを示すフィールドのストリーム信号をフィールド毎に符号化する。この場合、モーションフラグは使用されず、２Ｄブロックを用いて値ＭＩＮ，ＭＡＸ，ＤＲを算出する。
【００３７】
この具体例においては、エンコーダ１１０は、算出されたＤＲと閾値テーブル（図示せず）を参照し、ＤＲに対応するブロック内の画素を符号化するために用いる量子化ビット（Ｑビット）のビット数を決定する。画素を符号化することにより、量子化符号（Ｑコード）が得られる。Ｑコードは、記録又は伝送を目的として使用される圧縮画像データに相当する。したがって、任意の３Ｄブロック内の全ての画素は、同じＱビットにより符号化され、これにより３Ｄ符号化ブロックが形成される。３Ｄ符号化ブロックにおけるＱコード、ＭＩＮ、モーションフラグ及びＤＲをまとめて、３Ｄ−ＡＤＲＣブロックと呼ぶ。これに代えて、２Ｄブロックを符号化する場合、与えられた２ＤブロックにおけるＱコード、ＭＩＮ及びＤＲにより２Ｄ−ＡＤＲＣブロックが構成される。
【００３８】
様々な閾値テーブルを実現することができる。一具体例においては、閾値テーブルは、一列のＤＲ閾値からなる。Ｑビットは、閾値テーブルの列において隣接する２つのＤＲ値の範囲を符号化するために用いる量子化ビットのビット数に対応する。変形例では、複数の列を有し、所望の伝送速度に応じて列を選択する。閾値テーブルの各列は、閾値インデックスにより識別される。閾値の選択については、後述する部分バッファリングの説明で詳述する。ＡＤＲＣ符号化及びバッファリングのさらなる詳細については、本発明の譲受人が譲受した米国特許番号第４，７２２，００３号「高効率コーディング装置（High Efficiency Coding Apparatus）」及び同じ名称の米国特許番号第４，８４５，５６０号「高効率コーディング装置（High Efficiency Coding Apparatus）」に開示されている。
【００３９】
以下では、Ｑコードを可変長データ（variable length data：ＶＬデータ）とも呼ぶ。また、ＤＲ、ＭＩＮ、モーションフラグをブロック属性と呼ぶ。ブロック属性は、閾値インデックスとともに固定長データ（fixed length data：ＦＬデータ）を構成する。さらに、上述の説明の観点からみれば、ブロック属性は、複数の成分を有する信号要素のその成分に関するパラメータを記述するものである。変形例においては、ＦＬデータは、Ｑビットの符号を含む。これにより、復号処理においてＱビットの情報をＤＲから導き出す必要がなくなる。したがって、ＤＲ情報が欠落又は破損された場合でもＱビットの符号に基づいてＱビットの情報を求めることができる。さらにまた、Ｑビットの符号が欠落又は破損された場合には、ＤＲに基づいてＱビットの情報を導き出すこともできる。したがって、ＤＲ及びＱビットを回復する必要性を低下させることができる。
【００４０】
Ｑビットの符号を新たに設けることにより、各ＡＤＲＣブロックについて伝送するビット数が増加するという問題がある。しかしながら、一具体例においては、グループ化されたＡＤＲＣブロックの複数のＱコードは、例えば加算関数や連結関数に基づいて連結される。例えば、３つのＡＤＲＣブロックがグループ化され、各ＡＤＲＣブロックのＱビットの値がそれぞれ３、４、４である場合、ＦＬデータに符号化される合計値は１１である。このように合計値を表すために必要なビット数は、それぞれの値を個別に表すために必要なビット数に比べて少なく、後述するように、破損されていないグループのＱビットの値を用いて、Ｑビットの回復処理を行うことなく、Ｑビットの値を求めることができる。
【００４１】
さらに他の変形例も可能である。例えば、モーションフラグのデータを符号化してもよい。この場合、Ｑビット及びモーションフラグのデータにタグが付され、このタグを用いて符号テーブルを参照する。コーディングの手法及び機能はアプリケーションにより異なる。
【００４２】
フレーム、ブロック属性、ＶＬデータは、ビデオ信号内の様々な成分を記述している。これら成分の境界、位置、量は、ビデオ信号の伝送及び圧縮属性に応じて異なる。本実施の形態においては、これら成分は、ビデオ信号のビットストリーム内で変更及びシャッフリングされ、これにより伝送欠落に対する強力なエラー回復が実現される。
【００４３】
以下の説明では、ビデオ信号のＡＤＲＣ符号化及びシャッフリングに基づいて、１／６連続パケット伝送欠落の許容について例示的に記述する。すなわち、以下に示す成分の定義及び分割の手法は、一具体例にすぎない。したがって、他の形態も可能である。データセットは、ビデオデータの区分又は他の種類のデータ信号を含む。したがって、一具体例においては、フレームセットは、１つ以上の連続するフレームを含むデータセットの１種である。セグメントは、１／６に分割されたＱコードを格納する記憶容量を有し、フレームセットには、ブロック属性が含まれる。データのシャッフリングは、セグメント及び／又はバッファ内の成分を相互に交換することにより行われる。続いて、セグメントに格納されたデータを用いて、伝送のためのデータパケットを生成する。したがって、以下に説明するように、伝送中にあるセグメントが欠落した場合、そのセグメントから生成される全てのパケットがなくなる。同様に、伝送中にセグメントの一部が欠落した場合、そのセグメントから生成される対応する数のパケットが伝送中になくなる。
【００４４】
以下では、ＡＤＲＣ符号化されたデータにおける１／６連続パケット欠落について説明するが、ここに説明する方法及び装置は、様々な符号化／復号方式に結びつけられた。
【００４５】
ＦＩＧ．２は、ポイントトゥポイント（point-to-point）接続又はネットワークを介してデータを伝送するために用いられるパケット構造２００の具体例を示す。パケット構造２００は、エンコーダ１１０により生成され、伝送媒体１３５を介して伝送される。一具体例においては、パケット構造２００は、５バイトのヘッダ情報と、８ビットのＤＲと、８ビットのＭＩＮと、モーションフラグと、５ビットの閾値インデックスと、３５４ビットのＱコードとを有する。ここに示すパケット構造２００は、パケット構造の一例であり、ネットワークの非同期伝送モード（asynchronous transfer mode：ＡＴＭ）による伝送に適応するように構成されたものである。なお、本発明は、このようなパケット構造に限定されるものではなく、様々なネットワークにおける種々のパケット構造に適用できるものである。
【００４６】
上述のように、伝送媒体（例えば、媒体）１３５は、エラーフリーの伝送媒体とみなすことはできず、したがってパケットは欠落又は破損するおそれがある。上述の通り、従来よりこのような欠落や破損を検出する手法が提案されているが、通常、実質的な画像の劣化は避けられなかった。本発明は、このような欠落又は破損に対する強力なエラー回復の手法を提供する。以下の説明においては、複数の連続するパケットの欠落であるバースト欠落が、最も発生する可能性の高いエラーであるとみなすが、ランダムパケット欠落も発生する可能性がある。
【００４７】
１つ以上の連続するパケットのデータを確実且つ強力に回復するために、本発明に基づく装置及び方法は、複数のレベルのシャッフリングを行う。特に、伝送パケットに含まれるＦＬデータ及びＶＬデータは、ある画像の空間的及び時間的に離間した位置にあるデータを含んでいる。データのシャッフリングにより、いかなるバーストエラーも分散され、これによりエラー回復が容易となる。後述するように、シャッフリングによりブロック属性とＱビットの値を回復することができる。
【００４８】
データ符号化／復号
ＦＩＧ．３は、エンコーダ１１０により実行される符号化処理の一具体例を説明するフローチャートである。また、ＦＩＧ．３は、画像の劣化を防止し、強力なエラー回復を容易にするためのシャッフリング処理の概要を示す図でもある。
【００４９】
ＦＩＧ．３におけるステップ１において、表示成分とも呼ばれる入力フレームセットに対し、伝送量を削減するための間引きを行う。Ｙ信号については、水平方向に元の幅から３／４となるよう間引きし、Ｕ信号及びＹ信号については、それぞれ元の高さ及び元の幅から１／２となるよう間引きする。これにより、各フレーム対が３９６０Ｙブロック、６６０Ｕブロック、６６０Ｖブロックを有する３：１：０のビデオフォーマットが形成される。上述のように、ここではＹ信号の処理に関する説明を行うが、この処理はＵ信号及びＹ信号についても適用される。ステップ２において、２つのＹフレーム画像を３Ｄブロックにマッピングする。ステップ３において、３Ｄブロックをシャッフリングする。ステップ４において、ＡＤＲＣバッファリング及び符号化を行う。ステップ５において、符号化されたＹブロック、Ｕブロック、Ｖブロックをバッファ内でシャッフリングする。
【００５０】
ステップ６において、符号化された３Ｄブロックのグループ用のＶＬデータと、これに対応するブロック属性をシャッフリングする。ステップ７において、ＦＬデータを異なるセグメントに亘ってシャッフリングする。ステップ８において、ポストアンブルを充足し、すなわちバッファ端の可変領域が所定のビットストリームにより充足される。ステップ９において、ＶＬデータを異なるセグメントに亘ってシャッフリングする。
【００５１】
以下では、符号化処理の前及び後の画素データの処理を例に本発明に基づくシャッフリングの手法を説明する。変形例として、ハードウェアにより独立したデータ値のシャッフリング及びデシャッフリングを行ってもよい。特に、ハードウェアは、ブロック値のアドレスを異なるアドレスにマッピングすることによりシャッフリング／デシャッフリング処理を実現する。しかしながら、シャッフリング処理は、データ処理の後に行う必要があるため、アドレスマッピングは、データに従属する値に対しては行うことができない。一方、後述するグループ内ＶＬデータシャッフリングは、データに従属する値に対しても行うことができる。さらに、本発明を説明する一例として、以下に示すシャッフリングは、離散的なデータセットに対して行われる。しかしながら、変形例においては、信号は、ビットから画素及びフレームまでの複数のデータレベルに基づいて定義される。シャッフリング処理は、信号内で定義される各レベルにおいて、及び信号内の異なるレベル間でも行うことができる。
【００５２】
ＦＩＧ．４は、デコーダ１２０により実行される復号処理の例を説明するフローチャートである。好ましくは、変換処理及びデシャッフリング処理は、ＦＩＧ．３に示す処理と逆の処理である。ＦＩＧ．４は、さらにＱビット、モーションフラグ、ＤＲ、ＭＩＮ及び画素データの異なる組み合わせにおいてエラー回復を実現する革新的な処理を示している。Ｑビット回復、モーションフラグ回復、ＤＲ回復、ＭＩＮ回復、画素回復の異なる具体例において異なる組み合わせを用いるエラー回復処理については後に詳細に説明する。
【００５３】
画像−ブロックマッピング
本発明において、１つのフレームは、通常５２８０個の２Ｄブロックを含み、各２Ｄブロックは、６４画素からなる。第１のフレームに基づく２Ｄブロックとそれに続くフレームの２Ｄブロックが結合されて３Ｄブロックが形成されるため、フレーム対は５２８０個の３Ｄブロックから構成される。
【００５４】
画像−ブロックマッピングは、フレーム又はフレームセットのデータをそれぞれ２Ｄブロック又は３Ｄブロックに分割する目的で行われる。さらに、画像−ブロックマッピングは、相補的パターン及び／又は連鎖的（interlocking）パターンを用いてフレーム内の画素を分割し、これにより伝送欠落に対する強力なエラー回復が実現される。しかしながら、与えられたＤＲ値が過大になってしまう可能性を低減するために、各２Ｄブロックは、局所的な範囲の画素から構成する。
【００５５】
ＦＩＧ．５は、例示的に示す画像の１６画素セクションに対する画像−ブロック変換処理の具体例を示す図である。画像５００は、単一のフレームの局所的な領域を形成する１６個の画素からなる。画像５００内の各画素は、強度値により示される。この例では、画像５００の最上列左端の画素の強度は１００であり、最下列右端の画素の強度は１０である。
【００５６】
この具体例においては、画像５００内の異なる領域における画素を用いて、２Ｄブロック５１０、５２０、５３０、５４０を生成する。２Ｄブロック５１０、５２０、５３０、５４０は、符号化され、（後述するように）シャッフリングされ、伝送される。この伝送処理の後、２Ｄブロック５１０、５２０、５３０、５４０は再結合され、画像５５０が形成される。画像５５０は、画像５００を再構築したものである。
【００５７】
発生する可能性のある伝送欠落に関わらず、画像５００を正確に再生するために、ＦＩＧ．５に示す具体例では、連鎖的相補ブロック構造を用いる。特に、２Ｄブロック５１０、５２０、５３０、５４０を生成するための画素を選択することにより、画像５５０を再構築する際に、相補的及び／又は連鎖的パターンは、ブロックの再結合に用いられる。したがって、特定のブロック属性が伝送中に欠落しても、再構築された画像５５０においてエラーは隣接しない。例えば、ＦＩＧ．５において、２Ｄブロック５４０のＤＲが伝送中に欠落したとする。ここで、デコーダ１２０は、隣接するブロックの隣接する複数の画素を利用し、２Ｄブロック５４０の失われたＤＲを回復することができる。また、後述するように、相補的パターン及びシフティングを用いることにより、隣接する画素が増加し、好ましくは他のブロックに基づく隣接する画素の数を最大化し、これによりＤＲ及びＭＩＮの回復の可能性を大幅に向上させることができる。
【００５８】
ＦＩＧ．５ａは、画像−ブロック変換処理の一具体例において、２Ｄブロックを形成するために用いられるシャッフリングパターンの例を示す図である。ここでは、画素を交互に抜き取ることにより１つの画像を２つのサブ画像、すなわちサブ画像５６０及びサブ画像５７０に分割する。サブ画像５６０内の長方形の区切りは、２Ｄブロックの境界線を示す。説明のため、２Ｄブロックに０，２，４，７，９，１１，１２，１４，１６，１９，２１，２３といった番号を付す。タイル５６５は、サブ画像５６０内の２Ｄブロックのための画素分布を示す。
【００５９】
サブ画像５７０においては、２Ｄブロックの割当ては、水平方向に８画素分及び垂直方向に４画素分シフトされている。これにより、再構築処理においてサブ画像５６０とサブ画像５７０とが結合されると、割り当てられた２Ｄブロックが包み込まれ、重なり合う。２Ｄブロックは、１，３，５，６，８，１０，１３，１５，１７，１８，２０，２２と番号付けされている。タイル５７５は、サブ画像５７０内の２Ｄブロックの画素分布を示す。タイル５７５は、タイル５６５に対する相補構造を有している。したがって、特定のブロック属性が伝送中に欠落した場合、失われた２Ｄブロックのブロック属性を回復することができる隣接する画素が存在することとなる。さらに、同様なブロック属性のセットを有する重なり合う２Ｄブロックが存在する。したがって、画像の再構築の過程において、デコーダ１２０は、隣接する２Ｄブロックから複数の隣接する画素を取得し、これにより失われたブロック属性を回復することができる。
【００６０】
ＦＩＧ．６は、他の相補的及び連鎖的２Ｄブロックの構造例を示す図である。これら以外の構造を用いてもよい。ＦＩＧ．５と同様に、ＦＩＧ．６に示す２Ｄブロック構造によっても、任意の２Ｄブロックに伝送欠落が生じても、周囲の２Ｄブロックの存在が保証される。なお、パターン６１０ａ、６１０ｂ、６１０ｄでは、画素を後続する２Ｄブロックにマッピングする際、水平シフト及び／又は垂直シフトを行う。水平シフトとは、新たな２Ｄブロック境界が始まる前に、タイル構造を水平方向に所定の画素数分シフトすることを意味する。垂直シフトとは、新たな２Ｄブロック境界が始まる前に、タイル構造を垂直方向に所定の画素数分シフトすることを意味する。アプリケーションに応じて、水平シフトのみを行ってもよく、垂直シフトのみを行ってもよく、水平シフト及び垂直シフトを組み合わせて行ってもよい。
【００６１】
パターン６１０ａは、画像−ブロック変換に用いる渦巻状パターンを示す。渦巻状パターンでは、画像−ブロック変換処理において後続する２Ｄブロックを生成する際に水平シフトを行う。パターン６１０ｂ及びパターン６１０ｄは、相補パターンを示し、画像−ブロックマッピング処理において、後続する２Ｄブロックを生成するために、水平シフト及び垂直シフトにより画素が選択される。さらに、パターン６１０ｂ及びパターン６１０ｄは、２つの２Ｄブロック間の画素選択において交互にオフセットを設けた例である。パターン６１０ｃは、画像−ブロック変換処理のための２Ｄブロックを構成する画素を不規則にサンプリングした例を示す。すなわち、画素が２Ｄブロックに対して一度だけマッピングされるならば、画像−ブロックマッピングにはいかなるマッピング構造を用いてもよい。
【００６２】
ＦＩＧ．５、ＦＩＧ．５ａ、ＦＩＧ．６は、２Ｄブロックを生成するための画像−ブロックマッピングを示すものである。この処理は、３Ｄブロックに対しても適用できることは明らかである。上述のように、３Ｄブロックの生成は、２Ｄブロックと同様の境界定義を用いるが、３Ｄブロックの生成では、境界分割は、３Ｄブロックを構成する後続するフレームに亘って拡張される。すなわち、３Ｄブロックは、第１のフレーム内の２Ｄブロックを定義するために用いる画素と、後続するフレーム内の２Ｄブロックの画素とを結合して生成される。一具体例においては、第１のフレームにおける２Ｄブロックの画素と、後続するフレームにおける２Ｄブロックの画素とは、同一の位置から抽出される。
【００６３】
フレームセット内ブロックシャッフリング
任意の画像の画素値は、局所的な領域において緊密な関係を有する。一方、同一画像内の離れた領域にある画素は、大きく異なる値を有している可能性がある。したがって、任意の画像のある部分において空間的に隣接する２Ｄブロック又は３Ｄブロックを連続して符号化した場合、ＤＲ及びＭＩＮは近い値を有し、画像の離れた部分のＤＲ及びＭＩＮは大きく異なる値を有するものとなる。したがって、画像において空間的に隣接する２Ｄブロック又は３Ｄブロックを符号化して得られたデータを連続的にバッファに格納した場合、バッファ空間の使用率に不均衡が生じる。フレームセット内のブロックシャッフリングは、ＡＤＲＣ符号化に先立って行われ、画像−ブロックマッピング処理により生成された２Ｄブロック又は３Ｄブロックのシャッフリングを行う。シャッフリング処理により、後段のＡＤＲＣ符号化において、バッファを均等に使用することが保証される。
【００６４】
ＦＩＧ．７ａ〜ＦＩＧ．７ｄは、３Ｄ−Ｙブロックのシャッフリングの具体例を示すものである。ＦＩＧ．７ａ〜ＦＩＧ．７ｄ内の３Ｄ−Ｙブロックは、Ｙ信号のみを有するフレーム対に上述の画像−ブロックマッピング処理を施して得られるものである。３Ｄ−Ｙブロックは、シャッフリングされ、これにより符号化されたフレーム対を格納するバッファには、そのフレーム対の異なる部分に対応する３Ｄ−Ｙブロックが含まれるようになる。これによりＡＤＲＣ符号化処理におけるＤＲ分布の均一化が促される。各バッファのＤＲ分布が均一化されることによりバッファを均等に利用することができる。
【００６５】
ＦＩＧ．７ａ〜ＦＩＧ．７ｄは、物理的に離れた３Ｄブロックのシャッフリングを示す図である。これにより連続するパケットに伝送欠落が生じても、欠落するブロック属性は、画像内の特定の領域に集中することなく、画像全体に分散される。
【００６６】
ブロックシャッフリングは、小規模、中規模及び大規模のバースト的パケット欠落のいずれが生じても、欠落するブロック属性が広範囲に分散されるように設計されている。この実施の形態においては、小規模なバースト欠落とは、数個のパケットの欠落を意味し、中規模のバースト欠落とは、１バッファ分の欠落を意味し、大規模な欠落とは１セグメント分の欠落を意味するものとする。ブロックシャッフリングにおいては、画像内の比較的離れた部分から、３つの隣接するブロックを選択する。したがって、次のグループ内ＶＬデータシャッフリング（後に詳細に説明する）において、各グループは互いに異なる静的特性を有する３Ｄブロックから構成される。ブロック属性の欠落を分散させることにより、破損した３Ｄブロックの周囲には破損していない３Ｄブロックが残り、これら破損していない３Ｄブロックにより欠落したデータを回復ことができるため、強力なエラー回復を実現することができる。
【００６７】
ＦＩＧ．７ａは、水平方向に６６個の３Ｄ−Ｙブロックを有し、垂直方向に６０個の３Ｄ−Ｙブロックを有するフレーム対を示す。これら３Ｄ−Ｙブロックは、セグメント０〜５に割り当てられている。図に示すように、３Ｄ−Ｙブロックの割当ては、２×３の枠を設け、各枠内の各３Ｄ−Ｙブロックが各セグメントに対応するように割り当てる。ここで、さらなるシャッフリングを行わず、最初の８８０個のパケットにバーストエラーが生じたとすると、セグメント０に対応するブロック属性が失われる。しかしながら、後述するように、ＦＬデータシャッフリングを行うことにより、ブロック属性の欠落を分散させることができる。
【００６８】
ＦＩＧ．７ｂは、セグメント０に割り当てられる番号０が付された３Ｄ−Ｙブロックの走査順序を示す。ＦＩＧ．７ａにおいて「０」で示される各３Ｄ−Ｙブロックには、０，１，２，３，・・・，６５９という番号が付され、これらはセグメント０に入力されるストリーム内の位置を示すものである。セグメントの割当てを行うためのこのようなブロック番号を用いて、残りの３Ｄ−Ｙブロックもセグメント１〜５に割り当てられる。このようにして、フレーム対内のデータは、複数のセグメントにシャッフリングされる。
【００６９】
ＦＩＧ．７ｃは、１セグメントを構成する６６０個の３Ｄ−Ｙブロックを示す図である。０〜６５の番号が付された３Ｄ−Ｙブロックは、バッファ０に入力される。同様に、番号が付された３Ｄ−Ｙブロックに隣接する３Ｄ−Ｙブロックは、バッファ１に入力される。このような処理を繰り返してバッファ２〜９が充足される。このような処理により、伝送中のパケットの欠落により失われる複数の３Ｄ−Ｙブロックは、画像内の異なる部分に分散される。
【００７０】
ＦＩＧ．７ｄは、セグメント０に対応する３Ｄ−Ｙブロックのバッファにおける最終的な配列順序を示す図である。３Ｄ−Ｙブロック０，１，２は、バッファ内の最初の３つの部分を占める。この処理は、バッファの残りの部分において繰り返される。これにより、伝送中に３つの３Ｄ−Ｙブロックが欠落した場合、失われる３Ｄ−Ｙブロックは、画像内で離れた位置に対応するものとなる。
【００７１】
ＦＩＧ．７ａ〜７ｄは、フレームセット内の３Ｄ−Ｙブロックの分散の一具体例を示すものである。この他に、３Ｄ−Ｕブロック及び３Ｄ−Ｖブロックを分散することもできる。３Ｄ−Ｕブロックは、Ｕ信号のみを含むフレームセットに上述の画像−ブロックマッピング処理を適用して生成される。同様に、３Ｄ−Ｖブロックは、Ｖ信号のみを含むフレームセットに上述の画像−ブロックマッピング処理を適用して生成される。そして、３Ｄ−Ｕブロック及び３Ｄ−Ｖブロックの両方に対して、上述の３Ｄ−Ｙブロックの分散と同様の処理を行う。なお、上述のように、３Ｄ−Ｕブロックと３Ｄ−Ｙブロックの数は、それぞれ３Ｄ−Ｙブロックの数の１／６である。
【００７２】
ＦＩＧ．７ａ〜７ｄは、Ｙ信号に対するフレーム内ブロックシャッフリングの具体例を示し、この具体例では、伝送中の１／６のパケット欠落が許容され、さらにバッファの使用率の均等化が実現されている。セグメント、バッファ、ＡＤＲＣブロックの割当てを変更することにより１／ｎバーストエラーに対応でき、またバッファ使用率を変更できることは当業者にとって明らかである。
【００７３】
部分バッファリング
ＦＩＧ．３に示すステップ４において、ＡＤＲＣ符号化及びバッファリング処理が行われる。符号化技術により、画像−ブロックマッピング処理により生成された２Ｄブロック又は３Ｄブロックは、２Ｄ−ＡＤＲＣブロック又は３Ｄ−ＡＤＲＣブロックに符号化される。３Ｄ−ＡＤＲＣブロックは、それぞれＱコード、ＭＩＮ、モーションフラグ、ＤＲを含む。２Ｄ−ＡＤＲＣブロックは、Ｑコード、ＭＩＮ、ＤＲを含む。すなわち、２Ｄ−ＡＤＲＣブロックでは、単一のフレーム又は単一のフィールドに対する符号化が行われるため、２Ｄ−ＡＤＲＣブロックは、モーションフラグを含まない。
【００７４】
従来より多くのバッファリングの手法が知られている（例えば、近藤らによる米国特許番号第４，８４５，５６０号「高効率コーディング装置（High Efficiency Coding Apparatus）」及び米国特許番号第４，７２２，００３号「高効率コーディング装置（High Efficiency Coding Apparatus）」を参照）。これらの記載内容は本出願に組み込まれるものとする。
【００７５】
以下に説明する部分バッファリングは、ＡＤＲＣ符号化において使用する符号化ビットを決定するための革新的な手法を提供するものである。詳しくは、部分バッファリングは、閾値テーブルから閾値を選択する手法を提供するものであり、閾値テーブルは、遠隔の端末間の伝送速度を一定に保つとともに、エラーが増えることを制限するために設計されている。変形例においては、閾値テーブルはさらに、バッファが最大限活用されるように設計される。一具体例においては、バッファは、任意のフレームセットに対応する符号化されたデータを１６分の１に分割して格納するメモリである。閾値は、上述した画像−ブロックマッピング処理により生成された２Ｄブロック又は３Ｄブロック内の画素を符号化するために用いるＱビットのビット数を決定するために用いられる。
【００７６】
閾値テーブルは、閾値の列を備え、この列は閾値セットとも呼ばれ、閾値テーブルの各列には閾値インデックスが付されている。一具体例においては、閾値テーブルは、閾値テーブルの上位列に位置する閾値セットが、より多くのＱコードのビットを生成するように配列されている。これにより、利用可能な所定のビット数を有する任意のバッファに対して、エンコーダ１１０は、この所定のビット数より小さいビット数を生成する閾値に到達するまで、閾値テーブルを下位方向に順次検索する。バッファ内の画素データの符号化には、適切な閾値が用いられる。
【００７７】
一具体例においては、３０Ｍｂｐｓ程度の伝送速度が望まれる。この所望の伝送速度により、全ての任意のバッファにおいてＶＬデータの格納に３１１５２ビットが利用可能となる。これに応じて、各バッファについての累積的ＤＲ分布が算出され、閾値テーブルから閾値セットが選択され、これに基づいて３Ｄブロックあるいは２Ｄブロック内の画素をＶＬデータとして符号化する。
【００７８】
ＦＩＧ．８は、バッファ０における選択された閾値及びＤＲ分布の具体例を示すグラフである。ＦＩＧ．８における垂直方向の軸は、累積的ＤＲ分布を示す。例えば、値ｂは、ＤＲがＬ３以上の３Ｄブロック又は２Ｄブロックの数に等しい。水平方向の軸は、ＤＲ値のとり得る値を示す。ある具体例では、ＤＲ値は０〜２５５の値をとる。閾値Ｌ_４，Ｌ_３，Ｌ_２，Ｌ_１は、バッファの符号化を決定する閾値セットを表す。
【００７９】
一具体例において、バッファ０に格納されている全てのブロックは、閾値Ｌ_４，Ｌ_３，Ｌ_２，Ｌ_１を用いて符号化される。すなわち、ＤＲ値がＬ_４より大きなブロックは、４ビットを用いて符号化された画素値を有することとなる。同様に、ＤＲ値がＬ_３とＬ_４の間にあるブロックに属する画素は、３ビットを用いて符号化される。また、ＤＲ値がＬ_２とＬ_３の間にあるブロックに属する画素は、２ビットを用いて符号化される。ＤＲ値がＬ_１とＬ_２の間にあるブロックに属する画素は、１ビットを用いて符号化される。そして、ＤＲ値がＬ_１より小さいブロックは、０ビットを用いて符号化される。Ｌ_４，Ｌ_３，Ｌ_２，Ｌ_１は、バッファ０内の全てのブロックを符号化するために用いるビットの総数が、３１１５２ビットを超えることなく、可能な限り３１１５２ビットに近い数となるように選択される。
【００８０】
ＦＩＧ．８ａは、部分バッファリングの一具体例を示す図である。フレーム８００は、符号化されてバッファ０〜５９に格納される。伝送エラーがデータの回復の妨げとなる場合、欠落したデータに対するエラー回復処理が行われるまで、フレーム８００の復号処理は中断される。ここで、部分バッファリングは、バッファ内のエラーの伝播を制限するので、残りのバッファについて復号処理を行うことができる。例えば、伝送エラーによりバッファ０内のブロック８０のＱビット及びモーションフラグの再生が妨げられているとする。部分バッファリングは、バッファ０内にこのエラーが伝播することを制限する。バッファ長は固定であるので、バッファ０の最後とバッファ１の先頭は既知であり、このためエラーの伝播は、バッファ０内に制限される。これにより、デコーダ１２０は、バッファ１内のブロックに対する処理を遅延することなく開始することができる。さらに、異なるバッファの符号化に対して異なる閾値セットを用いることにより、エンコーダ１１０は、任意のバッファ内に含まれるＱコードのビット数を最大化／制御することができ、したがって、より高い圧縮率が実現できる。さらにまた、部分バッファリング処理では、バッファ０〜５９は、固定長を有するので、一定の伝送速度を実現できる。
【００８１】
一具体例においては、バッファの可変領域は、限られた数の閾値セットが存在するために、Ｑコードのビットのみにより充足されるわけではない。すなわち、固定長を有するバッファの残りのビットは、ポストアンブルと呼ばれる所定のビットストリームパターンにより充足される。後述するように、ポストアンブルは、バッファの最後より前にあるＶＬデータの最後を示しているので、ポストアンブルにより双方向のデータ回復が実現できる。
【００８２】
バッファ内ＹＵＶブロックシャッフリング
Ｙ信号、Ｕ信号、Ｖ信号は、それぞれ固有の静的特性を有している。Ｑビット及びモーションフラグの回復処理（後述する）を改善するために、Ｙ信号、Ｕ信号及びＶ信号は、バッファ内で多重化される。したがって、伝送欠落は、特定の信号に対して実質的な影響を与えない。
【００８３】
ＦＩＧ．９は、それぞれＹ信号、Ｕ信号、Ｖ信号から導き出されるＹ−ＡＤＲＣブロック、Ｕ−ＡＤＲＣブロック、Ｖ−ＡＤＲＣブロックに対するシャッフリング処理であるバッファ内ＹＵＶブロックシャッフリング処理を説明する図である。バッファ９００は、フレームセット内ブロックシャッフリング後のＡＤＲＣブロックの割当てを示す。バッファ９００は、６６個のＹ−ＡＤＲＣブロックと、これに続く１１個のＵ−ＡＤＲＣブロックと、これに続く１１個のＶ−ＡＤＲＣブロックを含む。バッファ９１０は、バッファ内ＹＵＶブロックシャッフリングを行った後のＹＵＶ−ＡＤＲＣブロックの配列構造を示す。図に示すように、３つのＹ−ＡＤＲＣブロックに１つのＵ−ＡＤＲＣブロック又は１つのＶ−ＡＤＲＣブロックが後続する。バッファ内ＹＵＶブロックシャッフリングによりバッファ内の隣接するブロックのビットストリームの類似の度合いが低減される。バッファ内ブロックシャッフリングは、この実施の形態に限られることなく、初期の画像フォーマットに応じて、異なる信号、すなわち異なるＹＵＶ比又は異なる色空間を有する信号に対して変形して実行されるようにしてもよい。
【００８４】
グループ内ＶＬデータシャッフリング
グループ内ＶＬデータシャッフリングは３つのステップを有する。この３つのステップは、Ｑコードの連結と、Ｑコードの再割当てと、連結されたＱコードのランダム化である。ＦＩＧ．１０は、グループ内ＶＬデータシャッフリングの手順を示す図であり、バッファ内に格納されたＱコードには、３つの処理が順次施される。この変形例としては、処理手順のサブセットをグループ内ＶＬデータシャッフリングに適用してもよい。各処理手順は、それぞれ独立して伝送中のデータに対するエラー回復に寄与する。したがって、各処理ステップを個別に説明する。エラー回復に関する詳細は、データ回復の説明の項目で述べる。
【００８５】
１．Ｑコードの連結
Ｑコードの連結により、複数のＡＤＲＣブロックが互いに復号されることが保証される。グループ復号によれば、後述するようにデータ回復工程において隣接するブロックから追加的な情報を取得することが可能なため、エラー回復を容易に行うことができる。一具体例においては、Ｑコードの連結は、バッファ内に格納された３つのＡＤＲＣブロックからなる各グループに対して個別に適用される。変形例として、グループ内に他のバッファからのＡＤＲＣブロックを含めることもできる。ＡＤＲＣブロックに亘るＱコードの連結は、１つの連結ＡＤＲＣタイルの生成として記述される。ＦＩＧ．１１及びＦＩＧ．１１ａは、連結ＡＤＲＣタイルの生成を例示する図である。
【００８６】
ＦＩＧ．１１は、２つのＡＤＲＣブロックから連結ＡＤＲＣタイルを生成する例を示す図である。具体的には、この連結は、２Ｄ−ＡＤＲＣブロック０，１，２に含まれる各Ｑコード（ｑ_０〜ｑ_６３）に対して行われ、この結果、６４個のＱコードを含む連結ＡＤＲＣタイルＡが生成される。例えば、２Ｄ−ＡＤＲＣブロック０の第１のＱコードｑ_０，０（量子化された値の０番目）は、２Ｄ−ＡＤＲＣブロック１の第１のＱコードｑ_０，１に連結される。この２つの連結されたＱコードは、続いて、２Ｄ−ＡＤＲＣブロック２の第１のＱコードｑ_０，２に連結され、これにより、連結ＡＤＲＣタイルＡのＱ_０が生成される。この処理は、Ｑ_６３が生成されるまで繰り返される。これに代えて、連結ＡＤＲＣタイルＡ内のＱ_ｉの生成を以下の式に基づいて行ってもよい。
【００８７】
Ｑ_ｉ＝［ｑ_ｉ，０，ｑ_ｉ，１，ｑ_ｉ，２］ ｉ＝０，１，２，・・・，６３
さらに、連結ＡＤＲＣタイルＡ内の各Ｑ_ｉには、単一のＱ_ｉを生成するために連結されたビット総数であるＮビットを示す値が関連付けられる。
【００８８】
ＦＩＧ．１１ａは、動ブロックを含むフレーム対から生成された連結ＡＤＲＣタイルの具体例を示す図である。動ブロックとは、モーションフラグが設定された３Ｄ−ＡＤＲＣブロックである。モーションフラグは、上述した画像−ブロックマッピング処理により生成された２つの２Ｄブロック構造内の所定の数の画素が第１のフレームと第２のフレームとの間で変化している場合に設定される。この変形例として、第１のフレームと、これに続くフレームとの間の各画素の変化の最大値が所定の値を超えた場合にモーションフラグを設定するようにしてもよい。一方、非動ブロック（すなわち静ブロック）は、モーションフラグが設定されていない３Ｄ−ＡＤＲＣブロックである。第１のフレームと、これに続く第２のフレームの２つの２Ｄブロック間で所定の数の画素が変化していない場合、モーションフラグの設定は行われない。変形例として、第１のフレームと、これに続く第２のフレームとの間の各画素の変化の値が所定の値を超えない場合には、モーションフラグの設定を行わないものとしてもよい。
【００８９】
動ブロックは、第１のフレームにおける符号化された２Ｄブロックと、後続するフレームにおける符号化された２Ｄブロックとに基づくＱコードを含む。単一の符号化された２Ｄブロックに対応するＱコードの集合をＡＤＲＣタイルと呼ぶ。すなわち、動ブロックは、２つのＡＤＲＣタイルを生成する。一方、静ブロックは、動きがないため、動ブロックの半数のＱコードのみしか含まず、したがって、１つのＡＤＲＣタイルしか生成しない。この具体例においては、静ブロックのＱコードは、第１のフレームの２Ｄブロックと、後続するフレームの対応する２Ｄブロックとの間の対応する画素の画素値の平均を求めることにより生成される。平均化された各画素値は、符号化されて、これにより単一のＡＤＲＣタイルを形成するＱコードの集合が生成される。このようにして、動ブロック１１１０は、ＡＤＲＣタイル０，１を生成し、静ブロック１１２０は、ＡＤＲＣタイル２を生成し、動ブロック１１３０は、ＡＤＲＣタイル３，４を生成する。
【００９０】
ＦＩＧ．１１ａに示すＡＤＲＣの連結処理では、ＡＤＲＣタイル０〜４を連結して連結ＡＤＲＣタイルＢを生成している。具体的には、ＡＤＲＣタイル０〜４内に含まれる各Ｑコード（ｑ_０〜ｑ_６３）が連結され、連結ＡＤＲＣタイルＢ内の６４個のＱコードが生成される。これに代えて、連結ＡＤＲＣタイルＢ内の各Ｑコード、すなわちＱ_ｉを以下の数式に基づいて生成してもよい。
【００９１】
Ｑ_ｉ＝［ｑ_ｉ，０，ｑ_ｉ，１，ｑ_ｉ，２，ｑ_ｉ，３，ｑ_ｉ，４］ ｉ＝０，１，２，・・・，６３
【００９２】
２．Ｑコードの再割当て
Ｑコードの再割当てにより、伝送欠落に起因するビットエラーが空間的に離れた画素に分散されることが保証される。特に、Ｑコードの再割当処理において、Ｑコードは、再分散され、再分散されたＱコードのビットは、シャッフルされる。したがって、Ｑコードの再割当てにより、破損された画素の周囲に破損されていない画素が残るため、エラーの回復が容易となる。画素の破損はＡＤＲＣブロック全体に亘って分散するので、ＤＲ及びＭＩＮの回復が容易となる。ＤＲ及びＭＩＮの回復については、データ回復の説明で詳述する。
【００９３】
ＦＩＧ．１２に１／６バーストエラー欠落による画素の劣化の具体例を示す。具体的には、２Ｄ−ＡＤＲＣブロック１２１０、１２２０、１２３０は、それぞれ３ビットを用いて符号化された６４個の画素を含む。すなわち、２Ｄ−ＡＤＲＣブロック１２１０、１２２０、１２３０の各画素Ｐ_０〜Ｐ_６３は、３ビットにより表される。２Ｄ−ＡＤＲＣブロック１２１０は、６ビット毎の第１ビットが欠落した場合におけるビット欠落パターンを影付きの長方形として示す図である。同様に、ＡＤＲＣブロック１２２０及びＡＤＲＣブロック１２３０は、それぞれ６ビット毎に第２及び第４ビットが欠落した場合を示す。ＦＩＧ．１２から、Ｑコードの再割当てを行わなければ、１／６バーストエラー欠落により２Ｄ−ＡＤＲＣブロック１２１０，１２２０，１２３０において、それぞれ半数の画素に劣化が生じることがわかる。
【００９４】
一具体例において、Ｑコードの再割当ては、バッファに格納されている各連結ＡＤＲＣタイル対して別個に行われ、これによりデシャッフリングにおいて、ビットエラーが空間的に分散された画素に位置されることが保証される。変形例として、バッファ内に格納された各ＡＤＲＣブロックに対してＱコードの再割当てを行ってもよい。
【００９５】
ＦＩＧ．１２ａは、連結ＡＤＲＣタイルに基づくシャッフリングされたＱコードのビットストリームを生成するＱコードの再割当ての具体例を示す。テーブル１２２及びテーブル１３２は、Ｑコードの再分配を示す。ビットストリーム１３０及び１４０は、Ｑコードのビットのシャッフリングを示す。
【００９６】
テーブル１２２は、連結ＡＤＲＣタイルＡの連結されたＱコードを示す。Ｑ_０は、最初の連結Ｑコードであり、Ｑ_６３は、最後の連結Ｑコードである。テーブル１３２は、Ｑコードの再分配を示す。この具体例においては、第１の組である区画０には、Ｑ_０，Ｑ_６，Ｑ_１２，Ｑ_１８，Ｑ_２４，Ｑ_３０，Ｑ_３６，Ｑ_４２，Ｑ_４８，Ｑ_５４，Ｑ_６０が含まれる。テーブル１３２内において後続する区画１には、１１個の連結Ｑコードが含まれている。同様にして区画２〜５にも１１個の連結Ｑコードが含まれる。テーブル１３２においては、区画間の境界を垂直方向の線分で示している。このように連結Ｑコードを空間的に分離された６つの区画に割り当てることにより、１／６バーストエラー欠落により生じるビット欠落パターンが連続する画素グループに分散されることが保証される。
【００９７】
ＦＩＧ．１２ｂは、再割当てされたＱコードにおける１／６バーストエラーにより生じるビット欠落のパターンを示す図である。具体的には、２Ｄ−ＡＤＲＣブロック１２１５，１２２５，１２３５は、それぞれ３ビットを用いて符号化されている６４個の画素を有している。すなわち、各２Ｄ−ＡＤＲＣブロック１２１５，１２２５，１２３５内の各画素Ｐ_０〜Ｐ_６３は、３ビットにより表される。２Ｄ−ＡＤＲＣブロック１２１５，１２２５，１２３５において、影付きの長方形で表されるビット欠落パターンは、連続する画素に亘って位置している。すなわち、与えられたセグメント欠落に対して、各２Ｄ−ＡＤＲＣブロック１２１５，１２２５，１２３５内のそれぞれ１１個の連続する画素のみが劣化している。変形例においては、区画へのＱコードの割当処理において、異なる動ブロックからのＱコードを割り当てるようにしてもよく、これにより空間的及び時間的に分離されたＱコードを６つのセグメントに割り当ててもよい。これにより、１／６バーストエラー欠落に対して破損されていない空間的及び時間的画素が追加され、より強力なエラー回復処理が提供される。
【００９８】
ＦＩＧ．１２ａにおいて、テーブル１３２内の再割当てされたＱコードは、生成されるビットストリームに亘ってシャッフリングされ、ビットストリーム内で隣接するビットが異なる区画からのビットであるようにされる。テーブル１３２内の全ての区画内のＱコードは、ビットストリーム１３０内で連結される。ビットストリーム１３０内で隣接する任意のビットの区画は、生成されるビットストリーム１４０において６ビット位置毎に分散される。これにより、ビットストリーム１４０内のビット番号０〜５は、各区画における第１のＱコードからの第１ビットを含む。同様に、ビットストリーム１４０のビット番号６〜１１は、各区画の第１のＱコードからの第２のビットを含む。このような処理は、全てのＱコードのビットに対して繰り返される。これにより、１／６バーストエラー欠落による画素欠落が空間的に分離されることが保証される。
【００９９】
ＦＩＧ．１２ｃは、再割当てされた（すなわち、再分配されてシャッフリングされた）Ｑコードの１／６バーストエラー欠落により生成されたビット欠落パターンを示す図である。特に、２Ｄ−ＡＤＲＣブロック１２１７，１２２７，１２３７は、それぞれ３ビットを用いて符号化された６４個の画素を含む。すなわち、各２Ｄ−ＡＤＲＣブロック１２１７，１２２７，１２３７の各画素Ｐ_０〜Ｐ_６３は、３ビットで表される。２Ｄ−ＡＤＲＣブロック１２１７，１２２７，１２３７において、影付き長方形で示されているビット欠落パターンは、空間的に分離された画素に分散されており、したがって、画素エラー回復を容易に行うことができる。
【０１００】
３．Ｑコードのビットのランダム化
Ｑコードのビットは、マスキングキーを用いてランダム化される。マスキングキーは、欠落及び破損されたデータの回復処理においてデコーダ１２０の処理を補助するものである。具体的には、符号化処理において、ＫＥＹとして示されるキーを用いてＱコードのビットストリームをマスキングする。これに対応して、デコーダ１２０は、このＫＥＹの正確な値を知っている必要があり、これによりＱコードのビットストリームのマスクを外すことができる。
【０１０１】
一具体例において、ＫＥＹは、３つのＡＤＲＣブロックに対するＱコードの再割当てにより生成されたＱコードのビットストリームをマスキングするために用いられる。上述のように、ＡＤＲＣブロックは、ＦＬデータ及びＱコードを有している。マスキングキーの各キー要素（ｄ_ｉ）は、ＦＬデータの値と、対応するＡＤＲＣブロックに関連する量子化ビットのビット数（ｑ_ｉ）との組み合わせにより生成される。具体例においては、モーションフラグとＱビットを用いてＫＥＹを定義する。すなわち、この具体例においては、キー要素は、以下の数式に基づいて生成される。
【０１０２】
ｄ_ｉ＝５・ｍ_ｉ＋ｑ_ｉ
ここで、ｉ＝０，１，２、ｑ_ｉ＝０，１，２，３，４である。
変数ｍ_ｉは、モーションフラグに等しい。すなわち、対応するＡＤＲＣブロックが動ブロックである場合、ｍ_ｉは０となり、対応するＡＤＲＣブロックが静ブロックである場合、ｍ_ｉは１となる。さらに、変数ｑ_ｉは対応するＡＤＲＣブロックを符号化するために用いる量子化ビットを表す。すなわち、ｑ_ｉの値は、４ビットＡＤＲＣ符号化方式においては０，１，２，３，４のいずれかである。一具体例において、３つのＡＤＲＣブロックからなるグループに用いるＫＥＹは、以下に示す数式に基づいて得られるキー要素（ｄ_ｉ）により定義される。
【０１０３】
ＫＥＹ＝ｄ_０＋１０・ｄ_１＋１００・ｄ_２
これにより、モーションフラグ又はＱビットのデータの回復処理において、マスキングキーの生成に用いられた値に基づいて、使用された可能性のあるキーの再生が可能となる。再生されたキーの値は、受信されたＱコードのビットストリムのアンマスキングに使用され、これにより復号候補が生成される。キーの値の再生及び特定の復号候補の選択については、データ回復の説明において詳述する。
【０１０４】
変形例として、マスキングキーは、様々な要素から生成できる。これにより、伝送媒体を介して要素に関する情報を伝送することなく、デコーダ１２０に要素に関連する特定の情報を提供することができる。一具体例においては、任意のＡＤＲＣブロックに対応するＤＲ値又はＭＩＮ値を用いてマスキングキーを生成し、このマスキングキーによりそのＡＤＲＣブロックを示すビットストリームをマスキングする。
【０１０５】
ＦＩＧ．１０〜１２には、伝送中に生じる１／６パケットデータ欠落までを許容するグループ内ＶＬデータシャッフリングの例を示しているが、当業者にとって、区画の総数、ビットの間隔を変更することにより、１／ｎバーストエラー欠落に対応するよう設計を変更できることは明らかである。
【０１０６】
セグメント間ＦＬデータシャッフリング
セグメント間ＦＬデータシャッフリングは、異なるセグメント間でブロック属性を再割当てするものである。ブロック属性を再割当てすることによりデータ欠落を分散させることができる。具体的には、あるセグメントのＦＬデータが伝送中に欠落しても、失われたＤＲ値、ＭＩＮ値及びモーションフラグ値が同一のブロックに属さないようにする。ＦＩＧ．１３及びＦＩＧ．１４は、セグメント間ＦＬデータシャッフリングの具体例を示す図である。
【０１０７】
ＦＩＧ．１３にセグメント０〜５のコンテンツを示す。一具体例において、各セグメントは、８８０個のＤＲと、８８０個のＭＩＮと、８８０個のモーションフラグと、６６０個のＹブロック、１１０個のＵブロック及び１１０個のＶブロックに対応するＶＬデータとを有する。図に示すように、ＭＩＮシャッフリング１３００のセグメント０のＭＩＮ値は、セグメント２に移動され、セグメント２のＭＩＮ値は、セグメント４に移動され、セグメント４のＭＩＮ値は、セグメント０に移動される。さらに、セグメント１のＭＩＮ値は、セグメント３に移動され、セグメント３のＭＩＮ値は、セグメント５に移動され、セグメント５のＭＩＮ値は、セグメント１に移動される。
【０１０８】
ＦＩＧ．１３ａは、モーションフラグのシャッフリングを示す。図に示すように、モーションフラグシャッフリング１３０５のセグメント０のモーションフラグ値は、セグメント４に移動され、セグメント２のモーションフラグ値は、セグメント０に移動され、セグメント４のモーションフラグ値は、セグメント２に移動される。さらに、セグメント１のモーションフラグ値は、セグメント５に移動され、セグメント３のモーションフラグ値は、セグメント１に移動され、セグメント５のモーションフラグ値は、セグメント３に移動される。欠落パターン１３１０は、伝送中にセグメント０が欠落した結果のＦＬデータの欠落を示す。
【０１０９】
特定のブロック属性に対して、ＦＩＧ．１３及びＦＩＧ．１３ａに示すように、セグメント間の特定のブロック属性の全ての瞬時値のシャッフリングを行う。例えば、ＦＩＧ．１３においては、セグメント２の８８０個のＭＩＮ値は、セグメント０の８８０個のＭＩＮ値に一括して置き換えられる。同様に、ＦＩＧ．１３ａにおいては、セグメント４の８８０個のモーションフラグ値は、セグメント０のモーションフラグ値に一括して置き換えられる。このようにブロック属性を一括してシャッフリングすることにより、連続するパケットの伝送欠落に対して、欠落は、特定のブロックの特定のブロック属性に偏らない。一具体例においては、１つのブロックグループは３つのＡＤＲＣブロックを含む。
【０１１０】
ＦＩＧ．１４は、ＤＲ値、ＭＩＮ値、モーションフラグ値に対する３つのモジュールシャッフルを示す図である。３つモジュールシャッフルとは、３つの異なるセグメントにおける３つのグループ（すなわちブロックグループ）に亘ってシャッフリングパターンを共有することを意味する。シャッフリングパターンは、３つの異なるセグメント内の全てのブロックグループに対して繰り返される。なお、異なるブロック属性に対しては異なるシャッフリングパターンを用いる。すなわち、３つのモジュールシャッフリングにより、３つの全てのセグメントに亘ってブロック属性が分散される。具体的には、任意のブロックグループについて、３つのモジュールシャッフリングは、伝送中のセグメントの欠落に対して、特定のブロック属性の瞬時値が１つだけしか失われないことを保証する。したがって、後述するデータ回復処理において、ブロック内の失われたデータを回復するための復号候補の数を低減することができる。
【０１１１】
ＤＲモジュールシャッフル１４１０に示すように、１セグメントには、８８０個のＤＲ値が格納されている。ＤＲ値には、そのＤＲ値が由来するブロックに応じた番号が付されている。３つのモジュールシャッフリングにおいては、３つのセグメントのＦＬデータのコンテンツがシャッフルされる。カウント値０〜２は、モジュールシャッフリングのために識別される３つのセグメント内の各ＤＲ値を識別するために付された値である。すなわち、ブロック番号０，３，６，９，・・・に属するＤＲ値は、カウント０に属する。同様に、ブロック番号１，４，７，１０，・・・に属するＤＲ値は、カウント１に属し、ブロック番号２，５，８，１１に属するＤＲ値は、カウント２に属する。これにより、所定のカウント値に対して、そのカウント値に関連付けられたＤＲ値は、セグメント０，２，４に亘ってシャッフリングされる。同様に、同一のカウント値に関連付けられたＤＲ値は、セグメント１，３，５に亘ってシャッフリングされる。
【０１１２】
ＤＲモジュールシャッフル１４１０において、カウント値０に属するＤＲ値は、シャッフリングされない。カウント値１に属するＤＲ値は、シャッフリングされる。具体的には、セグメントＡ内のカウント値１に属するＤＲ値は、セグメントＢに移動され、セグメントＢ内のカウント値１に属するＤＲ値は、セグメントＣに移動され、セグメントＣ内のカウント値１に属するＤＲ値は、セグメントＡに移動される。
【０１１３】
カウント値２に属するＤＲ値も、またシャッフリングされる。具体的には、セグメントＡ内のカウント値２に属するＤＲ値は、セグメントＣに移動され、セグメントＢ内のカウント値２に属するＤＲ値は、セグメントＡに移動され、セグメントＣ内のカウント値２に属するＤＲ値は、セグメントＢに移動される。
【０１１４】
ＭＩＮモジュールシャッフル１４２０は、ＭＩＮ値用の３つのブロック属性のモジュールシャッフリング処理の具体例を示す。１つのセグメントは、８８０個のＭＩＮ値を含んでいる。ＭＩＮモジュールシャッフル１４２０においては、ＤＲモジュールシャッフリング１４１０においてカウント値１及びカウント値２に対して用いたシャッフリングパターンを、カウント値０及びカウント値１にシフトして用いる。詳しくは、ＤＲモジュールシャッフル１４１０においてカウント値１に対して用いたシャッフリングパターンを、カウント値０に適用する。また、ＤＲモジュールシャッフル１４１０においてカウント値２に対して用いたシャッフリングパターンを、カウント値１に適用し、カウント値２に属するＭＩＮ値については、シャッフリングを行わない。
【０１１５】
モーションフラグモジュールシャッフル１４３０は、モーションフラグ値用の３つのブロック属性のモジュールシャッフリング処理の具体例を示す。１セグメントは８８０個のモーションフラグを含んでいる。モーションフラグモジュールシャッフル１４３０においては、ＤＲモジュールシャッフル１４１０においてカウント値１及びカウント値２に対して用いたシャッフリングパターンを、それぞれカウント値２及びカウント値０にシフトして用いる。具体的には、ＤＲモジュールシャッフル１４１０においてカウント値２に対して用いたシャッフリングパターンを、カウント値０に適用する。また、ＤＲモジュールシャッフル１４１０においてカウント値１に対して用いたシャッフリングパターンを、カウント値２に適用し、カウント値１に属するモーションフラグ値については、シャッフリングを行わない。
【０１１６】
ＦＩＧ．１４ａは、モジュールシャッフル１４１０，１４２０，１４３０により得られたモジュールシャッフリングの結果を示す図である。モジュールシャッフル結果１４１６は、各ブロック属性の移動先がセグメント０に属することを示す。この例では、セグメント０は、ＦＩＧ．１４に示すセグメントＡに対応する。この移動先は、ＦＩＧ．１４に示すモジュールシャッフル１４１０，１４２０，１４３０により決定される。ＦＩＧ．１４ａは、セグメント０が伝送中に欠落した場合のブロック属性の欠落分布を示す。具体的には、欠落パターン１４１５は、モジュールシャッフル１４１０，１４２０，１４３０によりシャッフリングされた受信データをデシャッフリング処理した後に、６つのセグメントに亘るＤＲ値、モーションフラグ値及びＭＩＮ値の欠落を示す。ＦＩＧ．１４ａに示すように、ブロック属性の欠落は、セグメント０，２，４に亘って周期的に分散されており、セグメント１，３，５にはブロック属性の欠落は生じていない。さらに、空間欠落パターン１４１７は、伝送中にセグメント０が欠落して失われたＦＬデータのデシャッフル後の空間的分布を示す。空間欠落パターン１４１７は、後に受信データに対して施されるデシャッフリング処理後のＤＲ値、モーションフラグ値及びＭＩＮ値の欠落を示す。空間欠落パターン１４１７においては、破損されたブロックは、破損されていないブロックに取り囲まれており、破損されたブロック属性は、破損されていないブロック属性に基づいて回復することができる。
【０１１７】
ＦＩＧ．１４及びＦＩＧ．１４ａは、３つのモジュールシャッフリングパターン及び伝送中にセグメントが失われた後のブロック属性の欠落分布を示す。変形例として、カウント値又はセグメント数を変更することにより、ブロック属性の欠落分布を変更してもよい。ＦＩＧ．１４ｂにモジュールシャッフル結果１４２１と欠落パターン１４２０とを示す。同様に、ＦＩＧ．１４ｃにモジュールシャッフル結果１４２６と欠落パターン１４２５とを示す。欠落パターン１４２０及び欠落パターン１４２５は、上述した３つのセグメントではなく、６つのセグメントに亘るブロック属性の欠落分布を示す。
【０１１８】
シャッフリング処理を行うための、ブロック属性を組み合わせて分散させる手法については、様々な変形例が可能である。
【０１１９】
セグメント間ＶＬデータシャッフリング
セグメント間ＶＬデータシャッフリング処理では、所定の数のセグメント、例えば６つのセグメントが並べ替えられ、これにより１／６パケットデータ欠落までの欠落に対し、空間的に分離された周期的なＶＬデータ欠落が保証される。ＦＩＧ．１５及びＦＩＧ．１６は、セグメント間ＶＬデータシャッフリング処理の一具体例を示す。
【０１２０】
この具体例においては、３０Ｍｂｐｓに近い伝送速度が望ましい。したがって、望ましい伝送速度では、６０個のバッファのそれぞれにおけるＶＬデータとして、３１１５２ビットが利用可能となる。残りの領域は、バッファ内に含まれる８８個のブロック用のＦＬデータに使用される。ＦＩＧ．１５は、３０Ｍｂｐｓに近い伝送速度用のフレームセット内のＶＬデータバッファの配列構造を示す図である。上述の通り、部分バッファリングにより、各バッファの使用可能なＶＬデータの使用効率が最適化されており、ＶＬデータの未使用領域は、ポストアンブルにより充足されている。
【０１２１】
ＦＩＧ．１６は、空間的に分散された周期的なＶＬデータ欠落を保証するシャッフリング処理の具体例を示す図である。第１列は、ＦＩＧ．１５に示す６０個のバッファから１８６９１２０ビットの連結ストリームに並べ替えられたＶＬデータを示す図である。第２列は、６ビット毎にビットを抽出してまとめた新たなビットストリーム、すなわちストリーム２を示す図である。これにより、デコーダ１２０が後に逆の処理を行う際に、伝送中に起こった１／６までのバースト欠落は、２つの破損されたビット間に少なくとも５つの未破損ビットがある周期的な欠落パターンに変換される。
【０１２２】
第３列は、ストリーム２のビットを１０ビット毎に抽出し、グループ化して生成された新たなビットストリーム、すなわちストリーム３を示す。この場合も、グループの境界は、セグメントにおけるビット番号により規定される。ストリーム２を１０ビット毎にグループ化することにより、１／６０のデータ欠落が生じた場合、２つの破損されたビット間に少なくとも５９個の未破損ビットが存在することが保証される。これにより、８８個の連続するパケットのデータが欠落した場合に、空間的に分離された周期的なＶＬデータ欠落が実現される。
【０１２３】
第４列は、ストリーム３のビットを１１ビット毎に抽出して生成されたストリーム４を示す。この場合も、グループの境界は、セグメントにおけるビット番号により規定される。ストリーム３を１１ビット毎にグループ化することにより、１／６６０のデータ欠落が生じた場合、２つの破損されたビット間に少なくとも６５９個の未破損ビットが存在することが保証され、８個の連続するパケットの伝送欠落が生じた場合、空間的に分離された周期的なＶＬデータ欠落を実現する。
【０１２４】
ストリーム４内の３１１５２ビットからなる各グループは、連続的にバッファ０〜５９に再格納される。すなわち、最初のビットグループは、バッファ０に格納され、最後のビットグループは、バッファ５９に格納される。
【０１２５】
ＦＩＧ．１６に示すグループ化の手法を変更することにより、１／ｎまでの伝送欠落を許容する空間的に分離された周期的なＶＬデータ欠落が保証されることは、当業者にとって明らかである。
【０１２６】
伝送
上述したシャッフリング処理により、ＦＬデータ及びＶＬデータが相互に混合されたバッファが形成される。一具体例においては、エンコーダ１１０は、パケット構造２００に従って各バッファからパケットを生成し、各パケットを伝送媒体１３５を介して送信する。
【０１２７】
データ回復
上述の通り、ビットストリームを符号化する革新的な本手法により、データパケットの欠落により生じるエラーに対する強力なエラー回復を実現することができる。復号処理の概要については、ＦＩＧ．４に示す通りである。
【０１２８】
ＦＩＧ．４に示すように、パケットとして受信されたデータは、複数のレベルのデシャッフリング処理、すなわちステップ４２５，４３０，４３５，４４０において処理され、ここでは、パケットとして受信されたデータの異なるデータ又は部分がデシャッフリングされ、データが読み出される。そして、ステップ４４５において、当分野で知られた技術（１９９１年９月４日〜６日にイタリアのトリノで開催されたＨＤＴＶ及びその未来に関する第４回国際研究会（Fourth International Workshop on HDTV and Beyond）において、近藤、藤森、中屋らにより発表された「将来のＨＤＴＶデジタルＶＴＲのための適応ダイナミックレンジコーディング方式（Adaptive Dynamic Range Coding Scheme for Future HDTV Digital VTR）」参照）を用いてデータをＡＤＲＣ復号する。
【０１２９】
ステップ４５０，４５５において、フレームセット内ブロックデシャッフリング及びブロック−画像マッピングが順次実行される。ステップ４２５，４３０，４３５，４４０，４４５，４５０，４５５は、データを符号化するために実行された上述の処理の逆の処理であり、ここでは、詳細には説明しない。なお、一具体例においては、ステップ４２５，４３０，４４０により示されるデシャッフリングは、データに対して独立である。例えば、実行されるデシャッフリング処理は、予め定められているか、あるいはアドレスマッピング又はテーブルルックアップにより特定される。デシャッフリングステップ４２５，４３０，４４０は、データコンテンツに対して独立しているので、例えばパケット欠落に起因するデータ欠落によってデシャッフリング処理ができなくなることはない。同様に、ステップ４５０，４５５は、データに対して独立である。詳しくは、グループ内ＶＬデータデシャッフリング処理により、ブロックグループ用の量子化コードが決定される。したがって、ステップ４３５では、パケットが欠落している場合、影響のあるグループを処理することはできない。
【０１３０】
デシャッフリング処理、復号処理及びマッピング処理（ステップ４２５，４３０，４３５，４４０，４４５，４５０，４５５）の後、回復処理が実行され、これにより欠落パケット内に存在しているＱビット及びモーションフラグの値が回復される。Ｑビットの欠落は、通常ＤＲ欠落（パケット欠落に起因する）に起因する。Ｑビット又はモーションフラグの値が未知の場合、画素のＱコードのビットをデータビットストリームから判定することができない。Ｑビット又はモーションフラグの値が不正確に判定された場合、バッファ内のデータにおいて後続するブロックの開始点が誤って判断されるので、このエラーは伝播性を有している。
【０１３１】
ＦＩＧ．１７は、Ｑビット及びモーションフラグの値を回復するための処理の概要を示す図である。ここでは、特定の具体例により、複数のデータブロックを用いてＱビット及びモーションフラグの値を回復する処理を説明する。しかしながら、ブロックの数は、この具体例に例示するものに制限されるわけではなく、１つ以上のブロックを用いることができる。ＦＩＧ．１７に示すように、ステップ１７０５において、ビットストリーム内に検出されたエラーに基づいて、ステップ１７１０において、特定のパラメータに基づいて、検査される３つのブロック用の復号候補が生成される。ステップ１７１５において、各復号候補が正しい復号候補である可能性（likelihood）に基づいて各復号候補に得点を付ける。そして、ステップ１７２０において、最も得点の高い復号候補を選択する。選択された復号候補は、Ｑビット及びモーションフラグの値を修正し、これにより検査されたブロックの画素が復号される。
【０１３２】
ＦＩＧ．４に示す復号処理において、一旦最良の復号候補が選択されると、ステップ４６５において、パケット欠落に起因して失われたＤＲ値又はＭＩＮ値が回復される。ここでは、例えば隣接するブロックの最小自乗又は平均を用いた手法など、当業者に既知の回復処理を用いてＤＲ及びＭＩＮを回復する。この処理の詳細については、例えば、１９９１年９月４日〜６日にイタリアのトリノで開催されたＨＤＴＶ及びその未来に関する第４回国際研究会（Fourth International Workshop on HDTV and Beyond）において、近藤、藤森、中屋らにより発表された「将来のＨＤＴＶデジタルＶＴＲのための適応ダイナミックレンジコーディング方式（Adaptive Dynamic Range Coding Scheme for Future HDTV Digital VTR）」に記載されている。この具体例においては、革新的な画像−ブロックマッピング処理及びこれに基づくデータ構造により隣接するブロックを増加させ、これにより追加的データを提供し、より正確なＤＲ及びＭＩＮの回復を容易に行うことができる。詳しくは、一具体例において、ＤＲ及びＭＩＮは以下の式に基づいて回復される。
【０１３３】
【数４】

【０１３４】
ここで、ＤＲ’は、回復されたＤＲに対応し、ｑ_ｉは、ＡＤＲＣブロック内のｉ番目の値であり、ｑ_ｉ∈｛０，１，・・・，２^ｑ−１｝であり、エッジマッチングＡＤＲＣの場合、ｍ＝２^Ｑ−１であり、非エッジマッチングＡＤＲＣの場合、ｍ＝２^Ｑであり、ｙ_ｉは、隣接するブロックの復号された値であり、Ｑは、Ｑビットの値である。
【０１３５】
【数５】

【０１３６】
ここで、ＭＩＮ’は、回復されたＭＩＮに対応し、Ｎは、総和に用いた項の数を表す（例えば、ｉが０〜３１であればＮは３２である）。他の具体例において、同一のブロックのＤＲ及びＭＩＮが同時に破損されている場合、ＤＲ及びＭＩＮは、以下の式に基づいて回復される。
【０１３７】
【数６】

【０１３８】
ステップ４７０において、Ｑビット及びモーションフラグの回復を実行する以前に、復号されていないデータをＡＤＲＣ復号し、ステップ４７５において、パケット欠落又はランダムエラーに起因して生じたエラーを含む全ての画素データを回復する。そして、ステップ４８５において、３：１：０−４：２：２逆変換を行い、画像を表示のために望ましいフォーマットに変換する。
【０１３９】
ＦＩＧ．１８は、本発明が提供する復号処理におけるＱビット及びモーションフラグの回復処理の特定の具体例を示す図である。この特定の具体例において、復号処理に入力される情報は、隣接ブロックの情報と、処理する３つのブロックのブロック属性及び画素データである。さらに、失われたデータの位置を示すエラーフラグも入力される。エラーフラグは、当業者に知られた様々な手法で生成することができるため、詳細には説明しない。エラーフラグは、どのビットが破損された又は欠落したパケットにより伝送されてきたかを示す。
【０１４０】
ステップ１８０５において、復号候補を生成する。復号候補は様々な手法で生成できる。例えば、処理負担がかなり大きくなってしまうが、復号候補に可能な復号の全てを含ませてもよい。これに代えて、事前に特定されたパラメータに基づいて、復号候補を生成して、評価する復号候補の数を減らしてもよい。
【０１４１】
この具体例においては、復号候補は、上述したグループ内ＶＬデータシャッフリング処理においてビットストリームをランダム化するために用いられた可能性のあるキー値に基づいて判定される。さらに、復号候補は、復号する状態で残っているビットのビット長及び残りのブロック数に関する情報により制限される。例えば、後述するように、最後のブロックの処理においては、ブロックの復号長は通常既知である。
【０１４２】
この具体例の説明を続ける。ＦＩＧ．１９は、この具体例における可能な組み合わせを表す。ここで、ｘは、未知の値（パケット欠落等に起因して失われた値）を示す。さらに、具体例を挙げて説明する。ｍ_ｉは、ｉ番目のブロックのモーションフラグであり、ｑ_ｉは、ｉ番目のブロックの量子化ビットのビット数であり、ｎ_ｉは、ｉ番目のブロックに対して可能な復号候補の数であり、ｄ_ｉは、グループ内ＶＬデータシャッフリングの説明で述べたｉ番目のブロックのキー要素の値である。ｉ番目のブロックは、各グループ内で定義される。この具体例では、各グループ内のブロック数は３である。この３ブロックのグループに対するキーは、ｄ_０＋１０・ｄ_１＋１００・ｄ_２として生成される。第１のブロックにおいて、モーションフラグが未知であり、量子化ビットのビット数が２であり、ｍ_０がｘであり、ｑ_０が２であるとする。上述の式に基づいて、キー要素ｄ_ｉは、ｄ_ｉ＝５・ｍ_ｉ＋ｑ_ｉとなり、ｄ_０として可能なデジットの集合は｛２，７｝となる。したがって、可能な値（ｎ_０）は、２となる。第２のブロックのモーションフラグの値が１であり、量子化ビットのビット数が１であり、ｄ_ｉの値がｄ_ｉ＝５・１＋１＝６であり、ｎ_ｉ＝１であるとする。また、第３のブロックのモーションフラグの値が１であり、量子化ビットのビット数が未知であるとする。これにより、デジットｄ_２は｛６，７，８，９｝の集合からなり、ｎ_２＝４となる。したがって、このグループの復号候補の可能な数Ｍは、２×１×４＝８となり、復号候補を生成するキーのバリエーションは、６６２，６６７，７６２，７６７，８６２，８６７，９６２，９６７となる。この処理は、好ましくは、データ欠落の影響を受けた各グループに対して実行される。
【０１４３】
ＦＩＧ．１７の説明に戻る。ステップ１７１５において、データがキーデータに基づいて復号されると、生成された復号候補は、復号されたデータが正しい可能性に基づいて、得点付けされる。ステップ１７２０において、最高の得点を得た復号候補を選択する。
【０１４４】
復号候補の得点付けには、様々な手法を用いることができる。例えば、特定の復号候補に基づくブロック内の画素が画像内の他の画素にどれくらい合致しているかを分析して、復号候補を得点付けすることができる。好ましくは、得点は、誤差、例えば自乗誤差及び相関を示す判定基準に基づいて決定する。例えば、相関については、隣接する画素との相関度が高いほど、仮定が正しい確率が高い。したがって、相関度が高ければ、復号候補が正しいことが予測され、相関性がなければ、復号候補が正しくないことが予測される。
【０１４５】
ＦＩＧ．１８に示すように、４つの異なる判定基準を分析して、最良の復号候補を選択する。しかしながら、復号候補を選択するために分析する判定基準の数は、１乃至３個であってもよく、５個以上であってもよい。
【０１４６】
ＦＩＧ．１８に示す具体例では、４つの副得点付け判定基準を設け、これらに対する得点を合計して最終得点を算出する。具体的には、ステップ１８１５において、自乗誤差を求め、ステップ１８２０において、水平相関を判定し、ステップ１８２５において、垂直相関を判定し、ステップ１８３０において、時間的動きを測定する（それぞれ、Ｍ個の復号候補と、Ｎ個のブロックと、２データフレーム／ブロックとにより、Ｍ×２Ｎ行列として示される）。ここでは、水平相関及び垂直相関を用いるが、例えば対角相関等の様々な相関値を測定することができる。ステップ１８３５，１８４０，１８４５，１８５０において、各判定基準の信頼度を測定し、測定値を正規化する。ステップ１８５５，１８６０，１８６５，１８７０において、それぞれ異なる判定基準の確率関数を生成する。これらの確率関数は、例えば確率値を掛け合わせることにより結合され、例えばＦＩＧ．１８のステップ１８７５において、尤度関数等による得点付けを行う。そして、各復号候補の得点を他の全ての復号候補の得点と比較し、最も正しいと考えられる復号候補を選択する。
【０１４７】
各復号候補を評価し、それぞれの候補に得点を付けるには、様々な手法を用いることができる。例えば、信頼度尺度は、判定基準を正規化する一手法である。さらに、以下に説明するもの以外にも、様々な信頼度尺度の手法がある。同様に、各判定基準に基づく確率値を掛け合わせて全体の尤度関数を求める手法は、検査された様々な判定基準を結合する手法の単なる例示にすぎない。
【０１４８】
通常、候補となる可能性が低い復号候補が得る得点は低く、一方、候補として有力な復号候補が得る得点が極めて高くなるため、符号化処理により最良の復号候補の判定が容易となる。特に、上述したグループ内データシャッフリング処理におけるＱコードのランダム化処理によってこの判定を容易に行うことができる。
【０１４９】
ＦＩＧ．２０ａ、２０ｂ、２０ｃ、２０ｄは、ＦＩＧ．１８に示すステップ１８１５，１８２０，１８２５，１８３０において特定の復号候補に得点を付け、及び総得点を算出するための異なる測定法の例を示す。ＦＩＧ．２０ａは、復号候補により復号された画素ｘ_ｉを復号された隣接する画素ｙ_ｉ，ｊと比較して評価する自乗誤差による測定を説明する図である。添え字「ｉ，ｊ」は、ｉに隣接するアドレスに対応する。なお、画像内の本当の輪郭の境界に存在するために生じる急峻な変化（スパイク：spike）の影響を取り除くために、値が大きな項の幾つかを除外することが望ましい。好ましくは、大きな３つの（ｘ_ｉ−ｙ_ｉ，ｊ）^２を除外し、発生する可能性のあるスパイクを回避するとよい。ＦＩＧ．２０ｂは、時間的動きの判定基準を測定する手法を説明する図である。これは、ブロックが動ブロックであるか、動ブロックであるとみなされる場合にのみ適用可能である。時間的動きの判定基準では、ブロック間の差分は小さいものであるとみなす。したがって、復号候補が悪いほど、ブロック間の差分が大きくなる。空間相関では、実際の画像が密接な関係を保ちながら徐々に変化するので、復号候補が正しい可能性が高いほど、相関度が高くなると考えられる。ＦＩＧ．２０ｃに示す水平相関測定及びＦＩＧ．２０ｄに示す垂直相関測定は、この前提を利用する。
【０１５０】
ＦＩＧ．１８に示すステップ１８３５，１８４０，１８４５，１８５０における信頼度尺度は、先のステップ（ステップ１８１５，１８２０，１８２５，１８３０）において判定された判定基準の正規化を行う処理である。一具体例において、例えば、自乗誤差が［０，１］間の値をとり、エラーが等しい場合、信頼度は０となり、エラーが０である場合信頼度は１となる。正規化のためには他の測定法及び手法を用いてもよい。
【０１５１】
同様に、空間相関に関する信頼度は、以下の式により算出される。
【０１５２】
ｍａｘｉｍｕｍ（Ｙ，０）−ｍａｘｉｍｕｍ（Ｘ，０）
ここで、Ｙは、最良の相関値であり、Ｘは、現在の復号候補の相関値である。時間的動きの信頼度尺度は、以下の式に基づいて決定される。
【０１５３】
ｃｏｎｆ＝（ａ−ｂ）／（ａ＋ｂ）
ここで、ａ＝ｍａｘ（Ｘ，Ｍ＿ＴＨ）であり、ｂ＝ｍａｘ（Ｙ，Ｍ＿ＴＨ）であり、さらに、Ｍ＿ＴＨは、候補ブロックの動き閾値であり、Ｙは、最良の測定値、すなわち最小の時間的動きを表し、Ｘは、現在の候補の時間的動きの測定値を表す。
【０１５４】
ＦＩＧ．１８に示すステップ１８５５，１８６０，１８６５，１８７０において、それぞれ異なる判定基準に関する確率関数を生成する。確率を測定する手法は様々なものが存在する。例えば、得点を信頼度尺度に用いることができる。信頼度尺度が所定の値、例えば０．８より大きければ、基礎得点から１０を減じ、０．５〜０．８の間であれば、基礎得点から５を減じる。ＦＩＧ．２１は、自乗誤差測定判定基準用の確率関数を生成するために用いる具体例である。この表は、経験的に求められた任意のデータを格納し、信頼度と、自乗誤差測定値と、既知の復号候補とが含まれている。具体的には、この表は、破損されていないデータを用い、ＤＲ値が破損又は欠落したと仮定して作成することができる。これにより、適切な復号及び不適切な復号に対するキー及び信頼度尺度のが求められる。この表は、適切な復号と不適切な復号との確率比を反映したものである。この表を用いて、特定の自乗誤差の値（列）及び信頼度の値（行）に対する確率が判定される。例えば、信頼度０において、様々な自乗誤差が存在し、候補が正しい確率は４０％〜５０％であることがわかる。信頼度が０ではないが、低い値である場合、この確率は、急速に低下する。相関及び時間的動きに関しても、対応する経験的に求められた判定基準測定値及び信頼度尺度に基づいて、同様の表を作成することができる。
【０１５５】
生成された確率を用いて、この具体例における上述の「得点」を求めることができる。候補復号の得点付けには、他の手法を用いてもよい。ステップ１８７５において、異なる確率を結合して尤度関数Ｌ_ｉ＝ｊ・Ｐ_ｉ，ｊを求める。ここで、ｊは、確率関数Ｐ_ｉ，ｊの乗算関数であり、Ｐ_ｉ，ｊは、候補ｉブロックｊの確率関数である。候補としては、関数Ｌ_ｉが最大となるものを選択する。
【０１５６】
ＦＩＧ．１８に示す処理においては、欠落したパケットにより伝送されたブロック属性を回復する必要がある場合がある。したがって、ステップ１８１０において、ＤＲ値及びＭＩＮ値を必要に応じて回復する。この回復処理には、デフォルト値、平均値、自乗誤差関数を用いた手法や、例えば、１９９３年９月２０〜２２日にオーストラリアのメルボルンで開催されたＩＥＥＥビジュアル信号処理及び通信学会で発表された近藤、藤森、中屋らによる「将来のＨＤＴＶデジタルＶＴＲのための適応ダイナミックレンジコーディング（Adaptive Dynamic Range Coding Scheme for Future HDTV Digital VTR）」及び近藤、藤森、中屋、内田らによる「新たなデジタルＶＣＲの秘匿法（A New Concealment Method for Digital VCRs）」に開示されたより高度な手法を用いることができる。回復された値は、上述した復号候補の生成に利用される。
【０１５７】
あるいは、ＤＲ値及びＭＩＮ値は、Ｑビット判定処理において決定される。この手法をＦＩＧ．２２に示す。特に、上述の通り、この具体例においては、モーションフラグ及び量子化ビットのビット数を、符号化処理及び後の回復処理において用い、復号候補の可能な数を減少させている。上述の通り、他の情報を用いてもよい。すなわち、ＤＲ値及び／又はＭＩＮ値を符号化に用いてもよい。これに代えて、ＤＲの一部のビット（例えば、ＤＲにおいて最下位２ビット）を符号化に用いてもよい。ＤＲデータを符号化しても、変数を追加するにつれて可能な復号候補の数は増加する。ＦＩＧ．２２の処理では、Ｋ・Ｍ個の復号候補が生成される。ここで、Ｋは、未知のデータの候補値の数であり、例えば、ＤＲ_１、ＤＲ_２、ＤＲ_３（ＤＲ_１、ＤＲ_２、ＤＲ_３は、グループ内のブロックのＤＲ値を示す）の合計の２ビットが符号化された場合、Ｋ＝４である。ＤＲ及びＭＩＮは、例えばＤＲ_１、ＤＲ_２、ＤＲ_３の合計の２ビット等の補助情報を用いて回復される。この処理により、復号候補の最大数を調べるためのオーバヘッドを代償として、候補選択処理の精度を向上させることができる。
【０１５８】
なお、通常、復号された隣接するブロックの数が多いほど、Ｑビット及びモーションフラグの回復処理が向上する。さらに、幾つかの具体例において、この処理は、バッファ内の連続するブロックに対して適応される。ＦＬデータの全て又は一部が利用可能であれば、復号候補の数を減らすことができ、ブロックのＦＬデータ全てが得られれば、可能な復号候補は１つとなる。しかしながら、Ｑビット及びモーションフラグの回復処理は、比較的時間を要するので、回避した方が望ましい。さらに、Ｑビット及びモーションフラグの回復処理を行うためには、可能な限り多くの情報を用いることが望ましい。一具体例においては、Ｑビット／モーションフラグの情報が失われているブロックに到達するまで、バッファの先頭から順次ブロックを処理する。このような処理を順方向Ｑビット及びモーションフラグの回復処理と呼ぶ。他の具体例においては、バッファの最後を参照して、バッファ内の最終ブロックを判定し、この最終ブロックからＱビット／モーションフラグの情報が失われているブロックに到達するまで、バッファの最後から先頭の方向に順次データを回復する。この処理を逆方向Ｑビット及びモーションフラグの回復処理と呼ぶ。
【０１５９】
上述したように、ブロックは、ＶＬデータを含むため、ブロック長は可変である。したがって、バッファ内で後続するブロックの位置を正確に検出することができるようにするためには、ＶＬデータを形成するビットの総数を判定する必要がある。符号化処理において、バッファ内の未使用のビット位置には、所定の、好ましくは認識が容易なパターンを有するポストアンブルを設けている。復号処理においては、ポストアンブルは、ブロックとバッファの最後との間に存在することとなる。容易に認識できるパターンを用いているため、復号装置は、このパターンを確認することにより、ポストアンブルの開始位置を検出でき、したがって、バッファ内のブロックの最後を検出できる。この情報は、２つの処理において使用される。ブロックが破損されたＱビット／モーションフラグのデータを含み、ブロックの開始位置が既知である場合（例えば、先行するブロックが無事に復号されている場合）、直前のブロックの最後からポストアンブルの先頭までの差分がブロック長に対応する。この情報は、ブロックのＱビット及び／又はモーションフラグの算出に使用できる。ポストアンブルの開始位置は、直前のブロックからバッファの先頭方向におけるＱビット及びモーションフラグの回復にも使用できる。
【０１６０】
ＦＩＧ．２３は、ポストアンブルを用いた双方向Ｑビット及びモーションフラグの回復処理を説明する図である。ＦＩＧ．２３においては、バッファ２３００は、ＦＬデータのブロックからなるＮ個のグループ用のＦＬデータ２３０３を含む。各グループは、複数の（例えば、３個の）ブロックから構成される。この具体例においては、１番目及び２番目のグループ２３０５，２３１０が復号され、３番目のグループは、ＤＲ／モーションフラグのデータが破損されているために、直ちには復号することができない。この時点で、破損されたデータを回復するためには、Ｑビット／モーションフラグの回復処理が必要となる。ここで、順方向へのグループの処理を継続せず、ポストアンブルパターン２２０を検出することにより、バッファの最後を読み出す。すなわち、ポストアンブルの先頭を判定することにより、最後のブロックグループが判定される。ＤＲ／モーションフラグのデータは、ＶＬデータの長さを暗示しているため、最終ブロックのＶＬデータの先頭と、したがって直前のブロック最後とが判定される。これにより、破損データを含むブロック２４０に到達するまで、例えばブロック２２５，２３０，２３５のブロックが順次処理される。続いて、破損されたブロック２１５，２４０及び妨害された複数のブロック２５０が回復される。ここでは、好ましくは、上述したＱビット／モーションフラグの回復処理を用いる。
【０１６１】
なお、双方向処理の順序は、順方向から逆方向の順序に限定されるものではなく、処理は、いずれの方向から開始してもよく、両方向から開始してもよい。さらに、幾つかの具体例においては、複数の処理を平行して実行し、処理効率を高めることもできる。さらに、破損されていない妨害されたブロック２５０については、上述のＱビット／モーションフラグの回復処理を行うことなく、Ｑビット／モーションフラグの情報に直接アクセスして、これらのブロックを回復してもよい。
【０１６２】
上述のように、最良の復号候補を実際の復号処理として選択するための得点付けの手法は、様々である。変形例においては、各復号候補を用いた画像の平滑度を評価する。一具体例においては、ラプラス測定を実行する。ラプラス測定では、例えば画像の曲率等の画像表面の２次特性を利用する。線形画像表面、すなわち平滑な表面に対しては、このラプラス測定の結果は０に近い値となる。
【０１６３】
この処理をＦＩＧ．２４ａ、２４ｂ、２４ｃを用いて説明する。ＦＩＧ．２４ａは、ラプラスカーネルの一具体例を示す。他のラプラスカーネルを用いてもよい。ラプラスカーネルＬは、３×３の領域で示される。画像領域の平滑度を測定するために、画像のサブ領域をカーネルにより畳み込み、畳み込まれた値の平均を求める。領域及びサブ領域のサイズ（したがってカーネルのサイズ）は、アプリケーションに応じて変更できる。
【０１６４】
処理の一例をＦＩＧ．２４ｃに示す。この具体例では、３×３のカーネル及びサブ領域サイズと、８×８の領域サイズと、インデックスｉ，ｊにより識別される独立要素とを用いる。ステップ２４６０において、候補復号値ｘ［ｉ］［ｊ］を正規化する。例えば、値は、以下の式に基づいて正規化される。
【０１６５】
【数７】

【０１６６】
ステップ２４６５において、正規化された値を用い、以下の式に基づいて、平滑度を示すブロックラプラス値Ｌ_Ｘを求める。
【０１６７】
【数８】

【０１６８】
ブロックラプラス値Ｌ _Ｘ が０に近いほど、画像の部分の平滑度が高い。したがって、このブロックラプラス値Ｌ _Ｘ に基づいて得点を算出することができ、ブロックラプラス値Ｌ _Ｘ が最も小さい復号候補を正しいと判定することができる。
【０１６９】
ラプラス評価法は、符号化された候補値ｑ［ｉ］［ｊ］を用いて実現することもできる。基本的な処理手順は、ＦＩＧ．２４ｃに示す手順と同様である。この具体例では、３×３のカーネル及びサブ領域サイズと、８×８の領域サイズと、インデックスｉ，ｊにより識別される独立要素とを用いる。ステップ２４６０において、符号化された候補値ｑ［ｉ］［ｊ］は正規化される。例えば、値は以下の式により正規化される。
【０１７０】
【数９】

【０１７１】
ステップ２４６５において、正規化された値を用いて、以下の式に基づいて、平滑度を示すブロックラプラス値Ｌ_ｑを求める。
【０１７２】
【数１０】

【０１７３】
ブロックラプラス値Ｌ _ｑ が０に近いほど、画像の部分の平滑度が高い。したがって、このブロックラプラス値Ｌ _ｑ に基づいて得点を算出することができ、ブロックラプラス値Ｌ _ｑ が最も小さい候補を正しいと判断することができる。
【０１７４】
さらに他の変形例も可能である。変形例として、平滑度測定のために、より高次元の画像特性を用いることもできる。この場合、高次カーネルを用いることができる。例えば、４次カーネルを用いて、４次ブロックラプラス測定を行うことができる。このような４次カーネルは、２次ラプラス演算を縦続的に実行することにより実現できる。
【０１７５】
さらに、画像が所定の値より大きな変化又は動きを有しているか否かに基づいて評価処理を変更してもよい。画像の部分が所定の値より大きな動きを示している場合、フレームではなく、フィールドに対する測定を行うことが望ましい。この点について、ＦＩＧ．２５を用いて説明する。ＦＩＧ．２５は、平滑度測定を用いた処理を示す図である。しかしながら、この処理は、様々な種類の測定法を用いて実現することができる。
【０１７６】
画像領域のフレーム２５０５は、フィールド０及びフィールド１から構成される。ステップ２５１０において、動きが検出されない場合、ステップ２５１５において、各フレーム内のブロックについてブロックラプラス値を求めることにより、平滑度を測定する。所定の値より大きな動きが検出された場合、ステップ２５２０及びステップ２５２５において、それぞれのフィールドに対してブロックラプラス測定を行い、得られた２つの測定値を、ステップ２５３０において、結合、例えば平均値を求め、平滑度測定値を算出する。動きの検出及び測定には、様々な手法を用いることができる。一具体例においては、フィールド間の変化を評価し、得られた値が所定の値を超えた場合に動きを検出する。
【０１７７】
値の回復（通常、欠落又は破損された値の置換）のために動き検出、フレーム情報及びフィールド情報を使用する手法は、値を回復する必要があるあらゆる処理の過程に適用できる。例えば、値を回復するための動き検出、フレーム情報及びフィールド情報を使用する手法は、ＤＲ／ＭＩＮ回復処理、画素回復処理、Ｑビット及びモーションフラグの回復処理等に適用することができる。このように、検出された動きレベルに基づいて、回復処理は、フィールド単位又はフレーム単位で既存の情報を利用する。さらに、この処理は、特定の方向（例えば、水平方向又は垂直方向）での相関レベルに基づいて選択される重み付けの値を用いるアプリケーションと組み合わせて用いることもできる。
【０１７８】
Ｑビット及びモーションフラグの回復処理の他の具体例では、復号候補は、ブロック内及びブロック間測定に基づいて評価される。以下の説明では、用語「ブロック」は、フレーム又はフィールドの部分を意味するものとする。ブロック内測定は、復号候補により復号された画像の部分の例えば平滑度を評価する。ブロック間測定は、復号候補が隣接する画像部分にどれほど合致するかを測定する。ＦＩＧ．２６ａ及びＦＩＧ．２６ｂは、ブロック間評価とブロック内評価とを組み合わせた手法を説明する図である。具体的には、ＦＩＧ．２６ａは、ブロック間測定及びブロック内測定の結果が良好であるために許容可能な復号候補を示し、一方、ＦＩＧ．２６ｂでは、ブロック内測定の結果は極めて良好であるが、ブロック間測定の結果が良好ではない場合を示している。
【０１７９】
ブロック内測定の具体例では、上述した平滑化測定を行う。ブロック間測定の具体例では、上述の自乗誤差測定を行う。ブロック間測定の変形例では、ＡＤＲＣブロック候補における適合する境界画素の比及び境界画素の総数を使用する。
【０１８０】
ＡＤＲＣ符号化された８×８ブロックに対するブロック間評価及びブロック内評価について、ＦＩＧ．２６ｃ、２６ｄ、２６ｅを用いて説明する。ＦＩＧ．２６ｄは、ｑ個の値からなる符号化値２６５０のデータの画像の一部（ブロック）を示し、このブロックから候補復号値ｘが生成される。隣接する復号されたデータ２６５５は、ｙ個の値からなる。上述の通り、ＦＩＧ．２６ｃのフローチャートに示すステップ２６０５において、ブロック内測定が実行され、これにより測定値、例えばブロックラプラス値Ｌ_Ｘが算出される。ステップ２６１０において、ブロック間測定値Ｓ_Ｘが算出され、これにより隣接するブロック間の適合性が測定される。ステップ２６１５において、結合測定値Ｍ_Ｘが算出される。結合測定値Ｍ _Ｘ は、復号候補を選択するために用いる情報を提供する。
【０１８１】
この具体例において、ブロック間測定値Ｓ_Ｘは、復号候補による各境界画素の有効範囲内に存在する隣接データの数として算出される（ＦＩＧ．２６ｅ参照）。ＦＩＧ．２６ｅは、一具体例の有効範囲を示すグラフであり、ここでは観察された量子化値ｑ_ｉのそれぞれの有効範囲が示されている。すなわち、Ｌ_Ｑ≦ＤＲ＜Ｕ_Ｑとなり、ここで、Ｌ_Ｑ、Ｕ_Ｑは、それぞれ量子化ビット＝Ｑに対応するＤＲの上位及び下位の境界を示している。ブロック間測定値Ｓ_Ｘについては、Ｓ_Ｘ＝Ｓ_Ｘ／境界画素数として正規化することが望ましい。
【０１８２】
この具体例では、結合測定値Ｍ_Ｘは、
Ｍ_Ｘ＝Ｓ_Ｘ＋（１−Ｌ_Ｘ）
という式に基づいて算出する。これに代えて、以下の式を用いて結合測定値の重み付けを行ってもよい。
Ｍ_Ｘ＝ｗ・Ｓ_Ｘ＋（１−ｗ）・（１−Ｌ_Ｘ）
ここで、ｗは重みであり、通常経験的に決定された重み付けの値を有する。
【０１８３】
欠落又は破損されたＤＲ値及びＭＩＮ値を判定するための他の具体例も考えられる。例えば、上述の式を変形して用い、より高精度なＤＲ値及びＭＩＮ値の回復を実現することができる。他の具体例では、メジアン法を用いてもよい。メジアン法の一具体例では、ＭＩＮの値を全てのＭＩＮ_ｉの値のメジアンとして以下のようにして求める。
【０１８４】
ＭＩＮ_ｉ＝ｙ_ｉ−ｑ_ｉ・ｓ
ここで、ｑ_ｉは、符号化された画素値を示し、ｙ_ｉは、ｑ_ｉに隣接する復号された画素を示す。エッジマッチングＡＤＲＣにおいて、ｓ＝ＤＲ／（２^Ｑ−１）である。ノンエッジマッチングＡＤＲＣにおいては、ｓ＝ＤＲ／２^Ｑである。ここで、Ｑは、画素毎の量子化ビットのビット数（Ｑビットの値）を示す。
【０１８５】
使用される値は、時間的近似値又は空間的近似値であってもよい。ｙ_ｉの値としては、隣接するフレーム／フィールド又は同じフィールドの隣接する画素の復号値を用いてもよい。ｙ_ｉの値としては、隣接するフレーム／フィールド又は同じフィールド内の同じ位置の画素の復号値を用いてもよい。
【０１８６】
さらに、ＤＲ及び／又はＭＩＮ回復処理をクリップ処理と組み合わせて用い、回復精度を向上させるとともに、回復処理中のデータのオーバフローを防止することもできる。クリッピング処理は、回復されたデータの値を所定の範囲内に制限する処理である。すなわち、所定の範囲外の値は、この範囲の最も近い境界値にクリップされる。一具体例においては、クリップ処理により値を［Ｌ_Ｑ，Ｕ_Ｑ］の範囲内に制限する。ここで、Ｌ_Ｑ，Ｕ_Ｑは、量子化ビットのビット数＝Ｑで表される画素値の範囲の下限及び上限を示す。量子化ビット及びさらにＭＩＮ＋ＤＲを制限する制限値Ｎｕｍを設ける。Ｎｕｍは最大画素値であり、この具体例においては、Ｎｕｍは２５５である。この具体例において、適応可能であれば、Ｕ_Ｑ＋１＝Ｌ_Ｑ＋１とする。
【０１８７】
判定基準を単一の式に結合することにより、ＤＲのための拘束されない回復値（ｖａｌ’）と、最終的にクリップされた回復値（ｖａｌ）とが以下の式から得られる。
【０１８８】
ｖａｌ＝ｍａｘ（ｍｉｎ（ｖａｌ，ｍｉｎ（Ｕ_Ｑ，２５５−ＭＩＮ）），Ｌ_Ｑ）
ここで、ｍｉｎ及びｍａｘは、それぞれ最小関数及び最大関数を示す。
【０１８９】
他の具体例においては、境界画素ｙ_ｉを用いて回復されたＤＲ及び／又はＭＩＮをフィルタリングして相関値が最も高いものだけを用いるようにする。これにより、ＤＲ及びＭＩＮの回復の精度が向上する。判定基準を満たしていないそれらの境界画素は、使用されない。一具体例においては、境界画素ｙ_ｉは、Ｌ_Ｑ≦ＤＲ＜Ｕ_Ｑを満たすＤＲ値が存在し、元の画素ｙ_ｉがｑ_ｉとして符号化されている場合、ＤＲ算出に有効であるとみなされる。すなわち、以下の式が満たされるとき、画素は有効である。
【０１９０】
【数１１】

【０１９１】
ここで、ｍは、最大量子化レベル＝２^Ｑ−１を表す。そして、ＤＲ回復値（ｖａｌ’）は、以下の式に基づいて算出される。
【０１９２】
【数１２】

【０１９３】
続いて、この値は有効範囲内にクリップされる。この処理により、ＤＲ回復値は、閾値テーブルにより定義されている有効範囲内に納められる。これにより、ＤＲが閾値テーブルの境界近傍に存在する点の精度が低下する。
【０１９４】
ここで、量子化雑音の影響により、静ＡＤＲＣブロックのＤＲは、フレーム間で若干変化することがある。このような変化がＡＤＲＣ符号化境界を横断し、ＤＲが複数の連続フレームにおいて回復された場合、有効画素選択とともに回復されたＤＲの回復値は、各横断点で過大になる傾向があり、この結果、表示画面上で顕著なちらつきが生じる。このような問題を抑制する手法として、一具体例では、有効画素選択処理を変形し、上限及び下限の境界による制約を緩和する。これにより、隣接する有効領域に侵入する境界画素を許容する。境界に外接する点を含むことにより、回復値が上限又は下限に近い値となる傾向を強めることができる。緩和された境界の下限Ｌ’_Ｑ 及び上限Ｕ’_Ｑは、緩和定数ｒにより算出される。一具体例においては、ｒの値を０．５に設定する。他の値を用いてもよい。
【０１９５】
Ｌ’_Ｑ＝ｒＬ_Ｑ−１＋（１−ｒ）Ｌ_Ｑ
Ｕ’_Ｑ＝（１−ｒ）Ｕ_Ｑ＋ｒＵ_Ｑ＋１
以上、ＤＲ及びＭＩＮが破損又は欠落した場合にＤＲ及びＭＩＮを回復するための様々な手法を説明した。算出され、回復された対応するデータの時間的及び／又は空間的相関を調べ、重み付けを行うことにより、さらに回復の精度を高めることができる。具体的には、特定の方向又は時間軸において高い相関が存在する、例えば水平相関が存在する場合、画像特性は、その高い相関を有する方向において、平滑に連続し、したがって、相関値の高い回復値の使用に最良の評価を与える。これにより、境界データは、対応する方向（例えば、垂直、水平、フィールド間）に含まれ、相関測定値に基づいて重み付けされ、最終的な回復値が得られる。
【０１９６】
この処理の一具体例を、ＦＩＧ．２７ａを参照して説明する。ステップ２７１０において、ＤＲ又はＭＩＮの回復値を一方向について生成し、ステップ２７１５において、他の方向の回復値を生成する。例えば、この処理を空間的に適用する場合、水平方向の境界に沿う境界画素を用いて第１の回復値ｈｅｓｔを生成し、垂直方向の境界に沿う境界画素を用いて第２の回復値ｖｅｓｔを生成する。これに代えて、処理を時間的に適用する場合、隣接するフィールド間の境界画素を用いて第１の回復値を生成し、隣接するフレーム間の境界画素を用いて第２の回復値を生成する。
【０１９７】
ステップ２７２０において、各方向における相関レベルを示す相関演算に基づいて回復値の重み付けを行う。続いてステップ２７２５において、重み付けされた第１及び第２の回復値を結合して結合回復値を生成する。なお、この処理は、２方向の回復値に対する重み付けのみに限定されるわけではない。すなわち、重み付けされ、結合される回復値の数は、アプリケーションに応じて変更できることは明らかである。特定の方向における相関レベルを示す相関値を算出するために、様々な手法を用いることができる。さらに、様々な判定基準を用いて、相関レベルに関する重み係数を選択することができる。通常、一方の相関値が他方の相関値よりかなり大きい場合、結合された回復値は、主に対応する回復値に基づくものである必要がある。一具体例において、結合された回復値は、以下の式により求められる。
【０１９８】
【数１３】

【０１９９】
ここで、ｈｃは、水平相関を表し、ｖｃは、垂直相関を表し、ｈｅｓｔは、左右の境界情報のみに基づくＤＲ回復値を表し、ｖｅｓｔは、上下の境界情報のみに基づく回復値を表し、αは、重みを表す。重みの値は、様々な方法で決定できる。ＦＩＧ．２７ｂは、水平相関と垂直相関との差分の関数として重みの値を決定する一具体例を説明する図である。具体的には、αは、以下の式を満たすように選択される。
【０２００】
【数１４】

【０２０１】
上述のように、適応相関処理は、ＤＲ及びＭＩＮのいずれの回復にも用いることができる。しかしながら、好ましくは、ＭＩＮ＋ＤＲが２５５になるように、ＭＩＮ回復処理においてクリッピングを行う。したがって、関数ｖａｌ＝ｍａｘ（ｍｉｎ（ｖａｌ’，２５５−ＭＩＮ），０）を用いることができる。さらに、上述の通り、時間的相関を評価し、これにより、回復値の重み付けを行うこともできる。また、時間的相関と空間的相関を組み合わせて利用してもよい。例えば、フィールド間のある回復値を時間的回復値として生成する。他方の回復値を１フィールド内の空間的回復値として生成する。最終的な回復値は、時間的相関及び空間的相関を組み合わせて算出される。相関の組み合わせを動きの量に置換してもよい。他の変形例も可能である。この手法をオーディオデータに対して適用しもよい。
【０２０２】
一変形例として、最小自乗法に単純な修正を加えた手法を用いることができる。この具体例により、回復されたＤＲ値に起因するちらつきを低減することができる。以下の説明においては、ＱＶは、画像部分又は点ｑ_ｉの集合を有し、ＤＲを回復するＡＤＲＣブロックを表し、Ｙは、ＱＶ内の垂直方向又は水平方向に隣接する点から得られた復号値のリストを表し、ｙ_ｉは、ｑ_ｉの垂直方向又は水平方向の隣接点を表す。各点ｑ_ｉは、最大４個の復号された隣接点を有するので、１画素又は点について（ｑ_ｉ，ｙ_ｉ）の組み合わせは、最大４つとなる。ＤＲの無制約の最小自乗評価値（ＤＲ_ｕｌｓ）は、以下の通りである。
【０２０３】
【数１５】

【０２０４】
ここで、Ｑは、量子化ビットのビット数であり、ＭＩＮは、ブロック属性として伝送された最小値を表す。上述の式は、ノンエッジマッチングＡＤＲＣに対応するものであり、エッジマッチングＡＤＲＣの場合は、２^Ｑを２^Ｑ−１に置き換え、（０．５＋ｑ_ｉ）をｑ_ｉに置き換える。
【０２０５】
好ましくは、無制約の最小自乗評価値をクリップし、閾値テーブル及び等式ＭＩＮ＋ＤＲ＝２５５に整合させる。この条件は、符号化処理中に行わなければならない（通常、ノンエッジマッチングＡＤＲＣの場合、ＤＲ値として許容される範囲は、１〜２５６である）。すなわち、最小自乗評価値は、以下の式に基づいてクリップされる。
【０２０６】
（ＤＲ）_ｌｓｃ＝ｍａｘ（ｍｉｎ（ＵＢ，ＤＲ_ｕｌｓ），ＬＢ）
ここで、ＵＢは、上限を表し、ＬＢは、下限を表し、ｍｉｎ及びｍａｘは、それぞれ最小関数及び最大関数を表す。
【０２０７】
変形例として、ＤＲ評価値に最も適合する画素を選択することにより、評価を高めて、ＤＲの評価値を算出することもできる。例えば、画像内の変化の少ない領域の画素に対するＤＲ評価値は、変化が多い領域の画素に対するＤＲ評価値より適合性が高くなる。具体的には、画像の輪郭が鋭ければ、評価の精度が低くなる。以下、ＤＲ評価値を算出するために用いる画素を選択する簡易な計算手法の具体例を説明する。
【０２０８】
この具体例では、最小自乗評価値（ＤＲ_ｌｓｅ）、例えばＤＲ_ｕｌｓ又はＤＲ_ｌｓｃを算出する。この評価値を用いて、符号化値ＱＶのリストを候補復号値Ｘに変換する。ここで、ｘ_ｉは、ｑ_ｉに由来するＸの構成要素を表す。ｘ_ｉ の値は、ＤＲの第１の評価値を用いて生成された、回復された復号値である。ｘ_ｉ の値は、以下の式により定義される。
【０２０９】
【数１６】

【０２１０】
ＤＲ_ｌｓｅが真のＤＲの正当な評価値であると仮定すると、いかなる場合も、ｘ_ｉはｙ_ｉに比較的近似し、したがって、変化の少ない領域と判断され、望ましい適合性が得られる。新たなＸ及びＹのリストは、ｘ_ｉとｙ_ｉが近似しており、最小自乗評価値が再計算されて評価値が更新される。
【０２１１】
「近似」しているか否かを決定するために、様々な判定基準を設けることができる。一具体例においては、誤差関数のＡＤＲＣ符号化を用いる。この手法は、計算が低コストであるという利点を有する。処理においては、点ｅ_ｉ｜ｙ_ｉ−ｘ_ｉ｜から構成されるリストＥを定義する。ｅｍｉｎ及びｅｍａｘをそれぞれリストの最大値及び最小値として定義すると、ｅＤＲ＝ｅｍａｘ−ｅｍｉｎとなる。したがって、符号化された誤差値は、以下のように定義される。
【０２１２】
ｇ_ｉ＝（ｅ_ｉ−ｅｍｉｎ）ｎｌ／ｅＤＲ
ここで、ｎｌは、上述したＡＤＲＣ処理と同様の手法により、ｅ_ｉを再量子化する際の量子化レベルの数を表す。
【０２１３】
ｇ_ｉがある閾値以下であるという条件に合致するもののみを選択することにより、新たなリストＸ、Ｙが生成される。これらの新たなリストが十分長ければ、これらのリストを用いて精密な最小自乗評価値ＤＲ_ｒｌｓを生成できる。最小自乗評価値を精密化するために必要とされるｇ_iの閾値及び合致数は、好ましくは、経験的に求められる。例えば、ｎｌを１０とした８×８×２の水平サブサンプルブロックに対する具体例では、ｇ_ｉ＝０に対応する合致数のみを用い、評価値は、新たなリストが少なくとも３０個以上の合致数を含む場合にのみ精密化される。
【０２１４】
変形例として、潜在的なＤＲ値をクリッピングし、ＤＲ評価値を再計算することにより、ＤＲ評価値の精度を高めることができる。詳しくは、一具体例において、リストＤは、構成要素ｄ_ｉから構成され、ｄ_ｉは、ｘ_ｉをｙ_ｉに一致させるＤＲ値を含む。より具体的には、以下の式の通りとなる。
【０２１５】
ｄ_ｉ＝２^Ｑ（ｙ_ｉ−ＭＩＮ）／（０．５＋ｑ_ｉ）
以下に示すように、各ｄ _ｉ をクリッピングすることにより精度が高められる。
【０２１６】
ｄ_ｉ’＝ｍａｘ（ｍｉｎ（ＵＢ，ｄ_ｉ），ＬＢ）
ここで、ＤＲ_ｃｌｓは、ｄ_ｉ’の平均値となるように算出される。加重平均において、クリップ処理（ＤＲ_ｃｌｓ）を他のＤＲ評価、例えばＤＲ_ｌｓｅと組み合わせて、最終のＤＲ値を求めるようにしてもよい。例えば、加重平均ＤＲ_ｅｓｔを以下の式に基づいて算出する。
【０２１７】
ＤＲ_ｅｓｔ＝ｗ_１（ＤＲ_ｃｌｓ）＋ｗ_２（ＤＲ_ｌｓｅ）
重みｗ_１ 、ｗ_２は、好ましくは、結果として得られた評価値及び特定の重みから生成された画像に基づいて経験的に決定される。一具体例においては、ｗ_１＝０．２２５１３とし、ｗ_２＝０．８０７３９とする。
【０２１８】
本発明を好ましい実施の形態に基づいて説明した。上述の説明から、多数の代替、修正、変形及び用法が実現できることは当業者にとって明らかである。
【図面の簡単な説明】
【図１】 ＦＩＧ．１は、信号の符号化、伝送、復号の処理を包括的に示す図である。
【図２】 ＦＩＧ．２は、パケット構造の具体例を示す図である。
【図３】 ＦＩＧ．３は、本発明に基づく符号化処理の一例を説明するフローチャートである。
【図４】 ＦＩＧ．４は、本発明に基づく復号処理の一例を説明するフローチャートである。
【図５】 ＦＩＧ．５は、本発明に基づく画像−ブロックマッピングの一例を示す図である。
【図６】 ＦＩＧ．５ａは、画像−ブロックマッピングにおいて用いられるシャッフリングパターンの一例を示す図である。
【図７】 ＦＩＧ．６は、相補的及び連鎖的なブロック構造の例を示す図である。
【図８】 ＦＩＧ．７ａ及びＦＩＧ．７ｂは、フレームセット内のＹブロックのシャッフリングパターンの具体例を説明する図である。
【図９】 ＦＩＧ．７ｃは、フレームセット内のＹブロックのシャッフリングパターンの具体例を説明する図である。
【図１０】 ＦＩＧ．７ｄは、フレームセット内のＹブロックのシャッフリングパターンの具体例を説明する図である。
【図１１】 ＦＩＧ．８は、バッファ０内の累積的ＤＲ分布の具体例を示す図である。
【図１２】 ＦＩＧ．８ａは、本発明に基づく部分バッファリング処理の具体例を示す図である。
【図１３】 ＦＩＧ．９は、本発明に基づくバッファ内ＹＵＶブロックシャッフリング処理の具体例を示す図である。
【図１４】 ＦＩＧ．１０は、本発明に基づくグループ内ＶＬデータシャッフリング処理の具体例を示す図である。
【図１５】 ＦＩＧ．１１は、本発明に基づく３ブロックのグループ内におけるＱコードの結合の具体例を示す図である。
【図１６】 ＦＩＧ．１１ａは、本発明に基づく動ブロックを含むフレーム対におけるＱコードの結合の具体例を示す図である。
【図１７】 ＦＩＧ．１２は、１／６バーストエラー欠落に起因する画素データエラーの具体例を示す図である。
【図１８】 ＦＩＧ．１２ａは、本発明に基づくＱコードのシャッフリング及びＱコードのビットの分散の具体例を示す図である。
【図１９】 ＦＩＧ．１２ｂは、Ｑコードを再分散した場合における１／６バーストエラーに起因する画素データエラーの具体例を示す図である。
【図２０】 ＦＩＧ．１２ｃは、Ｑコードを再割当てした場合における１／６バーストエラーに起因する画素データエラーの具体例を示す図である。
【図２１】 ＦＩＧ．１３は、本発明に基づくＭＩＮシャッフリングの具体例を示す図である。
【図２２】 ＦＩＧ．１３ａは、モーションフラグシャッフリング及び１フレーム対内における固定長データ欠落を示す図である。
【図２３】 ＦＩＧ．１４は、モジュールシャッフリングの具体例を示す図である。
【図２４】 ＦＩＧ．１４ａは、モジュールシャッフリングの結果及びモジュールシャッフリングに関連する固定長データ欠落を示す図である。
【図２５】 ＦＩＧ．１４ｂは、変形されたモジュールシャッフリングの結果及びこのモジュールシャッフリングに関連する固定長データ欠落を示す図である。
【図２６】 ＦＩＧ．１４ｃは、変形されたモジュールシャッフリングの結果及びこのモジュールシャッフリングに関連する固定長データ欠落を示す図である。
【図２７】 ＦＩＧ．１５は、フレームセット内の可変長データバッファリングの具体例を示す図である。
【図２８】 ＦＩＧ．１６は、本発明に基づくセグメント間ＶＬデータシャッフリングを説明する図である。
【図２９】 ＦＩＧ．１７は、本発明に基づくデータ回復処理の具体例を示すフローチャートである。
【図３０】 ＦＩＧ．１８は、本発明に基づくＱビット及びモーションフラグの回復処理の具体例を示すフローチャートである。
【図３１】 ＦＩＧ．１９は、復号候補の具体例を示す図である。
【図３２】 ＦＩＧ．２０ａ及びＦＩＧ．２０ｂは、ＦＩＧ．１８に示すＱビット及びモーションフラグの回復処理において用いられる測定を説明する図である。
【図３３】 ＦＩＧ．２０ｃ及びＦＩＧ．２０ｄは、ＦＩＧ．１８に示すＱビット及びモーションフラグの回復処理において用いられる測定を説明する図である。
【図３４】 ＦＩＧ．２１は、Ｑビット及びモーションフラグの回復処理において自乗誤差確率関数を求めるために用いられる表を示す図である。
【図３５】 ＦＩＧ．２２は、本発明に基づくＱビット、モーションフラグ及び補助情報回復処理の具体例を示すフローチャートである。
【図３６】 ＦＩＧ．２３は、双方向Ｑビット及びモーションフラグの回復処理の具体例におけるポストアンブルの使用を説明する図である。
【図３７】 ＦＩＧ．２４ａ及びＦＩＧ．２４ｂは、復号候補を評価する変形例を説明する図である。
【図３８】 ＦＩＧ．２４ｃは、復号候補を評価する変形例を説明する図である。
【図３９】 ＦＩＧ．２５は、本発明に基づく平滑度測定の具体例を示す図である。
【図４０】 ＦＩＧ．２６ａ及びＦＩＧ．２６ｂは、復号候補の評価法の他の具体例を説明する図である。
【図４１】 ＦＩＧ．２６ｃは、復号候補の評価法の他の具体例を説明する図である。
【図４２】 ＦＩＧ．２６ｄ及びＦＩＧ２６ｅは、復号候補の評価法の他の具体例を説明する図である。
【図４３】 ＦＩＧ．２７ａは、復号候補の評価処理の他の具体例を示す図である。
【図４４】 ＦＩＧ．２７ｂは、重み付けに用いる重みを決定するための具体例を示す図である。

Claims (22)

1. 複数の信号要素からなる信号を原始コーディングして、強力なエラー回復を実現する原始コーディング方法において、
   各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化するステップと、
   上記符号化された複数の信号要素を複数の信号要素のセットに分割するステップと、
   上記符号化された各信号要素のセットについて、該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成するステップと、
   上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散するステップとを有する原始コーディング方法。
2. 上記符号化された信号要素を、上記符号化された信号要素のビットを複数のビットストリームに亘って分散するステップの前に、バッファ内に分散するステップを更に有する請求項１記載の原始コーディング方法。
3. 上記信号は、ビデオ信号であることを特徴とする請求項１記載の原始コーディング方法。
4. 上記複数のビットストリームの各ビットストリームのビットを再分散するステップと、
   上記各ビットストリームの符号化された複数の信号要素を再割当てするステップと、
   上記符号化された複数の信号要素から上記信号を再構築するステップとを更に有する請求項１記載の原始コーディング方法。
5. 上記複数のビットストリームの各ビットストリームのビットを、上記符号化された各信号要素を表すビットが上記分散するステップの前の位置に戻るように、再分散するステップと、
   上記複数のビットストリームの符号化された信号要素を、上記信号要素のセットに再割当てするステップとを更に有する請求項１記載の原始コーディング方法。
6. デジタル信号処理システムにおいて、
   複数の信号要素からなる信号を原始コーディングして、強力なエラー回復を実現するプロセッサを備え、
   上記プロセッサは、
   各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化するステップと、
   上記符号化された複数の信号要素を複数の信号要素のセットに分割するステップと、
   上記符号化された各信号要素のセットについて、該信号要素のセットの符号化された各信号要素を表す複数のビットからなるビットストリームを形成するステップと、
   上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散するステップとを実行することを特徴とするデジタル信号処理システム。
7. 上記プロセッサは、更に、上記符号化された信号要素を、上記符号化された信号要素のビットを複数のビットストリームに亘って分散する前に、バッファ内に分散することを特徴とする請求項６記載のデジタル信号処理システム。
8. 上記信号は、ビデオ信号であることを特徴とする請求項６記載のデジタル信号処理システム。
9. 上記プロセッサは、更に、
   上記複数のビットストリームの各ビットストリームのビットを再分散し、
   上記各ビットストリームの符号化された複数の信号要素を再割当てし、
   上記符号化された複数の信号要素から上記信号を再構築することを特徴とする請求項６記載のデジタル信号処理システム。
10. 上記プロセッサは、更に、
    上記複数のビットストリームの各ビットストリームのビットを、上記符号化された各信号要素を表すビットが上記分散するステップの前の位置に戻るように、再分散し、
    上記複数のビットストリームの符号化された信号要素を、元の信号要素のセットに再割当てすることを特徴とする請求項６記載のデジタル信号処理システム。
11. プロセッサにより実行可能な命令を格納したコンピュータにより読取可能な記録媒体であって、
    上記プロセッサに、
    各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化するステップと、
    上記符号化された複数の信号要素を複数の信号要素のセットに分割するステップと、
    上記符号化された各信号要素のセットについて、該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成するステップと、
    上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散するステップとを実行させて、上記複数の信号要素からなる信号に対する強力なエラー回復を実現する原始コーディングを実行させる命令が格納されていることを特徴とするコンピュータにより読取可能な記録媒体。
12. 上記プロセッサに、上記符号化された信号要素を、上記符号化された信号要素のビットを複数のビットストリームに亘って分散する前に、バッファ内に分散するステップを更に実行させる命令が格納されていることを特徴とする請求項１１記載のコンピュータにより読取可能な記録媒体。
13. 上記プロセッサに、
    上記複数のビットストリームの各ビットストリームのビットを再分散するステップと、
    上記各ビットストリームの信号要素のセットの符号化された信号要素を再割当てするステップと、
    上記複数の信号要素のセットから上記信号を集めるステップとを更に実行させる命令が格納されていることを特徴とする請求項１１記載のコンピュータにより読取可能な記録媒体。
14. 可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号する復号方法において、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散するステップと、
    上記各ビットストリームの符号化された複数の信号要素を再割当てするステップと、
    上記符号化された複数の信号要素から上記信号を再構築するステップとを有する復号方法。
15. 可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生する再生方法において、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散するステップと、
    上記複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てするステップとを有する再生方法。
16. 可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号する信号処理システムにおいて、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散する再分散手段と、
    上記各ビットストリームの符号化された複数の信号要素を再割当てする再割当手段と、
    上記符号化された複数の信号要素から上記信号を再構築する再構築手段とを備える信号処理システム。
17. 可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生する信号処理システムにおいて、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームから各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散する手段と、
    上記複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てする手段とを備える信号処理システム。
18. プロセッサにより実行可能な命令を格納したコンピュータにより読取可能な記録媒体であって、
    上記プロセッサに、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号させる際に、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散するステップと、
    上記各ビットストリームの符号化された複数の信号要素を再割当てするステップと、
    上記符号化された複数の信号要素から上記信号を再構築するステップとを実行させる命令が格納されていることを特徴とするコンピュータにより読取可能な記録媒体。
19. プロセッサにより実行可能な命令を格納したコンピュータにより読取可能な記録媒体であって、
    上記プロセッサに、可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生させる際に、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームから各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散するステップと、
    上記複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てするステップとを実行させる命令が格納されていることを特徴とするコンピュータにより読取可能な記録媒体。
20. 複数の信号要素からなる信号を原始コーディングして、強力なエラー回復を実現する原始コーディング装置において、
    各信号要素が可変長データを有する複数のビットによって表されるように、該各信号要素を符号化する符号化手段と、
    上記符号化された複数の信号要素を複数の信号要素のセットに分割する分割手段と、
    上記符号化された各信号要素のセットについて、該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成するビットストリーム形成手段と、
    上記各ビットストリームのビットを、上記各信号要素のセットの信号要素を記述するパラメータが複数のビットストリームに亘って分散するように、該複数のビットストリームに亘って分散する分散手段とを備える原始コーディング装置。
21. 可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を復号する復号装置において、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを再分散する再分散手段と、
    上記各ビットストリームの符号化された複数の信号要素を再割当てする再割当手段と、
    上記符号化された複数の信号要素から上記信号を再構築する再構築手段とを備える復号装置。
22. 可変長データを有する複数のビットとして符号化された複数の信号要素から生成され、原始コーディングされた信号を再生する再生装置において、
    上記信号は複数の信号要素のセットに分割されており、該各信号要素のセットは該信号要素のセットの各信号要素を表す複数のビットからなるビットストリームを形成しており、該各ビットストリームのビットは複数のビットストリームに亘って分散されており、
    上記原始コーディングされた信号の複数のビットストリームの各ビットストリームのビットを、上記各信号要素を表すビットが上記分散する前の位置に戻るように、再分散する再分散手段と、
    上記複数のビットストリームの符号化された信号要素を上記信号要素のセットに再割当てする再割当手段とを備える再生装置。

Images