JP3552249B2 - 画像および音声信号処理方法とその装置 - Google Patents
画像および音声信号処理方法とその装置 Download PDFInfo
- Publication number
- JP3552249B2 JP3552249B2 JP17052093A JP17052093A JP3552249B2 JP 3552249 B2 JP3552249 B2 JP 3552249B2 JP 17052093 A JP17052093 A JP 17052093A JP 17052093 A JP17052093 A JP 17052093A JP 3552249 B2 JP3552249 B2 JP 3552249B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- audio signal
- buffer
- data
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は画像および音声信号処理方法とその装置に関する。
本発明は特に、動画像信号とこの動画像信号に同期している音声信号とを圧縮・符号化してデータ伝送系またはデータ蓄積系にビットストリームとして提供し、さらにデータ伝送系またはデータ蓄積系からこのビットストリームを入力して伸長・復号するオーディオ・ビデオ（ＡＶ）信号処理などの画像および音声データを処理する方法と装置に関する。
さらに本発明は上記信号処理を行う際、遅延時間の制限を廃止し、復号系において画像と音声データとの同期などに使用するタイムスタンプを記録するタイムスタンプバッファの容量を大きくする方法とその装置に関する。
【０００２】
【従来の技術】
コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ）、レーザディスク（ＬＤ）、ビデオテープ、磁気光学式記録媒体（ＭＯ）、ＤＣＣなどのディジタルデータ蓄積媒体に映像信号（ビデオ信号）および音声信号（オーディオ信号）を圧縮し多重化（マルチプレクシング）してビットストリームとして直接記録し、再び、データ蓄積媒体から多重化されたビットストリームを読み出してデマルチプレクシングをして圧縮と逆の伸長処理をし、圧縮処理前の元のビデオ信号（原ビデオ信号）および元のオーディオ信号を再生する（復号する）ことが、ビデオテープ記録再生装置、マルチメディアシステム、その他の画像および音声データ処理装置において行われている。
またテレビジョン放送、衛星放送、マルチメディアシステムなどにおいても、ビデオ信号とオーディオ信号とを圧縮して符号化し、多重化したビットストリームとしてデータ伝送系またはデータ蓄積系に出力し、その後、多重化されたビットストリームを入力してデマルチプレクシングした後、圧縮の逆の伸長処理をして元のビデオ信号とオーディオ信号とを復号することが行われている。
【０００３】
ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどのデータ蓄積媒体にビデオ信号およびオーディオ信号を圧縮して符号化して記録し、データ蓄積媒体に記録された符号化されたビデオ信号およびオーディオ信号を伸長して元のビデオ信号およびオーディオ信号に復号する蓄積用動画符号化標準としての国際的な規格として、ＩＳＯとＪＥＣのデータ処理分野における共通事項を取り扱うＪＴＣＩの傘下にあるＳＣ２の中のワーキンググループ（ＷＧ）１１において、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｒｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ ）が定めた規格ＭＰＥＧ１、および、規格ＭＰＥＧ２が知られている。
【０００４】
ＭＰＥＧは、広範囲な適用を前提とした標準であり、位相同期（フェーズロック）をとる場合と位相同期をとらない（アンロックする）場合とを予定している。位相同期をとる場合は、ビデオ信号符号化クロック（つまり、フレームレート）とオーディオ信号符号化クロック（つまり、オーディオ信号サンプリングレート）とが共通のシステムクロック基準（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｓｅ）ＳＣＲに位相同期される。ＭＰＥＧはこの場合、０．７秒の周期でタイムスタンプを多重化ビットストリームに付加することを要求している。位相同期をとらない場合は、ビデオ信号とオーディオ信号とは独立に処理され、これらは符号化の際付加されたそれぞれのタイムスタンプに基づいて復号される。
またＭＰＥＧは、システムターゲットデコーダのバッファリング遅延時間として、１秒を規定している。
さらにＭＰＥＧは、復号の際、ビデオ信号およびオーディオ信号を検索するためのディレクトリを設けること規定している。
【０００５】
図１５はそのようなＭＰＥＧ１またはＭＰＥＧ２をビデオ信号およびオーディオ信号処理装置に適用した場合の構成例を示す図であり、いかにして符号処理系１００が非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力して、いかにして拘束パラメータシステムターゲットデコーダ４００についてのある情報を生成し、いかにして種々の復号処理系に適した拘束ビットストリームを形成するかについて示している。
このビデオ信号およびオーディオ信号処理装置は、圧縮処理前の元のビデオ信号（原ビデオ信号）を提供する非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信号を提供する非圧縮オーディオ信号源３、これら非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をして符号化しさらに多重化処理（マルチプレクシング）してビットストリーム形態の圧縮符号化信号Ｓ１００を出力する符号処理系１００、および、この符号処理系１００からのビットストリーム形態の圧縮符号化信号Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄積系５を有する。
データ伝送系またはデータ蓄積系５としては、データ蓄積を行う場合はたとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどであり、データ伝送を行う場合はたとえば、テレビジョン放送通信系、通信衛星系、データ通信系などである。
ビデオ信号およびオーディオ信号処理装置はまた、データ伝送系またはデータ蓄積系５から送出されるビットストリーム形態の圧縮符号化信号Ｓ５を入力し、符号処理系１００における多重化処理（マルチプレクシング）と逆の分解処理（デマルチプレクシング）し、符号処理系１００における圧縮と逆の伸長処理をして、符号処理系１００に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６００を有する。
ビデオ信号およびオーディオ信号処理装置はさらに、符号処理系１００および復号処理系６００の処理を規定するため、それぞれ、符号処理系１００へのガイドライン（基準信号）Ｓ４Ａおよび復号処理系６００へのガイドライン（基準信号）Ｓ４Ｂを送出する拘束パラメータ（Ｃｏｎｓｔｒａｉｎｔ Ｐａｒａｍｅｔｅｒ）・システムターゲットデコーダ（ＳＴＤ：Ｓｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ ）４００を有する。
【０００６】
拘束パラメータシステムターゲットデコーダ４００は、仮想的な（Ｈｙｐｏｔｈｉｃａｌ） システムターゲットデコーダ、システム基準（Ｒｅｆｅｒｅｎｃｅ）デコーダ、あるいは、基準復号処理系などとも呼ばれるが、ここでは、以下、拘束パラメータシステムターゲットデコーダ、あるいは、簡単に、システムターゲットデコーダなどと呼ぶ。
拘束パラメータシステムターゲットデコーダ４００は、ＣＣＩＴＴ Ｈ．２６１およびＭＰＥＧ１ビデオ標準などの国際標準規格において使用されており、ビデオ信号符号器およびビデオ信号復号器（デコーダ）の設計者のための指針を与えている。
ＭＰＥＧ１システム標準において、システムターゲットデコーダ（ＳＴＤ）も基準オーディオ信号デコーダを有している。これらの基準モデルにおいて、各ビデオ信号およびオーディオ信号デコーダもまた推奨されているバッファの大きさを有するバッファ、および、いかにしてビデオ信号およびオーディオ信号デコーダを動作させるかについて記述する標準を有している。
推奨されているバッファの大きさを有するモデルは「拘束パラメータ・システムターゲットデコーダ（ＳＴＤ）」と呼ばれている。実用的には、拘束パラメータ・システムターゲットデコーダ（ＳＴＤ）以上の性能を持たない非常に多くの実際の復号システムが存在しないことが期待されている。したがって、ビットストリームが形成されたとき、そして、多くの数の実際のデコーダに到達することが必要なとき、符号化システムが一般的に、拘束パラメータ・システムターゲットデコーダに適したビットストリームを作成する。これらの多重化ビットストリームは拘束システムパラメータ・ストリーム：Ｃｏｎｓｔｒａｉｎｔ Ｓｙｓｔｅｍ Ｐａｒａｍｅｔｅｒ Ｓｔｒｅａｍ：ＣＳＰＳ）と呼ばれている。
【０００７】
拘束パラメータシステムターゲットデコーダ４００は、デマルチプレクシング部４０１、ビデオ信号バッファ４０２、オーディオ信号バッファ４０３、ビデオ信号デコーダ４０４、および、オーディオ信号デコーダ４０５を有する。
この例においては、ビデオ信号バッファ４０２は４６Ｋバイトの記憶容量を有し、オーディオ信号バッファ４０３は４Ｋバイトの記憶容量を有する。
デマルチプレクシング部４０１はスイッチング回路を有し、ビデオ信号デコーダ４０４、および、オーディオ信号デコーダ４０５は高速演算処理に適した構成をとる高速ディジタル信号処理装置（ＤＳＰ）で一体構成されることが、装置構成の面、フレキシブルの観点から望ましい。
ＤＳＰは信号処理を高速処理可能なように特別な手法で回路構成されているが、その反面、大きな記憶容量を有する記憶装置を設けるには適していない。したがって、ＤＳＰに設けられるビデオ信号バッファ４０２、および、オーディオ信号バッファ４０３の記憶容量はある程度制限される。しかしながら、ビデオ信号バッファ４０２およびオーディオ信号バッファ４０３の記憶容量は、ＭＰＥＧの規定に従って上述した容量を持つ必要がある。
【０００８】
図１６（Ａ）は拘束パラメータシステムターゲットデコーダ４００に入力される拘束パラメータ（マルチプレクシング）・システムビットストリームＣＰＳＰのフォーマットを示す。このビットストリームは、時系列的に配置された複数のパック（ＰＡＣＫ）で構成され、それぞれのパックは、ヘッダ（ＨＥＡＤＥＲ）、ビデオ信号パッケット（ＰＡＣＫＥＴ）、および、オーディオ信号パッケットを含んでいる。それぞれのビデオ信号パッケットは、ビデオ信号のフレームごとのビデオ信号と、そのフレームの時刻を示すタイムスタンプ（ＴＩＭＥ ＳＴＡＭＰ）を含むパッケットヘッダ（ＰＡＣＫＥＴ ＨＥＡＤＥＲ）から構成されている。それぞれのオーディオ信号パッケットは、所定の単位（ユニット）ごとのオーディオ信号とそのユニットの時刻を示すタイムスタンプを含むパッケットヘッダとで構成されている。ビデオ信号についてのフレームｎ＋１のタイムスタンプをビデオタイムスタンプｖｔｓと呼び、オーディオ信号についてユニットｍ＋１のタイムスタンプをオーディオタイムスタンプａｔｓと呼ぶ。
つまり、符号処理系１００は、非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を符号化して、図１６（Ａ）に示したフォーマットのマルチプレクシング・ビットストリームにしてデータ伝送系またはデータ蓄積系５に送出し、拘束パラメータシステムターゲットデコーダ４００はこのビットストリームに基づく圧縮符号化信号を含む多重化ビットストリームＳ５を入力して復号する。
【０００９】
符号処理系１００に入力される非圧縮ビデオ信号Ｓ２と非圧縮オーディオ信号Ｓ３とは、データ数、速度が異なる他、圧縮率も異なる。したがって、同じ時刻に符号処理系１００に入力されたビデオ信号とオーディオ信号を圧縮処理しても同じ速度、同じ大きさの符号化ビデオ信号と符号化オーディオ信号が提供される訳ではない。また、たとえば、ビデオ信号についてみても、ビデオ信号の内容によって圧縮率は異なる。オーディオ信号についても同様である。したがって、符号処理系１００からは固定した状態（条件）の符号化ビデオ信号および符号化オーディオ信号が出力される訳ではない。
復号処理系６００において、これら元のビデオ信号およびオーディオ信号を復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂとして復号する際、タイミング的に同期をとる必要がある。
そこで、同期を実現するため、ＭＰＥＧは上述したタイムスタンプをビデオ信号とオーディオ信号のそれぞれにフレームごとに付加することを規定している。つまり、ビデオ信号タイムスタンプとオーディオ信号タイムスタンプとはビデオ信号とオーディオ信号との同期をとった復号を行うためのクロックを規定する時刻を示しており、オーディオ信号タイムスタンプはオーディオ信号の復号を行うためのクロックを生成する時刻を示している。
なお、タイムスタンプを使用する目的としては、上述した同期をとるための他、バッファリングの問題を解消するため、および、符号系におけるデータの複写のためである。
【００１０】
図１７は復号処理系６００の構成図である。
復号処理系６００は、デマルチプレクシング部６０１、ビデオ信号ビットストリーム構成変換処理部６０２、ビデオ信号受信バッファ６０３、ビデオ信号復号器（デコーダ）６０４、ピクチャーレート制御回路６０５、オーディオ信号ビットストリーム構成変換処理部６０６、オーディオ信号受信バッファ６０７、オーディオ信号復号器（デコーダ）６０８、および、サンプリングレート制御回路６０９を有する。
デマルチプレクシング部６０１は、上述したフォーマットの多重化ビットストリームＳ５を入力し、ビデオ信号、ビデオタイムスタンプｖｔｓ、オーディオ信号、オーディオタイムスタンプａｔｓに分解（分離）する。
ビデオ信号ビットストリーム構成変換処理部６０２は分離されたビデオ信号とビデオタイムスタンプｖｔｓを入力し、図１６（Ｂ）に示すフォーマットに変換する。ビデオ信号受信バッファ６０３は変換されたビデオ信号を順次記憶し、記憶した順序に従ってビデオ信号復号器６０４に出力する。
同様に、オーディオ信号ビットストリーム構成変換処理部６０６は分解されたオーディオ信号とオーディオタイムスタンプａｔｓを入力して図１６（Ｂ）に示すフォーマットに変換する。オーディオ信号受信バッファ６０７は変換されたオーディオ信号を順次記憶し、記憶した順序に従ってオーディオ信号復号器６０８に出力する。
ビデオ信号復号器６０４は、ピクチャーレート制御回路６０５から出力されるタイミング信号に基づいてビデオ信号受信バッファ６０３から出力されたビデオ信号を復号する。
オーディオ信号復号器６０８は、サンプリングレート制御回路６０９から出力されるタイミング信号に基づいてオーディオ信号受信バッファ６０７から出力されたオーディオ信号を復号する。
【００１１】
上述したビデオ信号受信バッファ６０３およびオーディオ信号受信バッファ６０７について述べる。
復号に際して完全に一致したクロックを用いてビデオ信号とオーディオ信号とを復号することはできない。第１の理由は、上述したように圧縮率が異なるからである。第２の理由は、たとえば、オーディオ信号復号器６０８におけるオーディオ信号の復号について述べると、固定のビデオレートで復号するオーディオ信号復号器６０８に入力されるオーディオ信号の入力データレートと、データ伝送系またはデータ蓄積系５から出力されたオーディオ信号の転送ビデオレートとはサンプリングレートクロックの誤差に依存して変化する。さらに、オーディオ信号復号器６０８には一般に、一度に１つのオーディオ信号、アクセスユニットが入力されるので、データ伝送系またはデータ蓄積系５からの多重化ビットストリームＳ５の転送レートと、オーディオ信号復号器６０８に入力されるオーディオ信号とのデータレートとは一致しないからである。そこで、オーディオ信号復号器６０８の前段にオーディオ信号受信バッファ６０７が設けられ、上述したデータレートの不一致を調整するように構成されている。
図１８に上述した関係を図解する。
【００１２】
図１９に図解したように、ビデオ信号は符号処理系１００においてフレームごとに（あるいは、フィールドごとに）圧縮され、可変長符号化処理されるために、ビデオ信号復号器６０４に対する入力データレートは符号処理系１００におけるビデオ信号の圧縮に依存して大きく変化する。
したがって、ビデオ信号受信バッファ６０３の記憶容量はオーディオ信号受信バッファ６０７の記憶容量より大きくなる。たとえば、ビデオ信号受信バッファ６０３の記憶容量は４６Ｋバイトに対して、オーディオ信号受信バッファ６０７の記憶容量は４Ｋバイトである。
図２０にビデオ信号受信バッファ６０３またはオーディオ信号受信バッファ６０７の受信バッファとしては（以下、ビデオ信号受信バッファ６０３を例示する）のバッファリングタイミングを示す。
図２０（Ａ）に示したように、このバッファリングとしては、ビデオ信号受信バッファ６０３に入力されたデータの量から、破線で示したビデオ信号受信バッファ６０３の記憶容量を減じたデータ量がビデオ信号受信バッファ６０３から読み出されるデータの量を越えない状態、つまり、アンダーフローを生じさせず、かつ、ビデオ信号受信バッファ６０３から読み出されたデータの量がビデオ信号受信バッファ６０３に入力されるデータの量を越えない状態、つまり、オーバーフローを生じさせない状態が理想的である。
しかしながら、図２０（Ｂ）に図解したように、このバッファリングにはオーバーフローまたはアンダーフローが生ずることがある。
【００１３】
このバッファリングにおけるオーバーフローまたはアンダーフローを防止する方法としては、図２１（Ａ）〜（Ｃ）に図解した方法が行われる。
第１の方法は、図２１（Ａ）に図解したように、「蓄積メディアスレーブ方法」と呼ばれるものであり、ビデオ信号受信バッファ６０３に入力されたデータ量Ｌ１からビデオ信号受信バッファ６０３の記憶容量がビデオ信号受信バッファ６０３から読み出されたデータの量Ｌ３を越えず、かつ、ビデオ信号受信バッファ６０３から読み出されたデータの量Ｌ３がビデオ信号受信バッファ６０３に入力されたデータの量Ｌ１を越えないように曲線Ｌ１’で示したようにビデオ信号受信バッファ６０３に入力されるデータの量を制御する。曲線Ｌ２はビデオ信号受信バッファ６０３に入力されたデータＬ１からビデオ信号受信バッファ６０３の記憶容量を減じた量の変化を示し、曲線Ｌ２’は制御された実際にビデオ信号受信バッファ６０３に入力されたデータの量の変化を示す。
第２の方法は、図２１（Ｂ）に図解したように、「デコーダスレーブ方法」と呼ばれるものであり、ビデオ信号受信バッファ６０３に入力されたデータ量Ｌ１が、ビデオ信号受信バッファ６０３の記憶容量を減じたデータ量Ｌ２が、ビデオ信号受信バッファ６０３から読み出されるデータの量Ｌ３を越えず、かつ、ビデオ信号受信バッファ６０３から読み出されたデータの量Ｌ３がビデオ信号受信バッファ６０３に入力されるデータの量Ｌ１を越えないようにビデオ信号復号器６０４のフレームレートを変更してビデオ信号受信バッファ６０３からデータを読み出す。実際にビデオ信号受信バッファ６０３から読み出されたデータの量の変化を曲線Ｌ３’として示す。
以上、ビデオ信号について述べたが、オーディオ信号の場合も、オーディオ信号復号器６０８のサンプリングレートを変化させてオーディオ信号受信バッファ６０７から読み出すデータの量を調整する。
第３の方法は、図２１（Ｃ）に図解したように、ビデオ信号受信バッファ６０３から読み出すデータの量を調整するものであり、たとえば、アクセスユニットをスキップしたり、再表示してビデオ信号受信バッファ６０３から読み出されるデータの量を調整する。曲線Ｌ３’が調整されてビデオ信号受信バッファ６０３から読み出されたデータの量の変化を示す。
【００１４】
しかしながら、上述したデコーダのフレームレートまたはサンプリングレート、あるいは、データ伝送系またはデータ蓄積系５からの転送レートを変更することは、ビデオ信号およびオーディオ信号処理装置の外部の関連する装置に影響を与えるから、自由には変更することができず、ある範囲に制限される。その結果、バッファリングにおいてオーバーフローまたはアンダーフローが頻繁に発生するような場合には、それを完全に防止することができない。
バッファリングにおけるオーバーフローまたはアンダーフローに起因する復号処理の誤動作は、特に、復号開始時点に生ずる。よって、デコーダにおいて、「スタートアップディレー」という、再生初期時に復号処理を遅延する処理を行う。
図２２にスタートアップディレーに基づくバッファリングの諸態様を示す。図２２（Ａ）は、スタートアップディレーに無関係に理想的にバッファリングが行われた場合、図２２（Ｂ）は、適切にスタートアップディレーが行われた場合のバッファリング、図２２（Ｃ）はスタートアップディレーが長くビデオ信号受信バッファ６０３がオーバーフローする場合、図２２（Ｄ）はスタートアップディレーが短くアンダーフローが生じる場合を示す。
【００１５】
ＭＰＥＧにおいては、上述したようにそれぞれのパックのヘッダに位相同期をとるためのシステムクロック基準ＳＣＲを記述することができ、システムクロック基準ＳＣＲは転送ビットレートを定義するために使用できる。さらにＭＰＥＧにおいては、ビデオ信号パッケットだはオーディオ信号パッケットのヘッダに記述されるタイムスタンプは、フレームレートまたはサンプリングレートを制御するために使用できる。
つまり図２３に図解したように、システムクロック基準ＳＣＲはデータ伝送系またはデータ蓄積系５から復号処理系６００に入力された多重化ビットストリームＳ５の時刻を示し、ビデオ信号パッケットまたはオーディオ信号パッケットのタイムスタンプはビデオ信号またはオーディオ信号がビデオ信号受信バッファ６０３またはオーディオ信号受信バッファ６０７から出力された時刻を示す。これらの時刻は、たとえば、水晶発振器を用いて９０ＫＨＺ の基準クロックを用いて絶対時刻で記録することができる。
このように、システムクロック基準ＳＣＲとタイムスタンプとの差をスタートアップディレーに使用できる。
図２３において、記号ＤＴＳは復号時刻を意味するデコーダタイムスタンプを示し、記号ＰＴＳはビデオ信号、つまり、ピクチャーの復号時刻を意味するピクチャータイムスタンプを示し、記号Ｈはヘッダを示す。
【００１６】
上述したように、ＭＰＥＧにおけるオーディオ信号の復号とビデオ信号の復号に際しては、これら両者の復号結果を同期させる必要があり、この同期にタイムスタンプを用いる。
ビデオ信号およびオーディオ信号の復号処理時刻を０秒と仮定する。図２４に示したように、ＩピクチャーおよびＰピクチャーとしてのフレーム以外、つまり、Ｂピクチャーとしてのフレームにおいては、タイムスタンプによって示されるアクセスユニットの復号時刻は、Ｂピクチャーが表示される表示時刻と同じになる。つまり、デマルチプレクシング部６０１を介してビデオ信号受信バッファ６０３に順次入力されているビデオ信号のうち、第ｍ番目のビデオ信号パッケットの第ｉ番目のフレームのＩピクチャーのビデオ信号：Ｆｒａｍｅ ｉ（Ｉ）が時刻ＤＴＳｍ にビデオ信号受信バッファ６０３から読み出されて復号された後、ビデオ信号復号器６０４の後段に設けられたＩピクチャーおよびＰピクチャーのビデオ信号（フレーム）を一時的に記憶するＩ／Ｐバッファに記憶する。
Ｉピクチャーのビデオ信号とＰピクチャーのビデオ信号とでは復号時刻と表示時刻とが異なる。そこで、そのビデオ信号に対応するビデオ信号パッケットのヘッダには、それぞれ復号時刻および表示時刻を示すタイムスタンプとしてのＤＴＳとＰＴＳとが記録されるが、ＩピクチャーとＰピクチャーのビデオ信号の表示時刻ＰＴＳとは次のＩピクチャーとＰピクチャーのＤＴＳとは同じであるから、表示時刻ＰＴＳは省略できる。
【００１７】
しかしながら、上述したＭＰＥＧに基づくビデオ信号およびオーディオ信号処理装置においては、ビデオ信号ビットストリーム構成変換処理部６０２およびオーディオ信号ビットストリーム構成変換処理部６０６の回路構成が複雑になるという問題に遭遇している。
さらに上述したビデオ信号およびオーディオ信号処理装置は、復号処理系６００に入力されるデータがマルチプレクシングされたビットストリームであることを前提としており、たとえば、ビデオ信号またはオーディオ信号のいずれかがマルチプレクシングされずに入力された場合には、復号することができず、復号処理系として種々の復号処理を行うことを考慮すると、その汎用性に問題があった。
【００１８】
そこで本願出願人は、上述した問題を解決するビデオ信号およびオーディオ信号復号装置を提案した（たとえば、平成５年２月２６日出願の特願平５−６３２９３号、「データ復号化装置」を参照）。
図２５にこの復号装置の構成を示す。このときのビットストリームを図１６または図２６に示す。
図２６に示したビットストリームは、複数のビデオ信号パッケットと、オーディオ信号パッケットとが連続し、それぞれの複数のビデオ信号パッケットは、第１のビデオ信号パッケットヘッダ、第１のピクチャーグループＧＯＰ０〜第４のビデオ信号パッケットヘッダ、第４のピクチャーグループＧＯＰ３が配列されている。各々のビデオ信号パッケットヘッダにはこのビデオ信号のタイムスタンプが格納されている。それぞれのピクチャーグループには２０個のフレームのビデオ信号が格納されている。オーディオ信号パッケットにはオーディオ信号タイムスタンプ、および、オーディオ信号アクセスユニットＡＡＵが格納されている。
【００１９】
この復号装置は、デマルチプレクシング５０１、ＤＳＰ５０２、９０ＫＨＺ のクロックを発生するクロック発生器５０３、全体時刻レジスタ５０４、ビデオ信号受信バッファ５０５ａ、オーディオ信号受信バッファ５０５ｂ、ビデオ信号復号器５０６ａ、オーディオ信号復号器５０６ｂ、ビデオ信号タイムスタンプバッファ５０７ａ、オーディオ信号タイムスタンプバッファ５０７ｂ、ビデオ信号クロック用位相同期回路（ＰＬＬ）５０８ａ、オーディオ信号クロック用ＰＬＬ５０８ｂを有する。
デマルチプレクシング５０１においてビットストリームから分解されたビデオ信号タイムスタンプがビデオ信号タイムスタンプバッファ５０７ａ、オーディオ信号タイムスタンプがオーディオ信号タイムスタンプバッファ５０７ｂに格納される。またビットストリームから分解されたビデオ信号がビデオ信号受信バッファ５０５ａに格納され、分解されたオーディオ信号がオーディオ信号受信バッファ５０５ｂに格納される。これらバッファ５０５ａ、５０５ｂに格納されたデータがそれぞれ、ＰＬＬ５０８ａ、５０８ｂからのクロックによって復号器５０６ａ、５０６ｂにおいて同期状態で復号される。
このように、簡単な回路構成にすることができる。
【００２０】
図２７に多重化ビットストリームのフォーマットとその処理を図解する。ただし、このビットストリームはビデオ信号についてのみ示し、オーディオ信号については省略している。
図２８にこのビットストリームに基づくＭＰＥＧによるビデオ信号およびオーディオ信号処理装置の構成を示す。拘束パラメータシステムターゲットデコーダ４１０はデマルチプレクシング部４１１、ビデオ信号バッファ４１２、オーディオ信号バッファ４１３、ディレクトリデータバッファ４１４、ビデオ信号デコーダ４１５、オーディオ信号デコーダ４１６、ディレクトリデコーダ４１７を有する。復号処理系６１０は拘束パラメータシステムターゲットデコーダ４１０と同様に構成されている。
符号処理系１１０は、図２７（Ａ）に図解したビットストリームを生成する。このビットストリームは、第１のディレクトリパッケットとこのディレクトリパッケットに対応する第１のビデオ信号パッケットとが一対になっている。ディレクトリパッケット内は最初の位置にディレクトリパッケットヘッダ、続いて、第１〜第２０のポインタＰ０〜Ｐ１９が格納されている。ビデオ信号パッケットの最初の位置にビデオ信号パッケットヘッダ、続けて第１〜第２０のピクチャーグループＧＯＰ０〜ＧＯＰ１９が格納されている。第１のポインタＰ０が第１のピクチャーグループＧＯＰ０の記録位置などを指定している。他のポインタも対応するピクチャーグループの位置を指定している。
【００２１】
具体例として、ビデオテープ記録再生装置における再生動作を例示する。この場合、符号処理系１１０はビデオテープ記録再生装置の記録系であり、データ伝送系またはデータ蓄積系５はビデオテープであり、復号処理系６１０は再生系である。
図２７（Ｂ）に示すように、ユーザーがファーストフォワード（Ｆｉｒｓｔ Ｆｏｒｗａｒｄ ：ＦＦ）動作またはファーストリバース（Ｆｉｒｓｔ Ｒｅｖｅｒｓｅ ：ＦＲ））動作を要求する前は、復号処理系６１０はビデオテープ５から、順次、ディレクトリパッケットヘッダの記録内容、ポインタの指定内容に基づいて、ピクチャーグループが連続的に読みだし、ディレクトリバッファにポインタ、ビデオ信号バッファにビデオ信号を格納し、ビデオ信号復号器においてビデオ信号を復号する。
図２７（Ｃ）に示すように、ユーザーがファーストフォワード動作を要求すると、ディレクトリバッファに格納されたディレクトリデータが空になるまでスキップ動作が行われ、ピクチャーグループを飛ばしていく。そして、図２７（Ｄ）に示したように、ディレクトリバッファに新たなディレクトリが格納された位置のポインタまで戻る。図２７（Ｅ）に示したように、ファーストフォワード動作においては上述した動作、つまり、フィードバック動作が行われる。
【００２２】
また、ＭＰＥＧにおいては、上述したようにバッファリングの遅延時間を規定しており、位相同期をとらない場合のこのバッファリング遅延時間は１秒以内と制限している。
【００２３】
【発明が解決しようとする課題】
しかしながら、図２６および図１６を参照して述べたフレームごとにタイムスタンプを用いる方法は、非常に多くのタイムスタンプを用い、１秒程度遅延させるために、タイムスタンプを格納するバッファがオーバーフローまたはアンダーフローするという問題がある。特に、ＤＳＰを用いた場合、搭載されるメモリ容量が限定されるから、オーバーフローまたはアンダーフローが発生する可能性が高い。図２６に示したビットストリームを用いる場合もタイムスタンプが多く、同じ問題が発生する。
また数多くのタイムスタンプを格納するタイムスタンプバッファ５０７ａ、５０７ｂを設ける必要があるが、全ての復号装置においては大きな記憶容量のメモリを設けることが困難である。特に、ＤＳＰを用いて復号装置を構成する場合はこの問題が顕著である。
さらに、多くのタイムスタンプを用いることはスタートアップディレーを長くするという問題がある。
したがって、できるだけ少ない数のタイムスタンプを用いてビデオ信号とオーディオ信号との同期をとることが要求されている。
【００２４】
上述したＭＰＥＧに基づく規定は広範囲の適用が可能なように規定していることの裏返しとして、非常に基準が甘過ぎる点がある。
図２８に示した符号処理系１１０における多重化ビットストリームソース５へのビットストリームのフォーマット（多重化シンタックス）の容量などが明確に規定されていない。一方、多重化ビットストリームソース５からビットストリームを入力して復号する復号処理系６１０も種々のものがあり、種々の形態で使用される。
その結果として、多重化ビットストリームソース５から出力されたビットストリームが適用できる復号処理系もあれば、そのビットストリームでは実質的に復号が困難な復号処理系も存在する。
【００２５】
また、図２７を参照して述べたように、ファーストフォワード動作において、ディレクトリバッファが空になり、新たに格納されたポインタまでフィードバックする場合には、ビデオテープを巻き戻すことになり、復号処理動作が非常に遅くなるという問題がある。
【００２６】
また上述したＭＰＥＧにおいては、バッファリング遅延時間を１秒として規定しているが、この固定した１秒という遅延時間についても問題がある。たとえば、非常に性能のよい復号を行う場合は１秒の遅延時間では不十分であり、たとえば、０．２秒程度の迅速な応答が必要な場合もある。その反面、高解像度の画像を必要とする場合は応答性よりも解像度が重要であり、バッファリング遅延時間を１秒以内でてければならないという応答性を要求せず、たとえば、５秒程度の遅延時間でよい場合がある。このような場合にバッファリング遅延時間として全ての用途に対して固定の１秒という制限を課すと、高解像度の画像処理にはＭＰＥＧを適用できないという問題がある。
【００２７】
このようにＭＰＥＧの規格は種々の広範囲な適用に適合させることを意図した規格である反面、実際の適用においては、種々の観点から問題を含んでいる。
【００２８】
上述したように、たとえば、非常に緩慢な動画像を表示するような場合、あるいは、５秒間のスチル画像を表示するようにな場合に、１秒以上の遅延時間が好ましく、ＭＰＥＧの規格で定めた１秒の遅延時間を廃止することが望ましい。
この１秒の遅延時間の制約を設けない他の用途がある。たとえば、符号化系が１秒当たり最大４．５メガビットのビットレートのデータ送信またはディジタル記録媒体へのデータ伝送をサポートできる場合、画像の品質はスタートアップディレーおよび圧縮レートよりも高くなり、復号系におけるバッファリングを実現する装置の価格が高くなる。この場合、ビデオビットストリームは２部分になる。第１の部分は比較的容易な圧縮を行う５秒のビデオシーケンスであり、第２の部分は圧縮が難しい５秒のビデオシーケンスである。
この用途は可変ビットレートの用途ではあるが、符号化系が１０秒間について連続的に最大通信ビットレート、すなわち、１秒当たり４．５メガビットを用いることを決定するから、これら２つのシーケンスについては１０秒ｘ４．５メガビット／秒＝４５メガビット／秒が可能である。符号化系は、第１部分シーケンスについて１５０ピクチャーデータのために１５メガビット、第２部分シーケンスについて１５０ピクチャーデータのために３０メガビットを許可することを決定する。したがって、第１部分のシーケンスについてのビデオ・ビットレートは１５メガビット／５秒＝３メガビット／秒であり、第２部分のシーケンスについてのビデオ・ビットレートは、３０メガビット／５秒＝６メガビット／秒である。
【００２９】
これらの値はＩＳＯの規定に基づく実際のビデオシーケンスに基づいている。第１部分は、バレーダンスのような動きの速い画像データを記録するビデ信号オであり、第２の部分は人間が自転車に乗っているような比較的動きが遅い画像データ記録するビデオ信号である。
他のＩＳＯ規格のビデオシーケンスもまた、数秒の大きなビットレートビデオに続けて、数秒の低いビットレートビデオを持っている。
図２９は、上記第１部分を復号化する場合初期値が３メガビット／秒であり、第２部分を復号化する場合初期値が６メガビット／秒である、×印で示したビデオデコーダバッファ入力レート、および、○で示したビデオデコーダバッファ出力レートを図解するグラフである。
時間ｔ＝０において、バッファへの入力データは４．５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。
時間ｔ＝３．３３秒経過時点において、バッファへの入力データは３．３３秒ｘ４．５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトデータがバッファに入り、第２部分のデータから４．５メガビット／秒でバッファに入る。
時間ｔ＝５秒経過時点において、バッファからの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファから出ていく。ビデオデコーダ（復号系）が動作開始し、６メガビット／秒のデータレートで第２部分の復号を行う。復号系への入力データレートが４．５メガビット／秒のままであるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、バッファには第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝３．３３秒経過以来、４．５メガビット／秒のデータレートでバッファに記録されているから、バッファ内のビットの数は（５−３．３３）秒ｘ４．５メガビット／秒＝７．５メガビットである。これら７．５メガビットのバッファに満杯になっているデータは１．５メガビット／秒のレートで減少していき、（７．５メガビット／１．５メガビット／秒）＝５秒で終わる。
時間ｔ＝１０秒が経過して時点で、バッファが空になり、もし存在するなら後続するビデオが４．５メガビット／秒またはそれ以下で符号化される。
この場合、第１部分の最後のビデオ信号のバイトについての遅延、および、この最後のバイトに続く第２の部分の最初のバイト遅延が約（５−３．３３）秒＝１．６７秒であり、ＭＰＥＧの規定におけるバッファリング遅延時間である１秒を越えているという問題に遭遇する。
【００３０】
ビットストリーム受容性（ｃｏｍｐｌｉａｎｃｅ）を形成するため、伝送レートは図３０を参照して下記に述べるように、低減すべきである。
時間ｔ＝０において、バッファへの入力データは３．７５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。
時間ｔ＝４秒経過時点において、バッファへの入力データは４秒ｘ３．７５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファに入り、次いで、第２部分のデータから４．５メガビット／秒でバッファに入る。
時間ｔ＝５秒経過時点において、バッファからの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファから出ていく。ビデオデコーダが動作開始し６メガビット／秒のデータレートで第２部分の復号を行う。入力データレートが４．５メガビット／秒であるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、バッファには第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝４秒経過以来４．５メガビット／秒のビットレートでバッファに記録されているから、バッファ内のビットの数は４．５メガビットである。これら４．５メガビットのバッファに満杯になっているデータは１．５メガビット／秒のレートで減少していき、３秒で終わる。
時間ｔ＝８秒が経過した時点で、バッファが空になる。もしビデオデコーダが６メガビット／秒でデータを読み続けるならば、ここでアンダーフローが起こる。このアンダーフローを防止するため、ビデオデコータは第２部分の残っている２秒分のデータについてビットレートを６メガビット／秒から４．５メガビット／秒に低下させなければならない。
【００３１】
このビットストリームは、前に述べた３０メガビットではなく第２部分が６秒ｘ４．５メガビット／秒＝２７メガビットであるから、圧縮率が高く、スタートアップディレーが短く、小さな容量のビデオデコーダバッファでプレーバックできるという利点を有するものの、１秒のバッファリング遅延により希望するビデオ信号の表示品質を提供できないという問題に遭遇する。
したがって、この観点からも、通常のビデオ信号について高い表示画像品質を実現するためには、ＭＰＥＧで規定する１秒のバッファリング遅延時間に限定することは好ましくない。
【００３２】
たとえば、あるビデオバイトのバッファリング遅延時間が１秒であり、レートが３０ＨＺ のビデオ信号の場合１秒当たり３０枚分のピクチャーを復号系内のバッファから取り出すから、最悪の場合として３０枚分のピクチャーデータがバッファに存在する。かりにあるビデオ信号バイトのバッファリング遅延が上述したように最悪の場合として１．６７秒であるなら、このバイトの前に、１．６７秒ｘ３０＝５０枚分のピクチャーデータがあることになる。
【００３３】
従来は３０ＨＺ のレートについては固定の値としてピクチャーデータ３０枚分のタイムスタンプを記録するバッファ容量であったが、上述した例では、ビデオ信号のレートが３０ＨＺ の場合、たとえば、５０分のタイムスタンプをバッファに記録することが望ましい。
ただし、ピクチャーデータの圧縮率は可変であるから、復号系に入力されるピクチャーデータとタイムスタンプとは必ずしも一致しない。そこで、かりに１秒のバッファリング遅延時間として３０ＨＺ の場合に通常、１秒間に３０枚分のピクチャーデータが復号系に到来するとして、３０個分のタイムスタンプを記録するバッファの容量とすると、ピクチャーデータに対応できなくなる場合がある。したがって、タイムスタンプを記録するバッファの容量としては、ピクチャーデータの圧縮率をも考慮することが望ましい。
【００３４】
ここで、さらに次の問題に遭遇する。符号化系からデータ蓄積系またはデータ伝送系に送出するデータ、またはデータ蓄積系またはデータ伝送系において誤りが生ずる。
非常に多くの誤りが生じた場合、全てのピクチャーデータについてタイムスタンプを持っていることが復号系において正確に復号する点で好ましい。
しかしながら、ビデオビットストリームの遅延が１．６７秒より長く、全てのピクチャーが１つのタイムスタンプを持っている場合、３０分のタイムスタンプバッファはオーバーフローしてしまう。
【００３５】
したがって、本発明はビデオ信号およびオーディオ信号をビットストリームとしてデータ伝送系またはデータ蓄積系に提供し、さらにビデオ信号とオーディオ信号を同期させつつ復号する観点において、上述して問題を解決して、一定の標準化を図りつつ、大規模な回路構成にならず広範囲な適用を可能にする、画像および音声信号処理方法とその装置を提供することを目的とする。
【００３６】
【課題を解決するための手段】
いずれにしても、種々の適用を考慮すると、タイムスタンプのバッファリング遅延時間を１秒に固定して限定することは好ましくないから、本発明においては、バッファリング遅延時間を１秒に固定せず、その目的に沿った許容遅延時間とする。
したがって、本発明においては、高品質の画像データはもとより、通常のビデオ信号についても１秒の遅延時間を排除する。
【００３７】
次いで、最後に述べた問題点について述べると、たとえば、３０ＨＺ のビデオ信号の場合、システムターゲットデコーダのタイムスタンプバッファの容量を、できるだけ多く、少なくともピクチャーデータ５０枚分以上にすることが望ましい。２５ＨＺ のビデオ信号の場合には、たとえば、少なくともピクチャーデータを４１枚分以上とする。
つまり、このタイムスタンプバッファの容量としては、少なくともビデオ信号のレート、実質的な遅延時間に依存して決定することが望ましい。好適には、さらに圧縮率をも考慮して充分余裕を持った値とすることが望ましい。
しかしながら、圧縮率はピクチャーデータの内容によって異なるから事前に明確に規定することができない。そのためには、標準的な圧縮率を想定しておき、この標準的な圧縮率と、ビデオ信号の伝送レートと、許容遅延時間とを考慮して、復号系におけるタイムスタンプを記録するバッファの最大容量を決定する。
【００３８】
また本発明においては、ディレクトリの数を少ない数に分割し、ファーストフォワード動作におけるフィードバックが生じても、またはファーストリバース動作によって、最初の位置まで戻る必要がないようにする。
さらに本発明においては、上述したタイムスタンプのバッファリング数を増加させるという観点とは異なる観点から、復号に使用するタイムスタンプの数を減少させ、バッファの記憶容量を低減し、さらにオーバーフローまたはアンダーフローを生じさせない。
また本発明においては、復号におけるバッファ処理の遅延時間に制限をつけない一方で、性能のよい復号に適合するように遅延時間を短縮する。
また本発明は極力スタートアップディレーを生じさせない。
【００３９】
したがって、本発明の第１の形態によれば、画像信号および音声信号をそれぞれ同時的に圧縮処理をし、これら圧縮された画像信号および音声信号にタイムスタンプを付加し、順次マルチプレクシングしたビットストリームとして送出する符号処理系と、該符号処理系から送出されたビットストリームを伝送または蓄積するデータ伝送系またはデータ蓄積系と、該データ伝送系またはデータ蓄積系からのビットストリームを入力し、デマルチプレクシングして前記圧縮画像信号、前記圧縮音声信号、前記タイムスタンプをバッファリングし、該タイムスタンプを参照して前記圧縮画像信号および前記圧縮音声信号を同期させて復号する復号処理系とを有し、前記復号処理系における前記タイムスタンプをバッファリングする遅延時間を少なくとも前記画像データが正常にバッファリングされる許容遅延時間に設定し、前記タイムスタンプを分離してバッファリングするバッファメモリの容量を該許容遅延時間と少なくとも前記画像データが入力されるビットストリームの速度で規定される大きさ以上の容量とする画像および音声信号処理装置が提供される。
また本発明によれば、画像信号および音声信号がそれぞれ同時的に圧縮処理され、これら圧縮された画像信号および音声信号にタイムスタンプが付加され、順次マルチプレクシングしたビットストリームとして入力される信号を、デマルチプレクシングして前記圧縮画像信号、前記圧縮音声信号、前記タイムスタンプを分離してバッファリングし、該タイムスタンプを参照して前記圧縮画像信号および前記圧縮音声信号を同期させて復号する復号処理方法であって、前記タイムスタンプをバッファリングする遅延時間を、少なくとも前記画像データが正常にバッファリングされる許容遅延時間に設定し、前記タイムスタンプをバッファリングするバッファメモリの容量を該許容遅延時間と少なくとも前記画像データが入力されるビットストリームの速度で規定される大きさ以上の容量とする復号処理方法が提供される。
【００４３】
【作用】
本発明の第１の形態においては、バッファリング遅延時間を１秒に固定せず、ピクチャーデータおよびオーディオデータ、特に、ピクチャーデータのビットストリームレートに則して規定される許容バッファリング遅延時間で必要な数のタイムスタンプをバッファリングする。
特に、非常に多くのピクチャーデータが失われたような場合にも、多くのタイムスタンプを用いて、その救済を図ることができる。
【００４７】
【実施例】
本発明の画像および音声信号処理方法とその装置の第１実施例について述べる。第１実施例は、通常のビットストリームレートのビデオ信号についても、ＭＰＥＧで規定する１秒のバッファリング遅延時間の制限を排除し、さらにタイムスタンプをバッファリングする容量をビデオ信号がバッファリングされる数よりも大きくして、かりに大きな（長時間の）ビデオ信号の喪失が発生しても、余分のタイムスタンプを用いて，同期回復を可能とする場合について述べる。
【００４８】
図１は第１実施例としてのビデオ信号およびオーディオ信号処理装置の構成を示す図である。
このビデオ信号およびオーディオ信号処理装置は、圧縮処理前の原ビデオ信号、つまり、非圧縮ビデオ信号を提供する非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信号を提供する非圧縮オーディオ信号源３、これら非圧縮ビデオ信号源２および非圧縮オーディオ信号源３から送出された非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をして、ビデオ信号とオーディオ信号とを多重化して符号化した拘束パラメータビットストリーム形態の圧縮符号化信号Ｓ１を出力する符号処理系１０、および、符号処理系１０からの拘束パラメータ・ビットストリーム形態の圧縮符号化信号Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄積系５を有する。
データ伝送系またはデータ蓄積系５としては、データ伝送系として、たとえば、衛星通信系、データ通信系などが対象となり、データ蓄積系として、たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどが対象となる。以下、本実施例においては、データ伝送系またはデータ蓄積系５として、ビデオテープを用いる場合について述べる。
またこのデータ伝送系またはデータ蓄積系５は、後述する復号処理系６０に対して、多重化ビットストリームを提供するソースでもあるので、多重化ビットストリームソース５とも呼ぶ。
符号処理系１０は、この例では、ビットストリーム内のビデオ信号およびオーディオ信号ごとに、換言すれば、パケットごとに、タイムスタンプを付与する。したがって、データ伝送系またはデータ蓄積系５からも、パケットごとに、タイムスタンプを付与したビットストリームが送出される。
【００４９】
このビデオ信号およびオーディオ信号処理装置はまた、多重化ビットストリームソース５、つまり、本実施例では、ビデオテープから送出されるパケットごとに、タイムスタンプが付与された圧縮符号化信号Ｓ５を入力し、符号処理系１０における圧縮と逆のデマルチプレクシングおよび伸長処理をして、符号処理系１０に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６０を有する。
このビデオ信号およびオーディオ信号処理装置はさらに、符号処理系１０および復号処理系６０の処理を制御するため、それぞれ、符号処理系１０への基準信号および復号処理系６への基準信号を送出する拘束パラメータシステムターゲットデコーダ４０を有する。
拘束パラメータシステムターゲットデコーダ４０は、デマルチプレクシング部４１、ビデオ信号バッファ４２、オーディオ信号バッファ４３、ビデオ信号デコーダ４５、ビデオ信号用タイムスタンプバッファ５２、オーディオ信号用タイムスタンプバッファ５３、ビデオ信号用位相同期（Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ ：ＰＬＬ）回路５５、オーディオ信号用位相同期回路５６を有する。
【００５０】
図２に復号処理系６０の構成を示す。
復号処理系６０は拘束パラメータシステムターゲットデコーダ４０に対応して構成されるから、復号処理系６０は、デマルチプレクシング部６１、ビデオ信号バッファ６２、オーディオ信号バッファ６３、ビデオ信号タイムスタンプバッファ７２、オーディオ信号タイムスタンプバッファ７３、ビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびビデオ信号ＰＬＬ回路７５、および、オーディオ信号ＰＬＬ回路７６から構成されている。
スイッチング回路で構成されたデマルチプレクシング部６１は、入力したビットストリームを分離して、ビデオ信号はビデオ信号バッファ６２に出力し、オーディオ信号はオーディオ信号バッファ６３に出力し、ビデオ信号タイムスタンプはビデオ信号用タイムスタンプバッファ７２に出力し、オーディオ信号タイムスタンプはオーディオ信号用タイムスタンプバッファ７３に出力する。
ビデオ信号デコーダ６５はビデオ信号バッファ６２に記録されたビデオ信号を復号する。オーディオ信号デコーダ６６はオーディオ信号バッファ６３に記録されたオーディオ信号を復号する。
ビデオ信号ＰＬＬ回路７５はビデオ信号用タイムスタンプバッファ７２に記録されたタイムスタンプを用いて同期用クロックを生成する。オーディオ信号ＰＬＬ回路７６はオーディオ信号用タイムスタンプバッファ７３に記録されたタイムスタンプを用いて同期用クロックを生成する。したがって、たとえば、ビデオ信号の到来タイミングとオーディオ信号の到来タイミングが異なっていても、ビデオ信号用タイムスタンプとオーディオ信号用タイムスタンプとを用いて、ビデオ信号とオーディオ信号とを同期させることができる。
【００５１】
ビデオ信号のバッファリングの容量を、ビデオ信号のビットストリームレートと、許容バッファリング遅延時間に応じた容量とする。
ビデオ信号バッファ６２の記憶容量は、３０ＨＺ のビットストリームレートの場合、たとえば、３０枚のピクチャーデータを記憶可能な容量とする。
オーディオ信号バッファ６３の記憶容量は、オーディオ信号の大きさがビデオ信号の大きさより小さく長い時間のオーディオ信号を記録してもメモリ容量的にはあまり問題とならないこと、および、到来するビデオ信号とのタイミングを合わせるため、ビデオ信号の時間よりは長い時間のオーディオ信号を記録可能な容量であるが、実質的にビデオ信号バッファ６２の容量を越えない程度の容量としておく。
たとえば、ビデオ信号バッファ６２の記憶容量を４６Ｋバイト、オーディオ信号バッファ６３の記憶容量を４Ｋバイトとする。
【００５２】
タイムスタンプ自体の大きさは、ビデオ信号およびオーディオ信号のいずれよりも小さい。
ここでは、ビデオ信号用タイムスタンプバッファ７２、および、オーディオ信号用タイムスタンプバッファ７３の容量を、従来のバッファリング遅延時間、１秒に限定されない大きさとする。
タイムスタンプおよびその記憶容量についてついて述べる。
タイムスタンプは、符号処理系における圧縮前の同時的に圧縮処理されるビデオ信号とオーディオ信号を復号処理系において同期をとるため、バッファリングの問題を解決するため、さらには、符号処理系における複写のために設けられている。ここでは、タイムスタンプは特に、同期のため、および、バッファリングの問題を解決するために使用される場合について例示する。より特定的には、タイムスタンプはここでは、非常に大きなピクチャーデータの喪失が発生した、ピクチャーデータとタイムスタンプとを１対１に対応させただけでは、その救済処理にタイムスタンプが不十分になる場合を解決するために、復号処理系におけるバッファの容量を非常に多くする場合を例示する。
【００５３】
再び、図２９および図３０を参照して述べる。
たとえば、符号化処理系が１秒当たり最大４．５メガビットのビットレートのデータ送信またはディジタル記録媒体５へのデータ伝送をサポートできる場合、画像の品質はスタートアップデレィおよび圧縮レートよりも高くなり、復号系におけるバッファリングの価格が高くなる。この場合、ビデオビットストリームは２部分になる。第１の部分は比較的容易な圧縮を行う５秒のビデオシーケンスであり、第２の部分は圧縮が難しい５秒のビデオシーケンスである。
この用途は可変ビットレートの用途ではあるが、符号化処理系１０が１０秒間について連続的に最大通信ビットレート、すなわち、１秒当たり４．５メガビットを用いることを決定するから、これら２つのシーケンスについては１０ｘ４．５メガビット／秒＝４５メガビット／秒が可能である。符号化処理系１０は、第１部分シーケンスについて１５０ピクチャーのために１５メガビット、第２部分シーケンスについて１５０ピクチャーのために３０メガビットを許可することを決定する。
したがって、第１部分のシーケンスについてのビデオ信号・ビットレートは１５メガビット／５秒＝３メガビット／秒であり、第２部分のシーケンスについてのビデオ・ビットレートは、３０メガビット／５秒＝６メガビット／秒である。
図２９は、第１部分を復号化する場合初期値が３メガビット／秒であり、第２部分を復号化する場合初期値が６メガビット／秒である、星印で示したビデオデコーダバッファ入力レート、および、ビデオデコーダバッファ出力レートを図解するグラフである。
時間ｔ＝０において、バッファへの入力データは４．５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。
時間ｔ＝３．３３秒経過時点において、バッファへの入力データは３．３３秒ｘ４．５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがタイムスタンプバッファ７２に入り、第２部分のデータから４．５メガビット／秒でタイムスタンプバッファ７２に入る。
時間ｔ＝５秒経過時点において、タイムスタンプバッファ７２からの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがタイムスタンプバッファ７２から出ていく。ビデオデコーダが動作開始し、６メガビット／秒のデータレートで第２部分の復号を行う。入力デコーダレートが４．５メガビット／秒のままであるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、バッファには第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝３．３３秒経過以来、４．５メガビット／秒のデータレートでバッファに記録されているから、バッファ内のビットの数は（５−３．３３）秒ｘ４．５メガビット／秒＝７．５メガビットである。これら７．５メガビットのタイムスタンプバッファ７２に満杯になっているデータは１．５メガビット／秒のレートで減少していき、（７．５メガビット／１．５メガビット／秒）＝５秒で終わる。
時間ｔ＝１０秒が経過して時点で、タイムスタンプバッファ７２が空になり、もし存在するなら後続するビデオ信号が４．５メガビット／秒またはそれ以下で符号化される。
この場合、第１部分の最後のバイトについての遅延、および、この最後のバイトに続く第２の部分の最初のバイト遅延が約（５−３．３３）秒＝１．６７秒であり、ＭＰＥＧの規定における遅延時間である１秒を越えているという問題に遭遇する。
【００５４】
ビットストリーム受容性（ｃｏｍｐｌｉａｎｃｅ）を形成するため、伝送レートは図３０を参照して下記に述べるように、低減すべきである。
時間ｔ＝０において、タイムスタンプバッファ７２への入力データは３．７５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。時間ｔ＝４秒経過時点において、タイムスタンプバッファ７２への入力データは４秒ｘ３．７５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファに入り、次いで、第２部分のデータから４．５メガビット／秒でバッファに入る。
時間ｔ＝５秒経過時点において、バッファからの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファから出ていく。ビデオデコーダが動作開始し６メガビット／秒のデータレートで第２部分の復号を行う。入力データレートが４．５メガビット／秒であるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、タイムスタンプバッファ７２には第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝４秒経過以来４．５メガビット／秒のデータレートでバッファに記録されているから、タイムスタンプバッファ７２内のビットの数は４．５メガビットである。これら４．５メガビットのバッファに満杯になっているデータは１．５メガビット／秒のレートで減少していき、３秒で終わる。
時間ｔ＝８秒が経過した時点で、バッファが空になる。もしビデオデコーダが６メガビット／秒でデータを読み続けるならば、ここでアンダーフローが起こる。このアンダーフローを防止するため、ビデオデコータ６０は第２部分の残っている２秒分のデータについてビットレートを６メガビット／秒から４．５メガビット／秒に低下させなければならない。
【００５５】
このビットストリームは、前に述べた３０メガビットではなく第２部分が６秒ｘ４．５＝２７メガビットであるから、圧縮率が高く、スタートアップ遅延が短く、小さな容量のビデオデコーダバッファでプレーバックできるという利点を有するものの、１秒のバッファリング遅延により希望するビデオ品質を提供できないという問題に遭遇する。したがって、この観点からも、通常のビデオ信号について高いピクチャー品質を実現するためには、１秒のバッファリング遅延時間に限定することは好ましくない。
したがって、本発明においては、通常のビットストリームレートのビデオ信号についても１秒のバッファリング遅延時間を排除した。
【００５６】
たとえば、あるビデオバイトのバッファリング遅延時間が１秒であり、レートが３０ＨＺ のビデオ信号の場合１秒当たり３０枚分のピクチャーをビデオデコーダが取り出すから、最悪の場合として３０枚分のピクチャーデータがバッファ６２に存在する。かりにあるビデオ信号バイトのバッファリング遅延が上述したように最悪の場合として１．６７秒であるなら、このバイトの前に、１．６７ｘ３０＝５０枚分のピクチャーデータがあることになる。
従来は３０ＨＺ のレートについては３０分のタイムスタンプを記録するバッファ容量であったが、ビデオ信号のレートが３０ＨＺ の場合、たとえば、ビデオ信号５０枚分のタイムスタンプをバッファに記録することが望ましい。
したがって、この例では、ビデオ信号用タイムスタンプバッファ７２の容量としては、５０枚分のビデオ信号に相当する容量とする。
【００５７】
さらに、符号化処理系１０からデータ蓄積系またはデータ伝送系５に送出するデータ、またはデータ蓄積系またはデータ伝送系５において誤りが生ずる。非常に多くの誤りが生じた場合、全てのビデオ信号についてタイムスタンプを持っていることが復号系において正確に復号する点で好ましい。しかしながら、ビデオビットストリームの遅延が１．６７秒より長く、全てのビデオ信号が１つのタイムスタンプを持っている場合、３０枚分の容量では、タイムスタンプバッファ７２はオーバーフローしてしまう。
したがって、たとえば、ビットストリームレートが３０ＨＺ のビデオ信号の場合、タイムスタンプバッファ７２の容量を、できるだけ多く、少なくとも上述した５０枚分以上にすることが望ましい。
ビデオ信号の長時間の障害に対して救済を行うには、タイムスタンプバッファ７２の大きさは極力大きいほうが好ましい。しかしながら、実用上、バッファの容量には限度があるから、このタイムスタンプバッファの容量は、ビデオ信号のレート、実質的な遅延時間に依存して決定することが望ましい。
【００５８】
タイムスタンプ自体の大きさはビデオ信号に比較すると小さいから、符号化処理系６０を搭載するメモリに制限のあるＤＳＰで実現した場合でも、上記程度のタイムスタンプバッファ７２の容量なら特に問題はない。
しかしながら、上述した例示以上の容量の大量のタイムスタンプを記録させることもでき、その場合は、ＤＳＰ内のメモリを使用せず、ＤＳＰの外部にＳＲＡＭあるいはＤＲＡＭを設けて、大量のタイムスタンプを記憶させることもできる。
【００５９】
以上述べたように、第１実施例によれば、タイムスタンプのオーバーフローまたはアンダーフローを防止でき、事実上、ビットストリームレートに依存されずに、かりに長時間のデータ障害が発生したとしても、高い品質のビデオ信号をオーディオ信号に同期させて復号することができる。
【００６０】
図３は本発明の画像および音声信号処理装置の第２実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
第２実施例は、上述したＭＰＥＧにおける多重化シンタックス（多重化フォーマット）、特に、ディレクトリの長さに起因した問題を解決する。
このビデオ信号およびオーディオ信号処理装置は、図１５に示したビデオ信号およびオーディオ信号処理装置に類似した構成をしているが、第１実施例のビデオ信号およびオーディオ信号処理装置には、拘束パラメータシステムターゲットデコーダ４にディレクトリデータバッファ４４およびディレクトリデコーダ４７が付加されている。
【００６１】
ビデオ信号およびオーディオ信号処理装置は、圧縮処理前の原ビデオ信号、つまり、非圧縮ビデオ信号を提供する非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信号を提供する非圧縮オーディオ信号源３、これら非圧縮ビデオ信号源２および非圧縮オーディオ信号源３から送出された非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をして、ビデオ信号とオーディオ信号とを多重化して符号化した拘束パラメータビットストリーム形態の圧縮符号化信号Ｓ１を出力する符号処理系１、および、符号処理系１からの拘束パラメータ・ビットストリーム形態の圧縮符号化信号Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄積系５を有する。
データ伝送系またはデータ蓄積系５としては、データ伝送系として、たとえば、衛星通信系、データ通信系などが対象となり、データ蓄積系として、たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどが対象となる。以下、本実施例においては、データ伝送系またはデータ蓄積系５として、ビデオテープを用いる場合について述べる。
またこのデータ伝送系またはデータ蓄積系５は、後述する復号処理系６に対して、多重化ビットストリームを提供するソースでもあるので、多重化ビットストリームソース５とも呼ぶ。
【００６２】
このビデオ信号およびオーディオ信号処理装置はまた、多重化ビットストリームソース５、つまり、本実施例では、ビデオテープから送出される拘束ビットストリーム形態の圧縮符号化信号Ｓ５を入力し、符号処理系１における圧縮と逆のデマルチプレクシングおよび伸長処理をして、符号処理系１に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６を有する。
このビデオ信号およびオーディオ信号処理装置はさらに、符号処理系１および復号処理系６の処理を制御するため、それぞれ、符号処理系１への基準信号Ｓ４Ａおよび復号処理系６への基準信号Ｓ４Ｂを送出する拘束パラメータシステムターゲットデコーダ４を有する。
拘束パラメータシステムターゲットデコーダ４は、デマルチプレクシング部４１、ビデオ信号バッファ４２、オーディオ信号バッファ４３、ディレクトリデータバッファ４４、ビデオ信号デコーダ４５、オーディオ信号デコーダ４６、および、ディレクトリデコーダ４７を有する。
【００６３】
図４に復号処理系６の構成を示す。
復号処理系６は拘束パラメータシステムターゲットデコーダ４に対応して構成されるから、復号処理系６は、デマルチプレクシング部６１、ビデオ信号バッファ６２、オーディオ信号バッファ６３、ディレクトリデータバッファ６４、ビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびディレクトリデコーダ６７から構成されている。
図１７に図解した復号処理系６００と比較すると、ディレクトリデータバッファ６４およびディレクトリデコーダ６７が付加されている。
【００６４】
図５に多重化ビットストリームソース５、この実施例ではビデオテープから復号処理系６に入力されるビットストリームを示す。このビットストリームは、図２７（Ａ）に示したビットストリームを変形したものであり、ディレクトリパッケットとビデオパッケットとの対が連続するようにフォーマットが構成されている。
ディレクトリパッケットには、ディレクトリパッケットヘッダ、および、ビデオパッケット内のピクチャーグループのポインタが記述されている。
ビデオパッケットにはそのビデオパッケットのヘッダ（ビデオパッケットヘッダ）が設けられ、次いでこのビデオパッケットヘッダに続けて、第（−１）番目のピクチャーグループ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ） ＧＯＰ−１が設けられ、さらに１０個のピクチャーグループ、つまり、第０番目のピクチャーグループＧＯＰ０〜第９番目ピクチャーグループＧＯＰ９が設けられている。
ピクチャーグループとは、たとえば、符号内（ＩＮＴＲＡフレーム）符号化方法）において符号化した一連のピクチャー、または、符号間（ＩＮＴＥＲフレーム）符号化方法において符号化した一連のピクチャーをいう。また、ピクチャーとは表示装置に表示される画像をいう。
ビデオパッケット内には１０個のピクチャーグループＧＯＰ０〜ＧＯＰ９が設けられているから、ディレクトリパッケット内のポインタも１０個のポインタ、Ｐ０〜Ｐ９が設けられている。
【００６５】
スイッチング回路で構成されたデマルチプレクシング部６１は、図５に示したビットストリームを分離して、ビデオ信号はビデオ信号バッファ６２に出力し、ディレクトリデータはディレクトリデータバッファ６４に出力する。
ビデオ信号バッファ６２の記憶容量は、上述した例と同様、４６Ｋバイトである。ディレクトリデータバッファ６４は、１ポインタ当たり１００ビット必要であるから、１０ポインタ合計で１Ｋビットの記憶容量となる。このように、ディレクトリデータバッファ６４の記憶容量はビデオ信号バッファ６２の記憶容量に比較して非常に少ない。
ビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびディレクトリデコーダ６７は高速演算処理が必要とされ、これらビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびディレクトリデコーダ６７は高速演算に適した回路構成のディジタル信号処理装置（ＤＳＰ）で一体構成される場合が多い。その反面、ＤＳＰには大きな記憶容量のメモリを搭載することが難しい場合が多い。したがって、ＤＳＰに接続されるビデオ信号バッファ６２、オーディオ信号バッファ６３およびディレクトリデータバッファ６４の記憶容量はある程度制限される。しかしながら、ビデオ信号バッファ６２およびオーディオ信号バッファ６３の記憶容量は、ＭＰＥＧの規定に従った記憶容量を有する必要があるから、結局、ディレクトリデータバッファ６４の記憶容量を極力小さくする必要がある。その反面、ディレクトリデータバッファ６４に記憶されるディレクトリのオーバーフローおよびアンダーフローを考慮する必要もある。そこで、本実施例においては、ディレクトリデータバッファ６４の記憶容量を１Ｋビットとしている。
このように、ディレクトリデータバッファ６４の記憶容量が比較的少ないので、ディレクトリデータバッファ６４を付加してもＤＳＰにとって大きな負担にはならない。
本実施例においては、ビデオ信号バッファ６２は４６Ｋバイトの記憶容量を有するスタテックランダムアクセスメモリ（ＳＲＡＭ）で構成され、オーディオ信号バッファ６３は４Ｋバイトの記憶容量を有するＳＲＡＭで構成され、ディレクトリデータバッファ６４は１Ｋビットの記憶容量を有するＳＲＡＭで構成されている。
【００６６】
図５はビデオ信号のビットストリームについて述べたが、オーディオ信号についても上記同様のフォーマットで多重化ビットストリームソース５から復号処理系６に入力される。
【００６７】
図６（Ａ）はビデオ信号バッファ６２に入力される出力されるビデオ信号の経時変化を示すグラフである。図６（Ｂ）はディレクトリデータバッファ６４に入力され出力されるディレクトリデータの経時変化を示すグラフである。図６（Ａ）、（Ｂ）において、横軸は時間変化を示し、縦軸はビデオ信号バッファ６２およびディレクトリデータバッファ６４に蓄積されているビデオ信号とディレクトリデータの量を示す。図６（Ｂ）の破線で示した曲線はバッファリングにおいてオーバーフローする限界を示し、実線で示した曲線はアンダーフローする限界を示す。
図７は図５に示したフォーマットの圧縮符号化信号を含む多重化ビットストリームＳ５が復号処理系６に入力されたときのビデオ信号バッファ６２とディレクトリデータバッファ６４の動作を示す。
図６（Ａ）および図７において、ビデオ信号バッファ６２に入力するビデオ信号の量の変化が２段階になっている。最初の傾斜は第１のビデオパッケット内のピクチャーグループＧＯＰ０〜ＧＯＰ９が連続的にビデオ信号バッファ６２に入力される状態を示しており、第２の傾斜は第２のビデオパッケット内のピクチャーグループＧＯＰ１０〜ＧＯＰ１９が連続的にビデオ信号バッファ６２に入力される状態を示している。
【００６８】
ディレクトリデータバッファ６４は一度に最大１０個のポインタを入力する容量を有しているので、ディレクトリデータバッファ６４においてオーバーフローもアンダーフローも発生しない。
ピクチャーグループの大きさは変化する場合がある。しかしながら、一度にビデオ信号バッファ６２に入力されるピクチャーグループは最大１０個であり、この最大１０個についてビデオ信号デコーダ６５において順次復号処理が行われる。したがって、ビデオ信号バッファ６２にはオーバーフローまたはアンダーフローが発生しない。
特に、一度に処理する最大数を１０個と制限しているので、ビデオ信号バッファ６２の記憶容量を、上述し、従来と同等の大きさとして、４７Ｋバイトにした記憶容量を少なくすることができる。このことは、多重化ビットストリームソース５に対して種々の復号処理系６で処理することを考えると、ビデオ信号バッファ６２およびディレクトリデータバッファ６４の記憶容量が小さく、また、ビデオ信号デコーダ６５およびディレクトリデコーダ６７の処理能力が低い復号処理系６においても、オーバーフローまたはアンダーフローを生じさせずに復号処理が可能になるという利点を意味している。つまり、多重化ビットストリームソース５から、図５に示したような、ディレクトリデータおよびこれに対応するピクチャーグループを分割した信号伝送形態（フォーマット）で復号処理系６に提供することにより、種々の復号処理系６がそのフォーマットに追従して復号処理可能になる。
もちろん、このようなフォーマットは符号処理系１において多重化ビットストリームソース５に提供されるから、元々、符号処理系１において、このようなビットストリームになるように多重化ビットストリームソース５に出力する。
【００６９】
図８はユーザーによるピクチャーのスキップ動作がある場合のビデオ信号バッファ６２に入力されるピクチャーグループの経緯を示す。
ピクチャーグループをいかにスキップさせるかは、ディレクトリパッケット内に記述されたポインタに従って行われる。
本実施例においては、一度に最大、１０ポインタ、１０ピクチャーグループごと処理している。したがって、破線で示したように、かりに、ピクチャーグループ１２からピクチャーグループ１０に戻すような場合でも、第１のディレクトリパッケットに戻るでもなく、ディレクトリデータバッファ６４に記憶されている第２ディレクトリパッケット内のポインタを参照してピクチャーグループＧＯＰ１０の表示についての復号処理を行えばよい。
たとえば、ビデオテープについて小さな範囲で巻き戻ししてプレーバックする場合、このように、多重化ビットストリームソース５から多重化ビットストリームＳ５を読み返すことなく行われることが多い。従来の方法では、図２７に図解したように、最初のディレクトリパッケットまで戻ることになり、即時性に問題がある。本実施例では、すでにディレクトリデータバッファ６４に格納されているポインタを用いて、ビデオ信号バッファ６２に格納されているビデオ信号を用いて迅速なスキップ動作が可能になる。
特に、多重化ビットストリームソース（データ伝送系またはデータ蓄積系）５として、ビデオテープを用いたような場合には、最初のディレクトリまで戻すの時間がかかるという問題があったが、本実施例では、データ伝送系またはデータ蓄積系５がビデオテープであっても、プレイバックに大きな時間を要しないという利点がある。
データ伝送系またはデータ蓄積系５として、ＬＤなどを使用した場合も、ディレクトリデータおよびピクチャーグループの再読みだし回数が減少するから、迅速なスキップ動作が実現できる。
【００７０】
上述した第２実施例においては、一度にディレクトリデータバッファ６４に格納可能なディレクトリデータを１０個まで許容する例を示したが、本発明は最大格納ディレクトリデータの数を１０には限定するものではなく、本発明においては、より少ない数、たとえば、最大ディレクトリデータ数を５個にすることもできる。ディレクトリデータ数を５個にした場合、ディレクトリデータバッファ６４の記憶容量は０．５Ｋビット（５００ビット）になる。ディレクトリデータバッファ６４の記憶容量が小さくなれば、ビデオ信号バッファ６２の記憶容量を小さくすることができる。このことは、バッファの記憶容量が小さく、復号処理の性能が低い復号処理系にも問題なく適用できることを意味している。
つまり、符号処理系１において、多重化ビットストリームソース５に一度に出力するビットストリームの数を極力小さくすると、種々の復号処理系６において、問題なく多重化ビットストリームソース５から出力される圧縮符号化信号を含む多重化ビットストリームＳ５を問題なく復号できることになる。
もちろん、一度に格納できるディレクトリデータの数を極端に小さくすると、たとえば、１にすると、多重化ビットストリームソース５から復号処理系６に入力される多重化ビットストリームＳ５の伝送頻度が高くなり、多重化ビットストリームソース５と復号処理系６との間の通信（伝送）速度がボトルネックになる可能性もある。したがって、一度に格納できるディレクトリデータの数は数個〜１０個程度が好ましい。
【００７１】
本発明の画像および音声信号処理方法とその装置の第３実施例について述べる。
上述したように、ＭＰＥＧの標準においてはバッファリング遅延時間が１秒と規定されているが、本実施例においては、このバッファリング遅延時間を排除する。その一方で、ビットストリーム内のビデオ信号およびオーディオ信号ごとにタイムスタンプを付与する。ただし、極力少ない数のタイムスタンプを用いる。
図９は第２実施例としてのビデオ信号およびオーディオ信号処理装置の構成を示す図である。
このビデオ信号およびオーディオ信号処理装置は、符号処理系１Ａ、非圧縮ビデオ信号源２、非圧縮オーディオ信号源３、拘束パラメータシステムターゲットデコーダ４Ａ、データ伝送系またはデータ蓄積系５、および、復号処理系６Ａを有する。
非圧縮ビデオ信号源２、非圧縮オーディオ信号源３およびデータ伝送系またはデータ蓄積系５は上述したものと実質的に同じである。
符号処理系１Ａは符号処理系１と同様、拘束パラメータシステムターゲットデコーダ４Ａは拘束パラメータシステムターゲットデコーダ４と同様、復号処理系６Ａは復号処理系６と同様であるが、下記に述べる点が異なる。
【００７２】
拘束パラメータシステムターゲットデコーダ４Ａは、デマルチプレクシング部４１、ビデオ信号バッファ４２、オーディオ信号バッファ４３、ビデオ信号デコーダ４５に加えて、ビデオ信号用タイムスタンプバッファ５２、オーディオ信号用タイムスタンプバッファ５３、ビデオ信号用位相同期（Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ ：ＰＬＬ）回路５５、オーディオ信号用位相同期回路５６を有する。
【００７３】
図１０に復号処理系６Ａの構成を示す。
復号処理系６Ａは拘束パラメータシステムターゲットデコーダ４Ａに対応して構成されるから、デマルチプレクシング部６１、ビデオ信号バッファ６２、オーディオ信号バッファ６３、ビデオ信号デコーダ６５、オーディオ信号デコーダ６６に加えて、ビデオ信号用タイムスタンプバッファ７２、オーディオ信号用タイムスタンプバッファ７３、ビデオ信号用位相同期（ＰＬＬ）回路７５、オーディオ信号用位相同期回路７６を有する。
第３実施例では、ビデオ信号バッファ６２の記憶容量を４６Ｋバイト、オーディオ信号バッファ６３の記憶容量を４Ｋバイト、ビデオ信号用タイムスタンプバッファ７２の記憶容量を３０タイムスタンプ分、同じくオーディオ信号用タイムスタンプバッファ７３の記憶容量を３０タイムスタンプ分に設定している。
【００７４】
図１１に符号処理系１Ａで符号化され、データ伝送系またはデータ蓄積系５に送出されたビデオ信号についてのビットストリームを示す。
このビットストリームは、複数のピクチャーグループからなり、それぞれのピクチャーグループは、ビデオ信号パッケットヘッダ、そのピクチャーグループ、そのピクチャーグループ内の１０個のフレームからなる。
ビデオ信号パッケットヘッダには、そのピクチャーグループのタイムスタンプが記述されている。
図１２（Ａ）は図１１に示したビットストリームを示し、図１２（Ｂ）はビデオ信号バッファ６２に格納されるビデオ信号の格納状態を示し、図１２（Ｃ）はビデオ信号用タイムスタンプバッファ５２に格納されるビデオ信号のタイムスタンプの格納状態を示す。つまり、図１１に示したビデオ信号のビットストリームが、図８に示した復号処理系６Ａに入力され、デマルチプレクシング部６１で分解されて、図１２（Ｂ）の実線で示したようにビデオ信号はオーバーフローなしにビデオ信号バッファ６２に格納され、図１２（Ｃ）に太い実線で示したようにビデオ信号についてのタイムスタンプはオーバーフローなしにビデオ信号用タイムスタンプバッファ５２に格納される。
図１２（Ｂ）において、実線で示したビデオ信号の出力タイミングは、ビデオ信号バッファ６２の出力遅延時間に基づいて４秒遅延してビデオ信号デコーダ６５に入力されている。同様に、図１２（Ｃ）において、ビデオ信号のタイムスタンプはビデオ信号用タイムスタンプバッファ７２において４秒遅延されてビデオ信号用位相同期回路７５に入力されている。
【００７５】
図１０において、ビデオ信号用位相同期回路５５はビデオ信号用タイムスタンプバッファ５２に格納されてタイムスタンプに基づいて正確に位相同期してクロックを発生する。ビデオ信号デコーダ４５はビデオ信号用タイムスタンプバッファ５２に格納されたビデオ信号を復号する。
上述した実施例は、ビデオ信号について述べたが、オーディオ信号についても上記ビデオ信号と同様に処理される。
【００７６】
第３実施例においてはバッファリング遅延時間に限度を設けていない。したがって、復号処理系６Ａは入力されたビットストリームで規定されたタイムスタンプに基づいて生成される位相同期されたクロックに基づいて、遅延時間の制約を受けないで、復号処理を行う。その結果として、種々の復号処理系６Ａが上述したビットストリームのビデオ信号およびオーディオ信号を復号できる。
遅延時間に限度をつけない場合の利点としては、たとえば、ＭＯ、ＤＣＣなどにビデオ信号とオーディオ信号とを記録し、復号する場合、そのバッファリング遅延時間は１秒以上、たとえば、２〜５秒程度の許容時間があるから、このような応答時間の長い復号に本実施例を適用することが好適である。
また、このバッファリング遅延時間を排除することにより、高解像度の画像を必要とし応答性をさほど問題にしない用途においても、画像符号および復号技術を適用できる。
ビデオ信号のタイムスタンプとオーディオ信号のタイムスタンプに基づいてそれぞれ生成されたクロックに基づいて復号されるから、復号されたビデオ信号とオーディオ信号とは同期している。
【００７７】
本発明の画像および音声信号処理方法とその装置の第４実施例について述べる。
図１３は本発明の第４実施例についてのビットストリームを示す。
図１３に示したビットストリームは、第１のビデオ信号パッケットは、第１のオーディオ信号パッケット、第２のビデオ信号パッケット、第２のオーディオ信号パッケット、以下、同様に、ビデオ信号パッケットとオーディオ信号パッケットが続けられて構成されている。
第１のビデオ信号パッケットは、ビデオ信号パッケットヘッダ、第０番目のピクチャーグループＧＯＰ０、このピクチャーグループＧＯＰ０に関係する第０〜第１９のフレームＦ０〜Ｆ１９、〜、第３番目のピクチャーグループＧＯＰ３、このピクチャーグループＧＯＰ３に関係する第０〜第１９のフレームＦ０〜Ｆ１９で構成されている。
この第１のビデオ信号パッケットの後に、第１のオーディオ信号パッケットが続いている。ビデオ信号パッケットは、オーディオ信号パッケットヘッダ、オーディオ信号アクセスユニットＡＡＵを有する。
第１のビデオ信号パッケットのビデオ信号パッケットヘッダに、ビデオ信号タイムスタンプが記述され、第１のオーディオ信号パッケットヘッダにオーディオ信号タイムスタンプが記述されている。
第２ビデオ信号パッケットのビデオ信号パッケットヘッダ、第２のオーディオ信号パッケットのオーディオ信号パッケットヘッダ以降にも、それぞれ、ビデオ信号タイムスタンプ、オーディオ信号タイムスタンプを記述することができるが、これらはオプションであり、本実施例においては、第１のビデオ信号パッケットのビデオ信号パッケットヘッダにビデオ信号タイムスタンプを記述し、第１のオーディオ信号パッケットヘッダにオーディオ信号タイムスタンプを記述することが本質的である。
【００７８】
このビットストリームを符号処理する復号処理系は、図１０に図示した復号処理系６Ａと同様な構成となるが、ビデオ信号タイムスタンプおよびオーディオ信号タイムスタンプＴＩＭＥ−ＳＴＡＭＰが最小でそれぞれ１つであるから、ビデオ信号用タイムスタンプバッファ７２およびオーディオ信号用タイムスタンプバッファ７３の記憶容量はそれぞれ１つのタイムスタンプを記憶するに充分な記憶容量でよい。つまり、第４実施例においては、タイムスタンプの記憶容量を減少でき、復号処理系をＤＳＰで構成するのに適している。
第４実施例においては、初期状態のみ印加されるビデオ信号のタイムスタンプに基づいてビデオ信号用位相同期回路７５が位相同期されたクロックを生成し、それ以降、このクロックを基準に位相同期されたビデオ信号のクロックが順次生成されていく。同様に、オーディオ信号のクロックについても、初期状態のみ印加されるオーディオ信号のタイムスタンプに基づいてオーディオ信号用位相同期回路７６が位相同期されたクロックを生成し、それ以降、このクロックを基準に位相同期されたオーディオ信号のクロックが順次生成されていく。
【００７９】
第４実施例においても第３実施例と同様に、復号処理系に印加されたタイムスタンプに基づいてビデオ信号およびオーディオ信号が復号される。これら復号されたビデオ信号およびオーディオ信号は位相同期されたクロックを用いて復号されるから、復号されたビデオ信号と復号されたオーディオ信号とは同期している。
【００８０】
本発明の画像および音声信号処理方法とその装置の第５実施例について述べる。
第３実施例において、ＭＰＥＧ基準における１秒のバッファリング遅延時間の限度をなくすことを提案した。その一方で、たとえば、業務用などの専門家向けの復号系など性能のよい復号処理系を用いる場合は、遅延時間をＭＰＥＧが規定する１秒より短くする必要がある。たとえば、０．２秒の遅延時間が必要とされる場合がある。本実施例では、たとえば、バッファリング遅延時間を０．２秒以内とする。
第５実施例においては、復号処理系におけるビデオ信号バッファ、オーディオ信号バッファの記憶容量を非常に小さくし、バッファにおけるバッファリング遅延時間を短くし、ビデオ信号復号器およびおよび復号器の処理時間を高速にする。
【００８１】
本発明の画像および音声信号処理方法とその装置の第６実施例について述べる。
第６実施例においては、図１４に示した多重化シンタックスによるビットストリームのデータが復号処理系に入力された時に、最初のビデオ信号タイムスタンプ、および、最初のオーディオ信号タイムスタンプのみを取り込んで、このタイムスタンプを用いて復号のためのクロックを生成する。
この時の復号処理系は、図１０に示した復号処理系の構成と同様の構成になるが、ビデオ信号タイムスタンプバッファ、および、オーディオ信号タイムスタンプバッファの記憶容量は非常に小さくできる。
また第６実施例によれば、ビデオ信号タイムスタンプ、および、オーディオ信号タイムスタンプはいかなる多重化シンタックスのビットストリームにおいても必ず最初のヘッダに記述されているから、ビットストリームの形態に依存せず、復号が可能となる。
【００８２】
以上、本発明の実施例において、画像信号としてテレビジョンなどにおけるビデオ信号を用いた場合について述べたが、本発明の実施に際しては、上述したビデオ信号に限らず種々の画像データについても適用できる。
また本発明の実施例として、１つのビデオ信号と１つのオーディオ信号との符号処理および復号処理について述べたが、たとえば、マルチメディアシステムなどにおけるように、複数のビデオ信号、複数のオーディオ信号について多重化し符号化してディジタルデータ蓄積媒体に記録し、再び、複数のビデオ信号および複数のオーディオ信号に復号する場合についても適用できる。
さらに、本発明はディジタルデータを蓄積する場合に限らず、データ通信（またはデータ伝送）を行う場合についても適用できる。
また圧縮および復号技術の例として、ＭＰＥＧを例示したが、本発明は上述したＭＰＥＧと同様の他の圧縮および復号技術を適用することができる。
【００８３】
【発明の効果】
本発明によれば、通常の画像データについても復号処理系におけるバッファリング遅延時間の制限をなくし、少なくとも画像データのビットストリームレートと許容遅延時間で規定される容量のタイムスタンプを復号処理系のバッファメモリに記憶することを可能にしているから、バッファリングの問題が解決され、さらに、非常に多くの画像データの喪失が生じても、復号処理系においてタイムスタンプを用いて同期回復を行うことができる。
【００８４】
また本発明によれば、種々の拘束パラメータ・ビットストリームの多重化シンタックスデータについて、種々の復号を可能とする。したがって、種々の符号化に依存されず効率よく復号できる。
【００８５】
さらに本発明によれば、バッファリング制限時間の限度なく、フレキシブルに多重化シンタックスデータを復号することができる。
【００８６】
本発明によれば、復号装置の構成を簡単にできる。特に、本発明によれば、記憶容量の小さなメモリを有するＤＳＰで構成できる。
【００８７】
また本発明によれば、ファーストフォワード、フィードバックなどの動作においても迅速な動作が可能になる。
【００８８】
さらに本発明によればさらに、長いスタートアップディレーを排除できる。
【図面の簡単な説明】
【図１】本発明の画像および音声信号処理装置の第１実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
【図２】図１に示したビデオ信号およびオーディオ信号処理装置における復号処理系の構成図である。
【図３】本発明の画像および音声信号処理装置の第２実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
【図４】図３に示したビデオ信号およびオーディオ信号処理装置における復号処理系の構成図である。
【図５】図３に示したビデオ信号およびオーディオ信号処理装置における多重化シンタックス（フォーマット）を示す図である。
【図６】図４に示した復号処理系におけるディレクトリバッファ、および、ディレクトリデコーダの動作を示すグラフである。
【図７】図３に示した復号処理系の動作を示す図である。
【図８】図３に示す復号処理系におけるスキップ動作を示す図である。
【図９】本発明の画像および音声信号処理装置の第３実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
【図１０】図３に示したビデオ信号およびオーディオ信号処理装置における復号処理系の構成図である。
【図１１】図９に示したビデオ信号およびオーディオ信号処理装置における多重化シンタックス（フォーマット）を示す図である。
【図１２】図４に示した復号処理系におけるディレクトリバッファ、および、ディレクトリデコーダの動作を示すグラフである。
【図１３】本発明の第４実施例としてのビットストリームを図解する図である。
【図１４】本発明の第６実施例としてのビットストリームを図解する図である。
【図１５】従来のＭＰＥＧに基づくビデオ信号およびオーディオ信号処理装置の構成図である。
【図１６】図１５における拘束パラメータビットストリームのフォーマットを示す図であり、（Ａ）は図１５における符号処理系においてマルチプレクシングしたビットストリームを示し、（Ｂ）は復号処理系においてフォーマット変換した信号フォーマットを示す。
【図１７】図１５に示した復号処理系の構成図である。
【図１８】従来の復号処理系におけるオーディオ信号受信バッファに入力されるオーディオ信号とオーディオ信号復号器に入力されるオーディオ信号とのタイミングの関係を示す図である。
【図１９】従来の復号処理系におけるオーディオ信号受信バッファに入力されるオーディオ信号とオーディオ信号復号器に入力されるオーディオ信号との他のタイミングの関係を示す図である。
【図２０】バッファにおけるオーバーフローとアンダーフローを示す図である。
【図２１】図２０に示したオーバーフローまたはアンダーフローを防止する方法を示す図である。
【図２２】スタートアップディレーを説明する図である。
【図２３】他のバッファリング処理を示す図である。
【図２４】さらに他のバッファリング処理を示す図である。
【図２５】先行出願の復号器の構成図である。
【図２６】図２５に示した復号器で処理するビットストリームを示す図である。
【図２７】従来の他のビットストリームを示す図である。
【図２８】ＭＰＥＧに基づく他の従来のビデオ信号およびオーディオ信号処理装置の構成図である。
【図２９】従来の他のバッファリングの問題を図解する図である。
【図３０】図２９に示した問題を解決するバッファリングの方法を図解する図である。
【符号の説明】
１，１０・・符号処理系
２・・非圧縮ビデオ信号源
３・・非圧縮オーディオ信号源
４，４０・・拘束パラメータシステムターゲットデコーダ
４１・・デマルチプレクシング部
４２・・ビデオ信号バッファ
４３・・オーディオ信号バッファ
４４・・ディレクトリデータバッファ
４５・・ビデオ信号デコーダ
４６・・オーディオ信号デコーダ
４７・・ディレクトリデコーダ
５２・・ビデオ信号用タイムスタンプバッファ
５３・・オーディオ信号用タイムスタンプバッファ
５５・・ビデオ信号用位相同期回路
５６・・オーディオ信号用位相同期回路
５・・データ伝送系またはデータ蓄積系多重化ビットストリームソース
６，６０・・復号処理系
６１・・デマルチプレクシング部
６２・・ビデオ信号バッファ
６３・・オーディオ信号バッファ
６４・・ディレクトリデータバッファ
６５・・ビデオ信号デコーダ
６６・・オーディオ信号デコーダ
６７・・ディレクトリデコーダ
７２・・ビデオ信号用タイムスタンプバッファ
７３・・オーディオ信号用タイムスタンプバッファ
７５・・ビデオ信号用位相同期回路
７６・・オーディオ信号用位相同期回路
Ｓ１・・符号処理系からの圧縮符号化信号
Ｓ２・・非圧縮ビデオ信号
Ｓ３・・非圧縮オーディオ信号
Ｓ５・・圧縮符号化信号を含む多重化ビットストリーム
Ｓ６Ａ・・復号化非圧縮ビデオ信号
Ｓ６Ｂ・・復号化非圧縮オーディオ信号
ＣＳＰＳ：Ｃｏｎｓｔｒａｉｎｔ Ｓｙｓｔｅｍ Ｐａｒａｍｅｔｅｒ Ｓｔｒｅａｍ（拘束システムパラメータ・ストリーム）（多重化ビットストリーム）
ＳＴＤ：Ｓｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ（システムターゲットデコーダ）
ＳＣＲ：Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（システムクロック基準）
ＤＴＳ：Ｄｅｃｏｄｅ Ｔｉｍｅ Ｓｔａｍｐ （ デコーダタイムスタンプ）
ＰＴＳ：Ｐｉｃｔｕｒｅ Ｔｉｍｅ Ｓｔａｍｐ（ ピクチャータイムスタンプ）
ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ（ ピクチャーグループ）
【産業上の利用分野】
本発明は画像および音声信号処理方法とその装置に関する。
本発明は特に、動画像信号とこの動画像信号に同期している音声信号とを圧縮・符号化してデータ伝送系またはデータ蓄積系にビットストリームとして提供し、さらにデータ伝送系またはデータ蓄積系からこのビットストリームを入力して伸長・復号するオーディオ・ビデオ（ＡＶ）信号処理などの画像および音声データを処理する方法と装置に関する。
さらに本発明は上記信号処理を行う際、遅延時間の制限を廃止し、復号系において画像と音声データとの同期などに使用するタイムスタンプを記録するタイムスタンプバッファの容量を大きくする方法とその装置に関する。
【０００２】
【従来の技術】
コンパクトディスク・リードオンリーメモリ（ＣＤ−ＲＯＭ）、レーザディスク（ＬＤ）、ビデオテープ、磁気光学式記録媒体（ＭＯ）、ＤＣＣなどのディジタルデータ蓄積媒体に映像信号（ビデオ信号）および音声信号（オーディオ信号）を圧縮し多重化（マルチプレクシング）してビットストリームとして直接記録し、再び、データ蓄積媒体から多重化されたビットストリームを読み出してデマルチプレクシングをして圧縮と逆の伸長処理をし、圧縮処理前の元のビデオ信号（原ビデオ信号）および元のオーディオ信号を再生する（復号する）ことが、ビデオテープ記録再生装置、マルチメディアシステム、その他の画像および音声データ処理装置において行われている。
またテレビジョン放送、衛星放送、マルチメディアシステムなどにおいても、ビデオ信号とオーディオ信号とを圧縮して符号化し、多重化したビットストリームとしてデータ伝送系またはデータ蓄積系に出力し、その後、多重化されたビットストリームを入力してデマルチプレクシングした後、圧縮の逆の伸長処理をして元のビデオ信号とオーディオ信号とを復号することが行われている。
【０００３】
ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどのデータ蓄積媒体にビデオ信号およびオーディオ信号を圧縮して符号化して記録し、データ蓄積媒体に記録された符号化されたビデオ信号およびオーディオ信号を伸長して元のビデオ信号およびオーディオ信号に復号する蓄積用動画符号化標準としての国際的な規格として、ＩＳＯとＪＥＣのデータ処理分野における共通事項を取り扱うＪＴＣＩの傘下にあるＳＣ２の中のワーキンググループ（ＷＧ）１１において、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｒｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ ）が定めた規格ＭＰＥＧ１、および、規格ＭＰＥＧ２が知られている。
【０００４】
ＭＰＥＧは、広範囲な適用を前提とした標準であり、位相同期（フェーズロック）をとる場合と位相同期をとらない（アンロックする）場合とを予定している。位相同期をとる場合は、ビデオ信号符号化クロック（つまり、フレームレート）とオーディオ信号符号化クロック（つまり、オーディオ信号サンプリングレート）とが共通のシステムクロック基準（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｓｅ）ＳＣＲに位相同期される。ＭＰＥＧはこの場合、０．７秒の周期でタイムスタンプを多重化ビットストリームに付加することを要求している。位相同期をとらない場合は、ビデオ信号とオーディオ信号とは独立に処理され、これらは符号化の際付加されたそれぞれのタイムスタンプに基づいて復号される。
またＭＰＥＧは、システムターゲットデコーダのバッファリング遅延時間として、１秒を規定している。
さらにＭＰＥＧは、復号の際、ビデオ信号およびオーディオ信号を検索するためのディレクトリを設けること規定している。
【０００５】
図１５はそのようなＭＰＥＧ１またはＭＰＥＧ２をビデオ信号およびオーディオ信号処理装置に適用した場合の構成例を示す図であり、いかにして符号処理系１００が非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力して、いかにして拘束パラメータシステムターゲットデコーダ４００についてのある情報を生成し、いかにして種々の復号処理系に適した拘束ビットストリームを形成するかについて示している。
このビデオ信号およびオーディオ信号処理装置は、圧縮処理前の元のビデオ信号（原ビデオ信号）を提供する非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信号を提供する非圧縮オーディオ信号源３、これら非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をして符号化しさらに多重化処理（マルチプレクシング）してビットストリーム形態の圧縮符号化信号Ｓ１００を出力する符号処理系１００、および、この符号処理系１００からのビットストリーム形態の圧縮符号化信号Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄積系５を有する。
データ伝送系またはデータ蓄積系５としては、データ蓄積を行う場合はたとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどであり、データ伝送を行う場合はたとえば、テレビジョン放送通信系、通信衛星系、データ通信系などである。
ビデオ信号およびオーディオ信号処理装置はまた、データ伝送系またはデータ蓄積系５から送出されるビットストリーム形態の圧縮符号化信号Ｓ５を入力し、符号処理系１００における多重化処理（マルチプレクシング）と逆の分解処理（デマルチプレクシング）し、符号処理系１００における圧縮と逆の伸長処理をして、符号処理系１００に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６００を有する。
ビデオ信号およびオーディオ信号処理装置はさらに、符号処理系１００および復号処理系６００の処理を規定するため、それぞれ、符号処理系１００へのガイドライン（基準信号）Ｓ４Ａおよび復号処理系６００へのガイドライン（基準信号）Ｓ４Ｂを送出する拘束パラメータ（Ｃｏｎｓｔｒａｉｎｔ Ｐａｒａｍｅｔｅｒ）・システムターゲットデコーダ（ＳＴＤ：Ｓｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ ）４００を有する。
【０００６】
拘束パラメータシステムターゲットデコーダ４００は、仮想的な（Ｈｙｐｏｔｈｉｃａｌ） システムターゲットデコーダ、システム基準（Ｒｅｆｅｒｅｎｃｅ）デコーダ、あるいは、基準復号処理系などとも呼ばれるが、ここでは、以下、拘束パラメータシステムターゲットデコーダ、あるいは、簡単に、システムターゲットデコーダなどと呼ぶ。
拘束パラメータシステムターゲットデコーダ４００は、ＣＣＩＴＴ Ｈ．２６１およびＭＰＥＧ１ビデオ標準などの国際標準規格において使用されており、ビデオ信号符号器およびビデオ信号復号器（デコーダ）の設計者のための指針を与えている。
ＭＰＥＧ１システム標準において、システムターゲットデコーダ（ＳＴＤ）も基準オーディオ信号デコーダを有している。これらの基準モデルにおいて、各ビデオ信号およびオーディオ信号デコーダもまた推奨されているバッファの大きさを有するバッファ、および、いかにしてビデオ信号およびオーディオ信号デコーダを動作させるかについて記述する標準を有している。
推奨されているバッファの大きさを有するモデルは「拘束パラメータ・システムターゲットデコーダ（ＳＴＤ）」と呼ばれている。実用的には、拘束パラメータ・システムターゲットデコーダ（ＳＴＤ）以上の性能を持たない非常に多くの実際の復号システムが存在しないことが期待されている。したがって、ビットストリームが形成されたとき、そして、多くの数の実際のデコーダに到達することが必要なとき、符号化システムが一般的に、拘束パラメータ・システムターゲットデコーダに適したビットストリームを作成する。これらの多重化ビットストリームは拘束システムパラメータ・ストリーム：Ｃｏｎｓｔｒａｉｎｔ Ｓｙｓｔｅｍ Ｐａｒａｍｅｔｅｒ Ｓｔｒｅａｍ：ＣＳＰＳ）と呼ばれている。
【０００７】
拘束パラメータシステムターゲットデコーダ４００は、デマルチプレクシング部４０１、ビデオ信号バッファ４０２、オーディオ信号バッファ４０３、ビデオ信号デコーダ４０４、および、オーディオ信号デコーダ４０５を有する。
この例においては、ビデオ信号バッファ４０２は４６Ｋバイトの記憶容量を有し、オーディオ信号バッファ４０３は４Ｋバイトの記憶容量を有する。
デマルチプレクシング部４０１はスイッチング回路を有し、ビデオ信号デコーダ４０４、および、オーディオ信号デコーダ４０５は高速演算処理に適した構成をとる高速ディジタル信号処理装置（ＤＳＰ）で一体構成されることが、装置構成の面、フレキシブルの観点から望ましい。
ＤＳＰは信号処理を高速処理可能なように特別な手法で回路構成されているが、その反面、大きな記憶容量を有する記憶装置を設けるには適していない。したがって、ＤＳＰに設けられるビデオ信号バッファ４０２、および、オーディオ信号バッファ４０３の記憶容量はある程度制限される。しかしながら、ビデオ信号バッファ４０２およびオーディオ信号バッファ４０３の記憶容量は、ＭＰＥＧの規定に従って上述した容量を持つ必要がある。
【０００８】
図１６（Ａ）は拘束パラメータシステムターゲットデコーダ４００に入力される拘束パラメータ（マルチプレクシング）・システムビットストリームＣＰＳＰのフォーマットを示す。このビットストリームは、時系列的に配置された複数のパック（ＰＡＣＫ）で構成され、それぞれのパックは、ヘッダ（ＨＥＡＤＥＲ）、ビデオ信号パッケット（ＰＡＣＫＥＴ）、および、オーディオ信号パッケットを含んでいる。それぞれのビデオ信号パッケットは、ビデオ信号のフレームごとのビデオ信号と、そのフレームの時刻を示すタイムスタンプ（ＴＩＭＥ ＳＴＡＭＰ）を含むパッケットヘッダ（ＰＡＣＫＥＴ ＨＥＡＤＥＲ）から構成されている。それぞれのオーディオ信号パッケットは、所定の単位（ユニット）ごとのオーディオ信号とそのユニットの時刻を示すタイムスタンプを含むパッケットヘッダとで構成されている。ビデオ信号についてのフレームｎ＋１のタイムスタンプをビデオタイムスタンプｖｔｓと呼び、オーディオ信号についてユニットｍ＋１のタイムスタンプをオーディオタイムスタンプａｔｓと呼ぶ。
つまり、符号処理系１００は、非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を符号化して、図１６（Ａ）に示したフォーマットのマルチプレクシング・ビットストリームにしてデータ伝送系またはデータ蓄積系５に送出し、拘束パラメータシステムターゲットデコーダ４００はこのビットストリームに基づく圧縮符号化信号を含む多重化ビットストリームＳ５を入力して復号する。
【０００９】
符号処理系１００に入力される非圧縮ビデオ信号Ｓ２と非圧縮オーディオ信号Ｓ３とは、データ数、速度が異なる他、圧縮率も異なる。したがって、同じ時刻に符号処理系１００に入力されたビデオ信号とオーディオ信号を圧縮処理しても同じ速度、同じ大きさの符号化ビデオ信号と符号化オーディオ信号が提供される訳ではない。また、たとえば、ビデオ信号についてみても、ビデオ信号の内容によって圧縮率は異なる。オーディオ信号についても同様である。したがって、符号処理系１００からは固定した状態（条件）の符号化ビデオ信号および符号化オーディオ信号が出力される訳ではない。
復号処理系６００において、これら元のビデオ信号およびオーディオ信号を復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂとして復号する際、タイミング的に同期をとる必要がある。
そこで、同期を実現するため、ＭＰＥＧは上述したタイムスタンプをビデオ信号とオーディオ信号のそれぞれにフレームごとに付加することを規定している。つまり、ビデオ信号タイムスタンプとオーディオ信号タイムスタンプとはビデオ信号とオーディオ信号との同期をとった復号を行うためのクロックを規定する時刻を示しており、オーディオ信号タイムスタンプはオーディオ信号の復号を行うためのクロックを生成する時刻を示している。
なお、タイムスタンプを使用する目的としては、上述した同期をとるための他、バッファリングの問題を解消するため、および、符号系におけるデータの複写のためである。
【００１０】
図１７は復号処理系６００の構成図である。
復号処理系６００は、デマルチプレクシング部６０１、ビデオ信号ビットストリーム構成変換処理部６０２、ビデオ信号受信バッファ６０３、ビデオ信号復号器（デコーダ）６０４、ピクチャーレート制御回路６０５、オーディオ信号ビットストリーム構成変換処理部６０６、オーディオ信号受信バッファ６０７、オーディオ信号復号器（デコーダ）６０８、および、サンプリングレート制御回路６０９を有する。
デマルチプレクシング部６０１は、上述したフォーマットの多重化ビットストリームＳ５を入力し、ビデオ信号、ビデオタイムスタンプｖｔｓ、オーディオ信号、オーディオタイムスタンプａｔｓに分解（分離）する。
ビデオ信号ビットストリーム構成変換処理部６０２は分離されたビデオ信号とビデオタイムスタンプｖｔｓを入力し、図１６（Ｂ）に示すフォーマットに変換する。ビデオ信号受信バッファ６０３は変換されたビデオ信号を順次記憶し、記憶した順序に従ってビデオ信号復号器６０４に出力する。
同様に、オーディオ信号ビットストリーム構成変換処理部６０６は分解されたオーディオ信号とオーディオタイムスタンプａｔｓを入力して図１６（Ｂ）に示すフォーマットに変換する。オーディオ信号受信バッファ６０７は変換されたオーディオ信号を順次記憶し、記憶した順序に従ってオーディオ信号復号器６０８に出力する。
ビデオ信号復号器６０４は、ピクチャーレート制御回路６０５から出力されるタイミング信号に基づいてビデオ信号受信バッファ６０３から出力されたビデオ信号を復号する。
オーディオ信号復号器６０８は、サンプリングレート制御回路６０９から出力されるタイミング信号に基づいてオーディオ信号受信バッファ６０７から出力されたオーディオ信号を復号する。
【００１１】
上述したビデオ信号受信バッファ６０３およびオーディオ信号受信バッファ６０７について述べる。
復号に際して完全に一致したクロックを用いてビデオ信号とオーディオ信号とを復号することはできない。第１の理由は、上述したように圧縮率が異なるからである。第２の理由は、たとえば、オーディオ信号復号器６０８におけるオーディオ信号の復号について述べると、固定のビデオレートで復号するオーディオ信号復号器６０８に入力されるオーディオ信号の入力データレートと、データ伝送系またはデータ蓄積系５から出力されたオーディオ信号の転送ビデオレートとはサンプリングレートクロックの誤差に依存して変化する。さらに、オーディオ信号復号器６０８には一般に、一度に１つのオーディオ信号、アクセスユニットが入力されるので、データ伝送系またはデータ蓄積系５からの多重化ビットストリームＳ５の転送レートと、オーディオ信号復号器６０８に入力されるオーディオ信号とのデータレートとは一致しないからである。そこで、オーディオ信号復号器６０８の前段にオーディオ信号受信バッファ６０７が設けられ、上述したデータレートの不一致を調整するように構成されている。
図１８に上述した関係を図解する。
【００１２】
図１９に図解したように、ビデオ信号は符号処理系１００においてフレームごとに（あるいは、フィールドごとに）圧縮され、可変長符号化処理されるために、ビデオ信号復号器６０４に対する入力データレートは符号処理系１００におけるビデオ信号の圧縮に依存して大きく変化する。
したがって、ビデオ信号受信バッファ６０３の記憶容量はオーディオ信号受信バッファ６０７の記憶容量より大きくなる。たとえば、ビデオ信号受信バッファ６０３の記憶容量は４６Ｋバイトに対して、オーディオ信号受信バッファ６０７の記憶容量は４Ｋバイトである。
図２０にビデオ信号受信バッファ６０３またはオーディオ信号受信バッファ６０７の受信バッファとしては（以下、ビデオ信号受信バッファ６０３を例示する）のバッファリングタイミングを示す。
図２０（Ａ）に示したように、このバッファリングとしては、ビデオ信号受信バッファ６０３に入力されたデータの量から、破線で示したビデオ信号受信バッファ６０３の記憶容量を減じたデータ量がビデオ信号受信バッファ６０３から読み出されるデータの量を越えない状態、つまり、アンダーフローを生じさせず、かつ、ビデオ信号受信バッファ６０３から読み出されたデータの量がビデオ信号受信バッファ６０３に入力されるデータの量を越えない状態、つまり、オーバーフローを生じさせない状態が理想的である。
しかしながら、図２０（Ｂ）に図解したように、このバッファリングにはオーバーフローまたはアンダーフローが生ずることがある。
【００１３】
このバッファリングにおけるオーバーフローまたはアンダーフローを防止する方法としては、図２１（Ａ）〜（Ｃ）に図解した方法が行われる。
第１の方法は、図２１（Ａ）に図解したように、「蓄積メディアスレーブ方法」と呼ばれるものであり、ビデオ信号受信バッファ６０３に入力されたデータ量Ｌ１からビデオ信号受信バッファ６０３の記憶容量がビデオ信号受信バッファ６０３から読み出されたデータの量Ｌ３を越えず、かつ、ビデオ信号受信バッファ６０３から読み出されたデータの量Ｌ３がビデオ信号受信バッファ６０３に入力されたデータの量Ｌ１を越えないように曲線Ｌ１’で示したようにビデオ信号受信バッファ６０３に入力されるデータの量を制御する。曲線Ｌ２はビデオ信号受信バッファ６０３に入力されたデータＬ１からビデオ信号受信バッファ６０３の記憶容量を減じた量の変化を示し、曲線Ｌ２’は制御された実際にビデオ信号受信バッファ６０３に入力されたデータの量の変化を示す。
第２の方法は、図２１（Ｂ）に図解したように、「デコーダスレーブ方法」と呼ばれるものであり、ビデオ信号受信バッファ６０３に入力されたデータ量Ｌ１が、ビデオ信号受信バッファ６０３の記憶容量を減じたデータ量Ｌ２が、ビデオ信号受信バッファ６０３から読み出されるデータの量Ｌ３を越えず、かつ、ビデオ信号受信バッファ６０３から読み出されたデータの量Ｌ３がビデオ信号受信バッファ６０３に入力されるデータの量Ｌ１を越えないようにビデオ信号復号器６０４のフレームレートを変更してビデオ信号受信バッファ６０３からデータを読み出す。実際にビデオ信号受信バッファ６０３から読み出されたデータの量の変化を曲線Ｌ３’として示す。
以上、ビデオ信号について述べたが、オーディオ信号の場合も、オーディオ信号復号器６０８のサンプリングレートを変化させてオーディオ信号受信バッファ６０７から読み出すデータの量を調整する。
第３の方法は、図２１（Ｃ）に図解したように、ビデオ信号受信バッファ６０３から読み出すデータの量を調整するものであり、たとえば、アクセスユニットをスキップしたり、再表示してビデオ信号受信バッファ６０３から読み出されるデータの量を調整する。曲線Ｌ３’が調整されてビデオ信号受信バッファ６０３から読み出されたデータの量の変化を示す。
【００１４】
しかしながら、上述したデコーダのフレームレートまたはサンプリングレート、あるいは、データ伝送系またはデータ蓄積系５からの転送レートを変更することは、ビデオ信号およびオーディオ信号処理装置の外部の関連する装置に影響を与えるから、自由には変更することができず、ある範囲に制限される。その結果、バッファリングにおいてオーバーフローまたはアンダーフローが頻繁に発生するような場合には、それを完全に防止することができない。
バッファリングにおけるオーバーフローまたはアンダーフローに起因する復号処理の誤動作は、特に、復号開始時点に生ずる。よって、デコーダにおいて、「スタートアップディレー」という、再生初期時に復号処理を遅延する処理を行う。
図２２にスタートアップディレーに基づくバッファリングの諸態様を示す。図２２（Ａ）は、スタートアップディレーに無関係に理想的にバッファリングが行われた場合、図２２（Ｂ）は、適切にスタートアップディレーが行われた場合のバッファリング、図２２（Ｃ）はスタートアップディレーが長くビデオ信号受信バッファ６０３がオーバーフローする場合、図２２（Ｄ）はスタートアップディレーが短くアンダーフローが生じる場合を示す。
【００１５】
ＭＰＥＧにおいては、上述したようにそれぞれのパックのヘッダに位相同期をとるためのシステムクロック基準ＳＣＲを記述することができ、システムクロック基準ＳＣＲは転送ビットレートを定義するために使用できる。さらにＭＰＥＧにおいては、ビデオ信号パッケットだはオーディオ信号パッケットのヘッダに記述されるタイムスタンプは、フレームレートまたはサンプリングレートを制御するために使用できる。
つまり図２３に図解したように、システムクロック基準ＳＣＲはデータ伝送系またはデータ蓄積系５から復号処理系６００に入力された多重化ビットストリームＳ５の時刻を示し、ビデオ信号パッケットまたはオーディオ信号パッケットのタイムスタンプはビデオ信号またはオーディオ信号がビデオ信号受信バッファ６０３またはオーディオ信号受信バッファ６０７から出力された時刻を示す。これらの時刻は、たとえば、水晶発振器を用いて９０ＫＨＺ の基準クロックを用いて絶対時刻で記録することができる。
このように、システムクロック基準ＳＣＲとタイムスタンプとの差をスタートアップディレーに使用できる。
図２３において、記号ＤＴＳは復号時刻を意味するデコーダタイムスタンプを示し、記号ＰＴＳはビデオ信号、つまり、ピクチャーの復号時刻を意味するピクチャータイムスタンプを示し、記号Ｈはヘッダを示す。
【００１６】
上述したように、ＭＰＥＧにおけるオーディオ信号の復号とビデオ信号の復号に際しては、これら両者の復号結果を同期させる必要があり、この同期にタイムスタンプを用いる。
ビデオ信号およびオーディオ信号の復号処理時刻を０秒と仮定する。図２４に示したように、ＩピクチャーおよびＰピクチャーとしてのフレーム以外、つまり、Ｂピクチャーとしてのフレームにおいては、タイムスタンプによって示されるアクセスユニットの復号時刻は、Ｂピクチャーが表示される表示時刻と同じになる。つまり、デマルチプレクシング部６０１を介してビデオ信号受信バッファ６０３に順次入力されているビデオ信号のうち、第ｍ番目のビデオ信号パッケットの第ｉ番目のフレームのＩピクチャーのビデオ信号：Ｆｒａｍｅ ｉ（Ｉ）が時刻ＤＴＳｍ にビデオ信号受信バッファ６０３から読み出されて復号された後、ビデオ信号復号器６０４の後段に設けられたＩピクチャーおよびＰピクチャーのビデオ信号（フレーム）を一時的に記憶するＩ／Ｐバッファに記憶する。
Ｉピクチャーのビデオ信号とＰピクチャーのビデオ信号とでは復号時刻と表示時刻とが異なる。そこで、そのビデオ信号に対応するビデオ信号パッケットのヘッダには、それぞれ復号時刻および表示時刻を示すタイムスタンプとしてのＤＴＳとＰＴＳとが記録されるが、ＩピクチャーとＰピクチャーのビデオ信号の表示時刻ＰＴＳとは次のＩピクチャーとＰピクチャーのＤＴＳとは同じであるから、表示時刻ＰＴＳは省略できる。
【００１７】
しかしながら、上述したＭＰＥＧに基づくビデオ信号およびオーディオ信号処理装置においては、ビデオ信号ビットストリーム構成変換処理部６０２およびオーディオ信号ビットストリーム構成変換処理部６０６の回路構成が複雑になるという問題に遭遇している。
さらに上述したビデオ信号およびオーディオ信号処理装置は、復号処理系６００に入力されるデータがマルチプレクシングされたビットストリームであることを前提としており、たとえば、ビデオ信号またはオーディオ信号のいずれかがマルチプレクシングされずに入力された場合には、復号することができず、復号処理系として種々の復号処理を行うことを考慮すると、その汎用性に問題があった。
【００１８】
そこで本願出願人は、上述した問題を解決するビデオ信号およびオーディオ信号復号装置を提案した（たとえば、平成５年２月２６日出願の特願平５−６３２９３号、「データ復号化装置」を参照）。
図２５にこの復号装置の構成を示す。このときのビットストリームを図１６または図２６に示す。
図２６に示したビットストリームは、複数のビデオ信号パッケットと、オーディオ信号パッケットとが連続し、それぞれの複数のビデオ信号パッケットは、第１のビデオ信号パッケットヘッダ、第１のピクチャーグループＧＯＰ０〜第４のビデオ信号パッケットヘッダ、第４のピクチャーグループＧＯＰ３が配列されている。各々のビデオ信号パッケットヘッダにはこのビデオ信号のタイムスタンプが格納されている。それぞれのピクチャーグループには２０個のフレームのビデオ信号が格納されている。オーディオ信号パッケットにはオーディオ信号タイムスタンプ、および、オーディオ信号アクセスユニットＡＡＵが格納されている。
【００１９】
この復号装置は、デマルチプレクシング５０１、ＤＳＰ５０２、９０ＫＨＺ のクロックを発生するクロック発生器５０３、全体時刻レジスタ５０４、ビデオ信号受信バッファ５０５ａ、オーディオ信号受信バッファ５０５ｂ、ビデオ信号復号器５０６ａ、オーディオ信号復号器５０６ｂ、ビデオ信号タイムスタンプバッファ５０７ａ、オーディオ信号タイムスタンプバッファ５０７ｂ、ビデオ信号クロック用位相同期回路（ＰＬＬ）５０８ａ、オーディオ信号クロック用ＰＬＬ５０８ｂを有する。
デマルチプレクシング５０１においてビットストリームから分解されたビデオ信号タイムスタンプがビデオ信号タイムスタンプバッファ５０７ａ、オーディオ信号タイムスタンプがオーディオ信号タイムスタンプバッファ５０７ｂに格納される。またビットストリームから分解されたビデオ信号がビデオ信号受信バッファ５０５ａに格納され、分解されたオーディオ信号がオーディオ信号受信バッファ５０５ｂに格納される。これらバッファ５０５ａ、５０５ｂに格納されたデータがそれぞれ、ＰＬＬ５０８ａ、５０８ｂからのクロックによって復号器５０６ａ、５０６ｂにおいて同期状態で復号される。
このように、簡単な回路構成にすることができる。
【００２０】
図２７に多重化ビットストリームのフォーマットとその処理を図解する。ただし、このビットストリームはビデオ信号についてのみ示し、オーディオ信号については省略している。
図２８にこのビットストリームに基づくＭＰＥＧによるビデオ信号およびオーディオ信号処理装置の構成を示す。拘束パラメータシステムターゲットデコーダ４１０はデマルチプレクシング部４１１、ビデオ信号バッファ４１２、オーディオ信号バッファ４１３、ディレクトリデータバッファ４１４、ビデオ信号デコーダ４１５、オーディオ信号デコーダ４１６、ディレクトリデコーダ４１７を有する。復号処理系６１０は拘束パラメータシステムターゲットデコーダ４１０と同様に構成されている。
符号処理系１１０は、図２７（Ａ）に図解したビットストリームを生成する。このビットストリームは、第１のディレクトリパッケットとこのディレクトリパッケットに対応する第１のビデオ信号パッケットとが一対になっている。ディレクトリパッケット内は最初の位置にディレクトリパッケットヘッダ、続いて、第１〜第２０のポインタＰ０〜Ｐ１９が格納されている。ビデオ信号パッケットの最初の位置にビデオ信号パッケットヘッダ、続けて第１〜第２０のピクチャーグループＧＯＰ０〜ＧＯＰ１９が格納されている。第１のポインタＰ０が第１のピクチャーグループＧＯＰ０の記録位置などを指定している。他のポインタも対応するピクチャーグループの位置を指定している。
【００２１】
具体例として、ビデオテープ記録再生装置における再生動作を例示する。この場合、符号処理系１１０はビデオテープ記録再生装置の記録系であり、データ伝送系またはデータ蓄積系５はビデオテープであり、復号処理系６１０は再生系である。
図２７（Ｂ）に示すように、ユーザーがファーストフォワード（Ｆｉｒｓｔ Ｆｏｒｗａｒｄ ：ＦＦ）動作またはファーストリバース（Ｆｉｒｓｔ Ｒｅｖｅｒｓｅ ：ＦＲ））動作を要求する前は、復号処理系６１０はビデオテープ５から、順次、ディレクトリパッケットヘッダの記録内容、ポインタの指定内容に基づいて、ピクチャーグループが連続的に読みだし、ディレクトリバッファにポインタ、ビデオ信号バッファにビデオ信号を格納し、ビデオ信号復号器においてビデオ信号を復号する。
図２７（Ｃ）に示すように、ユーザーがファーストフォワード動作を要求すると、ディレクトリバッファに格納されたディレクトリデータが空になるまでスキップ動作が行われ、ピクチャーグループを飛ばしていく。そして、図２７（Ｄ）に示したように、ディレクトリバッファに新たなディレクトリが格納された位置のポインタまで戻る。図２７（Ｅ）に示したように、ファーストフォワード動作においては上述した動作、つまり、フィードバック動作が行われる。
【００２２】
また、ＭＰＥＧにおいては、上述したようにバッファリングの遅延時間を規定しており、位相同期をとらない場合のこのバッファリング遅延時間は１秒以内と制限している。
【００２３】
【発明が解決しようとする課題】
しかしながら、図２６および図１６を参照して述べたフレームごとにタイムスタンプを用いる方法は、非常に多くのタイムスタンプを用い、１秒程度遅延させるために、タイムスタンプを格納するバッファがオーバーフローまたはアンダーフローするという問題がある。特に、ＤＳＰを用いた場合、搭載されるメモリ容量が限定されるから、オーバーフローまたはアンダーフローが発生する可能性が高い。図２６に示したビットストリームを用いる場合もタイムスタンプが多く、同じ問題が発生する。
また数多くのタイムスタンプを格納するタイムスタンプバッファ５０７ａ、５０７ｂを設ける必要があるが、全ての復号装置においては大きな記憶容量のメモリを設けることが困難である。特に、ＤＳＰを用いて復号装置を構成する場合はこの問題が顕著である。
さらに、多くのタイムスタンプを用いることはスタートアップディレーを長くするという問題がある。
したがって、できるだけ少ない数のタイムスタンプを用いてビデオ信号とオーディオ信号との同期をとることが要求されている。
【００２４】
上述したＭＰＥＧに基づく規定は広範囲の適用が可能なように規定していることの裏返しとして、非常に基準が甘過ぎる点がある。
図２８に示した符号処理系１１０における多重化ビットストリームソース５へのビットストリームのフォーマット（多重化シンタックス）の容量などが明確に規定されていない。一方、多重化ビットストリームソース５からビットストリームを入力して復号する復号処理系６１０も種々のものがあり、種々の形態で使用される。
その結果として、多重化ビットストリームソース５から出力されたビットストリームが適用できる復号処理系もあれば、そのビットストリームでは実質的に復号が困難な復号処理系も存在する。
【００２５】
また、図２７を参照して述べたように、ファーストフォワード動作において、ディレクトリバッファが空になり、新たに格納されたポインタまでフィードバックする場合には、ビデオテープを巻き戻すことになり、復号処理動作が非常に遅くなるという問題がある。
【００２６】
また上述したＭＰＥＧにおいては、バッファリング遅延時間を１秒として規定しているが、この固定した１秒という遅延時間についても問題がある。たとえば、非常に性能のよい復号を行う場合は１秒の遅延時間では不十分であり、たとえば、０．２秒程度の迅速な応答が必要な場合もある。その反面、高解像度の画像を必要とする場合は応答性よりも解像度が重要であり、バッファリング遅延時間を１秒以内でてければならないという応答性を要求せず、たとえば、５秒程度の遅延時間でよい場合がある。このような場合にバッファリング遅延時間として全ての用途に対して固定の１秒という制限を課すと、高解像度の画像処理にはＭＰＥＧを適用できないという問題がある。
【００２７】
このようにＭＰＥＧの規格は種々の広範囲な適用に適合させることを意図した規格である反面、実際の適用においては、種々の観点から問題を含んでいる。
【００２８】
上述したように、たとえば、非常に緩慢な動画像を表示するような場合、あるいは、５秒間のスチル画像を表示するようにな場合に、１秒以上の遅延時間が好ましく、ＭＰＥＧの規格で定めた１秒の遅延時間を廃止することが望ましい。
この１秒の遅延時間の制約を設けない他の用途がある。たとえば、符号化系が１秒当たり最大４．５メガビットのビットレートのデータ送信またはディジタル記録媒体へのデータ伝送をサポートできる場合、画像の品質はスタートアップディレーおよび圧縮レートよりも高くなり、復号系におけるバッファリングを実現する装置の価格が高くなる。この場合、ビデオビットストリームは２部分になる。第１の部分は比較的容易な圧縮を行う５秒のビデオシーケンスであり、第２の部分は圧縮が難しい５秒のビデオシーケンスである。
この用途は可変ビットレートの用途ではあるが、符号化系が１０秒間について連続的に最大通信ビットレート、すなわち、１秒当たり４．５メガビットを用いることを決定するから、これら２つのシーケンスについては１０秒ｘ４．５メガビット／秒＝４５メガビット／秒が可能である。符号化系は、第１部分シーケンスについて１５０ピクチャーデータのために１５メガビット、第２部分シーケンスについて１５０ピクチャーデータのために３０メガビットを許可することを決定する。したがって、第１部分のシーケンスについてのビデオ・ビットレートは１５メガビット／５秒＝３メガビット／秒であり、第２部分のシーケンスについてのビデオ・ビットレートは、３０メガビット／５秒＝６メガビット／秒である。
【００２９】
これらの値はＩＳＯの規定に基づく実際のビデオシーケンスに基づいている。第１部分は、バレーダンスのような動きの速い画像データを記録するビデ信号オであり、第２の部分は人間が自転車に乗っているような比較的動きが遅い画像データ記録するビデオ信号である。
他のＩＳＯ規格のビデオシーケンスもまた、数秒の大きなビットレートビデオに続けて、数秒の低いビットレートビデオを持っている。
図２９は、上記第１部分を復号化する場合初期値が３メガビット／秒であり、第２部分を復号化する場合初期値が６メガビット／秒である、×印で示したビデオデコーダバッファ入力レート、および、○で示したビデオデコーダバッファ出力レートを図解するグラフである。
時間ｔ＝０において、バッファへの入力データは４．５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。
時間ｔ＝３．３３秒経過時点において、バッファへの入力データは３．３３秒ｘ４．５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトデータがバッファに入り、第２部分のデータから４．５メガビット／秒でバッファに入る。
時間ｔ＝５秒経過時点において、バッファからの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファから出ていく。ビデオデコーダ（復号系）が動作開始し、６メガビット／秒のデータレートで第２部分の復号を行う。復号系への入力データレートが４．５メガビット／秒のままであるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、バッファには第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝３．３３秒経過以来、４．５メガビット／秒のデータレートでバッファに記録されているから、バッファ内のビットの数は（５−３．３３）秒ｘ４．５メガビット／秒＝７．５メガビットである。これら７．５メガビットのバッファに満杯になっているデータは１．５メガビット／秒のレートで減少していき、（７．５メガビット／１．５メガビット／秒）＝５秒で終わる。
時間ｔ＝１０秒が経過して時点で、バッファが空になり、もし存在するなら後続するビデオが４．５メガビット／秒またはそれ以下で符号化される。
この場合、第１部分の最後のビデオ信号のバイトについての遅延、および、この最後のバイトに続く第２の部分の最初のバイト遅延が約（５−３．３３）秒＝１．６７秒であり、ＭＰＥＧの規定におけるバッファリング遅延時間である１秒を越えているという問題に遭遇する。
【００３０】
ビットストリーム受容性（ｃｏｍｐｌｉａｎｃｅ）を形成するため、伝送レートは図３０を参照して下記に述べるように、低減すべきである。
時間ｔ＝０において、バッファへの入力データは３．７５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。
時間ｔ＝４秒経過時点において、バッファへの入力データは４秒ｘ３．７５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファに入り、次いで、第２部分のデータから４．５メガビット／秒でバッファに入る。
時間ｔ＝５秒経過時点において、バッファからの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファから出ていく。ビデオデコーダが動作開始し６メガビット／秒のデータレートで第２部分の復号を行う。入力データレートが４．５メガビット／秒であるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、バッファには第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝４秒経過以来４．５メガビット／秒のビットレートでバッファに記録されているから、バッファ内のビットの数は４．５メガビットである。これら４．５メガビットのバッファに満杯になっているデータは１．５メガビット／秒のレートで減少していき、３秒で終わる。
時間ｔ＝８秒が経過した時点で、バッファが空になる。もしビデオデコーダが６メガビット／秒でデータを読み続けるならば、ここでアンダーフローが起こる。このアンダーフローを防止するため、ビデオデコータは第２部分の残っている２秒分のデータについてビットレートを６メガビット／秒から４．５メガビット／秒に低下させなければならない。
【００３１】
このビットストリームは、前に述べた３０メガビットではなく第２部分が６秒ｘ４．５メガビット／秒＝２７メガビットであるから、圧縮率が高く、スタートアップディレーが短く、小さな容量のビデオデコーダバッファでプレーバックできるという利点を有するものの、１秒のバッファリング遅延により希望するビデオ信号の表示品質を提供できないという問題に遭遇する。
したがって、この観点からも、通常のビデオ信号について高い表示画像品質を実現するためには、ＭＰＥＧで規定する１秒のバッファリング遅延時間に限定することは好ましくない。
【００３２】
たとえば、あるビデオバイトのバッファリング遅延時間が１秒であり、レートが３０ＨＺ のビデオ信号の場合１秒当たり３０枚分のピクチャーを復号系内のバッファから取り出すから、最悪の場合として３０枚分のピクチャーデータがバッファに存在する。かりにあるビデオ信号バイトのバッファリング遅延が上述したように最悪の場合として１．６７秒であるなら、このバイトの前に、１．６７秒ｘ３０＝５０枚分のピクチャーデータがあることになる。
【００３３】
従来は３０ＨＺ のレートについては固定の値としてピクチャーデータ３０枚分のタイムスタンプを記録するバッファ容量であったが、上述した例では、ビデオ信号のレートが３０ＨＺ の場合、たとえば、５０分のタイムスタンプをバッファに記録することが望ましい。
ただし、ピクチャーデータの圧縮率は可変であるから、復号系に入力されるピクチャーデータとタイムスタンプとは必ずしも一致しない。そこで、かりに１秒のバッファリング遅延時間として３０ＨＺ の場合に通常、１秒間に３０枚分のピクチャーデータが復号系に到来するとして、３０個分のタイムスタンプを記録するバッファの容量とすると、ピクチャーデータに対応できなくなる場合がある。したがって、タイムスタンプを記録するバッファの容量としては、ピクチャーデータの圧縮率をも考慮することが望ましい。
【００３４】
ここで、さらに次の問題に遭遇する。符号化系からデータ蓄積系またはデータ伝送系に送出するデータ、またはデータ蓄積系またはデータ伝送系において誤りが生ずる。
非常に多くの誤りが生じた場合、全てのピクチャーデータについてタイムスタンプを持っていることが復号系において正確に復号する点で好ましい。
しかしながら、ビデオビットストリームの遅延が１．６７秒より長く、全てのピクチャーが１つのタイムスタンプを持っている場合、３０分のタイムスタンプバッファはオーバーフローしてしまう。
【００３５】
したがって、本発明はビデオ信号およびオーディオ信号をビットストリームとしてデータ伝送系またはデータ蓄積系に提供し、さらにビデオ信号とオーディオ信号を同期させつつ復号する観点において、上述して問題を解決して、一定の標準化を図りつつ、大規模な回路構成にならず広範囲な適用を可能にする、画像および音声信号処理方法とその装置を提供することを目的とする。
【００３６】
【課題を解決するための手段】
いずれにしても、種々の適用を考慮すると、タイムスタンプのバッファリング遅延時間を１秒に固定して限定することは好ましくないから、本発明においては、バッファリング遅延時間を１秒に固定せず、その目的に沿った許容遅延時間とする。
したがって、本発明においては、高品質の画像データはもとより、通常のビデオ信号についても１秒の遅延時間を排除する。
【００３７】
次いで、最後に述べた問題点について述べると、たとえば、３０ＨＺ のビデオ信号の場合、システムターゲットデコーダのタイムスタンプバッファの容量を、できるだけ多く、少なくともピクチャーデータ５０枚分以上にすることが望ましい。２５ＨＺ のビデオ信号の場合には、たとえば、少なくともピクチャーデータを４１枚分以上とする。
つまり、このタイムスタンプバッファの容量としては、少なくともビデオ信号のレート、実質的な遅延時間に依存して決定することが望ましい。好適には、さらに圧縮率をも考慮して充分余裕を持った値とすることが望ましい。
しかしながら、圧縮率はピクチャーデータの内容によって異なるから事前に明確に規定することができない。そのためには、標準的な圧縮率を想定しておき、この標準的な圧縮率と、ビデオ信号の伝送レートと、許容遅延時間とを考慮して、復号系におけるタイムスタンプを記録するバッファの最大容量を決定する。
【００３８】
また本発明においては、ディレクトリの数を少ない数に分割し、ファーストフォワード動作におけるフィードバックが生じても、またはファーストリバース動作によって、最初の位置まで戻る必要がないようにする。
さらに本発明においては、上述したタイムスタンプのバッファリング数を増加させるという観点とは異なる観点から、復号に使用するタイムスタンプの数を減少させ、バッファの記憶容量を低減し、さらにオーバーフローまたはアンダーフローを生じさせない。
また本発明においては、復号におけるバッファ処理の遅延時間に制限をつけない一方で、性能のよい復号に適合するように遅延時間を短縮する。
また本発明は極力スタートアップディレーを生じさせない。
【００３９】
したがって、本発明の第１の形態によれば、画像信号および音声信号をそれぞれ同時的に圧縮処理をし、これら圧縮された画像信号および音声信号にタイムスタンプを付加し、順次マルチプレクシングしたビットストリームとして送出する符号処理系と、該符号処理系から送出されたビットストリームを伝送または蓄積するデータ伝送系またはデータ蓄積系と、該データ伝送系またはデータ蓄積系からのビットストリームを入力し、デマルチプレクシングして前記圧縮画像信号、前記圧縮音声信号、前記タイムスタンプをバッファリングし、該タイムスタンプを参照して前記圧縮画像信号および前記圧縮音声信号を同期させて復号する復号処理系とを有し、前記復号処理系における前記タイムスタンプをバッファリングする遅延時間を少なくとも前記画像データが正常にバッファリングされる許容遅延時間に設定し、前記タイムスタンプを分離してバッファリングするバッファメモリの容量を該許容遅延時間と少なくとも前記画像データが入力されるビットストリームの速度で規定される大きさ以上の容量とする画像および音声信号処理装置が提供される。
また本発明によれば、画像信号および音声信号がそれぞれ同時的に圧縮処理され、これら圧縮された画像信号および音声信号にタイムスタンプが付加され、順次マルチプレクシングしたビットストリームとして入力される信号を、デマルチプレクシングして前記圧縮画像信号、前記圧縮音声信号、前記タイムスタンプを分離してバッファリングし、該タイムスタンプを参照して前記圧縮画像信号および前記圧縮音声信号を同期させて復号する復号処理方法であって、前記タイムスタンプをバッファリングする遅延時間を、少なくとも前記画像データが正常にバッファリングされる許容遅延時間に設定し、前記タイムスタンプをバッファリングするバッファメモリの容量を該許容遅延時間と少なくとも前記画像データが入力されるビットストリームの速度で規定される大きさ以上の容量とする復号処理方法が提供される。
【００４３】
【作用】
本発明の第１の形態においては、バッファリング遅延時間を１秒に固定せず、ピクチャーデータおよびオーディオデータ、特に、ピクチャーデータのビットストリームレートに則して規定される許容バッファリング遅延時間で必要な数のタイムスタンプをバッファリングする。
特に、非常に多くのピクチャーデータが失われたような場合にも、多くのタイムスタンプを用いて、その救済を図ることができる。
【００４７】
【実施例】
本発明の画像および音声信号処理方法とその装置の第１実施例について述べる。第１実施例は、通常のビットストリームレートのビデオ信号についても、ＭＰＥＧで規定する１秒のバッファリング遅延時間の制限を排除し、さらにタイムスタンプをバッファリングする容量をビデオ信号がバッファリングされる数よりも大きくして、かりに大きな（長時間の）ビデオ信号の喪失が発生しても、余分のタイムスタンプを用いて，同期回復を可能とする場合について述べる。
【００４８】
図１は第１実施例としてのビデオ信号およびオーディオ信号処理装置の構成を示す図である。
このビデオ信号およびオーディオ信号処理装置は、圧縮処理前の原ビデオ信号、つまり、非圧縮ビデオ信号を提供する非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信号を提供する非圧縮オーディオ信号源３、これら非圧縮ビデオ信号源２および非圧縮オーディオ信号源３から送出された非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をして、ビデオ信号とオーディオ信号とを多重化して符号化した拘束パラメータビットストリーム形態の圧縮符号化信号Ｓ１を出力する符号処理系１０、および、符号処理系１０からの拘束パラメータ・ビットストリーム形態の圧縮符号化信号Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄積系５を有する。
データ伝送系またはデータ蓄積系５としては、データ伝送系として、たとえば、衛星通信系、データ通信系などが対象となり、データ蓄積系として、たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどが対象となる。以下、本実施例においては、データ伝送系またはデータ蓄積系５として、ビデオテープを用いる場合について述べる。
またこのデータ伝送系またはデータ蓄積系５は、後述する復号処理系６０に対して、多重化ビットストリームを提供するソースでもあるので、多重化ビットストリームソース５とも呼ぶ。
符号処理系１０は、この例では、ビットストリーム内のビデオ信号およびオーディオ信号ごとに、換言すれば、パケットごとに、タイムスタンプを付与する。したがって、データ伝送系またはデータ蓄積系５からも、パケットごとに、タイムスタンプを付与したビットストリームが送出される。
【００４９】
このビデオ信号およびオーディオ信号処理装置はまた、多重化ビットストリームソース５、つまり、本実施例では、ビデオテープから送出されるパケットごとに、タイムスタンプが付与された圧縮符号化信号Ｓ５を入力し、符号処理系１０における圧縮と逆のデマルチプレクシングおよび伸長処理をして、符号処理系１０に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６０を有する。
このビデオ信号およびオーディオ信号処理装置はさらに、符号処理系１０および復号処理系６０の処理を制御するため、それぞれ、符号処理系１０への基準信号および復号処理系６への基準信号を送出する拘束パラメータシステムターゲットデコーダ４０を有する。
拘束パラメータシステムターゲットデコーダ４０は、デマルチプレクシング部４１、ビデオ信号バッファ４２、オーディオ信号バッファ４３、ビデオ信号デコーダ４５、ビデオ信号用タイムスタンプバッファ５２、オーディオ信号用タイムスタンプバッファ５３、ビデオ信号用位相同期（Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ ：ＰＬＬ）回路５５、オーディオ信号用位相同期回路５６を有する。
【００５０】
図２に復号処理系６０の構成を示す。
復号処理系６０は拘束パラメータシステムターゲットデコーダ４０に対応して構成されるから、復号処理系６０は、デマルチプレクシング部６１、ビデオ信号バッファ６２、オーディオ信号バッファ６３、ビデオ信号タイムスタンプバッファ７２、オーディオ信号タイムスタンプバッファ７３、ビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびビデオ信号ＰＬＬ回路７５、および、オーディオ信号ＰＬＬ回路７６から構成されている。
スイッチング回路で構成されたデマルチプレクシング部６１は、入力したビットストリームを分離して、ビデオ信号はビデオ信号バッファ６２に出力し、オーディオ信号はオーディオ信号バッファ６３に出力し、ビデオ信号タイムスタンプはビデオ信号用タイムスタンプバッファ７２に出力し、オーディオ信号タイムスタンプはオーディオ信号用タイムスタンプバッファ７３に出力する。
ビデオ信号デコーダ６５はビデオ信号バッファ６２に記録されたビデオ信号を復号する。オーディオ信号デコーダ６６はオーディオ信号バッファ６３に記録されたオーディオ信号を復号する。
ビデオ信号ＰＬＬ回路７５はビデオ信号用タイムスタンプバッファ７２に記録されたタイムスタンプを用いて同期用クロックを生成する。オーディオ信号ＰＬＬ回路７６はオーディオ信号用タイムスタンプバッファ７３に記録されたタイムスタンプを用いて同期用クロックを生成する。したがって、たとえば、ビデオ信号の到来タイミングとオーディオ信号の到来タイミングが異なっていても、ビデオ信号用タイムスタンプとオーディオ信号用タイムスタンプとを用いて、ビデオ信号とオーディオ信号とを同期させることができる。
【００５１】
ビデオ信号のバッファリングの容量を、ビデオ信号のビットストリームレートと、許容バッファリング遅延時間に応じた容量とする。
ビデオ信号バッファ６２の記憶容量は、３０ＨＺ のビットストリームレートの場合、たとえば、３０枚のピクチャーデータを記憶可能な容量とする。
オーディオ信号バッファ６３の記憶容量は、オーディオ信号の大きさがビデオ信号の大きさより小さく長い時間のオーディオ信号を記録してもメモリ容量的にはあまり問題とならないこと、および、到来するビデオ信号とのタイミングを合わせるため、ビデオ信号の時間よりは長い時間のオーディオ信号を記録可能な容量であるが、実質的にビデオ信号バッファ６２の容量を越えない程度の容量としておく。
たとえば、ビデオ信号バッファ６２の記憶容量を４６Ｋバイト、オーディオ信号バッファ６３の記憶容量を４Ｋバイトとする。
【００５２】
タイムスタンプ自体の大きさは、ビデオ信号およびオーディオ信号のいずれよりも小さい。
ここでは、ビデオ信号用タイムスタンプバッファ７２、および、オーディオ信号用タイムスタンプバッファ７３の容量を、従来のバッファリング遅延時間、１秒に限定されない大きさとする。
タイムスタンプおよびその記憶容量についてついて述べる。
タイムスタンプは、符号処理系における圧縮前の同時的に圧縮処理されるビデオ信号とオーディオ信号を復号処理系において同期をとるため、バッファリングの問題を解決するため、さらには、符号処理系における複写のために設けられている。ここでは、タイムスタンプは特に、同期のため、および、バッファリングの問題を解決するために使用される場合について例示する。より特定的には、タイムスタンプはここでは、非常に大きなピクチャーデータの喪失が発生した、ピクチャーデータとタイムスタンプとを１対１に対応させただけでは、その救済処理にタイムスタンプが不十分になる場合を解決するために、復号処理系におけるバッファの容量を非常に多くする場合を例示する。
【００５３】
再び、図２９および図３０を参照して述べる。
たとえば、符号化処理系が１秒当たり最大４．５メガビットのビットレートのデータ送信またはディジタル記録媒体５へのデータ伝送をサポートできる場合、画像の品質はスタートアップデレィおよび圧縮レートよりも高くなり、復号系におけるバッファリングの価格が高くなる。この場合、ビデオビットストリームは２部分になる。第１の部分は比較的容易な圧縮を行う５秒のビデオシーケンスであり、第２の部分は圧縮が難しい５秒のビデオシーケンスである。
この用途は可変ビットレートの用途ではあるが、符号化処理系１０が１０秒間について連続的に最大通信ビットレート、すなわち、１秒当たり４．５メガビットを用いることを決定するから、これら２つのシーケンスについては１０ｘ４．５メガビット／秒＝４５メガビット／秒が可能である。符号化処理系１０は、第１部分シーケンスについて１５０ピクチャーのために１５メガビット、第２部分シーケンスについて１５０ピクチャーのために３０メガビットを許可することを決定する。
したがって、第１部分のシーケンスについてのビデオ信号・ビットレートは１５メガビット／５秒＝３メガビット／秒であり、第２部分のシーケンスについてのビデオ・ビットレートは、３０メガビット／５秒＝６メガビット／秒である。
図２９は、第１部分を復号化する場合初期値が３メガビット／秒であり、第２部分を復号化する場合初期値が６メガビット／秒である、星印で示したビデオデコーダバッファ入力レート、および、ビデオデコーダバッファ出力レートを図解するグラフである。
時間ｔ＝０において、バッファへの入力データは４．５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。
時間ｔ＝３．３３秒経過時点において、バッファへの入力データは３．３３秒ｘ４．５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがタイムスタンプバッファ７２に入り、第２部分のデータから４．５メガビット／秒でタイムスタンプバッファ７２に入る。
時間ｔ＝５秒経過時点において、タイムスタンプバッファ７２からの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがタイムスタンプバッファ７２から出ていく。ビデオデコーダが動作開始し、６メガビット／秒のデータレートで第２部分の復号を行う。入力デコーダレートが４．５メガビット／秒のままであるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、バッファには第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝３．３３秒経過以来、４．５メガビット／秒のデータレートでバッファに記録されているから、バッファ内のビットの数は（５−３．３３）秒ｘ４．５メガビット／秒＝７．５メガビットである。これら７．５メガビットのタイムスタンプバッファ７２に満杯になっているデータは１．５メガビット／秒のレートで減少していき、（７．５メガビット／１．５メガビット／秒）＝５秒で終わる。
時間ｔ＝１０秒が経過して時点で、タイムスタンプバッファ７２が空になり、もし存在するなら後続するビデオ信号が４．５メガビット／秒またはそれ以下で符号化される。
この場合、第１部分の最後のバイトについての遅延、および、この最後のバイトに続く第２の部分の最初のバイト遅延が約（５−３．３３）秒＝１．６７秒であり、ＭＰＥＧの規定における遅延時間である１秒を越えているという問題に遭遇する。
【００５４】
ビットストリーム受容性（ｃｏｍｐｌｉａｎｃｅ）を形成するため、伝送レートは図３０を参照して下記に述べるように、低減すべきである。
時間ｔ＝０において、タイムスタンプバッファ７２への入力データは３．７５メガビット／秒であり、バッファからの出力データは３メガビット／秒である。時間ｔ＝４秒経過時点において、タイムスタンプバッファ７２への入力データは４秒ｘ３．７５メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファに入り、次いで、第２部分のデータから４．５メガビット／秒でバッファに入る。
時間ｔ＝５秒経過時点において、バッファからの出力データは５秒ｘ３メガビット／秒＝１５メガビット／秒であるから、第１部分の最後のバイトがバッファから出ていく。ビデオデコーダが動作開始し６メガビット／秒のデータレートで第２部分の復号を行う。入力データレートが４．５メガビット／秒であるから、ここから、（６−４．５）＝１．５メガビット／秒のレートでバッファの満杯状態が少なくなっていく。この時点では、タイムスタンプバッファ７２には第２部分のデータのみが入っていることに留意されたい。これらのデータは時刻ｔ＝４秒経過以来４．５メガビット／秒のデータレートでバッファに記録されているから、タイムスタンプバッファ７２内のビットの数は４．５メガビットである。これら４．５メガビットのバッファに満杯になっているデータは１．５メガビット／秒のレートで減少していき、３秒で終わる。
時間ｔ＝８秒が経過した時点で、バッファが空になる。もしビデオデコーダが６メガビット／秒でデータを読み続けるならば、ここでアンダーフローが起こる。このアンダーフローを防止するため、ビデオデコータ６０は第２部分の残っている２秒分のデータについてビットレートを６メガビット／秒から４．５メガビット／秒に低下させなければならない。
【００５５】
このビットストリームは、前に述べた３０メガビットではなく第２部分が６秒ｘ４．５＝２７メガビットであるから、圧縮率が高く、スタートアップ遅延が短く、小さな容量のビデオデコーダバッファでプレーバックできるという利点を有するものの、１秒のバッファリング遅延により希望するビデオ品質を提供できないという問題に遭遇する。したがって、この観点からも、通常のビデオ信号について高いピクチャー品質を実現するためには、１秒のバッファリング遅延時間に限定することは好ましくない。
したがって、本発明においては、通常のビットストリームレートのビデオ信号についても１秒のバッファリング遅延時間を排除した。
【００５６】
たとえば、あるビデオバイトのバッファリング遅延時間が１秒であり、レートが３０ＨＺ のビデオ信号の場合１秒当たり３０枚分のピクチャーをビデオデコーダが取り出すから、最悪の場合として３０枚分のピクチャーデータがバッファ６２に存在する。かりにあるビデオ信号バイトのバッファリング遅延が上述したように最悪の場合として１．６７秒であるなら、このバイトの前に、１．６７ｘ３０＝５０枚分のピクチャーデータがあることになる。
従来は３０ＨＺ のレートについては３０分のタイムスタンプを記録するバッファ容量であったが、ビデオ信号のレートが３０ＨＺ の場合、たとえば、ビデオ信号５０枚分のタイムスタンプをバッファに記録することが望ましい。
したがって、この例では、ビデオ信号用タイムスタンプバッファ７２の容量としては、５０枚分のビデオ信号に相当する容量とする。
【００５７】
さらに、符号化処理系１０からデータ蓄積系またはデータ伝送系５に送出するデータ、またはデータ蓄積系またはデータ伝送系５において誤りが生ずる。非常に多くの誤りが生じた場合、全てのビデオ信号についてタイムスタンプを持っていることが復号系において正確に復号する点で好ましい。しかしながら、ビデオビットストリームの遅延が１．６７秒より長く、全てのビデオ信号が１つのタイムスタンプを持っている場合、３０枚分の容量では、タイムスタンプバッファ７２はオーバーフローしてしまう。
したがって、たとえば、ビットストリームレートが３０ＨＺ のビデオ信号の場合、タイムスタンプバッファ７２の容量を、できるだけ多く、少なくとも上述した５０枚分以上にすることが望ましい。
ビデオ信号の長時間の障害に対して救済を行うには、タイムスタンプバッファ７２の大きさは極力大きいほうが好ましい。しかしながら、実用上、バッファの容量には限度があるから、このタイムスタンプバッファの容量は、ビデオ信号のレート、実質的な遅延時間に依存して決定することが望ましい。
【００５８】
タイムスタンプ自体の大きさはビデオ信号に比較すると小さいから、符号化処理系６０を搭載するメモリに制限のあるＤＳＰで実現した場合でも、上記程度のタイムスタンプバッファ７２の容量なら特に問題はない。
しかしながら、上述した例示以上の容量の大量のタイムスタンプを記録させることもでき、その場合は、ＤＳＰ内のメモリを使用せず、ＤＳＰの外部にＳＲＡＭあるいはＤＲＡＭを設けて、大量のタイムスタンプを記憶させることもできる。
【００５９】
以上述べたように、第１実施例によれば、タイムスタンプのオーバーフローまたはアンダーフローを防止でき、事実上、ビットストリームレートに依存されずに、かりに長時間のデータ障害が発生したとしても、高い品質のビデオ信号をオーディオ信号に同期させて復号することができる。
【００６０】
図３は本発明の画像および音声信号処理装置の第２実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
第２実施例は、上述したＭＰＥＧにおける多重化シンタックス（多重化フォーマット）、特に、ディレクトリの長さに起因した問題を解決する。
このビデオ信号およびオーディオ信号処理装置は、図１５に示したビデオ信号およびオーディオ信号処理装置に類似した構成をしているが、第１実施例のビデオ信号およびオーディオ信号処理装置には、拘束パラメータシステムターゲットデコーダ４にディレクトリデータバッファ４４およびディレクトリデコーダ４７が付加されている。
【００６１】
ビデオ信号およびオーディオ信号処理装置は、圧縮処理前の原ビデオ信号、つまり、非圧縮ビデオ信号を提供する非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信号を提供する非圧縮オーディオ信号源３、これら非圧縮ビデオ信号源２および非圧縮オーディオ信号源３から送出された非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をして、ビデオ信号とオーディオ信号とを多重化して符号化した拘束パラメータビットストリーム形態の圧縮符号化信号Ｓ１を出力する符号処理系１、および、符号処理系１からの拘束パラメータ・ビットストリーム形態の圧縮符号化信号Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄積系５を有する。
データ伝送系またはデータ蓄積系５としては、データ伝送系として、たとえば、衛星通信系、データ通信系などが対象となり、データ蓄積系として、たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどが対象となる。以下、本実施例においては、データ伝送系またはデータ蓄積系５として、ビデオテープを用いる場合について述べる。
またこのデータ伝送系またはデータ蓄積系５は、後述する復号処理系６に対して、多重化ビットストリームを提供するソースでもあるので、多重化ビットストリームソース５とも呼ぶ。
【００６２】
このビデオ信号およびオーディオ信号処理装置はまた、多重化ビットストリームソース５、つまり、本実施例では、ビデオテープから送出される拘束ビットストリーム形態の圧縮符号化信号Ｓ５を入力し、符号処理系１における圧縮と逆のデマルチプレクシングおよび伸長処理をして、符号処理系１に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６を有する。
このビデオ信号およびオーディオ信号処理装置はさらに、符号処理系１および復号処理系６の処理を制御するため、それぞれ、符号処理系１への基準信号Ｓ４Ａおよび復号処理系６への基準信号Ｓ４Ｂを送出する拘束パラメータシステムターゲットデコーダ４を有する。
拘束パラメータシステムターゲットデコーダ４は、デマルチプレクシング部４１、ビデオ信号バッファ４２、オーディオ信号バッファ４３、ディレクトリデータバッファ４４、ビデオ信号デコーダ４５、オーディオ信号デコーダ４６、および、ディレクトリデコーダ４７を有する。
【００６３】
図４に復号処理系６の構成を示す。
復号処理系６は拘束パラメータシステムターゲットデコーダ４に対応して構成されるから、復号処理系６は、デマルチプレクシング部６１、ビデオ信号バッファ６２、オーディオ信号バッファ６３、ディレクトリデータバッファ６４、ビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびディレクトリデコーダ６７から構成されている。
図１７に図解した復号処理系６００と比較すると、ディレクトリデータバッファ６４およびディレクトリデコーダ６７が付加されている。
【００６４】
図５に多重化ビットストリームソース５、この実施例ではビデオテープから復号処理系６に入力されるビットストリームを示す。このビットストリームは、図２７（Ａ）に示したビットストリームを変形したものであり、ディレクトリパッケットとビデオパッケットとの対が連続するようにフォーマットが構成されている。
ディレクトリパッケットには、ディレクトリパッケットヘッダ、および、ビデオパッケット内のピクチャーグループのポインタが記述されている。
ビデオパッケットにはそのビデオパッケットのヘッダ（ビデオパッケットヘッダ）が設けられ、次いでこのビデオパッケットヘッダに続けて、第（−１）番目のピクチャーグループ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ） ＧＯＰ−１が設けられ、さらに１０個のピクチャーグループ、つまり、第０番目のピクチャーグループＧＯＰ０〜第９番目ピクチャーグループＧＯＰ９が設けられている。
ピクチャーグループとは、たとえば、符号内（ＩＮＴＲＡフレーム）符号化方法）において符号化した一連のピクチャー、または、符号間（ＩＮＴＥＲフレーム）符号化方法において符号化した一連のピクチャーをいう。また、ピクチャーとは表示装置に表示される画像をいう。
ビデオパッケット内には１０個のピクチャーグループＧＯＰ０〜ＧＯＰ９が設けられているから、ディレクトリパッケット内のポインタも１０個のポインタ、Ｐ０〜Ｐ９が設けられている。
【００６５】
スイッチング回路で構成されたデマルチプレクシング部６１は、図５に示したビットストリームを分離して、ビデオ信号はビデオ信号バッファ６２に出力し、ディレクトリデータはディレクトリデータバッファ６４に出力する。
ビデオ信号バッファ６２の記憶容量は、上述した例と同様、４６Ｋバイトである。ディレクトリデータバッファ６４は、１ポインタ当たり１００ビット必要であるから、１０ポインタ合計で１Ｋビットの記憶容量となる。このように、ディレクトリデータバッファ６４の記憶容量はビデオ信号バッファ６２の記憶容量に比較して非常に少ない。
ビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびディレクトリデコーダ６７は高速演算処理が必要とされ、これらビデオ信号デコーダ６５、オーディオ信号デコーダ６６およびディレクトリデコーダ６７は高速演算に適した回路構成のディジタル信号処理装置（ＤＳＰ）で一体構成される場合が多い。その反面、ＤＳＰには大きな記憶容量のメモリを搭載することが難しい場合が多い。したがって、ＤＳＰに接続されるビデオ信号バッファ６２、オーディオ信号バッファ６３およびディレクトリデータバッファ６４の記憶容量はある程度制限される。しかしながら、ビデオ信号バッファ６２およびオーディオ信号バッファ６３の記憶容量は、ＭＰＥＧの規定に従った記憶容量を有する必要があるから、結局、ディレクトリデータバッファ６４の記憶容量を極力小さくする必要がある。その反面、ディレクトリデータバッファ６４に記憶されるディレクトリのオーバーフローおよびアンダーフローを考慮する必要もある。そこで、本実施例においては、ディレクトリデータバッファ６４の記憶容量を１Ｋビットとしている。
このように、ディレクトリデータバッファ６４の記憶容量が比較的少ないので、ディレクトリデータバッファ６４を付加してもＤＳＰにとって大きな負担にはならない。
本実施例においては、ビデオ信号バッファ６２は４６Ｋバイトの記憶容量を有するスタテックランダムアクセスメモリ（ＳＲＡＭ）で構成され、オーディオ信号バッファ６３は４Ｋバイトの記憶容量を有するＳＲＡＭで構成され、ディレクトリデータバッファ６４は１Ｋビットの記憶容量を有するＳＲＡＭで構成されている。
【００６６】
図５はビデオ信号のビットストリームについて述べたが、オーディオ信号についても上記同様のフォーマットで多重化ビットストリームソース５から復号処理系６に入力される。
【００６７】
図６（Ａ）はビデオ信号バッファ６２に入力される出力されるビデオ信号の経時変化を示すグラフである。図６（Ｂ）はディレクトリデータバッファ６４に入力され出力されるディレクトリデータの経時変化を示すグラフである。図６（Ａ）、（Ｂ）において、横軸は時間変化を示し、縦軸はビデオ信号バッファ６２およびディレクトリデータバッファ６４に蓄積されているビデオ信号とディレクトリデータの量を示す。図６（Ｂ）の破線で示した曲線はバッファリングにおいてオーバーフローする限界を示し、実線で示した曲線はアンダーフローする限界を示す。
図７は図５に示したフォーマットの圧縮符号化信号を含む多重化ビットストリームＳ５が復号処理系６に入力されたときのビデオ信号バッファ６２とディレクトリデータバッファ６４の動作を示す。
図６（Ａ）および図７において、ビデオ信号バッファ６２に入力するビデオ信号の量の変化が２段階になっている。最初の傾斜は第１のビデオパッケット内のピクチャーグループＧＯＰ０〜ＧＯＰ９が連続的にビデオ信号バッファ６２に入力される状態を示しており、第２の傾斜は第２のビデオパッケット内のピクチャーグループＧＯＰ１０〜ＧＯＰ１９が連続的にビデオ信号バッファ６２に入力される状態を示している。
【００６８】
ディレクトリデータバッファ６４は一度に最大１０個のポインタを入力する容量を有しているので、ディレクトリデータバッファ６４においてオーバーフローもアンダーフローも発生しない。
ピクチャーグループの大きさは変化する場合がある。しかしながら、一度にビデオ信号バッファ６２に入力されるピクチャーグループは最大１０個であり、この最大１０個についてビデオ信号デコーダ６５において順次復号処理が行われる。したがって、ビデオ信号バッファ６２にはオーバーフローまたはアンダーフローが発生しない。
特に、一度に処理する最大数を１０個と制限しているので、ビデオ信号バッファ６２の記憶容量を、上述し、従来と同等の大きさとして、４７Ｋバイトにした記憶容量を少なくすることができる。このことは、多重化ビットストリームソース５に対して種々の復号処理系６で処理することを考えると、ビデオ信号バッファ６２およびディレクトリデータバッファ６４の記憶容量が小さく、また、ビデオ信号デコーダ６５およびディレクトリデコーダ６７の処理能力が低い復号処理系６においても、オーバーフローまたはアンダーフローを生じさせずに復号処理が可能になるという利点を意味している。つまり、多重化ビットストリームソース５から、図５に示したような、ディレクトリデータおよびこれに対応するピクチャーグループを分割した信号伝送形態（フォーマット）で復号処理系６に提供することにより、種々の復号処理系６がそのフォーマットに追従して復号処理可能になる。
もちろん、このようなフォーマットは符号処理系１において多重化ビットストリームソース５に提供されるから、元々、符号処理系１において、このようなビットストリームになるように多重化ビットストリームソース５に出力する。
【００６９】
図８はユーザーによるピクチャーのスキップ動作がある場合のビデオ信号バッファ６２に入力されるピクチャーグループの経緯を示す。
ピクチャーグループをいかにスキップさせるかは、ディレクトリパッケット内に記述されたポインタに従って行われる。
本実施例においては、一度に最大、１０ポインタ、１０ピクチャーグループごと処理している。したがって、破線で示したように、かりに、ピクチャーグループ１２からピクチャーグループ１０に戻すような場合でも、第１のディレクトリパッケットに戻るでもなく、ディレクトリデータバッファ６４に記憶されている第２ディレクトリパッケット内のポインタを参照してピクチャーグループＧＯＰ１０の表示についての復号処理を行えばよい。
たとえば、ビデオテープについて小さな範囲で巻き戻ししてプレーバックする場合、このように、多重化ビットストリームソース５から多重化ビットストリームＳ５を読み返すことなく行われることが多い。従来の方法では、図２７に図解したように、最初のディレクトリパッケットまで戻ることになり、即時性に問題がある。本実施例では、すでにディレクトリデータバッファ６４に格納されているポインタを用いて、ビデオ信号バッファ６２に格納されているビデオ信号を用いて迅速なスキップ動作が可能になる。
特に、多重化ビットストリームソース（データ伝送系またはデータ蓄積系）５として、ビデオテープを用いたような場合には、最初のディレクトリまで戻すの時間がかかるという問題があったが、本実施例では、データ伝送系またはデータ蓄積系５がビデオテープであっても、プレイバックに大きな時間を要しないという利点がある。
データ伝送系またはデータ蓄積系５として、ＬＤなどを使用した場合も、ディレクトリデータおよびピクチャーグループの再読みだし回数が減少するから、迅速なスキップ動作が実現できる。
【００７０】
上述した第２実施例においては、一度にディレクトリデータバッファ６４に格納可能なディレクトリデータを１０個まで許容する例を示したが、本発明は最大格納ディレクトリデータの数を１０には限定するものではなく、本発明においては、より少ない数、たとえば、最大ディレクトリデータ数を５個にすることもできる。ディレクトリデータ数を５個にした場合、ディレクトリデータバッファ６４の記憶容量は０．５Ｋビット（５００ビット）になる。ディレクトリデータバッファ６４の記憶容量が小さくなれば、ビデオ信号バッファ６２の記憶容量を小さくすることができる。このことは、バッファの記憶容量が小さく、復号処理の性能が低い復号処理系にも問題なく適用できることを意味している。
つまり、符号処理系１において、多重化ビットストリームソース５に一度に出力するビットストリームの数を極力小さくすると、種々の復号処理系６において、問題なく多重化ビットストリームソース５から出力される圧縮符号化信号を含む多重化ビットストリームＳ５を問題なく復号できることになる。
もちろん、一度に格納できるディレクトリデータの数を極端に小さくすると、たとえば、１にすると、多重化ビットストリームソース５から復号処理系６に入力される多重化ビットストリームＳ５の伝送頻度が高くなり、多重化ビットストリームソース５と復号処理系６との間の通信（伝送）速度がボトルネックになる可能性もある。したがって、一度に格納できるディレクトリデータの数は数個〜１０個程度が好ましい。
【００７１】
本発明の画像および音声信号処理方法とその装置の第３実施例について述べる。
上述したように、ＭＰＥＧの標準においてはバッファリング遅延時間が１秒と規定されているが、本実施例においては、このバッファリング遅延時間を排除する。その一方で、ビットストリーム内のビデオ信号およびオーディオ信号ごとにタイムスタンプを付与する。ただし、極力少ない数のタイムスタンプを用いる。
図９は第２実施例としてのビデオ信号およびオーディオ信号処理装置の構成を示す図である。
このビデオ信号およびオーディオ信号処理装置は、符号処理系１Ａ、非圧縮ビデオ信号源２、非圧縮オーディオ信号源３、拘束パラメータシステムターゲットデコーダ４Ａ、データ伝送系またはデータ蓄積系５、および、復号処理系６Ａを有する。
非圧縮ビデオ信号源２、非圧縮オーディオ信号源３およびデータ伝送系またはデータ蓄積系５は上述したものと実質的に同じである。
符号処理系１Ａは符号処理系１と同様、拘束パラメータシステムターゲットデコーダ４Ａは拘束パラメータシステムターゲットデコーダ４と同様、復号処理系６Ａは復号処理系６と同様であるが、下記に述べる点が異なる。
【００７２】
拘束パラメータシステムターゲットデコーダ４Ａは、デマルチプレクシング部４１、ビデオ信号バッファ４２、オーディオ信号バッファ４３、ビデオ信号デコーダ４５に加えて、ビデオ信号用タイムスタンプバッファ５２、オーディオ信号用タイムスタンプバッファ５３、ビデオ信号用位相同期（Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ ：ＰＬＬ）回路５５、オーディオ信号用位相同期回路５６を有する。
【００７３】
図１０に復号処理系６Ａの構成を示す。
復号処理系６Ａは拘束パラメータシステムターゲットデコーダ４Ａに対応して構成されるから、デマルチプレクシング部６１、ビデオ信号バッファ６２、オーディオ信号バッファ６３、ビデオ信号デコーダ６５、オーディオ信号デコーダ６６に加えて、ビデオ信号用タイムスタンプバッファ７２、オーディオ信号用タイムスタンプバッファ７３、ビデオ信号用位相同期（ＰＬＬ）回路７５、オーディオ信号用位相同期回路７６を有する。
第３実施例では、ビデオ信号バッファ６２の記憶容量を４６Ｋバイト、オーディオ信号バッファ６３の記憶容量を４Ｋバイト、ビデオ信号用タイムスタンプバッファ７２の記憶容量を３０タイムスタンプ分、同じくオーディオ信号用タイムスタンプバッファ７３の記憶容量を３０タイムスタンプ分に設定している。
【００７４】
図１１に符号処理系１Ａで符号化され、データ伝送系またはデータ蓄積系５に送出されたビデオ信号についてのビットストリームを示す。
このビットストリームは、複数のピクチャーグループからなり、それぞれのピクチャーグループは、ビデオ信号パッケットヘッダ、そのピクチャーグループ、そのピクチャーグループ内の１０個のフレームからなる。
ビデオ信号パッケットヘッダには、そのピクチャーグループのタイムスタンプが記述されている。
図１２（Ａ）は図１１に示したビットストリームを示し、図１２（Ｂ）はビデオ信号バッファ６２に格納されるビデオ信号の格納状態を示し、図１２（Ｃ）はビデオ信号用タイムスタンプバッファ５２に格納されるビデオ信号のタイムスタンプの格納状態を示す。つまり、図１１に示したビデオ信号のビットストリームが、図８に示した復号処理系６Ａに入力され、デマルチプレクシング部６１で分解されて、図１２（Ｂ）の実線で示したようにビデオ信号はオーバーフローなしにビデオ信号バッファ６２に格納され、図１２（Ｃ）に太い実線で示したようにビデオ信号についてのタイムスタンプはオーバーフローなしにビデオ信号用タイムスタンプバッファ５２に格納される。
図１２（Ｂ）において、実線で示したビデオ信号の出力タイミングは、ビデオ信号バッファ６２の出力遅延時間に基づいて４秒遅延してビデオ信号デコーダ６５に入力されている。同様に、図１２（Ｃ）において、ビデオ信号のタイムスタンプはビデオ信号用タイムスタンプバッファ７２において４秒遅延されてビデオ信号用位相同期回路７５に入力されている。
【００７５】
図１０において、ビデオ信号用位相同期回路５５はビデオ信号用タイムスタンプバッファ５２に格納されてタイムスタンプに基づいて正確に位相同期してクロックを発生する。ビデオ信号デコーダ４５はビデオ信号用タイムスタンプバッファ５２に格納されたビデオ信号を復号する。
上述した実施例は、ビデオ信号について述べたが、オーディオ信号についても上記ビデオ信号と同様に処理される。
【００７６】
第３実施例においてはバッファリング遅延時間に限度を設けていない。したがって、復号処理系６Ａは入力されたビットストリームで規定されたタイムスタンプに基づいて生成される位相同期されたクロックに基づいて、遅延時間の制約を受けないで、復号処理を行う。その結果として、種々の復号処理系６Ａが上述したビットストリームのビデオ信号およびオーディオ信号を復号できる。
遅延時間に限度をつけない場合の利点としては、たとえば、ＭＯ、ＤＣＣなどにビデオ信号とオーディオ信号とを記録し、復号する場合、そのバッファリング遅延時間は１秒以上、たとえば、２〜５秒程度の許容時間があるから、このような応答時間の長い復号に本実施例を適用することが好適である。
また、このバッファリング遅延時間を排除することにより、高解像度の画像を必要とし応答性をさほど問題にしない用途においても、画像符号および復号技術を適用できる。
ビデオ信号のタイムスタンプとオーディオ信号のタイムスタンプに基づいてそれぞれ生成されたクロックに基づいて復号されるから、復号されたビデオ信号とオーディオ信号とは同期している。
【００７７】
本発明の画像および音声信号処理方法とその装置の第４実施例について述べる。
図１３は本発明の第４実施例についてのビットストリームを示す。
図１３に示したビットストリームは、第１のビデオ信号パッケットは、第１のオーディオ信号パッケット、第２のビデオ信号パッケット、第２のオーディオ信号パッケット、以下、同様に、ビデオ信号パッケットとオーディオ信号パッケットが続けられて構成されている。
第１のビデオ信号パッケットは、ビデオ信号パッケットヘッダ、第０番目のピクチャーグループＧＯＰ０、このピクチャーグループＧＯＰ０に関係する第０〜第１９のフレームＦ０〜Ｆ１９、〜、第３番目のピクチャーグループＧＯＰ３、このピクチャーグループＧＯＰ３に関係する第０〜第１９のフレームＦ０〜Ｆ１９で構成されている。
この第１のビデオ信号パッケットの後に、第１のオーディオ信号パッケットが続いている。ビデオ信号パッケットは、オーディオ信号パッケットヘッダ、オーディオ信号アクセスユニットＡＡＵを有する。
第１のビデオ信号パッケットのビデオ信号パッケットヘッダに、ビデオ信号タイムスタンプが記述され、第１のオーディオ信号パッケットヘッダにオーディオ信号タイムスタンプが記述されている。
第２ビデオ信号パッケットのビデオ信号パッケットヘッダ、第２のオーディオ信号パッケットのオーディオ信号パッケットヘッダ以降にも、それぞれ、ビデオ信号タイムスタンプ、オーディオ信号タイムスタンプを記述することができるが、これらはオプションであり、本実施例においては、第１のビデオ信号パッケットのビデオ信号パッケットヘッダにビデオ信号タイムスタンプを記述し、第１のオーディオ信号パッケットヘッダにオーディオ信号タイムスタンプを記述することが本質的である。
【００７８】
このビットストリームを符号処理する復号処理系は、図１０に図示した復号処理系６Ａと同様な構成となるが、ビデオ信号タイムスタンプおよびオーディオ信号タイムスタンプＴＩＭＥ−ＳＴＡＭＰが最小でそれぞれ１つであるから、ビデオ信号用タイムスタンプバッファ７２およびオーディオ信号用タイムスタンプバッファ７３の記憶容量はそれぞれ１つのタイムスタンプを記憶するに充分な記憶容量でよい。つまり、第４実施例においては、タイムスタンプの記憶容量を減少でき、復号処理系をＤＳＰで構成するのに適している。
第４実施例においては、初期状態のみ印加されるビデオ信号のタイムスタンプに基づいてビデオ信号用位相同期回路７５が位相同期されたクロックを生成し、それ以降、このクロックを基準に位相同期されたビデオ信号のクロックが順次生成されていく。同様に、オーディオ信号のクロックについても、初期状態のみ印加されるオーディオ信号のタイムスタンプに基づいてオーディオ信号用位相同期回路７６が位相同期されたクロックを生成し、それ以降、このクロックを基準に位相同期されたオーディオ信号のクロックが順次生成されていく。
【００７９】
第４実施例においても第３実施例と同様に、復号処理系に印加されたタイムスタンプに基づいてビデオ信号およびオーディオ信号が復号される。これら復号されたビデオ信号およびオーディオ信号は位相同期されたクロックを用いて復号されるから、復号されたビデオ信号と復号されたオーディオ信号とは同期している。
【００８０】
本発明の画像および音声信号処理方法とその装置の第５実施例について述べる。
第３実施例において、ＭＰＥＧ基準における１秒のバッファリング遅延時間の限度をなくすことを提案した。その一方で、たとえば、業務用などの専門家向けの復号系など性能のよい復号処理系を用いる場合は、遅延時間をＭＰＥＧが規定する１秒より短くする必要がある。たとえば、０．２秒の遅延時間が必要とされる場合がある。本実施例では、たとえば、バッファリング遅延時間を０．２秒以内とする。
第５実施例においては、復号処理系におけるビデオ信号バッファ、オーディオ信号バッファの記憶容量を非常に小さくし、バッファにおけるバッファリング遅延時間を短くし、ビデオ信号復号器およびおよび復号器の処理時間を高速にする。
【００８１】
本発明の画像および音声信号処理方法とその装置の第６実施例について述べる。
第６実施例においては、図１４に示した多重化シンタックスによるビットストリームのデータが復号処理系に入力された時に、最初のビデオ信号タイムスタンプ、および、最初のオーディオ信号タイムスタンプのみを取り込んで、このタイムスタンプを用いて復号のためのクロックを生成する。
この時の復号処理系は、図１０に示した復号処理系の構成と同様の構成になるが、ビデオ信号タイムスタンプバッファ、および、オーディオ信号タイムスタンプバッファの記憶容量は非常に小さくできる。
また第６実施例によれば、ビデオ信号タイムスタンプ、および、オーディオ信号タイムスタンプはいかなる多重化シンタックスのビットストリームにおいても必ず最初のヘッダに記述されているから、ビットストリームの形態に依存せず、復号が可能となる。
【００８２】
以上、本発明の実施例において、画像信号としてテレビジョンなどにおけるビデオ信号を用いた場合について述べたが、本発明の実施に際しては、上述したビデオ信号に限らず種々の画像データについても適用できる。
また本発明の実施例として、１つのビデオ信号と１つのオーディオ信号との符号処理および復号処理について述べたが、たとえば、マルチメディアシステムなどにおけるように、複数のビデオ信号、複数のオーディオ信号について多重化し符号化してディジタルデータ蓄積媒体に記録し、再び、複数のビデオ信号および複数のオーディオ信号に復号する場合についても適用できる。
さらに、本発明はディジタルデータを蓄積する場合に限らず、データ通信（またはデータ伝送）を行う場合についても適用できる。
また圧縮および復号技術の例として、ＭＰＥＧを例示したが、本発明は上述したＭＰＥＧと同様の他の圧縮および復号技術を適用することができる。
【００８３】
【発明の効果】
本発明によれば、通常の画像データについても復号処理系におけるバッファリング遅延時間の制限をなくし、少なくとも画像データのビットストリームレートと許容遅延時間で規定される容量のタイムスタンプを復号処理系のバッファメモリに記憶することを可能にしているから、バッファリングの問題が解決され、さらに、非常に多くの画像データの喪失が生じても、復号処理系においてタイムスタンプを用いて同期回復を行うことができる。
【００８４】
また本発明によれば、種々の拘束パラメータ・ビットストリームの多重化シンタックスデータについて、種々の復号を可能とする。したがって、種々の符号化に依存されず効率よく復号できる。
【００８５】
さらに本発明によれば、バッファリング制限時間の限度なく、フレキシブルに多重化シンタックスデータを復号することができる。
【００８６】
本発明によれば、復号装置の構成を簡単にできる。特に、本発明によれば、記憶容量の小さなメモリを有するＤＳＰで構成できる。
【００８７】
また本発明によれば、ファーストフォワード、フィードバックなどの動作においても迅速な動作が可能になる。
【００８８】
さらに本発明によればさらに、長いスタートアップディレーを排除できる。
【図面の簡単な説明】
【図１】本発明の画像および音声信号処理装置の第１実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
【図２】図１に示したビデオ信号およびオーディオ信号処理装置における復号処理系の構成図である。
【図３】本発明の画像および音声信号処理装置の第２実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
【図４】図３に示したビデオ信号およびオーディオ信号処理装置における復号処理系の構成図である。
【図５】図３に示したビデオ信号およびオーディオ信号処理装置における多重化シンタックス（フォーマット）を示す図である。
【図６】図４に示した復号処理系におけるディレクトリバッファ、および、ディレクトリデコーダの動作を示すグラフである。
【図７】図３に示した復号処理系の動作を示す図である。
【図８】図３に示す復号処理系におけるスキップ動作を示す図である。
【図９】本発明の画像および音声信号処理装置の第３実施例としてのビデオ信号およびオーディオ信号処理装置の構成図である。
【図１０】図３に示したビデオ信号およびオーディオ信号処理装置における復号処理系の構成図である。
【図１１】図９に示したビデオ信号およびオーディオ信号処理装置における多重化シンタックス（フォーマット）を示す図である。
【図１２】図４に示した復号処理系におけるディレクトリバッファ、および、ディレクトリデコーダの動作を示すグラフである。
【図１３】本発明の第４実施例としてのビットストリームを図解する図である。
【図１４】本発明の第６実施例としてのビットストリームを図解する図である。
【図１５】従来のＭＰＥＧに基づくビデオ信号およびオーディオ信号処理装置の構成図である。
【図１６】図１５における拘束パラメータビットストリームのフォーマットを示す図であり、（Ａ）は図１５における符号処理系においてマルチプレクシングしたビットストリームを示し、（Ｂ）は復号処理系においてフォーマット変換した信号フォーマットを示す。
【図１７】図１５に示した復号処理系の構成図である。
【図１８】従来の復号処理系におけるオーディオ信号受信バッファに入力されるオーディオ信号とオーディオ信号復号器に入力されるオーディオ信号とのタイミングの関係を示す図である。
【図１９】従来の復号処理系におけるオーディオ信号受信バッファに入力されるオーディオ信号とオーディオ信号復号器に入力されるオーディオ信号との他のタイミングの関係を示す図である。
【図２０】バッファにおけるオーバーフローとアンダーフローを示す図である。
【図２１】図２０に示したオーバーフローまたはアンダーフローを防止する方法を示す図である。
【図２２】スタートアップディレーを説明する図である。
【図２３】他のバッファリング処理を示す図である。
【図２４】さらに他のバッファリング処理を示す図である。
【図２５】先行出願の復号器の構成図である。
【図２６】図２５に示した復号器で処理するビットストリームを示す図である。
【図２７】従来の他のビットストリームを示す図である。
【図２８】ＭＰＥＧに基づく他の従来のビデオ信号およびオーディオ信号処理装置の構成図である。
【図２９】従来の他のバッファリングの問題を図解する図である。
【図３０】図２９に示した問題を解決するバッファリングの方法を図解する図である。
【符号の説明】
１，１０・・符号処理系
２・・非圧縮ビデオ信号源
３・・非圧縮オーディオ信号源
４，４０・・拘束パラメータシステムターゲットデコーダ
４１・・デマルチプレクシング部
４２・・ビデオ信号バッファ
４３・・オーディオ信号バッファ
４４・・ディレクトリデータバッファ
４５・・ビデオ信号デコーダ
４６・・オーディオ信号デコーダ
４７・・ディレクトリデコーダ
５２・・ビデオ信号用タイムスタンプバッファ
５３・・オーディオ信号用タイムスタンプバッファ
５５・・ビデオ信号用位相同期回路
５６・・オーディオ信号用位相同期回路
５・・データ伝送系またはデータ蓄積系多重化ビットストリームソース
６，６０・・復号処理系
６１・・デマルチプレクシング部
６２・・ビデオ信号バッファ
６３・・オーディオ信号バッファ
６４・・ディレクトリデータバッファ
６５・・ビデオ信号デコーダ
６６・・オーディオ信号デコーダ
６７・・ディレクトリデコーダ
７２・・ビデオ信号用タイムスタンプバッファ
７３・・オーディオ信号用タイムスタンプバッファ
７５・・ビデオ信号用位相同期回路
７６・・オーディオ信号用位相同期回路
Ｓ１・・符号処理系からの圧縮符号化信号
Ｓ２・・非圧縮ビデオ信号
Ｓ３・・非圧縮オーディオ信号
Ｓ５・・圧縮符号化信号を含む多重化ビットストリーム
Ｓ６Ａ・・復号化非圧縮ビデオ信号
Ｓ６Ｂ・・復号化非圧縮オーディオ信号
ＣＳＰＳ：Ｃｏｎｓｔｒａｉｎｔ Ｓｙｓｔｅｍ Ｐａｒａｍｅｔｅｒ Ｓｔｒｅａｍ（拘束システムパラメータ・ストリーム）（多重化ビットストリーム）
ＳＴＤ：Ｓｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ（システムターゲットデコーダ）
ＳＣＲ：Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（システムクロック基準）
ＤＴＳ：Ｄｅｃｏｄｅ Ｔｉｍｅ Ｓｔａｍｐ （ デコーダタイムスタンプ）
ＰＴＳ：Ｐｉｃｔｕｒｅ Ｔｉｍｅ Ｓｔａｍｐ（ ピクチャータイムスタンプ）
ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ（ ピクチャーグループ）
Claims (2)
- 画像信号および音声信号をそれぞれ同時的に圧縮処理をし、これら圧縮された画像信号および音声信号にタイムスタンプを付加し、順次マルチプレクシングしたビットストリームとして送出する符号処理系と、
該符号処理系から送出されたビットストリームを伝送または蓄積するデータ伝送系またはデータ蓄積系と、
該データ伝送系またはデータ蓄積系からのビットストリームを入力し、デマルチプレクシングして前記圧縮画像信号、前記圧縮音声信号、前記タイムスタンプをバッファリングし、該タイムスタンプを参照して前記圧縮画像信号および前記圧縮音声信号を同期させて復号する復号処理系と
を有し、
前記復号処理系における前記タイムスタンプをバッファリングする遅延時間を少なくとも前記画像データが正常にバッファリングされる許容遅延時間に設定し、前記タイムスタンプを分離してバッファリングするバッファメモリの容量を該許容遅延時間と少なくとも前記画像データが入力されるビットストリームの速度とで規定される大きさ以上の容量とする
画像および音声信号処理装置。 - 画像信号および音声信号がそれぞれ同時的に圧縮処理され、これら圧縮された画像信号および音声信号にタイムスタンプが付加され、順次マルチプレクシングしたビットストリームとして入力される信号を、デマルチプレクシングして前記圧縮画像信号、前記圧縮音声信号、前記タイムスタンプを分離してバッファリングし、該タイムスタンプを参照して前記圧縮画像信号および前記圧縮音声信号を同期させて復号する復号処理方法であって、
前記タイムスタンプをバッファリングする許容遅延時間を、少なくとも前記画像データが正常にバッファリングされる許容遅延時間に設定し、
前記タイムスタンプをバッファリングするバッファメモリの容量を該許容遅延時間と少なくとも前記画像データが入力されるビットストリームの速度で規定される大きさ以上の容量とする
復号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17052093A JP3552249B2 (ja) | 1993-07-09 | 1993-07-09 | 画像および音声信号処理方法とその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17052093A JP3552249B2 (ja) | 1993-07-09 | 1993-07-09 | 画像および音声信号処理方法とその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0730886A JPH0730886A (ja) | 1995-01-31 |
| JP3552249B2 true JP3552249B2 (ja) | 2004-08-11 |
Family
ID=15906469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17052093A Expired - Fee Related JP3552249B2 (ja) | 1993-07-09 | 1993-07-09 | 画像および音声信号処理方法とその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3552249B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009202A (en) * | 1994-12-28 | 1999-12-28 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US5721720A (en) * | 1994-12-28 | 1998-02-24 | Kabushiki Kaisha Toshiba | Optical recording medium recording pixel data as a compressed unit data block |
| DE69631393T2 (de) * | 1995-03-29 | 2004-10-21 | Hitachi Ltd | Dekoder für komprimierte und multiplexierte Bild- und Audiodaten |
| US6047027A (en) * | 1996-02-07 | 2000-04-04 | Matsushita Electric Industrial Co., Ltd. | Packetized data stream decoder using timing information extraction and insertion |
| JP2820105B2 (ja) * | 1996-02-28 | 1998-11-05 | 日本電気株式会社 | 音声信号処理回路 |
| TW439054B (en) * | 1998-04-08 | 2001-06-07 | Matsushita Electric Ind Co Ltd | Optical disc, optical disc recording method and apparatus, and optical disc reproducing method and apparatus |
| KR100584183B1 (ko) * | 1998-07-09 | 2006-10-04 | 엘지전자 주식회사 | 재 기록가능 기록매체의 데이터 기록방법 |
| JP4223151B2 (ja) * | 1999-07-30 | 2009-02-12 | エルジー エレクトロニクス インコーポレイティド | 音声追加記録方法及び光ディスク記録再生装置 |
| EP1129580B1 (en) * | 1999-09-21 | 2008-04-09 | Nxp B.V. | Clock recovery |
| JP4421156B2 (ja) | 1999-10-29 | 2010-02-24 | 富士通株式会社 | 画像再生装置および画像記録再生装置 |
| DE60044043D1 (de) * | 2000-08-17 | 2010-04-29 | Hitachi Ltd | Messsteuerung für ein Fahrzeug |
| KR100490403B1 (ko) | 2002-05-04 | 2005-05-17 | 삼성전자주식회사 | 오디오 스트림의 버퍼링 제어 방법 및 그 장치 |
| KR20040038184A (ko) * | 2002-10-31 | 2004-05-08 | 엘지전자 주식회사 | Ａ／ｖ 동기화를 위한 오디오 패킷 디코딩 방법 |
| JP6279146B2 (ja) * | 2015-03-05 | 2018-02-14 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びデータ処理プログラム |
| WO2021241111A1 (ja) * | 2020-05-29 | 2021-12-02 | 工機ホールディングス株式会社 | 締め付け工具 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3047987B2 (ja) * | 1990-08-24 | 2000-06-05 | 株式会社日立製作所 | 情報記録再生方式および装置 |
-
1993
- 1993-07-09 JP JP17052093A patent/JP3552249B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0730886A (ja) | 1995-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100205494B1 (ko) | 비디오 및 오디오 신호처리 시스템에 있어서의 보조정보를 위한 합리적인 입력 버퍼 회로 배열 | |
| US5481543A (en) | Rational input buffer arrangements for auxiliary information in video and audio signal processing systems | |
| JP3552249B2 (ja) | 画像および音声信号処理方法とその装置 | |
| US7058129B2 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
| US7292610B2 (en) | Multiplexed data producing apparatus, encoded data reproducing apparatus, clock conversion apparatus, encoded data recording medium, encoded data transmission medium, multiplexed data producing method, encoded data reproducing method, and clock conversion method | |
| JP4066058B2 (ja) | マルチメディア・システムのためのプログラマブルなオーディオ−ビデオ同期方法および装置 | |
| US5905768A (en) | MPEG audio synchronization system using subframe skip and repeat | |
| US8233780B2 (en) | Reproducing apparatus and method, and recording medium | |
| JPH10511513A (ja) | Ｍｐｅｇ再生システムにおいてオーディオとビデオを同期するための方法及び装置 | |
| JP3438223B2 (ja) | 多重化装置および多重化方法、並びに伝送装置および伝送方法 | |
| JP3404808B2 (ja) | 復号方法と復号装置 | |
| JP3750760B2 (ja) | 繰返し使用データ挿入装置およびディジタル放送送信システム | |
| JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
| RU2308098C2 (ru) | Воспроизводящее устройство и способ и записывающий носитель | |
| JPH0898160A (ja) | データ多重化装置 | |
| JP3536493B2 (ja) | オーサリングシステム，このシステムで使用される符号化装置及び多重化装置並びに多重ビットストリームを生成する方法 | |
| RU2401465C2 (ru) | Устройство и способ воспроизведения | |
| JPH099215A (ja) | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 | |
| Lu et al. | Mechanisms of MPEG stream synchronization | |
| KR0181081B1 (ko) | 시스템 복호화기의 이에스씨알 재생장치 | |
| JP2001359059A (ja) | プログラム多重化システム | |
| JPH10126274A (ja) | データ復号方法及びデータ復号装置、クロック変換方法及びクロック変換装置 | |
| JP2003284069A (ja) | 多重データ復号方法及び多重データ復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040426 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |