JPH0730886A - 画像および音声信号処理方法とその装置 - Google Patents
画像および音声信号処理方法とその装置Info
- Publication number
- JPH0730886A JPH0730886A JP17052093A JP17052093A JPH0730886A JP H0730886 A JPH0730886 A JP H0730886A JP 17052093 A JP17052093 A JP 17052093A JP 17052093 A JP17052093 A JP 17052093A JP H0730886 A JPH0730886 A JP H0730886A
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- video signal
- signal
- data
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 既存のＭＰＥＧを改善し、種々の復号処理装
置が復号可能な方式を提供する。 【構成】 既存のＭＰＥＧに規定されているバッファリ
ング遅延時間、１秒の制限を排除し、入力されるビデオ
信号のビットストリームレートとバッファリング処理時
間とによって規定されるバッファリング遅延許容時間を
用いる。復号処理装置（デコーダ）６０に入力されるビ
ットストリームは、圧縮されたビデオ信号およびオーデ
ィオ信号について、パケットごとにビデオ信号とオーデ
ィオ信号との同期をとるためのタイムスタンプが付加さ
れて連続して入力される。ビデオ信号用タイムスタンプ
バッファ７２の容量として、ビデオ信号のビットストリ
ームレートと、バッファリング遅延許容時間に応じた容
量とする。このタイムスタンプの記録量は、ビデオ信号
の記録量より多いので、かりに長時間ビデオ信号の喪失
が生じても同期回復が可能となる。
置が復号可能な方式を提供する。 【構成】 既存のＭＰＥＧに規定されているバッファリ
ング遅延時間、１秒の制限を排除し、入力されるビデオ
信号のビットストリームレートとバッファリング処理時
間とによって規定されるバッファリング遅延許容時間を
用いる。復号処理装置（デコーダ）６０に入力されるビ
ットストリームは、圧縮されたビデオ信号およびオーデ
ィオ信号について、パケットごとにビデオ信号とオーデ
ィオ信号との同期をとるためのタイムスタンプが付加さ
れて連続して入力される。ビデオ信号用タイムスタンプ
バッファ７２の容量として、ビデオ信号のビットストリ
ームレートと、バッファリング遅延許容時間に応じた容
量とする。このタイムスタンプの記録量は、ビデオ信号
の記録量より多いので、かりに長時間ビデオ信号の喪失
が生じても同期回復が可能となる。
Description
【０００１】
【産業上の利用分野】本発明は画像および音声信号処理
方法とその装置に関する。本発明は特に、動画像信号と
この動画像信号に同期している音声信号とを圧縮・符号
化してデータ伝送系またはデータ蓄積系にビットストリ
ームとして提供し、さらにデータ伝送系またはデータ蓄
積系からこのビットストリームを入力して伸長・復号す
るオーディオ・ビデオ（ＡＶ）信号処理などの画像およ
び音声データを処理する方法と装置に関する。さらに本
発明は上記信号処理を行う際、遅延時間の制限を廃止
し、復号系において画像と音声データとの同期などに使
用するタイムスタンプを記録するタイムスタンプバッフ
ァの容量を大きくする方法とその装置に関する。
方法とその装置に関する。本発明は特に、動画像信号と
この動画像信号に同期している音声信号とを圧縮・符号
化してデータ伝送系またはデータ蓄積系にビットストリ
ームとして提供し、さらにデータ伝送系またはデータ蓄
積系からこのビットストリームを入力して伸長・復号す
るオーディオ・ビデオ（ＡＶ）信号処理などの画像およ
び音声データを処理する方法と装置に関する。さらに本
発明は上記信号処理を行う際、遅延時間の制限を廃止
し、復号系において画像と音声データとの同期などに使
用するタイムスタンプを記録するタイムスタンプバッフ
ァの容量を大きくする方法とその装置に関する。
【０００２】
【従来の技術】コンパクトディスク・リードオンリーメ
モリ（ＣＤ−ＲＯＭ）、レーザディスク（ＬＤ）、ビデ
オテープ、磁気光学式記録媒体（ＭＯ）、ＤＣＣなどの
ディジタルデータ蓄積媒体に映像信号（ビデオ信号）お
よび音声信号（オーディオ信号）を圧縮し多重化（マル
チプレクシング）してビットストリームとして直接記録
し、再び、データ蓄積媒体から多重化されたビットスト
リームを読み出してデマルチプレクシングをして圧縮と
逆の伸長処理をし、圧縮処理前の元のビデオ信号（原ビ
デオ信号）および元のオーディオ信号を再生する（復号
する）ことが、ビデオテープ記録再生装置、マルチメデ
ィアシステム、その他の画像および音声データ処理装置
において行われている。またテレビジョン放送、衛星放
送、マルチメディアシステムなどにおいても、ビデオ信
号とオーディオ信号とを圧縮して符号化し、多重化した
ビットストリームとしてデータ伝送系またはデータ蓄積
系に出力し、その後、多重化されたビットストリームを
入力してデマルチプレクシングした後、圧縮の逆の伸長
処理をして元のビデオ信号とオーディオ信号とを復号す
ることが行われている。
モリ（ＣＤ−ＲＯＭ）、レーザディスク（ＬＤ）、ビデ
オテープ、磁気光学式記録媒体（ＭＯ）、ＤＣＣなどの
ディジタルデータ蓄積媒体に映像信号（ビデオ信号）お
よび音声信号（オーディオ信号）を圧縮し多重化（マル
チプレクシング）してビットストリームとして直接記録
し、再び、データ蓄積媒体から多重化されたビットスト
リームを読み出してデマルチプレクシングをして圧縮と
逆の伸長処理をし、圧縮処理前の元のビデオ信号（原ビ
デオ信号）および元のオーディオ信号を再生する（復号
する）ことが、ビデオテープ記録再生装置、マルチメデ
ィアシステム、その他の画像および音声データ処理装置
において行われている。またテレビジョン放送、衛星放
送、マルチメディアシステムなどにおいても、ビデオ信
号とオーディオ信号とを圧縮して符号化し、多重化した
ビットストリームとしてデータ伝送系またはデータ蓄積
系に出力し、その後、多重化されたビットストリームを
入力してデマルチプレクシングした後、圧縮の逆の伸長
処理をして元のビデオ信号とオーディオ信号とを復号す
ることが行われている。
【０００３】ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどの
データ蓄積媒体にビデオ信号およびオーディオ信号を圧
縮して符号化して記録し、データ蓄積媒体に記録された
符号化されたビデオ信号およびオーディオ信号を伸長し
て元のビデオ信号およびオーディオ信号に復号する蓄積
用動画符号化標準としての国際的な規格として、ＩＳＯ
とＪＥＣのデータ処理分野における共通事項を取り扱う
ＪＴＣＩの傘下にあるＳＣ２の中のワーキンググループ
（ＷＧ）１１において、ＭＰＥＧ（Motion Pictrure Im
age Coding Expert Group ）が定めた規格ＭＰＥＧ１、
および、規格ＭＰＥＧ２が知られている。
データ蓄積媒体にビデオ信号およびオーディオ信号を圧
縮して符号化して記録し、データ蓄積媒体に記録された
符号化されたビデオ信号およびオーディオ信号を伸長し
て元のビデオ信号およびオーディオ信号に復号する蓄積
用動画符号化標準としての国際的な規格として、ＩＳＯ
とＪＥＣのデータ処理分野における共通事項を取り扱う
ＪＴＣＩの傘下にあるＳＣ２の中のワーキンググループ
（ＷＧ）１１において、ＭＰＥＧ（Motion Pictrure Im
age Coding Expert Group ）が定めた規格ＭＰＥＧ１、
および、規格ＭＰＥＧ２が知られている。
【０００４】ＭＰＥＧは、広範囲な適用を前提とした標
準であり、位相同期（フェーズロック）をとる場合と位
相同期をとらない（アンロックする）場合とを予定して
いる。位相同期をとる場合は、ビデオ信号符号化クロッ
ク（つまり、フレームレート）とオーディオ信号符号化
クロック（つまり、オーディオ信号サンプリングレー
ト）とが共通のシステムクロック基準（System Clock R
eferense）ＳＣＲに位相同期される。ＭＰＥＧはこの場
合、０．７秒の周期でタイムスタンプを多重化ビットス
トリームに付加することを要求している。位相同期をと
らない場合は、ビデオ信号とオーディオ信号とは独立に
処理され、これらは符号化の際付加されたそれぞれのタ
イムスタンプに基づいて復号される。またＭＰＥＧは、
システムターゲットデコーダのバッファリング遅延時間
として、１秒を規定している。さらにＭＰＥＧは、復号
の際、ビデオ信号およびオーディオ信号を検索するため
のディレクトリを設けること規定している。
準であり、位相同期（フェーズロック）をとる場合と位
相同期をとらない（アンロックする）場合とを予定して
いる。位相同期をとる場合は、ビデオ信号符号化クロッ
ク（つまり、フレームレート）とオーディオ信号符号化
クロック（つまり、オーディオ信号サンプリングレー
ト）とが共通のシステムクロック基準（System Clock R
eferense）ＳＣＲに位相同期される。ＭＰＥＧはこの場
合、０．７秒の周期でタイムスタンプを多重化ビットス
トリームに付加することを要求している。位相同期をと
らない場合は、ビデオ信号とオーディオ信号とは独立に
処理され、これらは符号化の際付加されたそれぞれのタ
イムスタンプに基づいて復号される。またＭＰＥＧは、
システムターゲットデコーダのバッファリング遅延時間
として、１秒を規定している。さらにＭＰＥＧは、復号
の際、ビデオ信号およびオーディオ信号を検索するため
のディレクトリを設けること規定している。
【０００５】図１５はそのようなＭＰＥＧ１またはＭＰ
ＥＧ２をビデオ信号およびオーディオ信号処理装置に適
用した場合の構成例を示す図であり、いかにして符号処
理系１００が非圧縮ビデオ信号Ｓ２および非圧縮オーデ
ィオ信号Ｓ３を入力して、いかにして拘束パラメータシ
ステムターゲットデコーダ４００についてのある情報を
生成し、いかにして種々の復号処理系に適した拘束ビッ
トストリームを形成するかについて示している。このビ
デオ信号およびオーディオ信号処理装置は、圧縮処理前
の元のビデオ信号（原ビデオ信号）を提供する非圧縮ビ
デオ信号源２、圧縮処理前の原オーディオ信号を提供す
る非圧縮オーディオ信号源３、これら非圧縮ビデオ信号
Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の
圧縮処理をして符号化しさらに多重化処理（マルチプレ
クシング）してビットストリーム形態の圧縮符号化信号
Ｓ１００を出力する符号処理系１００、および、この符
号処理系１００からのビットストリーム形態の圧縮符号
化信号Ｓ１を伝送または蓄積するデータ伝送系またはデ
ータ蓄積系５を有する。データ伝送系またはデータ蓄積
系５としては、データ蓄積を行う場合はたとえば、ＣＤ
−ＲＯＭ、ＬＤ、ビデオテープなどであり、データ伝送
を行う場合はたとえば、テレビジョン放送通信系、通信
衛星系、データ通信系などである。ビデオ信号およびオ
ーディオ信号処理装置はまた、データ伝送系またはデー
タ蓄積系５から送出されるビットストリーム形態の圧縮
符号化信号Ｓ５を入力し、符号処理系１００における多
重化処理（マルチプレクシング）と逆の分解処理（デマ
ルチプレクシング）し、符号処理系１００における圧縮
と逆の伸長処理をして、符号処理系１００に入力される
前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号
Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号
化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６
００を有する。ビデオ信号およびオーディオ信号処理装
置はさらに、符号処理系１００および復号処理系６００
の処理を規定するため、それぞれ、符号処理系１００へ
のガイドライン（基準信号）Ｓ４Ａおよび復号処理系６
００へのガイドライン（基準信号）Ｓ４Ｂを送出する拘
束パラメータ（Constraint Parameter）・システムター
ゲットデコーダ（ＳＴＤ：System Target Decoder ）４
００を有する。
ＥＧ２をビデオ信号およびオーディオ信号処理装置に適
用した場合の構成例を示す図であり、いかにして符号処
理系１００が非圧縮ビデオ信号Ｓ２および非圧縮オーデ
ィオ信号Ｓ３を入力して、いかにして拘束パラメータシ
ステムターゲットデコーダ４００についてのある情報を
生成し、いかにして種々の復号処理系に適した拘束ビッ
トストリームを形成するかについて示している。このビ
デオ信号およびオーディオ信号処理装置は、圧縮処理前
の元のビデオ信号（原ビデオ信号）を提供する非圧縮ビ
デオ信号源２、圧縮処理前の原オーディオ信号を提供す
る非圧縮オーディオ信号源３、これら非圧縮ビデオ信号
Ｓ２および非圧縮オーディオ信号Ｓ３を入力し、所定の
圧縮処理をして符号化しさらに多重化処理（マルチプレ
クシング）してビットストリーム形態の圧縮符号化信号
Ｓ１００を出力する符号処理系１００、および、この符
号処理系１００からのビットストリーム形態の圧縮符号
化信号Ｓ１を伝送または蓄積するデータ伝送系またはデ
ータ蓄積系５を有する。データ伝送系またはデータ蓄積
系５としては、データ蓄積を行う場合はたとえば、ＣＤ
−ＲＯＭ、ＬＤ、ビデオテープなどであり、データ伝送
を行う場合はたとえば、テレビジョン放送通信系、通信
衛星系、データ通信系などである。ビデオ信号およびオ
ーディオ信号処理装置はまた、データ伝送系またはデー
タ蓄積系５から送出されるビットストリーム形態の圧縮
符号化信号Ｓ５を入力し、符号処理系１００における多
重化処理（マルチプレクシング）と逆の分解処理（デマ
ルチプレクシング）し、符号処理系１００における圧縮
と逆の伸長処理をして、符号処理系１００に入力される
前の非圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号
Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号
化非圧縮オーディオ信号Ｓ６Ｂを復号する復号処理系６
００を有する。ビデオ信号およびオーディオ信号処理装
置はさらに、符号処理系１００および復号処理系６００
の処理を規定するため、それぞれ、符号処理系１００へ
のガイドライン（基準信号）Ｓ４Ａおよび復号処理系６
００へのガイドライン（基準信号）Ｓ４Ｂを送出する拘
束パラメータ（Constraint Parameter）・システムター
ゲットデコーダ（ＳＴＤ：System Target Decoder ）４
００を有する。
【０００６】拘束パラメータシステムターゲットデコー
ダ４００は、仮想的な（Hypothical) システムターゲッ
トデコーダ、システム基準(Reference）デコーダ、ある
いは、基準復号処理系などとも呼ばれるが、ここでは、
以下、拘束パラメータシステムターゲットデコーダ、あ
るいは、簡単に、システムターゲットデコーダなどと呼
ぶ。拘束パラメータシステムターゲットデコーダ４００
は、ＣＣＩＴＴ Ｈ．２６１およびＭＰＥＧ１ビデオ標
準などの国際標準規格において使用されており、ビデオ
信号符号器およびビデオ信号復号器（デコーダ）の設計
者のための指針を与えている。ＭＰＥＧ１システム標準
において、システムターゲットデコーダ（ＳＴＤ）も基
準オーディオ信号デコーダを有している。これらの基準
モデルにおいて、各ビデオ信号およびオーディオ信号デ
コーダもまた推奨されているバッファの大きさを有する
バッファ、および、いかにしてビデオ信号およびオーデ
ィオ信号デコーダを動作させるかについて記述する標準
を有している。推奨されているバッファの大きさを有す
るモデルは「拘束パラメータ・システムターゲットデコ
ーダ（ＳＴＤ）」と呼ばれている。実用的には、拘束パ
ラメータ・システムターゲットデコーダ（ＳＴＤ）以上
の性能を持たない非常に多くの実際の復号システムが存
在しないことが期待されている。したがって、ビットス
トリームが形成されたとき、そして、多くの数の実際の
デコーダに到達することが必要なとき、符号化システム
が一般的に、拘束パラメータ・システムターゲットデコ
ーダに適したビットストリームを作成する。これらの多
重化ビットストリームは拘束システムパラメータ・スト
リーム：Constraint System Parameter Stream：ＣＳＰ
Ｓ）と呼ばれている。
ダ４００は、仮想的な（Hypothical) システムターゲッ
トデコーダ、システム基準(Reference）デコーダ、ある
いは、基準復号処理系などとも呼ばれるが、ここでは、
以下、拘束パラメータシステムターゲットデコーダ、あ
るいは、簡単に、システムターゲットデコーダなどと呼
ぶ。拘束パラメータシステムターゲットデコーダ４００
は、ＣＣＩＴＴ Ｈ．２６１およびＭＰＥＧ１ビデオ標
準などの国際標準規格において使用されており、ビデオ
信号符号器およびビデオ信号復号器（デコーダ）の設計
者のための指針を与えている。ＭＰＥＧ１システム標準
において、システムターゲットデコーダ（ＳＴＤ）も基
準オーディオ信号デコーダを有している。これらの基準
モデルにおいて、各ビデオ信号およびオーディオ信号デ
コーダもまた推奨されているバッファの大きさを有する
バッファ、および、いかにしてビデオ信号およびオーデ
ィオ信号デコーダを動作させるかについて記述する標準
を有している。推奨されているバッファの大きさを有す
るモデルは「拘束パラメータ・システムターゲットデコ
ーダ（ＳＴＤ）」と呼ばれている。実用的には、拘束パ
ラメータ・システムターゲットデコーダ（ＳＴＤ）以上
の性能を持たない非常に多くの実際の復号システムが存
在しないことが期待されている。したがって、ビットス
トリームが形成されたとき、そして、多くの数の実際の
デコーダに到達することが必要なとき、符号化システム
が一般的に、拘束パラメータ・システムターゲットデコ
ーダに適したビットストリームを作成する。これらの多
重化ビットストリームは拘束システムパラメータ・スト
リーム：Constraint System Parameter Stream：ＣＳＰ
Ｓ）と呼ばれている。
【０００７】拘束パラメータシステムターゲットデコー
ダ４００は、デマルチプレクシング部４０１、ビデオ信
号バッファ４０２、オーディオ信号バッファ４０３、ビ
デオ信号デコーダ４０４、および、オーディオ信号デコ
ーダ４０５を有する。この例においては、ビデオ信号バ
ッファ４０２は４６Ｋバイトの記憶容量を有し、オーデ
ィオ信号バッファ４０３は４Ｋバイトの記憶容量を有す
る。デマルチプレクシング部４０１はスイッチング回路
を有し、ビデオ信号デコーダ４０４、および、オーディ
オ信号デコーダ４０５は高速演算処理に適した構成をと
る高速ディジタル信号処理装置（ＤＳＰ）で一体構成さ
れることが、装置構成の面、フレキシブルの観点から望
ましい。ＤＳＰは信号処理を高速処理可能なように特別
な手法で回路構成されているが、その反面、大きな記憶
容量を有する記憶装置を設けるには適していない。した
がって、ＤＳＰに設けられるビデオ信号バッファ４０
２、および、オーディオ信号バッファ４０３の記憶容量
はある程度制限される。しかしながら、ビデオ信号バッ
ファ４０２およびオーディオ信号バッファ４０３の記憶
容量は、ＭＰＥＧの規定に従って上述した容量を持つ必
要がある。
ダ４００は、デマルチプレクシング部４０１、ビデオ信
号バッファ４０２、オーディオ信号バッファ４０３、ビ
デオ信号デコーダ４０４、および、オーディオ信号デコ
ーダ４０５を有する。この例においては、ビデオ信号バ
ッファ４０２は４６Ｋバイトの記憶容量を有し、オーデ
ィオ信号バッファ４０３は４Ｋバイトの記憶容量を有す
る。デマルチプレクシング部４０１はスイッチング回路
を有し、ビデオ信号デコーダ４０４、および、オーディ
オ信号デコーダ４０５は高速演算処理に適した構成をと
る高速ディジタル信号処理装置（ＤＳＰ）で一体構成さ
れることが、装置構成の面、フレキシブルの観点から望
ましい。ＤＳＰは信号処理を高速処理可能なように特別
な手法で回路構成されているが、その反面、大きな記憶
容量を有する記憶装置を設けるには適していない。した
がって、ＤＳＰに設けられるビデオ信号バッファ４０
２、および、オーディオ信号バッファ４０３の記憶容量
はある程度制限される。しかしながら、ビデオ信号バッ
ファ４０２およびオーディオ信号バッファ４０３の記憶
容量は、ＭＰＥＧの規定に従って上述した容量を持つ必
要がある。
【０００８】図１６（Ａ）は拘束パラメータシステムタ
ーゲットデコーダ４００に入力される拘束パラメータ
（マルチプレクシング）・システムビットストリームＣ
ＰＳＰのフォーマットを示す。このビットストリーム
は、時系列的に配置された複数のパック（ＰＡＣＫ）で
構成され、それぞれのパックは、ヘッダ（ＨＥＡＤＥ
Ｒ）、ビデオ信号パッケット（ＰＡＣＫＥＴ）、およ
び、オーディオ信号パッケットを含んでいる。それぞれ
のビデオ信号パッケットは、ビデオ信号のフレームごと
のビデオ信号と、そのフレームの時刻を示すタイムスタ
ンプ（ＴＩＭＥ ＳＴＡＭＰ）を含むパッケットヘッダ
（ＰＡＣＫＥＴ ＨＥＡＤＥＲ）から構成されている。
それぞれのオーディオ信号パッケットは、所定の単位
（ユニット）ごとのオーディオ信号とそのユニットの時
刻を示すタイムスタンプを含むパッケットヘッダとで構
成されている。ビデオ信号についてのフレームｎ＋１の
タイムスタンプをビデオタイムスタンプｖｔｓと呼び、
オーディオ信号についてユニットｍ＋１のタイムスタン
プをオーディオタイムスタンプａｔｓと呼ぶ。つまり、
符号処理系１００は、非圧縮ビデオ信号Ｓ２および非圧
縮オーディオ信号Ｓ３を符号化して、図１６（Ａ）に示
したフォーマットのマルチプレクシング・ビットストリ
ームにしてデータ伝送系またはデータ蓄積系５に送出
し、拘束パラメータシステムターゲットデコーダ４００
はこのビットストリームに基づく圧縮符号化信号を含む
多重化ビットストリームＳ５を入力して復号する。
ーゲットデコーダ４００に入力される拘束パラメータ
（マルチプレクシング）・システムビットストリームＣ
ＰＳＰのフォーマットを示す。このビットストリーム
は、時系列的に配置された複数のパック（ＰＡＣＫ）で
構成され、それぞれのパックは、ヘッダ（ＨＥＡＤＥ
Ｒ）、ビデオ信号パッケット（ＰＡＣＫＥＴ）、およ
び、オーディオ信号パッケットを含んでいる。それぞれ
のビデオ信号パッケットは、ビデオ信号のフレームごと
のビデオ信号と、そのフレームの時刻を示すタイムスタ
ンプ（ＴＩＭＥ ＳＴＡＭＰ）を含むパッケットヘッダ
（ＰＡＣＫＥＴ ＨＥＡＤＥＲ）から構成されている。
それぞれのオーディオ信号パッケットは、所定の単位
（ユニット）ごとのオーディオ信号とそのユニットの時
刻を示すタイムスタンプを含むパッケットヘッダとで構
成されている。ビデオ信号についてのフレームｎ＋１の
タイムスタンプをビデオタイムスタンプｖｔｓと呼び、
オーディオ信号についてユニットｍ＋１のタイムスタン
プをオーディオタイムスタンプａｔｓと呼ぶ。つまり、
符号処理系１００は、非圧縮ビデオ信号Ｓ２および非圧
縮オーディオ信号Ｓ３を符号化して、図１６（Ａ）に示
したフォーマットのマルチプレクシング・ビットストリ
ームにしてデータ伝送系またはデータ蓄積系５に送出
し、拘束パラメータシステムターゲットデコーダ４００
はこのビットストリームに基づく圧縮符号化信号を含む
多重化ビットストリームＳ５を入力して復号する。
【０００９】符号処理系１００に入力される非圧縮ビデ
オ信号Ｓ２と非圧縮オーディオ信号Ｓ３とは、データ
数、速度が異なる他、圧縮率も異なる。したがって、同
じ時刻に符号処理系１００に入力されたビデオ信号とオ
ーディオ信号を圧縮処理しても同じ速度、同じ大きさの
符号化ビデオ信号と符号化オーディオ信号が提供される
訳ではない。また、たとえば、ビデオ信号についてみて
も、ビデオ信号の内容によって圧縮率は異なる。オーデ
ィオ信号についても同様である。したがって、符号処理
系１００からは固定した状態（条件）の符号化ビデオ信
号および符号化オーディオ信号が出力される訳ではな
い。復号処理系６００において、これら元のビデオ信号
およびオーディオ信号を復号化非圧縮ビデオ信号Ｓ６Ａ
および復号化非圧縮オーディオ信号Ｓ６Ｂとして復号す
る際、タイミング的に同期をとる必要がある。そこで、
同期を実現するため、ＭＰＥＧは上述したタイムスタン
プをビデオ信号とオーディオ信号のそれぞれにフレーム
ごとに付加することを規定している。つまり、ビデオ信
号タイムスタンプとオーディオ信号タイムスタンプとは
ビデオ信号とオーディオ信号との同期をとった復号を行
うためのクロックを規定する時刻を示しており、オーデ
ィオ信号タイムスタンプはオーディオ信号の復号を行う
ためのクロックを生成する時刻を示している。なお、タ
イムスタンプを使用する目的としては、上述した同期を
とるための他、バッファリングの問題を解消するため、
および、符号系におけるデータの複写のためである。
オ信号Ｓ２と非圧縮オーディオ信号Ｓ３とは、データ
数、速度が異なる他、圧縮率も異なる。したがって、同
じ時刻に符号処理系１００に入力されたビデオ信号とオ
ーディオ信号を圧縮処理しても同じ速度、同じ大きさの
符号化ビデオ信号と符号化オーディオ信号が提供される
訳ではない。また、たとえば、ビデオ信号についてみて
も、ビデオ信号の内容によって圧縮率は異なる。オーデ
ィオ信号についても同様である。したがって、符号処理
系１００からは固定した状態（条件）の符号化ビデオ信
号および符号化オーディオ信号が出力される訳ではな
い。復号処理系６００において、これら元のビデオ信号
およびオーディオ信号を復号化非圧縮ビデオ信号Ｓ６Ａ
および復号化非圧縮オーディオ信号Ｓ６Ｂとして復号す
る際、タイミング的に同期をとる必要がある。そこで、
同期を実現するため、ＭＰＥＧは上述したタイムスタン
プをビデオ信号とオーディオ信号のそれぞれにフレーム
ごとに付加することを規定している。つまり、ビデオ信
号タイムスタンプとオーディオ信号タイムスタンプとは
ビデオ信号とオーディオ信号との同期をとった復号を行
うためのクロックを規定する時刻を示しており、オーデ
ィオ信号タイムスタンプはオーディオ信号の復号を行う
ためのクロックを生成する時刻を示している。なお、タ
イムスタンプを使用する目的としては、上述した同期を
とるための他、バッファリングの問題を解消するため、
および、符号系におけるデータの複写のためである。
【００１０】図１７は復号処理系６００の構成図であ
る。復号処理系６００は、デマルチプレクシング部６０
１、ビデオ信号ビットストリーム構成変換処理部６０
２、ビデオ信号受信バッファ６０３、ビデオ信号復号器
（デコーダ）６０４、ピクチャーレート制御回路６０
５、オーディオ信号ビットストリーム構成変換処理部６
０６、オーディオ信号受信バッファ６０７、オーディオ
信号復号器（デコーダ）６０８、および、サンプリング
レート制御回路６０９を有する。デマルチプレクシング
部６０１は、上述したフォーマットの多重化ビットスト
リームＳ５を入力し、ビデオ信号、ビデオタイムスタン
プｖｔｓ、オーディオ信号、オーディオタイムスタンプ
ａｔｓに分解（分離）する。ビデオ信号ビットストリー
ム構成変換処理部６０２は分離されたビデオ信号とビデ
オタイムスタンプｖｔｓを入力し、図１６（Ｂ）に示す
フォーマットに変換する。ビデオ信号受信バッファ６０
３は変換されたビデオ信号を順次記憶し、記憶した順序
に従ってビデオ信号復号器６０４に出力する。同様に、
オーディオ信号ビットストリーム構成変換処理部６０６
は分解されたオーディオ信号とオーディオタイムスタン
プａｔｓを入力して図１６（Ｂ）に示すフォーマットに
変換する。オーディオ信号受信バッファ６０７は変換さ
れたオーディオ信号を順次記憶し、記憶した順序に従っ
てオーディオ信号復号器６０８に出力する。ビデオ信号
復号器６０４は、ピクチャーレート制御回路６０５から
出力されるタイミング信号に基づいてビデオ信号受信バ
ッファ６０３から出力されたビデオ信号を復号する。オ
ーディオ信号復号器６０８は、サンプリングレート制御
回路６０９から出力されるタイミング信号に基づいてオ
ーディオ信号受信バッファ６０７から出力されたオーデ
ィオ信号を復号する。
る。復号処理系６００は、デマルチプレクシング部６０
１、ビデオ信号ビットストリーム構成変換処理部６０
２、ビデオ信号受信バッファ６０３、ビデオ信号復号器
（デコーダ）６０４、ピクチャーレート制御回路６０
５、オーディオ信号ビットストリーム構成変換処理部６
０６、オーディオ信号受信バッファ６０７、オーディオ
信号復号器（デコーダ）６０８、および、サンプリング
レート制御回路６０９を有する。デマルチプレクシング
部６０１は、上述したフォーマットの多重化ビットスト
リームＳ５を入力し、ビデオ信号、ビデオタイムスタン
プｖｔｓ、オーディオ信号、オーディオタイムスタンプ
ａｔｓに分解（分離）する。ビデオ信号ビットストリー
ム構成変換処理部６０２は分離されたビデオ信号とビデ
オタイムスタンプｖｔｓを入力し、図１６（Ｂ）に示す
フォーマットに変換する。ビデオ信号受信バッファ６０
３は変換されたビデオ信号を順次記憶し、記憶した順序
に従ってビデオ信号復号器６０４に出力する。同様に、
オーディオ信号ビットストリーム構成変換処理部６０６
は分解されたオーディオ信号とオーディオタイムスタン
プａｔｓを入力して図１６（Ｂ）に示すフォーマットに
変換する。オーディオ信号受信バッファ６０７は変換さ
れたオーディオ信号を順次記憶し、記憶した順序に従っ
てオーディオ信号復号器６０８に出力する。ビデオ信号
復号器６０４は、ピクチャーレート制御回路６０５から
出力されるタイミング信号に基づいてビデオ信号受信バ
ッファ６０３から出力されたビデオ信号を復号する。オ
ーディオ信号復号器６０８は、サンプリングレート制御
回路６０９から出力されるタイミング信号に基づいてオ
ーディオ信号受信バッファ６０７から出力されたオーデ
ィオ信号を復号する。
【００１１】上述したビデオ信号受信バッファ６０３お
よびオーディオ信号受信バッファ６０７について述べ
る。復号に際して完全に一致したクロックを用いてビデ
オ信号とオーディオ信号とを復号することはできない。
第１の理由は、上述したように圧縮率が異なるからであ
る。第２の理由は、たとえば、オーディオ信号復号器６
０８におけるオーディオ信号の復号について述べると、
固定のビデオレートで復号するオーディオ信号復号器６
０８に入力されるオーディオ信号の入力データレート
と、データ伝送系またはデータ蓄積系５から出力された
オーディオ信号の転送ビデオレートとはサンプリングレ
ートクロックの誤差に依存して変化する。さらに、オー
ディオ信号復号器６０８には一般に、一度に１つのオー
ディオ信号、アクセスユニットが入力されるので、デー
タ伝送系またはデータ蓄積系５からの多重化ビットスト
リームＳ５の転送レートと、オーディオ信号復号器６０
８に入力されるオーディオ信号とのデータレートとは一
致しないからである。そこで、オーディオ信号復号器６
０８の前段にオーディオ信号受信バッファ６０７が設け
られ、上述したデータレートの不一致を調整するように
構成されている。図１８に上述した関係を図解する。
よびオーディオ信号受信バッファ６０７について述べ
る。復号に際して完全に一致したクロックを用いてビデ
オ信号とオーディオ信号とを復号することはできない。
第１の理由は、上述したように圧縮率が異なるからであ
る。第２の理由は、たとえば、オーディオ信号復号器６
０８におけるオーディオ信号の復号について述べると、
固定のビデオレートで復号するオーディオ信号復号器６
０８に入力されるオーディオ信号の入力データレート
と、データ伝送系またはデータ蓄積系５から出力された
オーディオ信号の転送ビデオレートとはサンプリングレ
ートクロックの誤差に依存して変化する。さらに、オー
ディオ信号復号器６０８には一般に、一度に１つのオー
ディオ信号、アクセスユニットが入力されるので、デー
タ伝送系またはデータ蓄積系５からの多重化ビットスト
リームＳ５の転送レートと、オーディオ信号復号器６０
８に入力されるオーディオ信号とのデータレートとは一
致しないからである。そこで、オーディオ信号復号器６
０８の前段にオーディオ信号受信バッファ６０７が設け
られ、上述したデータレートの不一致を調整するように
構成されている。図１８に上述した関係を図解する。
【００１２】図１９に図解したように、ビデオ信号は符
号処理系１００においてフレームごとに（あるいは、フ
ィールドごとに）圧縮され、可変長符号化処理されるた
めに、ビデオ信号復号器６０４に対する入力データレー
トは符号処理系１００におけるビデオ信号の圧縮に依存
して大きく変化する。したがって、ビデオ信号受信バッ
ファ６０３の記憶容量はオーディオ信号受信バッファ６
０７の記憶容量より大きくなる。たとえば、ビデオ信号
受信バッファ６０３の記憶容量は４６Ｋバイトに対し
て、オーディオ信号受信バッファ６０７の記憶容量は４
Ｋバイトである。図２０にビデオ信号受信バッファ６０
３またはオーディオ信号受信バッファ６０７の受信バッ
ファとしては（以下、ビデオ信号受信バッファ６０３を
例示する）のバッファリングタイミングを示す。図２０
（Ａ）に示したように、このバッファリングとしては、
ビデオ信号受信バッファ６０３に入力されたデータの量
から、破線で示したビデオ信号受信バッファ６０３の記
憶容量を減じたデータ量がビデオ信号受信バッファ６０
３から読み出されるデータの量を越えない状態、つま
り、アンダーフローを生じさせず、かつ、ビデオ信号受
信バッファ６０３から読み出されたデータの量がビデオ
信号受信バッファ６０３に入力されるデータの量を越え
ない状態、つまり、オーバーフローを生じさせない状態
が理想的である。しかしながら、図２０（Ｂ）に図解し
たように、このバッファリングにはオーバーフローまた
はアンダーフローが生ずることがある。
号処理系１００においてフレームごとに（あるいは、フ
ィールドごとに）圧縮され、可変長符号化処理されるた
めに、ビデオ信号復号器６０４に対する入力データレー
トは符号処理系１００におけるビデオ信号の圧縮に依存
して大きく変化する。したがって、ビデオ信号受信バッ
ファ６０３の記憶容量はオーディオ信号受信バッファ６
０７の記憶容量より大きくなる。たとえば、ビデオ信号
受信バッファ６０３の記憶容量は４６Ｋバイトに対し
て、オーディオ信号受信バッファ６０７の記憶容量は４
Ｋバイトである。図２０にビデオ信号受信バッファ６０
３またはオーディオ信号受信バッファ６０７の受信バッ
ファとしては（以下、ビデオ信号受信バッファ６０３を
例示する）のバッファリングタイミングを示す。図２０
（Ａ）に示したように、このバッファリングとしては、
ビデオ信号受信バッファ６０３に入力されたデータの量
から、破線で示したビデオ信号受信バッファ６０３の記
憶容量を減じたデータ量がビデオ信号受信バッファ６０
３から読み出されるデータの量を越えない状態、つま
り、アンダーフローを生じさせず、かつ、ビデオ信号受
信バッファ６０３から読み出されたデータの量がビデオ
信号受信バッファ６０３に入力されるデータの量を越え
ない状態、つまり、オーバーフローを生じさせない状態
が理想的である。しかしながら、図２０（Ｂ）に図解し
たように、このバッファリングにはオーバーフローまた
はアンダーフローが生ずることがある。
【００１３】このバッファリングにおけるオーバーフロ
ーまたはアンダーフローを防止する方法としては、図２
１（Ａ）〜（Ｃ）に図解した方法が行われる。第１の方
法は、図２１（Ａ）に図解したように、「蓄積メディア
スレーブ方法」と呼ばれるものであり、ビデオ信号受信
バッファ６０３に入力されたデータ量Ｌ１からビデオ信
号受信バッファ６０３の記憶容量がビデオ信号受信バッ
ファ６０３から読み出されたデータの量Ｌ３を越えず、
かつ、ビデオ信号受信バッファ６０３から読み出された
データの量Ｌ３がビデオ信号受信バッファ６０３に入力
されたデータの量Ｌ１を越えないように曲線Ｌ１’で示
したようにビデオ信号受信バッファ６０３に入力される
データの量を制御する。曲線Ｌ２はビデオ信号受信バッ
ファ６０３に入力されたデータＬ１からビデオ信号受信
バッファ６０３の記憶容量を減じた量の変化を示し、曲
線Ｌ２’は制御された実際にビデオ信号受信バッファ６
０３に入力されたデータの量の変化を示す。第２の方法
は、図２１（Ｂ）に図解したように、「デコーダスレー
ブ方法」と呼ばれるものであり、ビデオ信号受信バッフ
ァ６０３に入力されたデータ量Ｌ１が、ビデオ信号受信
バッファ６０３の記憶容量を減じたデータ量Ｌ２が、ビ
デオ信号受信バッファ６０３から読み出されるデータの
量Ｌ３を越えず、かつ、ビデオ信号受信バッファ６０３
から読み出されたデータの量Ｌ３がビデオ信号受信バッ
ファ６０３に入力されるデータの量Ｌ１を越えないよう
にビデオ信号復号器６０４のフレームレートを変更して
ビデオ信号受信バッファ６０３からデータを読み出す。
実際にビデオ信号受信バッファ６０３から読み出された
データの量の変化を曲線Ｌ３’として示す。以上、ビデ
オ信号について述べたが、オーディオ信号の場合も、オ
ーディオ信号復号器６０８のサンプリングレートを変化
させてオーディオ信号受信バッファ６０７から読み出す
データの量を調整する。第３の方法は、図２１（Ｃ）に
図解したように、ビデオ信号受信バッファ６０３から読
み出すデータの量を調整するものであり、たとえば、ア
クセスユニットをスキップしたり、再表示してビデオ信
号受信バッファ６０３から読み出されるデータの量を調
整する。曲線Ｌ３’が調整されてビデオ信号受信バッフ
ァ６０３から読み出されたデータの量の変化を示す。
ーまたはアンダーフローを防止する方法としては、図２
１（Ａ）〜（Ｃ）に図解した方法が行われる。第１の方
法は、図２１（Ａ）に図解したように、「蓄積メディア
スレーブ方法」と呼ばれるものであり、ビデオ信号受信
バッファ６０３に入力されたデータ量Ｌ１からビデオ信
号受信バッファ６０３の記憶容量がビデオ信号受信バッ
ファ６０３から読み出されたデータの量Ｌ３を越えず、
かつ、ビデオ信号受信バッファ６０３から読み出された
データの量Ｌ３がビデオ信号受信バッファ６０３に入力
されたデータの量Ｌ１を越えないように曲線Ｌ１’で示
したようにビデオ信号受信バッファ６０３に入力される
データの量を制御する。曲線Ｌ２はビデオ信号受信バッ
ファ６０３に入力されたデータＬ１からビデオ信号受信
バッファ６０３の記憶容量を減じた量の変化を示し、曲
線Ｌ２’は制御された実際にビデオ信号受信バッファ６
０３に入力されたデータの量の変化を示す。第２の方法
は、図２１（Ｂ）に図解したように、「デコーダスレー
ブ方法」と呼ばれるものであり、ビデオ信号受信バッフ
ァ６０３に入力されたデータ量Ｌ１が、ビデオ信号受信
バッファ６０３の記憶容量を減じたデータ量Ｌ２が、ビ
デオ信号受信バッファ６０３から読み出されるデータの
量Ｌ３を越えず、かつ、ビデオ信号受信バッファ６０３
から読み出されたデータの量Ｌ３がビデオ信号受信バッ
ファ６０３に入力されるデータの量Ｌ１を越えないよう
にビデオ信号復号器６０４のフレームレートを変更して
ビデオ信号受信バッファ６０３からデータを読み出す。
実際にビデオ信号受信バッファ６０３から読み出された
データの量の変化を曲線Ｌ３’として示す。以上、ビデ
オ信号について述べたが、オーディオ信号の場合も、オ
ーディオ信号復号器６０８のサンプリングレートを変化
させてオーディオ信号受信バッファ６０７から読み出す
データの量を調整する。第３の方法は、図２１（Ｃ）に
図解したように、ビデオ信号受信バッファ６０３から読
み出すデータの量を調整するものであり、たとえば、ア
クセスユニットをスキップしたり、再表示してビデオ信
号受信バッファ６０３から読み出されるデータの量を調
整する。曲線Ｌ３’が調整されてビデオ信号受信バッフ
ァ６０３から読み出されたデータの量の変化を示す。
【００１４】しかしながら、上述したデコーダのフレー
ムレートまたはサンプリングレート、あるいは、データ
伝送系またはデータ蓄積系５からの転送レートを変更す
ることは、ビデオ信号およびオーディオ信号処理装置の
外部の関連する装置に影響を与えるから、自由には変更
することができず、ある範囲に制限される。その結果、
バッファリングにおいてオーバーフローまたはアンダー
フローが頻繁に発生するような場合には、それを完全に
防止することができない。バッファリングにおけるオー
バーフローまたはアンダーフローに起因する復号処理の
誤動作は、特に、復号開始時点に生ずる。よって、デコ
ーダにおいて、「スタートアップディレー」という、再
生初期時に復号処理を遅延する処理を行う。図２２にス
タートアップディレーに基づくバッファリングの諸態様
を示す。図２２（Ａ）は、スタートアップディレーに無
関係に理想的にバッファリングが行われた場合、図２２
（Ｂ）は、適切にスタートアップディレーが行われた場
合のバッファリング、図２２（Ｃ）はスタートアップデ
ィレーが長くビデオ信号受信バッファ６０３がオーバー
フローする場合、図２２（Ｄ）はスタートアップディレ
ーが短くアンダーフローが生じる場合を示す。
ムレートまたはサンプリングレート、あるいは、データ
伝送系またはデータ蓄積系５からの転送レートを変更す
ることは、ビデオ信号およびオーディオ信号処理装置の
外部の関連する装置に影響を与えるから、自由には変更
することができず、ある範囲に制限される。その結果、
バッファリングにおいてオーバーフローまたはアンダー
フローが頻繁に発生するような場合には、それを完全に
防止することができない。バッファリングにおけるオー
バーフローまたはアンダーフローに起因する復号処理の
誤動作は、特に、復号開始時点に生ずる。よって、デコ
ーダにおいて、「スタートアップディレー」という、再
生初期時に復号処理を遅延する処理を行う。図２２にス
タートアップディレーに基づくバッファリングの諸態様
を示す。図２２（Ａ）は、スタートアップディレーに無
関係に理想的にバッファリングが行われた場合、図２２
（Ｂ）は、適切にスタートアップディレーが行われた場
合のバッファリング、図２２（Ｃ）はスタートアップデ
ィレーが長くビデオ信号受信バッファ６０３がオーバー
フローする場合、図２２（Ｄ）はスタートアップディレ
ーが短くアンダーフローが生じる場合を示す。
【００１５】ＭＰＥＧにおいては、上述したようにそれ
ぞれのパックのヘッダに位相同期をとるためのシステム
クロック基準ＳＣＲを記述することができ、システムク
ロック基準ＳＣＲは転送ビットレートを定義するために
使用できる。さらにＭＰＥＧにおいては、ビデオ信号パ
ッケットだはオーディオ信号パッケットのヘッダに記述
されるタイムスタンプは、フレームレートまたはサンプ
リングレートを制御するために使用できる。つまり図２
３に図解したように、システムクロック基準ＳＣＲはデ
ータ伝送系またはデータ蓄積系５から復号処理系６００
に入力された多重化ビットストリームＳ５の時刻を示
し、ビデオ信号パッケットまたはオーディオ信号パッケ
ットのタイムスタンプはビデオ信号またはオーディオ信
号がビデオ信号受信バッファ６０３またはオーディオ信
号受信バッファ６０７から出力された時刻を示す。これ
らの時刻は、たとえば、水晶発振器を用いて９０ＫＨZ
の基準クロックを用いて絶対時刻で記録することができ
る。このように、システムクロック基準ＳＣＲとタイム
スタンプとの差をスタートアップディレーに使用でき
る。図２３において、記号ＤＴＳは復号時刻を意味する
デコーダタイムスタンプを示し、記号ＰＴＳはビデオ信
号、つまり、ピクチャーの復号時刻を意味するピクチャ
ータイムスタンプを示し、記号Ｈはヘッダを示す。
ぞれのパックのヘッダに位相同期をとるためのシステム
クロック基準ＳＣＲを記述することができ、システムク
ロック基準ＳＣＲは転送ビットレートを定義するために
使用できる。さらにＭＰＥＧにおいては、ビデオ信号パ
ッケットだはオーディオ信号パッケットのヘッダに記述
されるタイムスタンプは、フレームレートまたはサンプ
リングレートを制御するために使用できる。つまり図２
３に図解したように、システムクロック基準ＳＣＲはデ
ータ伝送系またはデータ蓄積系５から復号処理系６００
に入力された多重化ビットストリームＳ５の時刻を示
し、ビデオ信号パッケットまたはオーディオ信号パッケ
ットのタイムスタンプはビデオ信号またはオーディオ信
号がビデオ信号受信バッファ６０３またはオーディオ信
号受信バッファ６０７から出力された時刻を示す。これ
らの時刻は、たとえば、水晶発振器を用いて９０ＫＨZ
の基準クロックを用いて絶対時刻で記録することができ
る。このように、システムクロック基準ＳＣＲとタイム
スタンプとの差をスタートアップディレーに使用でき
る。図２３において、記号ＤＴＳは復号時刻を意味する
デコーダタイムスタンプを示し、記号ＰＴＳはビデオ信
号、つまり、ピクチャーの復号時刻を意味するピクチャ
ータイムスタンプを示し、記号Ｈはヘッダを示す。
【００１６】上述したように、ＭＰＥＧにおけるオーデ
ィオ信号の復号とビデオ信号の復号に際しては、これら
両者の復号結果を同期させる必要があり、この同期にタ
イムスタンプを用いる。ビデオ信号およびオーディオ信
号の復号処理時刻を０秒と仮定する。図２４に示したよ
うに、ＩピクチャーおよびＰピクチャーとしてのフレー
ム以外、つまり、Ｂピクチャーとしてのフレームにおい
ては、タイムスタンプによって示されるアクセスユニッ
トの復号時刻は、Ｂピクチャーが表示される表示時刻と
同じになる。つまり、デマルチプレクシング部６０１を
介してビデオ信号受信バッファ６０３に順次入力されて
いるビデオ信号のうち、第ｍ番目のビデオ信号パッケッ
トの第ｉ番目のフレームのＩピクチャーのビデオ信号：
Ｆｒａｍｅ ｉ（Ｉ）が時刻ＤＴＳm にビデオ信号受信
バッファ６０３から読み出されて復号された後、ビデオ
信号復号器６０４の後段に設けられたＩピクチャーおよ
びＰピクチャーのビデオ信号（フレーム）を一時的に記
憶するＩ／Ｐバッファに記憶する。Ｉピクチャーのビデ
オ信号とＰピクチャーのビデオ信号とでは復号時刻と表
示時刻とが異なる。そこで、そのビデオ信号に対応する
ビデオ信号パッケットのヘッダには、それぞれ復号時刻
および表示時刻を示すタイムスタンプとしてのＤＴＳと
ＰＴＳとが記録されるが、ＩピクチャーとＰピクチャー
のビデオ信号の表示時刻ＰＴＳとは次のＩピクチャーと
ＰピクチャーのＤＴＳとは同じであるから、表示時刻Ｐ
ＴＳは省略できる。
ィオ信号の復号とビデオ信号の復号に際しては、これら
両者の復号結果を同期させる必要があり、この同期にタ
イムスタンプを用いる。ビデオ信号およびオーディオ信
号の復号処理時刻を０秒と仮定する。図２４に示したよ
うに、ＩピクチャーおよびＰピクチャーとしてのフレー
ム以外、つまり、Ｂピクチャーとしてのフレームにおい
ては、タイムスタンプによって示されるアクセスユニッ
トの復号時刻は、Ｂピクチャーが表示される表示時刻と
同じになる。つまり、デマルチプレクシング部６０１を
介してビデオ信号受信バッファ６０３に順次入力されて
いるビデオ信号のうち、第ｍ番目のビデオ信号パッケッ
トの第ｉ番目のフレームのＩピクチャーのビデオ信号：
Ｆｒａｍｅ ｉ（Ｉ）が時刻ＤＴＳm にビデオ信号受信
バッファ６０３から読み出されて復号された後、ビデオ
信号復号器６０４の後段に設けられたＩピクチャーおよ
びＰピクチャーのビデオ信号（フレーム）を一時的に記
憶するＩ／Ｐバッファに記憶する。Ｉピクチャーのビデ
オ信号とＰピクチャーのビデオ信号とでは復号時刻と表
示時刻とが異なる。そこで、そのビデオ信号に対応する
ビデオ信号パッケットのヘッダには、それぞれ復号時刻
および表示時刻を示すタイムスタンプとしてのＤＴＳと
ＰＴＳとが記録されるが、ＩピクチャーとＰピクチャー
のビデオ信号の表示時刻ＰＴＳとは次のＩピクチャーと
ＰピクチャーのＤＴＳとは同じであるから、表示時刻Ｐ
ＴＳは省略できる。
【００１７】しかしながら、上述したＭＰＥＧに基づく
ビデオ信号およびオーディオ信号処理装置においては、
ビデオ信号ビットストリーム構成変換処理部６０２およ
びオーディオ信号ビットストリーム構成変換処理部６０
６の回路構成が複雑になるという問題に遭遇している。
さらに上述したビデオ信号およびオーディオ信号処理装
置は、復号処理系６００に入力されるデータがマルチプ
レクシングされたビットストリームであることを前提と
しており、たとえば、ビデオ信号またはオーディオ信号
のいずれかがマルチプレクシングされずに入力された場
合には、復号することができず、復号処理系として種々
の復号処理を行うことを考慮すると、その汎用性に問題
があった。
ビデオ信号およびオーディオ信号処理装置においては、
ビデオ信号ビットストリーム構成変換処理部６０２およ
びオーディオ信号ビットストリーム構成変換処理部６０
６の回路構成が複雑になるという問題に遭遇している。
さらに上述したビデオ信号およびオーディオ信号処理装
置は、復号処理系６００に入力されるデータがマルチプ
レクシングされたビットストリームであることを前提と
しており、たとえば、ビデオ信号またはオーディオ信号
のいずれかがマルチプレクシングされずに入力された場
合には、復号することができず、復号処理系として種々
の復号処理を行うことを考慮すると、その汎用性に問題
があった。
【００１８】そこで本願出願人は、上述した問題を解決
するビデオ信号およびオーディオ信号復号装置を提案し
た（たとえば、平成５年２月２６日出願の特願平５−６
３２９３号、「データ復号化装置」を参照）。図２５に
この復号装置の構成を示す。このときのビットストリー
ムを図１６または図２６に示す。図２６に示したビット
ストリームは、複数のビデオ信号パッケットと、オーデ
ィオ信号パッケットとが連続し、それぞれの複数のビデ
オ信号パッケットは、第１のビデオ信号パッケットヘッ
ダ、第１のピクチャーグループＧＯＰ０〜第４のビデオ
信号パッケットヘッダ、第４のピクチャーグループＧＯ
Ｐ３が配列されている。各々のビデオ信号パッケットヘ
ッダにはこのビデオ信号のタイムスタンプが格納されて
いる。それぞれのピクチャーグループには２０個のフレ
ームのビデオ信号が格納されている。オーディオ信号パ
ッケットにはオーディオ信号タイムスタンプ、および、
オーディオ信号アクセスユニットＡＡＵが格納されてい
る。
するビデオ信号およびオーディオ信号復号装置を提案し
た（たとえば、平成５年２月２６日出願の特願平５−６
３２９３号、「データ復号化装置」を参照）。図２５に
この復号装置の構成を示す。このときのビットストリー
ムを図１６または図２６に示す。図２６に示したビット
ストリームは、複数のビデオ信号パッケットと、オーデ
ィオ信号パッケットとが連続し、それぞれの複数のビデ
オ信号パッケットは、第１のビデオ信号パッケットヘッ
ダ、第１のピクチャーグループＧＯＰ０〜第４のビデオ
信号パッケットヘッダ、第４のピクチャーグループＧＯ
Ｐ３が配列されている。各々のビデオ信号パッケットヘ
ッダにはこのビデオ信号のタイムスタンプが格納されて
いる。それぞれのピクチャーグループには２０個のフレ
ームのビデオ信号が格納されている。オーディオ信号パ
ッケットにはオーディオ信号タイムスタンプ、および、
オーディオ信号アクセスユニットＡＡＵが格納されてい
る。
【００１９】この復号装置は、デマルチプレクシング５
０１、ＤＳＰ５０２、９０ＫＨZ のクロックを発生する
クロック発生器５０３、全体時刻レジスタ５０４、ビデ
オ信号受信バッファ５０５ａ、オーディオ信号受信バッ
ファ５０５ｂ、ビデオ信号復号器５０６ａ、オーディオ
信号復号器５０６ｂ、ビデオ信号タイムスタンプバッフ
ァ５０７ａ、オーディオ信号タイムスタンプバッファ５
０７ｂ、ビデオ信号クロック用位相同期回路（ＰＬＬ）
５０８ａ、オーディオ信号クロック用ＰＬＬ５０８ｂを
有する。デマルチプレクシング５０１においてビットス
トリームから分解されたビデオ信号タイムスタンプがビ
デオ信号タイムスタンプバッファ５０７ａ、オーディオ
信号タイムスタンプがオーディオ信号タイムスタンプバ
ッファ５０７ｂに格納される。またビットストリームか
ら分解されたビデオ信号がビデオ信号受信バッファ５０
５ａに格納され、分解されたオーディオ信号がオーディ
オ信号受信バッファ５０５ｂに格納される。これらバッ
ファ５０５ａ、５０５ｂに格納されたデータがそれぞ
れ、ＰＬＬ５０８ａ、５０８ｂからのクロックによって
復号器５０６ａ、５０６ｂにおいて同期状態で復号され
る。このように、簡単な回路構成にすることができる。
０１、ＤＳＰ５０２、９０ＫＨZ のクロックを発生する
クロック発生器５０３、全体時刻レジスタ５０４、ビデ
オ信号受信バッファ５０５ａ、オーディオ信号受信バッ
ファ５０５ｂ、ビデオ信号復号器５０６ａ、オーディオ
信号復号器５０６ｂ、ビデオ信号タイムスタンプバッフ
ァ５０７ａ、オーディオ信号タイムスタンプバッファ５
０７ｂ、ビデオ信号クロック用位相同期回路（ＰＬＬ）
５０８ａ、オーディオ信号クロック用ＰＬＬ５０８ｂを
有する。デマルチプレクシング５０１においてビットス
トリームから分解されたビデオ信号タイムスタンプがビ
デオ信号タイムスタンプバッファ５０７ａ、オーディオ
信号タイムスタンプがオーディオ信号タイムスタンプバ
ッファ５０７ｂに格納される。またビットストリームか
ら分解されたビデオ信号がビデオ信号受信バッファ５０
５ａに格納され、分解されたオーディオ信号がオーディ
オ信号受信バッファ５０５ｂに格納される。これらバッ
ファ５０５ａ、５０５ｂに格納されたデータがそれぞ
れ、ＰＬＬ５０８ａ、５０８ｂからのクロックによって
復号器５０６ａ、５０６ｂにおいて同期状態で復号され
る。このように、簡単な回路構成にすることができる。
【００２０】図２７に多重化ビットストリームのフォー
マットとその処理を図解する。ただし、このビットスト
リームはビデオ信号についてのみ示し、オーディオ信号
については省略している。図２８にこのビットストリー
ムに基づくＭＰＥＧによるビデオ信号およびオーディオ
信号処理装置の構成を示す。拘束パラメータシステムタ
ーゲットデコーダ４１０はデマルチプレクシング部４１
１、ビデオ信号バッファ４１２、オーディオ信号バッフ
ァ４１３、ディレクトリデータバッファ４１４、ビデオ
信号デコーダ４１５、オーディオ信号デコーダ４１６、
ディレクトリデコーダ４１７を有する。復号処理系６１
０は拘束パラメータシステムターゲットデコーダ４１０
と同様に構成されている。符号処理系１１０は、図２７
（Ａ）に図解したビットストリームを生成する。このビ
ットストリームは、第１のディレクトリパッケットとこ
のディレクトリパッケットに対応する第１のビデオ信号
パッケットとが一対になっている。ディレクトリパッケ
ット内は最初の位置にディレクトリパッケットヘッダ、
続いて、第１〜第２０のポインタＰ０〜Ｐ１９が格納さ
れている。ビデオ信号パッケットの最初の位置にビデオ
信号パッケットヘッダ、続けて第１〜第２０のピクチャ
ーグループＧＯＰ０〜ＧＯＰ１９が格納されている。第
１のポインタＰ０が第１のピクチャーグループＧＯＰ０
の記録位置などを指定している。他のポインタも対応す
るピクチャーグループの位置を指定している。
マットとその処理を図解する。ただし、このビットスト
リームはビデオ信号についてのみ示し、オーディオ信号
については省略している。図２８にこのビットストリー
ムに基づくＭＰＥＧによるビデオ信号およびオーディオ
信号処理装置の構成を示す。拘束パラメータシステムタ
ーゲットデコーダ４１０はデマルチプレクシング部４１
１、ビデオ信号バッファ４１２、オーディオ信号バッフ
ァ４１３、ディレクトリデータバッファ４１４、ビデオ
信号デコーダ４１５、オーディオ信号デコーダ４１６、
ディレクトリデコーダ４１７を有する。復号処理系６１
０は拘束パラメータシステムターゲットデコーダ４１０
と同様に構成されている。符号処理系１１０は、図２７
（Ａ）に図解したビットストリームを生成する。このビ
ットストリームは、第１のディレクトリパッケットとこ
のディレクトリパッケットに対応する第１のビデオ信号
パッケットとが一対になっている。ディレクトリパッケ
ット内は最初の位置にディレクトリパッケットヘッダ、
続いて、第１〜第２０のポインタＰ０〜Ｐ１９が格納さ
れている。ビデオ信号パッケットの最初の位置にビデオ
信号パッケットヘッダ、続けて第１〜第２０のピクチャ
ーグループＧＯＰ０〜ＧＯＰ１９が格納されている。第
１のポインタＰ０が第１のピクチャーグループＧＯＰ０
の記録位置などを指定している。他のポインタも対応す
るピクチャーグループの位置を指定している。
【００２１】具体例として、ビデオテープ記録再生装置
における再生動作を例示する。この場合、符号処理系１
１０はビデオテープ記録再生装置の記録系であり、デー
タ伝送系またはデータ蓄積系５はビデオテープであり、
復号処理系６１０は再生系である。図２７（Ｂ）に示す
ように、ユーザーがファーストフォワード（First Forw
ard ：ＦＦ）動作またはファーストリバース（First Re
verse ：ＦＲ））動作を要求する前は、復号処理系６１
０はビデオテープ５から、順次、ディレクトリパッケッ
トヘッダの記録内容、ポインタの指定内容に基づいて、
ピクチャーグループが連続的に読みだし、ディレクトリ
バッファにポインタ、ビデオ信号バッファにビデオ信号
を格納し、ビデオ信号復号器においてビデオ信号を復号
する。図２７（Ｃ）に示すように、ユーザーがファース
トフォワード動作を要求すると、ディレクトリバッファ
に格納されたディレクトリデータが空になるまでスキッ
プ動作が行われ、ピクチャーグループを飛ばしていく。
そして、図２７（Ｄ）に示したように、ディレクトリバ
ッファに新たなディレクトリが格納された位置のポイン
タまで戻る。図２７（Ｅ）に示したように、ファースト
フォワード動作においては上述した動作、つまり、フィ
ードバック動作が行われる。
における再生動作を例示する。この場合、符号処理系１
１０はビデオテープ記録再生装置の記録系であり、デー
タ伝送系またはデータ蓄積系５はビデオテープであり、
復号処理系６１０は再生系である。図２７（Ｂ）に示す
ように、ユーザーがファーストフォワード（First Forw
ard ：ＦＦ）動作またはファーストリバース（First Re
verse ：ＦＲ））動作を要求する前は、復号処理系６１
０はビデオテープ５から、順次、ディレクトリパッケッ
トヘッダの記録内容、ポインタの指定内容に基づいて、
ピクチャーグループが連続的に読みだし、ディレクトリ
バッファにポインタ、ビデオ信号バッファにビデオ信号
を格納し、ビデオ信号復号器においてビデオ信号を復号
する。図２７（Ｃ）に示すように、ユーザーがファース
トフォワード動作を要求すると、ディレクトリバッファ
に格納されたディレクトリデータが空になるまでスキッ
プ動作が行われ、ピクチャーグループを飛ばしていく。
そして、図２７（Ｄ）に示したように、ディレクトリバ
ッファに新たなディレクトリが格納された位置のポイン
タまで戻る。図２７（Ｅ）に示したように、ファースト
フォワード動作においては上述した動作、つまり、フィ
ードバック動作が行われる。
【００２２】また、ＭＰＥＧにおいては、上述したよう
にバッファリングの遅延時間を規定しており、位相同期
をとらない場合のこのバッファリング遅延時間は１秒以
内と制限している。
にバッファリングの遅延時間を規定しており、位相同期
をとらない場合のこのバッファリング遅延時間は１秒以
内と制限している。
【００２３】
【発明が解決しようとする課題】しかしながら、図２６
および図１６を参照して述べたフレームごとにタイムス
タンプを用いる方法は、非常に多くのタイムスタンプを
用い、１秒程度遅延させるために、タイムスタンプを格
納するバッファがオーバーフローまたはアンダーフロー
するという問題がある。特に、ＤＳＰを用いた場合、搭
載されるメモリ容量が限定されるから、オーバーフロー
またはアンダーフローが発生する可能性が高い。図２６
に示したビットストリームを用いる場合もタイムスタン
プが多く、同じ問題が発生する。また数多くのタイムス
タンプを格納するタイムスタンプバッファ５０７ａ、５
０７ｂを設ける必要があるが、全ての復号装置において
は大きなメモリを設けることが困難である。特に、ＤＳ
Ｐを用いて復号装置を構成する場合はこの問題が顕著で
ある。さらに、多くのタイムスタンプを用いることはス
タートアップディレーを長くするという問題がある。し
たがって、できるだけ少ない数のタイムスタンプを用い
てビデオ信号とオーディオ信号との同期をとることが要
求されている。
および図１６を参照して述べたフレームごとにタイムス
タンプを用いる方法は、非常に多くのタイムスタンプを
用い、１秒程度遅延させるために、タイムスタンプを格
納するバッファがオーバーフローまたはアンダーフロー
するという問題がある。特に、ＤＳＰを用いた場合、搭
載されるメモリ容量が限定されるから、オーバーフロー
またはアンダーフローが発生する可能性が高い。図２６
に示したビットストリームを用いる場合もタイムスタン
プが多く、同じ問題が発生する。また数多くのタイムス
タンプを格納するタイムスタンプバッファ５０７ａ、５
０７ｂを設ける必要があるが、全ての復号装置において
は大きなメモリを設けることが困難である。特に、ＤＳ
Ｐを用いて復号装置を構成する場合はこの問題が顕著で
ある。さらに、多くのタイムスタンプを用いることはス
タートアップディレーを長くするという問題がある。し
たがって、できるだけ少ない数のタイムスタンプを用い
てビデオ信号とオーディオ信号との同期をとることが要
求されている。
【００２４】上述したＭＰＥＧに基づく規定は広範囲の
適用が可能なように規定していることの裏返しとして、
非常に基準が甘過ぎる点がある。図２８に示した符号処
理系１１０における多重化ビットストリームソース５へ
のビットストリームのフォーマット（多重化シンタック
ス）の容量などが明確に規定されていない。一方、多重
化ビットストリームソース５からビットストリームを入
力して復号する復号処理系６１０も種々のものがあり、
種々の形態で使用される。その結果として、多重化ビッ
トストリームソース５から出力されたビットストリーム
が適用できる復号処理系もあれば、そのビットストリー
ムでは実質的に復号が困難な復号処理系も存在する。
適用が可能なように規定していることの裏返しとして、
非常に基準が甘過ぎる点がある。図２８に示した符号処
理系１１０における多重化ビットストリームソース５へ
のビットストリームのフォーマット（多重化シンタック
ス）の容量などが明確に規定されていない。一方、多重
化ビットストリームソース５からビットストリームを入
力して復号する復号処理系６１０も種々のものがあり、
種々の形態で使用される。その結果として、多重化ビッ
トストリームソース５から出力されたビットストリーム
が適用できる復号処理系もあれば、そのビットストリー
ムでは実質的に復号が困難な復号処理系も存在する。
【００２５】また、図２７を参照して述べたように、フ
ァーストフォワード動作において、ディレクトリバッフ
ァが空になり、新たに格納されたポインタまでフィード
バックする場合には、ビデオテープを巻き戻すことにな
り、復号処理動作が非常に遅くなるという問題がある。
ァーストフォワード動作において、ディレクトリバッフ
ァが空になり、新たに格納されたポインタまでフィード
バックする場合には、ビデオテープを巻き戻すことにな
り、復号処理動作が非常に遅くなるという問題がある。
【００２６】また上述したＭＰＥＧにおいては、バッフ
ァリング遅延時間を１秒として規定しているが、この固
定した１秒という遅延時間についても問題がある。たと
えば、非常に性能のよい復号を行う場合は１秒の遅延時
間では不十分であり、たとえば、０．２秒程度の迅速な
応答が必要な場合もある。その反面、高解像度の画像を
必要とする場合は応答性よりも解像度が重要であり、バ
ッファリング遅延時間を１秒以内でてければならないと
いう応答性を要求せず、たとえば、５秒程度の遅延時間
でよい場合がある。このような場合にバッファリング遅
延時間として全ての用途に対して固定の１秒という制限
を課すと、高解像度の画像処理にはＭＰＥＧを適用でき
ないという問題がある。
ァリング遅延時間を１秒として規定しているが、この固
定した１秒という遅延時間についても問題がある。たと
えば、非常に性能のよい復号を行う場合は１秒の遅延時
間では不十分であり、たとえば、０．２秒程度の迅速な
応答が必要な場合もある。その反面、高解像度の画像を
必要とする場合は応答性よりも解像度が重要であり、バ
ッファリング遅延時間を１秒以内でてければならないと
いう応答性を要求せず、たとえば、５秒程度の遅延時間
でよい場合がある。このような場合にバッファリング遅
延時間として全ての用途に対して固定の１秒という制限
を課すと、高解像度の画像処理にはＭＰＥＧを適用でき
ないという問題がある。
【００２７】このようにＭＰＥＧの規格は種々の広範囲
な適用に適合させることを意図した規格である反面、実
際の適用においては、種々の観点から問題を含んでい
る。
な適用に適合させることを意図した規格である反面、実
際の適用においては、種々の観点から問題を含んでい
る。
【００２８】上述したように、たとえば、非常に緩慢な
動画像を表示するような場合、あるいは、５秒間のスチ
ル画像を表示するようにな場合に、１秒以上の遅延時間
が好ましく、ＭＰＥＧの規格で定めた１秒の遅延時間を
廃止することが望ましい。この１秒の遅延時間の制約を
設けない他の用途がある。たとえば、符号化系が１秒当
たり最大４．５メガビットのビットレートのデータ送信
またはディジタル記録媒体へのデータ伝送をサポートで
きる場合、画像の品質はスタートアップディレーおよび
圧縮レートよりも高くなり、復号系におけるバッファリ
ングを実現する装置の価格が高くなる。この場合、ビデ
オビットストリームは２部分になる。第１の部分は比較
的容易な圧縮を行う５秒のビデオシーケンスであり、第
２の部分は圧縮が難しい５秒のビデオシーケンスであ
る。この用途は可変ビットレートの用途ではあるが、符
号化系が１０秒間について連続的に最大通信ビットレー
ト、すなわち、１秒当たり４．５メガビットを用いるこ
とを決定するから、これら２つのシーケンスについては
１０秒ｘ４．５メガビット／秒＝４５メガビット／秒が
可能である。符号化系は、第１部分シーケンスについて
１５０ピクチャーデータのために１５メガビット、第２
部分シーケンスについて１５０ピクチャーデータのため
に３０メガビットを許可することを決定する。したがっ
て、第１部分のシーケンスについてのビデオ・ビットレ
ートは１５メガビット／５秒＝３メガビット／秒であ
り、第２部分のシーケンスについてのビデオ・ビットレ
ートは、３０メガビット／５秒＝６メガビット／秒であ
る。
動画像を表示するような場合、あるいは、５秒間のスチ
ル画像を表示するようにな場合に、１秒以上の遅延時間
が好ましく、ＭＰＥＧの規格で定めた１秒の遅延時間を
廃止することが望ましい。この１秒の遅延時間の制約を
設けない他の用途がある。たとえば、符号化系が１秒当
たり最大４．５メガビットのビットレートのデータ送信
またはディジタル記録媒体へのデータ伝送をサポートで
きる場合、画像の品質はスタートアップディレーおよび
圧縮レートよりも高くなり、復号系におけるバッファリ
ングを実現する装置の価格が高くなる。この場合、ビデ
オビットストリームは２部分になる。第１の部分は比較
的容易な圧縮を行う５秒のビデオシーケンスであり、第
２の部分は圧縮が難しい５秒のビデオシーケンスであ
る。この用途は可変ビットレートの用途ではあるが、符
号化系が１０秒間について連続的に最大通信ビットレー
ト、すなわち、１秒当たり４．５メガビットを用いるこ
とを決定するから、これら２つのシーケンスについては
１０秒ｘ４．５メガビット／秒＝４５メガビット／秒が
可能である。符号化系は、第１部分シーケンスについて
１５０ピクチャーデータのために１５メガビット、第２
部分シーケンスについて１５０ピクチャーデータのため
に３０メガビットを許可することを決定する。したがっ
て、第１部分のシーケンスについてのビデオ・ビットレ
ートは１５メガビット／５秒＝３メガビット／秒であ
り、第２部分のシーケンスについてのビデオ・ビットレ
ートは、３０メガビット／５秒＝６メガビット／秒であ
る。
【００２９】これらの値はＩＳＯの規定に基づく実際の
ビデオシーケンスに基づいている。第１部分は、バレー
ダンスのような動きの速い画像データを記録するビデ信
号オであり、第２の部分は人間が自転車に乗っているよ
うな比較的動きが遅い画像データ記録するビデオ信号で
ある。他のＩＳＯ規格のビデオシーケンスもまた、数秒
の大きなビットレートビデオに続けて、数秒の低いビッ
トレートビデオを持っている。図２９は、上記第１部分
を復号化する場合初期値が３メガビット／秒であり、第
２部分を復号化する場合初期値が６メガビット／秒であ
る、×印で示したビデオデコーダバッファ入力レート、
および、○で示したビデオデコーダバッファ出力レート
を図解するグラフである。時間ｔ＝０において、バッフ
ァへの入力データは４．５メガビット／秒であり、バッ
ファからの出力データは３メガビット／秒である。時間
ｔ＝３．３３秒経過時点において、バッファへの入力デ
ータは３．３３秒ｘ４．５メガビット／秒＝１５メガビ
ット／秒であるから、第１部分の最後のバイトデータが
バッファに入り、第２部分のデータから４．５メガビッ
ト／秒でバッファに入る。時間ｔ＝５秒経過時点におい
て、バッファからの出力データは５秒ｘ３メガビット／
秒＝１５メガビット／秒であるから、第１部分の最後の
バイトがバッファから出ていく。ビデオデコーダ（復号
系）が動作開始し、６メガビット／秒のデータレートで
第２部分の復号を行う。復号系への入力データレートが
４．５メガビット／秒のままであるから、ここから、
（６−４．５）＝１．５メガビット／秒のレートでバッ
ファの満杯状態が少なくなっていく。この時点では、バ
ッファには第２部分のデータのみが入っていることに留
意されたい。これらのデータは時刻ｔ＝３．３３秒経過
以来、４．５メガビット／秒のデータレートでバッファ
に記録されているから、バッファ内のビットの数は（５
−３．３３）秒ｘ４．５メガビット／秒＝７．５メガビ
ットである。これら７．５メガビットのバッファに満杯
になっているデータは１．５メガビット／秒のレートで
減少していき、（７．５メガビット／１．５メガビット
／秒）＝５秒で終わる。時間ｔ＝１０秒が経過して時点
で、バッファが空になり、もし存在するなら後続するビ
デオが４．５メガビット／秒またはそれ以下で符号化さ
れる。この場合、第１部分の最後のビデオ信号のバイト
についての遅延、および、この最後のバイトに続く第２
の部分の最初のバイト遅延が約（５−３．３３）秒＝
１．６７秒であり、ＭＰＥＧの規定におけるバッファリ
ング遅延時間である１秒を越えているという問題に遭遇
する。
ビデオシーケンスに基づいている。第１部分は、バレー
ダンスのような動きの速い画像データを記録するビデ信
号オであり、第２の部分は人間が自転車に乗っているよ
うな比較的動きが遅い画像データ記録するビデオ信号で
ある。他のＩＳＯ規格のビデオシーケンスもまた、数秒
の大きなビットレートビデオに続けて、数秒の低いビッ
トレートビデオを持っている。図２９は、上記第１部分
を復号化する場合初期値が３メガビット／秒であり、第
２部分を復号化する場合初期値が６メガビット／秒であ
る、×印で示したビデオデコーダバッファ入力レート、
および、○で示したビデオデコーダバッファ出力レート
を図解するグラフである。時間ｔ＝０において、バッフ
ァへの入力データは４．５メガビット／秒であり、バッ
ファからの出力データは３メガビット／秒である。時間
ｔ＝３．３３秒経過時点において、バッファへの入力デ
ータは３．３３秒ｘ４．５メガビット／秒＝１５メガビ
ット／秒であるから、第１部分の最後のバイトデータが
バッファに入り、第２部分のデータから４．５メガビッ
ト／秒でバッファに入る。時間ｔ＝５秒経過時点におい
て、バッファからの出力データは５秒ｘ３メガビット／
秒＝１５メガビット／秒であるから、第１部分の最後の
バイトがバッファから出ていく。ビデオデコーダ（復号
系）が動作開始し、６メガビット／秒のデータレートで
第２部分の復号を行う。復号系への入力データレートが
４．５メガビット／秒のままであるから、ここから、
（６−４．５）＝１．５メガビット／秒のレートでバッ
ファの満杯状態が少なくなっていく。この時点では、バ
ッファには第２部分のデータのみが入っていることに留
意されたい。これらのデータは時刻ｔ＝３．３３秒経過
以来、４．５メガビット／秒のデータレートでバッファ
に記録されているから、バッファ内のビットの数は（５
−３．３３）秒ｘ４．５メガビット／秒＝７．５メガビ
ットである。これら７．５メガビットのバッファに満杯
になっているデータは１．５メガビット／秒のレートで
減少していき、（７．５メガビット／１．５メガビット
／秒）＝５秒で終わる。時間ｔ＝１０秒が経過して時点
で、バッファが空になり、もし存在するなら後続するビ
デオが４．５メガビット／秒またはそれ以下で符号化さ
れる。この場合、第１部分の最後のビデオ信号のバイト
についての遅延、および、この最後のバイトに続く第２
の部分の最初のバイト遅延が約（５−３．３３）秒＝
１．６７秒であり、ＭＰＥＧの規定におけるバッファリ
ング遅延時間である１秒を越えているという問題に遭遇
する。
【００３０】ビットストリーム受容性（compliance）を
形成するため、伝送レートは図３０を参照して下記に述
べるように、低減すべきである。時間ｔ＝０において、
バッファへの入力データは３．７５メガビット／秒であ
り、バッファからの出力データは３メガビット／秒であ
る。時間ｔ＝４秒経過時点において、バッファへの入力
データは４秒ｘ３．７５メガビット／秒＝１５メガビッ
ト／秒であるから、第１部分の最後のバイトがバッファ
に入り、次いで、第２部分のデータから４．５メガビッ
ト／秒でバッファに入る。時間ｔ＝５秒経過時点におい
て、バッファからの出力データは５秒ｘ３メガビット／
秒＝１５メガビット／秒であるから、第１部分の最後の
バイトがバッファから出ていく。ビデオデコーダが動作
開始し６メガビット／秒のデータレートで第２部分の復
号を行う。入力データレートが４．５メガビット／秒で
あるから、ここから、（６−４．５）＝１．５メガビッ
ト／秒のレートでバッファの満杯状態が少なくなってい
く。この時点では、バッファには第２部分のデータのみ
が入っていることに留意されたい。これらのデータは時
刻ｔ＝４秒経過以来４．５メガビット／秒のビットレー
トでバッファに記録されているから、バッファ内のビッ
トの数は４．５メガビットである。これら４．５メガビ
ットのバッファに満杯になっているデータは１．５メガ
ビット／秒のレートで減少していき、３秒で終わる。時
間ｔ＝８秒が経過した時点で、バッファが空になる。も
しビデオデコーダが６メガビット／秒でデータを読み続
けるならば、ここでアンダーフローが起こる。このアン
ダーフローを防止するため、ビデオデコータは第２部分
の残っている２秒分のデータについてビットレートを６
メガビット／秒から４．５メガビット／秒に低下させな
ければならない。
形成するため、伝送レートは図３０を参照して下記に述
べるように、低減すべきである。時間ｔ＝０において、
バッファへの入力データは３．７５メガビット／秒であ
り、バッファからの出力データは３メガビット／秒であ
る。時間ｔ＝４秒経過時点において、バッファへの入力
データは４秒ｘ３．７５メガビット／秒＝１５メガビッ
ト／秒であるから、第１部分の最後のバイトがバッファ
に入り、次いで、第２部分のデータから４．５メガビッ
ト／秒でバッファに入る。時間ｔ＝５秒経過時点におい
て、バッファからの出力データは５秒ｘ３メガビット／
秒＝１５メガビット／秒であるから、第１部分の最後の
バイトがバッファから出ていく。ビデオデコーダが動作
開始し６メガビット／秒のデータレートで第２部分の復
号を行う。入力データレートが４．５メガビット／秒で
あるから、ここから、（６−４．５）＝１．５メガビッ
ト／秒のレートでバッファの満杯状態が少なくなってい
く。この時点では、バッファには第２部分のデータのみ
が入っていることに留意されたい。これらのデータは時
刻ｔ＝４秒経過以来４．５メガビット／秒のビットレー
トでバッファに記録されているから、バッファ内のビッ
トの数は４．５メガビットである。これら４．５メガビ
ットのバッファに満杯になっているデータは１．５メガ
ビット／秒のレートで減少していき、３秒で終わる。時
間ｔ＝８秒が経過した時点で、バッファが空になる。も
しビデオデコーダが６メガビット／秒でデータを読み続
けるならば、ここでアンダーフローが起こる。このアン
ダーフローを防止するため、ビデオデコータは第２部分
の残っている２秒分のデータについてビットレートを６
メガビット／秒から４．５メガビット／秒に低下させな
ければならない。
【００３１】このビットストリームは、前に述べた３０
メガビットではなく第２部分が６秒ｘ４．５メガビット
／秒＝２７メガビットであるから、圧縮率が高く、スタ
ートアップディレーが短く、小さな容量のビデオデコー
ダバッファでプレーバックできるという利点を有するも
のの、１秒のバッファリング遅延により希望するビデオ
信号の表示品質を提供できないという問題に遭遇する。
したがって、この観点からも、通常のビデオ信号につい
て高い表示画像品質を実現するためには、ＭＰＥＧで規
定する１秒のバッファリング遅延時間に限定することは
好ましくない。
メガビットではなく第２部分が６秒ｘ４．５メガビット
／秒＝２７メガビットであるから、圧縮率が高く、スタ
ートアップディレーが短く、小さな容量のビデオデコー
ダバッファでプレーバックできるという利点を有するも
のの、１秒のバッファリング遅延により希望するビデオ
信号の表示品質を提供できないという問題に遭遇する。
したがって、この観点からも、通常のビデオ信号につい
て高い表示画像品質を実現するためには、ＭＰＥＧで規
定する１秒のバッファリング遅延時間に限定することは
好ましくない。
【００３２】たとえば、あるビデオバイトのバッファリ
ング遅延時間が１秒であり、レートが３０ＨZ のビデオ
信号の場合１秒当たり３０枚分のピクチャーを復号系内
のバッファから取り出すから、最悪の場合として３０枚
分のピクチャーデータがバッファに存在する。かりにあ
るビデオ信号バイトのバッファリング遅延が上述したよ
うに最悪の場合として１．６７秒であるなら、このバイ
トの前に、１．６７秒ｘ３０＝５０枚分のピクチャーデ
ータがあることになる。
ング遅延時間が１秒であり、レートが３０ＨZ のビデオ
信号の場合１秒当たり３０枚分のピクチャーを復号系内
のバッファから取り出すから、最悪の場合として３０枚
分のピクチャーデータがバッファに存在する。かりにあ
るビデオ信号バイトのバッファリング遅延が上述したよ
うに最悪の場合として１．６７秒であるなら、このバイ
トの前に、１．６７秒ｘ３０＝５０枚分のピクチャーデ
ータがあることになる。
【００３３】従来は３０ＨZ のレートについては固定の
値としてピクチャーデータ３０枚分のタイムスタンプを
記録するバッファ容量であったが、上述した例では、ビ
デオ信号のレートが３０ＨZ の場合、たとえば、５０分
のタイムスタンプをバッファに記録することが望まし
い。ただし、ピクチャーデータの圧縮率は可変であるか
ら、復号系に入力されるピクチャーデータとタイムスタ
ンプとは必ずしも一致しない。そこで、かりに１秒のバ
ッファリング遅延時間として３０ＨZ の場合に通常、１
秒間に３０枚分のピクチャーデータが復号系に到来する
として、３０個分のタイムスタンプを記録するバッファ
の容量とすると、ピクチャーデータに対応できなくなる
場合がある。したがって、タイムスタンプを記録するバ
ッファの容量としては、ピクチャーデータの圧縮率をも
考慮することが望ましい。
値としてピクチャーデータ３０枚分のタイムスタンプを
記録するバッファ容量であったが、上述した例では、ビ
デオ信号のレートが３０ＨZ の場合、たとえば、５０分
のタイムスタンプをバッファに記録することが望まし
い。ただし、ピクチャーデータの圧縮率は可変であるか
ら、復号系に入力されるピクチャーデータとタイムスタ
ンプとは必ずしも一致しない。そこで、かりに１秒のバ
ッファリング遅延時間として３０ＨZ の場合に通常、１
秒間に３０枚分のピクチャーデータが復号系に到来する
として、３０個分のタイムスタンプを記録するバッファ
の容量とすると、ピクチャーデータに対応できなくなる
場合がある。したがって、タイムスタンプを記録するバ
ッファの容量としては、ピクチャーデータの圧縮率をも
考慮することが望ましい。
【００３４】ここで、さらに次の問題に遭遇する。符号
化系からデータ蓄積系またはデータ伝送系に送出するデ
ータ、またはデータ蓄積系またはデータ伝送系において
誤りが生ずる。非常に多くの誤りが生じた場合、全ての
ピクチャーデータについてタイムスタンプを持っている
ことが復号系において正確に復号する点で好ましい。し
かしながら、ビデオビットストリームの遅延が１．６７
秒より長く、全てのピクチャーが１つのタイムスタンプ
を持っている場合、３０分のタイムスタンプバッファは
オーバーフローしてしまう。
化系からデータ蓄積系またはデータ伝送系に送出するデ
ータ、またはデータ蓄積系またはデータ伝送系において
誤りが生ずる。非常に多くの誤りが生じた場合、全ての
ピクチャーデータについてタイムスタンプを持っている
ことが復号系において正確に復号する点で好ましい。し
かしながら、ビデオビットストリームの遅延が１．６７
秒より長く、全てのピクチャーが１つのタイムスタンプ
を持っている場合、３０分のタイムスタンプバッファは
オーバーフローしてしまう。
【００３５】したがって、本発明はビデオ信号およびオ
ーディオ信号をビットストリームとしてデータ伝送系ま
たはデータ蓄積系に提供し、さらにビデオ信号とオーデ
ィオ信号を同期させつつ復号する観点において、上述し
て問題を解決して、一定の標準化を図りつつ、大規模な
回路構成にならず広範囲な適用を可能にする、画像およ
び音声信号処理方法とその装置を提供することを目的と
する。
ーディオ信号をビットストリームとしてデータ伝送系ま
たはデータ蓄積系に提供し、さらにビデオ信号とオーデ
ィオ信号を同期させつつ復号する観点において、上述し
て問題を解決して、一定の標準化を図りつつ、大規模な
回路構成にならず広範囲な適用を可能にする、画像およ
び音声信号処理方法とその装置を提供することを目的と
する。
【００３６】
【課題を解決するための手段】いずれにしても、種々の
適用を考慮すると、タイムスタンプのバッファリング遅
延時間を１秒に固定して限定することは好ましくないか
ら、本発明においては、バッファリング遅延時間を１秒
に固定せず、その目的に沿った許容遅延時間とする。し
たがって、本発明においては、高品質の画像データはも
とより、通常のビデオ信号についても１秒の遅延時間を
排除する。
適用を考慮すると、タイムスタンプのバッファリング遅
延時間を１秒に固定して限定することは好ましくないか
ら、本発明においては、バッファリング遅延時間を１秒
に固定せず、その目的に沿った許容遅延時間とする。し
たがって、本発明においては、高品質の画像データはも
とより、通常のビデオ信号についても１秒の遅延時間を
排除する。
【００３７】次いで、最後に述べた問題点について述べ
ると、たとえば、３０ＨZ のビデオ信号の場合、システ
ムターゲットデコーダのタイムスタンプバッファの容量
を、できるだけ多く、少なくともピクチャーデータ５０
枚分以上にすることが望ましい。２５ＨZ のビデオ信号
の場合には、たとえば、少なくともピクチャーデータを
４１枚分以上とする。つまり、このタイムスタンプバッ
ファの容量としては、少なくともビデオ信号のレート、
実質的な遅延時間に依存して決定することが望ましい。
好適には、さらに圧縮率をも考慮して充分余裕を持った
値とすることが望ましい。しかしながら、圧縮率はピク
チャーデータの内容によって異なるから事前に明確に規
定することができない。そのためには、標準的な圧縮率
を想定しておき、この標準的な圧縮率と、ビデオ信号の
伝送レートと、許容遅延時間とを考慮して、復号系にお
けるタイムスタンプを記録するバッファの最大容量を決
定する。
ると、たとえば、３０ＨZ のビデオ信号の場合、システ
ムターゲットデコーダのタイムスタンプバッファの容量
を、できるだけ多く、少なくともピクチャーデータ５０
枚分以上にすることが望ましい。２５ＨZ のビデオ信号
の場合には、たとえば、少なくともピクチャーデータを
４１枚分以上とする。つまり、このタイムスタンプバッ
ファの容量としては、少なくともビデオ信号のレート、
実質的な遅延時間に依存して決定することが望ましい。
好適には、さらに圧縮率をも考慮して充分余裕を持った
値とすることが望ましい。しかしながら、圧縮率はピク
チャーデータの内容によって異なるから事前に明確に規
定することができない。そのためには、標準的な圧縮率
を想定しておき、この標準的な圧縮率と、ビデオ信号の
伝送レートと、許容遅延時間とを考慮して、復号系にお
けるタイムスタンプを記録するバッファの最大容量を決
定する。
【００３８】また本発明においては、ディレクトリの数
を少ない数に分割し、ファーストフォワード動作におけ
るフィードバックが生じても、またはファーストリバー
ス動作によって、最初の位置まで戻る必要がないように
する。さらに本発明においては、上述したタイムスタン
プのバッファリング数を増加させるという観点とは異な
る観点から、復号に使用するタイムスタンプの数を減少
させ、バッファの記憶容量を低減し、さらにオーバーフ
ローまたはアンダーフローを生じさせない。また本発明
においては、復号におけるバッファ処理の遅延時間に制
限をつけない一方で、性能のよい復号に適合するように
遅延時間を短縮する。また本発明は極力スタートアップ
ディレーを生じさせない。
を少ない数に分割し、ファーストフォワード動作におけ
るフィードバックが生じても、またはファーストリバー
ス動作によって、最初の位置まで戻る必要がないように
する。さらに本発明においては、上述したタイムスタン
プのバッファリング数を増加させるという観点とは異な
る観点から、復号に使用するタイムスタンプの数を減少
させ、バッファの記憶容量を低減し、さらにオーバーフ
ローまたはアンダーフローを生じさせない。また本発明
においては、復号におけるバッファ処理の遅延時間に制
限をつけない一方で、性能のよい復号に適合するように
遅延時間を短縮する。また本発明は極力スタートアップ
ディレーを生じさせない。
【００３９】したがって、本発明の第１の形態によれ
ば、画像信号および音声信号をそれぞれ同時的に圧縮処
理をし、これら圧縮された画像信号および音声信号にタ
イムスタンプを付加し、順次マルチプレクシングしたビ
ットストリームとして送出する符号処理系と、該符号処
理系から送出されたビットストリームを伝送または蓄積
するデータ伝送系またはデータ蓄積系と、該データ伝送
系またはデータ蓄積系からのビットストリームを入力
し、デマルチプレクシングして前記圧縮画像信号、前記
圧縮音声信号、前記タイムスタンプをバッファリング
し、該タイムスタンプを参照して前記圧縮画像信号およ
び前記圧縮音声信号を同期させて復号する復号処理系と
を有し、前記復号処理系における前記タイムスタンプを
バッファリングする遅延時間を少なくとも前記画像デー
タが正常にバッファリングされる遅延許容時間に設定
し、前記タイムスタンプを分離してバッファリングする
バッファメモリの容量を該遅延許容時間と少なくとも前
記画像データが入力されるビットストリームの速度で規
定される大きさ以上の容量とする画像および音声信号処
理装置が提供される。また本発明によれば、画像信号お
よび音声信号がそれぞれ同時的に圧縮処理され、これら
圧縮された画像信号および音声信号にタイムスタンプが
付加され、順次マルチプレクシングしたビットストリー
ムとして入力される信号を、デマルチプレクシングして
前記圧縮画像信号、前記圧縮音声信号、前記タイムスタ
ンプを分離してバッファリングし、該タイムスタンプを
参照して前記圧縮画像信号および前記圧縮音声信号を同
期させて復号する復号処理方法であって、前記タイムス
タンプをバッファリングする遅延時間を、少なくとも前
記画像データが正常にバッファリングされる遅延許容時
間に設定し、前記タイムスタンプをバッファリングする
バッファメモリの容量を該遅延許容時間と少なくとも前
記画像データが入力されるビットストリームの速度で規
定される大きさ以上の容量とする復号処理方法が提供さ
れる。
ば、画像信号および音声信号をそれぞれ同時的に圧縮処
理をし、これら圧縮された画像信号および音声信号にタ
イムスタンプを付加し、順次マルチプレクシングしたビ
ットストリームとして送出する符号処理系と、該符号処
理系から送出されたビットストリームを伝送または蓄積
するデータ伝送系またはデータ蓄積系と、該データ伝送
系またはデータ蓄積系からのビットストリームを入力
し、デマルチプレクシングして前記圧縮画像信号、前記
圧縮音声信号、前記タイムスタンプをバッファリング
し、該タイムスタンプを参照して前記圧縮画像信号およ
び前記圧縮音声信号を同期させて復号する復号処理系と
を有し、前記復号処理系における前記タイムスタンプを
バッファリングする遅延時間を少なくとも前記画像デー
タが正常にバッファリングされる遅延許容時間に設定
し、前記タイムスタンプを分離してバッファリングする
バッファメモリの容量を該遅延許容時間と少なくとも前
記画像データが入力されるビットストリームの速度で規
定される大きさ以上の容量とする画像および音声信号処
理装置が提供される。また本発明によれば、画像信号お
よび音声信号がそれぞれ同時的に圧縮処理され、これら
圧縮された画像信号および音声信号にタイムスタンプが
付加され、順次マルチプレクシングしたビットストリー
ムとして入力される信号を、デマルチプレクシングして
前記圧縮画像信号、前記圧縮音声信号、前記タイムスタ
ンプを分離してバッファリングし、該タイムスタンプを
参照して前記圧縮画像信号および前記圧縮音声信号を同
期させて復号する復号処理方法であって、前記タイムス
タンプをバッファリングする遅延時間を、少なくとも前
記画像データが正常にバッファリングされる遅延許容時
間に設定し、前記タイムスタンプをバッファリングする
バッファメモリの容量を該遅延許容時間と少なくとも前
記画像データが入力されるビットストリームの速度で規
定される大きさ以上の容量とする復号処理方法が提供さ
れる。
【００４０】また本発明の第２の形態によれば、画像信
号および音声信号をそれぞれ同時的に圧縮処理をし、こ
れら圧縮された所定数の画像信号および所定数の音声信
号に、該画像信号および該音声信号の配置を示すポイン
タを含むディレクトリデータを付加して１組のパッケッ
トとして順次マルチプレクシングしたビットストリーム
として送出する符号処理系と、該符号処理系から送出さ
れたビットストリームを伝送または蓄積するデータ伝送
系またはデータ蓄積系と、該データ伝送系またはデータ
蓄積系からのビットストリームを前記１組のパッケット
ごと入力し、デマルチプレクシングして前記圧縮画像信
号、前記圧縮音声信号、前記ディレクトリデータごと独
立してバッファリングし、該ディレクトリデータを参照
して前記圧縮画像信号および前記圧縮音声信号を同期さ
せて復号する復号処理系とを有する画像および音声信号
処理装置が提供される。好適には、前記１組のパッケッ
トは、前記復号処理系を高速ディジタル信号処理回路
（ＤＳＰ）を用いて構成した場合、前記バッファリング
に用いる独立したバッファの全体の記憶容量を所定の範
囲の値以下にする数個〜１０個程度の圧縮画像信号およ
び圧縮音声信号で構成されている。さらに本発明によれ
ば、同時的に画像信号および音声信号信号を圧縮し、こ
れら圧縮された所定数の画像信号と所定数の音声信号に
それぞれの配置を示す固定長のポインタを付加して構成
したパッケットを組にして多重化し、順次、ビットスト
リームとして出力する画像および音声信号符号化方法が
提供される。また本発明によれば、圧縮された所定数の
画像信号および所定数の音声信号に、該画像信号および
音声信号の配置を示すポインタを含むディレクトリデー
タが付加された１組のパッケットとして順次、マルチプ
レクシングされたビットストリームを１組のパッケット
ごと入力し、デマルチプレクシングして前記圧縮画像信
号、前記圧縮音声信号、前記ディレクトリデータごと独
立してバッファリングし、該ディレクトリデータを参照
して前記圧縮画像信号および前記圧縮音声信号を同期さ
せて復号する画像および音声信号復号方法が提供され
る。
号および音声信号をそれぞれ同時的に圧縮処理をし、こ
れら圧縮された所定数の画像信号および所定数の音声信
号に、該画像信号および該音声信号の配置を示すポイン
タを含むディレクトリデータを付加して１組のパッケッ
トとして順次マルチプレクシングしたビットストリーム
として送出する符号処理系と、該符号処理系から送出さ
れたビットストリームを伝送または蓄積するデータ伝送
系またはデータ蓄積系と、該データ伝送系またはデータ
蓄積系からのビットストリームを前記１組のパッケット
ごと入力し、デマルチプレクシングして前記圧縮画像信
号、前記圧縮音声信号、前記ディレクトリデータごと独
立してバッファリングし、該ディレクトリデータを参照
して前記圧縮画像信号および前記圧縮音声信号を同期さ
せて復号する復号処理系とを有する画像および音声信号
処理装置が提供される。好適には、前記１組のパッケッ
トは、前記復号処理系を高速ディジタル信号処理回路
（ＤＳＰ）を用いて構成した場合、前記バッファリング
に用いる独立したバッファの全体の記憶容量を所定の範
囲の値以下にする数個〜１０個程度の圧縮画像信号およ
び圧縮音声信号で構成されている。さらに本発明によれ
ば、同時的に画像信号および音声信号信号を圧縮し、こ
れら圧縮された所定数の画像信号と所定数の音声信号に
それぞれの配置を示す固定長のポインタを付加して構成
したパッケットを組にして多重化し、順次、ビットスト
リームとして出力する画像および音声信号符号化方法が
提供される。また本発明によれば、圧縮された所定数の
画像信号および所定数の音声信号に、該画像信号および
音声信号の配置を示すポインタを含むディレクトリデー
タが付加された１組のパッケットとして順次、マルチプ
レクシングされたビットストリームを１組のパッケット
ごと入力し、デマルチプレクシングして前記圧縮画像信
号、前記圧縮音声信号、前記ディレクトリデータごと独
立してバッファリングし、該ディレクトリデータを参照
して前記圧縮画像信号および前記圧縮音声信号を同期さ
せて復号する画像および音声信号復号方法が提供され
る。
【００４１】本発明の第３の形態によれば、画像信号お
よび音声信号をそれぞれ同時的に圧縮し、所定数の圧縮
された画像信号の最初の時刻を示す第１のタイムスタン
プと所定数の圧縮された音声信号の最初の時刻を示す第
２のタイムスタンプとが記述されたそれぞれのパッケッ
トヘッダと前記所定数の圧縮画像信号および所定数の圧
縮音声信号とをパッケットとしてマルチプレクシングし
たビットストリームとして出力する符号処理系と、該符
号処理系から送出されたビットストリームを伝送または
蓄積するデータ伝送系またはデータ蓄積系と、該データ
伝送系またはデータ蓄積系からのビットストリーム形態
のデータを入力し、デマルチプレクシングして前記圧縮
画像信号、前記圧縮音声信号および前記タイムスタンプ
ごと独立に、少なくとも該タイムスタンプについて遅延
時間の制限なくバッファリングし、該タイムスタンプを
用いて復号用のクロックを生成して前記画像信号および
前記音声信号を同期させて復号する復号処理系とを有す
る画像および音声信号処理装置が提供される。さらに本
発明によれば、画像信号および音声信号をそれぞれ同時
的に圧縮し、所定数の圧縮された画像信号の最初の時刻
を示す第１のタイムスタンプと所定数の圧縮された音声
信号の最初の時刻を示す第２のタイムスタンプが記述さ
れたそれぞれのパッケットヘッダと前記所定数の圧縮画
像信号および所定数の圧縮音声信号とをパッケットとし
てマルチプレクシングしたビットストリームとして出力
し、該ビットストリーム形態のデータを入力してデマル
チプレクシングして前記圧縮画像信号、前記圧縮音声信
号および前記タイムスタンプごと独立に、少なくとも該
タイムスタンプについて遅延時間の制限なくバッファリ
ングし、該タイムスタンプを用いて復号用のクロックを
生成して前記画像信号および前記音声信号を同期させて
復号する画像および音声信号処理方法が提供される。
よび音声信号をそれぞれ同時的に圧縮し、所定数の圧縮
された画像信号の最初の時刻を示す第１のタイムスタン
プと所定数の圧縮された音声信号の最初の時刻を示す第
２のタイムスタンプとが記述されたそれぞれのパッケッ
トヘッダと前記所定数の圧縮画像信号および所定数の圧
縮音声信号とをパッケットとしてマルチプレクシングし
たビットストリームとして出力する符号処理系と、該符
号処理系から送出されたビットストリームを伝送または
蓄積するデータ伝送系またはデータ蓄積系と、該データ
伝送系またはデータ蓄積系からのビットストリーム形態
のデータを入力し、デマルチプレクシングして前記圧縮
画像信号、前記圧縮音声信号および前記タイムスタンプ
ごと独立に、少なくとも該タイムスタンプについて遅延
時間の制限なくバッファリングし、該タイムスタンプを
用いて復号用のクロックを生成して前記画像信号および
前記音声信号を同期させて復号する復号処理系とを有す
る画像および音声信号処理装置が提供される。さらに本
発明によれば、画像信号および音声信号をそれぞれ同時
的に圧縮し、所定数の圧縮された画像信号の最初の時刻
を示す第１のタイムスタンプと所定数の圧縮された音声
信号の最初の時刻を示す第２のタイムスタンプが記述さ
れたそれぞれのパッケットヘッダと前記所定数の圧縮画
像信号および所定数の圧縮音声信号とをパッケットとし
てマルチプレクシングしたビットストリームとして出力
し、該ビットストリーム形態のデータを入力してデマル
チプレクシングして前記圧縮画像信号、前記圧縮音声信
号および前記タイムスタンプごと独立に、少なくとも該
タイムスタンプについて遅延時間の制限なくバッファリ
ングし、該タイムスタンプを用いて復号用のクロックを
生成して前記画像信号および前記音声信号を同期させて
復号する画像および音声信号処理方法が提供される。
【００４２】本発明の第４の形態によれば、所定数の圧
縮された画像信号と音声信号とがパッケットとして構成
され、該画像信号の時刻を示す第１のタイムスタンプと
該音声信号の時刻を示す第２のタイムスタンプが付加さ
れてビットストリームとして入力されるデータを入力
し、最初の画像信号についてのタイムスタンプ、およ
び、最初の音声信号についてのタイムスタンプのみ取り
込み、該それぞれのタイムスタンプを用いて復号クロッ
クを生成し、該それぞれのクロックを用いて入力した圧
縮画像信号および圧縮音声信号を同期させて復号する画
像および音声信号復号方法が提供される。
縮された画像信号と音声信号とがパッケットとして構成
され、該画像信号の時刻を示す第１のタイムスタンプと
該音声信号の時刻を示す第２のタイムスタンプが付加さ
れてビットストリームとして入力されるデータを入力
し、最初の画像信号についてのタイムスタンプ、およ
び、最初の音声信号についてのタイムスタンプのみ取り
込み、該それぞれのタイムスタンプを用いて復号クロッ
クを生成し、該それぞれのクロックを用いて入力した圧
縮画像信号および圧縮音声信号を同期させて復号する画
像および音声信号復号方法が提供される。
【００４３】
【作用】本発明の第１の形態においては、バッファリン
グ遅延時間を１秒に固定せず、ピクチャーデータおよび
オーディオデータ、特に、ピクチャーデータのビットス
トリームレートに則して規定される許容バッファリング
遅延時間で必要な数のタイムスタンプをバッファリング
する。特に、非常に多くのピクチャーデータが失われた
ような場合にも、多くのタイムスタンプを用いて、その
救済を図ることができる。
グ遅延時間を１秒に固定せず、ピクチャーデータおよび
オーディオデータ、特に、ピクチャーデータのビットス
トリームレートに則して規定される許容バッファリング
遅延時間で必要な数のタイムスタンプをバッファリング
する。特に、非常に多くのピクチャーデータが失われた
ような場合にも、多くのタイムスタンプを用いて、その
救済を図ることができる。
【００４４】本発明の第２の形態においては、バッファ
の容量が小さく、復号処理速度がそほど高速でない小規
模の復号処理系においても種々のビットストリームを復
号可能なように、符号処理系において、画像信号および
音声信号をそれぞれ同時的に圧縮処理をしたとき、比較
的少ない数の圧縮された画像信号および音声信号に、該
画像信号および音声信号の配置または処理時刻を示すポ
インタを含むディレクトリデータを付加して１組のパッ
ケットとして順次、マルチプレクシングしたビットスト
リームとしてデータ伝送系またはデータ蓄積系に送出す
る。復号処理系は、該データ伝送系またはデータ蓄積系
からのビットストリームを前記１組のパッケットごと入
力し、デマルチプレクシングして前記圧縮画像信号、圧
縮音声信号、ディレクトリデータごと独立してバッファ
リングする。ディレクトリの数はさほど大きくないか
ら、そのバッファは大きな記憶容量を必要とせず、オー
バーフローまたはアンダーフローは生じない。復号処理
系はディレクトリデータを参照して前記圧縮画像信号お
よび前記圧縮音声信号を同期させて復号する。
の容量が小さく、復号処理速度がそほど高速でない小規
模の復号処理系においても種々のビットストリームを復
号可能なように、符号処理系において、画像信号および
音声信号をそれぞれ同時的に圧縮処理をしたとき、比較
的少ない数の圧縮された画像信号および音声信号に、該
画像信号および音声信号の配置または処理時刻を示すポ
インタを含むディレクトリデータを付加して１組のパッ
ケットとして順次、マルチプレクシングしたビットスト
リームとしてデータ伝送系またはデータ蓄積系に送出す
る。復号処理系は、該データ伝送系またはデータ蓄積系
からのビットストリームを前記１組のパッケットごと入
力し、デマルチプレクシングして前記圧縮画像信号、圧
縮音声信号、ディレクトリデータごと独立してバッファ
リングする。ディレクトリの数はさほど大きくないか
ら、そのバッファは大きな記憶容量を必要とせず、オー
バーフローまたはアンダーフローは生じない。復号処理
系はディレクトリデータを参照して前記圧縮画像信号お
よび前記圧縮音声信号を同期させて復号する。
【００４５】本発明の第３の形態においては、タイムス
タンプを用いるが、そのタイムスタンプの数を極力減ら
す。そのため、符号処理において、所定数の圧縮された
画像信号の最初の時刻と所定数の圧縮された音声信号の
最初の時刻を示すタイムスタンプが格納されたそれぞれ
のパッケットヘッダと前記所定数の圧縮画像信号および
所定数の圧縮音声信号とをパッケットとしてマルチプレ
クシングしたビットストリームとして出力する。復号処
理において、ビットストリーム形態のデータを入力して
デマルチプレクシングして前記圧縮画像信号、圧縮音声
信号およびタイムスタンプごと独立にバッファリングす
る。タイムスタンプの数はさほど多くないから、タイム
スタンプのバッファの記憶容量は大きくならず、オーバ
ーフローまたはアンダーフローを防止できる。そして、
これらタイムスタンプを用いて復号用のクロックを生成
して前記画像信号および音声信号を同期させて復号す
る。
タンプを用いるが、そのタイムスタンプの数を極力減ら
す。そのため、符号処理において、所定数の圧縮された
画像信号の最初の時刻と所定数の圧縮された音声信号の
最初の時刻を示すタイムスタンプが格納されたそれぞれ
のパッケットヘッダと前記所定数の圧縮画像信号および
所定数の圧縮音声信号とをパッケットとしてマルチプレ
クシングしたビットストリームとして出力する。復号処
理において、ビットストリーム形態のデータを入力して
デマルチプレクシングして前記圧縮画像信号、圧縮音声
信号およびタイムスタンプごと独立にバッファリングす
る。タイムスタンプの数はさほど多くないから、タイム
スタンプのバッファの記憶容量は大きくならず、オーバ
ーフローまたはアンダーフローを防止できる。そして、
これらタイムスタンプを用いて復号用のクロックを生成
して前記画像信号および音声信号を同期させて復号す
る。
【００４６】本発明の第４の形態においては、復号処理
において、最初の画像信号についてのタイムスタンプ、
および、最初の音声信号についてのタイムスタンプのみ
取り込む。つまり、その後にタイムスタンプが存在して
いても、存在していなくても、最初のタイムスタンプき
み取り込む。そして、取り込んだタイムスタンプを用い
て復号クロックを生成し、それぞれのクロックを用いて
入力した圧縮画像信号および圧縮音声信号を同期させて
復号する。
において、最初の画像信号についてのタイムスタンプ、
および、最初の音声信号についてのタイムスタンプのみ
取り込む。つまり、その後にタイムスタンプが存在して
いても、存在していなくても、最初のタイムスタンプき
み取り込む。そして、取り込んだタイムスタンプを用い
て復号クロックを生成し、それぞれのクロックを用いて
入力した圧縮画像信号および圧縮音声信号を同期させて
復号する。
【００４７】
【実施例】本発明の画像および音声信号処理方法とその
装置の第１実施例について述べる。第１実施例は、通常
のビットストリームレートのビデオ信号についても、Ｍ
ＰＥＧで規定する１秒のバッファリング遅延時間の制限
を排除し、さらにタイムスタンプをバッファリングする
容量をビデオ信号がバッファリングされる数よりも大き
くして、かりに大きな（長時間の）ビデオ信号の喪失が
発生しても、余分のタイムスタンプを用いて，同期回復
を可能とする場合について述べる。
装置の第１実施例について述べる。第１実施例は、通常
のビットストリームレートのビデオ信号についても、Ｍ
ＰＥＧで規定する１秒のバッファリング遅延時間の制限
を排除し、さらにタイムスタンプをバッファリングする
容量をビデオ信号がバッファリングされる数よりも大き
くして、かりに大きな（長時間の）ビデオ信号の喪失が
発生しても、余分のタイムスタンプを用いて，同期回復
を可能とする場合について述べる。
【００４８】図１は第１実施例としてのビデオ信号およ
びオーディオ信号処理装置の構成を示す図である。この
ビデオ信号およびオーディオ信号処理装置は、圧縮処理
前の原ビデオ信号、つまり、非圧縮ビデオ信号を提供す
る非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信
号を提供する非圧縮オーディオ信号源３、これら非圧縮
ビデオ信号源２および非圧縮オーディオ信号源３から送
出された非圧縮ビデオ信号Ｓ２および非圧縮オーディオ
信号Ｓ３を入力し、所定の圧縮処理をして、ビデオ信号
とオーディオ信号とを多重化して符号化した拘束パラメ
ータビットストリーム形態の圧縮符号化信号Ｓ１を出力
する符号処理系１０、および、符号処理系１０からの拘
束パラメータ・ビットストリーム形態の圧縮符号化信号
Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄
積系５を有する。データ伝送系またはデータ蓄積系５と
しては、データ伝送系として、たとえば、衛星通信系、
データ通信系などが対象となり、データ蓄積系として、
たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどが対
象となる。以下、本実施例においては、データ伝送系ま
たはデータ蓄積系５として、ビデオテープを用いる場合
について述べる。またこのデータ伝送系またはデータ蓄
積系５は、後述する復号処理系６０に対して、多重化ビ
ットストリームを提供するソースでもあるので、多重化
ビットストリームソース５とも呼ぶ。符号処理系１０
は、この例では、ビットストリーム内のビデオ信号およ
びオーディオ信号ごとに、換言すれば、パケットごと
に、タイムスタンプを付与する。したがって、データ伝
送系またはデータ蓄積系５からも、パケットごとに、タ
イムスタンプを付与したビットストリームが送出され
る。
びオーディオ信号処理装置の構成を示す図である。この
ビデオ信号およびオーディオ信号処理装置は、圧縮処理
前の原ビデオ信号、つまり、非圧縮ビデオ信号を提供す
る非圧縮ビデオ信号源２、圧縮処理前の原オーディオ信
号を提供する非圧縮オーディオ信号源３、これら非圧縮
ビデオ信号源２および非圧縮オーディオ信号源３から送
出された非圧縮ビデオ信号Ｓ２および非圧縮オーディオ
信号Ｓ３を入力し、所定の圧縮処理をして、ビデオ信号
とオーディオ信号とを多重化して符号化した拘束パラメ
ータビットストリーム形態の圧縮符号化信号Ｓ１を出力
する符号処理系１０、および、符号処理系１０からの拘
束パラメータ・ビットストリーム形態の圧縮符号化信号
Ｓ１を伝送または蓄積するデータ伝送系またはデータ蓄
積系５を有する。データ伝送系またはデータ蓄積系５と
しては、データ伝送系として、たとえば、衛星通信系、
データ通信系などが対象となり、データ蓄積系として、
たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテープなどが対
象となる。以下、本実施例においては、データ伝送系ま
たはデータ蓄積系５として、ビデオテープを用いる場合
について述べる。またこのデータ伝送系またはデータ蓄
積系５は、後述する復号処理系６０に対して、多重化ビ
ットストリームを提供するソースでもあるので、多重化
ビットストリームソース５とも呼ぶ。符号処理系１０
は、この例では、ビットストリーム内のビデオ信号およ
びオーディオ信号ごとに、換言すれば、パケットごと
に、タイムスタンプを付与する。したがって、データ伝
送系またはデータ蓄積系５からも、パケットごとに、タ
イムスタンプを付与したビットストリームが送出され
る。
【００４９】このビデオ信号およびオーディオ信号処理
装置はまた、多重化ビットストリームソース５、つま
り、本実施例では、ビデオテープから送出されるパケッ
トごとに、タイムスタンプが付与された圧縮符号化信号
Ｓ５を入力し、符号処理系１０における圧縮と逆のデマ
ルチプレクシングおよび伸長処理をして、符号処理系１
０に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮
オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ
６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号す
る復号処理系６０を有する。このビデオ信号およびオー
ディオ信号処理装置はさらに、符号処理系１０および復
号処理系６０の処理を制御するため、それぞれ、符号処
理系１０への基準信号および復号処理系６への基準信号
を送出する拘束パラメータシステムターゲットデコーダ
４０を有する。拘束パラメータシステムターゲットデコ
ーダ４０は、デマルチプレクシング部４１、ビデオ信号
バッファ４２、オーディオ信号バッファ４３、ビデオ信
号デコーダ４５、ビデオ信号用タイムスタンプバッファ
５２、オーディオ信号用タイムスタンプバッファ５３、
ビデオ信号用位相同期（Phase Lock Loop ：ＰＬＬ）回
路５５、オーディオ信号用位相同期回路５６を有する。
装置はまた、多重化ビットストリームソース５、つま
り、本実施例では、ビデオテープから送出されるパケッ
トごとに、タイムスタンプが付与された圧縮符号化信号
Ｓ５を入力し、符号処理系１０における圧縮と逆のデマ
ルチプレクシングおよび伸長処理をして、符号処理系１
０に入力される前の非圧縮ビデオ信号Ｓ２および非圧縮
オーディオ信号Ｓ３と同等の復号化非圧縮ビデオ信号Ｓ
６Ａおよび復号化非圧縮オーディオ信号Ｓ６Ｂを復号す
る復号処理系６０を有する。このビデオ信号およびオー
ディオ信号処理装置はさらに、符号処理系１０および復
号処理系６０の処理を制御するため、それぞれ、符号処
理系１０への基準信号および復号処理系６への基準信号
を送出する拘束パラメータシステムターゲットデコーダ
４０を有する。拘束パラメータシステムターゲットデコ
ーダ４０は、デマルチプレクシング部４１、ビデオ信号
バッファ４２、オーディオ信号バッファ４３、ビデオ信
号デコーダ４５、ビデオ信号用タイムスタンプバッファ
５２、オーディオ信号用タイムスタンプバッファ５３、
ビデオ信号用位相同期（Phase Lock Loop ：ＰＬＬ）回
路５５、オーディオ信号用位相同期回路５６を有する。
【００５０】図２に復号処理系６０の構成を示す。復号
処理系６０は拘束パラメータシステムターゲットデコー
ダ４０に対応して構成されるから、復号処理系６０は、
デマルチプレクシング部６１、ビデオ信号バッファ６
２、オーディオ信号バッファ６３、ビデオ信号タイムス
タンプバッファ７２、オーディオ信号タイムスタンプバ
ッファ７３、ビデオ信号デコーダ６５、オーディオ信号
デコーダ６６およびビデオ信号ＰＬＬ回路７５、およ
び、オーディオ信号ＰＬＬ回路７６から構成されてい
る。スイッチング回路で構成されたデマルチプレクシン
グ部６１は、入力したビットストリームを分離して、ビ
デオ信号はビデオ信号バッファ６２に出力し、オーディ
オ信号はオーディオ信号バッファ６３に出力し、ビデオ
信号タイムスタンプはビデオ信号用タイムスタンプバッ
ファ７２に出力し、オーディオ信号タイムスタンプはオ
ーディオ信号用タイムスタンプバッファ７３に出力す
る。ビデオ信号デコーダ６５はビデオ信号バッファ６２
に記録されたビデオ信号を復号する。オーディオ信号デ
コーダ６６はオーディオ信号バッファ６３に記録された
オーディオ信号を復号する。ビデオ信号ＰＬＬ回路７５
はビデオ信号用タイムスタンプバッファ７２に記録され
たタイムスタンプを用いて同期用クロックを生成する。
オーディオ信号ＰＬＬ回路７６はオーディオ信号用タイ
ムスタンプバッファ７３に記録されたタイムスタンプを
用いて同期用クロックを生成する。したがって、たとえ
ば、ビデオ信号の到来タイミングとオーディオ信号の到
来タイミングが異なっていても、ビデオ信号用タイムス
タンプとオーディオ信号用タイムスタンプとを用いて、
ビデオ信号とオーディオ信号とを同期させることができ
る。
処理系６０は拘束パラメータシステムターゲットデコー
ダ４０に対応して構成されるから、復号処理系６０は、
デマルチプレクシング部６１、ビデオ信号バッファ６
２、オーディオ信号バッファ６３、ビデオ信号タイムス
タンプバッファ７２、オーディオ信号タイムスタンプバ
ッファ７３、ビデオ信号デコーダ６５、オーディオ信号
デコーダ６６およびビデオ信号ＰＬＬ回路７５、およ
び、オーディオ信号ＰＬＬ回路７６から構成されてい
る。スイッチング回路で構成されたデマルチプレクシン
グ部６１は、入力したビットストリームを分離して、ビ
デオ信号はビデオ信号バッファ６２に出力し、オーディ
オ信号はオーディオ信号バッファ６３に出力し、ビデオ
信号タイムスタンプはビデオ信号用タイムスタンプバッ
ファ７２に出力し、オーディオ信号タイムスタンプはオ
ーディオ信号用タイムスタンプバッファ７３に出力す
る。ビデオ信号デコーダ６５はビデオ信号バッファ６２
に記録されたビデオ信号を復号する。オーディオ信号デ
コーダ６６はオーディオ信号バッファ６３に記録された
オーディオ信号を復号する。ビデオ信号ＰＬＬ回路７５
はビデオ信号用タイムスタンプバッファ７２に記録され
たタイムスタンプを用いて同期用クロックを生成する。
オーディオ信号ＰＬＬ回路７６はオーディオ信号用タイ
ムスタンプバッファ７３に記録されたタイムスタンプを
用いて同期用クロックを生成する。したがって、たとえ
ば、ビデオ信号の到来タイミングとオーディオ信号の到
来タイミングが異なっていても、ビデオ信号用タイムス
タンプとオーディオ信号用タイムスタンプとを用いて、
ビデオ信号とオーディオ信号とを同期させることができ
る。
【００５１】ビデオ信号のバッファリングの容量を、ビ
デオ信号のビットストリームレートと、許容バッファリ
ング遅延時間に応じた容量とする。ビデオ信号バッファ
６２の記憶容量は、３０ＨZ のビットストリームレート
の場合、たとえば、３０枚のピクチャーデータを記憶可
能な容量とする。オーディオ信号バッファ６３の記憶容
量は、オーディオ信号の大きさがビデオ信号の大きさよ
り小さく長い時間のオーディオ信号を記録してもメモリ
容量的にはあまり問題とならないこと、および、到来す
るビデオ信号とのタイミングを合わせるため、ビデオ信
号の時間よりは長い時間のオーディオ信号を記録可能な
容量であるが、実質的にビデオ信号バッファ６２の容量
を越えない程度の容量としておく。たとえば、ビデオ信
号バッファ６２の記憶容量を４６Ｋバイト、オーディオ
信号バッファ６３の記憶容量を４Ｋバイトとする。
デオ信号のビットストリームレートと、許容バッファリ
ング遅延時間に応じた容量とする。ビデオ信号バッファ
６２の記憶容量は、３０ＨZ のビットストリームレート
の場合、たとえば、３０枚のピクチャーデータを記憶可
能な容量とする。オーディオ信号バッファ６３の記憶容
量は、オーディオ信号の大きさがビデオ信号の大きさよ
り小さく長い時間のオーディオ信号を記録してもメモリ
容量的にはあまり問題とならないこと、および、到来す
るビデオ信号とのタイミングを合わせるため、ビデオ信
号の時間よりは長い時間のオーディオ信号を記録可能な
容量であるが、実質的にビデオ信号バッファ６２の容量
を越えない程度の容量としておく。たとえば、ビデオ信
号バッファ６２の記憶容量を４６Ｋバイト、オーディオ
信号バッファ６３の記憶容量を４Ｋバイトとする。
【００５２】タイムスタンプ自体の大きさは、ビデオ信
号およびオーディオ信号のいずれよりも小さい。ここで
は、ビデオ信号用タイムスタンプバッファ７２、およ
び、オーディオ信号用タイムスタンプバッファ７３の容
量を、従来のバッファリング遅延時間、１秒に限定され
ない大きさとする。タイムスタンプおよびその記憶容量
についてついて述べる。タイムスタンプは、符号処理系
における圧縮前の同時的に圧縮処理されるビデオ信号と
オーディオ信号を復号処理系において同期をとるため、
バッファリングの問題を解決するため、さらには、符号
処理系における複写のために設けられている。ここで
は、タイムスタンプは特に、同期のため、および、バッ
ファリングの問題を解決するために使用される場合につ
いて例示する。より特定的には、タイムスタンプはここ
では、非常に大きなピクチャーデータの喪失が発生し
た、ピクチャーデータとタイムスタンプとを１対１に対
応させただけでは、その救済処理にタイムスタンプが不
十分になる場合を解決するために、復号処理系における
バッファの容量を非常に多くする場合を例示する。
号およびオーディオ信号のいずれよりも小さい。ここで
は、ビデオ信号用タイムスタンプバッファ７２、およ
び、オーディオ信号用タイムスタンプバッファ７３の容
量を、従来のバッファリング遅延時間、１秒に限定され
ない大きさとする。タイムスタンプおよびその記憶容量
についてついて述べる。タイムスタンプは、符号処理系
における圧縮前の同時的に圧縮処理されるビデオ信号と
オーディオ信号を復号処理系において同期をとるため、
バッファリングの問題を解決するため、さらには、符号
処理系における複写のために設けられている。ここで
は、タイムスタンプは特に、同期のため、および、バッ
ファリングの問題を解決するために使用される場合につ
いて例示する。より特定的には、タイムスタンプはここ
では、非常に大きなピクチャーデータの喪失が発生し
た、ピクチャーデータとタイムスタンプとを１対１に対
応させただけでは、その救済処理にタイムスタンプが不
十分になる場合を解決するために、復号処理系における
バッファの容量を非常に多くする場合を例示する。
【００５３】再び、図２９および図３０を参照して述べ
る。たとえば、符号化処理系が１秒当たり最大４．５メ
ガビットのビットレートのデータ送信またはディジタル
記録媒体５へのデータ伝送をサポートできる場合、画像
の品質はスタートアップデレィおよび圧縮レートよりも
高くなり、復号系におけるバッファリングの価格が高く
なる。この場合、ビデオビットストリームは２部分にな
る。第１の部分は比較的容易な圧縮を行う５秒のビデオ
シーケンスであり、第２の部分は圧縮が難しい５秒のビ
デオシーケンスである。この用途は可変ビットレートの
用途ではあるが、符号化処理系１０が１０秒間について
連続的に最大通信ビットレート、すなわち、１秒当たり
４．５メガビットを用いることを決定するから、これら
２つのシーケンスについては１０ｘ４．５メガビット／
秒＝４５メガビット／秒が可能である。符号化処理系１
０は、第１部分シーケンスについて１５０ピクチャーの
ために１５メガビット、第２部分シーケンスについて１
５０ピクチャーのために３０メガビットを許可すること
を決定する。したがって、第１部分のシーケンスについ
てのビデオ信号・ビットレートは１５メガビット／５秒
＝３メガビット／秒であり、第２部分のシーケンスにつ
いてのビデオ・ビットレートは、３０メガビット／５秒
＝６メガビット／秒である。図２９は、第１部分を復号
化する場合初期値が３メガビット／秒であり、第２部分
を復号化する場合初期値が６メガビット／秒である、星
印で示したビデオデコーダバッファ入力レート、およ
び、ビデオデコーダバッファ出力レートを図解するグラ
フである。時間ｔ＝０において、バッファへの入力デー
タは４．５メガビット／秒であり、バッファからの出力
データは３メガビット／秒である。時間ｔ＝３．３３秒
経過時点において、バッファへの入力データは３．３３
秒ｘ４．５メガビット／秒＝１５メガビット／秒である
から、第１部分の最後のバイトがタイムスタンプバッフ
ァ７２に入り、第２部分のデータから４．５メガビット
／秒でタイムスタンプバッファ７２に入る。時間ｔ＝５
秒経過時点において、タイムスタンプバッファ７２から
の出力データは５秒ｘ３メガビット／秒＝１５メガビッ
ト／秒であるから、第１部分の最後のバイトがタイムス
タンプバッファ７２から出ていく。ビデオデコーダが動
作開始し、６メガビット／秒のデータレートで第２部分
の復号を行う。入力デコーダレートが４．５メガビット
／秒のままであるから、ここから、（６−４．５）＝
１．５メガビット／秒のレートでバッファの満杯状態が
少なくなっていく。この時点では、バッファには第２部
分のデータのみが入っていることに留意されたい。これ
らのデータは時刻ｔ＝３．３３秒経過以来、４．５メガ
ビット／秒のデータレートでバッファに記録されている
から、バッファ内のビットの数は（５−３．３３）秒ｘ
４．５メガビット／秒＝７．５メガビットである。これ
ら７．５メガビットのタイムスタンプバッファ７２に満
杯になっているデータは１．５メガビット／秒のレート
で減少していき、（７．５メガビット／１．５メガビッ
ト／秒）＝５秒で終わる。時間ｔ＝１０秒が経過して時
点で、タイムスタンプバッファ７２が空になり、もし存
在するなら後続するビデオ信号が４．５メガビット／秒
またはそれ以下で符号化される。この場合、第１部分の
最後のバイトについての遅延、および、この最後のバイ
トに続く第２の部分の最初のバイト遅延が約（５−３．
３３）秒＝１．６７秒であり、ＭＰＥＧの規定における
遅延時間である１秒を越えているという問題に遭遇す
る。
る。たとえば、符号化処理系が１秒当たり最大４．５メ
ガビットのビットレートのデータ送信またはディジタル
記録媒体５へのデータ伝送をサポートできる場合、画像
の品質はスタートアップデレィおよび圧縮レートよりも
高くなり、復号系におけるバッファリングの価格が高く
なる。この場合、ビデオビットストリームは２部分にな
る。第１の部分は比較的容易な圧縮を行う５秒のビデオ
シーケンスであり、第２の部分は圧縮が難しい５秒のビ
デオシーケンスである。この用途は可変ビットレートの
用途ではあるが、符号化処理系１０が１０秒間について
連続的に最大通信ビットレート、すなわち、１秒当たり
４．５メガビットを用いることを決定するから、これら
２つのシーケンスについては１０ｘ４．５メガビット／
秒＝４５メガビット／秒が可能である。符号化処理系１
０は、第１部分シーケンスについて１５０ピクチャーの
ために１５メガビット、第２部分シーケンスについて１
５０ピクチャーのために３０メガビットを許可すること
を決定する。したがって、第１部分のシーケンスについ
てのビデオ信号・ビットレートは１５メガビット／５秒
＝３メガビット／秒であり、第２部分のシーケンスにつ
いてのビデオ・ビットレートは、３０メガビット／５秒
＝６メガビット／秒である。図２９は、第１部分を復号
化する場合初期値が３メガビット／秒であり、第２部分
を復号化する場合初期値が６メガビット／秒である、星
印で示したビデオデコーダバッファ入力レート、およ
び、ビデオデコーダバッファ出力レートを図解するグラ
フである。時間ｔ＝０において、バッファへの入力デー
タは４．５メガビット／秒であり、バッファからの出力
データは３メガビット／秒である。時間ｔ＝３．３３秒
経過時点において、バッファへの入力データは３．３３
秒ｘ４．５メガビット／秒＝１５メガビット／秒である
から、第１部分の最後のバイトがタイムスタンプバッフ
ァ７２に入り、第２部分のデータから４．５メガビット
／秒でタイムスタンプバッファ７２に入る。時間ｔ＝５
秒経過時点において、タイムスタンプバッファ７２から
の出力データは５秒ｘ３メガビット／秒＝１５メガビッ
ト／秒であるから、第１部分の最後のバイトがタイムス
タンプバッファ７２から出ていく。ビデオデコーダが動
作開始し、６メガビット／秒のデータレートで第２部分
の復号を行う。入力デコーダレートが４．５メガビット
／秒のままであるから、ここから、（６−４．５）＝
１．５メガビット／秒のレートでバッファの満杯状態が
少なくなっていく。この時点では、バッファには第２部
分のデータのみが入っていることに留意されたい。これ
らのデータは時刻ｔ＝３．３３秒経過以来、４．５メガ
ビット／秒のデータレートでバッファに記録されている
から、バッファ内のビットの数は（５−３．３３）秒ｘ
４．５メガビット／秒＝７．５メガビットである。これ
ら７．５メガビットのタイムスタンプバッファ７２に満
杯になっているデータは１．５メガビット／秒のレート
で減少していき、（７．５メガビット／１．５メガビッ
ト／秒）＝５秒で終わる。時間ｔ＝１０秒が経過して時
点で、タイムスタンプバッファ７２が空になり、もし存
在するなら後続するビデオ信号が４．５メガビット／秒
またはそれ以下で符号化される。この場合、第１部分の
最後のバイトについての遅延、および、この最後のバイ
トに続く第２の部分の最初のバイト遅延が約（５−３．
３３）秒＝１．６７秒であり、ＭＰＥＧの規定における
遅延時間である１秒を越えているという問題に遭遇す
る。
【００５４】ビットストリーム受容性（compliance）を
形成するため、伝送レートは図３０を参照して下記に述
べるように、低減すべきである。時間ｔ＝０において、
タイムスタンプバッファ７２への入力データは３．７５
メガビット／秒であり、バッファからの出力データは３
メガビット／秒である。時間ｔ＝４秒経過時点におい
て、タイムスタンプバッファ７２への入力データは４秒
ｘ３．７５メガビット／秒＝１５メガビット／秒である
から、第１部分の最後のバイトがバッファに入り、次い
で、第２部分のデータから４．５メガビット／秒でバッ
ファに入る。時間ｔ＝５秒経過時点において、バッファ
からの出力データは５秒ｘ３メガビット／秒＝１５メガ
ビット／秒であるから、第１部分の最後のバイトがバッ
ファから出ていく。ビデオデコーダが動作開始し６メガ
ビット／秒のデータレートで第２部分の復号を行う。入
力データレートが４．５メガビット／秒であるから、こ
こから、（６−４．５）＝１．５メガビット／秒のレー
トでバッファの満杯状態が少なくなっていく。この時点
では、タイムスタンプバッファ７２には第２部分のデー
タのみが入っていることに留意されたい。これらのデー
タは時刻ｔ＝４秒経過以来４．５メガビット／秒のデー
タレートでバッファに記録されているから、タイムスタ
ンプバッファ７２内のビットの数は４．５メガビットで
ある。これら４．５メガビットのバッファに満杯になっ
ているデータは１．５メガビット／秒のレートで減少し
ていき、３秒で終わる。時間ｔ＝８秒が経過した時点
で、バッファが空になる。もしビデオデコーダが６メガ
ビット／秒でデータを読み続けるならば、ここでアンダ
ーフローが起こる。このアンダーフローを防止するた
め、ビデオデコータ６０は第２部分の残っている２秒分
のデータについてビットレートを６メガビット／秒から
４．５メガビット／秒に低下させなければならない。
形成するため、伝送レートは図３０を参照して下記に述
べるように、低減すべきである。時間ｔ＝０において、
タイムスタンプバッファ７２への入力データは３．７５
メガビット／秒であり、バッファからの出力データは３
メガビット／秒である。時間ｔ＝４秒経過時点におい
て、タイムスタンプバッファ７２への入力データは４秒
ｘ３．７５メガビット／秒＝１５メガビット／秒である
から、第１部分の最後のバイトがバッファに入り、次い
で、第２部分のデータから４．５メガビット／秒でバッ
ファに入る。時間ｔ＝５秒経過時点において、バッファ
からの出力データは５秒ｘ３メガビット／秒＝１５メガ
ビット／秒であるから、第１部分の最後のバイトがバッ
ファから出ていく。ビデオデコーダが動作開始し６メガ
ビット／秒のデータレートで第２部分の復号を行う。入
力データレートが４．５メガビット／秒であるから、こ
こから、（６−４．５）＝１．５メガビット／秒のレー
トでバッファの満杯状態が少なくなっていく。この時点
では、タイムスタンプバッファ７２には第２部分のデー
タのみが入っていることに留意されたい。これらのデー
タは時刻ｔ＝４秒経過以来４．５メガビット／秒のデー
タレートでバッファに記録されているから、タイムスタ
ンプバッファ７２内のビットの数は４．５メガビットで
ある。これら４．５メガビットのバッファに満杯になっ
ているデータは１．５メガビット／秒のレートで減少し
ていき、３秒で終わる。時間ｔ＝８秒が経過した時点
で、バッファが空になる。もしビデオデコーダが６メガ
ビット／秒でデータを読み続けるならば、ここでアンダ
ーフローが起こる。このアンダーフローを防止するた
め、ビデオデコータ６０は第２部分の残っている２秒分
のデータについてビットレートを６メガビット／秒から
４．５メガビット／秒に低下させなければならない。
【００５５】このビットストリームは、前に述べた３０
メガビットではなく第２部分が６秒ｘ４．５＝２７メガ
ビットであるから、圧縮率が高く、スタートアップ遅延
が短く、小さな容量のビデオデコーダバッファでプレー
バックできるという利点を有するものの、１秒のバッフ
ァリング遅延により希望するビデオ品質を提供できない
という問題に遭遇する。したがって、この観点からも、
通常のビデオ信号について高いピクチャー品質を実現す
るためには、１秒のバッファリング遅延時間に限定する
ことは好ましくない。したがって、本発明においては、
通常のビットストリームレートのビデオ信号についても
１秒のバッファリング遅延時間を排除した。
メガビットではなく第２部分が６秒ｘ４．５＝２７メガ
ビットであるから、圧縮率が高く、スタートアップ遅延
が短く、小さな容量のビデオデコーダバッファでプレー
バックできるという利点を有するものの、１秒のバッフ
ァリング遅延により希望するビデオ品質を提供できない
という問題に遭遇する。したがって、この観点からも、
通常のビデオ信号について高いピクチャー品質を実現す
るためには、１秒のバッファリング遅延時間に限定する
ことは好ましくない。したがって、本発明においては、
通常のビットストリームレートのビデオ信号についても
１秒のバッファリング遅延時間を排除した。
【００５６】たとえば、あるビデオバイトのバッファリ
ング遅延時間が１秒であり、レートが３０ＨZ のビデオ
信号の場合１秒当たり３０枚分のピクチャーをビデオデ
コーダが取り出すから、最悪の場合として３０枚分のピ
クチャーデータがバッファ６２に存在する。かりにある
ビデオ信号バイトのバッファリング遅延が上述したよう
に最悪の場合として１．６７秒であるなら、このバイト
の前に、１．６７ｘ３０＝５０枚分のピクチャーデータ
があることになる。従来は３０ＨZ のレートについては
３０分のタイムスタンプを記録するバッファ容量であっ
たが、ビデオ信号のレートが３０ＨZ の場合、たとえ
ば、ビデオ信号５０枚分のタイムスタンプをバッファに
記録することが望ましい。したがって、この例では、ビ
デオ信号用タイムスタンプバッファ７２の容量として
は、５０枚分のビデオ信号に相当する容量とする。
ング遅延時間が１秒であり、レートが３０ＨZ のビデオ
信号の場合１秒当たり３０枚分のピクチャーをビデオデ
コーダが取り出すから、最悪の場合として３０枚分のピ
クチャーデータがバッファ６２に存在する。かりにある
ビデオ信号バイトのバッファリング遅延が上述したよう
に最悪の場合として１．６７秒であるなら、このバイト
の前に、１．６７ｘ３０＝５０枚分のピクチャーデータ
があることになる。従来は３０ＨZ のレートについては
３０分のタイムスタンプを記録するバッファ容量であっ
たが、ビデオ信号のレートが３０ＨZ の場合、たとえ
ば、ビデオ信号５０枚分のタイムスタンプをバッファに
記録することが望ましい。したがって、この例では、ビ
デオ信号用タイムスタンプバッファ７２の容量として
は、５０枚分のビデオ信号に相当する容量とする。
【００５７】さらに、符号化処理系１０からデータ蓄積
系またはデータ伝送系５に送出するデータ、またはデー
タ蓄積系またはデータ伝送系５において誤りが生ずる。
非常に多くの誤りが生じた場合、全てのビデオ信号につ
いてタイムスタンプを持っていることが復号系において
正確に復号する点で好ましい。しかしながら、ビデオビ
ットストリームの遅延が１．６７秒より長く、全てのビ
デオ信号が１つのタイムスタンプを持っている場合、３
０枚分の容量では、タイムスタンプバッファ７２はオー
バーフローしてしまう。したがって、たとえば、ビット
ストリームレートが３０ＨZ のビデオ信号の場合、タイ
ムスタンプバッファ７２の容量を、できるだけ多く、少
なくとも上述した５０枚分以上にすることが望ましい。
ビデオ信号の長時間の障害に対して救済を行うには、タ
イムスタンプバッファ７２の大きさは極力大きいほうが
好ましい。しかしながら、実用上、バッファの容量には
限度があるから、このタイムスタンプバッファの容量
は、ビデオ信号のレート、実質的な遅延時間に依存して
決定することが望ましい。
系またはデータ伝送系５に送出するデータ、またはデー
タ蓄積系またはデータ伝送系５において誤りが生ずる。
非常に多くの誤りが生じた場合、全てのビデオ信号につ
いてタイムスタンプを持っていることが復号系において
正確に復号する点で好ましい。しかしながら、ビデオビ
ットストリームの遅延が１．６７秒より長く、全てのビ
デオ信号が１つのタイムスタンプを持っている場合、３
０枚分の容量では、タイムスタンプバッファ７２はオー
バーフローしてしまう。したがって、たとえば、ビット
ストリームレートが３０ＨZ のビデオ信号の場合、タイ
ムスタンプバッファ７２の容量を、できるだけ多く、少
なくとも上述した５０枚分以上にすることが望ましい。
ビデオ信号の長時間の障害に対して救済を行うには、タ
イムスタンプバッファ７２の大きさは極力大きいほうが
好ましい。しかしながら、実用上、バッファの容量には
限度があるから、このタイムスタンプバッファの容量
は、ビデオ信号のレート、実質的な遅延時間に依存して
決定することが望ましい。
【００５８】タイムスタンプ自体の大きさはビデオ信号
に比較すると小さいから、符号化処理系６０を搭載する
メモリに制限のあるＤＳＰで実現した場合でも、上記程
度のタイムスタンプバッファ７２の容量なら特に問題は
ない。しかしながら、上述した例示以上の容量の大量の
タイムスタンプを記録させることもでき、その場合は、
ＤＳＰ内のメモリを使用せず、ＤＳＰの外部にＳＲＡＭ
あるいはＤＲＡＭを設けて、大量のタイムスタンプを記
憶させることもできる。
に比較すると小さいから、符号化処理系６０を搭載する
メモリに制限のあるＤＳＰで実現した場合でも、上記程
度のタイムスタンプバッファ７２の容量なら特に問題は
ない。しかしながら、上述した例示以上の容量の大量の
タイムスタンプを記録させることもでき、その場合は、
ＤＳＰ内のメモリを使用せず、ＤＳＰの外部にＳＲＡＭ
あるいはＤＲＡＭを設けて、大量のタイムスタンプを記
憶させることもできる。
【００５９】以上述べたように、第１実施例によれば、
タイムスタンプのオーバーフローまたはアンダーフロー
を防止でき、事実上、ビットストリームレートに依存さ
れずに、かりに長時間のデータ障害が発生したとして
も、高い品質のビデオ信号をオーディオ信号に同期させ
て復号することができる。
タイムスタンプのオーバーフローまたはアンダーフロー
を防止でき、事実上、ビットストリームレートに依存さ
れずに、かりに長時間のデータ障害が発生したとして
も、高い品質のビデオ信号をオーディオ信号に同期させ
て復号することができる。
【００６０】図３は本発明の画像および音声信号処理装
置の第２実施例としてのビデオ信号およびオーディオ信
号処理装置の構成図である。第２実施例は、上述したＭ
ＰＥＧにおける多重化シンタックス（多重化フォーマッ
ト）、特に、ディレクトリの長さに起因した問題を解決
する。このビデオ信号およびオーディオ信号処理装置
は、図１５に示したビデオ信号およびオーディオ信号処
理装置に類似した構成をしているが、第１実施例のビデ
オ信号およびオーディオ信号処理装置には、拘束パラメ
ータシステムターゲットデコーダ４にディレクトリデー
タバッファ４４およびディレクトリデコーダ４７が付加
されている。
置の第２実施例としてのビデオ信号およびオーディオ信
号処理装置の構成図である。第２実施例は、上述したＭ
ＰＥＧにおける多重化シンタックス（多重化フォーマッ
ト）、特に、ディレクトリの長さに起因した問題を解決
する。このビデオ信号およびオーディオ信号処理装置
は、図１５に示したビデオ信号およびオーディオ信号処
理装置に類似した構成をしているが、第１実施例のビデ
オ信号およびオーディオ信号処理装置には、拘束パラメ
ータシステムターゲットデコーダ４にディレクトリデー
タバッファ４４およびディレクトリデコーダ４７が付加
されている。
【００６１】ビデオ信号およびオーディオ信号処理装置
は、圧縮処理前の原ビデオ信号、つまり、非圧縮ビデオ
信号を提供する非圧縮ビデオ信号源２、圧縮処理前の原
オーディオ信号を提供する非圧縮オーディオ信号源３、
これら非圧縮ビデオ信号源２および非圧縮オーディオ信
号源３から送出された非圧縮ビデオ信号Ｓ２および非圧
縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をし
て、ビデオ信号とオーディオ信号とを多重化して符号化
した拘束パラメータビットストリーム形態の圧縮符号化
信号Ｓ１を出力する符号処理系１、および、符号処理系
１からの拘束パラメータ・ビットストリーム形態の圧縮
符号化信号Ｓ１を伝送または蓄積するデータ伝送系また
はデータ蓄積系５を有する。データ伝送系またはデータ
蓄積系５としては、データ伝送系として、たとえば、衛
星通信系、データ通信系などが対象となり、データ蓄積
系として、たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテー
プなどが対象となる。以下、本実施例においては、デー
タ伝送系またはデータ蓄積系５として、ビデオテープを
用いる場合について述べる。またこのデータ伝送系また
はデータ蓄積系５は、後述する復号処理系６に対して、
多重化ビットストリームを提供するソースでもあるの
で、多重化ビットストリームソース５とも呼ぶ。
は、圧縮処理前の原ビデオ信号、つまり、非圧縮ビデオ
信号を提供する非圧縮ビデオ信号源２、圧縮処理前の原
オーディオ信号を提供する非圧縮オーディオ信号源３、
これら非圧縮ビデオ信号源２および非圧縮オーディオ信
号源３から送出された非圧縮ビデオ信号Ｓ２および非圧
縮オーディオ信号Ｓ３を入力し、所定の圧縮処理をし
て、ビデオ信号とオーディオ信号とを多重化して符号化
した拘束パラメータビットストリーム形態の圧縮符号化
信号Ｓ１を出力する符号処理系１、および、符号処理系
１からの拘束パラメータ・ビットストリーム形態の圧縮
符号化信号Ｓ１を伝送または蓄積するデータ伝送系また
はデータ蓄積系５を有する。データ伝送系またはデータ
蓄積系５としては、データ伝送系として、たとえば、衛
星通信系、データ通信系などが対象となり、データ蓄積
系として、たとえば、ＣＤ−ＲＯＭ、ＬＤ、ビデオテー
プなどが対象となる。以下、本実施例においては、デー
タ伝送系またはデータ蓄積系５として、ビデオテープを
用いる場合について述べる。またこのデータ伝送系また
はデータ蓄積系５は、後述する復号処理系６に対して、
多重化ビットストリームを提供するソースでもあるの
で、多重化ビットストリームソース５とも呼ぶ。
【００６２】このビデオ信号およびオーディオ信号処理
装置はまた、多重化ビットストリームソース５、つま
り、本実施例では、ビデオテープから送出される拘束ビ
ットストリーム形態の圧縮符号化信号Ｓ５を入力し、符
号処理系１における圧縮と逆のデマルチプレクシングお
よび伸長処理をして、符号処理系１に入力される前の非
圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と
同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧
縮オーディオ信号Ｓ６Ｂを復号する復号処理系６を有す
る。このビデオ信号およびオーディオ信号処理装置はさ
らに、符号処理系１および復号処理系６の処理を制御す
るため、それぞれ、符号処理系１への基準信号Ｓ４Ａお
よび復号処理系６への基準信号Ｓ４Ｂを送出する拘束パ
ラメータシステムターゲットデコーダ４を有する。拘束
パラメータシステムターゲットデコーダ４は、デマルチ
プレクシング部４１、ビデオ信号バッファ４２、オーデ
ィオ信号バッファ４３、ディレクトリデータバッファ４
４、ビデオ信号デコーダ４５、オーディオ信号デコーダ
４６、および、ディレクトリデコーダ４７を有する。
装置はまた、多重化ビットストリームソース５、つま
り、本実施例では、ビデオテープから送出される拘束ビ
ットストリーム形態の圧縮符号化信号Ｓ５を入力し、符
号処理系１における圧縮と逆のデマルチプレクシングお
よび伸長処理をして、符号処理系１に入力される前の非
圧縮ビデオ信号Ｓ２および非圧縮オーディオ信号Ｓ３と
同等の復号化非圧縮ビデオ信号Ｓ６Ａおよび復号化非圧
縮オーディオ信号Ｓ６Ｂを復号する復号処理系６を有す
る。このビデオ信号およびオーディオ信号処理装置はさ
らに、符号処理系１および復号処理系６の処理を制御す
るため、それぞれ、符号処理系１への基準信号Ｓ４Ａお
よび復号処理系６への基準信号Ｓ４Ｂを送出する拘束パ
ラメータシステムターゲットデコーダ４を有する。拘束
パラメータシステムターゲットデコーダ４は、デマルチ
プレクシング部４１、ビデオ信号バッファ４２、オーデ
ィオ信号バッファ４３、ディレクトリデータバッファ４
４、ビデオ信号デコーダ４５、オーディオ信号デコーダ
４６、および、ディレクトリデコーダ４７を有する。
【００６３】図４に復号処理系６の構成を示す。復号処
理系６は拘束パラメータシステムターゲットデコーダ４
に対応して構成されるから、復号処理系６は、デマルチ
プレクシング部６１、ビデオ信号バッファ６２、オーデ
ィオ信号バッファ６３、ディレクトリデータバッファ６
４、ビデオ信号デコーダ６５、オーディオ信号デコーダ
６６およびディレクトリデコーダ６７から構成されてい
る。図１７に図解した復号処理系６００と比較すると、
ディレクトリデータバッファ６４およびディレクトリデ
コーダ６７が付加されている。
理系６は拘束パラメータシステムターゲットデコーダ４
に対応して構成されるから、復号処理系６は、デマルチ
プレクシング部６１、ビデオ信号バッファ６２、オーデ
ィオ信号バッファ６３、ディレクトリデータバッファ６
４、ビデオ信号デコーダ６５、オーディオ信号デコーダ
６６およびディレクトリデコーダ６７から構成されてい
る。図１７に図解した復号処理系６００と比較すると、
ディレクトリデータバッファ６４およびディレクトリデ
コーダ６７が付加されている。
【００６４】図５に多重化ビットストリームソース５、
この実施例ではビデオテープから復号処理系６に入力さ
れるビットストリームを示す。このビットストリーム
は、図２７（Ａ）に示したビットストリームを変形した
ものであり、ディレクトリパッケットとビデオパッケッ
トとの対が連続するようにフォーマットが構成されてい
る。ディレクトリパッケットには、ディレクトリパッケ
ットヘッダ、および、ビデオパッケット内のピクチャー
グループのポインタが記述されている。ビデオパッケッ
トにはそのビデオパッケットのヘッダ（ビデオパッケッ
トヘッダ）が設けられ、次いでこのビデオパッケットヘ
ッダに続けて、第（−１）番目のピクチャーグループ
（Group Of Picture) ＧＯＰ−１が設けられ、さらに１
０個のピクチャーグループ、つまり、第０番目のピクチ
ャーグループＧＯＰ０〜第９番目ピクチャーグループＧ
ＯＰ９が設けられている。ピクチャーグループとは、た
とえば、符号内（ＩＮＴＲＡフレーム）符号化方法）に
おいて符号化した一連のピクチャー、または、符号間
（ＩＮＴＥＲフレーム）符号化方法において符号化した
一連のピクチャーをいう。また、ピクチャーとは表示装
置に表示される画像をいう。ビデオパッケット内には１
０個のピクチャーグループＧＯＰ０〜ＧＯＰ９が設けら
れているから、ディレクトリパッケット内のポインタも
１０個のポインタ、Ｐ０〜Ｐ９が設けられている。
この実施例ではビデオテープから復号処理系６に入力さ
れるビットストリームを示す。このビットストリーム
は、図２７（Ａ）に示したビットストリームを変形した
ものであり、ディレクトリパッケットとビデオパッケッ
トとの対が連続するようにフォーマットが構成されてい
る。ディレクトリパッケットには、ディレクトリパッケ
ットヘッダ、および、ビデオパッケット内のピクチャー
グループのポインタが記述されている。ビデオパッケッ
トにはそのビデオパッケットのヘッダ（ビデオパッケッ
トヘッダ）が設けられ、次いでこのビデオパッケットヘ
ッダに続けて、第（−１）番目のピクチャーグループ
（Group Of Picture) ＧＯＰ−１が設けられ、さらに１
０個のピクチャーグループ、つまり、第０番目のピクチ
ャーグループＧＯＰ０〜第９番目ピクチャーグループＧ
ＯＰ９が設けられている。ピクチャーグループとは、た
とえば、符号内（ＩＮＴＲＡフレーム）符号化方法）に
おいて符号化した一連のピクチャー、または、符号間
（ＩＮＴＥＲフレーム）符号化方法において符号化した
一連のピクチャーをいう。また、ピクチャーとは表示装
置に表示される画像をいう。ビデオパッケット内には１
０個のピクチャーグループＧＯＰ０〜ＧＯＰ９が設けら
れているから、ディレクトリパッケット内のポインタも
１０個のポインタ、Ｐ０〜Ｐ９が設けられている。
【００６５】スイッチング回路で構成されたデマルチプ
レクシング部６１は、図５に示したビットストリームを
分離して、ビデオ信号はビデオ信号バッファ６２に出力
し、ディレクトリデータはディレクトリデータバッファ
６４に出力する。ビデオ信号バッファ６２の記憶容量
は、上述した例と同様、４６Ｋバイトである。ディレク
トリデータバッファ６４は、１ポインタ当たり１００ビ
ット必要であるから、１０ポインタ合計で１Ｋビットの
記憶容量となる。このように、ディレクトリデータバッ
ファ６４の記憶容量はビデオ信号バッファ６２の記憶容
量に比較して非常に少ない。ビデオ信号デコーダ６５、
オーディオ信号デコーダ６６およびディレクトリデコー
ダ６７は高速演算処理が必要とされ、これらビデオ信号
デコーダ６５、オーディオ信号デコーダ６６およびディ
レクトリデコーダ６７は高速演算に適した回路構成のデ
ィジタル信号処理装置（ＤＳＰ）で一体構成される場合
が多い。その反面、ＤＳＰには大きな記憶容量のメモリ
を搭載することが難しい場合が多い。したがって、ＤＳ
Ｐに接続されるビデオ信号バッファ６２、オーディオ信
号バッファ６３およびディレクトリデータバッファ６４
の記憶容量はある程度制限される。しかしながら、ビデ
オ信号バッファ６２およびオーディオ信号バッファ６３
の記憶容量は、ＭＰＥＧの規定に従った記憶容量を有す
る必要があるから、結局、ディレクトリデータバッファ
６４の記憶容量を極力小さくする必要がある。その反
面、ディレクトリデータバッファ６４に記憶されるディ
レクトリのオーバーフローおよびアンダーフローを考慮
する必要もある。そこで、本実施例においては、ディレ
クトリデータバッファ６４の記憶容量を１Ｋビットとし
ている。このように、ディレクトリデータバッファ６４
の記憶容量が比較的少ないので、ディレクトリデータバ
ッファ６４を付加してもＤＳＰにとって大きな負担には
ならない。本実施例においては、ビデオ信号バッファ６
２は４６Ｋバイトの記憶容量を有するスタテックランダ
ムアクセスメモリ（ＳＲＡＭ）で構成され、オーディオ
信号バッファ６３は４Ｋバイトの記憶容量を有するＳＲ
ＡＭで構成され、ディレクトリデータバッファ６４は１
Ｋビットの記憶容量を有するＳＲＡＭで構成されてい
る。
レクシング部６１は、図５に示したビットストリームを
分離して、ビデオ信号はビデオ信号バッファ６２に出力
し、ディレクトリデータはディレクトリデータバッファ
６４に出力する。ビデオ信号バッファ６２の記憶容量
は、上述した例と同様、４６Ｋバイトである。ディレク
トリデータバッファ６４は、１ポインタ当たり１００ビ
ット必要であるから、１０ポインタ合計で１Ｋビットの
記憶容量となる。このように、ディレクトリデータバッ
ファ６４の記憶容量はビデオ信号バッファ６２の記憶容
量に比較して非常に少ない。ビデオ信号デコーダ６５、
オーディオ信号デコーダ６６およびディレクトリデコー
ダ６７は高速演算処理が必要とされ、これらビデオ信号
デコーダ６５、オーディオ信号デコーダ６６およびディ
レクトリデコーダ６７は高速演算に適した回路構成のデ
ィジタル信号処理装置（ＤＳＰ）で一体構成される場合
が多い。その反面、ＤＳＰには大きな記憶容量のメモリ
を搭載することが難しい場合が多い。したがって、ＤＳ
Ｐに接続されるビデオ信号バッファ６２、オーディオ信
号バッファ６３およびディレクトリデータバッファ６４
の記憶容量はある程度制限される。しかしながら、ビデ
オ信号バッファ６２およびオーディオ信号バッファ６３
の記憶容量は、ＭＰＥＧの規定に従った記憶容量を有す
る必要があるから、結局、ディレクトリデータバッファ
６４の記憶容量を極力小さくする必要がある。その反
面、ディレクトリデータバッファ６４に記憶されるディ
レクトリのオーバーフローおよびアンダーフローを考慮
する必要もある。そこで、本実施例においては、ディレ
クトリデータバッファ６４の記憶容量を１Ｋビットとし
ている。このように、ディレクトリデータバッファ６４
の記憶容量が比較的少ないので、ディレクトリデータバ
ッファ６４を付加してもＤＳＰにとって大きな負担には
ならない。本実施例においては、ビデオ信号バッファ６
２は４６Ｋバイトの記憶容量を有するスタテックランダ
ムアクセスメモリ（ＳＲＡＭ）で構成され、オーディオ
信号バッファ６３は４Ｋバイトの記憶容量を有するＳＲ
ＡＭで構成され、ディレクトリデータバッファ６４は１
Ｋビットの記憶容量を有するＳＲＡＭで構成されてい
る。
【００６６】図５はビデオ信号のビットストリームにつ
いて述べたが、オーディオ信号についても上記同様のフ
ォーマットで多重化ビットストリームソース５から復号
処理系６に入力される。
いて述べたが、オーディオ信号についても上記同様のフ
ォーマットで多重化ビットストリームソース５から復号
処理系６に入力される。
【００６７】図６（Ａ）はビデオ信号バッファ６２に入
力される出力されるビデオ信号の経時変化を示すグラフ
である。図６（Ｂ）はディレクトリデータバッファ６４
に入力され出力されるディレクトリデータの経時変化を
示すグラフである。図６（Ａ）、（Ｂ）において、横軸
は時間変化を示し、縦軸はビデオ信号バッファ６２およ
びディレクトリデータバッファ６４に蓄積されているビ
デオ信号とディレクトリデータの量を示す。図６（Ｂ）
の破線で示した曲線はバッファリングにおいてオーバー
フローする限界を示し、実線で示した曲線はアンダーフ
ローする限界を示す。図７は図５に示したフォーマット
の圧縮符号化信号を含む多重化ビットストリームＳ５が
復号処理系６に入力されたときのビデオ信号バッファ６
２とディレクトリデータバッファ６４の動作を示す。図
６（Ａ）および図７において、ビデオ信号バッファ６２
に入力するビデオ信号の量の変化が２段階になってい
る。最初の傾斜は第１のビデオパッケット内のピクチャ
ーグループＧＯＰ０〜ＧＯＰ９が連続的にビデオ信号バ
ッファ６２に入力される状態を示しており、第２の傾斜
は第２のビデオパッケット内のピクチャーグループＧＯ
Ｐ１０〜ＧＯＰ１９が連続的にビデオ信号バッファ６２
に入力される状態を示している。
力される出力されるビデオ信号の経時変化を示すグラフ
である。図６（Ｂ）はディレクトリデータバッファ６４
に入力され出力されるディレクトリデータの経時変化を
示すグラフである。図６（Ａ）、（Ｂ）において、横軸
は時間変化を示し、縦軸はビデオ信号バッファ６２およ
びディレクトリデータバッファ６４に蓄積されているビ
デオ信号とディレクトリデータの量を示す。図６（Ｂ）
の破線で示した曲線はバッファリングにおいてオーバー
フローする限界を示し、実線で示した曲線はアンダーフ
ローする限界を示す。図７は図５に示したフォーマット
の圧縮符号化信号を含む多重化ビットストリームＳ５が
復号処理系６に入力されたときのビデオ信号バッファ６
２とディレクトリデータバッファ６４の動作を示す。図
６（Ａ）および図７において、ビデオ信号バッファ６２
に入力するビデオ信号の量の変化が２段階になってい
る。最初の傾斜は第１のビデオパッケット内のピクチャ
ーグループＧＯＰ０〜ＧＯＰ９が連続的にビデオ信号バ
ッファ６２に入力される状態を示しており、第２の傾斜
は第２のビデオパッケット内のピクチャーグループＧＯ
Ｐ１０〜ＧＯＰ１９が連続的にビデオ信号バッファ６２
に入力される状態を示している。
【００６８】ディレクトリデータバッファ６４は一度に
最大１０個のポインタを入力する容量を有しているの
で、ディレクトリデータバッファ６４においてオーバー
フローもアンダーフローも発生しない。ピクチャーグル
ープの大きさは変化する場合がある。しかしながら、一
度にビデオ信号バッファ６２に入力されるピクチャーグ
ループは最大１０個であり、この最大１０個についてビ
デオ信号デコーダ６５において順次復号処理が行われ
る。したがって、ビデオ信号バッファ６２にはオーバー
フローまたはアンダーフローが発生しない。特に、一度
に処理する最大数を１０個と制限しているので、ビデオ
信号バッファ６２の記憶容量を、上述し、従来と同等の
大きさとして、４７Ｋバイトにした記憶容量を少なくす
ることができる。このことは、多重化ビットストリーム
ソース５に対して種々の復号処理系６で処理することを
考えると、ビデオ信号バッファ６２およびディレクトリ
データバッファ６４の記憶容量が小さく、また、ビデオ
信号デコーダ６５およびディレクトリデコーダ６７の処
理能力が低い復号処理系６においても、オーバーフロー
またはアンダーフローを生じさせずに復号処理が可能に
なるという利点を意味している。つまり、多重化ビット
ストリームソース５から、図５に示したような、ディレ
クトリデータおよびこれに対応するピクチャーグループ
を分割した信号伝送形態（フォーマット）で復号処理系
６に提供することにより、種々の復号処理系６がそのフ
ォーマットに追従して復号処理可能になる。もちろん、
このようなフォーマットは符号処理系１において多重化
ビットストリームソース５に提供されるから、元々、符
号処理系１において、このようなビットストリームにな
るように多重化ビットストリームソース５に出力する。
最大１０個のポインタを入力する容量を有しているの
で、ディレクトリデータバッファ６４においてオーバー
フローもアンダーフローも発生しない。ピクチャーグル
ープの大きさは変化する場合がある。しかしながら、一
度にビデオ信号バッファ６２に入力されるピクチャーグ
ループは最大１０個であり、この最大１０個についてビ
デオ信号デコーダ６５において順次復号処理が行われ
る。したがって、ビデオ信号バッファ６２にはオーバー
フローまたはアンダーフローが発生しない。特に、一度
に処理する最大数を１０個と制限しているので、ビデオ
信号バッファ６２の記憶容量を、上述し、従来と同等の
大きさとして、４７Ｋバイトにした記憶容量を少なくす
ることができる。このことは、多重化ビットストリーム
ソース５に対して種々の復号処理系６で処理することを
考えると、ビデオ信号バッファ６２およびディレクトリ
データバッファ６４の記憶容量が小さく、また、ビデオ
信号デコーダ６５およびディレクトリデコーダ６７の処
理能力が低い復号処理系６においても、オーバーフロー
またはアンダーフローを生じさせずに復号処理が可能に
なるという利点を意味している。つまり、多重化ビット
ストリームソース５から、図５に示したような、ディレ
クトリデータおよびこれに対応するピクチャーグループ
を分割した信号伝送形態（フォーマット）で復号処理系
６に提供することにより、種々の復号処理系６がそのフ
ォーマットに追従して復号処理可能になる。もちろん、
このようなフォーマットは符号処理系１において多重化
ビットストリームソース５に提供されるから、元々、符
号処理系１において、このようなビットストリームにな
るように多重化ビットストリームソース５に出力する。
【００６９】図８はユーザーによるピクチャーのスキッ
プ動作がある場合のビデオ信号バッファ６２に入力され
るピクチャーグループの経緯を示す。ピクチャーグルー
プをいかにスキップさせるかは、ディレクトリパッケッ
ト内に記述されたポインタに従って行われる。本実施例
においては、一度に最大、１０ポインタ、１０ピクチャ
ーグループごと処理している。したがって、破線で示し
たように、かりに、ピクチャーグループ１２からピクチ
ャーグループ１０に戻すような場合でも、第１のディレ
クトリパッケットに戻るでもなく、ディレクトリデータ
バッファ６４に記憶されている第２ディレクトリパッケ
ット内のポインタを参照してピクチャーグループＧＯＰ
１０の表示についての復号処理を行えばよい。たとえ
ば、ビデオテープについて小さな範囲で巻き戻ししてプ
レーバックする場合、このように、多重化ビットストリ
ームソース５から多重化ビットストリームＳ５を読み返
すことなく行われることが多い。従来の方法では、図２
７に図解したように、最初のディレクトリパッケットま
で戻ることになり、即時性に問題がある。本実施例で
は、すでにディレクトリデータバッファ６４に格納され
ているポインタを用いて、ビデオ信号バッファ６２に格
納されているビデオ信号を用いて迅速なスキップ動作が
可能になる。特に、多重化ビットストリームソース（デ
ータ伝送系またはデータ蓄積系）５として、ビデオテー
プを用いたような場合には、最初のディレクトリまで戻
すの時間がかかるという問題があったが、本実施例で
は、データ伝送系またはデータ蓄積系５がビデオテープ
であっても、プレイバックに大きな時間を要しないとい
う利点がある。データ伝送系またはデータ蓄積系５とし
て、ＬＤなどを使用した場合も、ディレクトリデータお
よびピクチャーグループの再読みだし回数が減少するか
ら、迅速なスキップ動作が実現できる。
プ動作がある場合のビデオ信号バッファ６２に入力され
るピクチャーグループの経緯を示す。ピクチャーグルー
プをいかにスキップさせるかは、ディレクトリパッケッ
ト内に記述されたポインタに従って行われる。本実施例
においては、一度に最大、１０ポインタ、１０ピクチャ
ーグループごと処理している。したがって、破線で示し
たように、かりに、ピクチャーグループ１２からピクチ
ャーグループ１０に戻すような場合でも、第１のディレ
クトリパッケットに戻るでもなく、ディレクトリデータ
バッファ６４に記憶されている第２ディレクトリパッケ
ット内のポインタを参照してピクチャーグループＧＯＰ
１０の表示についての復号処理を行えばよい。たとえ
ば、ビデオテープについて小さな範囲で巻き戻ししてプ
レーバックする場合、このように、多重化ビットストリ
ームソース５から多重化ビットストリームＳ５を読み返
すことなく行われることが多い。従来の方法では、図２
７に図解したように、最初のディレクトリパッケットま
で戻ることになり、即時性に問題がある。本実施例で
は、すでにディレクトリデータバッファ６４に格納され
ているポインタを用いて、ビデオ信号バッファ６２に格
納されているビデオ信号を用いて迅速なスキップ動作が
可能になる。特に、多重化ビットストリームソース（デ
ータ伝送系またはデータ蓄積系）５として、ビデオテー
プを用いたような場合には、最初のディレクトリまで戻
すの時間がかかるという問題があったが、本実施例で
は、データ伝送系またはデータ蓄積系５がビデオテープ
であっても、プレイバックに大きな時間を要しないとい
う利点がある。データ伝送系またはデータ蓄積系５とし
て、ＬＤなどを使用した場合も、ディレクトリデータお
よびピクチャーグループの再読みだし回数が減少するか
ら、迅速なスキップ動作が実現できる。
【００７０】上述した第２実施例においては、一度にデ
ィレクトリデータバッファ６４に格納可能なディレクト
リデータを１０個まで許容する例を示したが、本発明は
最大格納ディレクトリデータの数を１０には限定するも
のではなく、本発明においては、より少ない数、たとえ
ば、最大ディレクトリデータ数を５個にすることもでき
る。ディレクトリデータ数を５個にした場合、ディレク
トリデータバッファ６４の記憶容量は０．５Ｋビット
（５００ビット）になる。ディレクトリデータバッファ
６４の記憶容量が小さくなれば、ビデオ信号バッファ６
２の記憶容量を小さくすることができる。このことは、
バッファの記憶容量が小さく、復号処理の性能が低い復
号処理系にも問題なく適用できることを意味している。
つまり、符号処理系１において、多重化ビットストリー
ムソース５に一度に出力するビットストリームの数を極
力小さくすると、種々の復号処理系６において、問題な
く多重化ビットストリームソース５から出力される圧縮
符号化信号を含む多重化ビットストリームＳ５を問題な
く復号できることになる。もちろん、一度に格納できる
ディレクトリデータの数を極端に小さくすると、たとえ
ば、１にすると、多重化ビットストリームソース５から
復号処理系６に入力される多重化ビットストリームＳ５
の伝送頻度が高くなり、多重化ビットストリームソース
５と復号処理系６との間の通信（伝送）速度がボトルネ
ックになる可能性もある。したがって、一度に格納でき
るディレクトリデータの数は数個〜１０個程度が好まし
い。
ィレクトリデータバッファ６４に格納可能なディレクト
リデータを１０個まで許容する例を示したが、本発明は
最大格納ディレクトリデータの数を１０には限定するも
のではなく、本発明においては、より少ない数、たとえ
ば、最大ディレクトリデータ数を５個にすることもでき
る。ディレクトリデータ数を５個にした場合、ディレク
トリデータバッファ６４の記憶容量は０．５Ｋビット
（５００ビット）になる。ディレクトリデータバッファ
６４の記憶容量が小さくなれば、ビデオ信号バッファ６
２の記憶容量を小さくすることができる。このことは、
バッファの記憶容量が小さく、復号処理の性能が低い復
号処理系にも問題なく適用できることを意味している。
つまり、符号処理系１において、多重化ビットストリー
ムソース５に一度に出力するビットストリームの数を極
力小さくすると、種々の復号処理系６において、問題な
く多重化ビットストリームソース５から出力される圧縮
符号化信号を含む多重化ビットストリームＳ５を問題な
く復号できることになる。もちろん、一度に格納できる
ディレクトリデータの数を極端に小さくすると、たとえ
ば、１にすると、多重化ビットストリームソース５から
復号処理系６に入力される多重化ビットストリームＳ５
の伝送頻度が高くなり、多重化ビットストリームソース
５と復号処理系６との間の通信（伝送）速度がボトルネ
ックになる可能性もある。したがって、一度に格納でき
るディレクトリデータの数は数個〜１０個程度が好まし
い。
【００７１】本発明の画像および音声信号処理方法とそ
の装置の第３実施例について述べる。上述したように、
ＭＰＥＧの標準においてはバッファリング遅延時間が１
秒と規定されているが、本実施例においては、このバッ
ファリング遅延時間を排除する。その一方で、ビットス
トリーム内のビデオ信号およびオーディオ信号ごとにタ
イムスタンプを付与する。ただし、極力少ない数のタイ
ムスタンプを用いる。図９は第２実施例としてのビデオ
信号およびオーディオ信号処理装置の構成を示す図であ
る。このビデオ信号およびオーディオ信号処理装置は、
符号処理系１Ａ、非圧縮ビデオ信号源２、非圧縮オーデ
ィオ信号源３、拘束パラメータシステムターゲットデコ
ーダ４Ａ、データ伝送系またはデータ蓄積系５、およ
び、復号処理系６Ａを有する。非圧縮ビデオ信号源２、
非圧縮オーディオ信号源３およびデータ伝送系またはデ
ータ蓄積系５は上述したものと実質的に同じである。符
号処理系１Ａは符号処理系１と同様、拘束パラメータシ
ステムターゲットデコーダ４Ａは拘束パラメータシステ
ムターゲットデコーダ４と同様、復号処理系６Ａは復号
処理系６と同様であるが、下記に述べる点が異なる。
の装置の第３実施例について述べる。上述したように、
ＭＰＥＧの標準においてはバッファリング遅延時間が１
秒と規定されているが、本実施例においては、このバッ
ファリング遅延時間を排除する。その一方で、ビットス
トリーム内のビデオ信号およびオーディオ信号ごとにタ
イムスタンプを付与する。ただし、極力少ない数のタイ
ムスタンプを用いる。図９は第２実施例としてのビデオ
信号およびオーディオ信号処理装置の構成を示す図であ
る。このビデオ信号およびオーディオ信号処理装置は、
符号処理系１Ａ、非圧縮ビデオ信号源２、非圧縮オーデ
ィオ信号源３、拘束パラメータシステムターゲットデコ
ーダ４Ａ、データ伝送系またはデータ蓄積系５、およ
び、復号処理系６Ａを有する。非圧縮ビデオ信号源２、
非圧縮オーディオ信号源３およびデータ伝送系またはデ
ータ蓄積系５は上述したものと実質的に同じである。符
号処理系１Ａは符号処理系１と同様、拘束パラメータシ
ステムターゲットデコーダ４Ａは拘束パラメータシステ
ムターゲットデコーダ４と同様、復号処理系６Ａは復号
処理系６と同様であるが、下記に述べる点が異なる。
【００７２】拘束パラメータシステムターゲットデコー
ダ４Ａは、デマルチプレクシング部４１、ビデオ信号バ
ッファ４２、オーディオ信号バッファ４３、ビデオ信号
デコーダ４５に加えて、ビデオ信号用タイムスタンプバ
ッファ５２、オーディオ信号用タイムスタンプバッファ
５３、ビデオ信号用位相同期（Phase Lock Loop ：ＰＬ
Ｌ）回路５５、オーディオ信号用位相同期回路５６を有
する。
ダ４Ａは、デマルチプレクシング部４１、ビデオ信号バ
ッファ４２、オーディオ信号バッファ４３、ビデオ信号
デコーダ４５に加えて、ビデオ信号用タイムスタンプバ
ッファ５２、オーディオ信号用タイムスタンプバッファ
５３、ビデオ信号用位相同期（Phase Lock Loop ：ＰＬ
Ｌ）回路５５、オーディオ信号用位相同期回路５６を有
する。
【００７３】図１０に復号処理系６Ａの構成を示す。復
号処理系６Ａは拘束パラメータシステムターゲットデコ
ーダ４Ａに対応して構成されるから、デマルチプレクシ
ング部６１、ビデオ信号バッファ６２、オーディオ信号
バッファ６３、ビデオ信号デコーダ６５、オーディオ信
号デコーダ６６に加えて、ビデオ信号用タイムスタンプ
バッファ７２、オーディオ信号用タイムスタンプバッフ
ァ７３、ビデオ信号用位相同期（ＰＬＬ）回路７５、オ
ーディオ信号用位相同期回路７６を有する。第３実施例
では、ビデオ信号バッファ６２の記憶容量を４６Ｋバイ
ト、オーディオ信号バッファ６３の記憶容量を４Ｋバイ
ト、ビデオ信号用タイムスタンプバッファ７２の記憶容
量を３０タイムスタンプ分、同じくオーディオ信号用タ
イムスタンプバッファ７３の記憶容量を３０タイムスタ
ンプ分に設定している。
号処理系６Ａは拘束パラメータシステムターゲットデコ
ーダ４Ａに対応して構成されるから、デマルチプレクシ
ング部６１、ビデオ信号バッファ６２、オーディオ信号
バッファ６３、ビデオ信号デコーダ６５、オーディオ信
号デコーダ６６に加えて、ビデオ信号用タイムスタンプ
バッファ７２、オーディオ信号用タイムスタンプバッフ
ァ７３、ビデオ信号用位相同期（ＰＬＬ）回路７５、オ
ーディオ信号用位相同期回路７６を有する。第３実施例
では、ビデオ信号バッファ６２の記憶容量を４６Ｋバイ
ト、オーディオ信号バッファ６３の記憶容量を４Ｋバイ
ト、ビデオ信号用タイムスタンプバッファ７２の記憶容
量を３０タイムスタンプ分、同じくオーディオ信号用タ
イムスタンプバッファ７３の記憶容量を３０タイムスタ
ンプ分に設定している。
【００７４】図１１に符号処理系１Ａで符号化され、デ
ータ伝送系またはデータ蓄積系５に送出されたビデオ信
号についてのビットストリームを示す。このビットスト
リームは、複数のピクチャーグループからなり、それぞ
れのピクチャーグループは、ビデオ信号パッケットヘッ
ダ、そのピクチャーグループ、そのピクチャーグループ
内の１０個のフレームからなる。ビデオ信号パッケット
ヘッダには、そのピクチャーグループのタイムスタンプ
が記述されている。図１２（Ａ）は図１１に示したビッ
トストリームを示し、図１２（Ｂ）はビデオ信号バッフ
ァ６２に格納されるビデオ信号の格納状態を示し、図１
２（Ｃ）はビデオ信号用タイムスタンプバッファ５２に
格納されるビデオ信号のタイムスタンプの格納状態を示
す。つまり、図１１に示したビデオ信号のビットストリ
ームが、図８に示した復号処理系６Ａに入力され、デマ
ルチプレクシング部６１で分解されて、図１２（Ｂ）の
実線で示したようにビデオ信号はオーバーフローなしに
ビデオ信号バッファ６２に格納され、図１２（Ｃ）に太
い実線で示したようにビデオ信号についてのタイムスタ
ンプはオーバーフローなしにビデオ信号用タイムスタン
プバッファ５２に格納される。図１２（Ｂ）において、
実線で示したビデオ信号の出力タイミングは、ビデオ信
号バッファ６２の出力遅延時間に基づいて４秒遅延して
ビデオ信号デコーダ６５に入力されている。同様に、図
１２（Ｃ）において、ビデオ信号のタイムスタンプはビ
デオ信号用タイムスタンプバッファ７２において４秒遅
延されてビデオ信号用位相同期回路７５に入力されてい
る。
ータ伝送系またはデータ蓄積系５に送出されたビデオ信
号についてのビットストリームを示す。このビットスト
リームは、複数のピクチャーグループからなり、それぞ
れのピクチャーグループは、ビデオ信号パッケットヘッ
ダ、そのピクチャーグループ、そのピクチャーグループ
内の１０個のフレームからなる。ビデオ信号パッケット
ヘッダには、そのピクチャーグループのタイムスタンプ
が記述されている。図１２（Ａ）は図１１に示したビッ
トストリームを示し、図１２（Ｂ）はビデオ信号バッフ
ァ６２に格納されるビデオ信号の格納状態を示し、図１
２（Ｃ）はビデオ信号用タイムスタンプバッファ５２に
格納されるビデオ信号のタイムスタンプの格納状態を示
す。つまり、図１１に示したビデオ信号のビットストリ
ームが、図８に示した復号処理系６Ａに入力され、デマ
ルチプレクシング部６１で分解されて、図１２（Ｂ）の
実線で示したようにビデオ信号はオーバーフローなしに
ビデオ信号バッファ６２に格納され、図１２（Ｃ）に太
い実線で示したようにビデオ信号についてのタイムスタ
ンプはオーバーフローなしにビデオ信号用タイムスタン
プバッファ５２に格納される。図１２（Ｂ）において、
実線で示したビデオ信号の出力タイミングは、ビデオ信
号バッファ６２の出力遅延時間に基づいて４秒遅延して
ビデオ信号デコーダ６５に入力されている。同様に、図
１２（Ｃ）において、ビデオ信号のタイムスタンプはビ
デオ信号用タイムスタンプバッファ７２において４秒遅
延されてビデオ信号用位相同期回路７５に入力されてい
る。
【００７５】図１０において、ビデオ信号用位相同期回
路５５はビデオ信号用タイムスタンプバッファ５２に格
納されてタイムスタンプに基づいて正確に位相同期して
クロックを発生する。ビデオ信号デコーダ４５はビデオ
信号用タイムスタンプバッファ５２に格納されたビデオ
信号を復号する。上述した実施例は、ビデオ信号につい
て述べたが、オーディオ信号についても上記ビデオ信号
と同様に処理される。
路５５はビデオ信号用タイムスタンプバッファ５２に格
納されてタイムスタンプに基づいて正確に位相同期して
クロックを発生する。ビデオ信号デコーダ４５はビデオ
信号用タイムスタンプバッファ５２に格納されたビデオ
信号を復号する。上述した実施例は、ビデオ信号につい
て述べたが、オーディオ信号についても上記ビデオ信号
と同様に処理される。
【００７６】第３実施例においてはバッファリング遅延
時間に限度を設けていない。したがって、復号処理系６
Ａは入力されたビットストリームで規定されたタイムス
タンプに基づいて生成される位相同期されたクロックに
基づいて、遅延時間の制約を受けないで、復号処理を行
う。その結果として、種々の復号処理系６Ａが上述した
ビットストリームのビデオ信号およびオーディオ信号を
復号できる。遅延時間に限度をつけない場合の利点とし
ては、たとえば、ＭＯ、ＤＣＣなどにビデオ信号とオー
ディオ信号とを記録し、復号する場合、そのバッファリ
ング遅延時間は１秒以上、たとえば、２〜５秒程度の許
容時間があるから、このような応答時間の長い復号に本
実施例を適用することが好適である。また、このバッフ
ァリング遅延時間を排除することにより、高解像度の画
像を必要とし応答性をさほど問題にしない用途において
も、画像符号および復号技術を適用できる。ビデオ信号
のタイムスタンプとオーディオ信号のタイムスタンプに
基づいてそれぞれ生成されたクロックに基づいて復号さ
れるから、復号されたビデオ信号とオーディオ信号とは
同期している。
時間に限度を設けていない。したがって、復号処理系６
Ａは入力されたビットストリームで規定されたタイムス
タンプに基づいて生成される位相同期されたクロックに
基づいて、遅延時間の制約を受けないで、復号処理を行
う。その結果として、種々の復号処理系６Ａが上述した
ビットストリームのビデオ信号およびオーディオ信号を
復号できる。遅延時間に限度をつけない場合の利点とし
ては、たとえば、ＭＯ、ＤＣＣなどにビデオ信号とオー
ディオ信号とを記録し、復号する場合、そのバッファリ
ング遅延時間は１秒以上、たとえば、２〜５秒程度の許
容時間があるから、このような応答時間の長い復号に本
実施例を適用することが好適である。また、このバッフ
ァリング遅延時間を排除することにより、高解像度の画
像を必要とし応答性をさほど問題にしない用途において
も、画像符号および復号技術を適用できる。ビデオ信号
のタイムスタンプとオーディオ信号のタイムスタンプに
基づいてそれぞれ生成されたクロックに基づいて復号さ
れるから、復号されたビデオ信号とオーディオ信号とは
同期している。
【００７７】本発明の画像および音声信号処理方法とそ
の装置の第４実施例について述べる。図１３は本発明の
第４実施例についてのビットストリームを示す。図１３
に示したビットストリームは、第１のビデオ信号パッケ
ットは、第１のオーディオ信号パッケット、第２のビデ
オ信号パッケット、第２のオーディオ信号パッケット、
以下、同様に、ビデオ信号パッケットとオーディオ信号
パッケットが続けられて構成されている。第１のビデオ
信号パッケットは、ビデオ信号パッケットヘッダ、第０
番目のピクチャーグループＧＯＰ０、このピクチャーグ
ループＧＯＰ０に関係する第０〜第１９のフレームＦ０
〜Ｆ１９、〜、第３番目のピクチャーグループＧＯＰ
３、このピクチャーグループＧＯＰ３に関係する第０〜
第１９のフレームＦ０〜Ｆ１９で構成されている。この
第１のビデオ信号パッケットの後に、第１のオーディオ
信号パッケットが続いている。ビデオ信号パッケット
は、オーディオ信号パッケットヘッダ、オーディオ信号
アクセスユニットＡＡＵを有する。第１のビデオ信号パ
ッケットのビデオ信号パッケットヘッダに、ビデオ信号
タイムスタンプが記述され、第１のオーディオ信号パッ
ケットヘッダにオーディオ信号タイムスタンプが記述さ
れている。第２ビデオ信号パッケットのビデオ信号パッ
ケットヘッダ、第２のオーディオ信号パッケットのオー
ディオ信号パッケットヘッダ以降にも、それぞれ、ビデ
オ信号タイムスタンプ、オーディオ信号タイムスタンプ
を記述することができるが、これらはオプションであ
り、本実施例においては、第１のビデオ信号パッケット
のビデオ信号パッケットヘッダにビデオ信号タイムスタ
ンプを記述し、第１のオーディオ信号パッケットヘッダ
にオーディオ信号タイムスタンプを記述することが本質
的である。
の装置の第４実施例について述べる。図１３は本発明の
第４実施例についてのビットストリームを示す。図１３
に示したビットストリームは、第１のビデオ信号パッケ
ットは、第１のオーディオ信号パッケット、第２のビデ
オ信号パッケット、第２のオーディオ信号パッケット、
以下、同様に、ビデオ信号パッケットとオーディオ信号
パッケットが続けられて構成されている。第１のビデオ
信号パッケットは、ビデオ信号パッケットヘッダ、第０
番目のピクチャーグループＧＯＰ０、このピクチャーグ
ループＧＯＰ０に関係する第０〜第１９のフレームＦ０
〜Ｆ１９、〜、第３番目のピクチャーグループＧＯＰ
３、このピクチャーグループＧＯＰ３に関係する第０〜
第１９のフレームＦ０〜Ｆ１９で構成されている。この
第１のビデオ信号パッケットの後に、第１のオーディオ
信号パッケットが続いている。ビデオ信号パッケット
は、オーディオ信号パッケットヘッダ、オーディオ信号
アクセスユニットＡＡＵを有する。第１のビデオ信号パ
ッケットのビデオ信号パッケットヘッダに、ビデオ信号
タイムスタンプが記述され、第１のオーディオ信号パッ
ケットヘッダにオーディオ信号タイムスタンプが記述さ
れている。第２ビデオ信号パッケットのビデオ信号パッ
ケットヘッダ、第２のオーディオ信号パッケットのオー
ディオ信号パッケットヘッダ以降にも、それぞれ、ビデ
オ信号タイムスタンプ、オーディオ信号タイムスタンプ
を記述することができるが、これらはオプションであ
り、本実施例においては、第１のビデオ信号パッケット
のビデオ信号パッケットヘッダにビデオ信号タイムスタ
ンプを記述し、第１のオーディオ信号パッケットヘッダ
にオーディオ信号タイムスタンプを記述することが本質
的である。
【００７８】このビットストリームを符号処理する復号
処理系は、図１０に図示した復号処理系６Ａと同様な構
成となるが、ビデオ信号タイムスタンプおよびオーディ
オ信号タイムスタンプＴＩＭＥ−ＳＴＡＭＰが最小でそ
れぞれ１つであるから、ビデオ信号用タイムスタンプバ
ッファ７２およびオーディオ信号用タイムスタンプバッ
ファ７３の記憶容量はそれぞれ１つのタイムスタンプを
記憶するに充分な記憶容量でよい。つまり、第４実施例
においては、タイムスタンプの記憶容量を減少でき、復
号処理系をＤＳＰで構成するのに適している。第４実施
例においては、初期状態のみ印加されるビデオ信号のタ
イムスタンプに基づいてビデオ信号用位相同期回路７５
が位相同期されたクロックを生成し、それ以降、このク
ロックを基準に位相同期されたビデオ信号のクロックが
順次生成されていく。同様に、オーディオ信号のクロッ
クについても、初期状態のみ印加されるオーディオ信号
のタイムスタンプに基づいてオーディオ信号用位相同期
回路７６が位相同期されたクロックを生成し、それ以
降、このクロックを基準に位相同期されたオーディオ信
号のクロックが順次生成されていく。
処理系は、図１０に図示した復号処理系６Ａと同様な構
成となるが、ビデオ信号タイムスタンプおよびオーディ
オ信号タイムスタンプＴＩＭＥ−ＳＴＡＭＰが最小でそ
れぞれ１つであるから、ビデオ信号用タイムスタンプバ
ッファ７２およびオーディオ信号用タイムスタンプバッ
ファ７３の記憶容量はそれぞれ１つのタイムスタンプを
記憶するに充分な記憶容量でよい。つまり、第４実施例
においては、タイムスタンプの記憶容量を減少でき、復
号処理系をＤＳＰで構成するのに適している。第４実施
例においては、初期状態のみ印加されるビデオ信号のタ
イムスタンプに基づいてビデオ信号用位相同期回路７５
が位相同期されたクロックを生成し、それ以降、このク
ロックを基準に位相同期されたビデオ信号のクロックが
順次生成されていく。同様に、オーディオ信号のクロッ
クについても、初期状態のみ印加されるオーディオ信号
のタイムスタンプに基づいてオーディオ信号用位相同期
回路７６が位相同期されたクロックを生成し、それ以
降、このクロックを基準に位相同期されたオーディオ信
号のクロックが順次生成されていく。
【００７９】第４実施例においても第３実施例と同様
に、復号処理系に印加されたタイムスタンプに基づいて
ビデオ信号およびオーディオ信号が復号される。これら
復号されたビデオ信号およびオーディオ信号は位相同期
されたクロックを用いて復号されるから、復号されたビ
デオ信号と復号されたオーディオ信号とは同期してい
る。
に、復号処理系に印加されたタイムスタンプに基づいて
ビデオ信号およびオーディオ信号が復号される。これら
復号されたビデオ信号およびオーディオ信号は位相同期
されたクロックを用いて復号されるから、復号されたビ
デオ信号と復号されたオーディオ信号とは同期してい
る。
【００８０】本発明の画像および音声信号処理方法とそ
の装置の第５実施例について述べる。第３実施例におい
て、ＭＰＥＧ基準における１秒のバッファリング遅延時
間の限度をなくすことを提案した。その一方で、たとえ
ば、業務用などの専門家向けの復号系など性能のよい復
号処理系を用いる場合は、遅延時間をＭＰＥＧが規定す
る１秒より短くする必要がある。たとえば、０．２秒の
遅延時間が必要とされる場合がある。本実施例では、た
とえば、バッファリング遅延時間を０．２秒以内とす
る。第５実施例においては、復号処理系におけるビデオ
信号バッファ、オーディオ信号バッファの記憶容量を非
常に小さくし、バッファにおけるバッファリング遅延時
間を短くし、ビデオ信号復号器およびおよび復号器の処
理時間を高速にする。
の装置の第５実施例について述べる。第３実施例におい
て、ＭＰＥＧ基準における１秒のバッファリング遅延時
間の限度をなくすことを提案した。その一方で、たとえ
ば、業務用などの専門家向けの復号系など性能のよい復
号処理系を用いる場合は、遅延時間をＭＰＥＧが規定す
る１秒より短くする必要がある。たとえば、０．２秒の
遅延時間が必要とされる場合がある。本実施例では、た
とえば、バッファリング遅延時間を０．２秒以内とす
る。第５実施例においては、復号処理系におけるビデオ
信号バッファ、オーディオ信号バッファの記憶容量を非
常に小さくし、バッファにおけるバッファリング遅延時
間を短くし、ビデオ信号復号器およびおよび復号器の処
理時間を高速にする。
【００８１】本発明の画像および音声信号処理方法とそ
の装置の第６実施例について述べる。第６実施例におい
ては、図１４に示した多重化シンタックスによるビット
ストリームのデータが復号処理系に入力された時に、最
初のビデオ信号タイムスタンプ、および、最初のオーデ
ィオ信号タイムスタンプのみを取り込んで、このタイム
スタンプを用いて復号のためのクロックを生成する。こ
の時の復号処理系は、図１０に示した復号処理系の構成
と同様の構成になるが、ビデオ信号タイムスタンプバッ
ファ、および、オーディオ信号タイムスタンプバッファ
の記憶容量は非常に小さくできる。また第６実施例によ
れば、ビデオ信号タイムスタンプ、および、オーディオ
信号タイムスタンプはいかなる多重化シンタックスのビ
ットストリームにおいても必ず最初のヘッダに記述され
ているから、ビットストリームの形態に依存せず、復号
が可能となる。
の装置の第６実施例について述べる。第６実施例におい
ては、図１４に示した多重化シンタックスによるビット
ストリームのデータが復号処理系に入力された時に、最
初のビデオ信号タイムスタンプ、および、最初のオーデ
ィオ信号タイムスタンプのみを取り込んで、このタイム
スタンプを用いて復号のためのクロックを生成する。こ
の時の復号処理系は、図１０に示した復号処理系の構成
と同様の構成になるが、ビデオ信号タイムスタンプバッ
ファ、および、オーディオ信号タイムスタンプバッファ
の記憶容量は非常に小さくできる。また第６実施例によ
れば、ビデオ信号タイムスタンプ、および、オーディオ
信号タイムスタンプはいかなる多重化シンタックスのビ
ットストリームにおいても必ず最初のヘッダに記述され
ているから、ビットストリームの形態に依存せず、復号
が可能となる。
【００８２】以上、本発明の実施例において、画像信号
としてテレビジョンなどにおけるビデオ信号を用いた場
合について述べたが、本発明の実施に際しては、上述し
たビデオ信号に限らず種々の画像データについても適用
できる。また本発明の実施例として、１つのビデオ信号
と１つのオーディオ信号との符号処理および復号処理に
ついて述べたが、たとえば、マルチメディアシステムな
どにおけるように、複数のビデオ信号、複数のオーディ
オ信号について多重化し符号化してディジタルデータ蓄
積媒体に記録し、再び、複数のビデオ信号および複数の
オーディオ信号に復号する場合についても適用できる。
さらに、本発明はディジタルデータを蓄積する場合に限
らず、データ通信（またはデータ伝送）を行う場合につ
いても適用できる。また圧縮および復号技術の例とし
て、ＭＰＥＧを例示したが、本発明は上述したＭＰＥＧ
と同様の他の圧縮および復号技術を適用することができ
る。
としてテレビジョンなどにおけるビデオ信号を用いた場
合について述べたが、本発明の実施に際しては、上述し
たビデオ信号に限らず種々の画像データについても適用
できる。また本発明の実施例として、１つのビデオ信号
と１つのオーディオ信号との符号処理および復号処理に
ついて述べたが、たとえば、マルチメディアシステムな
どにおけるように、複数のビデオ信号、複数のオーディ
オ信号について多重化し符号化してディジタルデータ蓄
積媒体に記録し、再び、複数のビデオ信号および複数の
オーディオ信号に復号する場合についても適用できる。
さらに、本発明はディジタルデータを蓄積する場合に限
らず、データ通信（またはデータ伝送）を行う場合につ
いても適用できる。また圧縮および復号技術の例とし
て、ＭＰＥＧを例示したが、本発明は上述したＭＰＥＧ
と同様の他の圧縮および復号技術を適用することができ
る。
【００８３】
【発明の効果】本発明によれば、通常の画像データにつ
いても復号処理系におけるバッファリング遅延時間の制
限をなくし、少なくとも画像データのビットストリーム
レートと許容遅延時間で規定される容量のタイムスタン
プを復号処理系のバッファメモリに記憶することを可能
にしているから、バッファリングの問題が解決され、さ
らに、非常に多くの画像データの喪失が生じても、復号
処理系においてタイムスタンプを用いて同期回復を行う
ことができる。
いても復号処理系におけるバッファリング遅延時間の制
限をなくし、少なくとも画像データのビットストリーム
レートと許容遅延時間で規定される容量のタイムスタン
プを復号処理系のバッファメモリに記憶することを可能
にしているから、バッファリングの問題が解決され、さ
らに、非常に多くの画像データの喪失が生じても、復号
処理系においてタイムスタンプを用いて同期回復を行う
ことができる。
【００８４】また本発明によれば、種々の拘束パラメー
タ・ビットストリームの多重化シンタックスデータにつ
いて、種々の復号を可能とする。したがって、種々の符
号化に依存されず効率よく復号できる。
タ・ビットストリームの多重化シンタックスデータにつ
いて、種々の復号を可能とする。したがって、種々の符
号化に依存されず効率よく復号できる。
【００８５】さらに本発明によれば、バッファリング制
限時間の限度なく、フレキシブルに多重化シンタックス
データを復号することができる。
限時間の限度なく、フレキシブルに多重化シンタックス
データを復号することができる。
【００８６】本発明によれば、復号装置の構成を簡単に
できる。特に、本発明によれば、記憶容量の小さなメモ
リを有するＤＳＰで構成できる。
できる。特に、本発明によれば、記憶容量の小さなメモ
リを有するＤＳＰで構成できる。
【００８７】また本発明によれば、ファーストフォワー
ド、フィードバックなどの動作においても迅速な動作が
可能になる。
ド、フィードバックなどの動作においても迅速な動作が
可能になる。
【００８８】さらに本発明によればさらに、長いスター
トアップディレーを排除できる。
トアップディレーを排除できる。
【図１】本発明の画像および音声信号処理装置の第１実
施例としてのビデオ信号およびオーディオ信号処理装置
の構成図である。
施例としてのビデオ信号およびオーディオ信号処理装置
の構成図である。
【図２】図１に示したビデオ信号およびオーディオ信号
処理装置における復号処理系の構成図である。
処理装置における復号処理系の構成図である。
【図３】本発明の画像および音声信号処理装置の第２実
施例としてのビデオ信号およびオーディオ信号処理装置
の構成図である。
施例としてのビデオ信号およびオーディオ信号処理装置
の構成図である。
【図４】図３に示したビデオ信号およびオーディオ信号
処理装置における復号処理系の構成図である。
処理装置における復号処理系の構成図である。
【図５】図３に示したビデオ信号およびオーディオ信号
処理装置における多重化シンタックス（フォーマット）
を示す図である。
処理装置における多重化シンタックス（フォーマット）
を示す図である。
【図６】図４に示した復号処理系におけるディレクトリ
バッファ、および、ディレクトリデコーダの動作を示す
グラフである。
バッファ、および、ディレクトリデコーダの動作を示す
グラフである。
【図７】図３に示した復号処理系の動作を示す図であ
る。
る。
【図８】図３に示す復号処理系におけるスキップ動作を
示す図である。
示す図である。
【図９】本発明の画像および音声信号処理装置の第３実
施例としてのビデオ信号およびオーディオ信号処理装置
の構成図である。
施例としてのビデオ信号およびオーディオ信号処理装置
の構成図である。
【図１０】図３に示したビデオ信号およびオーディオ信
号処理装置における復号処理系の構成図である。
号処理装置における復号処理系の構成図である。
【図１１】図９に示したビデオ信号およびオーディオ信
号処理装置における多重化シンタックス（フォーマッ
ト）を示す図である。
号処理装置における多重化シンタックス（フォーマッ
ト）を示す図である。
【図１２】図４に示した復号処理系におけるディレクト
リバッファ、および、ディレクトリデコーダの動作を示
すグラフである。
リバッファ、および、ディレクトリデコーダの動作を示
すグラフである。
【図１３】本発明の第４実施例としてのビットストリー
ムを図解する図である。
ムを図解する図である。
【図１４】本発明の第６実施例としてのビットストリー
ムを図解する図である。
ムを図解する図である。
【図１５】従来のＭＰＥＧに基づくビデオ信号およびオ
ーディオ信号処理装置の構成図である。
ーディオ信号処理装置の構成図である。
【図１６】図１５における拘束パラメータビットストリ
ームのフォーマットを示す図であり、（Ａ）は図１５に
おける符号処理系においてマルチプレクシングしたビッ
トストリームを示し、（Ｂ）は復号処理系においてフォ
ーマット変換した信号フォーマットを示す。
ームのフォーマットを示す図であり、（Ａ）は図１５に
おける符号処理系においてマルチプレクシングしたビッ
トストリームを示し、（Ｂ）は復号処理系においてフォ
ーマット変換した信号フォーマットを示す。
【図１７】図１５に示した復号処理系の構成図である。
【図１８】従来の復号処理系におけるオーディオ信号受
信バッファに入力されるオーディオ信号とオーディオ信
号復号器に入力されるオーディオ信号とのタイミングの
関係を示す図である。
信バッファに入力されるオーディオ信号とオーディオ信
号復号器に入力されるオーディオ信号とのタイミングの
関係を示す図である。
【図１９】従来の復号処理系におけるオーディオ信号受
信バッファに入力されるオーディオ信号とオーディオ信
号復号器に入力されるオーディオ信号との他のタイミン
グの関係を示す図である。
信バッファに入力されるオーディオ信号とオーディオ信
号復号器に入力されるオーディオ信号との他のタイミン
グの関係を示す図である。
【図２０】バッファにおけるオーバーフローとアンダー
フローを示す図である。
フローを示す図である。
【図２１】図２０に示したオーバーフローまたはアンダ
ーフローを防止する方法を示す図である。
ーフローを防止する方法を示す図である。
【図２２】スタートアップディレーを説明する図であ
る。
る。
【図２３】他のバッファリング処理を示す図である。
【図２４】さらに他のバッファリング処理を示す図であ
る。
る。
【図２５】先行出願の復号器の構成図である。
【図２６】図２５に示した復号器で処理するビットスト
リームを示す図である。
リームを示す図である。
【図２７】従来の他のビットストリームを示す図であ
る。
る。
【図２８】ＭＰＥＧに基づく他の従来のビデオ信号およ
びオーディオ信号処理装置の構成図である。
びオーディオ信号処理装置の構成図である。
【図２９】従来の他のバッファリングの問題を図解する
図である。
図である。
【図３０】図２９に示した問題を解決するバッファリン
グの方法を図解する図である。
グの方法を図解する図である。
１，１０・・符号処理系 ２・・非圧縮ビデオ信号源 ３・・非圧縮オーディオ信号源 ４，４０・・拘束パラメータシステムターゲットデコー
ダ ４１・・デマルチプレクシング部 ４２・・ビデオ信号バッファ ４３・・オーディオ信号バッファ ４４・・ディレクトリデータバッファ ４５・・ビデオ信号デコーダ ４６・・オーディオ信号デコーダ ４７・・ディレクトリデコーダ ５２・・ビデオ信号用タイムスタンプバッファ ５３・・オーディオ信号用タイムスタンプバッファ ５５・・ビデオ信号用位相同期回路 ５６・・オーディオ信号用位相同期回路 ５・・データ伝送系またはデータ蓄積系 多重化ビットストリームソース ６，６０・・復号処理系 ６１・・デマルチプレクシング部 ６２・・ビデオ信号バッファ ６３・・オーディオ信号バッファ ６４・・ディレクトリデータバッファ ６５・・ビデオ信号デコーダ ６６・・オーディオ信号デコーダ ６７・・ディレクトリデコーダ ７２・・ビデオ信号用タイムスタンプバッファ ７３・・オーディオ信号用タイムスタンプバッファ ７５・・ビデオ信号用位相同期回路 ７６・・オーディオ信号用位相同期回路 Ｓ１・・符号処理系からの圧縮符号化信号 Ｓ２・・非圧縮ビデオ信号 Ｓ３・・非圧縮オーディオ信号 Ｓ５・・圧縮符号化信号を含む多重化ビットストリーム Ｓ６Ａ・・復号化非圧縮ビデオ信号 Ｓ６Ｂ・・復号化非圧縮オーディオ信号 ＣＳＰＳ：Constraint System Parameter Stream （拘束システムパラメータ・ストリーム） （多重化ビットストリーム） ＳＴＤ：System Target Decoder(システムターゲットデ
コーダ) ＳＣＲ：System Clock Reference（システムクロック基
準） ＤＴＳ：Decode Time Stamp ( デコーダタイムスタン
プ） ＰＴＳ：Picture Time Stamp( ピクチャータイムスタン
プ) ＧＯＰ：Group Of Picture( ピクチャーグループ）
ダ ４１・・デマルチプレクシング部 ４２・・ビデオ信号バッファ ４３・・オーディオ信号バッファ ４４・・ディレクトリデータバッファ ４５・・ビデオ信号デコーダ ４６・・オーディオ信号デコーダ ４７・・ディレクトリデコーダ ５２・・ビデオ信号用タイムスタンプバッファ ５３・・オーディオ信号用タイムスタンプバッファ ５５・・ビデオ信号用位相同期回路 ５６・・オーディオ信号用位相同期回路 ５・・データ伝送系またはデータ蓄積系 多重化ビットストリームソース ６，６０・・復号処理系 ６１・・デマルチプレクシング部 ６２・・ビデオ信号バッファ ６３・・オーディオ信号バッファ ６４・・ディレクトリデータバッファ ６５・・ビデオ信号デコーダ ６６・・オーディオ信号デコーダ ６７・・ディレクトリデコーダ ７２・・ビデオ信号用タイムスタンプバッファ ７３・・オーディオ信号用タイムスタンプバッファ ７５・・ビデオ信号用位相同期回路 ７６・・オーディオ信号用位相同期回路 Ｓ１・・符号処理系からの圧縮符号化信号 Ｓ２・・非圧縮ビデオ信号 Ｓ３・・非圧縮オーディオ信号 Ｓ５・・圧縮符号化信号を含む多重化ビットストリーム Ｓ６Ａ・・復号化非圧縮ビデオ信号 Ｓ６Ｂ・・復号化非圧縮オーディオ信号 ＣＳＰＳ：Constraint System Parameter Stream （拘束システムパラメータ・ストリーム） （多重化ビットストリーム） ＳＴＤ：System Target Decoder(システムターゲットデ
コーダ) ＳＣＲ：System Clock Reference（システムクロック基
準） ＤＴＳ：Decode Time Stamp ( デコーダタイムスタン
プ） ＰＴＳ：Picture Time Stamp( ピクチャータイムスタン
プ) ＧＯＰ：Group Of Picture( ピクチャーグループ）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/91 5/92 7/08 7/081 7734−5Ｃ Ｈ０４Ｎ 5/92 Ｈ 6942−5Ｃ 7/08 １０１
Claims (8)
- 【請求項１】画像信号および音声信号をそれぞれ同時的
に圧縮処理をし、これら圧縮された画像信号および音声
信号にタイムスタンプを付加し、順次マルチプレクシン
グしたビットストリームとして送出する符号処理系と、 該符号処理系から送出されたビットストリームを伝送ま
たは蓄積するデータ伝送系またはデータ蓄積系と、 該データ伝送系またはデータ蓄積系からのビットストリ
ームを入力し、デマルチプレクシングして前記圧縮画像
信号、前記圧縮音声信号、前記タイムスタンプをバッフ
ァリングし、該タイムスタンプを参照して前記圧縮画像
信号および前記圧縮音声信号を同期させて復号する復号
処理系とを有し、 前記復号処理系における前記タイムスタンプをバッファ
リングする遅延時間を少なくとも前記画像データが正常
にバッファリングされる許容遅延時間に設定し、前記タ
イムスタンプを分離してバッファリングするバッファメ
モリの容量を該遅延許容時間と少なくとも前記画像デー
タが入力されるビットストリームの速度とで規定される
大きさ以上の容量とする画像および音声信号処理装置。 - 【請求項２】画像信号および音声信号がそれぞれ同時的
に圧縮処理され、これら圧縮された画像信号および音声
信号にタイムスタンプが付加され、順次マルチプレクシ
ングしたビットストリームとして入力される信号を、デ
マルチプレクシングして前記圧縮画像信号、前記圧縮音
声信号、前記タイムスタンプを分離してバッファリング
し、該タイムスタンプを参照して前記圧縮画像信号およ
び前記圧縮音声信号を同期させて復号する復号処理方法
であって、 前記タイムスタンプをバッファリングする遅延許容時間
を、少なくとも前記画像データが正常にバッファリング
される遅延許容時間に設定し、 前記タイムスタンプをバッファリングするバッファメモ
リの容量を該遅延許容時間と少なくとも前記画像データ
が入力されるビットストリームの速度で規定される大き
さ以上の容量とする復号処理方法。 - 【請求項３】画像信号および音声信号をそれぞれ同時的
に圧縮処理をし、これら圧縮された所定数の画像信号お
よび所定数の音声信号に、該画像信号および該音声信号
の配置を示すポインタを含むディレクトリデータを付加
して１組のパッケットとして順次マルチプレクシングし
たビットストリームとして送出する符号処理系と、 該符号処理系から送出されたビットストリームを伝送ま
たは蓄積するデータ伝送系またはデータ蓄積系と、 該データ伝送系またはデータ蓄積系からのビットストリ
ームを前記１組のパッケットごと入力し、デマルチプレ
クシングして前記圧縮画像信号、前記圧縮音声信号、前
記ディレクトリデータごと独立してバッファリングし、
該ディレクトリデータを参照して前記圧縮画像信号およ
び前記圧縮音声信号を同期させて復号する復号処理系と
を有する画像および音声信号処理装置。 - 【請求項４】同時的に画像信号および音声信号信号を圧
縮し、 これら圧縮された所定数の画像信号と所定数の音声信号
にそれぞれの配置を示す固定長のポインタを付加して構
成したパッケットを組にして多重化し、順次、ビットス
トリームとして出力する画像および音声信号符号化方
法。 - 【請求項５】圧縮された所定数の画像信号および所定数
の音声信号に、該画像信号および音声信号の配置を示す
ポインタを含むディレクトリデータが付加された１組の
パッケットとして順次、マルチプレクシングされたビッ
トストリームを１組のパッケットごと入力し、 デマルチプレクシングして前記圧縮画像信号、前記圧縮
音声信号、前記ディレクトリデータごと独立してバッフ
ァリングし、 該ディレクトリデータを参照して前記圧縮画像信号およ
び前記圧縮音声信号を同期させて復号する画像および音
声信号復号方法。 - 【請求項６】画像信号および音声信号をそれぞれ同時的
に圧縮し、所定数の圧縮された画像信号の最初の時刻を
示す第１のタイムスタンプと所定数の圧縮された音声信
号の最初の時刻を示す第２のタイムスタンプとが記述さ
れたそれぞれのパッケットヘッダと前記所定数の圧縮画
像信号および所定数の圧縮音声信号とをパッケットとし
てマルチプレクシングしたビットストリームとして出力
する符号処理系と、 該符号処理系から送出されたビットストリームを伝送ま
たは蓄積するデータ伝送系またはデータ蓄積系と、 該データ伝送系またはデータ蓄積系からのビットストリ
ーム形態のデータを入力し、デマルチプレクシングして
前記圧縮画像信号、前記圧縮音声信号および前記タイム
スタンプごと独立に、少なくとも該タイムスタンプにつ
いて遅延時間の制限なくバッファリングし、該タイムス
タンプを用いて復号用のクロックを生成して前記画像信
号および前記音声信号を同期させて復号する復号処理系
とを有する画像および音声信号処理装置。 - 【請求項７】画像信号および音声信号をそれぞれ同時的
に圧縮し、 所定数の圧縮された画像信号の最初の時刻を示す第１の
タイムスタンプと所定数の圧縮された音声信号の最初の
時刻を示す第２のタイムスタンプが記述されたそれぞれ
のパッケットヘッダと前記所定数の圧縮画像信号および
所定数の圧縮音声信号とをパッケットとしてマルチプレ
クシングしたビットストリームとして出力し、 該ビットストリーム形態のデータを入力してデマルチプ
レクシングして前記圧縮画像信号、前記圧縮音声信号お
よび前記タイムスタンプごと独立に、少なくとも該タイ
ムスタンプについて遅延時間の制限なくバッファリング
し、 該タイムスタンプを用いて復号用のクロックを生成して
前記画像信号および前記音声信号を同期させて復号する
画像および音声信号処理方法。 - 【請求項８】所定数の圧縮された画像信号と音声信号と
がパッケットとして構成され、該画像信号の時刻を示す
第１のタイムスタンプと該音声信号の時刻を示す第２の
タイムスタンプが付加されてビットストリームとして入
力されるデータを入力し、 最初の画像信号についてのタイムスタンプ、および、最
初の音声信号についてのタイムスタンプのみ取り込み、 該それぞれのタイムスタンプを用いて復号クロックを生
成し、 該それぞれのクロックを用いて入力した圧縮画像信号お
よび圧縮音声信号を同期させて復号する画像および音声
信号復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17052093A JP3552249B2 (ja) | 1993-07-09 | 1993-07-09 | 画像および音声信号処理方法とその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17052093A JP3552249B2 (ja) | 1993-07-09 | 1993-07-09 | 画像および音声信号処理方法とその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0730886A true JPH0730886A (ja) | 1995-01-31 |
| JP3552249B2 JP3552249B2 (ja) | 2004-08-11 |
Family
ID=15906469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17052093A Expired - Fee Related JP3552249B2 (ja) | 1993-07-09 | 1993-07-09 | 画像および音声信号処理方法とその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3552249B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09232966A (ja) * | 1996-02-28 | 1997-09-05 | Nec Corp | 音声信号処理回路 |
| US5845021A (en) * | 1994-12-28 | 1998-12-01 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6009202A (en) * | 1994-12-28 | 1999-12-28 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6047027A (en) * | 1996-02-07 | 2000-04-04 | Matsushita Electric Industrial Co., Ltd. | Packetized data stream decoder using timing information extraction and insertion |
| WO2001033832A1 (fr) * | 1999-10-29 | 2001-05-10 | Fujitsu Limited | Appareil de reproduction d'images et appareil d'enregistrement/reproduction d'images |
| CN1085008C (zh) * | 1995-03-29 | 2002-05-15 | 株式会社日立制作所 | 多路压缩图象声音数据的解码装置、应用程序实施装置和编码化图像声音数据接收装置 |
| KR100345488B1 (ko) * | 1999-07-30 | 2002-07-26 | 엘지전자주식회사 | 사후 기록 오디오 데이터의 기록/재생 방법 |
| JP2003510912A (ja) * | 1999-09-21 | 2003-03-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | クロック回復 |
| KR100393337B1 (ko) * | 1998-04-08 | 2003-07-31 | 마츠시타 덴끼 산교 가부시키가이샤 | 광디스크, 광디스크 기록방법과 장치, 및 광디스크재생방법과 장치 |
| KR20040038184A (ko) * | 2002-10-31 | 2004-05-08 | 엘지전자 주식회사 | Ａ／ｖ 동기화를 위한 오디오 패킷 디코딩 방법 |
| KR100584183B1 (ko) * | 1998-07-09 | 2006-10-04 | 엘지전자 주식회사 | 재 기록가능 기록매체의 데이터 기록방법 |
| JP3920769B2 (ja) * | 2000-08-17 | 2007-05-30 | 株式会社日立製作所 | 車両用計測制御装置 |
| US7240013B2 (en) | 2002-05-04 | 2007-07-03 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling buffering of audio stream |
| JPWO2016139808A1 (ja) * | 2015-03-05 | 2017-06-01 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びデータ処理プログラム |
| JPWO2021241111A1 (ja) * | 2020-05-29 | 2021-12-02 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04104677A (ja) * | 1990-08-24 | 1992-04-07 | Hitachi Ltd | 情報記録再生方式および装置 |
-
1993
- 1993-07-09 JP JP17052093A patent/JP3552249B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04104677A (ja) * | 1990-08-24 | 1992-04-07 | Hitachi Ltd | 情報記録再生方式および装置 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6081208A (en) * | 1994-12-28 | 2000-06-27 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US5995667A (en) * | 1994-12-28 | 1999-11-30 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6018594A (en) * | 1994-12-28 | 2000-01-25 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6009202A (en) * | 1994-12-28 | 1999-12-28 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6011867A (en) * | 1994-12-28 | 2000-01-04 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6016363A (en) * | 1994-12-28 | 2000-01-18 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6016364A (en) * | 1994-12-28 | 2000-01-18 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US5845021A (en) * | 1994-12-28 | 1998-12-01 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6021226A (en) * | 1994-12-28 | 2000-02-01 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6044175A (en) * | 1994-12-28 | 2000-03-28 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| US6047086A (en) * | 1994-12-28 | 2000-04-04 | Kabushiki Kaisha Toshiba | Image information encoding/decoding system |
| CN1085008C (zh) * | 1995-03-29 | 2002-05-15 | 株式会社日立制作所 | 多路压缩图象声音数据的解码装置、应用程序实施装置和编码化图像声音数据接收装置 |
| US6047027A (en) * | 1996-02-07 | 2000-04-04 | Matsushita Electric Industrial Co., Ltd. | Packetized data stream decoder using timing information extraction and insertion |
| JPH09232966A (ja) * | 1996-02-28 | 1997-09-05 | Nec Corp | 音声信号処理回路 |
| KR100393337B1 (ko) * | 1998-04-08 | 2003-07-31 | 마츠시타 덴끼 산교 가부시키가이샤 | 광디스크, 광디스크 기록방법과 장치, 및 광디스크재생방법과 장치 |
| KR100584183B1 (ko) * | 1998-07-09 | 2006-10-04 | 엘지전자 주식회사 | 재 기록가능 기록매체의 데이터 기록방법 |
| KR100345488B1 (ko) * | 1999-07-30 | 2002-07-26 | 엘지전자주식회사 | 사후 기록 오디오 데이터의 기록/재생 방법 |
| JP2003510912A (ja) * | 1999-09-21 | 2003-03-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | クロック回復 |
| WO2001033832A1 (fr) * | 1999-10-29 | 2001-05-10 | Fujitsu Limited | Appareil de reproduction d'images et appareil d'enregistrement/reproduction d'images |
| US6807363B1 (en) | 1999-10-29 | 2004-10-19 | Fujitsu Limited | Digital moving picture data player system having a time-based access list |
| JP3920769B2 (ja) * | 2000-08-17 | 2007-05-30 | 株式会社日立製作所 | 車両用計測制御装置 |
| US7240013B2 (en) | 2002-05-04 | 2007-07-03 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling buffering of audio stream |
| KR20040038184A (ko) * | 2002-10-31 | 2004-05-08 | 엘지전자 주식회사 | Ａ／ｖ 동기화를 위한 오디오 패킷 디코딩 방법 |
| JPWO2016139808A1 (ja) * | 2015-03-05 | 2017-06-01 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びデータ処理プログラム |
| JPWO2021241111A1 (ja) * | 2020-05-29 | 2021-12-02 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3552249B2 (ja) | 2004-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3605826B2 (ja) | ビデオおよびオーディオ信号処理システムにおける補助情報のための合理的入力バッファの回路配列 | |
| US7058129B2 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
| US5905768A (en) | MPEG audio synchronization system using subframe skip and repeat | |
| RU2273111C2 (ru) | Способ преобразования пакетизированного потока информационных сигналов в поток информационных сигналов с временными отметками и наоборот | |
| US7292610B2 (en) | Multiplexed data producing apparatus, encoded data reproducing apparatus, clock conversion apparatus, encoded data recording medium, encoded data transmission medium, multiplexed data producing method, encoded data reproducing method, and clock conversion method | |
| US5481543A (en) | Rational input buffer arrangements for auxiliary information in video and audio signal processing systems | |
| US7359006B1 (en) | Audio module supporting audio signature | |
| JP3552249B2 (ja) | 画像および音声信号処理方法とその装置 | |
| JP3438223B2 (ja) | 多重化装置および多重化方法、並びに伝送装置および伝送方法 | |
| CN100416689C (zh) | 再现设备和方法以及记录介质 | |
| JP4613860B2 (ja) | Ｍｐｅｇ符号化ストリーム復号装置 | |
| JP3404808B2 (ja) | 復号方法と復号装置 | |
| RU2308098C2 (ru) | Воспроизводящее устройство и способ и записывающий носитель | |
| JPH11205789A (ja) | Ｍｐｅｇ２トランスポートストリーム伝送レート変換装 置 | |
| JPH09312656A (ja) | 伝送装置およびその方法 | |
| JP3536493B2 (ja) | オーサリングシステム，このシステムで使用される符号化装置及び多重化装置並びに多重ビットストリームを生成する方法 | |
| RU2401465C2 (ru) | Устройство и способ воспроизведения | |
| Lu et al. | Mechanisms of MPEG stream synchronization | |
| JPH099215A (ja) | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 | |
| KR0181081B1 (ko) | 시스템 복호화기의 이에스씨알 재생장치 | |
| JP2001309306A (ja) | 再生装置および方法、並びに記録媒体 | |
| JPH0832621A (ja) | 画像音声符号化データ伝送装置 | |
| JPH09270994A (ja) | ストリーム制御方式 | |
| JPH10126274A (ja) | データ復号方法及びデータ復号装置、クロック変換方法及びクロック変換装置 | |
| JP2005198347A (ja) | アフレコ信号生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040426 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |