JP3622235B2 - 多重化データの復号装置 - Google Patents
多重化データの復号装置 Download PDFInfo
- Publication number
- JP3622235B2 JP3622235B2 JP20233794A JP20233794A JP3622235B2 JP 3622235 B2 JP3622235 B2 JP 3622235B2 JP 20233794 A JP20233794 A JP 20233794A JP 20233794 A JP20233794 A JP 20233794A JP 3622235 B2 JP3622235 B2 JP 3622235B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- encoded
- video
- data
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【産業上の利用分野】
本発明は、複数の符号化されたデータが時系列的に多重化されたデータを復号する復号装置に関するものである。
【０００２】
【従来の技術】
近年、データ圧縮（高能率符号化）技術は、放送、通信、情報機器等の多くのメディアで利用されている。特にＡＶ機器の分野では、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）を利用して、一枚のＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）に最大７４分のディジタル化した音声と動画を記録できる「ビデオＣＤ」が規格化され、普及しつつある。
【０００３】
図１４は従来のビデオＣＤのデータフォーマットを示す図である。ビデオＣＤのデータは、一つのパックの中に一つのパケットを含む構成になっている。１パックは１セクタ中の２３２４バイトで構成されている。映像データのフォーマットと音声データのフォーマットは基本的には同じであるが、音声データの場合、データ部として２２７９バイト、ゼロを記録する余剰の２０バイトを付加して映像データと同じ２３２４バイトを１パックとしている。なお、個々のヘッダについてはその説明を省略する。
【０００４】
ディスク上では映像と音声のデータを時系列多重記録しており、平均すると６対１の割合で配置されている。
【０００５】
ビデオＣＤでは、ＶＨＳに代表されるＶＴＲとは異なり、映像と音声データが時系列に並ぶため、これらの同期を行なうための時間情報（タイムスタンプ）が必要になる。例えばＭＰＥＧではこれを３つの時間情報で制御を行なう。まず、パックヘッダ内にあり、装置の基準クロックであるＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）、次にパケットヘッダ内にあり、ＳＣＲの基準に従って、映像と音声データのデコードの開始時刻を提示するＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）、そして同じくパケットヘッダ内にあり、デコード結果を提示するＰＴＳ（Ｐｒｅｓｅｎｔｅｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）がある。
【０００６】
【発明が解決しようとする課題】
図１５は従来の符号化多重データのデコーダ構成を示す図であり、記録媒体である光ディスク１から出力される符号化多重のデータは、デマルチプレクサ部４にて映像と音声の符号化データに分離され、それぞれ映像デコーダ部７、音声デコーダ部１１に入力される。と同時に、必要に応じて時間情報であるＳＣＲ、ＤＴＳ、ＰＴＳを多重データから分離し、それらの情報を用いて、映像遅延部１８と音声遅延部１９からの出力信号の出力時刻をタイムスタンプ制御部２０にて決定する。
【０００７】
このように、映像と音声データの同期ずれは、タイムスタンプの精度で決まることになり、高い精度で同期を行なうことが可能であるが、タイムスタンプを挿入したり、分離、検出する装置等が必要になり、構成が複雑で装置が高価になるといった問題点があった。
【０００８】
本発明は上記のような問題点を解消するためになされたもので、タイムスタンプが不用で、かつ、簡単な構成で映像と音声の同期制御を行なう多重化データの復号化装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の請求項１に係る多重化データの復号装置は、複数のピクチャからなる映像データが複数のパックに分割され、前記映像データに対応した複数のフレームからなる音声データが１つのパックに収納され、これらを１つの単位として時系列多重化された符号化多重データを復号し、映像信号と音声信号を出力する多重化データの復号装置であって、
前記符号化多重データを一時的に蓄える多重化データバッファ手段と、前記多重化データバッファ手段の出力を制御する多重化データ出力制御手段と、前記符号化多重信号から符号化映像信号と符号化音声信号及びそれらの符号化レートを分離する信号分離手段と、前記符号化映像信号を一時的に蓄える映像バッファ手段と、前記符号化映像信号を復号する映像復号手段と、前記映像バッファ手段から前記映像復号手段への符号化映像信号出力を制御する符号化映像信号出力制御手段と、前記符号化音声信号を一時的に蓄える音声バッファ手段と、前記符号化音声信号を復号する音声復号手段と前記音声バッファ手段から前記音声復号手段への符号化映像信号出力を制御する符号化音声信号出力制御手段と、前記映像バッファ手段の蓄積量と前記音声バッファ手段の蓄積量に基づいて前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するバッファ制御手段とを備え、
前記バッファ制御手段が、前記音声バッファ手段の蓄積量に対して設定された上限値、下限値及びその中間値を基準として、前記音声バッファ手段に蓄積された符号化音声信号の蓄積量を監視し、前記蓄積された符号化音声信号の蓄積量が前記上限値以上になった場合に、符号化映像信号が欠落したと判断してその蓄積量が前記中間値になるまで前記多重化データと符号化映像信号の出力を停止し、また、その蓄積量が前記下限値以下になった場合に、符号化音声信号が欠落したと判断してその蓄積量が前記中間値になるまで前記多重化データを出力し、符号化音声信号の出力停止することにより、その蓄積量が前記中間値になるように前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するようにしたことを特徴とする。
【００１０】
また、本発明の請求項２に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化音声信号の蓄積量の上限値、下限値及びその中間値を、前記符号化映像信号の符号化レートに従って設定することを特徴とする。
【００１１】
また、本発明の請求項３に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化映像信号の蓄積量の所定値を、前記符号化映像信号の符号化レートに従って設定することを特徴とする。
【００１３】
【作用】
本発明の請求項１に係る多重化データの復号装置においては、前記音声バッファ手段の蓄積量に対して設定された上限値、下限値及びその中間値を基準として、前記蓄積された符号化音声信号の蓄積量が前記上限値以上になった場合に、符号化映像信号が欠落したと判断し、また、その蓄積量が前記下限値以下になった場合に、符号化音声信号が欠落したと判断して、その蓄積量が前記中間値になるように前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するようにしたので、符号化映像データ、あるいは符号化音声データの欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることができる。
【００１４】
また、本発明の請求項２に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化音声信号の蓄積量の上限値、下限値及びその中間値を、前記符号化映像信号の符号化レートに従って設定するようにしたので、音声バッファの蓄積量の上下の裕度をほぼ同じに保てるようになり、大幅な符号化信号の欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることができる。
【００１５】
また、本発明の請求項３に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化映像信号の蓄積量の所定値を、前記符号化映像信号の符号化レートに従って設定するようにしたので、前記符号化音声信号の蓄積量の上限値、下限値及びその中間値が一定のままでも音声バッファの蓄積量の上下の裕度をほぼ同じに保てるようになり、大幅な符号化信号の欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることができる。
【００１７】
【実施例】
実施例１．
図１は本発明の一実施例による多重化データの復号装置の構成を示すブロック図である。図において、１は符号化映像データと音声データが時系列多重化されて記録されている光ディスク、２は光ディスクからのデータを蓄えるバッファ部、３はバッファ部２の出力信号を制御するバッファ切換部、４は光ディスクに記録されている符号化多重データから符号化映像データと符号化音声データとを分離して出力するデマルチプレクサ部、５は符号化映像データを蓄える映像バッファ部、６は映像バッファ５の出力信号を制御する映像切換部、７は符号化映像データを復号する映像デコーダ部、８は復号された映像データをアナログ信号に変換する映像Ｄ／Ａ部、９は符号化音声データを蓄える音声バッファ部、１０は音声バッファ９の出力信号を制御する音声切換部、１１は符号化音声データを復号する音声デコーダ部、１２は復号された音声データをアナログ信号に変換する音声Ｄ／Ａ部、１３は音声バッファ部９の蓄積量を監視するマイクロコンピュータである。
【００１８】
図２は符号化の過程を示す図であり、この図を用いてアナログ信号である映像信号と音声信号を符号化多重データに変換する方法について説明する。
【００１９】
図２のように、符号化するアナログ映像信号の先頭のピクチャを１ピクチャとし、１２個のピクチャを１つの単位（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）として切り分ける。このピクチャとは、およそ１／３０ｓごとの映像信号のことである。よくＶＴＲやＴＶでは、フレームという言葉を使用するが、後述する音声でのフレームと区別するため、以下ピクチャを用いることとする。１ＧＯＰは時間にして約０．４ｓである。次に、アナログ音声信号を、映像信号の先頭ピクチャと時間的に一致した箇所から１フレームごとに分ける。１フレームとは、４８ｋＨｚサンプリングで１１５２サンプル分のことを表わし、１フレームは時間にしておよそ２４ｍｓである。
【００２０】
映像信号を例えば４．５Ｍｂｐｓのレートで符号化する。すなわち、１ＧＯＰは２２５０００バイトである。なお、符号化した絵柄によっては１ＧＯＰ当りの符号バイト数は多少変動するので、この２２５０００バイトは平均の値としている。さらに１ＧＯＰである符号映像データは、３２７６８バイトを１単位としてＶ１，Ｖ２，Ｖ３・・・と切り分ける。そして個々に順次パケット化を行い、余りのＶ７の２８３９２バイトもこのままパケット化する。この結果、１ＧＯＰ分のデータが７個のパケットで構成されることになる。その後、これらのパケットにパックヘッダを設けてパック化する。従来例と同様に１パック内に１パケットの構成になる。
【００２１】
音声信号は例えば２５６ｋｂｐｓのレートで符号化する。すなわち、１フレームは７６８バイトである。符号音声データは概略１ＧＯＰ分に相当する時間長のフレーム数を１単位としてパケット化するが、端数についてはそのパケットには含めず、次のパケットに入れる。図２によれば、１フレームから１６フレームの１６個のフレームを１パケット（Ａ１）とし、端数である１７フレームから３３フレームの１７個のフレームを次の１パケット（Ａ２）、３４フレームから５０フレームの１７個のフレームを１パケット（Ａ３）、以後同様に順次パケット化を行なう。映像データと同様に、これらのパケットにもパックヘッダを設けてパック化する。
【００２２】
多重化する際には、必ず１ＧＯＰ分の時間長の符号化音声データを含むパックの後に、概略、同一時刻、同一時間長に相当する１ＧＯＰ分の符号化映像データを構成する数パックを並べるようにする。つまり、Ａ１，Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７，Ａ２，Ｖ８・・・Ｖ１４，Ａ３，Ｖ１５・・・となる。このような手順で構成された符号化多重データを図３に示す。このような構成では、先頭の１ＧＯＰ分の時間長の映像（Ｖ１からＶ７）とオーディオデータ（Ａ１）は同期がとれているが、２番目以降の１ＧＯＰ分の時間長の映像（Ｖ８からＶ１４）と音声データ（Ａ３）は、最大１フレーム（約２４ｍｓ）の時間差だけ音声データが遅延して多重化されている。人間の耳の検知限は２０ｍｓの先行ないし、５０ｍｓの遅延とされているので、最大１フレームの音声信号の遅延は問題のない範囲であり、この１ＧＯＰの単位で音声と映像の同期が取れている。
【００２３】
図４にパックヘッダとパケットヘッダの構成を示す。映像、音声とも同じヘッダ構成になるが、１パックのデータ量は異なる。なお、ＳＣＲとＰＴＳの領域がヘッダの中に設けられているが、後述する理由から省略しても良いし、あるいは意味のない値（例えばオール０）としても良い。
【００２４】
図３及び図４に示した符号化多重データが光ディスク１に記録されている。図５はマイクロコンピュータ１３の処理を示すフローチャートである。以下、このフローチャートを用いて動作を説明する。光ディスク１から読み出された符号化多重データは、バッファ部２に一時蓄えられる。ある程度蓄えられると、マイクロコンピュータ１３はバッファ切換部３を閉じ、映像切換部６と音声切換部１０を開いて符号化映像データ待ちの状態になる（ステップ１００）。読みだされた符号化多重データは、出力レートを制御されながらバッファ切換部３を通ってデマルチプレクサ部４に入力される。デマルチプレクサ部の内部構成を図６に、その動作を図７に示す。分離制御部１４は符号化多重データａのパケットヘッダの情報を読み込み、パケットヘッダ以降のデータが符号化映像データのときのみ切り換え信号ｂを用いて第一の切り換え部１５を閉じる。その他のデータでは第一の切換部１５を開く。一方、符号化音声データのときは、そのデータのときのみ第二の切換部１６を閉じ、それ以外のデータのときは、第二の切換部１６を開く。この結果、出力ｅには符号化映像データのみの不連続なデータが出力され、後段の映像バッファ部５に入力される。出力ｆには符号化音声データのみの不連続なデータが出力され、後段の音声バッファ部９に入力される。映像と音声バッファは不連続な入力データを連続なデータとして後段のデコーダ部に出力するためのバッファである。
【００２５】
また、ｄはヘッダ切り換え信号である。分離制御部１４は例えば、パケットヘッダ内にあるＳＣＲを分離したり、後述する符号化レートを分離したりするための信号を作成し、分離されたデータをｇとして出力する。
【００２６】
映像バッファ部５は約４ＭビットのＲＡＭで構成されているとすれば、４．５Ｍｂｐｓの符号化レートで約０．９ｓ（２ＧＯＰ強）分の符号化映像データを蓄えることができる。一方、音声バッファ部９は約４００ｋビット（６４フレーム分）のＲＡＭで構成されているとすれば、２５６ｋｂｐｓの符号化レートで約１．５ｓ分の符号化音声データを蓄えることができる。
【００２７】
ここで、映像バッファ５と音声バッファの蓄積量の変化を図８に示す。なお、符号化音声データは、１６フレーム（９８３．０４ｋビット）、あるい１７フレーム（１０４．４４８ｋビット）のデータがパケットされているが、図８以降では計算の簡略化のために、１パケットに０．４ｓ分のデータ、すなわち１０２．４ｋビットのデータをパケットしているものとする。また、映像バッファ部５の蓄積量の変化はピクチャーごとに変動するが、ここでは説明の簡略化のために、平均の変化値を用いるものとする。
【００２８】
映像バッファ５、及び音声バッファ部９の入力レート（以下、システムレートという）が６．５Ｍｂｐｓの場合、ステップ１００の状態では、音声バッファ部９には符号化音声データが６．５Ｍｂｐｓで蓄積する。すなわち、１ＧＯＰ分の１０２．４ｋビットのデータがおよそ１５．７５ｍｓで蓄積される。その間は映像バッファ部５には符号化映像データは蓄積されない。そして、符号化映像データも６．５Ｍｂｐｓで蓄積され、１ＧＯＰである１．８Ｍビットのデータがおよそ２８０ｍｓで蓄積される。その間は音声バッファ部９には符号化音声データは蓄積されない。
【００２９】
マイクロコンピュータ１３は常に映像バッファ５の蓄積量を監視している。ステップ１０１で映像バッファ部５の符号化映像データの蓄積量が、例えば５０％になるまで待つものとする。映像バッファが５０％に達すると、映像切換部６を閉じて符号化映像データを映像バッファ部５から出力する（ステップ１０２）。このとき音声バッファには２ＧＯＰ分の時間長に相当する２パケット分の３３フレーム（音声バッファの全容量のおよそ５０％）のデータが蓄積されている。ステップ１０２で音声切換部１０も閉じることによって、蓄積された符号化音声データを音声バッファ部９から出力する。
【００３０】
厳密にいえば、映像バッファ部５から符号化映像データを出力するタイミングと、映像デコーダ部７で復号動作を行なうタイミングは異なる。ここでは説明の簡略化のために、映像切換部６を閉じるという動作だけで、映像バッファ部５から符号化映像データを出力する、あるいは映像デコーダ７において復号を行なうことの両方の意味を表わすものとする。なお、このことは音声切換部１０についても同様である。
【００３１】
その後、復号された映像データは、映像Ｄ／Ａ部８にてアナログ映像信号に変換されて出力される。また、復号された音声データは、音声Ｄ／Ａ部１２にてアナログ映像信号に変換されて出力される。
【００３２】
ステップ１０２で復号が開始されると、映像バッファ部５の蓄積量は平均２．０Ｍｂｐｓで増大し、符号化映像データが入力されないときは、その蓄積量は４．５Ｍｂｐｓで減少する。しかし、映像符号化レートよりシステムレートが高いために、バッファ切換部３が閉じた状態のままでは、映像バッファ部５はオーバーフローを引き起こす。オーバーフローを起こすと、映像デコーダ７で復号動作ができなくなる。これを防ぐために、ステップ１０３で映像バッファ部５の蓄積量が例えば７５％以上になると、バッファ切換部３を開いて映像バッファ部５へのデータ入力を停止する（ステップ１０４）。入力を停止すると、映像バッファ部５の蓄積量は平均４．５Ｍｂｐｓで減少し続け、このままではアンダーフローが生じる。ステップ１０５で映像バッファ部５の蓄積量が例えば５０％以下になると、バッファ切換部３を閉じて映像バッファへのデータ入力を再び行なう（ステップ１０６）。このような一連の動作により、映像バッファ部５がオーバーフローもアンダーフローを起こすことなく、映像デコーダ部７に連続した符号化映像データを供給し、安定した復号動作を行なうことができる。
【００３３】
ステップ１０２で復号が開始されると、音声バッファ部９の蓄積量は平均６．２４４Ｍｂｐｓで増大する。そして、符号化音声データが入力されないときは、その蓄積量は２５６ｋｂｐｓで減少する。音声バッファについては、映像バッファに比べて２倍程度の時間長のデータを蓄えることができる。映像バッファの蓄積量を２Ｍビットから３Ｍビットの範囲になるように制御することで、音声バッファ部９の蓄積量を１００ｋビットから３００ｋビットの範囲にすることができる。
【００３４】
このような制御を行なうことで、音声デコーダ部１１に連続した符号化音声データを供給し、安定した復号動作を行なうことができる。
【００３５】
図３に示したような符号化多重データによれば、概略、同一時刻、同一時間長に相当する単位で映像と音声データを多重化し、しかも、映像と音声のそれぞれの先頭のパックに含まれるデータは必ず同一時刻になるように符号化している。このような符号化の場合、符号化映像データが映像バッファ部５から出力して、映像デコーダ部７にて復号され、そしてアナログ映像信号として映像Ｄ／Ａ部８から出力される時間と、符号化音声データが音声バッファ部９から出力して、音声デコーダ部１１にて復号され、そしてアナログ音声信号として音声Ｄ／Ａ部１１から出力される時間との差が数ｍｓ以内であれば、ステップ１０２にて、映像切換部６と音声切換部１０をほぼ同時に閉じてそれぞれのバッファから符号化データを出力してほぼ同時に復号動作を行なっても実用上問題はない。もし、その時間差が数十ｍｓならば、その時間差だけ映像切換部６と音声切換部１０とを閉じる時間をマイクロコンピュータ１３にて制御すれば、先頭のパックに符号化されている映像と音声のデータは、同一時刻にそれぞれのＤ／Ａから出力され、以後同期動作を行なわなくとも映像と音声の同期が可能である。
【００３６】
また、図３に示すように、２番目以降の１ＧＯＰ分の時間長の映像と音声の多重データは、最大１フレーム（約２４ｍｓ）の時間差だけ音声データが遅延して多重化されている。人間の耳の検知限は２０ｍｓの先行ないし、５０ｍｓの遅延とされているので、最大１フレームの音声信号の遅延は問題のない範囲であり、この１ＧＯＰの時間長の単位で音声と映像の同期が取れている。このことは、図５のフローチャートを用いて、途中からの符号化音声データから復号動作を行なっても、必要十分な映像と音声データの同期が取れることになる。
【００３７】
図３に示したような概略、同一時刻、同一時間長に相当する単位で多重化したデータをそれぞれのバッファに入力して、映像バッファ部５のみを所定の範囲内になるように制御するようにしたので、音声バッファ部９をオーバーフロー、アンダーフローしないようにすることが可能である。
【００３８】
実施例２．
実施例１では、映像符号化レートを４．５Ｍｂｐｓで、映像バッファ部５の蓄積量の所定範囲が、それぞれ上限値３Ｍビット、下限値２Ｍビットの場合について説明した。しかし、システムレートが６．５Ｍｂｐｓのままで、映像符号化レートが小さくなった場合は、音声バッファの蓄積量にアンバランスを生じる。図９に映像符号化レートが２．０Ｍｂｐｓのときの映像バッファ音声バッファの蓄積量の変化を示す。この場合、符号化音声データ１ＧＯＰ分は１０２．４ｋビット、符号化映像データ１ＧＯＰ分は０．８Ｍビットになる。映像切換部６、音声切換部１０を閉じた後、復号を開始して、映像バッファ部５の蓄積量が上限値である３Ｍビットになるまでに、音声バッファ部９には５個のパケットの符号化音声データが蓄積されてしまい、音声バッファ部９の蓄積容量を大きくできない場合は、オーバーフローを引き起こす。
【００３９】
これを解消するために、マイクロコンピュータ１３は映像符号化レートを監視し、得られる映像符号化レート値に従って最適な範囲である上限値と下限値を設定する。たとえば、得られる映像符号化レートが２Ｍｂｐｓの場合に、映像バッファ部５の蓄積量の上限値を２．０Ｍビット、下限値を１．０Ｍビットにしたときのそれぞれのバッファの変化を図１０に示す。映像切換部６、音声切換部１０を閉じた後、復号を開始して、映像バッファ部５の蓄積量が上限値である２Ｍビットになるまでに、音声バッファ部９には４個のパケットの符号化音声データが蓄積され、５個目のパケットが入力されるまでにバッファ切換部３が開くので、音声バッファ部９はオーバーフローが生じない。
【００４０】
このように、マイクロコンピュータ１３にて、可変になるレート（この場合では映像符号化レート）を監視し、音声バッファ部９の蓄積量がオーバーフローやアンダーフローしないように、映像符号化レート値に合わせて映像バッファ部５の上限値と下限値を設定するようにしたので、最適な映像バッファと音声バッファの制御を行なうことができる。
【００４１】
実施例３．
上記実施例では、図３の符号化多重データが再生されて、映像バッファ５の制御だけで映像と音声の同期を補償する場合について説明した。しかしながら、光ディスクから映像バッファと音声バッファにデータが到達するまでに何らかの理由によりデータが欠落した場合は、厳密な意味で映像と音声の同期が補償できなくなってしまう。例えば、数バイトの欠落が符号化映像データや音声データの中で生じた場合、映像と音声との同期という点では人間の検知限以下であり、ほとんど無視できるが、パックヘッダやパケットヘッダの中で数バイト欠落した場合では、デマルチプレクサ４にて正常な分離動作が行なわれず、デマルチプレクサ４の出力データはパック単位で符号化データが欠落し、パック単位での同期ずれを生じる。
【００４２】
システムレート６．５Ｍｂｐｓ、映像符号化レート４．５Ｍｂｐｓ、音声符号化レート２５６ｋｂｐｓの場合、前述したように、映像バッファ部５の蓄積量が５０％で復号動作を開始（ステップ１０２）し、その後映像バッファ部５がオーバーフローやアンダーフローしないように制御（ステップ１０３からステップ１０６）されている範囲では、音声バッファ部９の蓄積量は概ね５０％を中心にして１００ｋビットから３００Ｋビットの範囲で変動している。１ＧＯＰ分の符号化映像データが欠落した場合、１パケットの符号化音声データが余分に蓄積され、蓄積量が３００Ｍビットを上回る。このため、音声は約０．４ｓ分遅れて出力される。符号化音声データが１パケット欠落した場合は音声バッファ部９の蓄積量は１００ｋビットを下回る。このため、音声は約０．４ｓ早く出力される。
【００４３】
このような大幅な同期ずれに対する対処法を、図１１のフローチャートを用いて説明する。なお、図１１のＡ点とＢは、図５のＡ点とＢ点にそれぞれ接続され、図５と図１１とにより１つのフローチャートが構成されている。ステップ１１０以降では、大幅な同期ずれを補償するために音声バッファ９の蓄積量を監視している。ステップ１１０で音声バッファ部９の蓄積量が例えば８０％（およそ３２０ｋビット）を越えた場合、まずステップ１１１でバッファ切換部３の状態を記憶する。その後、ステップ１１２でバッファ切換部３を強制的に開いてバッファ部２から多重符号化データを出力しないようすると同時に、映像切換部６を開いて映像バッファ部５から符号化映像データの出力しないようにして映像デコーダ部７の復号動作を停止する。この状態では映像バッファ部５の蓄積量は変わらず、音声バッファ部９の蓄積量のみが音声デコーダ部１１の復号動作のために減少していく。
【００４４】
前述したように、映像と音声の同期が取れているときの音声バッファ部９の蓄積量はおよそ５０％である。そこで、ステップ１１４にて減少している音声バッファ部９の蓄積量が５０％になると、同期ずれが小さくなったとみなして映像切換部６を閉じて映像デコーダ７の復号動作を開始する（ステップ１１５）。その後、バッファ切換部３の状態をステップ１１１で記憶した状態に戻す（ステップ１１６）。
【００４５】
ステップ１２０で音声バッファ部９の蓄積量が２０％（およそ８０ｋビット）以下になった場合、まずステップ１２１でバッファ切換部３の状態を記憶する。その後、ステップ１２２でバッファ切換部３を強制的に閉じてバッファ部２から符号化多重データを出力する、と同時に音声切換部１０を開いて音声バッファ部９から復号音声データを出力しないようにして音声データの復号動作を停止する（ステップ１２３）。この状態では、映像デコーダ部７は連続して復号動作を行い、映像バッファ部５の蓄積量は正常に変動しているが、音声バッファ部９の蓄積量は増加していく
【００４６】
ステップ１２４にて増加している音声バッファ部９の蓄積量が５０％になると、同期ずれが小さくなったとみなして音声切換部１０を閉じて音声デコーダ部１１の復号動作を開始する（ステップ１２５）。その後、バッファ切換部３の状態をステップ１２１で記憶した状態に戻して（ステップ１２６）、一連の同期合わせの動作を終了する。
【００４７】
このようにすることで、符号化映像データ、あるいは符号化音声データにデータの欠落が発生して大幅な同期ずれが生じても、同期ずれを小さくすることができる。
【００４８】
実施例４．
上記実施例では映像の符号化レートを４．５Ｍｂｐｓとしているが、例えば、３．０Ｍｂｐｓ、音声の符号化レートが２５６ｋｂｐｓの場合を考える。この場合、符号化音声データ１ＧＯＰ分は１０２．４ｋビット、符号化映像データ１ＧＯＰ分は１．２Ｍビットになる。このとき、映像符号化データが映像バッファ部５の７５％蓄積されたときには、音声バッファ部９の蓄積量は３００ｋビットを上回る。以降、音声バッファ部９の蓄積量は１５０ｋビットから３５０ｋビットの範囲で変化する。このことは、同じ蓄積量を持つバッファでも、システムレート、映像符号化レート、音声符号化レート、そして、パケット化されるデータ量によって、蓄積されるデータ量の割合が変わることを意味する。映像符号化レートが小さくなると、音声バッファ部９の蓄積量は増大する。符号化レートが大きくなると、音声バッファ部９の蓄積量は減少する。そして、符号化映像データと符号化音声データが欠落したときの音声バッファ蓄積量の上下の裕度に、アンバランスを生じる。
【００４９】
これを解消するために、マイクロコンピュータ１３にて、可変になるレート（この場合では映像符号化レート）を監視し、それぞれのレート値で音声バッファの蓄積量を最適な裕度を設定すればよい。この場合であれば、ステップ１１０の蓄積量の上限レベル値を例えば９０％（およそ３６０ｋビット）、ステップ１２０の蓄積量の下限レベル値を例えば４０％（およそ１６０ｋビット）とすれば、同様な裕度を確保することができる。そして、ステップ１１４、１２４で設定するレベル値を、蓄積量の上限レベル値と下限レベル値とのほぼ半分の６０％程度（およそ２４０ｋビット）に設定すれば、符号化映像データ、あるいは符号化音声データが欠落しても、同期ずれを小さくすることができる。
【００５０】
また次のような手法もある。上記実施例では、映像バッファの蓄積量の上限値と下限値を、それぞれ３Ｍビット、２Ｍビットとしているが、例えば、映像符号化レート３ＭｂｐｓＮ場合は、映像バッファ部５の蓄積量の上限値を２．５Ｍビット、下限値を１．５Ｍビットに設定するものとする。このようにすると、符号化映像データを蓄積し始めて、上限値である２．５Ｍビットになるまでに、音声バッファ９の中に３個のパケットのデータしか蓄積されなくなる。図１３に示すように、音声バッファ部９の蓄積量の裕度は上下ともほぼ同じになり、１００ｋビットから３００ｋビットの範囲で変化する。従って、ステップ１１０の蓄積量の上限レベル値は例えば８０％（およそ３２０ｋビット）、ステップ１２０の蓄積量の下限レベル値は例えば２０％（およそ８０ｋビット）とし、ステップ１１４、１２４で設定するレベル値は蓄積量の上限レベル値と下限レベル値とのほぼ半分の５０％程度（およそ２００ｋビット）の一定にしておけばよい。
【００５１】
このように、映像バッファの所定の範囲である上限値と下限値を、映像符号化レートに合わせて設定するようしたので、音声バッファの蓄積量の上限値と下限値は一定のままで、映像と音声の同期補償を簡単に行なうことができる。
【００５２】
なお、図には示していないが、符号化レートの値はそれぞれのデータの先頭にヘッダという形で挿入されている場合が多いので、デマルチプレクサ部４内の切換部１７にてそのレート情報を抜き出し、マイクロコンピュータ１３にてその値を監視すればよい。
【００５３】
また、上記実施例では記録された符号化映像データと符号化音声データの同期ずれを補償する構成について説明したが、記録されるデータはこれに限るものではない。例えば、様々な楽器からの音楽信号や、ボーカルの音声信号をミキシング記録して、同期再生しても良い。
【００５４】
また、上記実施例では符号化多重データを光ディスクから読み出すよう構成した場合について説明したが、これに限るものではない。例えば、ディスクアレイに記録されているものを読みだしても良いし、ケーブルテレビ等の放送から読みだしても良い。
【００５５】
また上記実施例では、それぞれの蓄積量のレベルを映像符号化レートに合わせて設定する場合について説明したが、例えば音声符号化レートでもよく、これに限るものではない。
【００５６】
さらに上記実施例では、符号化多重データからの分離動作をマイクロコンピュータの外部のデマルチプレクサ部で行なう場合について説明したが、同一のマイクロコンピュータ内で分離動作を行なっても良い。
【００５７】
【発明の効果】
本発明の多重化データの復号装置によれば、音声バッファ手段の蓄積量に対して設定された上限値、下限値及びその中間値を基準として、音声バッファ手段に蓄積された符号化音声信号の蓄積量が前記上限値以上になった場合に、符号化映像信号が欠落したと判断し、また、その蓄積量が前記下限値以下になった場合に、符号化音声信号が欠落したと判断して、その蓄積量が前記中間値になるように前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するようにしたので、符号化映像データ、あるいは符号化音声データの欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることが、タイムスタンプが不用で、かつ、簡単な構成により実現できる。
【図面の簡単な説明】
【図１】本発明の一実施例による多重化データの復号装置を示すブロック図である。
【図２】実施例１における符号化の過程を示す図である。
【図３】実施例１における符号化多重データの構成を示す図である。
【図４】実施例１における符号化多重データのヘッダ構成を示す図である。
【図５】実施例１におけるバッファ制御のフローチャートである。
【図６】実施例１における分離部の構成を示す図である。
【図７】実施例１における分離部の動作を示す図である。
【図８】実施例１におけるバッファの蓄積量の変化を示す図である。
【図９】実施例２におけるバッファの蓄積量の変化を示す図である。
【図１０】実施例２におけるバッファの蓄積量の変化を示す図である。
【図１１】実施例３における映像データと音声データの同期ずれを補償するフローチャートである。
【図１２】実施例４におけるバッファの蓄積量の変化を示す図である。
【図１３】実施例４におけるバッファの蓄積量の変化を示す図である。
【図１４】従来のビデオＣＤのデータフォーマットを示す図である。
【図１５】従来の符号化多重データのデコーダ構成を示す図である。
【符号の説明】
１ 光ディスク、２ バッファ部、３ バッファ切換部、４ デマルチプレクサ部、５ 映像バッファ部、６ 映像切換部、７ 映像デコーダ部、９ 音声バッファ部、１０ 音声切換部、１１ 音声デコーダ部、１３ マイクロコンピュ
【産業上の利用分野】
本発明は、複数の符号化されたデータが時系列的に多重化されたデータを復号する復号装置に関するものである。
【０００２】
【従来の技術】
近年、データ圧縮（高能率符号化）技術は、放送、通信、情報機器等の多くのメディアで利用されている。特にＡＶ機器の分野では、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）を利用して、一枚のＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）に最大７４分のディジタル化した音声と動画を記録できる「ビデオＣＤ」が規格化され、普及しつつある。
【０００３】
図１４は従来のビデオＣＤのデータフォーマットを示す図である。ビデオＣＤのデータは、一つのパックの中に一つのパケットを含む構成になっている。１パックは１セクタ中の２３２４バイトで構成されている。映像データのフォーマットと音声データのフォーマットは基本的には同じであるが、音声データの場合、データ部として２２７９バイト、ゼロを記録する余剰の２０バイトを付加して映像データと同じ２３２４バイトを１パックとしている。なお、個々のヘッダについてはその説明を省略する。
【０００４】
ディスク上では映像と音声のデータを時系列多重記録しており、平均すると６対１の割合で配置されている。
【０００５】
ビデオＣＤでは、ＶＨＳに代表されるＶＴＲとは異なり、映像と音声データが時系列に並ぶため、これらの同期を行なうための時間情報（タイムスタンプ）が必要になる。例えばＭＰＥＧではこれを３つの時間情報で制御を行なう。まず、パックヘッダ内にあり、装置の基準クロックであるＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）、次にパケットヘッダ内にあり、ＳＣＲの基準に従って、映像と音声データのデコードの開始時刻を提示するＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）、そして同じくパケットヘッダ内にあり、デコード結果を提示するＰＴＳ（Ｐｒｅｓｅｎｔｅｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）がある。
【０００６】
【発明が解決しようとする課題】
図１５は従来の符号化多重データのデコーダ構成を示す図であり、記録媒体である光ディスク１から出力される符号化多重のデータは、デマルチプレクサ部４にて映像と音声の符号化データに分離され、それぞれ映像デコーダ部７、音声デコーダ部１１に入力される。と同時に、必要に応じて時間情報であるＳＣＲ、ＤＴＳ、ＰＴＳを多重データから分離し、それらの情報を用いて、映像遅延部１８と音声遅延部１９からの出力信号の出力時刻をタイムスタンプ制御部２０にて決定する。
【０００７】
このように、映像と音声データの同期ずれは、タイムスタンプの精度で決まることになり、高い精度で同期を行なうことが可能であるが、タイムスタンプを挿入したり、分離、検出する装置等が必要になり、構成が複雑で装置が高価になるといった問題点があった。
【０００８】
本発明は上記のような問題点を解消するためになされたもので、タイムスタンプが不用で、かつ、簡単な構成で映像と音声の同期制御を行なう多重化データの復号化装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の請求項１に係る多重化データの復号装置は、複数のピクチャからなる映像データが複数のパックに分割され、前記映像データに対応した複数のフレームからなる音声データが１つのパックに収納され、これらを１つの単位として時系列多重化された符号化多重データを復号し、映像信号と音声信号を出力する多重化データの復号装置であって、
前記符号化多重データを一時的に蓄える多重化データバッファ手段と、前記多重化データバッファ手段の出力を制御する多重化データ出力制御手段と、前記符号化多重信号から符号化映像信号と符号化音声信号及びそれらの符号化レートを分離する信号分離手段と、前記符号化映像信号を一時的に蓄える映像バッファ手段と、前記符号化映像信号を復号する映像復号手段と、前記映像バッファ手段から前記映像復号手段への符号化映像信号出力を制御する符号化映像信号出力制御手段と、前記符号化音声信号を一時的に蓄える音声バッファ手段と、前記符号化音声信号を復号する音声復号手段と前記音声バッファ手段から前記音声復号手段への符号化映像信号出力を制御する符号化音声信号出力制御手段と、前記映像バッファ手段の蓄積量と前記音声バッファ手段の蓄積量に基づいて前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するバッファ制御手段とを備え、
前記バッファ制御手段が、前記音声バッファ手段の蓄積量に対して設定された上限値、下限値及びその中間値を基準として、前記音声バッファ手段に蓄積された符号化音声信号の蓄積量を監視し、前記蓄積された符号化音声信号の蓄積量が前記上限値以上になった場合に、符号化映像信号が欠落したと判断してその蓄積量が前記中間値になるまで前記多重化データと符号化映像信号の出力を停止し、また、その蓄積量が前記下限値以下になった場合に、符号化音声信号が欠落したと判断してその蓄積量が前記中間値になるまで前記多重化データを出力し、符号化音声信号の出力停止することにより、その蓄積量が前記中間値になるように前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するようにしたことを特徴とする。
【００１０】
また、本発明の請求項２に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化音声信号の蓄積量の上限値、下限値及びその中間値を、前記符号化映像信号の符号化レートに従って設定することを特徴とする。
【００１１】
また、本発明の請求項３に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化映像信号の蓄積量の所定値を、前記符号化映像信号の符号化レートに従って設定することを特徴とする。
【００１３】
【作用】
本発明の請求項１に係る多重化データの復号装置においては、前記音声バッファ手段の蓄積量に対して設定された上限値、下限値及びその中間値を基準として、前記蓄積された符号化音声信号の蓄積量が前記上限値以上になった場合に、符号化映像信号が欠落したと判断し、また、その蓄積量が前記下限値以下になった場合に、符号化音声信号が欠落したと判断して、その蓄積量が前記中間値になるように前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するようにしたので、符号化映像データ、あるいは符号化音声データの欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることができる。
【００１４】
また、本発明の請求項２に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化音声信号の蓄積量の上限値、下限値及びその中間値を、前記符号化映像信号の符号化レートに従って設定するようにしたので、音声バッファの蓄積量の上下の裕度をほぼ同じに保てるようになり、大幅な符号化信号の欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることができる。
【００１５】
また、本発明の請求項３に係る多重化データの復号装置は、請求項１に記載の多重化データの復号装置において、前記符号化映像信号の蓄積量の所定値を、前記符号化映像信号の符号化レートに従って設定するようにしたので、前記符号化音声信号の蓄積量の上限値、下限値及びその中間値が一定のままでも音声バッファの蓄積量の上下の裕度をほぼ同じに保てるようになり、大幅な符号化信号の欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることができる。
【００１７】
【実施例】
実施例１．
図１は本発明の一実施例による多重化データの復号装置の構成を示すブロック図である。図において、１は符号化映像データと音声データが時系列多重化されて記録されている光ディスク、２は光ディスクからのデータを蓄えるバッファ部、３はバッファ部２の出力信号を制御するバッファ切換部、４は光ディスクに記録されている符号化多重データから符号化映像データと符号化音声データとを分離して出力するデマルチプレクサ部、５は符号化映像データを蓄える映像バッファ部、６は映像バッファ５の出力信号を制御する映像切換部、７は符号化映像データを復号する映像デコーダ部、８は復号された映像データをアナログ信号に変換する映像Ｄ／Ａ部、９は符号化音声データを蓄える音声バッファ部、１０は音声バッファ９の出力信号を制御する音声切換部、１１は符号化音声データを復号する音声デコーダ部、１２は復号された音声データをアナログ信号に変換する音声Ｄ／Ａ部、１３は音声バッファ部９の蓄積量を監視するマイクロコンピュータである。
【００１８】
図２は符号化の過程を示す図であり、この図を用いてアナログ信号である映像信号と音声信号を符号化多重データに変換する方法について説明する。
【００１９】
図２のように、符号化するアナログ映像信号の先頭のピクチャを１ピクチャとし、１２個のピクチャを１つの単位（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）として切り分ける。このピクチャとは、およそ１／３０ｓごとの映像信号のことである。よくＶＴＲやＴＶでは、フレームという言葉を使用するが、後述する音声でのフレームと区別するため、以下ピクチャを用いることとする。１ＧＯＰは時間にして約０．４ｓである。次に、アナログ音声信号を、映像信号の先頭ピクチャと時間的に一致した箇所から１フレームごとに分ける。１フレームとは、４８ｋＨｚサンプリングで１１５２サンプル分のことを表わし、１フレームは時間にしておよそ２４ｍｓである。
【００２０】
映像信号を例えば４．５Ｍｂｐｓのレートで符号化する。すなわち、１ＧＯＰは２２５０００バイトである。なお、符号化した絵柄によっては１ＧＯＰ当りの符号バイト数は多少変動するので、この２２５０００バイトは平均の値としている。さらに１ＧＯＰである符号映像データは、３２７６８バイトを１単位としてＶ１，Ｖ２，Ｖ３・・・と切り分ける。そして個々に順次パケット化を行い、余りのＶ７の２８３９２バイトもこのままパケット化する。この結果、１ＧＯＰ分のデータが７個のパケットで構成されることになる。その後、これらのパケットにパックヘッダを設けてパック化する。従来例と同様に１パック内に１パケットの構成になる。
【００２１】
音声信号は例えば２５６ｋｂｐｓのレートで符号化する。すなわち、１フレームは７６８バイトである。符号音声データは概略１ＧＯＰ分に相当する時間長のフレーム数を１単位としてパケット化するが、端数についてはそのパケットには含めず、次のパケットに入れる。図２によれば、１フレームから１６フレームの１６個のフレームを１パケット（Ａ１）とし、端数である１７フレームから３３フレームの１７個のフレームを次の１パケット（Ａ２）、３４フレームから５０フレームの１７個のフレームを１パケット（Ａ３）、以後同様に順次パケット化を行なう。映像データと同様に、これらのパケットにもパックヘッダを設けてパック化する。
【００２２】
多重化する際には、必ず１ＧＯＰ分の時間長の符号化音声データを含むパックの後に、概略、同一時刻、同一時間長に相当する１ＧＯＰ分の符号化映像データを構成する数パックを並べるようにする。つまり、Ａ１，Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７，Ａ２，Ｖ８・・・Ｖ１４，Ａ３，Ｖ１５・・・となる。このような手順で構成された符号化多重データを図３に示す。このような構成では、先頭の１ＧＯＰ分の時間長の映像（Ｖ１からＶ７）とオーディオデータ（Ａ１）は同期がとれているが、２番目以降の１ＧＯＰ分の時間長の映像（Ｖ８からＶ１４）と音声データ（Ａ３）は、最大１フレーム（約２４ｍｓ）の時間差だけ音声データが遅延して多重化されている。人間の耳の検知限は２０ｍｓの先行ないし、５０ｍｓの遅延とされているので、最大１フレームの音声信号の遅延は問題のない範囲であり、この１ＧＯＰの単位で音声と映像の同期が取れている。
【００２３】
図４にパックヘッダとパケットヘッダの構成を示す。映像、音声とも同じヘッダ構成になるが、１パックのデータ量は異なる。なお、ＳＣＲとＰＴＳの領域がヘッダの中に設けられているが、後述する理由から省略しても良いし、あるいは意味のない値（例えばオール０）としても良い。
【００２４】
図３及び図４に示した符号化多重データが光ディスク１に記録されている。図５はマイクロコンピュータ１３の処理を示すフローチャートである。以下、このフローチャートを用いて動作を説明する。光ディスク１から読み出された符号化多重データは、バッファ部２に一時蓄えられる。ある程度蓄えられると、マイクロコンピュータ１３はバッファ切換部３を閉じ、映像切換部６と音声切換部１０を開いて符号化映像データ待ちの状態になる（ステップ１００）。読みだされた符号化多重データは、出力レートを制御されながらバッファ切換部３を通ってデマルチプレクサ部４に入力される。デマルチプレクサ部の内部構成を図６に、その動作を図７に示す。分離制御部１４は符号化多重データａのパケットヘッダの情報を読み込み、パケットヘッダ以降のデータが符号化映像データのときのみ切り換え信号ｂを用いて第一の切り換え部１５を閉じる。その他のデータでは第一の切換部１５を開く。一方、符号化音声データのときは、そのデータのときのみ第二の切換部１６を閉じ、それ以外のデータのときは、第二の切換部１６を開く。この結果、出力ｅには符号化映像データのみの不連続なデータが出力され、後段の映像バッファ部５に入力される。出力ｆには符号化音声データのみの不連続なデータが出力され、後段の音声バッファ部９に入力される。映像と音声バッファは不連続な入力データを連続なデータとして後段のデコーダ部に出力するためのバッファである。
【００２５】
また、ｄはヘッダ切り換え信号である。分離制御部１４は例えば、パケットヘッダ内にあるＳＣＲを分離したり、後述する符号化レートを分離したりするための信号を作成し、分離されたデータをｇとして出力する。
【００２６】
映像バッファ部５は約４ＭビットのＲＡＭで構成されているとすれば、４．５Ｍｂｐｓの符号化レートで約０．９ｓ（２ＧＯＰ強）分の符号化映像データを蓄えることができる。一方、音声バッファ部９は約４００ｋビット（６４フレーム分）のＲＡＭで構成されているとすれば、２５６ｋｂｐｓの符号化レートで約１．５ｓ分の符号化音声データを蓄えることができる。
【００２７】
ここで、映像バッファ５と音声バッファの蓄積量の変化を図８に示す。なお、符号化音声データは、１６フレーム（９８３．０４ｋビット）、あるい１７フレーム（１０４．４４８ｋビット）のデータがパケットされているが、図８以降では計算の簡略化のために、１パケットに０．４ｓ分のデータ、すなわち１０２．４ｋビットのデータをパケットしているものとする。また、映像バッファ部５の蓄積量の変化はピクチャーごとに変動するが、ここでは説明の簡略化のために、平均の変化値を用いるものとする。
【００２８】
映像バッファ５、及び音声バッファ部９の入力レート（以下、システムレートという）が６．５Ｍｂｐｓの場合、ステップ１００の状態では、音声バッファ部９には符号化音声データが６．５Ｍｂｐｓで蓄積する。すなわち、１ＧＯＰ分の１０２．４ｋビットのデータがおよそ１５．７５ｍｓで蓄積される。その間は映像バッファ部５には符号化映像データは蓄積されない。そして、符号化映像データも６．５Ｍｂｐｓで蓄積され、１ＧＯＰである１．８Ｍビットのデータがおよそ２８０ｍｓで蓄積される。その間は音声バッファ部９には符号化音声データは蓄積されない。
【００２９】
マイクロコンピュータ１３は常に映像バッファ５の蓄積量を監視している。ステップ１０１で映像バッファ部５の符号化映像データの蓄積量が、例えば５０％になるまで待つものとする。映像バッファが５０％に達すると、映像切換部６を閉じて符号化映像データを映像バッファ部５から出力する（ステップ１０２）。このとき音声バッファには２ＧＯＰ分の時間長に相当する２パケット分の３３フレーム（音声バッファの全容量のおよそ５０％）のデータが蓄積されている。ステップ１０２で音声切換部１０も閉じることによって、蓄積された符号化音声データを音声バッファ部９から出力する。
【００３０】
厳密にいえば、映像バッファ部５から符号化映像データを出力するタイミングと、映像デコーダ部７で復号動作を行なうタイミングは異なる。ここでは説明の簡略化のために、映像切換部６を閉じるという動作だけで、映像バッファ部５から符号化映像データを出力する、あるいは映像デコーダ７において復号を行なうことの両方の意味を表わすものとする。なお、このことは音声切換部１０についても同様である。
【００３１】
その後、復号された映像データは、映像Ｄ／Ａ部８にてアナログ映像信号に変換されて出力される。また、復号された音声データは、音声Ｄ／Ａ部１２にてアナログ映像信号に変換されて出力される。
【００３２】
ステップ１０２で復号が開始されると、映像バッファ部５の蓄積量は平均２．０Ｍｂｐｓで増大し、符号化映像データが入力されないときは、その蓄積量は４．５Ｍｂｐｓで減少する。しかし、映像符号化レートよりシステムレートが高いために、バッファ切換部３が閉じた状態のままでは、映像バッファ部５はオーバーフローを引き起こす。オーバーフローを起こすと、映像デコーダ７で復号動作ができなくなる。これを防ぐために、ステップ１０３で映像バッファ部５の蓄積量が例えば７５％以上になると、バッファ切換部３を開いて映像バッファ部５へのデータ入力を停止する（ステップ１０４）。入力を停止すると、映像バッファ部５の蓄積量は平均４．５Ｍｂｐｓで減少し続け、このままではアンダーフローが生じる。ステップ１０５で映像バッファ部５の蓄積量が例えば５０％以下になると、バッファ切換部３を閉じて映像バッファへのデータ入力を再び行なう（ステップ１０６）。このような一連の動作により、映像バッファ部５がオーバーフローもアンダーフローを起こすことなく、映像デコーダ部７に連続した符号化映像データを供給し、安定した復号動作を行なうことができる。
【００３３】
ステップ１０２で復号が開始されると、音声バッファ部９の蓄積量は平均６．２４４Ｍｂｐｓで増大する。そして、符号化音声データが入力されないときは、その蓄積量は２５６ｋｂｐｓで減少する。音声バッファについては、映像バッファに比べて２倍程度の時間長のデータを蓄えることができる。映像バッファの蓄積量を２Ｍビットから３Ｍビットの範囲になるように制御することで、音声バッファ部９の蓄積量を１００ｋビットから３００ｋビットの範囲にすることができる。
【００３４】
このような制御を行なうことで、音声デコーダ部１１に連続した符号化音声データを供給し、安定した復号動作を行なうことができる。
【００３５】
図３に示したような符号化多重データによれば、概略、同一時刻、同一時間長に相当する単位で映像と音声データを多重化し、しかも、映像と音声のそれぞれの先頭のパックに含まれるデータは必ず同一時刻になるように符号化している。このような符号化の場合、符号化映像データが映像バッファ部５から出力して、映像デコーダ部７にて復号され、そしてアナログ映像信号として映像Ｄ／Ａ部８から出力される時間と、符号化音声データが音声バッファ部９から出力して、音声デコーダ部１１にて復号され、そしてアナログ音声信号として音声Ｄ／Ａ部１１から出力される時間との差が数ｍｓ以内であれば、ステップ１０２にて、映像切換部６と音声切換部１０をほぼ同時に閉じてそれぞれのバッファから符号化データを出力してほぼ同時に復号動作を行なっても実用上問題はない。もし、その時間差が数十ｍｓならば、その時間差だけ映像切換部６と音声切換部１０とを閉じる時間をマイクロコンピュータ１３にて制御すれば、先頭のパックに符号化されている映像と音声のデータは、同一時刻にそれぞれのＤ／Ａから出力され、以後同期動作を行なわなくとも映像と音声の同期が可能である。
【００３６】
また、図３に示すように、２番目以降の１ＧＯＰ分の時間長の映像と音声の多重データは、最大１フレーム（約２４ｍｓ）の時間差だけ音声データが遅延して多重化されている。人間の耳の検知限は２０ｍｓの先行ないし、５０ｍｓの遅延とされているので、最大１フレームの音声信号の遅延は問題のない範囲であり、この１ＧＯＰの時間長の単位で音声と映像の同期が取れている。このことは、図５のフローチャートを用いて、途中からの符号化音声データから復号動作を行なっても、必要十分な映像と音声データの同期が取れることになる。
【００３７】
図３に示したような概略、同一時刻、同一時間長に相当する単位で多重化したデータをそれぞれのバッファに入力して、映像バッファ部５のみを所定の範囲内になるように制御するようにしたので、音声バッファ部９をオーバーフロー、アンダーフローしないようにすることが可能である。
【００３８】
実施例２．
実施例１では、映像符号化レートを４．５Ｍｂｐｓで、映像バッファ部５の蓄積量の所定範囲が、それぞれ上限値３Ｍビット、下限値２Ｍビットの場合について説明した。しかし、システムレートが６．５Ｍｂｐｓのままで、映像符号化レートが小さくなった場合は、音声バッファの蓄積量にアンバランスを生じる。図９に映像符号化レートが２．０Ｍｂｐｓのときの映像バッファ音声バッファの蓄積量の変化を示す。この場合、符号化音声データ１ＧＯＰ分は１０２．４ｋビット、符号化映像データ１ＧＯＰ分は０．８Ｍビットになる。映像切換部６、音声切換部１０を閉じた後、復号を開始して、映像バッファ部５の蓄積量が上限値である３Ｍビットになるまでに、音声バッファ部９には５個のパケットの符号化音声データが蓄積されてしまい、音声バッファ部９の蓄積容量を大きくできない場合は、オーバーフローを引き起こす。
【００３９】
これを解消するために、マイクロコンピュータ１３は映像符号化レートを監視し、得られる映像符号化レート値に従って最適な範囲である上限値と下限値を設定する。たとえば、得られる映像符号化レートが２Ｍｂｐｓの場合に、映像バッファ部５の蓄積量の上限値を２．０Ｍビット、下限値を１．０Ｍビットにしたときのそれぞれのバッファの変化を図１０に示す。映像切換部６、音声切換部１０を閉じた後、復号を開始して、映像バッファ部５の蓄積量が上限値である２Ｍビットになるまでに、音声バッファ部９には４個のパケットの符号化音声データが蓄積され、５個目のパケットが入力されるまでにバッファ切換部３が開くので、音声バッファ部９はオーバーフローが生じない。
【００４０】
このように、マイクロコンピュータ１３にて、可変になるレート（この場合では映像符号化レート）を監視し、音声バッファ部９の蓄積量がオーバーフローやアンダーフローしないように、映像符号化レート値に合わせて映像バッファ部５の上限値と下限値を設定するようにしたので、最適な映像バッファと音声バッファの制御を行なうことができる。
【００４１】
実施例３．
上記実施例では、図３の符号化多重データが再生されて、映像バッファ５の制御だけで映像と音声の同期を補償する場合について説明した。しかしながら、光ディスクから映像バッファと音声バッファにデータが到達するまでに何らかの理由によりデータが欠落した場合は、厳密な意味で映像と音声の同期が補償できなくなってしまう。例えば、数バイトの欠落が符号化映像データや音声データの中で生じた場合、映像と音声との同期という点では人間の検知限以下であり、ほとんど無視できるが、パックヘッダやパケットヘッダの中で数バイト欠落した場合では、デマルチプレクサ４にて正常な分離動作が行なわれず、デマルチプレクサ４の出力データはパック単位で符号化データが欠落し、パック単位での同期ずれを生じる。
【００４２】
システムレート６．５Ｍｂｐｓ、映像符号化レート４．５Ｍｂｐｓ、音声符号化レート２５６ｋｂｐｓの場合、前述したように、映像バッファ部５の蓄積量が５０％で復号動作を開始（ステップ１０２）し、その後映像バッファ部５がオーバーフローやアンダーフローしないように制御（ステップ１０３からステップ１０６）されている範囲では、音声バッファ部９の蓄積量は概ね５０％を中心にして１００ｋビットから３００Ｋビットの範囲で変動している。１ＧＯＰ分の符号化映像データが欠落した場合、１パケットの符号化音声データが余分に蓄積され、蓄積量が３００Ｍビットを上回る。このため、音声は約０．４ｓ分遅れて出力される。符号化音声データが１パケット欠落した場合は音声バッファ部９の蓄積量は１００ｋビットを下回る。このため、音声は約０．４ｓ早く出力される。
【００４３】
このような大幅な同期ずれに対する対処法を、図１１のフローチャートを用いて説明する。なお、図１１のＡ点とＢは、図５のＡ点とＢ点にそれぞれ接続され、図５と図１１とにより１つのフローチャートが構成されている。ステップ１１０以降では、大幅な同期ずれを補償するために音声バッファ９の蓄積量を監視している。ステップ１１０で音声バッファ部９の蓄積量が例えば８０％（およそ３２０ｋビット）を越えた場合、まずステップ１１１でバッファ切換部３の状態を記憶する。その後、ステップ１１２でバッファ切換部３を強制的に開いてバッファ部２から多重符号化データを出力しないようすると同時に、映像切換部６を開いて映像バッファ部５から符号化映像データの出力しないようにして映像デコーダ部７の復号動作を停止する。この状態では映像バッファ部５の蓄積量は変わらず、音声バッファ部９の蓄積量のみが音声デコーダ部１１の復号動作のために減少していく。
【００４４】
前述したように、映像と音声の同期が取れているときの音声バッファ部９の蓄積量はおよそ５０％である。そこで、ステップ１１４にて減少している音声バッファ部９の蓄積量が５０％になると、同期ずれが小さくなったとみなして映像切換部６を閉じて映像デコーダ７の復号動作を開始する（ステップ１１５）。その後、バッファ切換部３の状態をステップ１１１で記憶した状態に戻す（ステップ１１６）。
【００４５】
ステップ１２０で音声バッファ部９の蓄積量が２０％（およそ８０ｋビット）以下になった場合、まずステップ１２１でバッファ切換部３の状態を記憶する。その後、ステップ１２２でバッファ切換部３を強制的に閉じてバッファ部２から符号化多重データを出力する、と同時に音声切換部１０を開いて音声バッファ部９から復号音声データを出力しないようにして音声データの復号動作を停止する（ステップ１２３）。この状態では、映像デコーダ部７は連続して復号動作を行い、映像バッファ部５の蓄積量は正常に変動しているが、音声バッファ部９の蓄積量は増加していく
【００４６】
ステップ１２４にて増加している音声バッファ部９の蓄積量が５０％になると、同期ずれが小さくなったとみなして音声切換部１０を閉じて音声デコーダ部１１の復号動作を開始する（ステップ１２５）。その後、バッファ切換部３の状態をステップ１２１で記憶した状態に戻して（ステップ１２６）、一連の同期合わせの動作を終了する。
【００４７】
このようにすることで、符号化映像データ、あるいは符号化音声データにデータの欠落が発生して大幅な同期ずれが生じても、同期ずれを小さくすることができる。
【００４８】
実施例４．
上記実施例では映像の符号化レートを４．５Ｍｂｐｓとしているが、例えば、３．０Ｍｂｐｓ、音声の符号化レートが２５６ｋｂｐｓの場合を考える。この場合、符号化音声データ１ＧＯＰ分は１０２．４ｋビット、符号化映像データ１ＧＯＰ分は１．２Ｍビットになる。このとき、映像符号化データが映像バッファ部５の７５％蓄積されたときには、音声バッファ部９の蓄積量は３００ｋビットを上回る。以降、音声バッファ部９の蓄積量は１５０ｋビットから３５０ｋビットの範囲で変化する。このことは、同じ蓄積量を持つバッファでも、システムレート、映像符号化レート、音声符号化レート、そして、パケット化されるデータ量によって、蓄積されるデータ量の割合が変わることを意味する。映像符号化レートが小さくなると、音声バッファ部９の蓄積量は増大する。符号化レートが大きくなると、音声バッファ部９の蓄積量は減少する。そして、符号化映像データと符号化音声データが欠落したときの音声バッファ蓄積量の上下の裕度に、アンバランスを生じる。
【００４９】
これを解消するために、マイクロコンピュータ１３にて、可変になるレート（この場合では映像符号化レート）を監視し、それぞれのレート値で音声バッファの蓄積量を最適な裕度を設定すればよい。この場合であれば、ステップ１１０の蓄積量の上限レベル値を例えば９０％（およそ３６０ｋビット）、ステップ１２０の蓄積量の下限レベル値を例えば４０％（およそ１６０ｋビット）とすれば、同様な裕度を確保することができる。そして、ステップ１１４、１２４で設定するレベル値を、蓄積量の上限レベル値と下限レベル値とのほぼ半分の６０％程度（およそ２４０ｋビット）に設定すれば、符号化映像データ、あるいは符号化音声データが欠落しても、同期ずれを小さくすることができる。
【００５０】
また次のような手法もある。上記実施例では、映像バッファの蓄積量の上限値と下限値を、それぞれ３Ｍビット、２Ｍビットとしているが、例えば、映像符号化レート３ＭｂｐｓＮ場合は、映像バッファ部５の蓄積量の上限値を２．５Ｍビット、下限値を１．５Ｍビットに設定するものとする。このようにすると、符号化映像データを蓄積し始めて、上限値である２．５Ｍビットになるまでに、音声バッファ９の中に３個のパケットのデータしか蓄積されなくなる。図１３に示すように、音声バッファ部９の蓄積量の裕度は上下ともほぼ同じになり、１００ｋビットから３００ｋビットの範囲で変化する。従って、ステップ１１０の蓄積量の上限レベル値は例えば８０％（およそ３２０ｋビット）、ステップ１２０の蓄積量の下限レベル値は例えば２０％（およそ８０ｋビット）とし、ステップ１１４、１２４で設定するレベル値は蓄積量の上限レベル値と下限レベル値とのほぼ半分の５０％程度（およそ２００ｋビット）の一定にしておけばよい。
【００５１】
このように、映像バッファの所定の範囲である上限値と下限値を、映像符号化レートに合わせて設定するようしたので、音声バッファの蓄積量の上限値と下限値は一定のままで、映像と音声の同期補償を簡単に行なうことができる。
【００５２】
なお、図には示していないが、符号化レートの値はそれぞれのデータの先頭にヘッダという形で挿入されている場合が多いので、デマルチプレクサ部４内の切換部１７にてそのレート情報を抜き出し、マイクロコンピュータ１３にてその値を監視すればよい。
【００５３】
また、上記実施例では記録された符号化映像データと符号化音声データの同期ずれを補償する構成について説明したが、記録されるデータはこれに限るものではない。例えば、様々な楽器からの音楽信号や、ボーカルの音声信号をミキシング記録して、同期再生しても良い。
【００５４】
また、上記実施例では符号化多重データを光ディスクから読み出すよう構成した場合について説明したが、これに限るものではない。例えば、ディスクアレイに記録されているものを読みだしても良いし、ケーブルテレビ等の放送から読みだしても良い。
【００５５】
また上記実施例では、それぞれの蓄積量のレベルを映像符号化レートに合わせて設定する場合について説明したが、例えば音声符号化レートでもよく、これに限るものではない。
【００５６】
さらに上記実施例では、符号化多重データからの分離動作をマイクロコンピュータの外部のデマルチプレクサ部で行なう場合について説明したが、同一のマイクロコンピュータ内で分離動作を行なっても良い。
【００５７】
【発明の効果】
本発明の多重化データの復号装置によれば、音声バッファ手段の蓄積量に対して設定された上限値、下限値及びその中間値を基準として、音声バッファ手段に蓄積された符号化音声信号の蓄積量が前記上限値以上になった場合に、符号化映像信号が欠落したと判断し、また、その蓄積量が前記下限値以下になった場合に、符号化音声信号が欠落したと判断して、その蓄積量が前記中間値になるように前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するようにしたので、符号化映像データ、あるいは符号化音声データの欠落によって生じる不平衡状態を正常な状態に戻して、映像信号と音声信号の同期のずれを少なくすることが、タイムスタンプが不用で、かつ、簡単な構成により実現できる。
【図面の簡単な説明】
【図１】本発明の一実施例による多重化データの復号装置を示すブロック図である。
【図２】実施例１における符号化の過程を示す図である。
【図３】実施例１における符号化多重データの構成を示す図である。
【図４】実施例１における符号化多重データのヘッダ構成を示す図である。
【図５】実施例１におけるバッファ制御のフローチャートである。
【図６】実施例１における分離部の構成を示す図である。
【図７】実施例１における分離部の動作を示す図である。
【図８】実施例１におけるバッファの蓄積量の変化を示す図である。
【図９】実施例２におけるバッファの蓄積量の変化を示す図である。
【図１０】実施例２におけるバッファの蓄積量の変化を示す図である。
【図１１】実施例３における映像データと音声データの同期ずれを補償するフローチャートである。
【図１２】実施例４におけるバッファの蓄積量の変化を示す図である。
【図１３】実施例４におけるバッファの蓄積量の変化を示す図である。
【図１４】従来のビデオＣＤのデータフォーマットを示す図である。
【図１５】従来の符号化多重データのデコーダ構成を示す図である。
【符号の説明】
１ 光ディスク、２ バッファ部、３ バッファ切換部、４ デマルチプレクサ部、５ 映像バッファ部、６ 映像切換部、７ 映像デコーダ部、９ 音声バッファ部、１０ 音声切換部、１１ 音声デコーダ部、１３ マイクロコンピュ
Claims (3)
- 複数のピクチャからなる映像データが複数のパックに分割され、前記映像データに対応した複数のフレームからなる音声データが１つのパックに収納され、これらを１つの単位として時系列多重化された符号化多重データを復号し、映像信号と音声信号を出力する多重化データの復号装置であって、
前記符号化多重データを一時的に蓄える多重化データバッファ手段と、前記多重化データバッファ手段の出力を制御する多重化データ出力制御手段と、前記符号化多重信号から符号化映像信号と符号化音声信号及びそれらの符号化レートを分離する信号分離手段と、前記符号化映像信号を一時的に蓄える映像バッファ手段と、前記符号化映像信号を復号する映像復号手段と、記映像バッファ手段から前記映像復号手段への符号化映像信号出力を制御する符号化映像信号出力制御手段と、前記符号化音声信号を一時的に蓄える音声バッファ手段と、前記符号化音声信号を復号する音声復号手段と、前記音声バッファ手段から前記音声復号手段への符号化映像信号出力を制御する符号化音声信号出力制御手段と、前記映像バッファ手段の蓄積量と前記音声バッファ手段の蓄積量に基づいて前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するバッファ制御手段とを備え、
前記バッファ制御手段が、前記映像バッファ手段の蓄積量が所定の範囲になるように前記多重化データ出力制御手段を制御すると共に、前記音声バッファ手段の蓄積量に対して設定された上限値、下限値及びその中間値を基準として、前記音声バッファ手段に蓄積された符号化音声信号の蓄積量を監視し、前記蓄積された符号化音声信号の蓄積量が前記上限値以上になった場合に、符号化映像信号が欠落したと判断してその蓄積量が前記中間値になるまで前記多重化データと符号化映像信号の出力を停止し、また、その蓄積量が前記下限値以下になった場合に、符号化音声信号が欠落したと判断してその蓄積量が前記中間値になるまで前記多重化データを出力し、符号化音声信号の出力停止することにより、その蓄積量が前記中間値になるように前記多重化データ出力制御手段と符号化映像信号出力制御手段と符号化音声信号出力制御手段を制御するようにしたことを特徴とする多重化データの復号装置。 - 前記符号化音声信号の蓄積量の上限値、下限値及びその中間値を、前記符号化映像信号の符号化レートに従って設定することを特徴とする請求項１に記載の多重化データの復号装置。
- 前記符号化映像信号の蓄積量の所定の範囲を、前記符号化映像信号の符号化レートに従って設定することを特徴とする請求項１に記載の多重化データの復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20233794A JP3622235B2 (ja) | 1994-08-26 | 1994-08-26 | 多重化データの復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20233794A JP3622235B2 (ja) | 1994-08-26 | 1994-08-26 | 多重化データの復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0863890A JPH0863890A (ja) | 1996-03-08 |
| JP3622235B2 true JP3622235B2 (ja) | 2005-02-23 |
Family
ID=16455878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20233794A Expired - Fee Related JP3622235B2 (ja) | 1994-08-26 | 1994-08-26 | 多重化データの復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3622235B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6356639B1 (en) * | 1997-04-11 | 2002-03-12 | Matsushita Electric Industrial Co., Ltd. | Audio decoding apparatus, signal processing device, sound image localization device, sound image control method, audio signal processing device, and audio signal high-rate reproduction method used for audio visual equipment |
| EP0917147A3 (de) * | 1997-11-11 | 1999-12-22 | Deutsche Thomson-Brandt Gmbh | Verfahren und Vorrichtung zur Steuerung eines Daten-Zwischenspeichers |
| JPH11187367A (ja) * | 1997-12-19 | 1999-07-09 | Nec Corp | 映像送信装置，映像受信装置及びこれらを用いた映像伝送システム |
| JP3407287B2 (ja) | 1997-12-22 | 2003-05-19 | 日本電気株式会社 | 符号化復号システム |
| JP2002165148A (ja) * | 2000-11-29 | 2002-06-07 | Sony Corp | データ処理装置および方法、並びに記録媒体 |
| FR2834847B1 (fr) * | 2002-01-17 | 2004-04-09 | Cit Alcatel | Systeme de gestion de reseau ou de services pour la determination de la synchronisation entre deux flots de paquets |
| KR100984818B1 (ko) * | 2002-11-07 | 2010-10-05 | 톰슨 라이센싱 | 버퍼 연산을 사용하는 디지털 환경에서 오디오와 비디오간의 립싱크를 결정하기 위한 방법 및 시스템 |
| JP5059301B2 (ja) * | 2005-06-02 | 2012-10-24 | ルネサスエレクトロニクス株式会社 | 同期再生装置および同期再生方法 |
| JP4636203B2 (ja) * | 2009-10-19 | 2011-02-23 | 株式会社日立製作所 | ビデオ・オーディオデータの再生復号方法 |
-
1994
- 1994-08-26 JP JP20233794A patent/JP3622235B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0863890A (ja) | 1996-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2219154C (en) | An apparatus for a synchronized playback of audio-video signals | |
| US6163647A (en) | Apparatus for synchronized playback of audio-video signals | |
| US6078725A (en) | Apparatus for a synchronized playback of audio-video signals | |
| US6512884B1 (en) | Method and apparatus for synchronized play back of audio-video signals | |
| US7881584B2 (en) | Reproducing apparatus and method, and recording medium | |
| JP3594409B2 (ja) | Ｍｐｅｇオーディオ再生装置およびｍｐｅｇ再生装置 | |
| JPH0787444A (ja) | 圧縮符号化データ記録方法 | |
| CN100536555C (zh) | 数据处理装置 | |
| JP3622235B2 (ja) | 多重化データの復号装置 | |
| JP4294660B2 (ja) | 再生装置、再生方法及びその記録媒体 | |
| JPH09330563A (ja) | データ多重化方法および記録媒体 | |
| US6718119B1 (en) | Video/audio decoding apparatus and method | |
| US6243032B1 (en) | Decode apparatus that can accommodate dynamic change in sample data attribute during decoding process | |
| JP4062832B2 (ja) | データ記録再生装置及びデータ記録再生方法 | |
| CA2725177C (en) | Reproducing apparatus and method, and recording medium | |
| JPH1166754A (ja) | 多チャンネルデータ記録媒体と伝送記録及び再生装置 | |
| KR0151024B1 (ko) | 엠펙기반의 디지탈 비디오디스크레코더의 시스템레이어엔코더 | |
| JP4284574B2 (ja) | 記録装置および方法、並びに記録媒体 | |
| JP3477789B2 (ja) | 情報信号記録方法及び再生方法並びに情報信号記録装置及び再生装置 | |
| JPH11225309A (ja) | 音響信号処理装置及びオーディオ高速再生方法 | |
| JP3060442B2 (ja) | データ多重化装置および多重化データ分離装置 | |
| JP2002209186A (ja) | Ｍｐｅｇ方式の映像・音声データ記録システム及びその編集システム | |
| JPH08329605A (ja) | デイジタルオーデイオ信号処理方法、デイジタルオーデイオ信号処理装置及び記録再生装置 | |
| JPH07220397A (ja) | 情報信号再生方法及び装置 | |
| JP2000165863A (ja) | データ符号化・復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20040428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040624 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |