JPH0863890A

JPH0863890A - 多重化データの復号装置

Info

Publication number: JPH0863890A
Application number: JP20233794A
Authority: JP
Inventors: Noritaka Kishida; 教敬岸田; Nobuo Ueda; 信夫植田; Osamu Watanabe; 修渡辺; Shiyuuji Sotoda; 修司外田; Akifumi Kodama; 昌文児玉; Tomoaki Ryu; 智明龍; Seiki Yamamoto; 清貴山本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1994-08-26
Filing date: 1994-08-26
Publication date: 1996-03-08
Anticipated expiration: 2020-02-23
Also published as: JP3622235B2

Abstract

(57)【要約】【目的】多重化された符号化映像信号と符号化音声信
号の同期補償を簡単な構成で実現できる復号装置を得
る。【構成】光ディスクから読みだされた符号化多重デー
タをバッファ２に一時的に蓄える。蓄えられたデータは
符号化映像信号と符号化音声信号に分離されて、それぞ
れ映像バッファ５、音声バッファ９に蓄積されて復号さ
れる。マイクロコンピュータ１３は音声バッファ９の蓄
積量を監視している。その蓄積量が第一のレベル以上に
なると、符号化音声信号が映像信号に対して遅延してい
ると判別し、第二のレベル以下になると符号化音声信号
が映像信号に対して先行していることを判別する。判別
後、マイクロコンピュータ１３は音声バッファ９の蓄積
量が第三のレベルになるように、それぞれのバッファの
出力を制御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の符号化されたデ
ータが時系列的に多重化されたデータを復号する復号装
置に関するものである。

【０００２】

【従来の技術】近年、データ圧縮（高能率符号化）技術
は、放送、通信、情報機器等の多くのメディアで利用さ
れている。特にＡＶ機器の分野では、ＭＰＥＧ（Ｍｏｖ
ｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ）
を利用して、一枚のＣＤ（ＣｏｍｐａｃｔＤｉｓｋ）
に最大７４分のディジタル化した音声と動画を記録でき
る「ビデオＣＤ」が規格化され、普及しつつある。

【０００３】図１４は従来のビデオＣＤのデータフォー
マットを示す図である。ビデオＣＤのデータは、一つの
パックの中に一つのパケットを含む構成になっている。
１パックは１セクタ中の２３２４バイトで構成されてい
る。映像データのフォーマットと音声データのフォーマ
ットは基本的には同じであるが、音声データの場合、デ
ータ部として２２７９バイト、ゼロを記録する余剰の２
０バイトを付加して映像データと同じ２３２４バイトを
１パックとしている。なお、個々のヘッダについてはそ
の説明を省略する。

【０００４】ディスク上では映像と音声のデータを時系
列多重記録しており、平均すると６対１の割合で配置さ
れている。

【０００５】ビデオＣＤでは、ＶＨＳに代表されるＶＴ
Ｒとは異なり、映像と音声データが時系列に並ぶため、
これらの同期を行なうための時間情報（タイムスタン
プ）が必要になる。例えばＭＰＥＧではこれを３つの時
間情報で制御を行なう。まず、パックヘッダ内にあり、
装置の基準クロックであるＳＣＲ（ＳｙｓｔｅｍＣｌ
ｏｃｋＲｅｆｅｒｅｎｃｅ）、次にパケットヘッダ内
にあり、ＳＣＲの基準に従って、映像と音声データのデ
コードの開始時刻を提示するＤＴＳ（Ｄｅｃｏｄｉｎｎ
ｇＴｉｍｅＳｔａｍｐ）、そして同じくパケットヘ
ッダ内にあり、デコード結果を提示するＰＴＳ（ｐｒｅ
ｓｅｎｔｅｔｉｏｎＴｉｍｅＳｔａｍｐ）がある。

【０００６】

【発明が解決しようとする課題】図１５は従来の符号化
多重データのヘッダ構成を示す図であり、記録媒体であ
る光ディスク１から出力される符号化多重のデータは、
デマルチプレクサ部４にて映像と音声の符号化データに
分離され、それぞれ映像デコーダ部７、音声デコーダ部
１１に入力される。と同時に、必要に応じて時間情報で
あるＳＣＲ、ＤＴＳ、ＰＴＳを多重データから分離し、
それらの情報を用いて、映像遅延部１８と音声遅延部１
９からの出力信号の出力時刻をタイムスタンプ制御部２
０にて決定する。

【０００７】このように、映像と音声データの同期ずれ
は、タイムスタンプの精度で決まることになり、高い精
度で同期を行なうことが可能であるが、タイムスタンプ
を挿入したり、分離、検出する装置等が必要になり、構
成が複雑で装置が高価になるといった問題点があった。

【０００８】本発明は上記のような問題点を解消するた
めになされたもので、タイムスタンプが不用で、かつ、
簡単な構成で映像と音声の同期制御を行なう多重化デー
タの復号化装置を得ることを目的とする。

【０００９】

【課題を解決するための手段】本発明の請求項１に係る
多重化データの復号装置は、符号化多重信号を一時的に
蓄積する第一のバッファ手段と、符号化多重信号から分
離された符号化映像信号を一時的に蓄える映像バッファ
手段と、前記分離手段から分離された符号化音声信号を
一時的に蓄える音声バッファ手段と、前記映像バッファ
手段の符号化映像信号の蓄積量が所定の範囲内になるよ
うに、前記第一のバッファ手段の出力を制御するバッフ
ァ制御手段を備えたものである。

【００１０】また、本発明の請求項２に係る多重化デー
タの復号装置は、符号化多重信号から符号化映像信号の
符号化レートを分離する分離手段と、前記分離された符
号化映像レートに従って前記映像バッファ手段の所定の
範囲を設定する手段を備えたものである。

【００１１】また、本発明の請求項３に係る多重化デー
タの復号装置は、符号化多重信号を一時的に蓄積する第
一のバッファ手段と、前記分離手段によって分離された
符号化映像信号を一時的に蓄える映像バッファ手段と、
前記分離手段から分離された符号化音声信号を一時的に
蓄える音声バッファ手段と、音声バッファ手段の符号化
音声信号の蓄積量が所定の第一のレベル以上になったこ
とを検知する第一の検知手段と、前記検知手段の結果に
基づいて符号化映像信号の欠落を判別する第一の判別手
段と、音声バッファ手段の符号化音声信号の蓄積量が所
定の第二のレベル以下になったことを検知する第二の検
知手段と、前記検知手段の結果に基づいて符号化音声信
号の欠落を判別する第二の判別手段を備え、前記検知手
段の検知レベルが、１００％＞第一のレベル＞第三のレ
ベル＞第二のレベル＞０％であり、かつ、第三のレベル
は符号化映像信号が欠落していないときの前記音声バッ
ファ手段の蓄積量と概略等しいレベルであり、前記第一
の判別手段が符号化映像信号の欠落、あるいは、前記第
二の判別手段が符号化音声信号の欠落を判別したときに
は、音声バッファの蓄積量を概略第三のレベルに近づけ
るように、前記第一のバッファ手段と映像バッファ手段
と音声バッファ手段の出力を制御する制御手段を備えた
ものである。

【００１２】また、本発明の請求項４に係る多重化デー
タの復号装置は、前記第一のレベル、第三のレベルを前
記分レート離手段によって分離された符号化映像信号の
符号化レートに従って設定する手段を備えたものであ
る。

【００１３】

【作用】本発明の請求項１に係る多重化データの復号装
置においては、映像バッファの蓄積量が所定の範囲内に
納まるように第一のバッファの出力を制御することで、
映像バッファと音声バッファの蓄積量を安定に保つこと
ができるようになり、バッファ制御が容易になる。

【００１４】本発明の請求項２に係る多重化データの復
号装置においては、映像バッファの所定の範囲を、映像
信号の符号化レートによって可変にすることで、バッフ
ァ制御が映像符号化レートに従って細かく制御すること
ができる。

【００１５】本発明の請求項３に係る多重化データの復
号装置においては、音声バッファの蓄積量が所定の第一
のレベル以上になったことを検知、あるいは、音声バッ
ファの蓄積量が所定の第二のレベル以下になったことを
検知することで、符号化音声信号の欠落を判別し、映像
信号と映像信号との同期ずれを検出することができとと
もに、音声バッファの蓄積量が第一のレベル以上、ある
いは第二のレベル以下になったときには、その蓄積量を
概略第三のレベルに近づけるように、第一のバッファと
映像バッファと音声バッファの出力を制御するようする
ようにもしたので、大幅な符号化信号の欠落によって生
じる不平衡状態を正常な状態に戻して、映像信号と音声
信号の同期のずれを少なくすることができる。

【００１６】本発明の請求項４に係る多重化データの復
号装置においては、音声バッファの蓄積量の第一のレベ
ルと第二のレベルを、映像信号の符号化レートによって
可変にするようにしたので、音声バッファの蓄積量の上
下の裕度をほば同じに保てるようになり、大幅な符号化
信号の欠落によって生じる不平衡状態を正常な状態に戻
して、映像信号と音声信号の同期のずれを少なくするこ
とができる。

【００１７】

【実施例】

実施例１．図１は本発明の一実施例による多重化データ
の復号装置の構成を示すブロック図である。図におい
て、１は符号化映像データと音声データが時系列多重化
されて記録されている光ディスク、２は光ディスクから
のデータを蓄えるバッファ部、３はバッファ部２の出力
信号を制御するバッファ切換部、４は光ディスクに記録
されている符号化多重データから符号化映像データと符
号化音声データとを分離して出力するデマルチプレクサ
部、５は符号化映像データを蓄える映像バッファ部、６
は映像バッファ５の出力信号を制御する映像切換部、７
は符号化映像データを復号する映像デコーダ部、８は復
号された映像データをアナログ信号に変換する映像Ｄ／
Ａ部、９は符号化音声データを蓄える音声バッファ部、
１０は音声バッファ９の出力信号を制御する音声切換
部、１１は符号化音声データを復号する音声デコーダ
部、１２は復号された音声データをアナログ信号に変換
する音声Ｄ／Ａ部、１３は音声バッファ部９の蓄積量を
監視するマイクロコンピュータである。

【００１８】図２は符号化の過程を示す図であり、この
図を用いてアナログ信号である映像信号と音声信号を符
号化多重データに変換する方法について説明する。

【００１９】図２のように、符号化するアナログ映像信
号の先頭のピクチャを１ピクチャとし、１２個のピクチ
ャを１つの単位（ＧＯＰ：ＧｒｏｕｐｏｆＰｉｃｔ
ｕｒｅｓ）として切り分ける。このピクチャとは、およ
そ１／３０ｓごとの映像信号のことである。よくＶＴＲ
やＴＶでは、フレームという言葉を使用するが、後述す
る音声でのフレームと区別するため、以下ピクチャを用
いることとする。１ＧＯＰは時間にして約０．４ｓであ
る。次に、アナログ音声信号を、映像信号の先頭ピクチ
ャと時間的に一致した箇所から１フレームごとに分け
る。１フレームとは、４８ｋＨｚサンプリングで１１５
２サンプル分のことを表わし、１フレームは時間にして
およそ２４ｍｓである。

【００２０】映像信号を例えば４．５Ｍｂｐｓのレート
で符号化する。すなわち、１ＧＯＰは２２５０００バイ
トである。なお、符号化した絵柄によっては１ＧＯＰ当
りの符号バイト数は多少変動するので、この２２５００
０バイトは平均の値としている。さらに１ＧＯＰである
符号映像データは、３２７６８バイトを１単位としてＶ
１，Ｖ２，Ｖ３・・・と切り分ける。そして個々に順次
パケット化を行い、余りのＶ７の２８３９２バイトもこ
のままパケット化する。この結果、１ＧＯＰ分のデータ
が７個のパケットで構成されることになる。その後、こ
れらのパケットにパックヘッダを設けてパック化する。
従来例と同様に１パック内に１パケットの構成になる。

【００２１】音声信号は例えば２５６ｋｂｐｓのレート
で符号化する。すなわち、１フレームは７６８バイトで
ある。符号音声データは概略１ＧＯＰ分に相当する時間
長のフレーム数を１単位としてパケット化するが、端数
についてはそのパケットには含めず、次のパケットに入
れる。図２によれば、１フレームから１６フレームの１
６個のフレームを１パケット（Ａ１）とし、端数である
１７フレームから３３フレームの１７個のフレームを次
の１パケット（Ａ２）、３４フレームから５０フレーム
からの１７個のフレームを１パケット（Ａ３）、以後同
様に順次パケット化を行なう。映像データと同様に、こ
れらのパケットにもパックヘッダを設けてパック化す
る。

【００２２】多重化する際には、必ず１ＧＯＰ分の時間
長の符号化音声データを含むパックの後に、概略、同一
時刻、同一時間長に相当する１ＧＯＰ分の符号化映像デ
ータを構成する数パックを並べるようにする。つまり、
Ａ１，Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７，Ａ
２，Ｖ８・・・Ｖ１４，Ａ３，Ｖ１５・・・となる。こ
のような手順で構成された符号化多重データを図３に示
す。このような構成では、先頭の１ＧＯＰ分の時間長の
映像（Ｖ１からＶ７）とオーディオデータ（Ａ１）は同
期がとれているが、２番目以降の１ＧＯＰ分の時間長の
映像（Ｖ８からＶ１４）と音声データ（Ａ３）は、最大
１フレーム（約２４ｍｓ）の時間差だけ音声データが遅
延して多重化されている。人間の耳の検知限は２０ｍｓ
の先行ないし、５０ｍｓの遅延とされているので、最大
１フレームの音声信号の遅延は問題のない範囲であり、
この１ＧＯＰの単位で音声と映像の同期が取れている。

【００２３】図４にパックヘッダとパケットヘッダの構
成を示す。映像、音声とも同じヘッダ構成になるが、１
パックのデータ量は異なる。なお、ＳＣＲとＰＴＳの領
域がヘッダの中に設けられているが、後述する理由から
省略しても良いし、あるいは意味のない値（例えばオー
ル０）としても良い。

【００２４】図３及び図４に示した符号化多重データが
光ディスク１に記録されている。図５はマイクロコンピ
ュータ１３の処理を示すフローチャートである。以下、
このフローチャートを用いて動作を説明する。光ディス
ク１から読み出された符号化多重データは、バッファ部
２に一時蓄えられる。ある程度蓄えられると、マイクロ
コンピュータ１３はバッファ切換部３を閉じ、映像切換
部６と音声切換部１０を開いて符号化映像データ待ちの
状態になる（ステップ１００）。読みだされた符号化多
重データは、出力レートを制御されながらバッファ切換
部３を通ってデマルチプレクサ部４に入力される。デマ
ルチプレクサ部の内部構成を図６に、その動作を図７に
示す。分離制御部１４は符号化多重データａのパケット
ヘッダの情報を読み込み、パケットヘッダ以降のデータ
が符号化映像データのときのみ切り換え信号ｂを用いて
第一の切り換え部１５を閉じる。その他のデータでは第
一の切換部１５を開く。一方、符号化音声データのとき
は、そのデータのときのみ第二の切換部１６を閉じ、そ
れ以外のデータのときは、第二の切換部１６を開く。こ
の結果、出力ｅには符号化映像データのみの不連続なデ
ータが出力され、後段の映像バッファ部５に入力され
る。出力ｆには符号化音声データのみの不連続なデータ
が出力され、後段の音声バッファ部９に入力される。映
像と音声バッファは不連続な入力データを連続なデータ
として後段のデコーダ部に出力するためのバッファであ
る。

【００２５】また、ｄはヘッダ切り換え信号である。分
離制御部１４は例えば、パケットヘッダ内にあるＳＣＲ
を分離したり、後述する符号化映像レート信号を分離す
るための信号を作成し、分離されたデータをｇとして出
力する。

【００２６】映像バッファ部５は約４ＭビットのＲＡＭ
で構成されているとすれば、４．５Ｍｂｐｓの符号化レ
ートで約０．９ｓ（２ＧＯＰ強）分の符号化映像データ
を蓄えることができる。一方、音声バッファ部９は約４
００ｋビット（６４フレーム分）のＲＡＭで構成されて
いるとすれば、２５６ｋｂｐｓの符号化レートで約１．
５ｓ分の符号化音声データを蓄えることができる。

【００２７】ここで、映像バッファ５と音声バッファの
蓄積量の変化を図８に示す。なお、符号化音声データ
は、１６フレーム（９８３．０４ｋビット）、あるい１
７フレーム（１０４．４４８ｋビット）のデータがパケ
ットされているが、図８以降では計算の簡略化のため
に、１パケットに０．４ｓ分のデータ、すなわち１０
２．４ｋビットのデータをパケットしているものとす
る。また、映像バッファ部５の蓄積量の変化はピクチャ
ーごとに変動するが、ここでは説明の簡略化のために、
平均の変化値を用いるものとする。

【００２８】映像バッファ５、及び音声バッファ部９の
入力レート（以下、システムレートという）が６．５Ｍ
ｂｐｓの場合、ステップ１００の状態では、音声バッフ
ァ部９には符号化音声データが６．５Ｍｂｐｓで蓄積す
る。すなわち、１ＧＯＰ分の１０２．４ｋビットのデー
タがおよそ１５．７５ｍｓで蓄積される。その間は映像
バッファ部５には符号化映像データは蓄積されない。そ
して、符号化映像データも６．５Ｍｂｐｓで蓄積され、
１ＧＯＰである１．８Ｍビットのデータがおよそ２８０
ｍｓで蓄積される。その間は音声バッファ部９には符号
化音声データは蓄積されない。

【００２９】マイクロコンピュータ１３は常に映像バッ
ファ５の蓄積量を監視している。ステップ１０１で映像
バッファ部５の符号化映像データの蓄積量が、例えば５
０％になるまで待つものとする。映像バッファが５０％
に達すると、映像切換部６を閉じて符号化映像データを
映像バッファ部５から出力する（ステップ１０２）。こ
のとき音声バッファには２ＧＯＰ分の時間長に相当する
２パケット分の３３フレーム（音声バッファの全容量の
およそ５０％）のデータが蓄積されている。ステップ１
０２で音声切換部１０も閉じることによって、蓄積され
た符号化音声データを音声バッファ部９から出力する。

【００３０】厳密にいえば、映像バッファ部５から符号
化映像データを出力するタイミングと、映像デコーダ部
７で復号動作を行なうタイミングは異なる。ここでは説
明の簡略化のために、映像切換部６を閉じるという動作
だけで、映像バッファ部５から符号化映像データを出力
する、あるいは映像デコーダ７において復号を行なうこ
との両方の意味を表わすものとする。なお、このことは
音声切換部１０についても同様である。

【００３１】その後、復号された映像データは、映像Ｄ
／Ａ部８にてアナログ映像信号に変換されて出力され
る。また、復号された音声データは、音声Ｄ／Ａ部１２
にてアナログ映像信号に変換されて出力される。

【００３２】ステップ１０２で復号が開始されると、映
像バッファ部５の蓄積量は平均２．０Ｍｂｐｓで増大
し、符号化映像データが入力されないときは、その蓄積
量は４Ｍｂｐｓで減少する。しかし、符号化映像レート
よりシステムレートが高いために、映像切換部６が閉じ
た状態のままでは、映像バッファ部５はオーバーフロー
を引き起こす。オーバーフローを起こすと、映像デコー
ダ７で復号動作ができなくなる。これを防ぐために、ス
テップ１０３で映像バッファ部５の蓄積量が例えば７５
％以上になると、バッファ切換部３を開いて映像バッフ
ァ部５へのデータ入力を停止する（ステップ１０４）。
入力を停止すると、映像バッファ部５の蓄積量は平均
４．５Ｍｂｐｓで減少し続け、このままではアンダーフ
ローが生じる。ステップ１０５で映像バッファ部５の蓄
積量が例えば５０％以下になると、バッファ切換部３を
閉じて映像バッファへのデータ入力を再び行なう（ステ
ップ１０６）。このような一連の動作により、映像バッ
ファ部５がオーバーフローもアンダーフローを起こすこ
となく、映像デコーダ部７に連続した符号化映像データ
を供給し、安定した復号動作を行なうことができる。

【００３３】ステップ１０２で復号が開始されると、音
声バッファ部９の蓄積量は平均６．２４４Ｍｂｐｓで増
大する。そして、符号化音声データが入力されないとき
は、その蓄積量は２５６ｋｂｐｓで減少する。音声バッ
ファについては、映像バッファに比べて２倍程度の時間
長のデータを蓄えることができる。映像バッファの蓄積
量を２Ｍビットから３Ｍビットの範囲になるように制御
することで、音声バッファ部９の蓄積量を１００ｋビッ
トから３００ｋビットの範囲にすることができる。

【００３４】このような制御を行なうことで、音声デコ
ーダ部１１に連続した符号化音声データを供給し、安定
した復号動作を行なうことができる。

【００３５】図３に示したような符号化多重データによ
れば、概略、同一時刻、同一時間長に相当する単位で映
像と音声データを多重化し、しかも、映像と音声のそれ
ぞれの先頭のパックに含まれるデータは必ず同一時刻に
なるように符号化している。このような符号化の場合、
符号化映像データが映像バッファ部５から出力して、映
像デコーダ部７にて復号され、そしてアナログ映像信号
として映像Ｄ／Ａ部８から出力される時間と、符号化音
声データが音声バッファ部９から出力して、音声デコー
ダ部１１にて復号され、そしてアナログ音声信号として
音声Ｄ／Ａ部１１から出力される時間との差が数ｍｓ以
内であれば、ステップ１０２にて、映像切換部６と音声
切換部１０をほぼ同時に閉じてそれぞれのバッファから
符号化データを出力してほぼ同時に復号動作を行なって
も実用上問題はない。もし、その時間差が数十ｍｓなら
ば、その時間差だけ映像切換部６と音声切換部１０とを
閉じる時間をマイクロコンピュータ１３にて制御すれ
ば、先頭のパックに符号化されている映像と音声のデー
タは、同一時刻にそれぞれのＤ／Ａから出力され、以後
同期動作を行なわなくとも映像と音声の同期が可能であ
る。

【００３６】また、図３に示すように、２番目以降の１
ＧＯＰ分の時間長の映像と音声の多重データは、最大１
フレーム（約２４ｍｓ）の時間差だけ音声データが遅延
して多重化されている。人間の耳の検知限は２０ｍｓの
先行ないし、５０ｍｓの遅延とされいるので、最大１フ
レームの音声信号の遅延は問題のない範囲であり、この
１ＧＯＰの時間長の単位で音声と映像の同期が取れてい
る。このことは、図５のフローチャートを用いて、途中
からの符号化音声データから復号動作を行なっても、必
要十分な映像と音声データの同期が取れることになる。

【００３７】図３に示したような概略、同一時刻、同一
時間長に相当する単位で多重化したデータをそれぞれの
バッファに入力して、映像バッファ部５のみを所定の範
囲内になるように制御するようにしたので、音声バッフ
ァ部９をオーバーフロー、アンダーフローしないように
することが可能である。

【００３８】実施例２．実施例１では、符号化映像レー
トを４．５Ｍｂｐｓで、映像バッファ部５の蓄積量の所
定範囲が、それぞれ上限値３Ｍビット、下限値２Ｍビッ
トの場合について説明した。しかし、システムレートが
６．５Ｍｂｐｓのままで、符号化映像レートが小さくな
った場合は、音声バッファの蓄積量にアンバランスを生
じる。図９に符号化映像レートが２．０Ｍｂｐｓのとき
の映像バッファ音声バッファの蓄積量の変化を示す。こ
の場合、符号化音声データ１ＧＯＰ分は１０２．４ｋビ
ット、符号化映像データ１ＧＯＰ分は０．８Ｍビットに
なる。映像切換部６、音声切換部１０を閉じた後、復号
を開始して、映像バッファ部５の蓄積量が上限値である
３Ｍビットになるまでに、音声バッファ部９には５個の
パケットの符号化音声データが蓄積されてしまい、音声
バッファ部９の蓄積容量を大きくできない場合は、オー
バーフローを引き起こす。

【００３９】これを解消するために、マイクロコンピュ
ータ１３は符号化映像レートを監視し、得られる符号化
映像レート値に従って最適な範囲である上限値と下限値
を設定する。たとえば、得られる符号化映像レートが２
Ｍｂｐｓの場合に、映像バッファ部５の蓄積量の上限値
を２．０Ｍビット、下限値を１．０Ｍビットにしたとき
のそれぞれのバッファの変化を図１０に示す。映像切換
部６、音声切換部１０を閉じた後、復号を開始して、映
像バッファ部５の蓄積量が上限値である２Ｍビットにな
るまでに、音声バッファ部９には４個のパケットの符号
化音声データが蓄積され、５個目のパケットが入力され
るまでにバッファ切換部３が開くので、音声バッファ部
９はオーバーフローが生じない。

【００４０】このように、マイクロコンピュータ１３に
て、可変になるレート（この場合では映像符号化レー
ト）を監視し、音声バッファ部９の蓄積量がオーバフロ
ーやアンダーフローしないように、符号化映像レート値
に合わせて映像バッファ部５の上限値と下限値を設定す
るようにしたので、最適な映像バッファと音声バッファ
の制御を行なうことができる。

【００４１】実施例３．上記実施例では、図３の符号化
多重データが再生されて、映像バッファ５の制御だけで
映像と音声の同期を補償する場合について説明した。し
かしながら、光ディスクから映像バッファと音声バッフ
ァにデータが到達するまでに何らかの理由によりデータ
が欠落した場合は、厳密な意味で映像と音声の同期が補
償できなくなってしまう。例えば、数バイトの欠落が符
号化映像データや音声データの中で生じた場合、映像と
音声との同期という点では人間の検知限以下であり、ほ
とんど無視できるが、パックヘッダやパケットヘッダの
中で数バイト欠落した場合では、デマルチプレクサ４に
て正常な分離動作が行なわれず、デマルチプレクサ４の
出力データはパック単位で符号化データが欠落し、パッ
ク単位での同期ずれを生じる。

【００４２】システムレート６．５Ｍｂｐｓ、符号化映
像レート４．５Ｍｂｐｓ、符号化音声レート２５６ｋｂ
ｐｓの場合、前述したように、映像バッファ部５の蓄積
量が５０％で復号動作を開始（ステップ１０２）し、そ
の後映像バッファ部５がオーバーフローやアンダーフロ
ーしないように制御（ステップ１０３からステップ１０
６）されている範囲では、音声バッファ部９の蓄積量は
概ね５０％を中心にして１００ｋビットから３００Ｋビ
ットの範囲で変動している。１ＧＯＰ分の符号化映像デ
ータが欠落した場合、１パケットの符号化音声データが
余分に蓄積され、蓄積量が３００Ｍビットを上回る。こ
のため、音声は約０．４ｓ分遅れて出力される。符号化
音声データが１パケット欠落した場合は音声バッファ部
９の蓄積量は１００ｋビットを下回る。このため、音声
は約０．４ｓ早く出力される。

【００４３】このような大幅な同期ずれに対する対処法
を、図１１のフローチャートを用いて説明する。ステッ
プ１１０以降では、大幅な同期ずれを補償するために音
声バッファ９の蓄積量を監視している。ステップ１１０
で音声バッファ部９の蓄積量が例えば８０％（およそ３
２０ｋビット）を越えた場合、まずステップ１１１でバ
ッファ切換部３の状態を記憶する。その後、ステップ１
１２でバッファ切換部３を強制的に開いてバッファ部２
から多重符号化データを出力しないようすると同時に、
映像切換部６を開いて映像バッファ部５から符号化映像
データの出力しないようにして映像デコーダ部７の復号
動作を停止する。この状態では映像バッファ部５の蓄積
量は変わらず、音声バッファ部９の蓄積量のみが音声デ
コーダ部１１の復号動作のために減少していく。

【００４４】前述したように、映像と音声の同期が取れ
ているときの音声バッファ部９の蓄積量はおよそ５０％
である。そこで、ステップ１１４にて減少している音声
バッファ部９の蓄積量が５０％になると、同期ずれが小
さくなったとみなして映像切換部６を閉じて映像デコー
ダ７の復号動作を開始する。その後、バッファ切換部３
の状態をステップ１１１で記憶した状態に戻す。

【００４５】ステップ１２０で音声バッファ部９の蓄積
量が２０％（およそ８０ｋビット）以下になった場合、
まずステップ１２１でバッファ切換部３の状態を記憶す
る。その後、ステップ１２２でバッファ切換部３を強制
的に閉じてバッファ部２から符号化多重データを出力す
る、と同時に音声切換部１０を開いて音声バッファ部９
から復号音声データを出力しないようにして音声データ
の復号動作を停止する（ステップ１２３）。この状態で
は、映像デコーダ部７は連続して復号動作を行い、映像
バッファ部５の蓄積量は正常に変動しているが、音声バ
ッファ部９の蓄積量は増加していく

【００４６】ステップ１２４にて増加している音声バッ
ファ部９の蓄積量が５０％になると、同期ずれが小さく
なったとみなして音声切換部１０を閉じて音声デコーダ
部１１の復号動作を開始する（ステップ１２５）。その
後、バッファ切換部３の状態をステップ１２１で記憶し
た状態に戻して、一連の同期合わせの動作を終了する。

【００４７】このようにすることで、符号化映像デー
タ、あるいは符号化音声データにデータの欠落が発生し
て大幅な同期ずれが生じても、同期ずれを小さくするこ
とができる。

【００４８】実施例４．上記実施例では映像の符号化レ
ートを４．５Ｍｂｐｓとしているが、例えば、３．０Ｍ
ｂｐｓ、音声の符号化レートが２５６ｋｂｐｓの場合を
考える。この場合、符号化音声データ１ＧＯＰ分は１０
２．４ｋビット、符号化映像データ１ＧＯＰ分は１．２
Ｍビットになる。このとき、映像符号化データが映像バ
ッファ部５の７５％蓄積されたときには、音声バッファ
部９の蓄積量は３００ｋビットを上回る。以降、音声バ
ッファ部９の蓄積量は１５０ｋビットから３５０ｋビッ
トの範囲で変化する。このことは、同じ蓄積量を持つバ
ッファでも、システムレート、符号化映像レート、符号
化音声レート、そして、パケット化されるデータ量によ
って、蓄積されるデータ量の割合が変わることを意味す
る。符号化映像レートが小さくなると、音声バッファ部
９の蓄積量は増大する。符号化レートが大きくなると、
音声バッファ部９の蓄積量は減少する。そして、符号化
映像データと符号化音声データが欠落したときの音声バ
ッファ蓄積量の上下の裕度に、アンバランスを生じる。

【００４９】これを解消するために、マイクロコンピュ
ータ１３にて、可変になるレート（この場合では映像符
号化レート）を監視し、それぞれのレート値で音声バッ
ファの蓄積量を最適な裕度を設定すればよい。この場合
であれば、ステップ１１０の蓄積量の上限レベル値を例
えば９０％（およそ３６０ｋビット）、ステップ１２０
の蓄積量の下限レベル値を例えば４０％（およそ１６０
ｋビット）とすれば、同様な裕度を確保することができ
る。そして、ステップ１１４、１２４で設定するレベル
値を、蓄積量の上限レベル値と下限レベル値とのほぼ半
分の６０％程度（およそ２４０ｋビット）に設定すれ
ば、符号化映像データ、あるいは符号化音声データが欠
落しても、同期ずれを小さくすることができる。

【００５０】また次のような手法もある。上記実施例で
は、映像バッファの蓄積量の上限値と下限値を、それぞ
れ３Ｍビット、２Ｍビットとしているが、例えば、映像
符号化レート３ＭｂｐｓＮ場合は、映像バッファ部５の
蓄積量の上限値を２．５Ｍビット、下限値を１．５Ｍビ
ットに設定するものとする。このようにすると、符号化
映像データを蓄積し始めて、上限値である２．５Ｍビッ
トになるまでに、音声バッファ９の中に３個のパケット
のデータしか蓄積されなくなる。図１３に示すように、
音声バッファ部９の蓄積量の裕度は上下ともほぼ同じに
なり、１００ｋビットから３００ｋビットの範囲で変化
する。従って、ステップ１１０の蓄積量の上限レベル値
は例えば８０％（およそ３２０ｋビット）、ステップ１
２０の蓄積量の下限レベル値は例えば２０％（およそ８
０ｋビット）とし、ステップ１１４、１２４で設定する
レベル値は蓄積量の上限レベル値と下限レベル値とのほ
ぼ半分の５０％程度（およそ２００ｋビット）の一定に
しておけばよい。

【００５１】このように、映像バッファの所定の範囲で
ある上限値と下限値を、符号化映像レートに合わせて設
定するようしたので、音声バッファの蓄積量の上限値と
下限値は一定のままで、映像と音声の同期補償を簡単に
行なうことができる。

【００５２】なお、図には示していないが、符号化レー
トの値はそれぞれのデータの先頭にヘッダという形で挿
入されている場合が多いので、デマルチプレクサ部４内
の切換部１７にてそのレート情報を抜き出し、マイクロ
コンピュータ１３にてその値を監視すればよい。

【００５３】また、上記実施例では記録された符号化映
像データと符号化音声データの同期ずれを補償する構成
について説明したが、記録されるデータはこれに限るも
のではない。例えば、様々な楽器からの音楽信号や、ボ
ーカルの音声信号をミキシング記録して、同期再生して
も良い。

【００５４】また、上記実施例では符号化多重データを
光ディスクから読み出すよう構成した場合について説明
したが、これに限るものではない。例えば、ディスクア
レイに記録されているものを読みだしても良いし、ケー
ブルテレビ等の放送から読みだしても良い。

【００５５】また上記実施例では、それぞれの蓄積量の
レベルを符号化映像レートの合わせて設定する場合につ
いて説明したが、例えば符号化音声レートでもよく、こ
れに限るものではない。

【００５６】さらに上記実施例では、符号化多重データ
からの分離動作をマイクロコンピュータの外部のデマル
チプレクサ部で行なう場合について説明したが、同一の
マイクロコンピュータ内で分離動作を行なっても良い。

【００５７】

【発明の効果】以上のように、本発明の請求項１記載の
多重化データの復号装置によれば、映像バッファの蓄積
量が所定の範囲内に納まるように第一のバッファの出力
を制御するように構成したので、容易なバッファ制御で
映像バッファと音声バッファの蓄積量を安定に保つこと
ができる効果がある。

【００５８】また、本発明の請求項２記載の多重化デー
タの復号装置によれば、映像バッファの所定の範囲を、
映像信号の符号化レートによって可変にするように構成
したので、バッファ制御が映像符号化レートに従って細
かく制御することができる効果がある。

【００５９】また、本発明の請求項３記載の多重化デー
タの復号装置によれば、音声バッファの蓄積量が所定の
第一のレベル以上になったことを検知、または、所定の
第二のレベル以下になったことを検知するように構成し
たので、符号化音声信号の欠落を判別するように構成し
たので、符号化映像信号の欠落を判別し、さらに、音声
バッファの蓄積量が第一のレベル以上、あるいは第三の
レベル以下になったときには、その蓄積量を概略第二の
レベルに近づけるように、第一のバッファと映像バッフ
ァと音声バッファの出力を制御するように構成したの
で、大幅な符号化信号の欠落によって生じる不平衡状態
を正常な状態に戻して、映像信号と音声信号の同期のず
れを少なくする効果がある。

【００６０】また、本発明の請求項４記載の多重化デー
タの復号装置によれば、音声バッファの蓄積量の第一の
レベルと第二のレベルを、映像信号の符号化レートによ
って可変にするようにしたので、音声バッファの蓄積量
の上下の裕度をほぼ同じに保てるようになり、大幅な符
号化信号の欠落によって生じる不平衡状態を正常な状態
に戻して、映像信号と音声信号の同期のずれを少なくす
る効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例による多重化データの復号
装置を示すブロック図である。

【図２】実施例１における符号化の過程を示す図であ
る。

【図３】実施例１における符号化多重データの構成を
示す図である。

【図４】実施例１における符号化多重データのヘッダ
構成を示す図である。

【図５】実施例１におけるバッファ制御のフローチャ
ートである。

【図６】実施例１における分離部の構成を示す図であ
る。

【図７】実施例１における分離部の動作を示す図であ
る。

【図８】実施例１におけるバッファの蓄積量の変化を
示す図である。

【図９】実施例２におけるバッファの蓄積量の変化を
示す図である。

【図１０】実施例２におけるバッファの蓄積量の変化
を示す図である。

【図１１】実施例３における映像データと音声データ
の同期ずれを補償するフローチャートである。

【図１２】実施例３におけるバッファの蓄積量の変化
を示す図である。

【図１３】実施例４におけるバッファの蓄積量の変化
を示す図である。

【図１４】従来のビデオＣＤのデータフォーマットを
示す図である。

【図１５】従来の符号化多重データのヘッダ構成を示
す図である。

【符号の説明】

１光ディスク、２バッファ部、３バッファ切換
部、４デマルチプレクサ部、５映像バッファ部、６
映像切換部、７映像デコーダ部、９音声バッファ
部、１０音声切換部、１１音声デコーダ部、１３
マイクロコンピュ

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/24 7/14 (72)発明者外田修司長岡京市馬場図所１番地三菱電機株式会社映像システム開発研究所内 (72)発明者児玉昌文長岡京市馬場図所１番地三菱電機株式会社京都製作所内 (72)発明者龍智明長岡京市馬場図所１番地三菱電機株式会社京都製作所内 (72)発明者山本清貴尼崎市猪名寺２丁目５番１号三菱電機マイコン機器ソフトウエア株式会社内

Claims

【特許請求の範囲】

【請求項１】符号化多重信号から符号化映像信号と符
号化音声信号とを分離する分離手段と、前記分離された
符号化映像信号を復号する映像復号手段と、前記分離さ
れた符号化音声信号を復号する音声復号手段とを備えた
多重化データの復号装置において、再生される符号化多
重信号を一時的に蓄積する第一のバッファ手段と、前記
分離手段によって分離された符号化映像信号を一時的に
蓄える映像バッファ手段と、前記分離手段から分離され
た符号化音声信号を一時的に蓄える音声バッファ手段
と、前記映像バッファ手段の符号化映像信号の蓄積量が
所定の範囲内になるように、前記第一のバッファ手段の
出力を制御するバッファ制御手段を備えたことを特徴と
する多重化データの復号装置。
【請求項２】前記符号化多重信号から符号化映像信号
の符号化レートを分離する分離手段と、前記分離された
符号化映像レートに従って前記映像バッファ手段の所定
の範囲を設定する手段を備えたことを特徴とする請求項
１記載の多重化データの復号装置。
【請求項３】符号化多重信号から符号化映像信号と符
号化音声信号とを分離するレート信号分離手段と、前記
分離された符号化映像信号を復号する映像復号手段と、
前記分離された符号化音声信号を復号する音声復号手段
とを備えた多重化データの復号装置において、再生され
る符号化多重信号を一時的に蓄積する第一のバッファ手
段と、前記分離手段によって分離された符号化映像信号
を一時的に蓄える映像バッファ手段と、前記分離手段か
ら分離された符号化音声信号を一時的に蓄える音声バッ
ファ手段と、音声バッファ手段の符号化音声信号の蓄積
量が所定の第一のレベル以上になったことを検知する第
一の検知手段と、前記検知手段の結果に基づいて符号化
映像信号の欠落を判別する第一の判別手段と音声バッフ
ァ手段の符号化音声信号の蓄積量が所定の第二のレベル
以下になったことを検知する第二の検知手段と、前記検
知手段の結果に基づいて符号化音声信号の欠落を判別す
る第二の判別手段を備え、前記第一及び第二の検知手段
の検知レベルは、１００％＞第一のレベル＞第三のレベ
ル＞第二のレベル＞０％であり、かつ、第三のレベルは
符号化映像信号が欠落していないときの前記音声バッフ
ァ手段の蓄積量と概略等しいレベルであり、前記第一の
判別手段が符号化映像信号の欠落、あるいは、前記第二
の判別手段が符号化音声信号の欠落を判別したときに
は、音声バッファの蓄積量を概略第三のレベルに近づけ
るように、前記第一のバッファ手段と映像バッファ手段
と音声バッファ手段の出力を制御する制御手段を備えた
ことを特徴とする多重化データの復号装置。
【請求項４】前記第一のレベル、第三のレベルを前記レ
ート信号分離手段によって分離された符号化映像信号の
符号化レートに従って設定する手段を備えたことを特徴
とする請求項３記載の多重化データの復号装置