JP3134588B2 - 圧縮画像データと圧縮音響データとの同期再生方法 - Google Patents

圧縮画像データと圧縮音響データとの同期再生方法

Info

Publication number
JP3134588B2
JP3134588B2 JP05088043A JP8804393A JP3134588B2 JP 3134588 B2 JP3134588 B2 JP 3134588B2 JP 05088043 A JP05088043 A JP 05088043A JP 8804393 A JP8804393 A JP 8804393A JP 3134588 B2 JP3134588 B2 JP 3134588B2
Authority
JP
Japan
Prior art keywords
time
data
compressed
audio
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05088043A
Other languages
English (en)
Other versions
JPH06275053A (ja
Inventor
亨 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP05088043A priority Critical patent/JP3134588B2/ja
Publication of JPH06275053A publication Critical patent/JPH06275053A/ja
Application granted granted Critical
Publication of JP3134588B2 publication Critical patent/JP3134588B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は表示されるべき時刻情報
をもデータの一部として含む圧縮画像データと、圧縮さ
れた音響データとが、時分割多重されているビットスト
リームをその途中から再生しても、画像と前記の画像に
付随する音響とが同期した状態で容易に再生できるよう
にする同期再生方法に関する。
【0002】
【従来の技術】画像信号を高能率圧縮して伝送,記録再
生するための研究が盛んに行なわれるようになり、例え
ば小型なディスクに高能率符号化された画像データと、
前記の画像データと対応する画像に付随する音響信号を
高能率符号化された音響データとを時分割多重したビッ
トストリームを、例えば図6に例示されているような状
態のデータとして記録,伝送させることが行なわれるよ
うになった。図6において、Vの符号が付されている区
画の部分は高能率圧縮された画像データのブロック(セ
クタ)、Aの符号が付されている区画の部分は高能率圧
縮された音響データのブロック(セクタ)である。とこ
ろで、画像信号の高能率符号化によるデータ量の圧縮に
関して、動画の画像信号を高能率符号化して画像データ
を圧縮する際の国際標準規格を作ることを目指して、M
PEG(MovingPictureCodingGr
oup)では、高能率圧縮画像データに関する各種のデ
ータフォーマットを順次に提案しており、MPEGから
提案されたデータフォーマットに従って高能率圧縮され
た画像データ(MPEG方式により高能率圧縮された圧
縮画像信号)を伝送,記録再生するための実用化装置に
ついての研究開発も行なわれている。
【0003】さて、CD−ROMなどのデジタルデータ
を記録する記録媒体を対象とした動画像情報の符号化方
式(MPEG方式)では、予測符号化の手法を採用して
いる。この予測方法としては、フレーム内予測法を適用
して画像データの圧縮が行なわれている画像{Iピクチ
ャ(IntraPictures)}フレーム(以下、
Iフレームと称することもある)及び、過去のフレーム
の画像データに基づいてフレーム間予測を行なうように
したフレーム間予測法を適用して画像データの圧縮が行
なわれている画像{Pピクチャ(PredictedP
ictures)}フレーム(以下、Pフレームと称す
ることもある)、ならびに過去のフレームの画像データ
と未来のフレームの画像データとの双方の画像データに
基づいてフレーム間予測を行なうようにしたフレーム間
予測法を適用して画像データの圧縮が行なわれている画
像{Bピクチャ(Bi-directionalPre
dictionPictures)}フレーム(以下、B
フレームと称することもある)との3種類の画像モード
があり、前記各画像モードの各フレームが時間軸上に所
定の配列態様で配列された状態のデジタルデータに、所
定のヘッダを付加して画像符号化データとしている。
【0004】そして、MPEG方式においては、前記し
たIフレームにおける画像データの圧縮率とPフレーム
における画像データの圧縮率とBフレームにおける画像
データの圧縮率との関係が、(Iフレームにおける画像
データの圧縮率)<(Pフレームにおける画像データの
圧縮率)<(Bフレームにおける画像データの圧縮率)
のような大きさの関係になっている。また再生に当って
はエントリ・ポイントのシーケンスヘッダから再生開始
が行なわれ、前記Bフレームの画像情報の再生のために
は、そのBフレームの画像情報の予測に使用された未来
のPフレームの画像情報がBフレームの前に記録されて
いる必要がある。
【0005】図2はMPEG方式によって高能率圧縮さ
れた動画像情報を、CD(コンパクトディスク)規格に
従った光ディスクに記録させる場合の高能率圧縮された
動画像情報に関するデータの配置を説明するための図で
ある。図2の(b)にはCD(コンパクトディスク)規格
に従った光ディスクに、高能率圧縮された動画像情報に
関するデータが記録されている順次のセクタ部分におけ
る記録データの配置状態を示している。まず図2の
(a)には、前記した図2の(b)に示されている各セ
クタにおけるMPEGシステムヘッダ(図にはMPEG
ヘッダと記す)の部分に続いて、順次に記録されるべき
データの内容を、1つのGOP(Group of Pictures)
について例示してある。前記のGOPは、それの先頭に
シーケンスヘッダ(SEQ H)が置かれ、前記のシーケン
スヘッダ(SEQ H)に続いてGOPヘッダ(GOP H)が置か
れ、前記のGOPヘッダ(GOP H)に続いて、順次の画像
フレームが配置された構成にされている。
【0006】図2の(c)〜(f)は、図2の(b)に示さ
れているMPEGシステムヘッダ(MPEGヘッダ)の具
体的な内容を示しているものである。図2の(c)〜
(f)におけるPACKヘッダはCDの順次のセクタ毎
に記録されているSCR(systemclockre
ference)の値{コンパクトディスクの各セクタ
毎に一定の数値1200ずつ増加する数値]、その他の
情報を含んでいるものとして構成されている。前記一定
の数値はMPEG方式における時間の計測単位として用
いられている1/90KHzの周期と、CDの1秒当り
セクタ数の75とにより決まる値であり、90KHz/
75Hz=1200である。図中におけるPTSとDT
Sとは、タイムスタンプであって、タイムスタンプPT
S(presentation time stamp)は、画像を実際に表示す
る時刻を表わす情報であり、またタイムスタンプDTS
(decoding time stamp)は、MPEGビデオデコーダに
対してデータを送り出す時刻を表わす時刻情報である。
【0007】ところで、MPEGシステムヘッダの具体
的な内容として、図2の(c)〜(f)に示されている
ような多くの種類があるのは、MPEGシステムヘッダ
内に含ませてあるタイムスタンプの有無、及び存在して
いるタイムスタンプの種類等の区別によって、そのMP
EGシステムヘッダが存在しているセクタ内に記録され
ている画像情報の内容や、記録の態様などを示すことが
できるようにするためである。MPEGシステムヘッダ
の具体的な内容として、図2の(c),(d)のように、2
種類のタイムスタンプPTS,DTSの双方が存在して
いる場合は、そのMPEGシステムヘッダが置かれたセ
クタ内で、符号化されたIフレームまたはPフレームが
始まっていることを意味している。特に、図2の(c)
に示されているような内容のMPEGシステムヘッダ
は、図2の(a)に例示されているようなGOPの複数
個のものが連なっている各ビデオシーケンスにおける最
初のセクタに置かれているものであることを表わしてい
る。
【0008】また、図2の(e)のようにMPEGシス
テムヘッダ中に、タイムスタンプPTSだけが存在して
いる場合は、そのMPEGシステムヘッダが置かれたセ
クタ内で、符号化されたBフレームが始まっていること
を意味している。さらに図2の(f)のようにMPEG
システムヘッダ中に、タイムスタンプPTS,DTSの
どちらも存在していない場合は、そのMPEGシステム
ヘッダが置かれたセクタ内には、Iフレーム、Pフレー
ム、Bフレームの何れの画像フレームの始まりの境界も
含んでいないことを意味している。また、前記のシーケ
ンスヘッダは、シーケンスヘッダコードの他に、画像の
水平サイズや垂直サイズ、アスぺクト比の情報、その他
の各種情報によって構成されている。GOPヘッダは、
GOP(Group of Pictures)の先頭部分に先行して
配置されるグループスタートコード、タイムコード、ク
ローズドGOPか否かを示す情報、ブロークン・リン
ク、その他の各種情報等によって構成されている。前記
ブロークン・リンクは、それが1とされていた場合に
は、そのGOPヘッダが付されているGOPを構成して
いるIフレームとPフレームとの間に存在しているBフ
レームについて、MPEGビデオデコーダに復号動作を
行なわせないようにするための役目を持っている。そし
て、前記のGOPはIフレームの画像データ、Pフレー
ムの画像データ、Bフレームの画像データ群によって構
成されるものであるが、前記したGOPヘッダの直後に
は必ずIフレームの画像データが位置するようにされて
いる。
【0009】
【発明が解決しようとする課題】さて、高能率符号化し
た画像データと、前記の画像データと対応する画像に付
随する音響信号を高能率符号化した音響データとを時分
割多重したビットストリームを、例えば図6に例示され
ているような状態のデータとして記録,伝送させる場合
に、前記した高能率符号化された各画像と対応する画像
データのデータ量が異なっているときには、順次の画像
と対応する画像データの時間軸上の間隔は、前記した各
画像のデータ量の相違と対応して変化している。したが
って、例えばMPEG方式によって高能率圧縮された動
画像情報を、CD(コンパクトディスク)規格に従った
光ディスクに記録させた場合に、前記した高能率圧縮さ
れた動画像情報のデータに付加されている時刻情報のデ
ータ(例えば、タイムスタンプとして既述した、表示さ
れるべき時刻情報のデータPTS)によって示される数
値は、Iフレーム、Pフレーム、Bフレームのの圧縮率
が異なるために、直線的には増加しない状態となるので
あり、その様子が図5中の曲線Vに例示してある。
【0010】ただし、CDへの画像情報の記録に当って
は、長い時間におけるタイムスタンプPTSの値の平均
の値が直線的に変化しているようなものとなるようにし
ている。一方、画像情報に付随する音響信号を常に一定
の圧縮率で高能率符号化して得た音響データの時間位置
は、時間軸上で直線的に配置されているから、音響デー
タにタイムスタンプPTSを付加したとすれば、そのタ
イムスタンプPTSの値は、図5中の直線A上に位置し
ている状態のものになる。
【0011】ところで、例えばCD(コンパクトディス
ク)規格に従った光ディスクに対して、動画像情報をM
PEG方式によって高能率符号化して得た動画像情報の
可変圧縮率データと、前記した動画像情報に付随してい
る音響情報を、例えばADPCMにより一定の圧縮率で
高能率符号化して得た音響情報の圧縮データとが、時分
割多重されているビットストリームを、例えば図6に例
示されているような状態のデータとして記録した場合、
すなわち、表示されるべき時刻情報(タイムスタンプP
TS)をもデータの一部として含む圧縮画像データと、
出力開始時刻が画像の表示開始時刻と一致しているが、
出力されるべき時刻を直接示す時刻情報をデータとして
持たない一定レートで圧縮された音響データとが、時分
割多重されているビットストリームを記録した場合に
は、CDが途中から再生されたときに画像と前記の画像
に付随している音響との再生のタイミングにずれが生じ
ることが起こる。
【0012】上記の点を具体的に説明すると次のとおり
である。今、CDに記録される画像情報のデータと音響
情報のデータとが、例えば図6に例示されているよう
に、符号Aを付して示してある音響情報のデータが記録
されているセクタAと、符号Vを付して示してある画像
情報のデータが記録されているセクタVとが、V→V→
V→A→V→V→V→A→のようであったとする。図6
中に符号Aを付して示してある音響情報のデータが記録
されている次々のセクタAの間に、符号Vを付して示し
てある画像情報のデータが記録されている3個のセクタ
Vが介在している。従って、時間軸上に次々に現われる
セクタAにおけるSCRの値は、図4中において、セク
タ内容の欄がAであるセクタに注目すると、次々のセク
タAのSCRの値は(4800)ずつ増加している。す
なわち、前記した各セクタAに記録されている音響デー
タは、一定な圧縮率で圧縮された状態のデータであるか
ら、順次の各セクタAに記録されている音響データと対
応する音響情報の時間軸上の位置は、時間軸上で直線的
に増加している状態のSCRの値に対応しているものに
なっている。
【0013】ところが、前記セクタVに記録されている
画像情報が、動画像情報をMPEG方式によって高能率
符号化して得た動画像情報の可変圧縮率のデータであれ
ば、一般的に圧縮率がフレームの種類(Iフレーム、P
フレーム、Bフレーム)によって異なるために、前記し
た画像データに付加されるMPEGヘッダ内に置かれる
タイムスタンプPTSの値は画像データの圧縮率と対応
して、図5中の曲線Vで例示されているように時間軸上
で非直線的な状態で変化しているものになる。図4にお
けるタイムスタンプPTSの欄には、前記セクタAと前
記セクタVとが、V→V→V→A→V→V→V→A→の
ようであったとした場合における順次のセクタに記録さ
れているタイムスタンプPTSの値が例示されている。
【0014】前記のように、圧縮画像データと一定レー
トで圧縮された音響データとを時分割多重してあるビッ
トストリームが記録されている場合には、図6中に符号
Aを付して示してある音響情報のデータが記録されてい
るセクタAは4セクタ毎に配置されている。したがっ
て、順次のセクタAに記録されている音響情報のデータ
には出力すべき時刻を直接示す時刻情報のデータ(タイ
ムスタンプPTS)が付加されていないとしても、前記
のように音響情報のデータは一定の圧縮率で圧縮されて
いるものであるから、その音響データが記録されている
セクタが、前記した始まりのセクタから何番目のセクタ
であるのか、始まりのセクタのSCRの数値が幾つであ
るのかの情報が判かっていれば、その音響情報のデータ
に対して仮想のタイムスタンプPTSを与えることがで
きる。この仮想のタイムスタンプPTSは復号された音
響情報(復号音響信号)が実際に出力されるべき時刻に
相当する。
【0015】今、例えば、前記セクタAと前記セクタV
とが、図6に例示されているように、V→V→V→A→
V→V→V→A→のようなものであったとし、前記セク
タVにおける最初のセクタ0(図4中のセクタ番号の欄
においてセクタ番号0で示してあるセクタ)のタイムス
タンプPTSの値が、0+10000(10000とい
う数値はオフセット値である)であったとすると、順次
のセクタAにおける音響データに対して与えられる仮想
のタイムスタンプPTSの値は、次の(1)式で示され
るものになる。 仮想のタイムスタンプPTSの値=1200×(セクタ
番号−3)+10000…(1) ただし、(1)式における10000は前記のオフセッ
ト値である。また、前記したセクタ番号とSCRの数値
とは一次的な関係にあるから、セクタ番号は次の(2)
式によって示されることになる。 セクタ番号=SCR/1200…(2) それで、仮想のタイムスタンプPTSの値は、前記した
(1),(2)式より、次の(3)式によって示されるものに
なる。 仮想のタイムスタンプPTS=SCR−3600+10
000…(3) ただし、(3)式における10000は前記したオフセ
ット値である。図5における直線Aは前記したSCRの
値と仮想のタイムスタンプPTSの値との関係を示して
いるものである。
【0016】一方、前記セクタVには、そこに記録され
ている画像情報にタイムスタンプPTSが付加されてい
る場合には、各セクタ毎のタイムスタンプPTSの値の
例が図4中のタイムスタンプPTSの欄に記載されてい
る。なお、図4中におけるタイムスタンプPTSの欄
に、無し、という記載がされているセクタは、そのセク
タに記録されている画像情報に付加されているMPEG
ヘッダが、図2の(f)に示されているような構成の場
合である。既述のように、前記セクタVに記録されてい
る画像情報のデータが、MPEG方式により高能率符号
化して得たIフレーム、Pフレーム、Bフレームの場合
のように、前記の各画像フレームにおける圧縮率が異な
っていると、前記MPEGヘッダ内に置かれるタイムス
タンプPTSの値は、画像データの圧縮率と対応して、
図5中の曲線Vで例示されているように、時間軸上で非
直線的な状態に変化しているものになるから、SCRの
値とタイムスタンプPTSの値との関係は1次関数の関
係とはならない。
【0017】したがって、前記したような圧縮画像デー
タと圧縮された音響データとが、時分割多重されている
ビットストリームを記録した場合には、そのビットスト
リームを途中から再生したときに、画像と、その画像に
付随している音響の再生のタイミングにずれが生じるこ
とが起こることになる。それで、前記のような問題が起
こらないようにするための解決策が求められた。
【0018】
【課題を解決するための手段】本発明は、圧縮音響デー
タと、表示すべき時刻情報をもデータの一部として含む
圧縮画像データとが時分割多重されているビットストリ
ームをその途中から再生する際に、復号した前記圧縮画
像データを表示すべき時刻と復号した前記圧縮音響デー
タを出力すべき時刻とを前記ビットストリームのデータ
から直接または算出して求め、前記2つの時刻の内の早
い方の時刻に対応する復号データから表示/出力を開始
し、遅い方の時刻になった時点から、復号した前記圧縮
画像データと復号した前記圧縮音響データとを、同期さ
せて表示/出力するようにした圧縮画像データと圧縮音
響情報データとの同期再生方法である。また、前記同期
再生方法において、前記圧縮画像データを復号するビデ
オデコーダの時計を前記2つの時刻の内の早い方の時刻
を基にして設定し、復号データを表示/出力すべき時刻
に表示/出力できるように、前記圧縮画像データと前記
圧縮音響データとを夫々のデコーダに転送し始め、前記
2つの時刻の内の早い方の時刻に対応する復号データか
ら表示/出力を開始し、遅い方の時刻になった時点か
ら、復号した前記圧縮画像データと復号した前記圧縮音
響データとを、同期させて表示/出力するようにした圧
縮画像データと圧縮音響情報データとの同期再生方法で
ある。
【0019】
【作用】表示されるべき時刻情報をもデータの一部とし
て含む圧縮画像データと、圧縮された音響データとが、
時分割多重されているビットストリームをその途中から
再生する場合に、復号された前記圧縮画像データが表示
されるべき時刻と、復号された前記圧縮音響データが出
力されるべき時刻とが、前記ビットストリームから検出
され、前記2つの時刻の内の早い方の時刻に対応する復
号データから表示/出力が開始され、遅い方の時刻にな
った時点から、復号した前記圧縮画像データと復号した
前記圧縮音響データとが、同期して表示/出力される。
このために、まず、図3に示してあるフローチャートに
おけるステップ(1)のように、オーディオデコーダ及
びビデオデコーダで生じる遅延時間を考慮して、音響デ
ータに関して前記した(3)式によって求めた仮想のタ
イムスタンプPTSの値と、圧縮画像データに付加され
ているタイムスタンプPTSの値との計算、すなわち、 {(最初に出力すべき音響データの仮想のタイムスタン
プPTSの値)−(オーディオデコーダで圧縮音響デー
タを復号するのに必要とされる時間)}と{最初に表示
すべき画像データのタイムスタンプPTSの値)−(ビ
デオデコーダで圧縮画像データを復号するのに必要とさ
れる時間)} という計算を行なって、前記したオーディオデコーダと
ビデオデコーダとのどちらのデコーダの方へ先にデータ
を送るべきか(どちらのデータを先に表示/出力すべき
か)を決める。なお、前記した最初に表示すべき画像の
セクタは、当然のことながらGOPの最初のセクタであ
る。
【0020】前記したステップ(1)における計算の結
果として、オーディオデコーダのほうに先にデータを送
るべき(復号したオーディオ信号を先に出力すべき)こ
とが判かったときは、ステップ(2)に進み、また前記
したステップ(1)における計算の結果として、ビデオ
デコーダのほうに先にデータを送るべき(復号した画像
信号を先に表示すべき)ことが判かったときは、ステッ
プ(4)に進む。ステップ(2)では、ビデオデコーダ
の時計を、オーディオデコーダへ圧縮音響データを送出
すべき時刻、すなわち、 {(オーディオデコーダから復号音響データを送出すべ
き時刻)−(オーディオデコーダで圧縮音響データを復
号するのに必要とされる時間)} の時刻に合わせるとともに、バッファメモリからバッフ
ァマネージャを介してオーディオデコーダに圧縮音響デ
ータが供給されるようにする。次に、ステップ(3)で
は、バッファメモリからバッファマネージャを介してビ
デオデコーダに、ビデオデコーダの出力調整機能を利用
して圧縮画像データを適宜送出する。こうすることによ
り、再生画像情報信号を出力すべき時刻以降は、画像と
音声とが同期して再生される。
【0021】前記したステップ(1)における計算の結
果として、ビデオデコーダのほうに先にデータを送るべ
きことが判かり、ステップ(4)に進んだときに、ステ
ップ(4)ではビデオデコーダの時計を、圧縮画像情報
に付随してあるタイムスタンプPTSの時刻よりも充分
に(復号に要する時間以上)前の時刻に設定し、バッフ
ァメモリからバッファマネージャを介してビデオデコー
ダに圧縮画像データが供給されるようにする。次に、ス
テップ(5)ではビデオデコーダの時計が、 {(オーディオデコーダからの復号された音響データ
(復号音響信号)が出力される時刻)−(オーディオデ
コーダで圧縮音響データを復号するのに必要とされる時
間)} の時刻になったら、バッファメモリからバッファマネー
ジャを介してオーディオデコーダに圧縮音響データが供
給されるようにする。このようにすることにより、再生
音響情報信号(復号音響信号)が出力されるべき時刻以
降は、画像と音声とが同期して再生される。即ち途中再
生時においても画像と、前記の画像に付随する音響とは
同期して再生できることになる。
【0022】以下、添付図面を参照して本発明の圧縮画
像データと音響データとの同期再生方法の具体的な内容
を詳細に説明する。図1は本発明の圧縮画像データと圧
縮音響データとの同期再生方法が適用される再生装置の
概略構成を示すブロック図であり、また、図2は本発明
の圧縮画像データと圧縮音響データとの同期再生方法を
説明するためのデータ配置図、図3は本発明の圧縮画像
データと圧縮音響データとを途中再生する場合でも同期
再生できるようにするための手順の一例を示すフローチ
ャート、図4は順次のセクタにおける情報種別とタイム
スタンプPTSとSCRとの対応関係の一例を示す図、
図5はSCRとタイムスタンプPTSとの関係を示す
図、図6は高能率符号化された画像データと、前記の画
像データと対応する画像に付随する音響信号を高能率符
号化された音響データとを時分割多重したビットストリ
ームが記録されたセクタ配列を示す図である。
【0023】図1に示す再生装置において1は再生信号
源、2はインターフェース、3はバッファーマネージ
ャ、4は中央演算処理装置、5はバッファメモリ、6は
MPEGビデオデコーダ、7はオーディオデコーダ、1
3はメモリである。図1に示されている再生装置におい
て、再生信号源1は高能率符号化された動画像情報に表
示されるべき時刻情報(タイムスタンプPTS)やSCR
を少なくとも含んで構成させてある所定のヘッダが付加
された状態の圧縮画像データと、始りが画像の始まりと
一致しているが、出力すべき時刻を直接示す時刻情報を
持たず、常に一定の圧縮率で圧縮された圧縮音響データ
とが、時分割多重されている時系列的なデータ列(ビッ
トストリーム)である。そして、前記の各データ(情
報)がビデオ情報かオーディオ情報かの種別の情報と、
各情報毎の再生の対象にされているデータ列が記録され
ている情報記録媒体、例えば、光ディスクや、光磁気デ
ィスク、その他の記録媒体から読出されたデータ列を送
出できるような構成のものが用いられている。
【0024】前記した再生信号源1から出力される圧縮
画像データは、MPEG方式による高能率符号化された
データであり、Iフレーム、Pフレーム、Bフレームが
混在している。これは、MPEG方式による高能率符号
化された動画像情報に、例えば表示されるべき時刻情報
(タイムスタンプPTS)やSCRを少なくとも含んで構
成させてある所定のヘッダが付加された状態の圧縮画像
データであってもよく、また前記した再生信号源1から
出力される圧縮画像データに対して時系列的に配置され
ている圧縮音響データとしては、出力の時刻を直接示す
時刻情報(タイムスタンプPTS)が付加されていない
ADPCM方式によってデータ量の圧縮が行なわれた圧
縮音響データであってもよい。以下の説明では前記の再
生信号源1が、高能率圧縮された音響情報と、MPEG
方式によって高能率圧縮された動画像情報とが記録され
ているCD(コンパクトディスク)規格に従った光ディ
スクからの再生データを出力できるように構成されたも
のであるとされている。
【0025】前記した圧縮画像データと圧縮音響データ
とを含む時系列的なビットストリームを送出する前記し
た再生信号源1は、中央演算処理装置(CPU)4から
伝送線8とインターフェース2とを介して与えられる制
御信号による制御の下に、例えば光ディスクから再生さ
れた前記のビットストリーム(再生対象のデータ列)を
伝送線9に送出する。
【0026】そして、前記のように伝送線9に送出され
た再生対象のデータ列は、インターフェース2とバッフ
ァマネージャ3とを介してバッファメモリ5に記憶され
る。前記のバッファマネージャ3は、中央演算処理装置
4からバス10を介して与えられる制御信号による制御
の下に、再生信号源1から伝送線9及びインターフェー
ス2を介して伝送されて来た再生データ列を、順次にバ
ッファメモリ5に書込んだり、あるいはバッファメモリ
5に記憶されている再生データ列中の圧縮音響データを
読出して、それをバス11を介してオーディオデコーダ
7に供給したり、バッファメモリ5に記憶されている再
生データ列中の圧縮画像データを読出して、それをバス
12を介してMPEGビデオデコーダ6に供給したりす
る動作を略々リアルタイムに行なえるような機能を有し
ている。
【0027】再生装置が通常の再生モードで動作してい
る場合において、前記した中央演算処理装置4は、メモ
リ13に格納されているプログラムに従って動作して、
ヘッダの部分に含まれている情報の種別の情報や各情報
毎の時刻情報、すなわちデータが音響情報のデータか画
像情報のデータかの区別や、時刻情報やSCRなどの情
報を見に行く。前記ヘッダは、バッファマネージャ3を
介してバッファメモリ5に格納されている再生データ列
のヘッダである。そして、各データが対応する各デコー
ダ(MPEGビデオデコーダ,オーディオデコーダ
7)からの要求に応じて、前記したバッファメモリ5に
格納されている再生データにおける情報の種別毎のデー
タが、バッファマネージャ3を介して転送される。前記
した各デコーダ(MPEGビデオデコーダ6,オーディ
オデコーダ7)からの要求は、再生状態が連続するよう
な(画像の表示または音声の出力が途切れないような)
タイミングで出され、それに応じて前記各デコーダへの
データの転送が行なわれることにより、再生信号の時間
軸上での連続性は各デコーダ(MPEGビデオデコーダ
6,オーディオデコーダ7)によって保証されることに
なる。なお、再生開始時には、再生直前のビデオデコー
ダにおける時計の時刻と表示又は出力すべき時刻とが不
連続な状態になるので、このときに所定の時刻に再生が
開始できるような手段をMPEGビデオデコーダ6に備
えている。
【0028】前述のように、バッファマネージャ3の制
御の下にバッファメモリ5からバッファマネージャ3と
バス11とを介して音響情報のデータがオーディオデコ
ーダ7に転送されると、オーディオデコーダ7ではそれ
に供給された圧縮音響データを伸張して得た再生音響情
報信号(復号音響信号)を出力する。またバッファマネ
ージャ3の制御の下にバッファメモリ5からバッファマ
ネージャ3とバス12とを介して、圧縮画像データがM
PEGビデオデコーダ6に転送されると、MPEGビデ
オデコーダ6ではそれに供給された圧縮画像データを復
号して得た再生画像情報信号(復号画像信号)を出力す
る。それで前記したオーディオデコーダ7からは、再生
音響情報信号が時間軸上で連続している状態で出力さ
れ、また、前記したMPEGビデオデコーダ6からは、
画像情報信号が時間軸上で連続している状態で出力され
る。
【0029】前記した再生装置における再生信号源1か
ら出力されているビットストリームでは、最初に同時に
出力されるべき画像が表示されるべき時刻と、前記の画
像に付随する音響が出力されるべき時刻との時間差が既
知であるから、前記再生音響情報信号(復号音響信号)
が出力されるべき時刻と、前記再生画像情報信号(復号
画像信号)が表示されるべき時刻とが前記ビットストリ
ームから検出されることになる。再生装置で前記ビット
ストリームを途中から再生する場合には、図3に示して
あるフローチャートに示されているような各ステップに
従って再生動作が行なわれるように、中央演算処理装置
4が再生装置の各構成部分の動作の制御を行なって、途
中再生動作時における画像再生と前記の再生画像に付随
する音響再生とが同期した状態で行なわれるようにす
る。
【0030】すなわち、再生装置における再生信号源1
から出力されているビットストリームの途中から再生す
るときには、図3のフローチャートに示す処理が行われ
る。具体的には、まずステップ(1)のように、オーデ
ィオデコーダ及びビデオデコーダで生じる遅延時間を考
慮して音響データに関して既述した(3)式によって求
めた仮想のタイムスタンプPTSの値(ta)と、圧縮
画像データに付加されているタイムスタンプPTSの値
(tv)の計算、すなわち、 Ca={(最初に出力すべき音響データの仮想のタイム
スタンプPTSの値ta)−(オーディオデコーダで圧
縮音響データを復号するのに必要とされる時間da)} Cv={最初に表示すべき画像データのタイムスタンプ
PTSの値tv)−(ビデオデコーダで圧縮画像データ
を復号するのに必要とされる時間dv)} という計算を行う。そして、前記したオーディオデコー
ダとビデオデコーダとのどちらのデコーダの方へ先にデ
ータを送るべきか(どちらのデータを先に表示/出力さ
せるべきか)を決める。前記したステップ(1)におけ
る計算の結果として、例えば前記CaがCvより小さい
時には、オーディオデコーダのほうに先にデータを送る
べきであるから、ステップ(2)に進み、また前記した
ステップ(1)における計算の結果として、前記Caが
Cvより大きい時には、ビデオデコーダのほうに先にデ
ータを送るべきであるから、ステップ(4)に進む。な
お、前記した最初に表示すべき画像のセクタは、当然の
ことながらGOPの最初のセクタである。
【0031】ステップ(2)では、ビデオデコーダの時
計を、オーディオデコーダへ圧縮音響データを送出すべ
き時刻、すなわち、{(オーディオデコーダから復号し
た音響データ(復号音響信号)を送出すべき時刻)−
(オーディオデコーダで圧縮音響データを復号するのに
必要とされる時間)}の時刻に合わせるとともに、バッ
ファメモリからバッファマネージャを介してオーディオ
デコーダに圧縮音響データが供給されるようにする。次
に、ステップ(3)では、バッファメモリからバッファ
マネージャを介してビデオデコーダに、ビデオデコーダ
の出力調整機能を利用して圧縮画像データを適宜送出す
る。
【0032】前記したステップ(1)における計算の結
果として、ビデオデコーダのほうに先にデータを送るべ
きことが判かり、ステップ(4)に進んだときに、ステ
ップ(4)ではビデオデコーダの時計を、圧縮画像情報
に付随してあるタイムスタンプPTSの時刻よりも充分
に前の時刻に設定し、バッファメモリからバッファマネ
ージャを介してビデオデコーダに圧縮画像データが供給
されるようにする。前記した充分に前の時刻とは、表示
されるべき時刻から前記圧縮画像データを復号するのに
要する時間を差し引いた時刻より前の時刻を指す。次
に、ステップ(5)ではビデオデコーダの時計が、
{(オーディオデコーダからの復号された音響データ
(復号音響信号)が出力されるべき時刻)−(オーディ
オデコーダで圧縮音響データを復号するのに必要とされ
る時間)}の時刻になったら、バッファメモリからバッ
ファマネージャを介してオーディオデコーダに圧縮音響
データが供給されるようにする。このようにすることに
より、途中再生時においても画像と、前記の画像に付随
する音響とは同期して再生できることになる。
【0033】
【発明の効果】以上、詳細に説明したところから明らか
なように、本発明の圧縮画像データと圧縮音響データと
の同期再生方法は、表示されるべき時刻情報をもデータ
の一部として含む圧縮画像データと、圧縮された音響デ
ータとが、時分割多重されているビットストリームにお
ける、最初に同時に出力されるべき画像が表示されるべ
き時刻と、前記の画像に付随する音響が出力されるべき
時刻との時間差を既知としたときに、そのビットストリ
ームを途中から再生するに当って、オーディオデコーダ
及びビデオデコーダで生じる遅延時間を考慮して、音響
データに関する仮想のタイムスタンプPTSの値と、圧
縮画像データに付加されているタイムスタンプPTSの
値とを計算して、前記ビットストリームから、再生画像
情報信号(復号画像信号)が表示されるべき時刻と再生
音響情報信号(復号音響信号)が出力されるべき時刻と
が検出される。次に、前記したオーディオデコーダとビ
デオデコーダとのどちらのデコーダの方へ先にデータを
送るべきかを決定する。即ちどちらを先に再生(画像の
表示または音響の出力)するかを決定する。これは前記
検出された2つの時刻の内の早い方の時刻に対応するデ
ータから出力するように決定する。前記の計算の結果と
して、オーディオデコーダのほうに先にデータを送るべ
き(オーディオを先に再生すべき)ときは、ビデオデコ
ーダの時計を、オーディオデコーダへ圧縮音響データを
送出すべき時刻、すなわち、{(オーディオデコーダか
ら復号音響データを送出すべき時刻)−(オーディオデ
コーダで圧縮音響データを復号するのに必要とされる時
間)}の時刻に合わせるとともに、バッファメモリから
バッファマネージャを介してオーディオデコーダに圧縮
音響データが供給されるようにし、次に、バッファメモ
リからバッファマネージャを介してビデオデコーダに、
ビデオデコーダの出力調整機能を利用して圧縮画像デー
タを適宜送出する。こうすることにより、再生画像情報
信号を出力すべき時刻以降は、画像と音声が同期再生さ
れる。また、前記計算の結果として、ビデオデコーダの
ほうに先にデータを送るべき(画像を先に表示すべき)
ときは、ビデオデコーダの時計を、圧縮画像情報に付随
してあるタイムスタンプPTSの時刻よりも充分に前の
時刻に設定し、バッファメモリからバッファマネージャ
を介してビデオデコーダに圧縮画像データが供給される
ようにし、次に、ビデオデコーダの時計が、{(オーデ
ィオデコーダからの復号された音響データ(復号音響信
号)が出力されるべき時刻)−(オーディオデコーダで
圧縮音響データを復号するのに必要とされる時間)}の
時刻になったら、バッファメモリからバッファマネージ
ャを介してオーディオデコーダに圧縮音響データが供給
されるようにする。これにより、再生音響情報信号(復
号音響信号)が出力されるべき時刻以降は、画像と音声
が同期再生される。即ち途中再生時においても画像と、
前記の画像に付随する音響とは同期して再生できること
になり、本発明の再生方法によれば既述した問題点は良
好に解決できる。
【図面の簡単な説明】
【図1】本発明の圧縮画像データと圧縮音響データとの
同期再生方法が適用される再生装置の概略構成を示すブ
ロック図である。
【図2】本発明の圧縮画像データと圧縮音響データとの
同期再生方法を説明するためのデータ配置図である。
【図3】本発明の圧縮画像データと圧縮音響データとを
途中再生する場合でも同期再生できるようにするための
手順の一例を示すフローチャートである。
【図4】順次のセクタにおける情報種別とタイムスタン
プPTSとSCRとの対応関係の一例を示す図である。
【図5】SCRとタイムスタンプPTSとの関係を示す
図である。
【図6】高能率符号化された画像データと、前記の画像
データと対応する画像に付随する音響信号を高能率符号
化された音響データとを時分割多重したビットストリー
ムが記録されたセクタ配列を示す図である。
【符号の説明】
1…再生信号源、2…インターフェース、3…バッファ
ーマネージャ、4…中央演算処理装置、5…バッファメ
モリ、6…MPEGビデオデコーダ、7…オーディオデ
コーダ、13…メモリ、
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI H04N 7/081 G11B 27/10 A (58)調査した分野(Int.Cl.7,DB名) G11B 27/10 G11B 20/12 102 H04N 5/907 H04N 5/91 H04N 7/08 H04N 7/081

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】圧縮音響データと、表示すべき時刻情報を
    もデータの一部として含む圧縮画像データとが時分割多
    重されているビットストリームをその途中の位置である
    途中再生開始位置から再生する際に、復号画像信号の表
    示と復号音響信号の出力とを同期させて行う圧縮画像デ
    ータと圧縮音響データとの同期再生方法であって、 前記ビットストリームにおける前記圧縮画像データを復
    号するビデオデコーダとして、時刻合わせが可能な時計
    を有し、入力した前記ビットストリームにおける前記圧
    縮画像データを復号して得られる復号画像信号を、指定
    された時刻に出力するビデオデコーダを用い、 前記ビデオデコーダの圧縮画像データ復号処理時間が既
    知であると共に、前記ビットストリームにおける前記圧
    縮音響データを復号するオーディオデコーダの圧縮音響
    データ復号処理時間が既知であり、 前記圧縮画像データを復号して得られる復号画像信号を
    前記途中再生開始位置において表示すべき時刻である途
    中復号画像表示時刻と、前記圧縮音響データを復号して
    得られる復号音響信号を前記途中再生開始位置において
    出力すべき時刻である途中復号音声出力時刻とを得て、 (イ) 前記途中復号画像表示時刻よりも前記途中復号
    音声出力時刻の方が早い場合には、 前記ビデオデコーダの前記時計を前記オーディオデコー
    ダへ前記圧縮音響データを送出すべき時刻(前記途中復
    号音声出力時刻よりも前記圧縮音響データ復号処理時間
    分前の時刻)に合わせると同時に、前記オーディオデコ
    ーダへ前記圧縮音響データを送出して復号を開始させ、
    その後、前記ビデオデコーダに対して前記途中復号画像
    表示時刻を出力指定時刻として指定して、前記圧縮画像
    データを前記ビデオデコーダに送出して復号を開始させ
    ることにより、前記途中復号画像表示時刻になった時点
    から前記復号画像信号の表示と前記復号音響信号の出力
    とを同期させて行い、 (ロ) 前記途中復号音声出力時刻よりも前記途中復号
    画像表示時刻の方が早い場合には、 前記ビデオデコーダの前記時計を、前記途中復号画像表
    示時刻よりも前記圧縮画像データ復号処理時間分以上前
    の時刻に合わせると共に、前記途中復号画像表示時刻を
    出力指定時刻として指定して、前記ビデオデコーダに前
    記圧縮画像データを送出して復号を開始させ、前記ビデ
    オデコーダの時計が前記途中復号音声出力時刻よりも前
    記圧縮音響データ復号処理時間分前の時刻になった時点
    で、前記オーディオデコーダに前記圧縮音響データを送
    出して復号を開始させることにより、前記途中復号音声
    出力時刻になった時点から前記復号画像信号の表示と前
    記復号音響信号の出力とを同期させて行う、 ことを特徴とする圧縮画像データと圧縮音響データとの
    同期再生方法。
  2. 【請求項2】再生すべき時刻情報のデータを含んでいな
    い一定の圧縮比で圧縮された圧縮音響データと、表示す
    べき時刻情報をもデータの一部として含む圧縮画像デー
    タとが時分割多重されているビットストリームをその途
    中の位置である途中再生開始位置から再生する際に、復
    号画像信号の表示と復号音響信号の出力とを同期させて
    行う圧縮画像データと圧縮音響データとの同期再生方法
    であって、 前記ビットストリームにおける前記圧縮画像データを復
    号するビデオデコーダとして、時刻合わせが可能な時計
    を有し、入力した前記ビットストリームにおける前記圧
    縮画像データを復号して得られる復号画像信号を、指定
    された時刻に出力するビデオデコーダを用い、 前記ビデオデコーダの圧縮画像データ復号処理時間が既
    知であると共に、前記ビットストリームにおける前記圧
    縮音響データを復号するオーディオデコーダの圧縮音響
    データ復号処理時間が既知であるものとし、 前記圧縮音響データを復号して得られる復号音響信号を
    前記途中再生開始位置において出力すべき時刻である途
    中復号音声出力時刻を、前記圧縮音響データにおける前
    記途中再生開始位置に関する情報と前記圧縮音響データ
    の圧縮比とに基づき求め、 前記圧縮画像データを復号して得られる復号画像信号を
    前記途中再生開始位置において表示すべき時刻である途
    中復号画像表示時刻を、前記前記圧縮画像データに含ま
    れている前記時刻情報に基づき求め、 (イ) 前記途中復号画像表示時刻よりも前記途中復号
    音声出力時刻の方が早い場合には、 前記ビデオデコーダの前記時計を前記オーディオデコー
    ダへ前記圧縮音響データを送出すべき時刻(前記途中復
    号音声出力時刻よりも前記圧縮音響データ復号処理時間
    分前の時刻)に合わせると同時に、前記オーディオデコ
    ーダへ前記圧縮音響データを送出して復号を開始させ、
    その後、前記ビデオデコーダに対して前記途中復号画像
    表示時刻を出力指定時刻として指定して、前記圧縮画像
    データを前記ビデオデコーダに送出して復号を開始させ
    ることにより、前記途中復号画像表示時刻になった時点
    から前記復号画像信号の表示と前記復号音響信号の出力
    とを同期させて行い、 (ロ) 前記途中復号音声出力時刻よりも前記途中復号
    画像表示時刻の方が早い場合には、 前記ビデオデコーダの前記時計を、前記途中復号画像表
    示時刻よりも前記圧縮画像データ復号処理時間分以上前
    の時刻に合わせると共に、前記途中復号画像表示時刻を
    出力指定時刻として指定して、前記ビデオデコーダに前
    記圧縮画像データを送出して復号を開始させ、前記ビデ
    オデコーダの時計が前記途中復号音声出力時刻よりも前
    記圧縮音響データ復号処理時間分前の時刻になった時点
    で、前記オーディオデコーダに前記圧縮音響データを送
    出して復号を開始させることにより、前記途中復号音声
    出力時刻になった時点から前記復号画像信号の表示と前
    記復号音響信号の出力とを同期させて行う、 ことを特徴とする圧縮画像データと圧縮音響データとの
    同期再生方法。
JP05088043A 1993-03-23 1993-03-23 圧縮画像データと圧縮音響データとの同期再生方法 Expired - Fee Related JP3134588B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05088043A JP3134588B2 (ja) 1993-03-23 1993-03-23 圧縮画像データと圧縮音響データとの同期再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05088043A JP3134588B2 (ja) 1993-03-23 1993-03-23 圧縮画像データと圧縮音響データとの同期再生方法

Publications (2)

Publication Number Publication Date
JPH06275053A JPH06275053A (ja) 1994-09-30
JP3134588B2 true JP3134588B2 (ja) 2001-02-13

Family

ID=13931806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05088043A Expired - Fee Related JP3134588B2 (ja) 1993-03-23 1993-03-23 圧縮画像データと圧縮音響データとの同期再生方法

Country Status (1)

Country Link
JP (1) JP3134588B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW395142B (en) * 1997-05-15 2000-06-21 Matsushita Electric Ind Co Ltd Compressed code decoding device and audio decoding device
JP4683908B2 (ja) * 2004-12-07 2011-05-18 京セラ株式会社 映像音声出力装置
JP5059301B2 (ja) * 2005-06-02 2012-10-24 ルネサスエレクトロニクス株式会社 同期再生装置および同期再生方法
GB2539875B (en) * 2015-06-22 2017-09-20 Time Machine Capital Ltd Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content

Also Published As

Publication number Publication date
JPH06275053A (ja) 1994-09-30

Similar Documents

Publication Publication Date Title
US7400685B2 (en) Decoding method and apparatus and recording method and apparatus for moving picture data
JP3491365B2 (ja) 符号化データ復号方法および復号装置
JP3197855B2 (ja) Mpegデータの再生装置
JPH08140042A (ja) 画像データの再生装置及び記録再生装置
JPH10285548A (ja) 符号化装置及び方法、復号装置及び方法、編集方法
JP3019659B2 (ja) 動画像の飛越し再生方法及び再生装置
JP3134588B2 (ja) 圧縮画像データと圧縮音響データとの同期再生方法
JP2773594B2 (ja) 高能率符号化された動画像情報から早送り,早戻し画像を再生する再生方法
JPH07170490A (ja) 画像の表示時刻情報をもデータとして含む圧縮画像データと、それに付随する圧縮音響データとの同期再生方法
JP3918332B2 (ja) 多重化装置、多重化方法及び記録媒体
JP3279186B2 (ja) 動画像データの再生制御方式
JP3852114B2 (ja) 圧縮画像データ伝送方法及び装置
JP2785640B2 (ja) Mpeg方式により高能率符号化された動画像情報からの画像再生方法
JP3075034B2 (ja) 画像・音声復号化装置
JP3807776B2 (ja) 圧縮記録画像再生装置
JP3146812B2 (ja) 信号処理装置
JP2001238208A (ja) 動画像復号化方法および動画像復号化装置
JP3185594B2 (ja) ディジタル圧縮データ再生装置
JP2001211420A (ja) ディスク記録媒体における圧縮符号化ストリームの編集方法および編集装置
JP3951430B2 (ja) 映像信号符号化システム
JPH09167445A (ja) デジタルディスク再生方法及びその再生装置
JP3363147B1 (ja) 記録方法
JP3127884B2 (ja) 記録媒体
JP3363146B2 (ja) 記録再生装置
JPH08331514A (ja) 動画像の早送り再生装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071201

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081201

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees