JPH07170490A

JPH07170490A - 画像の表示時刻情報をもデータとして含む圧縮画像データと、それに付随する圧縮音響データとの同期再生方法

Info

Publication number: JPH07170490A
Application number: JP6270168A
Authority: JP
Inventors: Akinori Sugata; 章典菅田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1993-10-14
Filing date: 1994-10-11
Publication date: 1995-07-04

Abstract

(57)【要約】【目的】 MPEG1方式で高能率圧縮された動画像情報の
データと、それに付随する圧縮音響データとを良好な同
期状態で再生する。【構成】 MPEG1方式で高能率圧縮された動画像情報の
データと、それに付随する圧縮音響データとがインター
リーブされた状態で途中再生されたデータ列から最初の
Ｉフレームを検出し、画像デコーダにSCRを設定する。
前記の時刻から実際に画像が表示される時刻までの時間
を、前記の時刻から画像が表示可能になる時刻までの時
間と、SCRが画像デコーダの参照用クロックに設定され
た時点の直前の垂直同期信号までの時間と、画像が表示
可能になる時刻の直後の垂直同期信号までの時間と、垂
直走査期間などを用いて求める。途中再生を開始する位
置から見て最初の圧縮音響データの仮想PTSを求めて、S
CRがデコーダに設定されてから実際に音響が出力される
べき時刻までの時間を求め、圧縮音響データをMPEGオー
ディオデコーダに転送するタイミングを調整して、音響
を出力すべき時刻に合わせるように音響の出力タイミン
グの制御を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は表示されるべき時刻情報
をもデータの一部として含む圧縮画像データと、それに
付随する圧縮音響データとが時系列的にインターリーブ
されているデータ列を途中から再生した場合でも、画像
とその画像に付随する音響とが良好な同期状態で容易に
再生できるようにする同期再生方法に関する。

【０００２】

【従来の技術】画像信号を高能率圧縮して伝送，記録再
生するための研究が盛んに行なわれるようになり、例え
ば小型なディスクに高能率符号化された画像データと、
前記の画像データと対応する画像に付随する音響信号を
高能率符号化された音響データとを時系列的にインター
リーブさせたデータ列を、例えば図５に例示されている
ような状態のデータとして記録，伝送させることが行な
われるようになった。図５において、Ｖの符号が付され
ている区画の部分は高能率圧縮された画像データのブロ
ック（セクタ）、Ａの符号が付されている区画の部分は
高能率圧縮された音響データのブロック(セクタ）であ
る。図５中のＶ，Ａの各ブロック(セクタ）に示されて
いる数字の内で、図５中の高能率符号化された画像デー
タのブロックＶに付してある数字は、高能率符号化され
た画像データを得るのに用いられた原画像（または高能
率符号化された画像データを復原して得た再生画像）の
フレーム番号(図２中に示されているフレーム番号）で
あり、また、図５中の高能率圧縮された音響データの各
ブロック(セクタ）Ａに付してある数字は、図２中に示
されているセクタ番号を表わしている。ところで、画像
信号の高能率符号化によるデータ量の圧縮に関して、動
画の画像信号を高能率符号化して画像データを圧縮する
際の国際標準規格を作ることを目指して、ＭＰＥＧ(Ｍ
ｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ)
では、高能率圧縮画像データに関する各種のデータフォ
ーマットを順次に提案しており、ＭＰＥＧから提案され
たデータフォーマットに従って高能率圧縮された画像デ
ータ（ＭＰＥＧ方式により高能率圧縮された圧縮画像信
号）を伝送，記録再生するための実用化装置についての
研究開発も行なわれている。

【０００３】さて、ＣＤ−ＲＯＭなどのデジタルデータ
を記録する記録媒体を対象とした動画像情報の符号化方
式(ＭＰＥＧ１方式）では、予測符号化の手法を採用し
ており、予測方法としてフレーム内予測法を適用して画
像データの圧縮が行なわれている画像{Ｉピクチャ（Ｉ
ｎｔｒａＰｉｃｔｕｒｅｓ）｝フレーム（以下、Ｉフ
レームと称することもある）及び、過去のフレームの画
像データに基づいてフレーム間予測を行なうようにした
フレーム間予測法を適用して画像データの圧縮が行なわ
れている画像{Ｐピクチャ(ＰｒｅｄｉｃｔｅｄＰｉｃ
ｔｕｒｅｓ）}フレーム（以下、Ｐフレームと称するこ
ともある）、ならびに過去のフレームの画像データと未
来のフレームの画像データとの双方の画像データに基づ
いてフレーム間予測を行なうようにしたフレーム間予測
法を適用して画像データの圧縮が行なわれている画像
｛Ｂピクチャ（Ｂｉ-ｄｉｒｅｃｔｉｏｎａｌＰｒｅｄ
ｉｃｔｉｏｎＰｉｃｔｕｒｅｓ)｝フレーム(以下、Ｂ
フレームと称することもある）との３種類の時間軸予測
画像モードによるそれぞれのフレームが時間軸上に所定
の配列態様で配列された状態のデジタルデータに、所定
のヘッダを付加して画像符号化データとしている。

【０００４】そして、ＭＰＥＧ１方式においては、前記
したＩフレームにおける画像データの圧縮率とＰフレー
ムにおける画像データの圧縮率とＢフレームにおける画
像データの圧縮率との関係が、(Ｉフレームにおける画
像データの圧縮率)＜（Ｐフレームにおける画像データ
の圧縮率）＜（Ｂフレームにおける画像データの圧縮
率）のような大きさの関係になっており、また再生に当
ってはエントリ・ポイントのシーケンスヘッダから行な
われること、過去の画像情報と未来のフレームの画像情
報とを用いて予測が行なわれているＢフレームの画像情
報の再生のためには、そのＢフレームの画像情報の予測
に使用された未来のＰフレームの画像情報がＢフレーム
の前に記録されている必要がある。

【０００５】図６はＭＰＥＧ１方式によって高能率圧縮
された動画像情報を、ＣＤ（コンパクトディスク）規格
に従った光ディスクに記録させる場合の高能率圧縮され
た動画像情報に関するデータの配置を説明するための図
であって、図６の(ｂ)にはＣＤ（コンパクトディスク）
規格に従った光ディスクに、高能率圧縮された動画像情
報に関するデータが記録されている順次のセクタ部分に
おける記録データの配置状態を示している。まず図６の
（ａ）には、前記した図６の（ｂ）に示されている各セ
クタにおけるＭＰＥＧシステムヘッダの部分に続いて、
順次に記録されるべきデータの内容を、１つのＧＯＰ
(Ｇroup of Ｐictures）について例示してある。前記の
ＧＯＰは、それの先頭にシーケンスヘッダが置かれ、前
記のシーケンスヘッダに続いてＧＯＰヘッダが置かれ、
前記のＧＯＰヘッダに続いて、順次の画像フレームが配
置された構成にされている。

【０００６】図６の(ｃ）〜(ｆ）は、図６の(ｂ)に示さ
れているＭＰＥＧシステムヘッダの具体的な内容を示し
ているものである。前記の各図中のＰＡＣＫヘッダはＣ
Ｄの順次のセクタ毎に記録されているＳＣＲ（ｓｙｓｔ
ｅｍｃｌｏｃｋｒｅｆｅｒｎｃｅ）の値｛コンパクト
ディスクの各セクタ毎に一定の数値１２００（ＭＰＥＧ
１方式における時間の計測単位として用いられている１
／９０ＫＨｚの周期と、ＣＤの１秒当りセクタ数の７５
とにより、９０ＫＨｚ/７５Ｈｚ＝１２００)ずつ増加す
る数値}、その他の情報を含んでいるものとして構成さ
れており、また、図中におけるＰＴＳとＤＴＳとは、タ
イムスタンプであって、前記の２種類のタイムスタンプ
ＰＴＳ，ＤＴＳの内で一方のタイムスタンプＰＴＳ(ｐr
esentation ｔime ｓtamp)は、画像を実際に表示する時
刻を表わす情報であり、また他方のタイムスタンプＤＴ
Ｓ（ｄecoding ｔimeｓtamp)は、ＭＰＥＧビデオデコー
ダで圧縮データの復号を開始する時刻を表わす時刻情報
である。

【０００７】ところで、ＭＰＥＧシステムヘッダの具体
的な内容として、図６の（ｃ）〜（ｆ）に示されている
ような多くの種類があるのは、ＭＰＥＧシステムヘッダ
内に含ませてあるタイムスタンプの有無及び存在してい
るタイムスタンプの種類等の区別により、そのＭＰＥＧ
システムヘッダが存在しているセクタ内に記録されてい
る画像情報の内容や記録の態様などを示すことができる
ようにするためである。ＭＰＥＧシステムヘッダの具体
的な内容が、図６の(ｃ），(ｄ）のようにＭＰＥＧシス
テムヘッダ中に、２種類のタイムスタンプＰＴＳ，ＤＴ
Ｓの双方のものが存在しているものであった場合は、そ
のＭＰＥＧシステムヘッダが置かれたセクタ内で、符号
化されたＩフレームまたはＰフレームの始まっているこ
とを意味しており、特に図６の(ｃ）に示されているよ
うな内容のＭＰＥＧシステムヘッダは、図６の(ａ）に
例示されているようなＧＯＰの複数個のものが連なって
いる各ビデオシーケンスにおける最初のセクタに置かれ
ているものであることを表わしている。

【０００８】また、図６の（ｅ）のようにＭＰＥＧシス
テムヘッダ中に、タイムスタンプＰＴＳだけが存在して
いる場合は、そのＭＰＥＧシステムヘッダが置かれたセ
クタ内で、符号化されたＢフレームが始まっていること
を意味しており、さらに図６の（ｆ）のようにＭＰＥＧ
システムヘッダ中に、タイムスタンプＰＴＳ，ＤＴＳの
どちらのものも存在していない場合は、そのＭＰＥＧシ
ステムヘッダが置かれたセクタ内には、Ｉフレーム、Ｐ
フレーム、Ｂフレームの何れの画像フレームの始まりの
境界も含んでいないことを意味している。前記のシーケ
ンスヘッダは、シーケンスヘッダコードの他に、画像の
水平サイズや垂直サイズ、アスぺクト比の情報、その他
の各種情報によって構成されており、ＧＯＰヘッダはＧ
ＯＰ（Ｇroup of Ｐictures）の先頭部分に先行して配
置されるグループスタートコード、タイムコード、クロ
ーズドＧＯＰか否かを示す情報、ブロークン・リンク(そ
れが１とされていた場合には、そのＧＯＰヘッダが付さ
れているＧＯＰを構成しているＩフレームとＰフレーム
との間に存在しているＢフレームについて、ＭＰＥＧビ
デオデコーダに復号動作を行なわせないようにするため
の役目を持っている)、その他の各種情報等によって構
成されている。そして前記のＧＯＰはＩフレームの画像
データ、Ｐフレームの画像データ、Ｂフレームの画像デ
ータ群によって構成されるものであるが、前記したＧＯ
Ｐヘッダの直後には必らずＩフレームの画像データが位
置するようにされている。

【０００９】

【発明が解決しようとする課題】さて、例えばＣＤ（コ
ンパクトディスク）規格に従った光ディスクに対して、
動画像情報をＭＰＥＧ１方式に従って高能率符号化して
得た動画像情報の可変圧縮率データ、すなわち、フレー
ム内予測法を適用して画像データの圧縮が行なわれてい
るＩフレームの画像データと、フレーム間予測法を適用
して画像データの圧縮が行なわれているＰフレームの画
像データ及びＢフレームの画像データとが混在している
画像データと、前記の画像データと対応する動画像に付
随する音響信号を高能率符号化した音響データとを、時
系列的にインターリーブさせたデータ列が、例えば図５
に例示されているように順次のセクタに記録してある光
ディスクについて途中再生が行なわれた場合に、光ディ
スクから再生される画像データが、フレーム間予測法を
適用して画像データの圧縮が行なわれているＰフレーム
の画像データあるいはＢフレームの画像データだけであ
っては、圧縮画像データを復号することができない。

【００１０】それで、前記した光ディスクについて途中
再生が行なわれる場合には、フレーム内予測法を適用し
て画像データの圧縮が行なわれているＩフレームの画像
データから再生が行なわれるようにすることが必要とさ
れるが、光ディスクにおける順次のセクタとＭＰＥＧ１
方式によって高能率圧縮された動画像情報の圧縮データ
との関係は、図６の（ａ）の記載内容からも判かるよう
に、セクタの途中からＩフレームが開始される状態が生
じることも許されているから、光ディスクの途中再生の
場合に必要とされるＩフレームの検出に時間がかかるこ
とがある。前記の問題は、例えば図７に例示するように
予めＩフレームの動画像情報に付加されるシーケンスヘ
ッダの先頭を、セクタにおける先頭に位置させておくよ
うにすると、Ｉフレームの検出時間を短くすることがで
きる。図７はフレーム内予測法を適用して画像データの
圧縮が行なわれているＩフレームと、フレーム間予測を
適用して画像データの圧縮が行なわれているＰフレー
ム，Ｂフレーム等の各種の画像フレームが混在している
データ列から、Ｉフレームを容易に検出できるようにす
るために、予めＭＰＥＧ１方式により高能率符号化され
た動画像情報の内で、Ｉフレームを順次のＧＯＰについ
て１個だけとしてある状態を示しているデータの配置図
である。

【００１１】ところで、例えばＣＤ（コンパクトディス
ク）規格に従った光ディスクに対して、動画像情報をＭ
ＰＥＧ１方式によって高能率符号化して得た動画像情報
の可変圧縮率データ、すなわち表示されるべき時刻情報
（タイムスタンプＰＴＳ）をもデータの一部として含む
圧縮画像データと、前記した動画像情報に付随している
音響情報を例えばＡＤＰＣＭにより一定の圧縮率で高能
率符号化して得た音響情報の圧縮データ、すなわち始ま
りが画像の始まりと一致しているが、出力される時刻情
報をデータとして持たない一定レートで圧縮された音響
データとを、例えば図５に例示してあるように時系列的
にインターリーブしてあるデータ列を順次のセクタに記
録してある光ディスクは、通常、先頭から再生すること
を想定して作られていて、先頭から再生された場合には
図２に示されているように、画像と前記の画像に付随し
ている音響とは時間ずれを生じることなく再生される。
図２における０は、図５中の１，２，３，５番目の各セ
クタに記録されている画像データ０と対応している先頭
の画像フレーム０を示しており、前記した画像フレーム
０の画像に付随している音響は、図５中の４番目のセク
タに記録されている音響データ７である。

【００１２】光ディスクが先頭から再生された場合に
は、図２に示されているように先頭の画像フレーム０の
画像と、前記の画像フレーム０の画像に付随している音
響（図５中の４番目のセクタに記録されている音響デー
タ７）とが同時に再生を開始し、図２に示されているよ
うに順次の画像と順次の音響とが連続して再生されて行
く。ところが、光ディスクが途中再生された場合、例え
ば、図２中に示されている画像フレーム２（図５中の９
〜１１番目のセクタに画像データが記録されている）か
ら再生されたとした場合を考えると、この状態において
最初に再生が行なわれる音響データは、図５中の１２番
目のセクタに記録されているものであるから、この音響
データによる音響と画像とを同時に出力させた場合に
は、音響の再生開始の時刻が図２中に示されているよう
に、画像に対して１フレーム期間以上も早い状態になっ
てしまう。

【００１３】また、表示されるべき時刻情報（タイムス
タンプＰＴＳ）をもデータの一部として含む圧縮画像デ
ータと、前記した動画像情報に付随している音響情報を
例えばＡＤＰＣＭにより一定の圧縮率で高能率符号化し
て得た音響情報の圧縮データとは、一定の比率でインタ
ーリブされているが、動画像情報をＭＰＥＧ１方式によ
って高能率符号化して得た動画像情報の可変圧縮率デー
タのように、Ｉフレームにおける画像データの圧縮率と
Ｐフレームにおける画像データの圧縮率とＢフレームに
おける画像データの圧縮率との関係が、(Ｉフレームに
おける画像データの圧縮率)＜（Ｐフレームにおける画
像データの圧縮率）＜（Ｂフレームにおける画像データ
の圧縮率）のような大きさの関係があり、また画像内容
に従って各画像と対応する画像データのデータ量が異な
っているので、画像フレームと、それに対応する音響の
セクタ上の位置関係は変化している。

【００１４】それで画像と音響とは、それらを同期させ
た上で、なるべくずれが小さい状態で出力させることが
望まれるのに、途中再生開始位置からみて、最初の圧縮
音響データが最適なものであるとは限らない。例えば図
２における画像フレーム３から途中再生を行なう時に
は、それに時間的に最も近い図２中のセクタ９の音響デ
ータを出力したいのであるが、図２から明らかなように
実際に出力できるのは図２中のセクタ１０の音響データ
であり、前記のずれを考慮しないで画像フレーム３の再
生と、セクタ１０の音響データとの再生を同時に開始す
ると、図２中に示されている時間差だけ音響が画像に比
べて早く再生されることになる。

【００１５】また途中再生ではなく、光ディスクの先頭
から再生を行なう場合でも、タイムスタンプが付加され
た圧縮画像データを伸張して表示する際に、図３の時刻
ｔａで表示可能になったとしても、画像は垂直同期信号
Ｖｓに同期して表示されるものであるから、実際には時
刻ｔbまでは表示できないことになる。すなわち、垂直
同期信号Ｖｓのタイミングによって画像表示のタイミン
グが変化する。ところで、画像の表示が前記の理由によ
って時刻ｔｂから行なわれるようにされても、音響の再
生は、画像が表示可能になる時刻ｔａから画像が表示さ
れるものとして時刻ｔａから再生されるような同期再生
が行なわれるので、厳密な意味で画像と音響との同期再
生とはいい難い、という問題がある。

【００１６】前記した途中再生における画像と音響との
ずれの問題を解決するために、本出願人会社では、先
に、再生されたデータ列中に最初に現われたフレーム内
予測法を適用して画像データの圧縮が行なわれている画
像フレームの画像が表示されるべき時刻情報と、画像の
表示に用いられる垂直同期信号の時間位置とに基づい
て、前記の画像フレームの画像情報が出力される時刻を
決定する手段と、前記の画像フレームの画像情報が出力
される時刻に基づいて、音響情報が出力されるべき時刻
を決定する手段と、音響情報が出力されるべき時刻に音
響情報が出力されるように制御する手段とを備えてなる
画像の表示時刻情報をもデータとして含む圧縮画像デー
タと、時刻情報のデータを含んでいない一定の圧縮比で
圧縮された音響情報データとの同期再生方法を提案して
いる。

【００１７】すなわち、動画像情報をＭＰＥＧ１方式に
よって高能率符号化して得た動画像情報の可変圧縮率デ
ータのように、Ｉフレームにおける画像データの圧縮率
とＰフレームにおける画像データの圧縮率とＢフレーム
における画像データの圧縮率との関係が、(Ｉフレーム
における画像データの圧縮率)＜（Ｐフレームにおける
画像データの圧縮率）＜（Ｂフレームにおける画像デー
タの圧縮率）のような大きさの関係があり、また画像内
容に従って各画像と対応する画像データのデータ量が異
なっている場合には、前記した画像データに付加される
ＭＰＥＧヘッダ内に置かれるタイムスタンプＰＴＳの値
が画像データの圧縮率と対応して、時間軸上で非直線的
な状態で変化しているものになるから、ＭＰＥＧ１方式
によって高能率圧縮された動画像情報を、ＣＤ（コンパ
クトディスク）規格に従った光ディスクに記録させた場
合に、前記した高能率圧縮された動画像情報のデータに
付加されている時刻情報のデータ（例えば、タイムスタ
ンプとして既述した表示されるべき時刻情報のデータＰ
ＴＳ）によって示される数値は、動画情報のデータによ
る既述したＰフレーム、Ｂフレームの時間軸上での配置
が逆転することもあるために、ＰＴＳの値はセクタ上の
位置に比例して単調には増加しない。

【００１８】一方、画像情報に付随する音響信号を常に
一定の圧縮率で高能率符号化して得た音響データの時間
位置は、時間軸上で直線的に配置されているから、仮
に、音響データにタイムスタンプＰＴＳを付加したとす
れば、そのタイムスタンプＰＴＳの値は、直線的に増加
している状態のものになる。今、ＣＤに記録される画像
情報のデータと音響情報のデータとが、例えば図５に例
示されているように、符号Ａを付して示してある音響情
報のデータが記録されているセクタＡと、符号Ｖを付し
て示してある画像情報のデータが記録されているセクタ
Ｖとが、Ｖ→Ｖ→Ｖ→Ａ→Ｖ→Ｖ→Ｖ→Ａ→のように、
符号Ａを付して示してある音響情報のデータが記録され
ている次々のセクタＡの間に、符号Ｖを付して示してあ
る画像情報のデータが記録されている３個のセクタＶが
介在している状態で時間軸上に配列されていたとした場
合を考えると、前記した各セクタＡには一定の圧縮率で
圧縮された状態の音響データが記録されているから、順
次の各セクタＡに記録されている音響データと対応する
音響情報の時間軸上の位置は、時間軸上で直線的に増加
している状態のＳＣＲの値に対応しているものになって
おり、時間軸上に次々に現われるセクタＡにおけるＳＣ
Ｒの値は（４８００）ずつ増加している｛すなわち、既
述のようにＣＤの順次のセクタ毎に記録されているＳＣ
Ｒの値はコンパクトディスクの各セクタ毎に一定の数値
１２００（ＭＰＥＧ１方式における時間の計測単位とし
て用いられている１／９０ＫＨｚの周期と、ＣＤの１秒
当りセクタ数の７５とにより、９０ＫＨｚ/７５Ｈｚ＝
１２００)ずつ増加するから、前述の例のように音響情
報のデータが記録されている次々のセクタＡの間に、符
号Ｖを付して示してある画像情報のデータが記録されて
いる３個のセクタＶが介在している状態の場合における
時間軸上に次々に現われるセクタＡにおけるＳＣＲの値
は、４×１２００＝４８００ずつ増加している｝。

【００１９】前記のように、表示されるべき時刻情報
（タイムスタンプＰＴＳ）をもデータの一部として含む
圧縮画像データと、その始まりが画像の始まりと一致し
ているが、出力される時刻情報をデータとして持たない
一定レートで圧縮された音響データとを、時系列的にイ
ンターリーブさせてあるデータ列が記録されている場合
に、例えば図５中に符号Ａを付して示してある音響情報
のデータが記録されているセクタＡが、特定なセクタ数
毎（図５では４セクタ毎）に配置されていれば、順次の
セクタＡに記録されている音響情報のデータに時刻情報
のデータ（タイムスタンプＰＴＳ）が付加されていなか
ったとしても、音響情報のデータが一定の圧縮率で圧縮
されているものであれば、その音響データが記録されて
いるセクタの位置が、前記した始まりのセクタから何番
目のセクタであるのか、始まりのセクタのＳＣＲの数値
が幾つであるのかの情報が判かっていれば、その音響情
報のデータに対して仮想のタイムスタンプＰＴＳを与え
ることができるので、前記した音響情報のデータに与え
た仮想のタイムスタンプと、表示されるべき時刻情報
（タイムスタンプＰＴＳ）をもデータの一部として含む
圧縮画像データにおけるタイムスタンプとに基づいて、
途中再生時における画像と音響とのずれが少なくなるよ
うにすることができるようにした画像データと音響デー
タとの同期再生方法を本出願人会社で提案している。し
かし、前記のような既提案の画像の表示時刻情報をもデ
ータとして含む圧縮画像データと、時刻情報のデータを
含んでいない一定の圧縮比で圧縮された音響情報データ
との同期再生方法によっても、垂直同期信号のタイミン
グによって画像表示のタイミングが変化するという問題
点が解決されないために、厳密な意味で画像と音響との
同期再生が達成できないということが問題になり、それ
の解決策が求められた。

【００２０】ところで前記した問題点、すなわち、画像
の表示が垂直同期信号に従って行なわれるものであるた
めに、従来は厳密な意味で画像と音響との同期再生が行
なわれていなかったという問題点は、表示されるべき時
刻情報をもデータの一部として含む圧縮画像データと、
それに付随する圧縮音響データとを、時系列的にインタ
ーリーブさせているデータ列が、既述のように、表示さ
れるべき出力時刻情報（タイムスタンプＰＴＳ）をもデ
ータの一部として含む、例えば、ＭＰＥＧ１方式によっ
て高能率圧縮して得た動画像情報の可変圧縮率データ
と、時刻情報のデータを含んでいない一定の圧縮比で圧
縮された圧縮音響データとを、時系列的にインターリー
ブさせているデータ列の場合だけに限らず、前記の動画
像情報に付随している音響情報として、出力時刻情報
（タイムスタンプＰＴＳ）をもデータの一部として含
む、例えば、ＭＰＥＧ１方式によって高能率圧縮して得
た圧縮音響データを用いた場合にも同様に存在している
のである。

【００２１】前記のように、ＭＰＥＧ１方式によって可
変圧縮率で高能率符号化された圧縮画像データと、圧縮
音響データとには、それぞれ出力時刻情報（タイムスタ
ンプＰＴＳ）が付加されているから、前記した圧縮画像
データと、圧縮音響データとに、それぞれ付加されてい
る出力時刻情報（タイムスタンプＰＴＳ）を用いて、復
号された画像の出力の時刻と音響の出力の時刻とを合わ
せることにより、圧縮画像データと、圧縮音響データと
の同期再生が容易であるようにも考えられる。しかしな
がら、出力時刻情報（タイムスタンプＰＴＳ）が付加さ
れている圧縮画像データを復号して、例えば図３中にお
ける時刻ｔａに画像を表示しようとしたところで、画像
は垂直同期信号Ｖｓに同期して表示されるから、画像の
表示は時刻ｔｂまでは行なわれないことになるから、出
力時刻情報（タイムスタンプＰＴＳ）によって画像の表
示の開始が可能とされている時刻ｔａには画像の表示が
行なわれず、実際に画像の表示が開始されるのは、前記
した時刻ｔａの直後の垂直同期信号Ｖｓの時刻ｔｂであ
る、というように画像データ中の出力時刻情報（タイム
スタンプＰＴＳ）によって画像の表示の開始が可能とさ
れる時刻ｔａと、実際に画像の表示が開始される時刻と
の間には、ずれが生じる。

【００２２】一方、ＭＰＥＧ１方式によって高能率符号
化された圧縮音響データは、垂直同期信号とは無関係
に、前記した圧縮音響データに付加されている出力時刻
情報（タイムスタンプＰＴＳ）に示されている時刻、例
えば図３中の時刻ｔａに復号された音響の再生が開始さ
れることになる。したがってＭＰＥＧ１方式によって可
変圧縮率で高能率符号化された圧縮画像データと、圧縮
音響データとには、それぞれ出力時刻情報（タイムスタ
ンプＰＴＳ）が付加されているから、前記した圧縮画像
データと、圧縮音響データとに、それぞれ付加されてい
る出力時刻情報（タイムスタンプＰＴＳ）を用いて、復
号された画像の出力の時刻と音響の出力の時刻とを合わ
せたところで、出力時刻情報（タイムスタンプＰＴＳ）
によって画像の表示の開始が可能とされている時刻ｔａ
に画像の表示が開始されず、実際に画像の表示が開始さ
れるのは前記した時刻ｔａの直後の垂直同期信号Ｖｓの
時刻ｔｂであるために、画像データ中の出力時刻情報
（タイムスタンプＰＴＳ）によって画像の表示の開始が
可能とされる時刻ｔａと、実際に画像の表示が開始され
る時刻との間にはずれが生じてしまうから、画像の再生
と音響の再生との間における厳密な同期はとれないので
ある。

【００２３】

【課題を解決するための手段】本発明は、表示されるべ
き時刻情報をもデータの一部として含む圧縮画像データ
と、それに付随する圧縮音響データとが、時系列的にイ
ンターリーブされているデータ列から、前記した圧縮画
像データと圧縮音響データとを同期再生する方法であっ
て、再生されたデータ列中に最初に現われたフレーム内
予測法を適用して画像データの圧縮が行なわれている画
像フレームの画像が表示されるべき時刻情報と、画像の
表示に用いられる垂直同期信号の時間位置とに基づい
て、前記の画像フレームの画像情報が出力される時刻を
決定する手段と、前記の画像フレームの画像情報が出力
される時刻に基づいて、音響情報が出力されるべき時刻
を決定する手段と、音響情報が出力されるべき時刻に音
響情報が出力されるように制御する手段とを備えてなる
画像の表示時刻情報をもデータとして含む圧縮画像デー
タと、それに付随する圧縮音響情報データとの同期再生
方法を提供するものである。

【００２４】

【作用】ＭＰＥＧ１方式により高能率圧縮された動画像
情報のデータと、一定レートで圧縮された音響データと
が、時系列的にインターリーブされた状態で途中再生さ
れたデータ列から最初のＩフレームを検出する。ＳＣＲ
がビデオデコーダの参照用クロックに設定された時刻ｔ
1(図４参照）から実際に画像が表示される時刻ｔ3(図４
参照）までの時間Ｄｖ(＝Ｄｖｐ＋β)を、ＳＣＲがビデ
オデコーダの参照用クロックに設定された時刻ｔ1(図４
参照）から画像が表示可能になる時刻ｔ2(図４参照）ま
での時間Ｄｖｐと、ＳＣＲがビデオデコーダの参照用ク
ロックに設定された時点ｔ1の直前の垂直同期信号Ｖｓ1
(図４参照）までの時間αと、画像が表示可能になる時
刻ｔ2(図４参照）からその直後の垂直同期信号Ｖｓi(図
４参照）までの時間β(図４参照）と、垂直走査期間Ｖ
などを用いて求める。なお、垂直走査周期の周期性から
β＝Ｖ−［（Ｄｖｐ＋α）／Ｖの剰余］Ｄｖｐ＝Ｐｎ−Ｓｎただし、Ｐｎは途中再生における
最初の画像フレームのＰＴＳであり、またＳｎは時刻ｔ
1にビデオデコーダの参照用クロックに設定したＳＣＲ
（Ｐｎが記録されているセクタでのＳＣＲ）である。画
像が表示可能になる時刻Ｄｖｐが、タイムスタンプ以外
にも要因となるものがある場合には、それも考慮する。

【００２５】次に、音響が出力されるべき時刻を求める
ために、途中再生を開始する位置から見て最初の圧縮音
響データの仮想ＰＴＳ＝Ａｓｔｅｐ×ｍ＋Ｐｏを求め、
また画像フレームのＰＴＳとの相対関係をもとに、ＳＣ
Ｒがデコーダに設定されてから実際に音響が出力される
べき時刻までの時間Ｄａを求める。なお、（ファイルの
先頭の圧縮音響データの仮想ＰＴＳ＝ファイルの先頭の
画像フレームのＰＴＳ）の関係があり、また、前記のＡ
ｓｔｅｐは１セクタの圧縮音響データに対応する音響の
再生時間であり、ｍは先頭から途中再生開始セクタまで
の間に含まれる圧縮音響データのセクタ数である。そし
て、前記のｍは先頭から途中再生開始前までのセクタ数
をＶｉとし、また、圧縮音響データのインターリーブ率
をＡｓｓとすると、ｍ＝Ｖｉ／Ａｓｓ（小数点以下は切
捨て）として示される。ところで、ＳＣＲはセクタ毎に
一定の割合で増加することから、前記のＶｉはＶｉ＝
（Ｓｎ−Ｓｏ）／Ｓｓｔｅｐとして示される。ただし、
Ｓｓｔｅｐは１セクタ当りのＳＣＲの増分、Ｓｎは途中
再生開始セクタでのＳＣＲ、Ｓｏは先頭のＳＣＲであ
る。

【００２６】前記した時間Ｄａは、Ｄａ＝Ｄｖ＋仮想Ｐ
ＴＳ−Ｐｎとして求められる（ただし、Ｐｎは途中再生
における最初の画像フレームのＰＴＳ、Ｐｏは最初の画
像フレームのＰＴＳである）。そして、圧縮音響データ
をオーディオデコーダに転送するタイミングを調整し
て、音響を出力すべき時刻に合わせるように音響の出力
タイミングの制御を行なう。すなわち、圧縮音響データ
をオーディオデコーダに転送してから実際に音響が出力
されるまでの時間をＤａｏとすると、ＳＣＲがビデオデ
コーダの参照用クロックに設定されてから「Ｄａ−Ｄａ
ｏ」だけの時間が経過した時点で、圧縮音響データをオ
ーディオデコーダに転送開始するように音響の出力タイ
ミングの制御を行なう。音響出力系に他の遅延要因があ
る場合には、その遅延要因を考慮して、前記した圧縮音
響データのオーディオデコーダへの転送開始のタイミン
グの制御が行なわれるべきことは当然である。

【００２７】また、ＭＰＥＧ１方式によって可変圧縮率
で高能率符号化された圧縮画像データと、ＭＰＥＧ１方
式によって高能率符号化された圧縮音響データとが、時
系列的にインターリーブされた状態で途中再生されたデ
ータ列から最初のＩフレームを検出する。ＳＣＲがビデ
オデコーダの参照用クロックに設定された時刻ｔ1(図４
参照）から実際に画像が表示される時刻ｔ3(図４参照）
までの時間Ｄｖ(＝Ｄｖｐ＋β)を、ＳＣＲがビデオデコ
ーダの参照用クロックに設定された時刻ｔ1(図４参照）
から画像が表示可能になる時刻ｔ2(図４参照）までの時
間Ｄｖｐと、ＳＣＲがビデオデコーダの参照用クロック
に設定された時点ｔ1の直前の垂直同期信号Ｖｓ1(図４
参照）までの時間αと、画像が表示可能になる時刻ｔ2
(図４参照）からその直後の垂直同期信号Ｖｓi(図４参
照）までの時間β(図４参照）と、垂直走査期間Ｖなど
を用いて求める。なお、垂直走査周期の周期性からβ＝
Ｖ−［（Ｄｖｐ＋α）／Ｖの剰余］Ｄｖｐ＝Ｐｎ−Ｓｎただし、Ｐｎは途中再生における
最初の画像フレームのＰＴＳであり、またＳｎは時刻ｔ
1にビデオデコーダの参照用クロックに設定したＳＣＲ
（Ｐｎが記録されているセクタでのＳＣＲ）である。画
像が表示可能になる時刻Ｄｖｐが、タイムスタンプ以外
にも要因となるものがある場合には、それも考慮する。

【００２８】次に、前記した画像と同期して音響が出力
されるべき時刻を求めるために、途中再生を開始する位
置から見て最初の圧縮音響データの出力時刻情報ＰＴＳ
の値（Ｐａとする）を得て、最初に表示される画像フレ
ームと付随して、最初に出力されるべき音響の出力時間
差Ｐａ−Ｐｎを求める。そして、ＳＣＲがビデオデコー
ダの参照用クロックに設定された時刻ｔ1(図４参照）か
ら、音響が出力されるまでの時間Ｄａは、Ｄａ＝Ｄｖ
＋Ｐａ−Ｐｎとして求める。そして、圧縮音響データ
をオーディオデコーダに転送するタイミングを調整し
て、音響を出力すべき時刻に合わせるように音響の出力
タイミングの制御を行なう。すなわち、圧縮音響データ
をオーディオデコーダに転送してから実際に音響が出力
されるまでの時間をＤａｏとすると、ＳＣＲがビデオデ
コーダの参照用クロックに設定されてから「Ｄａ−Ｄａ
ｏ」だけの時間が経過した時点で、圧縮音響データをオ
ーディオデコーダに転送開始するように音響の出力タイ
ミングの制御を行なう。音響出力系に他の遅延要因があ
る場合には、その遅延要因を考慮して、前記した圧縮音
響データのオーディオデコーダへの転送開始のタイミン
グの制御が行なわれるべきことは既述もしたとおりであ
る。

【００２９】

【実施例】以下、添付図面を参照して本発明の画像の表
示時刻情報をもデータとして含む圧縮画像データと、時
刻情報をデータとして含んでいない一定の圧縮比で圧縮
された音響データとの同期再生方法の具体的な内容を詳
細に説明する。図１は本発明の画像の表示時刻情報をも
データとして含む圧縮画像データと、それに付随する圧
縮音響データとの同期再生方法が適用される再生装置の
概略構成を示すブロック図、図２は画像情報と前記の画
像情報に付随する音響情報との対応を示す図、図３は問
題点の説明に使用される垂直同期信号列を示す図、図４
は本発明の同期再生方法の説明に使用される信号の説明
図、図５は高能率符号化された画像データと、前記の画
像データと対応する画像に付随する音響信号を高能率符
号化された音響データとを時系列的にインターリーブさ
せたデータ列が記録されたセクタ配列を示す図、図６は
ＭＰＥＧ１方式で高能率圧縮された画像データの配置を
説明するための図、図７は高能率圧縮された画像データ
の配置を説明するための図、図８は画像の表示時刻情報
をもデータとして含む圧縮画像データと、時刻情報をも
データとして含む圧縮音響データとからなるデータの配
置図である。

【００３０】図１に示す再生装置において１は再生信号
源、２はインターフェース、３はバッファーマネージ
ャ、４は中央演算処理装置、５はバッファメモリ、６は
ＭＰＥＧビデオデコーダ、７はオーディオデコーダ、１
３はメモリである。図１に示されている再生装置におい
て、再生信号源１は表示されるべき時刻情報をもデータ
の一部として含む圧縮画像データと、それに付随する圧
縮音響データとが、時系列的にインターリーブされてい
るデータ列が記録されている情報記録媒体、例えば、光
ディスクや、光磁気ディスク、その他の記録媒体から読
出されたデータ列を送出できるような構成のものが用い
られる。

【００３１】すなわち、前記した再生信号源１として
は、高能率符号化された動画像情報に表示されるべき時
刻情報(タイムスタンプＰＴＳ)やＳＣＲとを少なくとも
含んで構成させてある所定のヘッダが付加された状態の
圧縮画像データと、始まりが画像の始まりと一致してい
るが、出力の時刻を示す時刻情報を持たず、常に一定の
圧縮率で圧縮された圧縮音響データとが、時系列的にイ
ンターリーブされている時系列的なデータ列(ビットス
トリーム)に、前記の各情報がビデオ情報かオーディオ
情報かの種別の情報と、各情報毎の再生の対象にされて
いるデータ列が記録されている情報記録媒体、例えば、
光ディスクや、光磁気ディスク、その他の記録媒体から
読出されたデータ列を送出できるような構成のもの、あ
るいは、表示されるべき出力時刻情報（タイムスタンプ
ＰＴＳ）やＳＣＲとを少なくとも含んで構成させてある
所定のヘッダが付加された状態の圧縮画像データと、出
力時刻情報（タイムスタンプＰＴＳ）をもデータの一部
として含む圧縮音響データとが、時系列的にインターリ
ーブされている時系列的なデータ列(ビットストリーム)
に、前記の各情報がビデオ情報かオーディオ情報かの種
別の情報と、各情報毎の再生の対象にされているデータ
列が記録されている情報記録媒体、例えば、光ディスク
や、光磁気ディスク、その他の記録媒体から読出された
データ列を送出できるような構成のものが用いられる。

【００３２】前記した再生信号源１から出力される圧縮
画像データが、高能率符号化された動画像情報に表示さ
れるべき時刻情報(タイムスタンプＰＴＳ)やＳＣＲとを
少なくとも含んで構成させてある所定のヘッダが付加さ
れた状態の圧縮画像データと、始まりが画像の始まりと
一致しているが、出力の時刻を示す時刻情報を持たず、
常に一定の圧縮率で圧縮された圧縮音響データとが、時
系列的にインターリーブされている時系列的なデータ列
(ビットストリーム)からなる圧縮画像データとして、例
えば少なくともフレーム内予測法を適用して画像データ
の圧縮が行なわれている画像フレーム(Ｉフレーム)と、
フレーム間予測を適用して画像データの圧縮が行なわれ
ている画像フレーム(ＰフレームやＢフレーム)とが混在
しているＭＰＥＧ１方式によって高能率符号化された動
画像情報に表示されるべき時刻情報(タイムスタンプＰ
ＴＳ)やＳＣＲとを少なくとも含んで構成させてある所
定のヘッダが付加された状態の圧縮画像データであって
もよく、また、前記した再生信号源１から出力される圧
縮画像データに対して時系列的に配置されている圧縮音
響データとしては、出力の時刻を示す時刻情報（タイム
スタンプＰＴＳ）が付加されていないＡＤＰＣＭ方式に
よってデータ量の圧縮が行なわれた圧縮音響データであ
ってもよいのであり、本発明方法の第１の実施例におい
ては、前記の再生信号源１が、高能率圧縮された音響情
報と、ＭＰＥＧ１方式によって高能率圧縮された動画像
情報とが記録されているＣＤ（コンパクトディスク）規
格に従った光ディスクからの再生データを出力できるよ
うな構成のものであった場合を例にして説明が行なわれ
ている。

【００３３】次に、本発明方法の第１の実施例について
説明する。既述のようにＩフレーム、Ｐフレーム、Ｂフ
レームなどが混在していて、少なくとも表示されるべき
時刻情報(タイムスタンプＰＴＳ)やＳＣＲなどを少なく
とも含んで構成させてある所定のヘッダが付加された状
態の圧縮画像データと、出力の時刻を示す時刻情報(タ
イムスタンプＰＴＳ)が付加されていないＡＤＰＣＭ方
式によりデータ量の圧縮が行なわれた圧縮音響データと
を含む時系列的なデータ列を送出する前記の再生信号源
１は、中央演算処理装置４から伝送線８とインターフェ
ース２とを介して与えられる制御信号による制御の下
に、例えば光ディスクから再生された前記のデータ列
(再生対象のデータ列)を伝送線９に送出する。そして、
前記のように伝送線９に送出された再生対象のデータ列
は、インターフェース２とバッファマネージャ３とを介
してバッファメモリ５に記憶される。

【００３４】前記のバッファマネージャ３は、中央演算
処理装置４からバス１０を介して与えられる制御信号に
よる制御の下に、再生信号源１から伝送線９及びインタ
ーフェース２を介して伝送されて来た再生対象のデータ
列を、順次にバッファメモリ５に書込んだり、あるいは
バッファメモリ５に記憶されている再生データ列中の圧
縮音響データを読出して、それをバス１１を介してオー
ディオデコーダ７に供給したり、バッファメモリ５に記
憶されている再生データ列中の圧縮画像データを読出し
て、それをバス１２を介してＭＰＥＧビデオデコーダ６
に供給したりする動作を略々リアルタイムに行なえるよ
うな機能を有している。

【００３５】再生装置が通常の再生モードで動作してい
る場合に前記した中央演算処理装置４は、メモリ１３に
格納されているプログラムに従って動作して、バッファ
マネージャ３を介してバッファメモリ５に格納されてい
る再生データ列におけるヘッダの部分に含まれている情
報の種別の情報や各情報毎の時刻情報、すなわちデータ
が音響情報のデータか画像情報のデータかの区別や、時
刻情報やＳＣＲなどの情報を見に行き、各データが対応
する各デコーダ(ＭＰＥＧビデオデコーダ６,オーディオ
デコーダ７）からの要求に応じて、前記したバッファメ
モリ５に格納されている再生データにおける情報の種別
毎のデータが、バッファマネージャ３を介して転送され
る。前記した各デコーダ(ＭＰＥＧビデオデコーダ６,オ
ーディオデコーダ７）からの要求が、再生状態が連続す
るようなタイミングで出され、それに応じて前記のデー
タの転送が行なわれることにより、再生信号の時間軸上
での連続性は各デコーダ(ＭＰＥＧビデオデコーダ６,オ
ーディオデコーダ７）によって保証されることになる。
なお、再生開始時には非再生時からの再生と不連続な状
態になるので、このときに所定の時刻に再生が開始でき
るような手段をＭＰＥＧビデオデコーダ６に備えてい
る。

【００３６】前述のように、バッファマネージャ３の制
御の下にバッファメモリ５からバッファマネージャ３と
バス１１とを介して音響情報のデータがオーディオデコ
ーダ７に転送されると、オーディオデコーダ７ではそれ
に供給された圧縮音響データを伸張して得た再生音響情
報信号を出力し、またバッファマネージャ３の制御の下
にバッファメモリ５からバッファマネージャ３とバス１
２とを介して、圧縮画像データがＭＰＥＧビデオデコー
ダ６に転送されると、ＭＰＥＧビデオデコーダ６ではそ
れに供給された圧縮画像データを復号して得た再生画像
情報信号を出力する。それで前記したオーディオデコー
ダ７からは、再生音響情報信号が時間軸上で連続してい
る状態で出力され、また、前記したＭＰＥＧビデオデコ
ーダ６からは、画像情報信号が時間軸上で連続している
状態で出力される。

【００３７】既述のようにＩフレーム、Ｐフレーム、Ｂ
フレームなどが混在していて、少なくとも表示されるべ
き時刻情報（タイムスタンプＰＴＳ）やＳＣＲなどを含
んで構成させてある所定のヘッダが付加してある状態の
圧縮画像データと、出力の時刻を示す時刻情報(タイム
スタンプＰＴＳ)が付加されていないＡＤＰＣＭ方式に
よってデータ量の圧縮が行なわれている圧縮音響データ
とを含む時系列的なデータ列からの途中再生は、検出さ
れたＩフレームから行なわれるから、再生装置の再生信
号源１から送出されるデータ列が、例えば図７に示され
ているように予めＩフレームの動画像情報に付加される
シーケンスヘッダの先頭が、セクタの先頭に位置させて
あるようにされていた場合には、途中再生に際してもＩ
フレームの検出時間を短くできることになる。

【００３８】ところで、前記した再生装置における再生
信号源１から出力されているデータ列は、表示されるべ
き時刻情報をもデータの一部として含む圧縮画像データ
と、その始まりが画像の始まりと一致しているが、出力
される時刻情報をデータとして持たない一定レートで圧
縮された音響データとが、時系列的にインターリーブさ
れているデータ列であるから、前記したデータ列におけ
る最初に同時に出力されるべき画像が表示されるべき時
刻と、前記の画像に付随する音響が出力されるべき時刻
との時間差は既知である。

【００３９】さて、本発明の第１の実施例として示す画
像の表示時刻情報をもデータとして含む圧縮画像データ
と、時刻情報をデータとして含んでいない一定の圧縮比
で圧縮された音響データとの同期再生方法において、途
中再生の場合にデータ列から最初に検出されたＩフレー
ム（最初の画像フレーム）について、垂直同期信号の時
間位置との関係も含めて、実際に画像が表示される時刻
を把握して、それに基づいて音響が出力されるべき時刻
を求めて、画像と音響とが同期した状態となるように中
央演算処理装置４が再生装置の各構成部分の動作の制御
を行ない音響の出力タイミングを制御して、途中再生動
作時における画像再生と前記の再生画像に付随する音響
再生とが同期した状態で行なわれるようにするのであ
り、以下、図４も参照して具体的に説明する。

【００４０】ＭＰＥＧ１方式により高能率圧縮された動
画像情報のデータと、一定レートで圧縮された音響デー
タとが時系列的にインターリーブされた状態のデータ列
に対して途中再生が行なわれて、そのデータ列中からＩ
フレームが検出されると、そのＩフレームにおけるＰＴ
Ｓの値（Ｐｎとする）と、前記のＰｎが記録されていた
セクタでのＳＣＲの値（Ｓｎとする）とが得られる。そ
して、データ列中から最初に検出されたＩフレームのＰ
ＴＳの値Ｐｎが記録されていたセクタでのＳＣＲの値Ｓ
ｎは、図４中の時刻ｔ1にＭＰＥＧビデオデコーダ６の
参照用クロックに設定される。ＳＣＲの値ＳｎがＭＰＥ
Ｇビデオデコーダ６の参照用クロックに設定された前記
した時刻ｔ1(図４参照）から実際に画像が表示される時
刻ｔ3(図４参照）までの時間Ｄｖは、時刻ｔ1(図４参
照）から画像が表示可能になる時刻ｔ2(図４参照）まで
の時間Ｄｖｐと、前記の時点ｔ1の直前の垂直同期信号
Ｖｓ1(図４参照）までの時間αと、画像が表示可能にな
る時刻ｔ2(図４参照）からその直後の垂直同期信号Ｖｓ
i(図４参照）までの時間β(図４参照）と、垂直走査期
間Ｖなどを用いて求められる。

【００４１】すなわち、ＳＣＲの値ＳｎがＭＰＥＧビデ
オデコーダ６の参照用クロックに設定された前記した時
刻ｔ1(図４参照）から実際に画像が表示される時刻ｔ3
(図４参照）までの時間Ｄｖは、図４に示されているよ
うに、Ｄｖ＝Ｄｖｐ＋β であり、 β＝Ｖ−［（Ｄ
ｖｐ＋α）／Ｖの剰余］，Ｄｖｐ＝Ｐｎ−Ｓｎであ
るから、前記した時間Ｄｖは容易に計算できる。次に、
音響が出力されるべき時刻を求めるために、「途中再生
を開始する位置から見て最初の圧縮音響データ」の仮想
ＰＴＳ＝Ａｓｔｅｐ×ｍ＋Ｐｏを求め、また画像フレー
ムのＰＴＳとの相対関係をもとに、ＳＣＲの値ＳｎがＭ
ＰＥＧビデオデコーダ６の参照用クロックに設定されて
から実際に音響が出力されるべき時刻までの時間Ｄａ
は、次の式、［Ｄａ＝Ｄｖ＋「途中再生を開始する位
置から見て最初の圧縮音響データ」の仮想ＰＴＳ−Ｐ
ｎ］を計算することにより求めることができる。

【００４２】図２に例示されているように、先頭の画像
フレーム０の画像と、前記の画像フレーム０に付随して
いる音響（音響データ７）とは同時に出力されるもので
あるから「最初の圧縮音響データ」の仮想ＰＴＳ＝「最
初の画像フレーム」のＰＴＳという関係があり、また、
前記のＡｓｔｅｐは１セクタの圧縮音響データに対応す
る音響の再生時間であり、ｍは先頭から途中再生開始セ
クタまでの間に含まれる圧縮音響データのセクタ数であ
って、前記のｍは先頭から途中再生開始前までのセクタ
数をＶｉとし、また、圧縮音響データのインターリーブ
率をＡｓｓとすると、ｍ＝Ｖｉ／Ａｓｓ（小数点以下は
切捨て）として示される。また、Ｐｏは最初の画像フレ
ームのＰＴＳ、Ｐｎは既述のとおり、途中再生における
最初の画像フレームのＰＴＳである。

【００４３】ところで、既述のようにＳＣＲの値はセク
タ毎に一定の割合で増加することから、前記した先頭か
ら途中再生開始前までのセクタ数Ｖｉは、１セクタ当り
のＳＣＲの増分をＳｓｔｅｐとし、またＳｏを先頭のＳ
ＣＲの値とすると、既述のようにＳｎが途中再生開始セ
クタでのＳＣＲであるから、先頭から途中再生開始前ま
でのセクタ数Ｖｉは、Ｖｉ＝（Ｓｎ−Ｓｏ）／Ｓｓｔｅ
ｐとして示される。そして、圧縮音響データをオーディ
オデコーダ７に転送するタイミングを調整して、音響を
出力すべき時刻に合わせるように音響の出力タイミング
の制御を行なう。

【００４４】すなわち、圧縮音響データをオーディオデ
コーダ７に転送してから実際に音響が出力されるまでの
時間をＤａｏとすると、ＳＣＲがＭＰＥＧビデオデコー
ダの参照用クロックに設定されてから「Ｄａ−Ｄａｏ」
だけの時間が経過した時点で、圧縮音響データをオーデ
ィオデコーダ７に転送開始するように音響の出力タイミ
ングの制御を行なう。音響出力系に他の遅延要因がある
場合には、その遅延要因を考慮して、前記した圧縮音響
データのオーディオデコーダ７への転送開始のタイミン
グの制御が行なわれるべきことは当然である。

【００４５】一般に、圧縮画像の復号時間の方が圧縮音
響の復号時間よりも長いので、前記した「Ｄａ−Ｄａｏ」
の時間は、Ｄａ−Ｄａｏ＞０の関係となることが多い
が、前記した「Ｄａ−Ｄａｏ」の時間が、Ｄａ−Ｄａｏ＜
０の場合には、その音響情報が出力されるべき時刻に、
その音響情報が出力されるように制御できないので、そ
の音響情報は出力せずにそれ以降の圧縮音響情報からＤ
ａを算出していき、Ｄａ−Ｄａｏ＞０となる音響情報か
ら出力を行なうことで画像と音響との同期をとることが
できる。

【００４６】次に、前記した再生信号源１として、表示
されるべき出力時刻情報（タイムスタンプＰＴＳ）やＳ
ＣＲとを少なくとも含んで構成させてある所定のヘッダ
が付加された状態の圧縮画像データと、出力時刻情報
（タイムスタンプＰＴＳ）やＳＣＲとを少なくとも含ん
で構成させてある所定のヘッダが付加された状態の圧縮
音響データとが、時系列的にインターリーブされている
時系列的なデータ列(ビットストリーム)に、前記の各情
報がビデオ情報かオーディオ情報かの種別の情報と、各
情報毎の再生の対象にされているデータ列が記録されて
いる情報記録媒体、例えば、光ディスクや、光磁気ディ
スク、その他の記録媒体から読出されたデータ列を送出
できるような構成のものが用いられている場合に、前記
した再生信号源１から出力される圧縮画像データと圧縮
音響データとが、時系列的にインターリーブされている
時系列的なデータ列(ビットストリーム)からなる圧縮画
像データとして、例えば少なくともフレーム内予測法を
適用して画像データの圧縮が行なわれている画像フレー
ム(Ｉフレーム)と、フレーム間予測を適用して画像デー
タの圧縮が行なわれている画像フレーム(Ｐフレームや
Ｂフレーム)とが混在しているＭＰＥＧ１方式によって
高能率符号化された動画像情報に表示されるべき時刻情
報(タイムスタンプＰＴＳ)やＳＣＲとを少なくとも含ん
で構成させてある所定のヘッダが付加された状態の圧縮
画像データであってもよく、また、前記した再生信号源
１から出力される圧縮画像データに対して時系列的に配
置されている圧縮音響データとしては、ＭＰＥＧ１方式
によって高能率符号化された音響情報に、時刻情報(タ
イムスタンプＰＴＳ)やＳＣＲとを少なくとも含んで構
成させてある所定のヘッダが付加された状態の圧縮音響
データであってもよいのであり、本発明方法の第２の実
施例においては、前記の再生信号源１からは、図８に例
示されているように、ＭＰＥＧ１方式によって高能率圧
縮された音響情報と、ＭＰＥＧ１方式によって高能率圧
縮された動画像情報とが記録されているＣＤ（コンパク
トディスク）規格に従った光ディスクからの再生データ
を出力できるような構成のものであった場合を例にして
説明が行なわれている。

【００４７】次に本発明方法の第２の実施例について説
明する。既述のようにＩフレーム、Ｐフレーム、Ｂフレ
ームなどが混在していて、少なくとも表示されるべき時
刻情報(タイムスタンプＰＴＳ)やＳＣＲなどを少なくと
も含んで構成させてある所定のヘッダが付加された状態
の圧縮画像データと、出力の時刻を示す時刻情報(タイ
ムスタンプＰＴＳ)も付加されている圧縮音響データと
を含む時系列的なデータ列を送出する前記の再生信号源
１は、中央演算処理装置４から伝送線８とインターフェ
ース２とを介して与えられる制御信号による制御の下
に、例えば光ディスクから再生された前記のデータ列
(再生対象のデータ列)を伝送線９に送出する。そして、
前記のように伝送線９に送出された再生対象のデータ列
は、インターフェース２とバッファマネージャ３とを介
してバッファメモリ５に記憶される。

【００４８】前記のバッファマネージャ３は、中央演算
処理装置４からバス１０を介して与えられる制御信号に
よる制御の下に、再生信号源１から伝送線９及びインタ
ーフェース２を介して伝送されて来た再生対象のデータ
列を、順次にバッファメモリ５に書込んだり、あるいは
バッファメモリ５に記憶されている再生データ列中の圧
縮音響データを読出して、それをバス１１を介してＭＰ
ＥＧオーディオデコーダ７（第２の実施例では、図１中
にオーディオデコーダ７として表示してあるブロックの
部分に、ＭＰＥＧオーディオデコーダ７を使用する）に
供給したり、バッファメモリ５に記憶されている再生デ
ータ列中の圧縮画像データを読出して、それをバス１２
を介してＭＰＥＧビデオデコーダ６に供給したりする動
作を略々リアルタイムに行なえるような機能を有してい
る。

【００４９】再生装置が通常の再生モードで動作してい
る場合に前記した中央演算処理装置４は、メモリ１３に
格納されているプログラムに従って動作して、バッファ
マネージャ３を介してバッファメモリ５に格納されてい
る再生データ列におけるヘッダの部分に含まれている情
報の種別の情報や各情報毎の時刻情報、すなわちデータ
が音響情報のデータか画像情報のデータかの区別や、時
刻情報やＳＣＲなどの情報を見に行き、各データが対応
する各デコーダ(ＭＰＥＧビデオデコーダ６,ＭＰＥＧオ
ーディオデコーダ７）からの要求に応じて、前記したバ
ッファメモリ５に格納されている再生データにおける情
報の種別毎のデータが、バッファマネージャ３を介して
転送される。

【００５０】前記した各デコーダ(ＭＰＥＧビデオデコ
ーダ６,ＭＰＥＧオーディオデコーダ７）からの要求
が、再生状態が連続するようなタイミングで出され、そ
れに応じて前記のデータの転送が行なわれることによ
り、再生信号の時間軸上での連続性は各デコーダ(ＭＰ
ＥＧビデオデコーダ６,ＭＰＥＧオーディオデコーダ
７）によって保証されることになる。なお、再生開始時
には非再生時からの再生と不連続な状態になるので、こ
のときに所定の時刻に再生が開始できるような手段をＭ
ＰＥＧビデオデコーダ６に備えている。

【００５１】前述のように、バッファマネージャ３の制
御の下にバッファメモリ５からバッファマネージャ３と
バス１１とを介して音響情報のデータがＭＰＥＧオーデ
ィオデコーダ７に転送されると、ＭＰＥＧオーディオデ
コーダ７ではそれに供給された圧縮音響データを伸張し
て得た再生音響情報信号を出力し、またバッファマネー
ジャ３の制御の下にバッファメモリ５からバッファマネ
ージャ３とバス１２とを介して、圧縮画像データがＭＰ
ＥＧビデオデコーダ６に転送されると、ＭＰＥＧビデオ
デコーダ６ではそれに供給された圧縮画像データを復号
して得た再生画像情報信号を出力する。それで前記した
ＭＰＥＧオーディオデコーダ７からは、再生音響情報信
号が時間軸上で連続している状態で出力され、また、前
記したＭＰＥＧビデオデコーダ６からは、画像情報信号
が時間軸上で連続している状態で出力される。

【００５２】さて、前記のようにＩフレーム、Ｐフレー
ム、Ｂフレームなどが混在していて、少なくとも表示さ
れるべき時刻情報（タイムスタンプＰＴＳ）やＳＣＲな
どを含んで構成させてある所定のヘッダが付加してある
状態の圧縮画像データと、ＭＰＥＧ１方式によってデー
タ量の圧縮が行なわれており、少なくとも出力されるべ
き時刻情報（タイムスタンプＰＴＳ）やＳＣＲなどを含
んで構成させてある所定のヘッダが付加してある状態の
圧縮音響データとの時系列的なデータ列からの途中再生
は、検出されたＩフレームから行なわれる。

【００５３】本発明の第２の実施例として示す画像の表
示時刻情報をもデータとして含む圧縮画像データと、時
刻情報をもデータとして含んでいる圧縮音響データとの
同期再生方法において、途中再生の場合にデータ列から
最初に検出されたＩフレーム（最初の画像フレーム）に
ついて、画像が表示されるべき時刻情報と、画像の表示
に用いられる垂直同期信号の時間位置とに基づいて、画
像が本来表示されるべき時刻と、画像が実際に表示され
る時刻との差を検出して、画像と音響とが同期した状態
となるように中央演算処理装置４が再生装置の各構成部
分の動作の制御を行なって音響の出力タイミングを制御
し、途中再生動作時における画像再生と前記の再生画像
に付随する音響再生とが同期した状態で行なわれるよう
にするのであり、以下、図４も参照して具体的に説明す
る。

【００５４】ＭＰＥＧ１方式により高能率圧縮された動
画像情報のデータと、同じくＭＰＥＧ１方式によって高
能率圧縮された音響データとが時系列的にインターリー
ブされた状態のデータ列に対して途中再生が行なわれ
て、そのデータ列中からＩフレームが検出されると、そ
のＩフレームにおけるＰＴＳの値（Ｐｎとする）と、前
記のＰｎが記録されていたセクタでのＳＣＲの値（Ｓｎ
とする）とが得られる。そして、データ列中から最初に
検出されたＩフレームのＰＴＳの値Ｐｎが記録されてい
たセクタでのＳＣＲの値Ｓｎは、図４中の時刻ｔ1にＭ
ＰＥＧビデオデコーダ６の参照用クロックに設定され
る。

【００５５】ＳＣＲの値ＳｎがＭＰＥＧビデオデコーダ
６の参照用クロックに設定された前記した時刻ｔ1(図４
参照）から実際に画像が表示される時刻ｔ3(図４参照）
までの時間Ｄｖは、時刻ｔ1(図４参照）から画像が表示
可能になる時刻ｔ2(図４参照）までの時間Ｄｖｐと、前
記の時点ｔ1の直前の垂直同期信号Ｖｓ1(図４参照）ま
での時間αと、画像が表示可能になる時刻ｔ2(図４参
照）からその直後の垂直同期信号Ｖｓi(図４参照）まで
の時間β(図４参照）と、垂直走査期間Ｖなどを用いて
求められる。すなわち、ＳＣＲの値ＳｎがＭＰＥＧビデ
オデコーダ６の参照用クロックに設定された前記した時
刻ｔ1(図４参照）から実際に画像が表示される時刻ｔ3
(図４参照）までの時間Ｄｖは、図４に示されているよ
うに、Ｄｖ＝Ｄｖｐ＋β であり、 β＝Ｖ−［（Ｄ
ｖｐ＋α）／Ｖの剰余］，Ｄｖｐ＝Ｐｎ−Ｓｎであ
るから、前記した時間Ｄｖは容易に計算できる。

【００５６】次に、動画像再生と音響再生とが同期した
状態で行なわれるようにするために音響が出力されるべ
き時刻を求める。最初に出力されるべき圧縮音響データ
が検出されると、その音響情報の出力情報であるＰＴＳ
の値（Ｐａとする）が得られる。前記した最初に表示さ
れる画像フレームに対する最初に出力される音響の出力
時間差はＰａ−Ｐｎとして求められる。そして、前記の
出力時間差Ｐａ−Ｐｎが実際に保たれれば、画像と音響
とが同期された状態で再生されるのである。それで、実
際に画像が表示されるタイミングを考慮して、最初に表
示される画像フレームのＰＴＳの値Ｐｎが記録されてい
たセクタにおけるＳＣＲの値Ｓｎが、ＭＰＥＧビデオデ
コーダ６の参照用クロックに設定された時刻ｔ1から、
前記した音響情報が出力されるまでの時間Ｄａは、Ｄ
ａ＝Ｄｖ＋Ｐａ−Ｐｎとして求めることができる。

【００５７】そして、圧縮音響データをＭＰＥＧオーデ
ィオデコーダ７に転送するタイミングを調整して、音響
を出力すべき時刻に合わせるように音響の出力タイミン
グの調整を行なう。すなわち、圧縮音響データをＭＰＥ
Ｇオーディコーダ７に転送してから、実際に音響が出力
されるまでの時間をＤａｏとすると、ＳＣＲがＭＰＥＧ
ビデオコーダ６の参照用クロックに設定されてから「Ｄ
ａ−Ｄａｏ」だけの時間が経過した時点で、圧縮音響デ
ータをＭＰＥＧオーディコーダ７に転送開始するように
音響の出力タイミングの制御を行なう。音響出力系に他
の遅延要因がある場合には、その遅延要因を考慮して、
前記した圧縮音響データのＭＰＥＧオーディオデコーダ
７への転送開始のタイミングの制御が行なわれるべきこ
とは当然である。

【００５８】前記した「Ｄａ−Ｄａｏ」の時間は、Ｄａ−
Ｄａｏ＞０の関係となることが多いが、前記した「Ｄａ
−Ｄａｏ」の時間が、Ｄａ−Ｄａｏ＜０の場合には、そ
の音響情報が出力されるべき時刻に、その音響情報が出
力されるように制御できないので、その音響情報は出力
せずにそれ以降の圧縮音響情報からＤａを算出してい
き、Ｄａ−Ｄａｏ＞０となる音響情報から出力を行なう
ことで画像と音響との同期をとることができる。

【００５９】

【発明の効果】以上、詳細に説明したところから明らか
なように、本発明の画像の表示時刻情報をもデータとし
て含む圧縮画像データと、それに付随する圧縮音響デー
タとの同期再生方法では、ＭＰＥＧ１方式により高能率
圧縮された動画像情報のデータと、それに付随する圧縮
音響データとが、時系列的にインターリーブされた状態
で途中再生されたデータ列から最初のＩフレームを検出
して、ビデオデコーダにＳＣＲが設定された時刻から実
際に画像が表示される時刻までの時間を、ＳＣＲがビデ
オデコーダの参照用クロックに設定された時刻から画像
が表示可能になる時刻までの時間と、ＳＣＲがビデオデ
コーダの参照用クロックに設定された時点の直前の垂直
同期信号までの時間αと、画像が表示可能になる時刻か
らその直後の垂直同期信号までの時間と、垂直走査期間
などを用いて求め、また音響が出力されるべき時刻を求
めるために、途中再生を開始する位置から見て最初の圧
縮音響データの仮想ＰＴＳを求め、また画像フレームの
ＰＴＳとの相対関係をもとに、ＳＣＲがデコーダに設定
されてから実際に音響が出力されるべき時刻までの時間
を求めて、圧縮音響データをオーディオデコーダに転送
するタイミングを調整して、音響を出力すべき時刻に合
わせるように音響の出力タイミングの制御を行なうよう
にしたり、あるいは、ＭＰＥＧ１方式により高能率圧縮
された動画像情報のデータと、それに付随する圧縮音響
データとが、時系列的にインターリーブされた状態で途
中再生されたデータ列から最初のＩフレームを検出し
て、ビデオデコーダにＳＣＲが設定された時刻から実際
に画像が表示される時刻までの時間をＳＣＲがビデオデ
コーダの参照用クロックに設定された時刻から画像が表
示可能になる時刻までの時間と、ＳＣＲがビデオデコー
ダの参照用クロックに設定された時点の直前の垂直同期
信号までの時間αと、画像が表示可能になる時刻からそ
の直後の垂直同期信号までの時間と、垂直走査期間など
を用いて求め、また画像フレームのＰＴＳとの相対関係
をもとにして、ＳＣＲがビデオデコーダの参照用クロッ
クに設定されてから、実際に音響が出力されるべき時刻
までの時間を求めて、圧縮音響データをオーディオデコ
ーダに転送するタイミングを調整して、音響を出力すべ
き時刻に合わせるように音響の出力タイミングの制御を
行なうようにしたから、本発明方法によれば既述した従
来の問題点は良好に解決できる。

【図面の簡単な説明】

【図１】本発明の画像の表示時刻情報をもデータとして
含む圧縮画像データと、それに付随する圧縮音響データ
との同期再生方法が適用される再生装置の概略構成を示
すブロック図である。

【図２】画像情報と画像情報に付随する音響情報との対
応を示す図である。

【図３】問題点の説明に使用される垂直同期信号列を示
す図である。

【図４】本発明の同期再生方法の説明に使用される信号
の説明図である。

【図５】高能率符号化された画像データと、前記の画像
データと対応する画像に付随する音響信号を高能率符号
化された音響データとを時系列的にインターリーブさせ
たデータ列が記録されたセクタ配列を示す図である。

【図６】ＭＰＥＧ方式で高能率圧縮された画像データの
配置を説明するための図である。

【図７】高能率圧縮された画像データの配置を説明する
ための図である。

【図８】画像の表示時刻情報をもデータとして含む圧縮
画像データと、時刻情報を、データとして含んでいる圧
縮音響データとからなるデータの配置図である。

【符号の説明】１…再生信号源、２…インターフェース、３…バッファ
ーマネージャ、４…中央演算処理装置、５…バッファメ
モリ、６…ＭＰＥＧビデオデコーダ、７…オーディオデ
コーダ（またはＭＰＥＧオーディオデコーダ）、１３…
メモリ、

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ１１Ｂ 20/12 １０３ 9295−5ＤＨ０４Ｎ 5/937

Claims

【特許請求の範囲】

【請求項１】表示されるべき時刻情報をもデータの一
部として含む圧縮画像データと、それに付随する圧縮音
響データとが、時系列的にインターリーブされているデ
ータ列から、前記した圧縮画像データと圧縮音響データ
とを同期再生する方法であって、再生されたデータ列中
に最初に現われたフレーム内予測法を適用して画像デー
タの圧縮が行なわれている画像フレームの画像が表示さ
れるべき時刻情報と、画像の表示に用いられる垂直同期
信号の時間位置とに基づいて、前記の画像フレームの画
像情報が出力される時刻を決定する手段と、前記の画像
フレームの画像情報が出力される時刻に基づいて、音響
情報が出力されるべき時刻を決定する手段と、音響情報
が出力されるべき時刻に音響情報が出力されるように制
御する手段とを備えてなる画像の表示時刻情報をもデー
タとして含む圧縮画像データと、それに付随する圧縮音
響データとの同期再生方法。