WO2004091204A1 - オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム - Google Patents

Abstract

記録時には編集点だけを記録する（ステップＳ４）。再生時にビデオ接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間（Ａ＿ｏｖｅｒｌａｐ）を計算し、更に、このオーバーラップ時間に基づいてオフセット時間を算出する（ステップＳ１２）。算出したオフセット時間を用いてオーディオデータを再生することにより（ステップＳ１４）、接続点付近で、オーディオフレームのギャップを無くして再生することができる。接続点付近では、エンコーダ側及びデコーダ側において、オーディオデータの窓掛け処理を行うことにより、接続元と接続先のオーディオサンプル同士を滑らかに足し合わせる。

Description

オーディオ/ビデオ記録装置、 記録方法、 再生装置、 再生方法、 再生 プログラム及び記録プログラム 技術分野

本発明はオーディオ/ビデオ明記録装置、 記録方法、 再生装置、 再生方 法及び再生プログラムに係り、 特に光ディスク等の記録媒体に同期して 記録したビデオデータとオーディォデ.一書タの組をビデオオブジェク トと して記録媒体に記録でき、 複数のビデオオブジェク トのそれぞれ一部ま たは全部を接続して再生するオーディオ ビデオ記録装置、 記録方法、 再生装置、 再生方法、 再生プログラム及び記録プログラムに関する。 背景技術

オーディオデータとビデオデータを記録媒体に記録する方法には種々 あり、 ビデオテープに対するアナログ記録やデジタル記録、 ディスク媒 体に対するアナログ記録やデジタル記録があるが、 近年、 その高品位と アクセス性などからディスク媒体に対するデジタル記録が主流となりつ つある。 この代表例力 SDVD Digital Versatile Disc ) であり、 DVD— RW、 DVD— RAMなどの記録型メディアに、 高品位なビデ ォデータ及びオーディォデータをシームレスになるように記録 Z再生す ることが行われている （例えば、 再公表特許 WO 9 7/ 1 3 3 6 4号公 報 （図 4 7、 図 6 1 ) 参照）。

ここで、 ビデオデータの符号化方式と しては、 一般的に M P E G ^Moving Picture Experts Group) ビデオが用いられる。 MP E G ビデオ（主に MP E G - 2ビデオ） では、 ビデオデータの各フレーム （ま たはフィールド） を I ピクチャ、 Pピクチャ、 Bピクチャの種別を持つ て符号化する。 I ピクチャとは、独立して復号化可能なピクチャであり、 Iは Intraの略である。 Pピクチャとは、 I ピクチャまたは他の Pピク チヤ から の前方予測を用いて符号化されるピクチャであ り 、 Pは Predictionの略である。 Bピクチャとは、 I ピクチャまたは Pピクチ ャからの前方 Z後方予.測を用いて符号化されるピクチャであり、 Bは Bi - directional - prediction の略である。 なお、 NT S。方式での ビデオフレーム周期は、 約 1 / 3 0秒 （正確には 1 / 2 9 .9 7秒） で あり、 P A L方式の場合は 1 Z 2 5秒である。

一方、 オーディオデータの符号化方式と しては、 大別すると リニア P CM方式と、 圧縮符号化方式の 2種類が存在する。 圧縮符号化方式の中 では、 ドルビーデジタル （AC— 3 ) や D T S (Digital Theater Systems)、. MP E Gオーディォなどがよく用いられる。

リニア P CM方式では、 サンプリング及び量子化後のデジタルデータ を伝送する。 伝送ビッ ト数は 1 6、 2 0、 24等が用いられる。 サンプ リング周波数には 4 8 k H zなどが用いられる。 オーディオフレーム周 期の設定は任意である。 例えば、 1 / 6 0 0秒 （4 8 k H z時に 8 0サ ンプル分） などが用いられる。

圧縮符号化方式では、 リニア P CMデータを直交変換や聴覚心理モデ ルを用いて圧縮する。 オーディオフレーム周期は、 2のべき乗のサンプ ル数 （または更にその整数倍） を適用する場合が多く、 例えば 4 8 k H z時に 1 0 2 4サンプルであれば、 オーディオフレーム周期は約 2 1 m s e c (= 1 0 24/4 8 0 0 0) となる。 圧縮符号化方式でオーディ オフレームに 2のべき乗のサンプル数を使用する理由は、 リニア P CM サンプルデータをスぺク トルに変換する直交変換が、 2のべき乗のサン プルを入出力とするのに適しているからである。

ところで、 音声付ビデオ信号を符号化し、 D V D等の記録媒体に記録 する場合、 ビデオデータとオーディオデータは上記のような符号化方式 で符号化され、 さらに M P E Gシステムによって多重化され、 例えば M P E Gプログラムス ト リ ームとして記録媒体上に記録される。 以下、 こ のような多重化ス トリームデータをビデオオブジェク ト （ V O B ) と呼 ぶことにする。

このとき、 V O B内のビデオデータとオーディォデータは同期してい るが、 ビデオフレーム周期とオーディオフレーム周期は一致しているこ とはまずなく、 別々の周期で記録されている。 というのも、 ビデオフレ ーム周期は T Vシステムに依存して一意に決定され、 オーディオフレー ム周期は、 例えば圧縮符号化の効率化を考えた最適な長さを別途設定さ れるからである。 この様子を図 1に示す。

図 1に示すように、 ビデオフレーム周期 （T _v ) とオーディオフレー ム周期 （τ _Α ) が異なる。 一連のビデオデータとオーディオデータが同 期して記録される例であり、 データ先頭部分ではビデオデータとオーデ ィォデータのフレーム先頭が一致している、 典型例である。 データの途 中では、 基本的にビデオフレーム境界とオーディオフレーム境界は一致 しない （ビデオフレーム周期とオーディオフレ^ "ム周期の最小公倍数の 位置を除く）。 ' - ここで、 別々に記録された 2つの V Ο Βの全部又は一部分ずつを接続 編集し、 連続して再生する用途が考えられる。 図 2はこの一例を示す。 同図は、 V O B ( i ) の時刻 Xから V O B ( j ) の時刻 Yへ接続する例 を示す。 ビデオフレームに添えられた I、 P、 Bの文字は、 既に説明し たピクチャのタイプを示す。 なお、 図中ビデオフレームもオーディオフ レームも再生時の順序で表示されていることに注意ざれたい。 実際の V OB中では、 I i l、 P i l、 B i l、 B i 2 という順序で記録し、 B i 1や B i 2の複号化が I i 1 と P i 1を使って実行できるようにする 必要がある。

ここで、 再生時に VOB ( i ) の時刻 Aから時刻 Xまでの各ピクチャ を再生し、 引き続き VOB ( j ) の時刻 Yから時刻 Bまでの各ピクチャ を再生するためには、 この再生パスのなかに含まれる時刻 Xおよび時刻 Y付近でのピクチャタイプに注意が必要である。 つまり、 VOB ( i ) の B i 3 と B i 4の復号化には P i 2が必要であるが、 P i 2はこの再 生パスの中に存在しない。 従って、 例えば B i 4を Pピクチヤタイプ P i 4 ' に変換し、 B i 3を B i 3， に変換する必要がある （B i 3， は P i 1 と P i 4 ' から符号化）。 ·

同様に、 VOB ( j ) の Ρ ]' 1の複号化には I ]' 1が必要であるが、 I.j 1はこの再生パスの中に存在しない。 従って、 例えば P j 1を I ピ クチャタイプ I j 1， に変換する必要がある。 こうすることにより、 P i 1→B i 3， → P i 4 ' → I j 1， →B j 3→B j 4というパスでデ ータを再生することが可能になる。便宜上、接続後の接続点を Zとする。 なお、 上記の説明はビデオ符号化方式が MP EGのようなフレーム間 予測を用いたものである場合の一例であり、 例えば DV方式のように符 号化が各フレームで完結している場合には、 このようなピクチャの変換 処理は必要ない。 また、 MP E G等の場合でも、 例えば、 接続元が I ピ クチャの直前の Bピクチャで終り、 接続先が I ピクチャで始まるような 接続点を選ぶ場合などにも、 ピクチャ変換処理は必要ない。

次に、 接続点 Zでのビデオフレームの再生について考える。 上記の例 では、 基本的には P i 4， のフレームを 1 ビデオフレーム周期再生した 直後に I j 1 ， フレームを再生すること、 つまり、 ビデオフレーム画像 を Z点で止めることのないシームレスな再生が要求される。 シームレス 再生を行うためには、一般に次のような条件を満足している必要がある。

( 1 ) A→Z→Bのパスを復号化するのに必要なビデオフレームの データが、 このパスの中に含まれていること （上記の説明）。

( 2 ) システムに規定のバッファが、 A→ Z→Bのパスのデータ読 み込みでバッファアンダーフローを起こさないように、 記録データが配 置されていること。 この目的のため、 Z付近のデータ、 または、 A→Z →Bのパスのデータの.全部または一部が接続編集前の位置とは異なる位 置に再記録される場合がある。

( 3 ) 接続点 Zの前後で、 システムタイムク ロ ック （ S T C ) をリ セッ トする処理を行うこと。 これは、一般に V O B ( i ) 中の時間軸と、 V O B ( j ) 中の時間軸とが異なり、 従って'時刻 Xでの S T C値と、 時 刻 Yでの S T C値は異なる値を持っためである。

ここで、 同じ図 2を用いて、 接続編集でのオーディオフレー厶の扱い について考える。 上記で説明したようにビデオフレーム間をシームレス 接続するようにデータを構成する場合、 基本的に接続点でオーディオフ レームはシームレスに接続できない。 これは、 オーディオフレーム周期 がビデオフレーム周期と異なるからであり、 任意の接続点で、 接続元の 最終オーディオフレームの再生終了時刻と、 接続先の先頭オーディオフ 'レームの再生開始時刻が一致することが期待できないからである。 この ため、 図 2に Gで示したように、 従来はオーディオフレーム間にギヤッ プの存在を許容することになる。 .

図 3は、 図 2のような接続編集を考慮した場合の従来の再生装置の一 例のプロック図を示す。

同図において、 記録媒体 1 0 1から図示しない再生機構により読み出 された、 図 2に A→ Z→Bで示したパスのデータは、 トラックバッファ 1 0 2.を経由してデマルチプレクサ 1 0 3へ入力される。 デマルチプレ クサ 1 0 3ではビデオス ト リームとオーディオス ト リ ーム （またはその 他のス ト リ ーム、 図示しない） の多重化を解き、 ビデオス ト リームはビ デォバッファ 1 0 4を経由してビデオデコーダ 1 0 5に入力し、 オーデ ィォス トリームはオーディォパッファ 1 0 6を経由してオーディォデコ ーダ 1 0 7へ入力する。

ビデオデコーダ 1 0 5 とオーディオデコーダ 1 0 7では、 それぞれビ デォとオーディォの復号化を行う。 ビデオ符号化方式が M P E G等の場 合は、 ビデオデコーダ 1 0 5の出力側に、 ピクチャ順序を再生順序に並 ぺ替えるリオーダーバッファ 1 0 9が装備される。 ここで、 S T C回路 1 0 8は、 デマルチプレクサ 1 0 3からの V O Bデータから抽出したシ ステムクロックリファレンス （S C R ) などの基準時刻信号を基に S T Cをカウントする回路である。 接続点 Zでは S T Cのリセッ トも行う。 また、 図 2に Gで示したようなオーディオ再生のギヤップが発生する位 置で、 これを示す制御信号 （ここではミュート信号と呼ぶ） を発生し、 オーディオデコーダ 1 0 7をギヤップの期間ミュートすることも受け持 つ α

次に、 図 4に示すように、 接続編集点で接続元の最終オーディオフレ ームの再生終了時刻 X.·と、 接続先の先頭オーディオフレームの再生開始 時刻 Υが一致する例を考える。 この場合も、 V O .B ( i ) の B i 3 と B i 4の復号化には P i 2が必要であるが、 P i 2はこの再生パスの中に 存在しない。 従って、 例えば B i 4を Pピクチヤタイプ P i 4 ' に変換 し、 B i 3を B i 3， に変換する必要がある （B i 3， は P i l と P i 4 ' から符号化）。

同様に、 V O B ( j ) の P j 1の復号化には I j 1が必要であるが、 I j 1 はこの再生パスの中に存在しない。 従って、 例えば P j 1を I ピ クチャタイプ I j 1 ' に変換する必要がある。 こうすることにより、 P i 1→ B i 3 ' → P i 4 ' → I j 1， →B j 3→B j 4 とレ、うパスでデ ータを再生することが可能になる。

一方、 オーディオデータに関しては、 接続編集点で接続元の最終ォー ディオフレームの再生終了時刻 Xと、 接続先の先頭オーディオフレーム の再生開始時刻 Yがー致するため、 図 4に示すように、 接続元のオーデ ィォフレームと接続先のオーディオフレーム間にはギヤップが生じない 発明の開示

しかるに、'以上説明した従来のオーディオ Zビデオ記録再生方法及び 装置では、 任意の V O B同士の接続編集において、 接続点でのオーディ ォの再生に問題がある。 すなわち、 ビデオフレームをシームレス接続す ることを基準とする場合、 図 2に示したように A→Z→Bのパスでビデ オフレームをシームレス再生する場合、 接続元と接続先のオーディオフ レーム間にギヤップ Gが生じ、 オーディォ再生は Z点付近のギヤップ点 で一瞬ミュートし、 シームレスには再生されないという問題がある。 また、 図 4に示したように、 接続編集点で接続元の最終オーディオフ レームの再生終了時刻 Xと、 接続先の先頭オーディオフ レームの再生開

'始時刻 Yがー致する場合であっても、 接続元の最後のオーディオサンプ ル値と、 接続先の最初のオーディオサンプル値は一般に不連続であるた め、 図 5に示すように、 復号した接続元オーディオ波形 a と復号した接 続先ォ ディォ波形 b との接続点 Zでノィズが発生する。 このようなォ 一ディオサンプルの不連続は、 リニア P C Mや M P E Gオーディオレイ ャ I、 Πなど、 基本的にオーディオ信号を直交変換することなく時間波 形として符号化する全ての方式で、 本来不連続なオーディオフレーム同 士を接続した場合に見受けられる問題である。

本発明は以上の点に鑑みなされたもので、 光ディスク等の記録媒体に 記録された 2つの異なるオーディオデータとビデオデータの組を、 ノィ ズなくシームレスに接続して再生するオーディオ Zビデオ記録装置、 記 録方法、 再生装置、 再生方法、 再生プログラム及び記録プログ"ラムを提 供することを目的とする。

上記の目的を達成するため、 第 1の発明のオーディオ/ビデオ記録装 置は、 同期したビデオデータとオーディォデータの組をビデオオブジェ ク トとして記録媒体に記録するに際し、 複数のビデオォブジェク トのそ れぞれ一部または全部を接続して再生する再生シーケンスを指定可能な ように記録媒体に記録するオーディオ Zビデオ記録装置であって、 記録 すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む符号化 を行ってオーディオデータを出力するオーディオ符号化手段と、 接続元 のビデオォブジェク トの最後に再生すべきビデオフレームと、 接続先の ビデオオブジェク トの最初に再生すべきビデオフレームが接続点でシー ムレスに再生されるようにビデオデータを必要に応じて変更するビデオ データ変更手段と、 接続元のビデオォプジェ トの最後に再生すべきォ 一ディオアレームの再生期間が、ビデオフレームの接続点の時刻を含み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレ ームの再生期間が、 接続点の時刻を含むように、 オーディオフレームの 編集点を決定する編集点決定手段と、 編集点を記録媒体に登録情報とし て記録する記録手段と、 を有する構成としたものである。

この発明では、 複数のビデオオブジェク トのそれぞれ一部または全部 を接続して再生する再生シーケンスを指定可能なように記録媒体に記録 するに際し、 接続元のビデオオブジェク トの最後に再生すべきビデオフ レームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレ ームが接続点でシームレスに再生されるようにビデオデータを必要に応 じて変更すると共に、 接続元のビ オォブジェク トの最後に再生すべき オーディオフレームの再生期間が、 ビデオフレームの接続点の時刻を含 み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオ フレームの再生期間が、 接続点の時刻を含むように、 オーディオフレー ムの編集点を決定し、 その鎘集点を管理情報として記録媒体に記録する ようにしたため、 記録時にオーバーラップ時間やオフセッ ト時間を計算 しなくて済む。

また、 上記の目的を達成するため、 第 2の発明は、 同期したビデオデ ータとオーディオデータの組をビデオオブジェク トとして記録媒体に記 録するに際し、 複数のビデオオブジェク トのそれぞれ一部または全部を 接続して再生する再生シーケンスを指定可能なように記録媒体に記録す るオーディオ ビデオ記録方法であって、 記録すべきオーディオ信号に 対し、 窓掛け処理と直交'変換処理を含む符号化を行ってオーディオデー タを出力する第 1のステップと、 接続元のビデオオブジェク トの最後に 再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再 生すべきビデオフレームが接続点でシームレ に再生されるようにビデ ォデータを必要に応じて変更する第 2のステップと、 接続元のビデオォ ブジェク トの最後に再生すべきオーディオフレームの再生期間が、 ビデ オフレームの接続点の時刻を含み、 かつ、 接続先のビデオオブジェク ト の最初に再生すべきオーディオフレームの再生期間が、 接続点の時刻を 含むように、オーディオフレームの編集点を決定する第 3のステップと、 編集点を管理情報として記録媒体に記録する第 4のステップと、 を含む ことを特徴とする。 この発明は、 第 1の発明と同様に、 記録時にォー 'パ 5 一ラップ時間や—オフセッ ト時間を計算しなくて済む。

また、 上記の目的を達成するため、 第 3の発明.のオーディオ Zビデオ 再生装置は、 第 1の発明の記録装置により ビデオォブジェク ト及ぴ管理 情報を記録した記録媒体から.、 再生管理情報に基づいてビデオデータ及 びオーディオデータを再生するオーディオ/ビデオ再生装置であって、 10 再生管理情報から得た編集点を含んで、 接続元のビデオォブジェク トの 最後に再生すべきオーディオフレームと、 接続先のビデオオブジェク ト の最初に再生すべきオーディオフレームのオーバーラップ時間を計算す る.オーバーラップ時間計算手段と、 編集点が指定された再生シーケンス 内の最初の接続点であった場合は、 計算したオーバーラップ時間を接続

15 先のビデオオブジェク トのオーディオフレームを再生する際のオーディ ォ P T Sオフセッ ト時間とし、 編集点が再生シーケンス内の 2つ目以降 の接続点であった場合は、 計算したオーバーラップ時間と一つ前の接続 点でのオーディォ P T Sオフセッ ト時間を加算した値を、 現編集点での オーディオ P T Sオフセッ ト時間として算出すると共に、 所定の条件に ' 20 おいて接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームが、 接続時に再生する必要が無いことを示す所定値のオーディオド

' ロップフラグを出力するオフセッ ト時間算出手段と、 再生シ ケンスに 含まれるビデオオブジェク トの各接続点で接続対象のビデオフレーム同 士をシームレスに接続するように、 装置のシ'ステムタイムクロック. ( S

25 T C ) をリセッ トするリセッ ト手段と、 算出したオーディオ P T Sオフ セッ ト時間に応じて、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トするオフセッ ト手.段と、 記録媒体から再生したビデオ データをそのビデオデータに付随したビデオ P T Sに応じて再生するビ デォデータ再生手段と、 記録媒体から再生したオーディオフレームをオ フセッ トした P T Sに応じて再生すると共に、 オーディオドロップフラ グが所定値であるときは、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームを再生しないように制御するオーディオフレー • ム再生手段と、 オーディオフレーム再生手段により再生されたオーディ オフレームに対し、 窓掛け処理と直交逆'変換処理を含む復号化を行って —オーディオ信号を出力するオーディオ復号化手段と、 を有する構成とし たものである。

この発明では、 再生管理情報から得た編集点を含んで、 接続元のビデ ォォブジェク トの最後に再生すべきオーディオフレームと、 接続先のビ デォォブジェク トの最初に再生すべきオーディオフレームのォーパーラ ップ時間を計算すると共に、 記録媒体から読み出したオーディオフレー ムの P T Sをオフセッ トするためのオーディオ P T Sオフセッ ト時間と を計算するようにしたため、 曾己録媒体から再生したオ^-ディオフレーム をオフセッ トした P T Sに応じて再生することができる。

また、 上記の目的を達成するため、 第 4の発明のオーディオ/ビデオ 再生方法は、 第 2の発明の記録方法.により ビデオオブジェク ト及び管理 情報を記録した記録媒体から、 再生管理情報に基づいてビデオデータ及 びオーディオデータを再生するオーディオ ビデオ再生方法であって、 ' 再生管理情報から得た編集点を含んで、 接続元のビデオオブジェク トの 最後に再生すべきオーディオフレームと、 接続先のビデオォブジェク ト の最初に再生すべきオーディオフレームのオーバーラップ時間を計算す る第 1のステップと、 編集点が指 された再生シーケンス内の最初の接 続点であった場合は、 計算したォーパーラップ時間を接続先のビデオォ ブジェク トのオーディオフレームを再生する際のオーディォ P T Sオフ ヤッ ト時間とし、 編集点が再生シーケンス内の 2つ目以降の接続点であ つた場合は、 計算したオーバーラップ時間と一つ前の接続点でのオーデ ィォ P T Sオフセッ ト時間を加算した値を、 現編集点でのオーディオ P T Sオフセッ ト時間と して算出すると共に、 '所定の条件において接続元 のビデオォプジヱク トの最後に再生すべきオーディオフレームが、 接続 時に再生する必要が無いことを示す所^値のオーディオドロップフラグ を出力する第 2のステップと、 再生シーケンスに含まれるビデオォブジ ヱタ トの各接続点で接続対象のビデオフレーム同士をシームレスに接続 するように、 装置のシステムタイムクロック （S T C ) をリセッ トする 第 3のステップと、 第 2のステップで算出したオーディォ P T Sオフセ ッ ト時間に応じ.て、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トする第 4のステップと、 記録媒体から再生したビデオデ ータをそのビデオデータに付随したビデオ P' T Sに応じて再生する第 5 のステップと、 記録媒体から再生したオーディオフレームを第 4のステ ップでオフセッ トした； P丁 Sに応じて再生すると共に、 第 3のステップ で出力したオーディオドロップブラグが所定値であるときは、 接続元の ビデオオブジェク トの最後に再生すべきオーディオフレームを再生しな いように制御する第 6 のステップと、 第 6 のステップ より再生された ォ ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化 を行ってオーディオ信号を出力する第 7のステップと、 を含むことを特 徴する。

この発明では、 第 3 の発明と同様に、 再生管理情報から得た編集点を 含んで、 接続元のビデオオブジェク トの最後に再生すべきオーディオフ レー と、 接続先のビデオォブジェク トの最初に再生すべきオーディオ フレームのオーバーラップ時間.を計算すると共に、 記録媒体から読み出 したオーディオフレームの P T Sをオフセッ トするためのオーディオ P T Sオフセッ ト時間とを計算するようにしたため、 記録媒体から再生し たオーディオフレームをオフセッ トした P T Sに応じて再生することが できる。

また、 上記の目的を達成するため、 第 6の発明のオーディオノビデオ 記録装置は、 同期したビデオデータとオーディオデータの組をビデオォ ブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指定 可能なように記録媒体に記録するオーディオ/ビデオ記録装置であって、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む符 号化を行ってオーディオデータを出力するオーディオ符号化手段と、 ォ 一ディォデータとビデオデータとを多重化してビデオオブジェク トを生 成する多重化手段と、 多重化手段による多重化の際に、 オーディオバッ ファ占有量が規定のオーディオパッフアサイズ上限から 1オーディオフ レームのデータ量を減じた値以下であるように、 多重化手段を制御する と共に、そのオーディオ多重化状態を示すフラグを作成する制御手段と、 制御手段により制御された多重化手段から出力されるビデオオブジェク トを、 制御手段で作成されたオーディオ多重化状態を示すフラグと共に 記録媒体に記録する記録手段と、 を有することを特徴とする

この発明では、 オーディオバッファ占有量が規定のオーディォパッフ ァサイズ上限から 1オ^"ディオフレームのデータ量を減じた値以下であ るようにオーディオデータをビデオデータに多重化して記録するように したため、 再生時に最大 1オーディオフレーム周期分遅れて再生した場 合でも、 オーディオバッファのオーバーフローを生じさせないで済む。 ■ また、 上記の目的を達成するため、 第 7の発明のオーディオ/ビデオ 記録装置は、 第 6の発明に加えて、 更に接続元のビデオオブジェク ドの 最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最 初に再生すべきビデオフレームが接続点でシームレスに再生されるよう にビデオデータを必要 応じて変更するビデオデータ変更手段と、 接続 点の前後に、 接続元のビデオオブジェク トのオーディオフレームの再生 期間と、 接続先のビデオオブジェク トのオーディオフレームの再生期間 とが一部オーバーラップを生じるように、 オーディオフ レームの編集点 'を決定し、 オーディオフレームを編集する手段と、 編集^を記録媒体に 登録情報として記録する第 2の記録手段と、を有することを特徴とする。 また， 上記の目的を達成するため、 第 8の発明のオーディオ/ビデオ 記録方法は、 同期したビデオデータとオーディオデータの組をビデオォ ブジヱタ トとして記録媒体に記録するに際し、 複数のビデオォブジェク トめそれぞれ一部または全部を接続して再生する再生シーケンスを指定 可能なように記録媒体に記録するオーディオ Zビデオ記録方法であって、 記録すべきオーディオ信号.に対し、 窓掛け処理と直交変換処理を含む符 号化を行ってオーディオデータを出力する第 1のステップと、 オーディ ォデータをビデオデータと多重化する際に、 ォ ディォバッファ占有量 が規定のオーディオバッフアサイズ上限から 1オーディオフレームのデ 一タ量を減じた値以下であるように制御する第 2のステップと、 第 2の ステップの制御によるオーディオ多重化状態を示すブラグを、 第 2のス テップの制御の下に多重化して得られたビデオオブジェク トと共に記録 媒体に記録する第 3のステップと、 を含むことを特徴とする。 この発明では、 オーディォバッファ占有量が規定のオーディォバッフ アサイズ上限から 1オーディオフレームのデータ量を減じた値以下であ るようにオーディオデータをビデオデータに多重化して記録するように したため、 再生時に最大 1オーディオフレーム周期分遅れて再生した場 合でも、 オーディオバッファのオーバーフローを生じさせないで済む。

また、 上記の目的を達成するため、 第 9の発明のオーディオ Zビデオ 記録方法は、 上記の第 8の発明に加えて更に、 接続元のビデオオブジェ ク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続点でシームレスに 生され るようにビデオデータを必要に応じて変更する第 4のステップと、 接続 点の前後に、 接続元のビデオオブジェク トのオーディオフレームの再生 期間と、 接続先のビデオオブジェク トのオーディオフレームの再生期間 とが一部ォーパーラップを生じるように、 オーディオフレームの編集点 を決定し、 オーディオフレームを編集する第 5 のステツ.プと、 編集点を 管理情報として記録媒体に記録する第 6 のステップと、 を含むことを特 徴とする。 - また、 上記の目的を達成するため、 第 1 0の発明のオーディオ/ビデ ォ再生装置は、 第 7の発明の記録装置により ビデオオブジェク ト及ぴ管 理情報を記録した記録媒体から、 再生管理情報に基づいてビデオデータ 及ぴオーディオデータを再生するオーディオ/ビデオ再生装置であって、 再生管理情報内の編集点に関して、 接続元のビデオォブジヱク 卜の最後 に再生すべきオーディオフレームと、 接続先の!ビデオオブジェク トの最 初に再生すべきオーディオフレームのオーバーラップ時間を計算するォ 一パーラップ時間計算手段と、 編集点が指定された再生シーケンス内の 最初の接続点であった場合は、 計算したオーバーラップ時間を接続先の ビデオオブジェク トのオーディオフレームを再生する際のオーディォ P T Sオフセッ ト時間とし、 編集点が再生シーケンス内の 2つ目以降の接 続点であった場合は、 '計算したオーバーラップ時間と一つ前の接続点で のオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォー ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件におい て接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム 力 s、 接続時に再生する必要が無いことを示す所定値のオーディオドロッ プフラグを出力するオフセッ ト時間算出手段と、 再生シーケンスに含ま れるビデオォブジェク トの各接続点で接続対象のビデオフレーム同士を シームレスに接続するよ うに、装置のシステムタイムクロック （S T C ) をリセッ トするリセッ ト手段と、 算出したオーディオ P T Sオフセッ 時間に応じで、 記録媒体から読み出したオーディオフレームの P T Sを オフセッ トするオフセッ ト手段と、 記録媒体から再生したビデオデータ をそのビデオデータに付随したビデオ P T Sに応じて再生するビデオデ ータ再生手段と、 記録媒体から再生したオーディオフレームをオフセッ トした P T Sに応じて再生すると共に、 オーディオドロップフラグが所 定値であるときは、 接続元のビデオオブジェク トの最後に再生すべきォ 一ディオフレームを^生しないように制御するオーディオフレーム再生 手段と、 オーディオフレーム再生手段により再生されたオーディオフレ ームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行ってオーデ ィォ信号を出力するオーディオ複号化手段と、 を有する構成としたもの である。 ； ？ この発明では、 オーディォパッファ占有量が規定のオーディォパッフ ァサイズ上限から 1オーディオフレームのデータ量を減じた値以下であ るようにオーディオデータをビデオデータに多重化して記録された記録 媒体からビデオデータ及びオーディォデータを再生するに際し、 再生時 . に最大 1オーディオフレーム周期分遅れて再生した場合でも、 オーディ ォバッファのオーバーフローを生じさせないで済む。

また、 上記の目的を達成するため、 第 1 1の発明のオーディオ Zビデ ォ再生装置は、 第 3の発明又は第 1 0の発明のオフセッ ト時間算出手段 を、 算出した接続点でのオーディオ P T Sオフセッ ト時間が、 オーディ オフ'レーム期間の n倍 （ただし、 nは 1又は 1 Z 2 ) の期間よりも大き い場合には、 オーディオ P T Sオフセッ ト時間からオーディオフレーム 期間を減じた値を最終のオーディオ P T Sオフセッ ト時間と して算出す ると共に、 接続元のビデオオブジェク トの最後に再生すべきオーディオ フレームが、 接続時に再生する必要が無いことを示す所定値のオーディ ォドロップフラグを出力する手段としたことを特徴とする。

この発明では、 接続点以降のオーディオフレームとビデオフレームと の同期ずれほ、 1オーディオフレーム期間以内又は ± 0 . 5オーディオフ レーム期間以内の、 基本的にリ ップシンクずれとして検知できない量と することができる。

また、 上記の目的を達成するため、 第 1 2の発明のオーディオノビデ ォ再生方法は、 第 9の発明の記録方法により ビデオオブジェク ト及び管 理情報を記録した記録媒体から、 再生管理情報に基づいてビデオデータ 及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、 第 4の発明と同—様の第 1乃至第 7のステップにより再生を行う。 これに より、 再生管理情報から得た編集点を含んで、 接続元のビデオオブジェ ク トの最後に再生すべきオーディオフレームと、 接続先のビデオォプジ ェク トの最初に再生すべきオーディオフレームのオーバーラップ時間を 計算すると共に、 記録媒体から読み出したオーディオフレームの P T S をオフセッ トするためのオーディオ P T Sオフセッ ト時間とを計算する よ うにしたため、 記録媒体から再生したオーディオフレ ムをオフセッ トした P T Sに応じて再生することができる。

また、 上記の目的を達成するため、 第 1 3の発明のオーディオ/ビデ ォ再生方法は、 第 4の発明又は第 1 2の発明の第 2のス rップを、 算出 した接続点でのオーディォ P T Sオフセッ ト時間が、 オーディオフレー ム期間の n倍 （ただし、 nは 1又は 1 Z 2 ) の期間よりも大きい場合に は、 オーディオ P T Sオフセッ ト時間からオーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム力 s、 接続時に再生する必要が無いことを示す所定値のオーディオドロップフ ラグを出力することを特徴とする。 -

.この発明では、 接続点以降のオーディオフレームとビデオフレームと の同期ずれは、 1オーディオフレーム期間以内又は ± 0 . 5オーディオフ レーム期間.以内の、 基本的にリ ップシンクずれとして検知できない量と することができる。

また、 上記の目的を達成するため、 第 5の発明; 5は第 1 4の発明のォ 一ディォ /ビデオ再生プ ^グラムは、 第 2の発明又は第 9の発明の記録 方法により ビデオオブジェク ト及び再生シーケンスを記録した記録媒体 から、 再生シーケンスに基づいてビデオデータ及ぴオーディオデータを 再生する再生方法をコンピュータに実行させることを特徴とする。

< また、 上記の目的を達成するため、 第 1 5の発明のォ ディォ /ビデ ォ記録装置は、 同期したビデオデータとオーディオデータの組をビデオ ォブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ ビデオ記録装置であつ て、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、 接続元のビデオォブジヱク トの最後に再生すべきビデオフレームと、 接 続先のビデオォブジヱク トの最初に再生すべきビデオフレ ムが接続点 でシームレスに再生されるようにビデオデータを必要に応じて変更する ビデオデータ変更手段と、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームの再生期間が.、 ビデオフレームの接続点の時刻 を含み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーデ ィォフレームの再生期間が、 接続点の時刻を含むように、 オーディオフ レームの編集点を決定する編集点決定手段と、 接続点を含んで、 最後に 再生すべきオーディオフレームと、 最初に再生すべきオーディオフレー ムのオーバーラップ時間を計算するオーバーラップ時間計算手段と、 少 なく ともオーバ一ラップ時間を管理情報として記録媒体に記録する記録 手段と、 を有する構成としたものである。

この発明では、 複数のビデオォブジェク トのそれぞれ一部または全部 を接続して再生する再生シーケンス.を指定可能なように記録媒体に記録 するに際し、 接続元のビデオォプジヱク トの最後に再生すべきビデオフ レームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレ ームが接続点でシームレスに再生されるようにビデオデータを必要に応 じて変更すると共に、 接続元のビデオオブジェク トの最後に再生すべき 'オーディオフレームの再生期間が、 ビデオフレームの接続.点の時刻を含 み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオ フレームの再生期間が、 接続点の時刻を含むように、 オーディオフレー ムの編集点を決定し、 接続点を含んで、 最後に再生すべきオーディオフ レームと、 最初に再生すべきオーディオフレームのオーバーラップ時間 を算出して管理情報として記録媒体に記録するようにしたため、 再生時 にオーバーラップ時間を計算しなくて済む。

また、 上記の目的を達成するため、 第 1 6の発明のオーディオ Zビデ. ォ記録方法は、 同期したビデオデータとオーディオデータの組をビデオ オブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であつ て、 記録すべきオーディオ信号に対し、 '窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力する第 1 のステップと、 接続 元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先 のビデオォプジヱク トの最初に再生すべきビデオフレームが接続点でシ ームレスに再生されるようにビデオデータを必要に応じて変更する第 2 のステップと、 接続元のビデオオブジェク トの最後に再生すべきオーデ ィォフレームの再生期間が、 ビデオフレームの接続点の時刻を含み、 か つ、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 接続点の時刻を含むように、 オーディオフレームの編 集点を決定する第 3のステップと、 接続点を含んで、 最後に再生すべき. ― オーディオフレームと、 最初に再生すべきオーディオフレームのオーバ 一ラップ時間を計算する第 4のステップと、 少なく ともオーバーラップ 時間を管理情報として記録媒体に記録する第 5のステップと、 を含むこ とを特徴'とする。 '

この発明では、 第 1 5の発明と同様に、 接続点を含んで、 最後に再生 すべきオーディオフレームと、 最初に再生すべきオーディオフレームの オーバーラップ時間を算出して管理情報として記録媒体に記録するよう にしたため、 再生時にォーパーラップ時間を計算しなくて済む。

また、 上記の目的を達成するため、 第 1 7の発明は、 第 1 5の発明の 記録装置により ビデオオブジェク ト及ぴ再生シーケンスを記録した記録 媒体から、 該再生シーケンスに基づいてビデオデータ及びオーディオデ —タを再生するオーディオ Zビデオ再生装置であって、 記録媒体からォ 一バーラップ時間を再生するオーバーラップ時間再生手段と、 接続点が 再生シーケンス内の最初の接続点であった場合は、 記録媒体から再生し たオーバーラップ時間を接続先のビデオオブジェク トのオーディオフレ ームを再生する際のオーディオ P T S ^フセッ ト B 間とし、 接続点が再 生シーケンス内の 2つ目以降の接続点であった場合は、 記録媒体から再 生したオーバーラップ時間と一つ前の接続点でのオーディォ P T Sオフ セッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト 時間として算出すると共に、 所定の条件において接続元のビデオォブジ ェク トの最後に再生すべきオーディオフレームが、 接続時に再生する必 要が無いことを示す所定値のオーディォドロップフラグを出力するオフ セッ ト時間算出手段と、 再生シーケンスに含まれるビデオオブジェク ト の各接続点で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置のシステムタイムクロック （S T C ) をリセッ トするリセッ ト手段と、 算出したオーディオ P T Sオフセッ ト時間に応じて、 記録媒 体から読み出したオーディオフレームの P T Sをオフセッ トするオフセ ッ ト手段と、 記録媒体から再生したビデオデータをそのビデオデータに 付随したビデオ P T Sに応じて再生するビデオデータ再生手段と'、 記録 媒体から再生したオーディオデータをオフセッ トした P T Sに応じて再 生すると共に、 オーディオドロップフラグが所定値であるときは、 接続 元のビデオオブジェク トの最後に再生すべきオーディオフレームを再生 しないように制御するオーディオフレーム再生手段と、 オーディオフレ ーム再生手段により再生されたオーディオデータに対し、 窓掛け処理と 直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーデ ィォ復号化手段と、 を有する構成としたものである。

この発明では、 再生時に記録媒体から読み出したオーバーラップ時間 に基づいて、.記録媒体から読み出した接続点が再生シーケンス内の最初 の接続点であるのか、 2つ目以降の接続点であるのかに応じて、 現接続 点でのオーディオ P T Sオフセッ ト時間として算出すると共に、 所定の 条件において所定値のオーディオドロップフラグを出力し、 算出したォ 一ディォ P T Sオフセッ ト時間に応じて、 記録媒体から読み出したォー ディオフレームの P T Sをオフセッ トするようにしたため、 再生側での オーディォデータのシームレス再生のためのオーディォ P T Sオフセッ ト時間の算出を不要にできる。

また、 上記の目的を達成するため、 第 1 8の発明のオーディオ ビデ ォ再生装置は、 第 1 7の発明におけるオフセッ ト時間算出手段を、 算出 した接続点でのオーディオ P T Sオフセッ ト時間が、 オーディオフレー ム期間の n倍 （ただし、 nは 1又は 1ノ 2 ) の期間よりも大きい場合に は、 該オーディォ P T Sオフセッ ト時間からオーディオフレーム期間を 減じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共 に、 接続元のビデオオブジェク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要が無いことを示す所定値のオーディオドロ ップフラグを出力する手段と'したことを特徴とする。

この発明では、 接続点以降のオーディオフレームとビデオフレームと の同期ずれは、 1オーディオフレーム期間以内又は ± 0 . '5オーディオフ レーム期間以内の、 基本的にリ ップシンクずれとして検知できない量と することができる。

また、 上記の目的を達成するため、 第 1 9の発明のオーディオ Zビデ ォ再生方法は、 第 1 6の発明により ビデオオブジェク ト及ぴ再生シーケ ンスを記録した記録媒体から、 該再生シーケンスに基づいてビデオデ'一 タ及ぴオーディォデータを再生するオーディオ /ビデオ再生方法であつ て、 記録媒体からォ バーラップ時間を再生す.る第 1 のステップと、 接 続点が再生シーケンス内の最初の接続点であった場合は、 記録媒体から 再生したォーパーラップ時間を接続先のビデオォブジェク トのォ ディ オフレームを再生する際のオーディオ P T Sオフセッ ト時間とし、 接続 点が再生シーケンス内の 2つ目以降の接続点であった場合は、 記録媒体 から再生したオーバーラップ時間と一つ前の接続点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現接 点でのオーディオ P T Sオフ セッ ト時間として算出すると共に、 所定の条件において接続元のビデオ オブジェク トの最後に再生すべきオーディオフレームが、 接続時に再生 する必要が無いことを示す所定値のオーディオドロップフラグを出力す る第 2めステップと、 再生シーケンスに含まれるビデオォブジ.エタ トの 各接続点で接続対象のビデオフレーム同士をシームレスに接続するよう に、 装置めシステムタイムク ロ ック （S T C ) をリセッ トする第 3 のス テツプと、 算出したオーディオ P T Sオフセッ ト時間に応じて、 記録媒 体から読み出したオーディオフレームの P T Sをオフセッ トする第 4の ステップと、 記録媒体から再生したビデオデータをそのビデオデータに 付随したビデオ P T Sに応じて再生する第 5のステップと、 記録媒体か ら再生したオーディォデータを第 4のステップでオフセッ トした P T S に応じて再生すると共に、 第 3のステップで出力したオーディオドロッ プフラグが所定値であるときは、 接続元のビデオオブジェク トの最後に 再生すべきオーディオフレームを再生しないように制御する第 6 のステ ップと、 第 6のステップにより再生されたオーディオデータに対し、 窓 掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力 する第 7のステップと、 を含むことを特.徴する。

この発明は、' 第 1 7の発明と同様に、 記録媒体から読み出したオーバ ーラップ時間に基づいて、 現接続点でのオーディォ P T Sオフセッ ト時 間として算出し、 その算出したオーディオ P T Sオフセッ ト時間に応じ て、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ ト するようにしたため、 再生側でのオーディォデータのシームレス再生の ためのオーディオ P T Sオフセッ ト時間の算出を不要にできる。

また、 上記の目的を達成するため、 第 2 0の発明のオーディオ/"ビデ ォ再生方法は、 第 1 9の発明の第 2のステップを、 算,出した接続点での オーディォ P T Sオフセッ ト時間力 、オーディオフレーム期間の n倍（た だし、 nは 1又は 1 / 2 ) の期聞よりも大きい場合には、 オーディオ P T Sオフセッ ト時間からオーディオフレーム期間を減じた値を最終のォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 接続元のビデオ オブジェク トの最後に再生すべきオーディオフレームが、 接続時に再生 する必要が無いことを示す所定値のオーディオドロップフラグを出力す ることを特徴とする。

更に、 上記の目的を達成するため'、 第 2 1の発明のオーディオ/ビデ ォ再生プログラムを、 第 1 6の発明のオーディオ ビデオ記録方法によ り ビデオオブジェク ト及び再生シーケンスを記録した記録媒体から、 該 再生シーケンスに基づいてビデオデータ及ぴオーディオデータを再生す るオーディオ ビデオ再生方法をコンピュータに実行させるオーディオ /ビデオ再生プログラムとしたものである。 また、 上記の目的を達成するため、 第 2 2の発明のオーディオ/ビデ ォ記録装置は、 同期したビデオデータとオーディオデータの組をビデオ ォブジェク トと して記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ ビデオ記録装置であつ て、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、 接続元のビデオォブジヱク トの最後に再生すべきビデオフレームと、 接 続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続点 でシームレスに再生されるようにビデオデータを必要に応じて変更する ビデオデータ'変更手段と、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームの再生期間が、 ビデオフレームの接続点の時刻 を含み、 かつ、 接続先のビデオォブジェク トの最初に再生すべきオーデ ィォフレームの再生期間が、 接続点の時刻を含むように、 オーディオフ レームの編集点を決定する編集点決定手段と、 接続点を含んで、 最後に 再生すべきオーディオフレームと、 最初に再生すべきオーディオフレー ムのオーバーラップ時間を計算するオーバーラップ時間計算手段と、 接 続点が再生シーケンス内の最初の接続点であった場合は、 オーバーラッ プ時間を接続先のビデオォブジヱク トのオーディオフレームを再生する 際のオーディオ P T Sオフセッ ト時間とし、 続点が再生シーケンス内 の 2っ目以 の接続点であった場合は、 ォーパーラップ時間と一つ前の 接続点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現接続点 でのオーディオ P T Sオフセッ ト時間として算出するオフセッ ト時間算 出手段と、 少なく ともオーディオ P T Sオフセッ ト時間を管理情報とし て記録媒体に記録する記録手段と、 を有する構成としたものである。 この発明では、 複数のビデオオブジェク トのそれぞれ一部または全部 を接続して再生する再生シーケンスを指定可能なように記録媒体に記録 するに際し、 接続元のビデオオブジェク トの最後に再生すべきビデオフ レームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレ ームが接続点でシームレスに再生されるようにビデオデータ'を必要に応 じて変更すると共に'、 接続元のビデオオブジェク トの最後に再生すべき オーディオフレームの再生期間が、 ビデオフレームの接続点の時刻を含 み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオ フレームの再生期間が、 接続点の時刻を含むように、 オーディオフレー ムの編集点を決定し、 接続点が再生シーケンス内の最初の接続点であつ た場合は、 オーバーラップ時間を接続先のビデオォブジェク トのオーデ ィオフレームを再生する際のオーディオ P T Sオフセッ ト時間とし、 接 続点が再生シーケンス内の 2つ目以降の接続点であった場合は、 オーバ ーラップ時間と一つ前の接続点でのオーディオ P T Sオフセッ ト時間を 加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算 出して管理情報として記録媒体に記録するようにしたため、 接続点以降 のオーディオフレームと ビデオフレームとの同期ずれを、 基本的にリ ッ プシンクずれとしで検知できない量とすることができる。

また、 上記の目的を達成するため、 第 2 3の発明のオーディオ ビデ ォ記録装置は、 第 2 2の発明のオフセッ ト時間算出手段を、 算出した接 続点でのオーディォ P T Sオフセッ ト時間が、 オーディオフレーム期間 の ' n倍 （ただし、 nは 1又は 1ノ2 ) の期間よりも大きい場合には、 ォ 一ディォ P T Sオフセッ ト時間からオーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 接続 元のビデオオブジェク トの最後に再生すべきオーディオフレームが、 接 続時に再生する必要が無いことを示す所定値のオーディオドロップフラ グを出力する手段とし、 記録手段は、 オーディオ P T Sオフセッ ト時間 とオーディオドロップフラグを管理情報として記録媒体に記録すること を特徴とする。 この発明では、 接続点以降のオーディオフレームとビデ オフレームとの同期ずれは、 1オーディオフ レーム期間以内又は ± 0 . 5オーディオフレーム期間以内の、 基本的にリ ップシンクずれとして検 知できない量とすることができる。

また、 上記の目的を達成するため、 第 2 4の発明のオーディオ Zビデ ォ記録方法は、 同期したビデオ'データとオーディオデータの組をビデオ オブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または垒部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であつ て、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力する第 1 のステップと、 接続 元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先 のビデオオブジェク トの最初に再生すべきビデオフレームが接続点でシ ームレスに再生されるようにビデオデータを必要に応じて変更する第 2 のステップと、 接続元のビデオォブジヱク トの最後に再生すべきオーデ ィォフレームの再生期間が、 ビデオフレームの接続点の時刻を含み、 か つ、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 接続点の時刻を含むように、 オーディオフレームの編 集点を決定する第 3のステップと、 接続点を含んで、 最後に再生すべき オーディオフレームと、 最初に再生すべきオーディオフレームのオーバ ーラップ時間を計算する第 4のステップと、 接続点が再生シーケンス內 の最初の接続点であった場合は、 オーバーラップ時間を接続先のビデオ ォブジヱク トのオーディオフレームを再生する際のオーディォ P T Sォ フセッ ト時間とし、 接続点が再生シーケンス内の 2つ目以降の接続点で あった場合は、 オーバーラップ時間と一つ前の接続点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現接続点でのオーディォ P T Sォ フセッ ト時間として算出する第 5のステップと、 少なく ともオーディォ P T Sオフセッ ト時間を管理情報として記録媒体に記録する第 6 のステ ップと、 を含むこどを特徴とする.。 この発明では、 第 2 2の発明のォー ディオ ビデオ記録装置と同様に、 接続点以降のオーディオフレームと ビデオフレームとの同期ずれを、 基本的にリ ップシンクずれとして検知 できない量とすることができる。 、―.

また、 上記の目的を達成するため、 第 2 5の発明のオーディオ/ビデ ォ記録方法は、 第 2 4の発明の第 5のステップを、 算出した接続点での オーディオ P T Sオフセッ ト時間が、オーディオフレーム期間の n倍（た だし、 nは 1又は 1 / 2 ) の期間よりも大きい場合には、 オーディオ P T Sオフセッ ト時間からオーディオフレーム期間を減じた値を最終のォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 接続元のビデオ オブジェク トの最後に再生すべきオーディオフレームが、 接続時に再生 する必要が無いことを示す所定値のオーディオドロップフラグを出力す るステップとし、 第 6のステップは、 オーディオ P T Sオフセッ ト時間 とオーディオドロ ップブラグを管理情報と して記録媒体に記録すること を特徴とする。 この発明は、 第 2 3の発明のオーディオ/ビデオ記録装 置と同様に、 接続点以降のオーディオフレーム;とビデオフレームとの同 期ずれは、 1オーディオフレーム期間以内又は ± 0 . 5オーディオフレー ム期間以内の、 基本的にリ ップシンクずれとして検知できない量とする ことができる。 また、 上記の目的を達成するため、 第 2 6の発明のオーディオ Zビデ ォ再生装置は、 第 2 2又は第 2 3の発明の記録装置により ビデオォブジ エタ ト及び再生シーケンスを記録した記録媒体から、 再生シーケンスに 基づいてビデオデータ及ぴオーディオデータを再生するオーディオ Zビ デォ再生装置であって、 再生シーケンスに含まれるビデオオブジェク ト の各接続点で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置のシステムタイムクロック （S T C ) をリセッ トするリセッ ト手段と、 記録媒体から読み出したオーディオ P T Sオフセッ ト時間に 応じて、 記録媒体から読み出したオーデ ^;ィオフレームの P T Sをオフセ ッ トするオフセッ ト手段と、 記録媒体から再生したビデオデータをその

, ビデオデータに付随したビデオ P T Sに応じて再生するビデオデータ再 生手段と、 記録媒体から再生したオーディオデータをオフセッ トした P T Sに応じて再生するオーディオデータ再生手段と、 記録媒体から再生 したオーディオドロップフラグが所定値であるときは、 当該ビデオォブ ジヱク トの最後に再生すべきオーディオフレームを再生しないように制 御する ドロップ処理手段と、 オーディオデータ再生手段により再生され たオーディオデータに対し、 窓掛け'処理と直交逆変換処理を含む復号化 を行ってオーディオ信号を出力するオーディオ復号化手段と、 を有する 構成としたものである。

この発明では、 再生時に記録媒体から読み出したオーディオ P T Sォ フセッ ト時間に応じて、 記録媒体から読み出したオーディオフレームの

P T Sをオフセッ トするようにしたため、 再生側でのオーディオデータ のシームレス再生のためのオーディオ P T Sオフセッ ト時間の算出を不 要に'できる。

また、 上記の目的を達成するため、 第 2 7の発明のオーディオ Zビデ ォ再生方法は、 第 2 2又は第 2 3の発明の記録装置により ビデオォブジ エタ ト及び再生シーケンスを記録した記録媒体から、 再生シーケンスに 基づいてビデオデータ及ぴオーディォデータを苒生するオーディオノビ -デォ再生方法であって、 再生シーケンスに含まれるビデオオブジェグト の各接続点で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置のシステムタイムクロック （S T C ) をリセッ トする第 1の ステップと、 記録媒体から読み出したオーディオ P T Sオフセッ ト時間 に応じて、 記録媒体から読み出したオーディオフレームの P T Sをオフ セッ トする第 2のステップと、 記録媒^から再生したビデオデータをそ のビデオデータに付随したビデオ P T Sに応じて再生する第 3 のステツ プと、 記録媒体から再生したオーディオデータをオフセッ トした P T S に応じて再生する第 4のステップと、 記録媒体から再生したオーディオ ドロップフラグが所定値であるときは、 当該ビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 5 のス テツプと、 第 4のステップにより再生されたオーディオデータに対し、 窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出 力する第 6 のステップと、 を含むことを特徴する。

この発明では、第 2 6の発明のオーディオ Zビデオ再生装置と同様に、 再生時に記録媒体から読み出したオーディオ P T Sオフセッ ト時間に応 じて、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トするようにしたため、 再生側でのオーディオデータのシームレス再生 のためのオーディオ P T Sオフセッ ト時間の算出を不要にできる。

また、本発明の第 2 8の発明のオーディオ Zビデオ記録プログラムは、 コンピュータにより第 2 4の発明のオーディオ/ビデオ記録方法を実行 させ、 本発明の第 2 9の発明のオーディオ/ビデオ再生プログラムは、 第 2 7の発明のオーディオ/ビデオ再生方法をコンピュータにより実行 させることを特徴とする。

図面の簡単な説明

図 1は、 ビデオフレームとオーディオフレームの関係の 例を示す図 である。

図 2は、 従来の接続編集とビデオ/オーディオ再生の概念図である。 図 3は、 従来の再生装置の一例のブロック図である。

図 4は、 従来の接続編集とビデオ/オーディォ再生の別の概念図であ る。 .

図 5は、 従来における、 接続点でのオーディオ波形の一例である。 図 6は、 本発明における接続編集とビデオ/オーディオ再生の概念図 である。

図 7は、 本発明の要部のオーディォェンコードブロック及ぴオーディ ォデコ一ドブロックの一実施の形態のプロック図及び窓関数の一例を示 す図である。

図 8は、 本発明の第 1の実施の形態の接続編集とビデオ Zオーディオ 再生の概念図である。

図 9は、 本発明のオーディォ Zビデオ記録装置の実施の形態 Iのブロ ック図である。

図 1 0は、 本発明のオーディオ ビデオ記録方法の実施の形態 I のフ

'ローチャートである。 ！ 図 1 1は、 本発明のオーディオ/ビデオ再生装置の実施の形態 Iのブ ロック図である。

図 1 2は、 本発明のオーディオ/ビデオ再生方法の実施の形態 I のフ ローチャートである。

図 1 3は、 オーディオバッファ占有量を考慮した場合の、 本発明の記 録方法の一実施の形態のフローチヤ一トである。

図 1 4は、 オーディオバッファ占有量を考慮した場合の、 本発明の編 集方法の一実施の形態のフローチャートである。

図 1 5は、 本発明の第 2の実施の形態の接続編集とビデオ/オーディ ォ再生の概念図である。

図 1 6は、 本発明のオーディオ Zビデオ記録装置の実施の形態 Πのブ 口ック図である。

図 1 7は、 本発明のオーディオ Ζビデオ記録方法の実施の形態 Πのフ 口一チャートである。 '

図 1 8は、 本発明のオーディオ Ζビデオ再生装置の実施の形態 Πのブ ロック図である。

図 1 9は、 本発明のオーディオ Ζビデオ再生方法の実施の形態 Πのフ ローチャートである。

図 2 0は、 本発明のオーディオ Ζビデオ記録装置の実施の形態 mのブ 口ック図である。

図 2 1は、 本焭明のオーディオ ビデオ記録方法の実施の形態 HIのフ ローチャートである。 図 2 2は、 本発明のオーディオ Zビデオ再生装置の実施の形態 mのブ ロック図である。

図 2 3は、 本発明のオーディオ ビデオ再生方法の実施の形態 mのフ ローチャートである。

発明を実施するための最良の形態 以下、 図面を参照して本発明の実施の形態について説明する。

図 6は本発明になるオーディオ/ビデオ記録装置、 記録方法、 再生装 置、 再生方法及び再生プログラムの一実施の形態における接続編集とビ デォ /オーディオ再生の例を示す。 同図中、 図 2と同一部分には同一符 号を付し、 'その説明を省略する。 図 6め実施の形態は図 2の従来例と同 様に、 VOB ( i ) の時刻 Xから VOB ( j ) の時刻 Yへ接続する例で あるが、 本実施の形態では、 以下の 2つの点が従来例と異なる。

( 1 ) 接続編集後に VOB ( i ) で有効な最後のオーディオフレー ムは、 時刻 Xを含むオーディオフレームである （オーディオフレームの 再生終了時刻が時刻 Xと等しい場合 （* 1 ) を含む。）。 同様に、 接続編 集後に VOB ( j ) で有効な最初のオーディオフレームは、 時刻 Yを含 むオーディオフレームである （オーディオフレームの再生開始時刻が時 刻 Yと等しい場合 （ * 2 ) を含む）。 つまり、 接続後の Z点において、 V OB ( i ) の最後のオーディオフレームと V O B ( j ) の最初のオーデ ィォフレームがオーバーラップする。 図 6に O Lで示すオーバーラップ 部分を、本明細書ではオーディオオーバーラップ （A— o v e r l a ) と呼ぶものとする。 なお、 上記の * 1 と * 2が同時に満足される場合に は、 A— o v e r l a pはゼロとなる。

( 2) V O B ( j ) のオーディオ再生においては、 上記 A— o v e r 1 a pをキャンセルする分だけオーディオフレームの再生時刻 （P T

S ： Presentation Time Stamp) をオフセッ トして再生する。 このォ フセッ ト量を、 本明細書ではオーディオ P T Sオフセッ ト （A— P T S — o f f s e t ) と呼ぶものとする。

このように本実施の形態では、 後続の VOBのオーディオフレームを オフセッ トし、 接続点付近で、 オーディオフレームのギャップを無く し て接続することができ、 上記問題点の 1つが解決される。

更に、—接続点での不連続ノィズを生じさせないため、 本実施の形態で は、 オーディオ符号化方式の選択に工夫を行う。

図 7の （A ) は本発明になるオーディオ Zビデオ記録装置及び再生装 置のオーディオェン ードブロック及ぴオーディォデコード、ブロックの —実施の形態のプロック図を示す。

図 7の （A ) に示すように、 オーディオエンコードブロックでは、 入 力オーディオ信号は、 窓掛け部 1 1において窓関数との乗算による窓掛 け処理された後、 直交変換部 1 2に供給'されて直交変換され、 更に量子 化 Z符号化部 1 3に供給されて所定サンプリング周波数に基づいて量子 化された後、 所定の方式の圧縮符号化が行われる。 これにより得られた 圧縮符号化オーディオデータは、 図示しないビデオデータ記録系で圧縮 符号化されたビデオデータと共に、 図示しない多重化部で M P E Gシス テムの多重化により、 例えば M P E Gプログラムス トリームと して記録 媒体 1 4上に公知の記録手段により記録される。

一方、 記録媒体 1 4から公知の再生手段により再生された多重化ス ト リームは、 図示しない分離化部によりオーディォデータとビデオデータ に分離された後、 ビデオデータは図示しないビデオデータ再生系へ出力 され、 オーディオデータはオーディォデコ一ドプロック内の複号化 逆 量子化部 1 5に供給されて復号化される。 復号化及ぴ逆量子化されたォ 一ディォデータは、 直交逆変換部 1 6により直交逆変換された後、 窓掛 け部 1 7に供給されて所定の窓関数との乗算による窓掛け処理が行われ た後オーディオ信号に復元される。

次に、窓掛け部 1 1及ぴ 1 7で使用される窓関数について、図 7の（B ) 〜（D ) と共に説明する。各オーディオフレームの窓関数は、図 7の （C ) に示すように、 左肩を f ( χ)、 右肩を g ( X ) とした左右対称形をして いる。ここで、中央のブラ,ッ ト部分はあっても無くてもよい。図 7の（B) に模式的に示す隣り合ったオーディオフレーム （ i ) と （ i + 1 ) の間 で、 オーディオフレーム （ i ) の窓関数 g. ( X ) 部分と、 オーディオフ レーム （ i + 1 ) の窓関数 f ( X ) 部分がオーバーラップする。 .

ここで、 実際にオーディオフレーム （ i ) で符号化するオーディオサ ンプルは、 図 7の （B) に示す （ i ) レンジで示した部分であることに 注意されたい。 ェンコ一ド側の窓掛け部 1 1 とデコード側の窓掛け部 1 7で都合 2回の窓掛けを行うことを考慮すると、 上記のオーディオフレ ーム （ i ) と （ i + 1 ) のオーバーラップ部分で、

f ( x) ²+ g (x ) ²= 1 .0 · · · [式 1 ] を満たす必要がある。 このよ うな窓関数の一例としては、

f ( ) = s i n ( x ) · · · [式 2 ] g ( x ) = c o s x； · · · し式 3 ] があるが、 [式 1 ] を満足するのであれば、 どのような関数でもよい。

このよ うな窓関数を使用したオーディォ符号化方式を用いる場合、 本 来不連続なオーディオフレーム同士を接続した場合でも、 図 7の （D) に示すように、 2回の窓掛けによる f ( X ) ²と g (x) ²の窓関数によ り、 オーディオサンプル同士が滑らかに足し合わせられるので、 接続点 で不連続ノイズを生じることは無い。 従って、 2つ目の問題点が解決さ れる。 つまり、 以上により計 2つの問題点が解決され、 オーディオフレ ーム同士のシームレス接続が実現する。

く第 1の実施の形態の接続編集とビデオ オーディオ再生 >

次に、 図と関連する数式を用いて、 第 1の実施の形態について詳細に 説明する。 図 8は VOB l、 VOB 2、 V O B 3のそれぞれの一部をこ の順序で接続編集する場合のビデオ Zオーディォ記録方法及び再生方法 の第 1の実施の形態を示す （なお、 ここでは接続前の V O B 1、 VO B 2、 VO B 3の図は省略してある。 また、 便宜上、 図 8の各 VOBに含 まれるビデオ/オーディオフレーム数は少ないが、 現実には数十秒から 数時間程度に相当するフレーム群が各 VO Bに含まれ得ることに注意さ れたい。）。 なお、 図 8及ぴ後述する図 1 5において、 T_vは既に説明し たビデオフレーム周期である。

図 8において、 点線矩形で示すオーディオフレーム群は、 接続前の状 態であり、 実線矩形で示すオーディオフレーム群が、 接続後の状態であ る。 他方、 ビデオフレーム群は全て接続後の状態で表示されている。 以 下、 図 8およびこれ以降の図と共に、 本実施の形態で使用する変数類に ついてまとめて説明する。 なお、 以下の kは正の整数であり、 図 8の例 では 1、 2、 3のいずれかが入る。

図 8において、 S T C kは、 VO B k再生中に使用する S T C値の力 ゥントァップを示す模式表現である。 S T C— d e l t a ^kは S T C (k — 1 ) と S T C kの差分であり、 次式で表される。

S T C— d e 1 t a ^k= S T C (k— 1 ) - S T C k · · · [式 4] また、 T_Aは、既に説明したように、 オーディオフレーム周期である。 A_ o v e r 1 a p ^kは、 既に説明し こよ う に、 VOB kと VO B ( k - 1 ) の間のオーディオフレーム同士のオーバーラップ時間である。 な お、 この例では、 VOB 1は先頭なので、 A— o v e r l a p ¹ = 0で ある。 ' '

また、 A— P T S— 0 f f s e t ^kは、 既に説明したように、 VO B k再生時のオーディオ P T Sに対する必要なオアセッ ト時間である。 な お、 この例では、 V Ο Β 1は先頭なので、 A P T S o f f s e t ¹ = 0である。 P T S ^k a u d i o— e n dは、 VO B kの、 最後のォー ディオフレームの再生開始時刻 （P T S値） である。 なお、 これは接続 編集前の値である。

P T S ^k a u d i o— s t a r tは、 VO B kの、 最初のオーディオ フレームの再生開始時刻 （P T S値） である。 なお、 これは接続編集前 の値である。 このとき、 A— o V e r 1 a p ^kは次のように計算できる。 . A— o v e r l a p ^k= (P T S ^k一¹ a u d i o一 e n d +T_A)

_ (P T S ^k a u d i o— s t a r t + S T C— d e l t a "

• · · [式 5 ] なお、 [式 5 ] の右辺第二項は、 S T C k上の時刻を S T C ( k - 1 ) 上 に写像するために、 S T C— d e 1 t a ^kを足し合わせている。

次に、 A— P T S— o f ί s e t ^kは、 基本的には A_o v e r 1 a p ^kをゼロにするように後続の VOBのオーディオフレーム群をオフセ ッ トする量であるので、 図 8の k = 2については、

A—P T S一 o f f s e t ² = A— o v e r l a p ² · · · [式 6 ] が成り立つ。 さらに、 図 8の k = 3については、 k = 2において、 既に A— P T S— o f f s e t ²の量だけ VO B 2のオーディオフ レーム群 はオフセッ トされているので、 本来の A— o V e r 1 a p ³に加えて、 A— P T S— o f f s'e t ²の分オーバーラップ量が加算される。 これ をゼロにするため、 k = 3については

A一 P T S _ o f f s e t ³

= A_o v e T 1 a p ³ + A__P T S_o f f s e t ² · · · [式 7 ] が基本的に要求される。 従って、 一般式としては、 '

A一 P T S— o f f s e t ^k - = A o v e r 1 a p ^k + A— P T S— o f f s e t ^k— ¹ …[式 8 ] が成り立つ。

但し、 ここで、 A— P T S— o f f s e t ^kがオーディオフレーム周 期 T_Aより も大きくなる場合には、 VO B ( k - 1 ) の最後のオーディ オフレームを再生から落とすことにより、 A— P T S_ o f f s e t ^k の量を減らすことができる。 図 8では、 X印で示したフレームを脱落さ せる。 この条件式を下に示す。 ここで、 AF— d r o p k-¹は、 VOB (k一 1 ) の最後のオーディオフレームを脱落させる場合に値 1を持つ (脱落させない場合は 0 )、 オーディオドロップフラグである。 図 8の例 の場合、 A F— d r o p ² = 1 となる。

I f (A— P T S— o f f s e t ^k > = T_A) {

A— P T S一 o f f s e t ^k = A— P T S一 o f f s e t ^k— T_A ; i AF_d r o ^{k_ 1} = l ;

} e 1 s e AF_d r o p ^{k_ 1} = 0 ； · · · [式 9 ] このよ う な脱落処理を行えば、 VOBの接続回数が増えた場合にも A— P T S_ o f f s e tの値が累積して過剰に大きくなるのを防ぐことが できる。

本発明では、 接続後の VO B kでオーディオフレームを本来のビデオ フレームとの同期関係から A—P T S— o f f s e t分だけずらして再 生する。 一般には、 このズレはリ ップシンクに影響を及ぼし、 ズレが 1 〜 2 ビデオフレーム周期より大きくなると、' リ ップシンクの劣化が検知 できるといわれている。 従って、 A—P T S— o f f s e t値は過剰に 大きくならない方がよい。 例えば、 オーディオフレーム周期 T_Aがビデ オフレーム周期 T_v以下であれば、 A__P T S— o f f s e tをオーデ ィォフレーム周期 T_A以内に抑えるのは有効である。 くオーディオ Zビデオ記録装置の実施の形態 I >

次に、 本発明になるオーディオ/ビデオ記録装置の実施の形態 I につ いて説明する。 図 9は、 本発明になるオーディオ/ビデオ記録装置の実 施の形態 Iのブロック図を示す。 ここでは、 複数の VOBの記録は終了 しているものと し、 それらの接続編集動作について説明する。

図 9において、 ユーザーインタフェース部 2 5、 管理情報制御部 2 6 及びオブジェク ト制御部 2 7は、 MPUブロック 2 2を構成しており、 MP U (Micro Processing Unit) のソフ トウェア処理により実現さ れる。

まず、 編集指示はユーザーインタフェース部 2 5を通じてユーザーか ら与えられる。 管理情報制御部 2 6では、' 接続編集点を対応する管理情 報を用いて確認する。 このとき、オーディオフレームの編集点は、まず、 既に説明したように、 接続点でオーディオフレームのオーバーラップが 存在するように決められる。 次に、 ビデオフレームについては必要に応 じてピクチャタイプの変換処理が行われる。 これは、 オブジェク ト制御 部 2 7、 ビデオ オーディオエンコー ドプロック 24、 媒体記録制御部 2 3を通じて行われ、 記録媒体 2 1に書き込まれる。

<オーディオノビデ、ォ記録方法の実施の形態 I 〉

次に、 オーディオシームレス接続のための計算と記録が行われる。 本 発明のオーディオ/ビデオ記録方法の実施の形態 Iのオーディオシーム レス接続のための計算と記録について、 図 1 0のフローチヤ一トを併せ 参照して説明する。 ：

まず、 管理情報制御部 2 6において、 接続対象 VOBが決定され、 か つ、 ビデオ接続点 （接続元の V O Bの最後に再生すべきビデオフレーム と、 接続先の V O Bの最初に再生すべきビデオフレームとの接続点） が 決定される （ステップ S I )。 次に、 ビデオ接続点に対応して、 ビデオピ クチャタイプの変更処理の要不要が判定され、 必要な場合は変更の具体 的準備が行われる （ステップ S 2 )。

次に、 ビデオ接続点に対応して、 オーディオフレーム編集点が決めち れる （ステップ S 3 )。 すなわち、 接続元の V O Bの最後に再生すべきォ 一ディオフレームの再生期間が、 ビデオ接続点の時刻を含むように、 か つ、 接続先の V O Bの最初に再生すべきオーディオフレームの再生期間 カ 、 ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決め られる。 最後に、 編集後の V O B (接続'点付近のデータ） が、 オブジェ ク ト制御部 2 7及び媒体記録制御部 2 3を通して記録媒体 2 1に書き込 まれる （ステップ S 4 )。 このとき、 上記の編集点の情報も管理情報とし て記録媒体 2 1に書き込まれる。 なお、 ビデオ Zオーディオエンコード ブロック 2 4中のオーディオエンコードブロックは、 図 7の （A ) のェ ンコード側の構成を有している。

なお、 図 1 0で説明した記録方法は、 図 9で説明したような専用装置 で実施可能である一方、 当該記録媒体の記録機能を有するコンピュータ 上のプログラムとしても実施可能であることに注意されたい。

くオーディオ Zビデオ再生装置の実施の形態 I >

次に、 本発明になるオーディオ Zビデオ再生装置の実施の形態 Iにつ いて説明する。 図 1 1は本発明になるオーディオ/ビデオ再生装置の実 施の形態 I のブロック図を示す。

図 1 1において、 記録'媒体 3 1には図 9に示した記録装置により編集 記録された編集後の V O Bが記録されている。 また、 ユーザーインタフ エース部 3 6、 管理情報制御部 3 7、 A— o v e r l a p計算部 3 8、 A P T S o f f s e t計算部 3 9及びオブジェク ト制御部 4 0は、 MPUブロック 4 1 を構成している。

この再生装置では、 まず、 再生指示がユーザーインタフェース部 3 6 を介して管理情報制御部 3 7に受け取られる。 再生指示では、 一般にど の再生シーケンスを再生すべきかが指定される。 再生シーケンスには、 複数の VOBを接続して再生する情報が登録されているとする。 以下、 VO Bデータ再生の基本的な手続きを示す。

再生シーケンスに登録されている VO Bの再生関連情報は、 管理情報 制御部 3 7で判定され、 オブジェク ト制御部 4 0及び媒体再生制御部 3 2を介して VOBデータが記録^体 3 1'から読み出される。 なお、 編集 点等の管理情報は、 既に記録媒体 3 1から媒体再生制御部 3 2を介して 読み出され、 M P Uブロック 4 0内のメモリ （図示しない） に常時保存 されて.いるとする。

読み出された VO Bデータは、 媒体再生制御部 3 2よりデマルチプレ クサ 3 3に供給され、 ここでビデオデータとオーディォデータに分離さ れ、 ビデオデータはビデオデコードブロック 3 4に供給され、 オーディ ォデータは図 7の （A) のデコード側として示した構成を有するオーデ ィォデコードプロック 3 5に供給され、 ビデオデータはそのビデオデー タに付随したビデオ P T Sに応じてデコードされてビデオフレームとな り、 またオーディオデータはオフセッ トした P T Sに応じてデコードさ れる。 なお、 AF一 d r o p = lの場合には、 その VO Bの最後のォー ディオフレームは再生されない。

この際、 S C Rなどのクロック情報はデマルチプレクサ 3 3で解読さ れ、 必要に応じて MP Uブロック 4 0へ渡される。 また、 S T Cなどの クロック情報は、 M P Uブロック 4 0力 ら、 デマルチプレクサ 3 3、 ビ デォデコードブロック 34及ぴオーディォデコ一ドブロック 3 5へ渡さ れ、 S T cに準拠して再生タイミングが制御される。

次に、 オーディオの再生について以下に詳細に説明する。 本実施の形 態では、 記録媒体 3 1 には前述した接続元のビデオォプジヱク トの最後 に再生すべきオーディオフレームと、 接続先のビデオオブジェク トの最 初に再生すべきオーディオフレームのオーバーラップ時間 A _ o V e r 1 a p と、 A— o v e r 1 a pをゼロにするように後.続の V O Bのォー ディオフレーム群をオフセッ トして再生するためのオフセッ ト量を示す A _ P T S— o f f s e t と力 S、記録媒体 3 1に記録されていないので、 再生側で計算して用いる。

すなわち、 A— o V e r 1 a p計算部 3 8は、 管理情報制御部 3 7に 入力された再生シーケンスの情報から得た編集点での情報を、 前述した.

[式 5 ] に代入して、 オーバーラップ時間 A— o v e r l a pを計算す る。 また、 A— P T S _ o f f s e t計算部 3 9は、 A— o v e r 1 a p計算部 3 8により計算された接続点での A— o v e r 1 a pが管理情 報制御部 3 7を介して入力されて A—P T S— o f f s e t を計算する。

A _ P T S _ o f f s e t計算部 3 9は、 入力きれた A _ o v e r 1 a に基づいて、 [式 8 ]の演算式により A— P T S— o f f s e t を算 出し、 更に [式 9 ] の条件式に基づいて A F— d r o pを算出し、 これ らを管理情報制御部 3 7に供給する。 管理情報制御部 3 7は入力された A— P T S _ o f f s e t及ぴ A F— d r o をオーディォデコ一ドブ ロ ック 3 5へ供給し、 オーディオフレームの再生タイミングを A— P T S— o f f : s e tの分だけオフセッ トして再生する。 また、 A F— d r o p = 1の場合には、 その V O Bの最後のオーディオフレームを再生し ないように制御する。

<オーディオ/ビデオ再生方法の実施の形態 I > 次に、本発明のオーディオ/ビデオ再生方法の実施の形態 I について、 図 1 2のフローチャートと共に説明する。

まず、 再生すべきシーケンスが決定され、 そのシーケンスに含まれる VO Bの情報が確認される （ステップ S 1 1 )。 続いて、 VO B接続点毎 に、 A— o v e r l a 計算部 3 8により接続点での A—ひ v e r 1 a pを計算し、 更にこの A— o v e r 1 a に基づき A— P T S_o f f s e t計算部 3 9により A— P T S— o f f s e t (及び AF— d r o p ) を計算する （ステップ S 1 2 )。

続いて、 VOBの再生開始と同時または直前に、 シームレス接続を可 能にするように、 S T Cがリセッ トされると共に、 A— P T S— o-f f s e t計算部 3 9により計算された A— P T S _ o f . f s e t (及ぴ A F_ d r o p )が、オーディォデコ一ドブロック 3 5へセッ トされる （ス テツプ S 1 3 )。

その後 VOBデータが実際に記録媒体 3 1から読み出され、 媒体再生 制御部 3 2及ぴデマルチプレクサ 3 3を経てビデオデータはビデオデコ 一ドブロック 34に供給され、 オーディォデータはオーディォデコ一ド ブロック 3 5に供給され、 それぞれデコードされ、 ビデオフレーム及び オーディオフレームが再生される （ステップ S 1 4)。 AF— d r o p = 1の場合、 VOBの最後のオーディオフレームは再生されないように処 理される （ステップ S 1 5 )。

このようにして再生されたオーディオフレームは、 オーディォデコ一 ドブロック 3 5内の図 7の （A) に示したデコーダにより窓掛け処理と 直交逆変換処理を含む符号化がされてオーディオ信号として出力される。 続いて、 再生シーケンス中の全 VOBに対して上記の処理が実施された かどうか判定し （ステップ S 1 6 )、 最後の VOBであれば、 再生を終了 する （ステップ S I 7 )。

なお、 図 1 2で説明した再生方法は、 図 1 1で説明したような再生装 置で実施可能である一方、 当該記録媒体の再生機能を有するコンビユー タ上のプログラムと しても実施可能であることに注意されたい。

このようにして、 本実施の形態によれば、 ビデオフレームのシームレ ス接続に加えて、 オーディオフレームも接続点での不連続ノィズを発生 させること無くシームレスに接続することができる。

次に、 図 1 1の再生装置に関し、 オーディオデコードブロック 3 5に 含まれるオーディオバッファ （図示しない） について説明する。一般に、 必要となるオーディォバッファの量は、オーディオ符号化方式の種類と、 運用するときのビッ トレートなどによって決定される。 本発明の第 1の 実施の形態では、 オーディォパッファからオーディオデコーダへのデー タ転送が、 最大 1オーディオフレーム周期分遅れる。 従って、 本発明に 必要なオーディオバッファの量は、 本発明を適用しない 「A— P T S— o f f s e t = 0」 の場合のオーディォバッファ量に、 1オーディオフ レーム分のデータ量を加えた量になる。

従って、 オーディオバッファサイズに上限を設ける場合においては、 オーディオス トリームを含む V O Bの記録時に、 オーディォバッフアサ ィズ上限から 1オーディオフレーム分のデータ量を減じたバッファ占有- 量を上限として、 オーディオデータを多重化しておけば、 再生時に最大 1オーディオフレーム周期分遅れて再生した場合でも、 オーディォバッ ファのオーバーフローを生じさせないで済む。 'この場合、 オーディオバ ッファ占有量が （オーディォパッフアサイズ上限一 1オーディオフレー ム分のデータ量） を超えないで多重化されたことを示すフラグ （ここで は、 a u d i o m u x s t a t u s フラグとする） をディスク上に 記録しておけば、 本発明のオーディオシームレス接続を構成する場合の 指標となり得る。

図 1 3は、 a u d i o— m u x— s t a t u sブラグを考慮して VO Bを記録する場合の、 本発明のオーディォ /ビデオ記録方法の一実施の 形態のフローチャートを示す。 ここでは、 オーディオバッファサイズ占 有量が （オーディォパッフアサイズ上限一 1オーディオフレームのデー タ量） 以下であるように多重化された場合、 a u d i o _m u x_ s t a t u s = l と し、 そうでない場合 0 と定義する。

以下、 上記の記録方法について図 1 3及ぴ図 9を併せ参照して説明す る。 まず、 M P Uプロック 2 2,内の管理情報制御部 2 6が、 このオーデ ィォバッファ条件 （所定のオーディオ多重化状態） を満足するように多 重化するかどうかを決定する （図 1 3のステップ S 2 1 )。 このとき、 必 要に応じてユーザーィンタフェース部 2 5を解してユーザーの指示を受 ける。

上記の条件を満足させる場合、 管理情報制御部 2 6から条件満足の通 知を受けたォブジェク ト制御部 2 7からの指示により、 ビデオ/オーデ ィォェンコードプロック 2 4はオーディォバッファ占有量が規定のォー ディォバッファ上限から 1オーディオフレームのデータ量を減じた値以 下であるように、 オーディオデータをビデオデータと多重化し、 その多 重化して得られた VO Bを媒体記録制御部 2 3を介して記録媒体 2 1に 記録する （図 1 3のステップ S 2 2 )。 また、 管理情報制御部 2 6はォー ディォ多重化状態を示す a u d i o— m u x— s t a t u sフラグを 1 とし、 他の管理情報と共に媒体記録制御部 2 3を介して記録媒体 2 1に 記録する （図 1 3のステップ S 2 3 )。

他方、 ステップ S 2 1でオーディオバッファ条件を満足させない （ま たは条件を.満足することを保障しない） と管理情報制御部 2 6が判断し た場合、 管理情報制御部 2 6から条件満足の否定通知を受けたオブジェ ク ト制御部 2 7からの指示により、 ビデオ/オーディォェンコードブロ ック 2 4で通常のオーディオバッファ条件により得られた VOBが媒体 記録制御部 2 3を介して記録媒体 2 1に記録ざれる （図 1 3のステップ S 2 4)。 また、 管理情報制御部 2 6により他の管理情報と共に作成され た、 値が 0に設定された上記の a u d i o _m u x _ s t a t u sフラ グが、 媒体記録制御部 2 3を介して記録媒体 2 1に記録される （図 1 3 のステップ S 2 5 )。

図 1 4は、 a u d i o— m u x _ s t a t u sフラグを考慮して V O Bを編集する場合の、 本発明のオーディォ /ビデオ編集方法の一実施の 形態のフローチャートを示す。 図 1 0 と同様に、 図 9の管理情報制御部 2 6において、 接続対象 V O Bが決定され、 かつ、 ビデオ接続点 （接続 元の V O Bの最後に再生すべきビデオフレームと、 接続先の V O Bの最 初に再生すべきビデオフレームとの接続点） が決定される （図 1 4のス テツプ S 3 1 )。 続いて、 ビデオ接続点に対応して、 ビデオピクチャタイ プの変更処理の要不要が判定され、 必要な場合は変更の具体的準備が行 われる （図 1 4のステップ S 3 2 )。

次に、 ビデオ接続点が決定された後、 図 9の媒体記録制御部 2 3を介 して記録媒体 2 1から読み出した管理情報内の接続対象の VO Bに関違 する a u d i o _,m u x _ s t a t u s フラグの値が 1であるか否かを 管理情報制御部 2 6が確認する （図 1 4のステップ S 3 3)。 a u d i o — m u x_ s t a t u s フラグの値が 1の場合、 本発明に従ってオーデ ィ'ォオーバーラップとなるようにオーディオフレーム編集点を決定する (図 1 4のステップ S 3 4)。 a u d i o mu x s t a t u sフラグ の値が 0の場合、 従来技術に従ってオーディオギャップとなるようにォ 一ディオフレーム編集点を決定する （図 1 4のステップ S 3 5 )。

ステップ S 3 4又は S 3 5の処理後に、 編集後の VO B (接続点付近 のデータ） 力 S、 オブジェク ト制御部 2 7及ぴ媒体記録制钾部 2 3を通し て記録媒体 2 1に書き込まれると共に、 編集点の情報も管理情報として 記録媒体 2 1に書き込まれる （図 1 4のステップ S 3 6 )。 '

なお、 上記第 1の実施の形態において、 編集後のデータ （ビデオデー タ、 オーディオデータ） の記録場所については、 使用する記録メディア や前提とする再生装置に依存するシーク条件などを考慮した場合に、 シ ームレス再生が保障できる限りにおいて、特に本発明として限定しない。 つまり、 データの記録場所の如何にかかわらず、 実質的にオーディオォ 一パーラップを持って編集データが構成され、 オーディオ P T Sオフセ ッ トを持って再生可能な場合には、 本発明の趣旨を満足する。

<第 2の実施の形態の接続編集とビデオ Zオーディオ再生〉

次に、 本発明の第 2の実施の形態について、 第 1の実施の形態との相 違点を中心に説明する。 図 8 接続編集とビデオ/オーディオ再生の概 念を示した第 1の実施の形態では、 A_P T S_o f f s e tの値が常 にゼロ以上 （時間遅れ） になる。 これに対し、 図 1 5に示す第 2の実施 の形態では、 A— P T S— o f f s e tの値が負になること （時間進み） も許容する。 言い換えると、 第 1の実施の形態では、 基本的に 0≤A— P T S_ o f f s e t く T_Aとなるようにしたが、 第 2の実施の形態で は、 基本的に一 0 . 5 X T _Aく A一 P T S_o f f s e t ≤ 0 j 5 X T _A (又は一 0 .5 X T_A≤ A_P T S— o f f s e t < 0 . 5 X T_A) となる 場合の例である。

第 2の実施の形態も、 [式 4]〜 [式 8 ]はそのまま適用できるが、 [式 9 ]は上述のように、 A— P T S_o f f s e tの値域を規定するため、 以下の式と置き換えられる。

I f (A— P T S— o f f s e t ^k > 0 .5 X T _A) {

A— P T S— o f f s e t ^k = A_P T S_ o f f s e t ^k一 T_A ; AF_d r o p ^{k - 1} = l ；

} e 1 s e AF一 d r o p ^k— · · · [式 1 0] ここで、 図 1 5における計算を更に説明する。 図 1 5の第一の接続点 では、 まず [式 6] により、 A—P T S— o f f s e t ² = A_ o v e r 1 a p ²となるが、 この例では A— P T S— o f f s e t ²力 S 0 .5 X T_Aよりも大きいので、 [式 1 0 Γの I f 文が真になり、 A— P T S— o f f s e t ²は負の値になる （オフセッ トが時間進みになる）。 同時に、 A F— d r o p ¹ = 1 となる。 つまり、 V O B 1の最後のオーディオフ レームが再生から脱落される。 図 1 5には脱落済みの状態が図示されて いる。

次に、 図 1 5の第二の接続点では、 [式 7 ] により A— P T S— o f f s e t ³は、 A— o v e r 1 a p ³と A一 P T S— o f f s e t ²の禾口と じて計算される。 この例では A— P T S— o f f s e t ²が負の値であ るので、 A— P T S— o f f s e t ³は、 A— o v e r 1 a p ³よりも小 さな値となる。 なお、 A—P T S— o f f s e t ^ 、 0 .5 XT_Aより も小さいので、 [式 1 0 ] の I f 文が偽になり、 A— P T S— o f f s e t ³は正の値になる （オフセッ トが時間遅れになる）。 同時に、 AF— d r o p ²= 0 となる。

第 2の実施の形態の上記以外の構成は、 第 1の実施の形態と同じであ る。 つまり、 図 9、 図 1 0、 図 1 1、 図 1 2で示した、 記録 編集装置 及び方法、 再生装置及ぴ再生方法のように、 再生時に VOB接続点毎に A— o v e r 1 a pを計算し、 更にこの A— o v e r 1 a pに基づき A — P T S— o f f s e t (及ぴ A F— d r o p ) を計算し、 計算した A — P T S— o f f s e ΐ (及ぴ A F一 d r o p ) をオーディォデコ一ド ブロック 3 5に供給し、 オーディオフレームの再生タイミングを A— P T S_ o f f s e tの分だけオフセッ トして再生するように制御し、 ま た、 A F— d r o p = lの場合には、 その V O Bの最後のオーディオフ レームを再生しないように制御する。

このようにして、 本実施の形態も第 1の実施の形態と同様に、 ビデオ フレームのシームレス接続に加えて、 オーディオフレームも接続点での 不連続ノィズを発生させること無くシームレスに接続することができる。 また、 本実施の形態も、 第 1の実施の形態と同様に、 編集方法や再生方 法がコンピュータ上のプログラムとしても実施できる。

次に、 図 1 1の再生装置に関し、 オーディォデコ一ドブロック 3 5に 含まれるオーディォバッファ （図示しない）について説明する。一般に、 必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、 運用するときのビッ トレートなどによって決定される。 本発明の第 1の 実施の形態では、 オーディォパッファからオーディォデコーダへのデー タ転送が、 最木 1オーディオフレーム周期分遅れる。 従って、 本発明に 必要なオーディオバッファの量は、 本発明を適用しない 「A— P T S— o f f s e t = 0」 の場合のオーディォバッファ量に、 1オーディオフ レーム分のデータ量を加えた量になる。

一方、 第 2の実施の形態の場合も、 最大 0 . 5オーディオフレーム周 期遅れを考慮すると、 必要なオーディオバッファの量は、 本発明を適用 しない 「 A— P T S— o f f s e t = 0」 の場合のオーディォパッファ 量に、 1オーディオフ レーム分のデータ量を加えた量になる。 さらに、 第 2の実施の形態の場合は、 最大 0 . 5オーディオフレーム周期早くォ 一ディォパッファからオーディォデコーダへのデータ転送が行われるこ とを考慮すると、 V O Bの作成時に、 再生時のオーディオバッファ占有 量が常に 1オーディオフレームデータ量以上になるような多重化を行う 必要がある。

従って、 オーディォバッファサイズに上限を設ける場合においては、 オーディオス トリームを含む V O Bの記録時に、 オーディォパッフアサ ィズ上限から 1オーディオフレーム分のデータ量を減じたバッファ占有 量を上限として、 オーディオデータを多重化しておけば、 再生時に最大 0 . 5オーディオフレーム周期分遅れて再生した場合でも、 オーディオ バッファのオーバーフローを生じさせないで済む。 この場合、 オーディ ォバッファ占有量が （オーディオバッファサイズ上限 _ 1オーディオフ レーム分のデータ量） を超えないで、多重化されたことを示すフラグ（こ こでは、 a u d i o _ m u x _ s t a t u sフラグとする） をディスク 上に記録しておけば、 本発明のオーディオシームレス接続を構成する場 合の指標となり得る。

更に、 第 2の実施の形態の場合には、 オーディオバッファ占有量が常 に 1オーディオフレームのデータ量以上になるように多重化されている ことを示すフラグを準備すれば、 この実施の形態に応じてオーディオシ ームレス接続を構成する場合の指標となり得る。 このフラグと先の a u d i o— m u x— s t a t u s フラグは、 別のフラグでもよレヽし、 同一 のフラグで兼ねてもよい。 第 2の実施の形態の場合にも、 オーディオバ i ッファ条件に、 オーディォパッファ占有量が常に 1オーディオフレーム のデータ量以上になるという条件が加わることを除いて、 図 1 3 と図 1 4と同じ処理ステップで記録と編集が可能である。 なお、 編集後のデータ （ビデオデータ、 オーディオデータ） の記録場 所については、 使用する記録メディァゃ前提とする再生装置に依存する シーク条件などを考慮した場合に、 シームレス再生が保障できる限りに おいて、 特に本発明として限定しない。 つまり、 データの記録場所の如 何にかかわらず、 実質的にオーディオオーバーラップを持って編集デー タが構成され、 オーディオ P T Sオフセッ トを持って再生可能な場合に は、 本発明の趣旨を満足する。

<オーディオ Zビデオ記録 Z再生の他の実施の形態 >

次に、 先に説明した本発明になるオーディオ ビデオ記録装置 方法 及び再生装置 Z方法のその他の実施形態について説明する。

<オーディオ/ビデオ記録装置の実施の形態 π >

図 1 6は本発明になるオーディオ Zビデオ記録装置の実施の形態 Πの ブロック図を示す。 ここでは、 複数の VOBの記録は終了しているもの とし、 それらの接続編集動作について説明する。

図 1 6において、 ユーザーインタフェース部 4 5、 管理情報制御部 4 6、 A— o v e r l a p計算部 4 7、 及びオブジェク ト制御部 4 8は、 丄IPUフ 口 ック 4 ム ¾f構成し飞ぉ り'、] P u (Micro Process ingUni t) のソフ トウェア処理により実現される。

まず、 編集指示はユーザーィンタフヱース部 4 5を通じてユーザーか ら与えられる。 管理情報制御部 4 6では、 接続編集点を対応する管理情 報を用いて確認する。 このとき、オーディオフレームの編集点は、先ず、 既に説明したように、 接続点でオーディオフレームのォーパーラップが 存在するように決められる。 次に、 ビデオフレームについては必要に応 じてピクチャタイプの変換処理が行われる。 これは、 オブジェク ト制御 部 4 8、 ビデオ オーディオエンコー ドプロック 44、 媒体記録制御部 4 3を通じて行われ、 記録媒体 4 1に書き込まれる。

<オーディオ/ビデオ記録方法の実施の形態 Π >

次に、 オーディオシームレス接続のための計算と記録が行われる。 本 発明のオーディオ Zビデオ記録方法の実施の形態 πのオーディオシーム .レス接続のための計算と記録について、 図 1 7のフローチャートを併せ 参照して説明する。

まず、 管理情報制御部 4 6において、 接続対象 V O Bが決定され、 か つ、 ビデオ接続点 （接続元の V O Bの最後に再生すべきビデオフレーム と、 接続先の V O Bの最初に再生すべきビデオフレームとの接続点） が 決定される （ステップ S 4 1 )。 次に、 ビデオ接続点に対応して、 ビデオ ピクチャタイプの変更処理の要不要が判定され、 必要な場合は変更の具 体的準備が行われる （ステップ S 4 2 )。

次に、 ビデオ接続点に対応して、 オーディオフレーム編集点が決めら れる （ステップ S 4 3 )。 すなわち、 接続元の V O Bの最後に再生すべき オーディオフレームの再生期間が、 ビデオ接続点の時刻を含むように、 かつ、 接続先の V O Bの最初に再生すべきオーディオフレームの再生期 間が、 ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決 められる。

続いて、 A— o v e r l a 計算部 4 7において、 前述した A— o v e r 1 a pの計算が行われる （,ステップ S 4 4 )。 最後に、 編集後の V O B (接続点付近のデータ）、 計算された A— o V e r 1 a と再生シーケ ンス等の管理情報が、 オブジェク ト制御部 4 8及び媒体記録制御部 4 3 を通して記録媒体 4 1に書き込まれる （ステップ S 4 5 )。 再生シーケン スには、再生すべき V O Bの情報、接続点の情報などが含まれる。なお、 ビデオ/オーディォェンコードプロック 4 4中のオーディォェンコード ブロックは、 図 7の （A ) のエンコード側の構成を有している。

なお、 図 1 7で説明した記録方法は、 図 1 6で説明したような専用装 置で実施可能である一方、 当該記録媒体の記録機能を有するコンビユー タ上のプログラムとしても実施可能であることに注意されたい。

<オーディオ/ビデオ再生装置の実施の形態 Π >

次に、 本発明になるオーディオ/ビデオ再生装置の実施の形態 Πにつ いて説明する。 図 1 8は本発明になるオーディオ/ビデオ再生装置の実 施の开態 Πのプロック図を示す。

図 1 8において、 記録媒体 5 1には図 1 6に示した記録装置により編 集記録された編集後の V O Bや管理情報が記録されている。 また、 ユー ザーィンタフエース部 5 6、 管理情報制御部 5 7 、 A— P T S— o f f s e t計算部 5 8及びオブジェク ト制御部 5 9は、 M P Uブロック 6 0 を構成している。

この再生装置では、 まず、 再生指示がユーザーインタフェース部 5 6 を介して管理情報制御部 5 7に受け取られる。 再生指示では、 一般にど の再生シーケンスを再生すべきかが指定される。 再生シーケンスには、 複数の V O Bを接続して再生する情報が登録されているとする。 以下、 V O Bデータ再生の基本的な手続きを示す。

再生シーケンスに登録されている V O Bの再生関連情報は、 管理情報 制御部 5 7で判定され、 オブジェク ト制御部 5 9及び媒体再生制御部 5 2を介して V O Bデータが記録媒体 5 1から読み出される。 なお、 再生 シーケンス等の管理情報は、 既に記録媒体 5 1から媒体再生制御部 5 2 を介して読み出され、 M P Uブロック 6 0内のメモリ （図示しない） に 常時保存され'ているとする。

読み出された V O Bデータは、 媒体再生制御部 5 2よりデマルチプレ クサ 5 3に供給され、 ここでビデオデータとオーディオデータに分離さ れ、 ビデオデータはビデオデコードブロック 5 4に供給され、 オーディ ォデータは図 7の （A ) のデコード側として示した構成を有するオーデ ィォ'デコードプロック 5 5に供給され、 それぞれデコードされ、 デコー ド後のビデオフレーム、 オーディオフレームが出力される。. この際、 S C Rなどのクロック情報はデマルチプレクサ 5 3で解読され、 必要に応 じて M P Uプロック 6 0へ渡される。 また、 S T Cなどのクロック情報 は、 M P Uブロック 6 0から、 デマルチプレクサ 5 3、 ビデオデコード ブロック 5 4及びオーディォデコ一ドブロック 5 5へ渡され、 S T Cに 準拠して再生タイミングが制御される。

次に、 オーディオの再生について以下に詳細に説明する。 本実施の形 態では、 記録媒体 5 には接続点での A— o V e r 1 a pを含む管理情 報が記録されているので、 媒体再生制御部 5 2により記録媒体 5 1から 読み出された管理情報は、 才ブジェク ト制御部 5 9を介して管理情報制 御部 5 7に供給され、 ここで管理情報から接続点での A— o V e r 1 a pが取り出されて A_ P T S _ o f f s e t計算部 5 8に供給される。

A— P T S— o f f s e t計算部 5 8は、 入力された A— o v e r 1 a pに基づいて、 [式 8 ]の演算式により A— P T S— o f f s e t を算 出し、 更に [式 9 ] の条件式に基づいて A F— d r o pを算出し、 これ らを管理情報制御部 5 7に供給する。 管理情報制御部 5 7は入力された A— P T S— o f f s e t及ぴ A F— d r o をオーディォデコ一ドブ ロック 5 5へ供給し、 オーディオフレームの再生タイミングを A— P T S— o f f s e tの分だけオフセッ トして再生する。 また、 A F _ d r o p = 1の場合には、 その V O Bの最後のオーディオフレームを再生し ないように制御する。 <オーディオ Zビデオ再生方法の実施の形態 π >

次に、本発明のオーディオ ビデオ再生方法の実施の形態 πについて、 図 1 9のフローチャー トと共に説明する。

まず、 再生すべきシーケンスが決定され、 そのシーケンスに含まれる VOBの情報が確認される （ステップ S 5 1 )。 続いて、 VOB接続点毎 に、 再生された A— ο V e r 1 a pに基づき A— P T S— o f f s e t 計算部 5 8により A— P T S_ o f f s e t (及ぴ AF— d r o p ) を 計算する （ステップ S 5 2 )。

続いて、 VOBの再生開始と同時または直前に、 S T Cはシームレス 接続を可能にするようにリセッ トさ.れると共に、 A_P T S_o f f s e t計算部 5 8により計算された A— P T S_ o f f s e t (及ぴ AF

— d r o p ) 力 S、 オーディォデコ一ドブロック 5 5へセッ トされる （ス テツプ S 5 3 )。

その後 VOBデータが実際に記録媒体 5 1から読み出され、 媒体再生 制御部 5 2及びデマルチプレクサ 5 3を経てビデオデータはビデオデコ ードブロック 54に供給され、 オーディォデータはオーディォデコ一ド ブロック 5 5に供給され、 それぞれデコードされ、 ビデオフレーム及び オーディオフレームが再生される （ステップ S 54)。 AF— d r o p = 1の場合、 VOBの最後のオーディオフレームは再生されないように処 理される （ステップ S 5 5 )。

このようにして再生されたオーディオフレームは、 図 7の （A) に示 したデコ—ダにより窓掛け処理と直交逆変換処理を含む符号化がさ'れて オーディオ信号として出力される。 続いて、 再生シーケンス中の全 VO Bに対して上記の処理が実施されたか-どうか判定し （ステップ S 5 6 )、 最後の V O Bであれば、 再生を終了する （ステップ S 5 7)。 なお、 図 1 9で説明した再生方法は、 図 1 8で説明したような再生装 置で実施可能である一方、 当該記録媒体の再生機能を有するコンビユー タ上のプログラムとしても実施可能であることに注意されたい。

このようにして、 本実施の形態によれば、 ビデオフレームのシームレ ス接続に加えて、 オーディオフレームも接続点での不連続ノイズを発生 させること無くシームレスに接続することができる。

くオーディオノビデオ記録装置の実施の形態 ΠΙ〉

次に、 本発明になるオーディオ Ζビデオ記録装置の実施の形態 mにつ いて説明する。 図 2 0は本発明になるオーディオ/ビデオ記録装置の実 施の形態 mのブロック図を示す。 ここでは、 複数の v o Bの記録は終了 しているものとし、 それらの接続編集動作について説明する。

図 2 0において、 ユーザーイ ンタフェース部 6 5、 管理情報制御部 6 6 、 A— o V e r 1 a p計算部 6 7 、 A— P T S— o f f s e t計算部 6 8及ぴォブジェク ト制御部 6 9は、 M P Uブロック 6 2を構成してお り、 M P U ( Mi c ro P ro c e s s ing Un i t) のソフトウェア処理により実 現される。

まず、 編集指示はユーザーィンタフエース部 6 5を通じてユーザーか ら与えられる。 管理情報制御部 6 6では、 接続編集点を対応する管理情 報を用いて確認する。 このとき、オーディオフレームの編集点は、先ず、 既に説明したように、 接続点でオーディオフレームのオーバーラップが 存在するように決められる。 次に、 ビデオフレームについては必要に応 じてピクチャタイプの変換処理¹が行われる。 これは、 オブジェク ト制御 部 6 9、 ビデオ/オーディオエンコー ドブロック 6 4、 媒体記録制御部 6 3を通じて行われ、 記録媒体 6 1に書き込まれる。

<オーディオ/ビデオ記録方法の実施の形態 ΠΙ〉 次に、 オーディオシームレス接続のための計算と記録が行われる。 本 発明のオーディオ Zビデオ記録方法の実施の形態 mのオーディオシーム レス接続のための計算と記録について、 図 2 1のフローチャートを併せ 参照して説明する。

まず、 管理情報制御部 6 6において、 接続対象 VO Bが決定され、 か つ、 ビデオ接続点 （接続元の VO Bの最後に再生すべきビデオフレーム と、 接続先の VO Bの最初に再生すべきビデオフレームとの接続点） が 決定される （ステップ S 6 1 )。 次に、 ビデオ接続点に対応して、 ビデオ ピクチャタイプの変更処理の要不要が判定され、 必要な場合は変更の具 体的準備が行われる （ステップ S 6 2)。

次に、 ビデオ接続点に対応して、 オーディオフレーム編集点が決めら れる （ステップ S 6 3 )。 すなわち、 接続元の V O Bの最後に再生すべき オーディオフレームの再生期間が、 ビデオ接続点の時刻を含むように、 かつ、 接続先の VOBの最初に再生すべきオーディオフレームの再生期 間が、 ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決 められる。

続いて、 A— o v e r l a 計算部 6 7において、 前述した A— o v e r 1 a の計算が行われ （ステップ S 6 4)、 A_P T S— o f f s.e t計算部 6 8において前述した A— P T S_ o f f s e t (及び AF— d r o ) の計算が行われる （ステップ S 6 5 )。

最後に、 編集後の VO B (接続点付近のデータ）、 少なく とも A__P T S— o f f s e t (及び AF_d r o p ) と再生シ—ケンス等の管理情 報が、 オブジェク ト制御部 6 9及び媒体記録制御部 6 3を通して記録媒 体 6 1に書き込まれる （ステップ S 6 6 )。 このとき、 A— o v e r 1 a pも記録媒体に書き込むかどうかは任意である。 再生シーケンスには、 再生すべき V O Bの情報、 接続点の情報などが含まれる。 なお、 ビデオ /オーディオェンコ一ドブロック 6 4中のオーディオェンコ一ドブロッ クは、 図 7の （A ) のエンコード側の構成を有している。

なお、 図 2 1で説明した記録方法は、 図 2 0で説明したような専用'装 置で実施可能である一方、 当該記録媒体の記録機能を有するコンビユー タ上のプログラムとしても実施可能であることに注意されたい。

<オーディオ Zビデオ再生装置の実施の形態 m >

次に、 本発明になるオーディオ Zビデオ再生装置の実施の形態 mにつ いて説明する。 図 2 2は本発明になるオーディオ/ビデオ再生装置の実 施の形態 ΙΠのブロック図を示す。

図 2 2において、 記録媒体 7 1には図 2 0に示した記録装置により編 集記録された編集後の V O Bや管理情報が記録されている。 また、 ユー ザーィンタフェース部 7 6、 管理情報制御部 7 7及ぴォブジェク ト制御 部 7 8は、 M P Uブロック 7 9を構成している。

この再生装置では、 まず、 再生指示がユーザ一^ f ンタフエース部 7 6 を介して管理情報制御部 7 7に受け取られる。 再生指示では、 一般にど の再生シーケンスを再生すべきかが指定される。 再生シーケンスには、 複数の V O Bを接続して再生する情報が登録されているとする。 以下、 V O Bデータ再生の基本的な手続きを示す。

再生シーケンスに登録されている V O Bの再生関連情報は、 管理情報 制御部 7 7で判定され、 オブジェク ト制御部 7 8及び媒体再生制御部 7 2を介して V O B'データが記録媒体 7 1から読み出される。 なお、 再生 シーケンス等の管理情報は、 既に記録媒体 7 1から媒体再生制御部 7 2 を介して読み出され、 M P Uプロック 7 9内のメモリ （図示しない） に 常時保存されているとする。 読み出された VO Bデータは、 媒体再生制御部 7 2よりデマルチプレ クサ 7 3に供給され、 ここでビデオデータとオーディオデータに分離さ れ、 ビデオデータはビデオデコードブロック 7 4に供給され、 オーディ ォデータは図 7の （A) のデコード側と して示した構成を有するオーデ ィォデコードブロック 7 5に供給され、 それぞれデコードされ、 デコー ド後のビデオフレーム、 オーディオフレームが出力される。 この際、 S C Rなどのクロック情報はデマルチプレクサ 7 3で解読され、 必要に応 じて MP Uブロック 7 9へ渡される。 また、 S T Cなどのクロック情報 は、 MP Uブロック 7 9から、 デマルチプレクサ Ί 3、 ビデオデコード ブロック 7 4及びオーディオデコードブロック 7 5へ渡され、 S T Cに 準拠して再生タイミングが制御される。

次に、 オーディオの再生について以下に詳細に説明する。 本実施の形 態では、 記録媒体 7 1には接続点での A„P T S_o f f s e tが記録 されているので、 接続点での A— P T S— o f f s e t (及び AF— d r o p ) を管理情報から読み出す。 得られた A— P T S_o f f s e t (及ぴ A F— d r o p ) は、 オーディォデコ一ドブロック 7 5へ供給さ れ、 オーディオフレームの再生タイミングを A—P T S_o f f s e t の分だけオフセッ トして再生する。 また、 AF— d r o p = lの場合に は、 その VOBの最後のオーディオフレームを再生しないように制御す る。

<オーディオ ビデオ再生方法の実施の形態 ΠΙ >

次に、本発明のオーディオ/ビデオ再生方法の実施の形態 mについて、 図 2 3のフローチャートと共に説明する。

まず、 再生すべきシーケンスが決定され、 そのシーケンスに含まれる VO Bの情報が確認される （ステップ S 7 1 )。 続いて、 VO Bの再生開 始と同時または直前に、 S T Cはシームレス接続を可能にするようにリ セッ トされると共に、 記録媒体 7 1から再生された A— P T S— o f f s e tが、 オーディオデコードブロック 7 5へセッ トされる （ステップ

S 7 2 )₀

その後 VOBデータが実際に記録媒体 7 1から読み出され、 媒体再生 制御部 7 2及びデマルチプレクサ 7 3を経てビデオデータはビデオデコ ードプロック 74に供給され、 オーディォデータはオーディォデコ一ド ブロック 7 5に供給され、 それぞれデコードされ、 ビデオフレーム及び オーデ 'ィオフレームが再生される （ステップ S 7 3 )。 AF_d r o p = 1の場合、 VO Bの最後のオーディオフレームは再生されないように処 理される （ステップ S 74 )。 続いて、 再生シーケンス中の全 VOBに対 して上記の処理が実施されたかどうか判定し （ステップ S 7 5 )、 最後の VOBであれば、 再生を終了する （ステップ S 7 6 )。

なお、 図 2 3で説明した再生方法は、 図 2 2で説明したような再生装 置で実施可能である一方、 当該記録媒体の再生機能を有するコンビユー タ上のプログラムと しても実施可能であることに注意されたい。

このようにして、 本実施の形態によれば、 ビデオフレームのシームレ ス接続に加えて、 オーディオフレームも接続点での不連続ノィズを発生 させること無くシームレスに接続することができる。

なお、 先に説明した本発明の第 2の実施の形態において、 第 1の実施 の形態と同じ部分のうち、 図 4、 図 5、 図 6、 図 7で示した、 記録//編 集装置及び方法、 再生装置及び再生方法 （つまり、 実施形態 Iの部分） の代わりに、 図 1 6、 図 1 7、 図 1 8、 図 1 9で示した、 記録 Z編集装 置及び方法、 再生装置及び再生方法 （つまり、 実施形態 Πのように、 接 続点での A— o v e r l a を記録時に算出し、 この A .o v e r l a pを記録媒体に記録し、 再生時に記録媒体から読み出した A— o V e r 1 a pから A— P T S_ o f f s e t (及び A F— d r o p )を算出し、 その A— P T S _ o f f s e t (及ぴ AF_d r o p ) をオーディォデ コードブロック 5 5に供給し、 オーディオフレームの再生タイミングを A— P T S_ o f f s e tの分だけオフセッ トして再生するように制御 し、 また、 AF— d r o p = lの場合には、 その VO Bの最後のオーデ ィオフレームを再生しないように制御する）、あるいは、図 2 0、図 2'1、 図 2 2、 図 2 3で示した、 記録 //編集装置及び方法、 再生装置及び再生 方法 （つまり、 実施形態 ΙΠのように、 接続点での A— o V e r 1 a p と A— P T S_ o f f s e t (及び AF_d r o p) を記録時に算出し、 少なく とも A— P T S_ o f f s e t (及び AF— d r o p ) を記録媒 体に記録し、 再生時に記録媒体から読み出した A— P T S—o f f s e t (及ぴ AF— d r o p)をオーディォデコ一ドブロック 7 5に供給し、 オーディオフレームの再生タイミングを A_P T S— o f f s e tの分 だけオフセッ トして再生するように制御し、 また、 A F— d r o p = 1 の場合には、 その VOBの最後のオーディオフレームを再生しないよう に制御する）、 を採用しても良い。 · 産業上の利用可能性

本発明によれば、 ビデオフレームのシームレス接続のためのビデオデ ータの変更処理に加えて、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームの再生期間が、 ビデオフレームの接続点の時刻 を含み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーデ ィォフレームの再生期間が、 接続点の時刻を含むように、 オーディオフ レームの編集点を決定して、 接続点以降のオーディオフレームとビデオ フレームとの同期ずれを、 基本的にリ ップシンクずれと して検知できな い量とするオフセッ ト処理を行うようにしたため、 オーディオフレーム も接続点での不連続ノイズを発生させること無くシーム レスに接続する ことができる。

また、 本発明によれば、 オーディオフレームの編集点を決定し、 その 編集点を管理情報として記録媒体に記録し、 再生側において再生管理情 報に基づいて接続元のビデオォブジェク トの最後に再生すべきオーディ オフレームと、 接続先のビデオオブジェク トの最初に再生すべきオーデ ィオフレームのオーバーラップ時間と、 記録媒体から読み出したオーデ ィオフレームの P T Sをオフセッ トするためのオーディォ P T Sオフセ ッ ト時間を計算させることで、 記録側では上記のオーバーラップ時間と オーディオ P T Sオフセッ ト時間を計算しないようにしたため、 記録側 の負担を最小にできる。

また、 本発明によれば、 オーディオバッファ占有量が規定のオーディ ォバッファサイズ上限から 1オーディオフレームのデータ量を減じた値 以下であるようにオーディオデータをビデオデータに多重化して記録さ れた記録媒体からビデオデータ及びオーディオデータを再生するに際し、 再生時に最大 1オーディオフレーム周期分遅れて再生した場合でも、 ォ 一ディォバッファのオーバーフローを生じさせないで済む。

また、 本発明によれば、 再生時に記録媒体から読み出したオーバーラ ヅプ時間に基づいて算出したオーディオ P T Sオフセッ ト時間に応じて、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トする ことにより、 再生側でのオーディォデータのシームレス再生のためのォ 一ディォ P T Sオフセッ ト時間を算出するために用いるオーバーラップ 時間の計算を不要としたため、 再生側のシームレス再生時の負担を軽減 することができる。

更にまた、 本発明によれば、 再生時に記録媒体から読み出したオーデ ィォ P T Sオフセッ ト時間に応じて、 記録媒体から読み出したオーディ オフレームの P T Sをオフセッ トすることにより、 再生側でのオーディ ォデータのシームレス再生のためのオーディォ P T Sオフセッ ト時間の 算出を不要にしたため、 再生側のシーム レス再生時の負担を最小とする ことができる。

Claims

請 求 の 範 囲

1. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジヱク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ/ビデ ォ記録装置であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ' ( 2 4 ( 1 1， 1 2 , 1 3 )) と、

接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジヱク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更するビデオデータ変更手段 （ 2 7， 2 4， 2 3 ) と、

前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 俞記接続先のビデオォブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する編集点決定手段 （ 2 6 ) と、

前記編集点を記録媒体（ 2 1 ) に登録情報として記録する記録手段（ 2 3 ) と、

を有することを特徴とするオーディオ/ビデオ記録装置。

2. 同期したビデオデータとオーディォデータの組をビデオオブジェ ク トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の俞記ビデオォブ ジェク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ Zビデ ォ記録方法であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 接続元のビデオォブジヱク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （ S 2 ) と、

前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決^する第 3 のステップ （ S 3 ) と、

前記編集点を管理情報として前記記録媒体 （ 2 1 ) に記録する第 4の ステップ （ S 4 ) と、

を含むことを特徴とするオーディオ Zビデオ記録方法。

3 . 請求項 1記載の記録装置により ビデオォブジヱク ト及ぴ管理情報 を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデー タ及ぴオーディオデータを再生するオーディオ/ビデオ再生装置であつ 'て、

前記再生管理情報から得た前記編集点を含んで、 接続元のビデオォプ ジヱク トの最後に再生すべきオーディオフレームと、 接続先のビデオォ ブジェク トの最初に再生すべきオーディオフレームのオーバーラップ時 間を計算するオーバーラップ時間計算手段 （ 3 8 ) と、 前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ時間を前記接続先のビデオオブジェ ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続点 でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオォブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要が無いことを示す所定値のオーディオ ドロップフラグを出力するオフセッ ト時間算出手段 （ 3 9 ) と、

前記再生シーケンスに含まれる前記ビデオォブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トするリセッ ト手段 ( 3 7 ) と、

算出した前記オーディオ P T Sオフセッ ト時間に応じて、 前記記録媒 体 （ 3 1 ) から読み出したオーディオフ レームの P T Sをオフセッ トす るオフセッ ト手段 （ 3 7， 3 5 ) と、

前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 3 4 ) と、

前記記録媒体 （ 3 1 ) から再生したオーディオフレームを前記オフセ ッ トした P T Sに応じて再生すると共に、 前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオォブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御するオーディ オフレーム再生手段 （ 3 5 ) と、

前記オーディオフレーム再生手段 （ 3 5 ) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行 つてオーディオ信号を出力するオーディオ複号化手段 （ 3 5 ( 1 5 , 1 6， 1 7 )) と、

を有することを特徴するオーディオ/ビデオ再生装置。

4. 請求項 2記載の記録方法により ビデオォプジヱク ト及び管理情報 を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデー タ及ぴオーディオデータを再生するオーディオ/ビデオ再生方法であつ て、

前記再生管理情報から得た前記編集点を含んで、 接続元のビデオォプ ジェク トの最後に再生すべきオーディオフレームと、 接続先のビデオォ ブジェク ドの最初に再生すべきオーディオフレームのオーバーラップ時 間を計算する第 1のステップ （S 1 2) と、

前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ诗間を前記接続先のビデオオブジェ ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計'算した前記オーバーラップ時間と一つ前の前記接続点 でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要が無いことを示す所定値のオーディオ ドロップフラグを出力する第 2のステップ （S 1 2) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トする第 3のステップ （S 1 3 ) と、

前記第 2のステップ （S 1 2) で算出した前記オーディオ P T Sオフ セッ ト時間に応じて、 前記記録媒体 （ 3 1 ) から読み出したオーディオ フレームの P T Sをオフセッ トする第 4のステップ （S 1 3 ) と、 前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 5のステップ（S 1 4)と、 前記記録媒体 （ 3 1 ) から再生したオーディオフレームを前記第 4 の ステップ （S 1 3 ) でオフセッ トした P T Sに応じて再'生すると共に、 前記第 3のステップ （S 1 3) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス テツプ （ S 1 4， S 1 5 ) と、

前記第 6のステップ （S 1 4， S 1 5 ) により再生された前記オーデ ィォフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、

を含むことを特徴するオーディオ ビデオ再生方法。

5. 請求項 2記載の記録方法により ビデオォブジェク ト及ぴオーディ オフレームの編集点を含む管理情報を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデータ及びオーディオデータを再生する 再生方法をコンピュータに実行させるオーディオ ビデオ再生プログラ ムであって、 前記コンピュータに、

前記再生管理情報から得た前記編集点を含んで、 接続元のビデオォ ブジェク トの最後に再生すべきオーディオフレームと、 接続先のビデオ オブジェク トの最初に再生すべきオーディオフレームのオーバーラップ 時間を計算する第 1のステップ （S 1 2 ) と、

前記編集点が指定された再生シーケンス内の最初の接続点であった 場合は、 計算した前記オーバーラップ時間を前記接続先のビデオォブジ エタ トのオーディオフ レームを再生する際のオーディオ P T Sオフセッ ト時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点 であった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続 点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点での オーディオ P T Sオフセッ ト時間として算出すると共に、 所定の条件に おいて前記接続元のビデオォブジヱク トの最後に再生すべきオーディオ フレームが、 接続時に再生する必要が無いことを示す所定値のオーディ ォドロップフラグを出力する第 2のステップ （S 1 2 ) と、

前記再生シーケンスに含まれる前記ビデオォブジヱク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するように、 装置 のシステムタイムク ロ ック （ S T C) をリセッ トする第 3 のステップ（ S 1 3 ) と、

算出された前記オーディオ P T Sオフセッ ト時間に応じて、 前記記 録媒体 （ 3 1 ) から読み出したオーディオフレームの P T Sをオフセッ トする第 4のステップ （ S l '3 ) と、

前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデー タに付随したビデオ P T Sに応じて再生する第 5のステップ （S 1 4 ) と、 前記記録媒体 （ 3 1 ) から再生したオーディオデータを前記第 4の ステップでオフセッ トした P T Sに応じて再生すると共に、 前記第 3の ステップで出力した前記オーディオドロップフラグが前記所定値である ときは、 前記接続元のビデオォブジヱク トの最後に再生すべきオーディ オフレームを再生しないように制御する第 6のステップ （S 1 4 , S 1

5 ) と、

前記第 6のステップにより再生された前記オーディオデータに対し、 窓掛け処理と直交逆変換処理を含む複号化を行ってオーディオ信号を出 力する第 7のステップと、

を実行させることを特徴するオーディオ/ビデオ再生プログラム。

6. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォプ ジェク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体に記録するオーディオ Zビデオ記録装 置であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ( 24 ( 1 1， 1 2， 1 3 )) と、

前記オーディ.ォデータと前記ビデオデータとを多重化して前記ビデオ オブジェク トを生成する多重化手段 （ 2 4 ) と、

前記多重化手段 （ 24) による多重化の際に、 オーディオバッファ占 有量が規定のオーディオパッフアサイズ上限から 1オーディオフレーム のデータ量を減じた値以下であるように、 前記多重化手段 （ 24) を制 御すると共に、 そのオーディオ多重化状態を示すフラグを作成する制御 手段 （ 2 4 , 2 6 ) と、

前記制御手段 （ 24， 2 6 ) により制御された前記多重化手段 （24) から出力される前記ビデオオブジェク トを、 前記制御手段 （ 24， 2 6 ) で作成された前記オーディオ多重化状態を示すフラグと共に記録媒体 ( 2 1 ) に記録する記録手段 （ 2 3 ) と、

'を有することを特徴とするオーディオ/ビデオ記録装置。

7. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジェク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ Zビデ ォ記録装置であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ( 2 4 ( 1 1， 1 2， 1 3 )) と、

.前記オーディオデータと前記ビデオデータとを多重化して前記ビデオ オブジェク トを生成する多重化手段 （ 24 ) と、

前記多重化手段 （2 4) による多重化の際に、 オーディオバッファ占 有量が規定のオーディォバッフアサイズ上限から 1オーディオフレーム のデータ量を減じた値以下であるように、 前記多重化手段 （ 24) を制 御すると共に、 そのオーディオ多重化状態を示すフラグを作成する制御 手段 （ 2 4， 2 6 ) と、

前記制御手段 （ 24， 2 6) により制御された前記多重化手段 （ 24) から出力される前記ビデオオブジェク トを、 前記制御手段 （ 24、 2 6 ) で作成された前記オーディオ多重化状態を示すブラグと共に記録媒体 ( 2 1 ) に記録する第 1の記録手段 （ 2 3) と、

接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて'変 更するビデオデータ変更手段 （ 2 7 , 2 4, 2 3 ) と、

前記接続点の前後に、 接続元のビデオオブジェク トのオーディオフレ ームの再生期間と、 接続先のビデオオブジェク トのオーディオフレーム の再生期間とがー部ォーパーラップを生じるように、 オーディオフレー ' ムの編集点を決定し、 オーディオフレームを編集する手段 （ 2 6 ) と、 前記編集点を記録媒体 （ 2 1 ) に登録.情報と して記録する第 2の記録 手段 （ 2 3 ) と、

を有することを特徴とするオーディオ Zビデオ記録装置。

8. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジヱク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ Zビデ ォ記録方法であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 前記オーディオデータをビデオデータと多重化する際に、 オーディォ バッファ占有量が規定のオーディオパツファサイズ上限から 1オーディ オフレームのデータ量を減じた値以下であるように制御する第 2のステ ップ （ S 2 2 ) と、

前記第 2のステップ （S 2 2) の制御によるオーディオ多重化状態を 示すフラグを、 前記第 2のステップ （ S 2 2 ) の制御の下に多重化して 得られた前記ビデオオブジェク トと共に記録媒体 （ 2 1 ) に記録する第 3のステップ （S 2 3 ) と、

- を含むことを特徴とするオーデ オ/ビデオ記録方法。

9. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジヱク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ/ビデ ォ記録方法であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 前記オーディオデータをビデオデータと多重化する際に、 オーディオ バッファ占有量が規定のオーディオパッフアサイズ上限から 1オーディ オフレームのデータ量を減じた値以下であるように制御する第 2のステ ップと （ S 2 2 )、

前記第 2のステップ （S 2 2 ) の制御によるオーディオ多重化状態を 示すフラグを、 前記第 2のステップ （S 2 2 ) の制御の下に多重化して 得られた前記ビデオオブジェク トと共に記録媒体 （ 2 1 ) に記録する第 3のステップ （S 2 3 ) と、

接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 4のステップ （S 2 ) と、

前記接続点の前後に、 接続元のビデオオブジェク トのオーディオフレ ームの再生期間と、 接続先のビデオォブジェク トのオーディオフレーム の再生期間とがー部オーバーラップを生じるように、 オーディオフレー ムの編集点を決定し、オーディオフレームを編集する第 5のステップ（S 3 ) と、

前記編集点を管理情報と して前記記録媒体 （ 2 1 ) に記録する第 6 の ステップ （ S 4 ) と、

を含むことを特徴とするオーディオ/ビデオ記録方法。

1 0 . 請求項 7記載の記録装置により ピ、デォォブジヱク ト及ぴ管理情 報を記録した記録媒体 （3 1 ) から、 再生管理情報に基づいてビデオデ 一タ及ぴオーディオデータを再生するオーディオ/ビデオ再生装置であ つて、

前記再生管理情報内の編集点に関して、 接続元のビデオオブジェク ト の最後に再生すべきオーディオフレームと、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレームのォーパーラップ時間を計算 するオーバーラップ時間計算手段 （ 3 8 ) と、

前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ時間を前記接続先のビデオオブジェ ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計算した前記ォーパーラップ時間と一つ前の前記接続点 でのオーディオ P T S .ォ'フセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要が無いことを示す所定値のオーディオ ドロップフラグを出力するオフセッ ト時間算出手段 （ ₃ 9 ) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S TC) をリセッ トするリセッ ト手段 （ 3 7) と、

算出した前記オーディオ P T Sオフセッ ト時間に応じて、 前記記録媒 体 （ 3 1 ) から読み出したオーディオフレームの P T Sをオフセッ トす るオフセッ ト手段 （ 3 7， 3 5) と、

'前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 3 4 ) と、

前記記録媒体 （ 3 1 ) から再生したオーディオフレームを前記オフセ ッ トした P T Sに応じて再生すると共に、 前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御するオーディ オフレーム再生手段 （ 3 5 ) と、

前記オーディオフレーム再生手段' （ 3 5) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行 つてオーディオ信号を出力するオーディオ複号化手段 （ 3 5 ( 1 5， 1 6， 1 7 )) と、

を有することを特徴とするオーディオノビデオ再生装置。

1 1. 前記オフセッ ト時間算出手段 （ 3 9 ) は、 算出した前記接続点 での前記オーディオ P T Sオフセッ ト時間が、 オーディオフレーム時間 の n倍 （ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該 オーディオ p T sオフセッ ト時間から前記オーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要がないことを示す所定値のオーディオドロ ップフラグを出力する手段であることを特徴とする請求項 3又は 1 0記 载のオーディオ ビデオ再生装置。

1 2 . 請求項 9記載の記録方法により ビデオオブジェク ト及び管理情 報を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデ 一タ及ぴオーディォデータを再生するオーディォ /ビデオ再生方法であ つて、

前記再生管理情報内の編集点に関して、 接続元のビデオオブジェク ト の最後に再生すべきオーディオフレームと、 接続先のビデオォブジェク トの最初に再生すべきオーディオフレームのオーバーラップ時間を計算 する第 1のステップ （S 1 2 ) と、

前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ诗間を前記接続先のビデオオブジェ' ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続点 でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要がないことを示す所定値のオーディオ ドロップフラグを出力する第 2のステップ （S 1 2 ) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トする第 3のステップ （S 1 3 ) と、

前記第 2のステップ （S 1 2) で算出した前記オーディオ P T Sオフ セッ ト時間に応じて、 前記記録媒体 （ 3 1 ) から読み出したオーディオ フレームの P T Sをオフセッ トする第 4のステップ （S 1 3 ) と、 前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 5のステップ（S 1 4 )と、 前記記録媒体 （3 1 ) から再生したオーディオフレームを前記第 4の ステップ （S 1 3) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 1 3 ) で出力した前記オーディオドロップブラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トめ最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス -テツプ （ S 1 4， S 1 5 ) と、

' 前記第 6のステップ （S 1 4， S 1 5 ) により再生された前記オーデ ィォフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、

" を含むことを特徴とするオーディオ/ビデオ再生方法。

1 3. 前記第 2のステップ （S 1 2) は、 算出した前記接続点での前 記オーディォ P T Sオフセッ ト時間が、 オーディオフレーム時間の n倍 (ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該オーデ ィォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記 接続元のビデオオブジェク トの最後に再生すべきオーディオフレームが 接続時に再生する必要がないことを示す所定値のオーディオドロップフ ラグを出力することを特徴とする請求項 4又は 1 2記載のオーディオ Z ビデオ再生方法。

'

1 4 . 請求項 9記載の記録方法により ビデオォブジェク ト及びオーデ ィォフレームの編集点及びオーディオ多重化状態を示すブラグを含む管 理情報を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデ ォデータ及びオーディォデータを再生する再生方法をコンピュータに実 行させるオーディオノビデオ再生プログラムであって、

前記コンピュータに、

前記再生管理情報内の編集点に関して、 接続元のビデオオブジェク トの最後に再生すべきオーディオフレームと、 接続先のビデオオブジェ ク トの最初に再生すべきオーディオフレームのオーバーラップ時間を計 算する第 1のステップ （S 1 2 ) と、

前記編集点が指定された再生シーケンス内の最初の接続点であった 場合は、 計算した前記オーバーラップ時間を前記接続先のビデオォブジ ェタ トのオーディオフ レームを再生する際のオーディオ P T Sオフセッ ト時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点 であった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続 点でのオーディォ P T Sオフセッ ト時間を加算した値を、 現編集点での ' オーディオ P T Sオフセッ ト時間として算出すると共に、 所定の条件に おいて前記接続元のビデオオブジェク トの最後に再生すべきオーディオ フレームが、 接続時に再生する必要がないことを示す所定値のオーディ ォドロップフラグを出力する第 2のステップ （S 1 2 ) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するように、 装置 のシステムタイムクロック （S T C) をリセッ トする第 3のステップ（S 1 3 ) と、

算出された前記オーディオ P T Sオフセッ ト時間に応じて、 前記記 録媒体 （ 3 1 ) から読み出したオーディオフレームの P T Sを.オフセッ トする第 4のステップ （S 1 3 ) と、

前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデー - タに付随したビデオ P T Sに応じて再生する第 5のステップ （S 1 4 ) と、

前記記録媒体 （ 3 1 ) から再生したオーディオデータを前記第 4の ステップ ( S 1 3 ) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 1 3 ) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6 のス テツプ （S 1 4 , S 1 5 ) と、

前記第 6 のステップ （ S 1 4， S 1 5 ) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行 つてオーディォ信号を出力する第 7のステップと、

を実行させることを特徴とするオーディオ ビデオ再生プログラム。

1 5. 同期したビデオデータとオーディオデータの組をビデオォブジ ェク トとして記録媒体 （4 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （4 1 ) に記録するオーディオノビ デォ記録装置であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段

(4 4 ( 1 1， 1 2， 1 3 )) と、

接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更するビデオデータ変更手段 （ 4 8， 44， 4 3 ) と、

前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する編集点決定手段 （4 6 ) と、

前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 するオーバーラップ時間計算手段 （4 7) と、

少なく とも前記オーバーラップ時間を管理情報と して前記記録媒体 ( 2 1 ) に記録する記録手段 （4 3 ) と、

を有することを特徴とするオーディオ/ビデオ記録装置。

1 6. 同期したビデオデータとオーディオデータの組をビデオォブジ ェタ トとして記録媒体 （4 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （4 1 ) に記録するオーディオノビ デォ記録方法であって、 記録すべきオーディォ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （S 4 2) ,と、

前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接棒点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する第 3のステップ （ S 4 3 ) と、

前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 する第 4のステップ （S 4 4 ) と、

少なく とも前記オーバーラップ時間を管理情報と して前記記録媒体 ( 4 1 ) に記録する第 5のステップ （S 4 5 ) と、 .

を含むことを特徴とするオーディオ Zビデオ記録方法。

1 7. 請求項 1 5記載の記録装置により ビデオオブジェク ト及ぴ再生 シーケンスを記録した記録媒体 （ 5 1 ) から、 該再生シーケンスに基づ いてビデオデータ及ぴオーディオデータを再生するオーディオ/ビデオ 再生装置であって、 ' 前記記録媒体 （ 5 1 ) から前記オーバーラップ時間を再生するオーバ 一ラップ時間再生手段 （ 5 2) と、

前記接続点が前記再生シーケンス内の最初の接続点であった場合-は、 前記記録媒体から再生した前記オーバーラップ時間を前記接続先のビデ ォォブジェク トのオーディオフレームを再生する際のオーディォ P T S オフセッ ト時間とし、 前記接続点が前記再生シーケンス内の 2つ目以降 の接続点であった場合は、 前記記録媒体から再生した前記オーバーラッ 5 プ時間と一つ前の前記接続点でのオーディオ P T Sオフセッ ト時間を加 算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出 すると共に、 所定の条件において前記接続元のビデオオブジェク トの最 後に再生すべきオーディオフレームが、 接続時に再生する必要が無いこ とを示す所定値のオーディオドロップフラグを出力するオフセッ ト時間 10 算出手段 （ 5 8 ) と、

前記再生シーケンスに含まれる前記ビデオォブジヱク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トするリセッ ト手段 （ 5 7) と、

15. 算出した前記オーディオ P T Sオフセッ ト時間に応じて、 前記記録媒 体 （ 5 1 ) から読み出したオーディオフレームの P T Sをオフセッ トす るオフセッ ト手段 （ 5 7， 5 5 ) と、

前記記録媒体 （ 5 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 5 4 )

20 と、

前記記録媒体 （ 5 1 ) から再生したオーディオフレームを前記オフセ ッ トした P T Sに応じて再生すると共に、 前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御するオーディ 25 オフレーム再生手段 （ 5 5 ) と、 前記オーディオフレーム再生手段 （ 5 5 ) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行 つてオーディオ信号を出力するオーディオ復号化手段 （ 5 5 ( 1 5， 1 6 , 1 7)) と、

を有することを特徴するオーディオ/ビデオ再生装置。

1 8. 前記オフセッ ト時間'算出手段 （ 5 8) は、 算出した前記接続点 での前記オーディォ P T Sオフセッ ト時間が、 オーディオフレーム期間 の n倍 （ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該 オーディォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要が無いことを示す所定値のオーディオドロ ップフラグを出力する手段であることを特徴とする請求項 1 7記載のォ 一ディォ /ビデオ再生装置。

1 9. 請求項 1 6記載の記録方法により ビデオオブジェク ト及ぴ再生 シーケンスを記録した記録媒体 （5 1 ) から、 該再生シーケンスに基づ いてビデオデータ及ぴオーディオデータを再生するオーディオ/ /ビデオ 再生方法であって、

前記記録媒体から前記オーバーラップ時間を再生する第 1のステップ と、

前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記記録媒体から再生した前記ォーパーラップ時間を前記接続先のビデ ォォブジェク トのオーディオフレームを再生する際のオーディオ P T S オフセッ ト時間とし、 前記接続点が前記再生シーケンス内の 2つ目以降 の接続点であった場合は、 前記記録媒体から再生した前記オーバーラッ プ時間と一つ前の前記接続点でのオーディオ P T Sオフセッ ト時間を加 算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出 すると共に、 所定の条件において前記接続元のビデオオブジェク トの最 後に再生すべきオーディオフレームが、 接続時に再生する必要が無いこ とを示す所定値のオーディオドロップフラグを出力する第 2のステップ ( S 5 2 ) と、

前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トする第 3のステップ （S 5 3 ) と、

前記第 2のステップ （S 5 2) で算出した前記オーディオ P T Sオフ セッ ト時間に応じて、 前記記録媒体 （ 5 1 ) から読み出したオーディオ フレームの P T Sをオフセッ トする第 4のステップ （S 5 3 ) と、 前記記録媒体 （ 5 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 5のステップ（S 5 4)と、 前記記録媒体 （ 5 1 ) から再生したオーディオフレームを前記第 4の ステップ （S 5 3 ) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 5 3) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス テツプ （S 5 4， S 5 5 ) と、

前記第 6のステップ （S 5 4， S 5 5 ) により再生された前記オーデ ィォフ レームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、

を含むことを特徴するオーディオ Zビデオ再生方法。

2 0 . 前記第 2のステップ （ S 5 2 ) は、 算出した前記接続点での前 記オーディオ P T Sオフセッ ト時間が、 オーディオフレーム期間の n倍 (ただし、 nは 1又は 1 / 2 ) の期間より も大きい場合には、 該オーデ ィォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記 接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム力 S、 接続時に再生する必要が無いことを示す所定値のオーディォドロップフ ラグを出力することを特徴とする請求項 1 9記載のオーディオ/ビデオ 再生方法。

2 1 . 請求項 1 6記載の記録方法により ビデオオブジェク ト及ぴ再生 シーケンスを記録した記録媒体 （ 5 1 ) から、 該再生シーケンスに基づ いてビデオデータ及びオーディオデータを再生する再生方法をコンビュ ータに実行させるオーディオ/ビデオ再生プログラムであって、

前記コンピュータに、

前記記録媒体から前記オーバーラップ時間を再生する第 1 のステツ プと、

前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記記録媒体から再生した前記オーバーラップ時間を前記接続先のビデ ォォブジェク トのオーディオフレームを再生する際のオーディオ P T S オフセッ ト時間とし、 前記接続点が前記再生シーケンス内の 2つ目以降 の接続点であった場合は、 前記記録媒体から再生した前記オーバーラッ プ時間と一つ前の前記接続点でのオーディオ P T Sオフセッ ト時間を加 算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出 すると共に、 所定の条件において前記接続元のビデオォブジェク トの最 後に再生すべき ーディオフレームが、 接続時に再生する必要が無いこ とを示す所定値のオーディオドロップフラグを出力する第 2のステップ ( S 5 2 ) と、

前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置 のシステムタイムクロック （S TC) をリセッ トする第 3のステップ（S 5 3 ) と、

算出された前記オーディオ P T Sオフセッ ト時間に応じて、 前記記 録媒体 （ 5 1 ) から読み出したオーディオフレームの P T Sをオフセッ トする第 4のステップ （S 5 3 ) と、

' 前記記録媒体 （5 1 ) から再生したビデオデータをそのビデオデー タに付随したビデオ P T Sに応じて再生する第 5のステップ （S 5 4) と、

前記記録媒体 （ 5 1 ) から再生したオーディオデータを前記第 4の ステップ （S 5 3 ) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 5 3) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス テツプ （S 5 4， S 5 5 ) と、

前記第 6のステップ （S 54， S 5 5 ) により再生された前記ォー ディォデータに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、 を実行させることを特徴するオーディオ Zビデオ再生プログラム。

2 2. 同期したビデオデータとオーディオデータの組をビデオォブジ ェタ トとして記録媒体 （ 6 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （6 1 ) に記録するオーディオノビ デォ記録装置であって、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ( 6 4 ( 1 1， 1 2， 1 3 )) と、

接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更するビデオデータ変更手段 （ 6 9， 6 4， 6 3 ) と、

前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオォブジヱク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する編集点決定手段 （ 6 6 ) と、

前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 するオーバーラップ時間計算手段 （ 6 7 ) と、

前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記オーバーラップ時間を前記接続先のビデオオブジェク トのオーディ オフレームを再生する際のオーディオ P T Sオフセッ ト時間とし、 前記 接続点が前記再生シーケンス内の 2つ目以降の接続点であった場合は、 前記ォーパーラップ時間と一つ前の前記接続点でのオーディオ P T Sォ フセッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出するオフセッ ト時間算出手段 （ 6 8 ) と、

少なく とも前記オーディォ P T Sオフセッ ト時間を管理情報として前 記記録媒体 （ 6 1 ) に記録する記録手段 （ 6 3 ) と、

を有することを特徴とするオーディオ/ビデオ記録装置。

2 3. 前記オフセッ ト時間算出手段 （ 6 8 ) は、 算出した前記接続点 での前記オーディオ p τ sオフセッ ト時間が、 オーディオフレーム期間 の n倍 （ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該 オーディオ P T Sオフセッ ト時間から前記オーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記接続元のビデオォブジヱク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要が無いことを示す所定値のオーディオドロ ップフラグを出力する手段であり、 前記記録手段 （ 6 3) は、 前記ォー ディォ P T Sオフセッ ト時間と前記オーディォドロップフラグを前記管 理情報として前記記録媒体 （ 6 1 ) に記録することを特徴とする請求項 2 2記載のオーディオ/ビデオ記録装置。

24. 同期したビデオデータとオーディォデータの組をビデオォブジ ェク トとして記録媒体 （ 6 1 ) に記録するに'際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （ 6 1 ) に記録するオーディオ Zビ デォ記録方法であって、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1 のステップと、 接続元のビデオォブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （S 6 2 ) と、

前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する第 3のステップ （S 6 3 ) と、

前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 する第 4のステップ （ S 6 4 ) と、

前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記ォーパーラップ時間を前記接続先のビデオオブジェク トのオーディ オフレームを再生する際のオーディオ P T Sオフセッ ト時間と し、 前記 接続点が前記再生シーケンス内の 2つ目以降の接続点であった場合は、 前記オーバーラップ時間と一つ前の前記接続点でのオーディオ P T Sォ フセッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出する第 5 のステップ （S 6 5 ) と、

少なく とも前記オーディオ P T Sオフセッ ト時間を管理情報とレて前 記記録媒体 （ 6 1 ) に記録する第 6 のステップ （ S 6 6 ) と、

を含むことを特徴とするオーディオ Zビデオ記録方法。

2 5. 前記第 5のステップ （S 6 5) は、 算出した前記接続点での前 記オーディォ P T Sオフセッ ト時間が、 オーディオフ レーム期間の n倍 (ただし、 nは 1又は 1 Z 2) の期間よりも大きい場合には、 該オーデ ィォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記 接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム力 S、 接続時に再生する必要が無いことを示す所定値のオーディオドロップフ ラグを出力するステップであり、 前記第 6のステップ （S 6 6) は、 前 記オーディオ P T Sオフセッ ト時間と ffj記オーディオドロップフラグを 前記管理情報として前記記録媒体 （ 6 1 ) に記録することを特徴とする 請求項 24記載のオーディォ /ビデオ記録方法。

2 6. 請求項 2 2又は 2 3記載の記録装置により ビデオオブジェク ト 及び再生シーケンスを記録した記録媒体 （ 7 1 ) から、 該再生シーケン スに基づいてビデオデータ及びオーディォデータを再生するオーディオ /ビデオ再生装置であって、

前記再生シーケンスに食まれる俞記ビデオォブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロ ック （S TC) をリセッ トするリセッ ト手段 （ 7 7) と、

前記記録媒体 （ 7 1 ) から読み出した前記オーディオ P T Sオフセッ ト時間に応じて、 該記録媒体 （'7 1 ) から読み出したオーディオフレー ムの P T Sをオフセッ トするオフセッ ト手段 （ 7 7， 7 5) と、

前記記録媒体 （ 7 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 74 ) と、

前記記録媒体 （ 7 1 ) から再生したオーディオデータを前記オフセッ トした P T Sに応じて再生するオーディオデータ再生手段 （ 7 5 ) と、 前記記録媒体 （ 7 1 ) から再生した前記オーディオドロップフラグが 5 前記所定値であるときは、 当該ビデオオブジェク トの最後に再生すべき オーディオフレームを再生しないように制御する ドロップ処理手段 （ 7 7 ) と、

前記オーディオデータ再生手段 （ 7 5 ) により再生された前記オーデ ィォデータに対し、 窓掛け処理と直交逆変換処理を含む復号化を行って 10 オーディオ信号を出力するオーディオ復号化手段 （ 7 5 ( 1 5， 1 6，

1 7 )) と、

を有することを特徴するオーディオ Zビデオ再生装置。

2 7. 請求項 2 2又は 2 3記載の記録装置により ビデオオブジェク ト 15 及び再生シーケンスを記録した記録媒体 （ 7 1 ) から、 該再生シーケン スに基づいてビデオデータ及びオーディォデータを再生するオーディォ

Zビデオ再生方法であって、

前記再生シーケンスに含まれる前記ビデオォブジヱク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の 20 システムタイムクロック （S T C) をリセッ トする第 1のステップ （S

7 2 ) と、

• 前記記録媒体 （ 7 1 ) から読み出した前記オーディオ P T Sオフセッ ト時間に応じて、 該記録媒体 （ 7 1 ) から読み出したオーディオフレー ムの P T Sをオフセッ トする第 2のステップ （ S 7 2 ) と、

25 前記記録媒体 （ 7 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 3のステップ（S 7 3 )と、 前記記録媒体 （ 7 1 ) から再生したオーディオデータを前記オフセッ トした P T Sに応じて再生する第 4のステップ （S 7 3 ) と、

前記記録媒体 （ 7 1 ) から再生した前記オーディオドロップフラグが 前記所定値であるときは、 当該ビデオオブジェク トの最後に再生すべき オーディオフレームを再生しないように制御する第 5のステップ （S 7

4 ) と、

前記第 4のステップ （S 7 3 ) により再生された前記オーディオデー タに対し、 窓掛け処理と直交逆変換処理を含む復号化を行ってオーディ ォ信号を出力する第 6のステップと、

を含むことを特徴するオーディオ Zビデオ再生'方法。

2 8. 同期したビデオデータとオーディォデータの組をビデオォプジ ェク トとして記録媒体 （ 6 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （ 6 1 ) に記録する記録方法をコン ピュータに実行させるオーディオ/ビデオ記録プログラムであって、 前記コンピュータに、

記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を食 む符号化を行って前記オーディオデータを出力する第 1のステップと、 接続元のビデオオブジェク トの最後に再生すべきビデオフレームと 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （S 6 2 ) と、

前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する第 3のステップ （ S 6 3 ) と、

前記接続点を含んで、前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのォーパーラップ時間を計算 する第 4のステップ （S 6 4 ) と、

前記接続点が前記再生シーケンス内の最初の接続点であつた場合は、 前記オーバーラップ時間を前記接続先のビデオオブジェク トのオーディ オフレームを再生する際のオーディオ p τ sオフセッ ト時間とし、 前記 接続点が前記再生シーケンス内の 2つ目以降の接続点であった場合は、 前記オーバーラップ時間と一つ前の前記接続点でのオーディオ P T Sォ フセッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間と して算出する第 5のステップ （S 6 5 ) と、

少なく とも前記オーディオ p τ sオフセッ ト時間を管理情報として 前記記録媒体 （ 6 1 ) に記録'するために出力する第 6のステップ （ S 6 6 ) と、 '

を実行させることを特徴とするオーディオ ビデオ記録プログラム。 2 9 . 請求項 2 2又は 2 3記載の記録装置により ビデオオブジェク ト 及ぴ再生シーケンスを記録した記録媒体 （ 7 1 ) から、 該再生シーケン スに基づいてビデオデータ及びオーディオデータを再生する再生方法を コンピュータに実行させるオーディオ Zビデオ再生プログラムであって、 前記コンピュータに、

前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するように、 装置 のシステムタイムクロック （S T C) をリセッ トする第 1のステップ（S 7 2 ) と、

前記記録媒体 （ 7 1 ) から読み出した前記オーディオ P T Sオフセ ッ ト時間に応じて、 該記録媒体 （ 7 1 ) から読み出したオーディオフレ ームの P T Sをオフセッ トする第 2のステップ （S 7 2) と、

前記記録媒体 （ 7 1 ) から再生したビデオデータをそのビデオデー タに付随したビデオ P T Sに応じて再生する第 3のステップ （S 7 3 ) と、

前記記録媒体 （ 7 1 ) から再生したオーディオデータを前記オフセ ッ トした P T Sに応じて再生する第 4のステップ （S 7 3 ) と、

前記記録媒体 （ 7 1 ) から再生した前記オーディオドロップフラグ が前記所定値であるときは、 当該ビデオオブジェク トの最後に再生すベ きオーディオフレームを再生しないように制御する第 5のステップ （ S 74 ) と、

前記第 4のステップ （S 74) により再生された前記オーディオデ ータに対し、 窓掛け処理と直交逆変換処理を含む複号化を行ってオーデ ィォ信号を出力する第 6のステップと、

を実行させることを特徴とするオーディオ/ビデオ再生プログラム。