JPWO2004091204A1 - オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム - Google Patents
オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム Download PDFInfo
- Publication number
- JPWO2004091204A1 JPWO2004091204A1 JP2005505271A JP2005505271A JPWO2004091204A1 JP WO2004091204 A1 JPWO2004091204 A1 JP WO2004091204A1 JP 2005505271 A JP2005505271 A JP 2005505271A JP 2005505271 A JP2005505271 A JP 2005505271A JP WO2004091204 A1 JPWO2004091204 A1 JP WO2004091204A1
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- reproduced
- recording
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Abstract
Description
ここで、ビデオデータの符号化方式としては、一般的にMPEG(Moving Picture Experts Group)ビデオが用いられる。MPEGビデオ(主にMPEG−2ビデオ)では、ビデオデータの各フレーム(またはフィールド)をIピクチャ、Pピクチャ、Bピクチャの種別を持って符号化する。Iピクチャとは、独立して復号化可能なピクチャであり、IはIntraの略である。Pピクチャとは、Iピクチャまたは他のPピクチャからの前方予測を用いて符号化されるピクチャであり、PはPredictionの略である。Bピクチャとは、IピクチャまたはPピクチャからの前方/後方予測を用いて符号化されるピクチャであり、BはBi−directional−predictionの略である。なお、NTSC方式でのビデオフレーム周期は、約1/30秒(正確には1/29.97秒)であり、PAL方式の場合は1/25秒である。
一方、オーディオデータの符号化方式としては、大別するとリニアPCM方式と、圧縮符号化方式の2種類が存在する。圧縮符号化方式の中では、ドルビーデジタル(AC−3)やDTS(Digital Theater Systems)、MPEGオーディオなどがよく用いられる。
リニアPCM方式では、サンプリング及び量子化後のデジタルデータを伝送する。伝送ビット数は16、20、24等が用いられる。サンプリング周波数には48kHzなどが用いられる。オーディオフレーム周期の設定は任意である。例えば、1/600秒(48kHz時に80サンプル分)などが用いられる。
圧縮符号化方式では、リニアPCMデータを直交変換や聴覚心理モデルを用いて圧縮する。オーディオフレーム周期は、2のべき乗のサンプル数(または更にその整数倍)を適用する場合が多く、例えば48kHz時に1024サンプルであれば、オーディオフレーム周期は約21msec(=1024/48000)となる。圧縮符号化方式でオーディオフレームに2のべき乗のサンプル数を使用する理由は、リニアPCMサンプルデータをスペクトルに変換する直交変換が、2のべき乗のサンプルを入出力とするのに適しているからである。
ところで、音声付ビデオ信号を符号化し、DVD等の記録媒体に記録する場合、ビデオデータとオーディオデータは上記のような符号化方式で符号化され、さらにMPEGシステムによって多重化され、例えばMPEGプログラムストリームとして記録媒体上に記録される。以下、このような多重化ストリームデータをビデオオブジェクト(VOB)と呼ぶことにする。
このとき、VOB内のビデオデータとオーディオデータは同期しているが、ビデオフレーム周期とオーディオフレーム周期は一致していることはまずなく、別々の周期で記録されている。というのも、ビデオフレーム周期はTVシステムに依存して一意に決定され、オーディオフレーム周期は、例えば圧縮符号化の効率化を考えた最適な長さを別途設定されるからである。この様子を図1に示す。
図1に示すように、ビデオフレーム周期(TV)とオーディオフレーム周期(TA)が異なる。一連のビデオデータとオーディオデータが同期して記録される例であり、データ先頭部分ではビデオデータとオーディオデータのフレーム先頭が一致している、典型例である。データの途中では、基本的にビデオフレーム境界とオーディオフレーム境界は一致しない(ビデオフレーム周期とオーディオフレーム周期の最小公倍数の位置を除く)。
ここで、別々に記録された2つのVOBの全部又は一部分ずつを接続編集し、連続して再生する用途が考えられる。図2はこの一例を示す。同図は、VOB(i)の時刻XからVOB(j)の時刻Yへ接続する例を示す。ビデオフレームに添えられたI、P、Bの文字は、既に説明したピクチャのタイプを示す。なお、図中ビデオフレームもオーディオフレームも再生時の順序で表示されていることに注意されたい。実際のVOB中では、Ii1、Pi1、Bi1、Bi2という順序で記録し、Bi1やBi2の復号化がIi1とPi1を使って実行できるようにする必要がある。
ここで、再生時にVOB(i)の時刻Aから時刻Xまでの各ピクチャを再生し、引き続きVOB(j)の時刻Yから時刻Bまでの各ピクチャを再生するためには、この再生パスのなかに含まれる時刻Xおよび時刻Y付近でのピクチャタイプに注意が必要である。つまり、VOB(i)のBi3とBi4の復号化にはPi2が必要であるが、Pi2はこの再生パスの中に存在しない。従って、例えばBi4をPピクチャタイプPi4’に変換し、Bi3をBi3’に変換する必要がある(Bi3’はPi1とPi4’から符号化)。
同様に、VOB(j)のPj1の復号化にはIj1が必要であるが、Ij1はこの再生パスの中に存在しない。従って、例えばPj1をIピクチャタイプIj1’に変換する必要がある。こうすることにより、Pi1→Bi3’→Pi4’→Ij1’→Bj3→Bj4というパスでデータを再生することが可能になる。便宜上、接続後の接続点をZとする。
なお、上記の説明はビデオ符号化方式がMPEGのようなフレーム間予測を用いたものである場合の一例であり、例えばDV方式のように符号化が各フレームで完結している場合には、このようなピクチャの変換処理は必要ない。また、MPEG等の場合でも、例えば、接続元がIピクチャの直前のBピクチャで終り、接続先がIピクチャで始まるような接続点を選ぶ場合などにも、ピクチャ変換処理は必要ない。
次に、接続点Zでのビデオフレームの再生について考える。上記の例では、基本的にはPi4’のフレームを1ビデオフレーム周期再生した直後にIj1’フレームを再生すること、つまり、ビデオフレーム画像をZ点で止めることのないシームレスな再生が要求される。シームレス再生を行うためには、一般に次のような条件を満足している必要がある。
(1) A→Z→Bのパスを復号化するのに必要なビデオフレームのデータが、このパスの中に含まれていること(上記の説明)。
(2) システムに規定のバッファが、A→Z→Bのパスのデータ読み込みでバッファアンダーフローを起こさないように、記録データが配置されていること。この目的のため、Z付近のデータ、または、A→Z→Bのパスのデータの全部または一部が接続編集前の位置とは異なる位置に再記録される場合がある。
(3) 接続点Zの前後で、システムタイムクロック(STC)をリセットする処理を行うこと。これは、一般にVOB(i)中の時間軸と、VOB(j)中の時間軸とが異なり、従って時刻XでのSTC値と、時刻YでのSTC値は異なる値を持つためである。
ここで、同じ図2を用いて、接続編集でのオーディオフレームの扱いについて考える。上記で説明したようにビデオフレーム間をシームレス接続するようにデータを構成する場合、基本的に接続点でオーディオフレームはシームレスに接続できない。これは、オーディオフレーム周期がビデオフレーム周期と異なるからであり、任意の接続点で、接続元の最終オーディオフレームの再生終了時刻と、接続先の先頭オーディオフレームの再生開始時刻が一致することが期待できないからである。このため、図2にGで示したように、従来はオーディオフレーム間にギャップの存在を許容することになる。
図3は、図2のような接続編集を考慮した場合の従来の再生装置の一例のブロック図を示す。
同図において、記録媒体101から図示しない再生機構により読み出された、図2にA→Z→Bで示したパスのデータは、トラックバッファ102を経由してデマルチプレクサ103へ入力される。デマルチプレクサ103ではビデオストリームとオーディオストリーム(またはその他のストリーム、図示しない)の多重化を解き、ビデオストリームはビデオバッファ104を経由してビデオデコーダ105に入力し、オーディオストリームはオーディオバッファ106を経由してオーディオデコーダ107へ入力する。
ビデオデコーダ105とオーディオデコーダ107では、それぞれビデオとオーディオの復号化を行う。ビデオ符号化方式がMPEG等の場合は、ビデオデコーダ105の出力側に、ピクチャ順序を再生順序に並べ替えるリオーダーバッファ109が装備される。ここで、STC回路108は、デマルチプレクサ103からのVOBデータから抽出したシステムクロックリファレンス(SCR)などの基準時刻信号を基にSTCをカウントする回路である。接続点ZではSTCのリセットも行う。また、図2にGで示したようなオーディオ再生のギャップが発生する位置で、これを示す制御信号(ここではミュート信号と呼ぶ)を発生し、オーディオデコーダ107をギャップの期間ミュートすることも受け持つ。
次に、図4に示すように、接続編集点で接続元の最終オーディオフレームの再生終了時刻Xと、接続先の先頭オーディオフレームの再生開始時刻Yが一致する例を考える。この場合も、VOB(i)のBi3とBi4の復号化にはPi2が必要であるが、Pi2はこの再生パスの中に存在しない。従って、例えばBi4をPピクチャタイプPi4’に変換し、Bi3をBi3’に変換する必要がある(Bi3’はPi1とPi4’から符号化)。
同様に、VOB(j)のPj1の復号化にはIj1が必要であるが、Ij1はこの再生パスの中に存在しない。従って、例えばPj1をIピクチャタイプIj1’に変換する必要がある。こうすることにより、Pi1→Bi3’→Pi4’→Ij1’→Bj3→Bj4というパスでデータを再生することが可能になる。
一方、オーディオデータに関しては、接続編集点で接続元の最終オーディオフレームの再生終了時刻Xと、接続先の先頭オーディオフレームの再生開始時刻Yが一致するため、図4に示すように、接続元のオーディオフレームと接続先のオーディオフレーム間にはギャップが生じない。
また、図4に示したように、接続編集点で接続元の最終オーディオフレームの再生終了時刻Xと、接続先の先頭オーディオフレームの再生開始時刻Yが一致する場合であっても、接続元の最後のオーディオサンプル値と、接続先の最初のオーディオサンプル値は一般に不連続であるため、図5に示すように、復号した接続元オーディオ波形aと復号した接続先オーディオ波形bとの接続点Zでノイズが発生する。このようなオーディオサンプルの不連続は、リニアPCMやMPEGオーディオレイヤI、IIなど、基本的にオーディオ信号を直交変換することなく時間波形として符号化する全ての方式で、本来不連続なオーディオフレーム同士を接続した場合に見受けられる問題である。
本発明は以上の点に鑑みなされたもので、光ディスク等の記録媒体に記録された2つの異なるオーディオデータとビデオデータの組を、ノイズなくシームレスに接続して再生するオーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラムを提供することを目的とする。
上記の目的を達成するため、第1の発明のオーディオ/ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、編集点を記録媒体に登録情報として記録する記録手段と、を有する構成としたものである。
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、その編集点を管理情報として記録媒体に記録するようにしたため、記録時にオーバーラップ時間やオフセット時間を計算しなくて済む。
また、上記の目的を達成するため、第2の発明は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第1のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第2のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第3のステップと、編集点を管理情報として記録媒体に記録する第4のステップと、を含むことを特徴とする。この発明は、第1の発明と同様に、記録時にオーバーラップ時間やオフセット時間を計算しなくて済む。
また、上記の目的を達成するため、第3の発明のオーディオ/ビデオ再生装置は、第1の発明の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、編集点が再生シーケンス内の2つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段と、算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオフレームをオフセットしたPTSに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのPTSをオフセットするためのオーディオPTSオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたPTSに応じて再生することができる。
また、上記の目的を達成するため、第4の発明のオーディオ/ビデオ再生方法は、第2の発明の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第1のステップと、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、編集点が再生シーケンス内の2つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第2のステップと、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップと、第2のステップで算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットする第4のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップと、記録媒体から再生したオーディオフレームを第4のステップでオフセットしたPTSに応じて再生すると共に、第3のステップで出力したオーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップと、第6のステップにより再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、を含むことを特徴する。
この発明では、第3の発明と同様に、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのPTSをオフセットするためのオーディオPTSオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたPTSに応じて再生することができる。
また、上記の目的を達成するため、第6の発明のオーディオ/ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、オーディオデータとビデオデータとを多重化してビデオオブジェクトを生成する多重化手段と、多重化手段による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるように、多重化手段を制御すると共に、そのオーディオ多重化状態を示すフラグを作成する制御手段と、制御手段により制御された多重化手段から出力されるビデオオブジェクトを、制御手段で作成されたオーディオ多重化状態を示すフラグと共に記録媒体に記録する記録手段と、を有することを特徴とする。
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録するようにしたため、再生時に最大1オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、上記の目的を達成するため、第7の発明のオーディオ/ビデオ記録装置は、第6の発明に加えて、更に接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する手段と、編集点を記録媒体に登録情報として記録する第2の記録手段と、を有することを特徴とする。
また、上記の目的を達成するため、第8の発明のオーディオ/ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第1のステップと、オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるように制御する第2のステップと、第2のステップの制御によるオーディオ多重化状態を示すフラグを、第2のステップの制御の下に多重化して得られたビデオオブジェクトと共に記録媒体に記録する第3のステップと、を含むことを特徴とする。
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録するようにしたため、再生時に最大1オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、上記の目的を達成するため、第9の発明のオーディオ/ビデオ記録方法は、上記の第8の発明に加えて更に、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第4のステップと、接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する第5のステップと、編集点を管理情報として記録媒体に記録する第6のステップと、を含むことを特徴とする。
また、上記の目的を達成するため、第10の発明のオーディオ/ビデオ再生装置は、第7の発明の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、再生管理情報内の編集点に関して、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、編集点が再生シーケンス内の2つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段と、算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオフレームをオフセットしたPTSに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録された記録媒体からビデオデータ及びオーディオデータを再生するに際し、再生時に最大1オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、上記の目的を達成するため、第11の発明のオーディオ/ビデオ再生装置は、第3の発明又は第10の発明のオフセット時間算出手段を、算出した接続点でのオーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、オーディオPTSオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段としたことを特徴とする。
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、1オーディオフレーム期間以内又は±0.5オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第12の発明のオーディオ/ビデオ再生方法は、第9の発明の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、第4の発明と同様の第1乃至第7のステップにより再生を行う。これにより、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのPTSをオフセットするためのオーディオPTSオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたPTSに応じて再生することができる。
また、上記の目的を達成するため、第13の発明のオーディオ/ビデオ再生方法は、第4の発明又は第12の発明の第2のステップを、算出した接続点でのオーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、オーディオPTSオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力することを特徴とする。
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、1オーディオフレーム期間以内又は±0.5オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第5の発明又は第14の発明のオーディオ/ビデオ再生プログラムは、第2の発明又は第9の発明の記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させることを特徴とする。
また、上記の目的を達成するため、第15の発明のオーディオ/ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、少なくともオーバーラップ時間を管理情報として記録媒体に記録する記録手段と、を有する構成としたものである。
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を算出して管理情報として記録媒体に記録するようにしたため、再生時にオーバーラップ時間を計算しなくて済む。
また、上記の目的を達成するため、第16の発明のオーディオ/ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第1のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第2のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第3のステップと、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第4のステップと、少なくともオーバーラップ時間を管理情報として記録媒体に記録する第5のステップと、を含むことを特徴とする。
この発明では、第15の発明と同様に、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を算出して管理情報として記録媒体に記録するようにしたため、再生時にオーバーラップ時間を計算しなくて済む。
また、上記の目的を達成するため、第17の発明は、第15の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、記録媒体からオーバーラップ時間を再生するオーバーラップ時間再生手段と、接続点が再生シーケンス内の最初の接続点であった場合は、記録媒体から再生したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、接続点が再生シーケンス内の2つ目以降の接続点であった場合は、記録媒体から再生したオーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段と、算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオデータをオフセットしたPTSに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、再生時に記録媒体から読み出したオーバーラップ時間に基づいて、記録媒体から読み出した接続点が再生シーケンス内の最初の接続点であるのか、2つ目以降の接続点であるのかに応じて、現接続点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において所定値のオーディオドロップフラグを出力し、算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオPTSオフセット時間の算出を不要にできる。
また、上記の目的を達成するため、第18の発明のオーディオ/ビデオ再生装置は、第17の発明におけるオフセット時間算出手段を、算出した接続点でのオーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、該オーディオPTSオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段としたことを特徴とする。
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、1オーディオフレーム期間以内又は±0.5オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第19の発明のオーディオ/ビデオ再生方法は、第16の発明によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、記録媒体からオーバーラップ時間を再生する第1のステップと、接続点が再生シーケンス内の最初の接続点であった場合は、記録媒体から再生したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、接続点が再生シーケンス内の2つ目以降の接続点であった場合は、記録媒体から再生したオーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第2のステップと、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップと、算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットする第4のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップと、記録媒体から再生したオーディオデータを第4のステップでオフセットしたPTSに応じて再生すると共に、第3のステップで出力したオーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップと、第6のステップにより再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、を含むことを特徴する。
この発明は、第17の発明と同様に、記録媒体から読み出したオーバーラップ時間に基づいて、現接続点でのオーディオPTSオフセット時間として算出し、その算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオPTSオフセット時間の算出を不要にできる。
また、上記の目的を達成するため、第20の発明のオーディオ/ビデオ再生方法は、第19の発明の第2のステップを、算出した接続点でのオーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、オーディオPTSオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力することを特徴とする。
更に、上記の目的を達成するため、第21の発明のオーディオ/ビデオ再生プログラムを、第16の発明のオーディオ/ビデオ記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法をコンピュータに実行させるオーディオ/ビデオ再生プログラムとしたものである。
また、上記の目的を達成するため、第22の発明のオーディオ/ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、接続点が再生シーケンス内の2つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出するオフセット時間算出手段と、少なくともオーディオPTSオフセット時間を管理情報として記録媒体に記録する記録手段と、を有する構成としたものである。
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、接続点が再生シーケンス内の2つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出して管理情報として記録媒体に記録するようにしたため、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第23の発明のオーディオ/ビデオ記録装置は、第22の発明のオフセット時間算出手段を、算出した接続点でのオーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、オーディオPTSオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段とし、記録手段は、オーディオPTSオフセット時間とオーディオドロップフラグを管理情報として記録媒体に記録することを特徴とする。この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、1オーディオフレーム期間以内又は±0.5オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第24の発明のオーディオ/ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第1のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第2のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第3のステップと、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第4のステップと、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、接続点が再生シーケンス内の2つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出する第5のステップと、少なくともオーディオPTSオフセット時間を管理情報として記録媒体に記録する第6のステップと、を含むことを特徴とする。この発明では、第22の発明のオーディオ/ビデオ記録装置と同様に、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第25の発明のオーディオ/ビデオ記録方法は、第24の発明の第5のステップを、算出した接続点でのオーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、オーディオPTSオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するステップとし、第6のステップは、オーディオPTSオフセット時間とオーディオドロップフラグを管理情報として記録媒体に記録することを特徴とする。この発明は、第23の発明のオーディオ/ビデオ記録装置と同様に、接続点以降のオーディオフレーム1とビデオフレームとの同期ずれは、1オーディオフレーム期間以内又は±0.5オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第26の発明のオーディオ/ビデオ再生装置は、第22又は第23の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段と、記録媒体から読み出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオデータをオフセットしたPTSに応じて再生するオーディオデータ再生手段と、記録媒体から再生したオーディオドロップフラグが所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するドロップ処理手段と、オーディオデータ再生手段により再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、再生時に記録媒体から読み出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオPTSオフセット時間の算出を不要にできる。
また、上記の目的を達成するため、第27の発明のオーディオ/ビデオ再生方法は、第22又は第23の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第1のステップと、記録媒体から読み出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットする第2のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第3のステップと、記録媒体から再生したオーディオデータをオフセットしたPTSに応じて再生する第4のステップと、記録媒体から再生したオーディオドロップフラグが所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第5のステップと、第4のステップにより再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第6のステップと、を含むことを特徴する。
この発明では、第26の発明のオーディオ/ビデオ再生装置と同様に、再生時に記録媒体から読み出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオPTSオフセット時間の算出を不要にできる。
また、本発明の第28の発明のオーディオ/ビデオ記録プログラムは、コンピュータにより第24の発明のオーディオ/ビデオ記録方法を実行させ、本発明の第29の発明のオーディオ/ビデオ再生プログラムは、第27の発明のオーディオ/ビデオ再生方法をコンピュータにより実行させることを特徴とする。
図2は、従来の接続編集とビデオ/オーディオ再生の概念図である。
図3は、従来の再生装置の一例のブロック図である。
図4は、従来の接続編集とビデオ/オーディオ再生の別の概念図である。
図5は、従来における、接続点でのオーディオ波形の一例である。
図6は、本発明における接続編集とビデオ/オーディオ再生の概念図である。
図7は、本発明の要部のオーディオエンコードブロック及びオーディオデコードブロックの一実施の形態のブロック図及び窓関数の一例を示す図である。
図8は、本発明の第1の実施の形態の接続編集とビデオ/オーディオ再生の概念図である。
図9は、本発明のオーディオ/ビデオ記録装置の実施の形態Iのブロック図である。
図10は、本発明のオーディオ/ビデオ記録方法の実施の形態1のフローチャートである。
図11は、本発明のオーディオ/ビデオ再生装置の実施の形態Iのブロック図である。
図12は、本発明のオーディオ/ビデオ再生方法の実施の形態Iのフローチャートである。
図13は、オーディオバッファ占有量を考慮した場合の、本発明の記録方法の一実施の形態のフローチャートである。
図14は、オーディオバッファ占有量を考慮した場合の、本発明の編集方法の一実施の形態のフローチャートである。
図15は、本発明の第2の実施の形態の接続編集とビデオ/オーディオ再生の概念図である。
図16は、本発明のオーディオ/ビデオ記録装置の実施の形態IIのブロック図である。
図17は、本発明のオーディオ/ビデオ記録方法の実施の形態IIのフローチャートである。
図18は、本発明のオーディオ/ビデオ再生装置の実施の形態IIのブロック図である。
図19は、本発明のオーディオ/ビデオ再生方法の実施の形態IIのフローチャートである。
図20は、本発明のオーディオ/ビデオ記録装置の実施の形態IIIのブロック図である。
図21は、本発明のオーディオ/ビデオ記録方法の実施の形態IIIのフローチャートである。
図22は、本発明のオーディオ/ビデオ再生装置の実施の形態IIIのブロック図である。
図23は、本発明のオーディオ/ビデオ再生方法の実施の形態IIIのフローチャートである。
図6は本発明になるオーディオ/ビデオ記録装置、記録方法、再生装置、再生方法及び再生プログラムの一実施の形態における接続編集とビデオ/オーディオ再生の例を示す。同図中、図2と同一部分には同一符号を付し、その説明を省略する。図6の実施の形態は図2の従来例と同様に、VOB(i)の時刻XからVOB(j)の時刻Yへ接続する例であるが、本実施の形態では、以下の2つの点が従来例と異なる。
(1) 接続編集後にVOB(i)で有効な最後のオーディオフレームは、時刻Xを含むオーディオフレームである(オーディオフレームの再生終了時刻が時刻Xと等しい場合(*1)を含む。)。同様に、接続編集後にVOB(j)で有効な最初のオーディオフレームは、時刻Yを含むオーディオフレームである(オーディオフレームの再生開始時刻が時刻Yと等しい場合(*2)を含む)。つまり、接続後のZ点において、VOB(i)の最後のオーディオフレームとVOB(j)の最初のオーディオフレームがオーバーラップする。図6にOLで示すオーバーラップ部分を、本明細書ではオーディオオーバーラップ(A_overlap)と呼ぶものとする。なお、上記の*1と*2が同時に満足される場合には、A_overlapはゼロとなる。
(2) VOB(j)のオーディオ再生においては、上記A_overlapをキャンセルする分だけオーディオフレームの再生時刻(PTS:Presentation Time Stamp)をオフセットして再生する。このオフセット量を、本明細書ではオーディオPTSオフセット(A_PTS_offset)と呼ぶものとする。
このように本実施の形態では、後続のVOBのオーディオフレームをオフセットし、接続点付近で、オーディオフレームのギャップを無くして接続することができ、上記問題点の1つが解決される。
更に、接続点での不連続ノイズを生じさせないため、本実施の形態では、オーディオ符号化方式の選択に工夫を行う。
図7の(A)は本発明になるオーディオ/ビデオ記録装置及び再生装置のオーディオエンコードブロック及びオーディオデコードブロックの一実施の形態のブロック図を示す。
図7の(A)に示すように、オーディオエンコードブロックでは、入力オーディオ信号は、窓掛け部11において窓関数との乗算による窓掛け処理された後、直交変換部12に供給されて直交変換され、更に量子化/符号化部13に供給されて所定サンプリング周波数に基づいて量子化された後、所定の方式の圧縮符号化が行われる。これにより得られた圧縮符号化オーディオデータは、図示しないビデオデータ記録系で圧縮符号化されたビデオデータと共に、図示しない多重化部でMPEGシステムの多重化により、例えばMPEGプログラムストリームとして記録媒体14上に公知の記録手段により記録される。
一方、記録媒体14から公知の再生手段により再生された多重化ストリームは、図示しない分離化部によりオーディオデータとビデオデータに分離された後、ビデオデータは図示しないビデオデータ再生系へ出力され、オーディオデータはオーディオデコードブロック内の復号化/逆量子化部15に供給されて復号化される。復号化及び逆量子化されたオーディオデータは、直交逆変換部16により直交逆変換された後、窓掛け部17に供給されて所定の窓関数との乗算による窓掛け処理が行われた後オーディオ信号に復元される。
次に、窓掛け部11及び17で使用される窓関数について、図7の(B)〜(D)と共に説明する。各オーディオフレームの窓関数は、図7の(C)に示すように、左肩をf(x)、右肩をg(x)とした左右対称形をしている。ここで、中央のフラット部分はあっても無くてもよい。図7の(B)に模式的に示す隣り合ったオーディオフレーム(i)と(i+1)の間で、オーディオフレーム(i)の窓関数g(x)部分と、オーディオフレーム(i+1)の窓関数f(x)部分がオーバーラップする。
ここで、実際にオーディオフレーム(i)で符号化するオーディオサンプルは、図7の(B)に示す(i)レンジで示した部分であることに注意されたい。エンコード側の窓掛け部11とデコード側の窓掛け部17で都合2回の窓掛けを行うことを考慮すると、上記のオーディオフレーム(i)と(i+1)のオーバーラップ部分で、
f(x)2+g(x)2=1.0 ・・・ [式1]
を満たす必要がある。このような窓関数の一例としては、
f(x)=sin(x) ・・・ [式2]
g(x)=cos(x) ・・・ [式3]
があるが、[式1]を満足するのであれば、どのような関数でもよい。
このような窓関数を使用したオーディオ符号化方式を用いる場合、本来不連続なオーディオフレーム同士を接続した場合でも、図7の(D)に示すように、2回の窓掛けによるf(x)2とg(x)2の窓関数により、オーディオサンプル同士が滑らかに足し合わせられるので、接続点で不連続ノイズを生じることは無い。従って、2つ目の問題点が解決される。つまり、以上により計2つの問題点が解決され、オーディオフレーム同士のシームレス接続が実現する。
<第1の実施の形態の接続編集とビデオ/オーディオ再生>
次に、図と関連する数式を用いて、第1の実施の形態について詳細に説明する。図8はVOB1、VOB2、VOB3のそれぞれの一部をこの順序で接続編集する場合のビデオ/オーディオ記録方法及び再生方法の第1の実施の形態を示す(なお、ここでは接続前のVOB1、VOB2、VOB3の図は省略してある。また、便宜上、図8の各VOBに含まれるビデオ/オーディオフレーム数は少ないが、現実には数十秒から数時間程度に相当するフレーム群が各VOBに含まれ得ることに注意されたい。)。なお、図8及び後述する図15において、TVは既に説明したビデオフレーム周期である。
図8において、点線矩形で示すオーディオフレーム群は、接続前の状態であり、実線矩形で示すオーディオフレーム群が、接続後の状態である。他方、ビデオフレーム群は全て接続後の状態で表示されている。以下、図8およびこれ以降の図と共に、本実施の形態で使用する変数類についてまとめて説明する。なお、以下のkは正の整数であり、図8の例では1、2、3のいずれかが入る。
図8において、STCkは、VOBk再生中に使用するSTC値のカウントアップを示す模式表現である。STC_deltakはSTC(k−1)とSTCkの差分であり、次式で表される。
STC_deltak=STC(k−1)−STCk ・・・[式4]
また、TAは、既に説明したように、オーディオフレーム周期である。A_overlapkは、既に説明したように、VOBkとVOB(k−1)の間のオーディオフレーム同士のオーバーラップ時間である。なお、この例では、VOB1は先頭なので、A_overlap1=0である。
また、A_PTS_offsetkは、既に説明したように、VOBk再生時のオーディオPTSに対する必要なオフセット時間である。なお、この例では、VOB1は先頭なので、A_PTS_offset1=0である。PTSkaudio_endは、VOBkの、最後のオーディオフレームの再生開始時刻(PTS値)である。なお、これは接続編集前の値である。
PTSkaudio_startは、VOBkの、最初のオーディオフレームの再生開始時刻(PTS値)である。なお、これは接続編集前の値である。このとき、A_overlapkは次のように計算できる。
A_overlapk=(PTSk−1audio_end+TA)
−(PTSkaudio_start+STC_deltak)
・・・[式5]
なお、[式5]の右辺第二項は、STCk上の時刻をSTC(k−1)上に写像するために、STC_deltakを足し合わせている。
次に、A_PTS_offsetkは、基本的にはA_overlapkをゼロにするように後続のVOBのオーディオフレーム群をオフセットする量であるので、図8のk=2については、
A_PTS_offset2=A_overlap2 ・・・[式6]
が成り立つ。さらに、図8のk=3については、k=2において、既にA_PTS_offset2の量だけVOB2のオーディオフレーム群はオフセットされているので、本来のA_overlap3に加えて、A_PTS_offset2の分オーバーラップ量が加算される。これをゼロにするため、k=3については
A_PTS_offset3
=A_overlap3+A_PTS_offset2 ・・・[式7]
が基本的に要求される。従って、一般式としては、
A_PTS_offsetk
=A_overlapk + A_PTS_offsetk−1
・・・[式8]
が成り立つ。
但し、ここで、A_PTS_offsetkがオーディオフレーム周期TAよりも大きくなる場合には、VOB(k−1)の最後のオーディオフレームを再生から落とすことにより、A_PTS_offsetkの量を減らすことができる。図8では、×印で示したフレームを脱落させる。この条件式を下に示す。ここで、AF_dropk−1は、VOB(k−1)の最後のオーディオフレームを脱落させる場合に値1を持つ(脱落させない場合は0)、オーディオドロップフラグである。図8の例の場合、AF_drop2=1となる。
If(A_PTS_offsetk>=TA){
A_PTS_offsetk=A_PTS_offsetk−TA;
AF_dropk−1=1;
}else AF_dropk−1=0; ・・・[式9]
このような脱落処理を行えば、VOBの接続回数が増えた場合にもA_PTS_offsetの値が累積して過剰に大きくなるのを防ぐことができる。
本発明では、接続後のVOBkでオーディオフレームを本来のビデオフレームとの同期関係からA_PTS_offset分だけずらして再生する。一般には、このズレはリップシンクに影響を及ぼし、ズレが1〜2ビデオフレーム周期より大きくなると、リップシンクの劣化が検知できるといわれている。従って、A_PTS_offset値は過剰に大きくならない方がよい。例えば、オーディオフレーム周期TAがビデオフレーム周期TV以下であれば、A_PTS_offsetをオーディオフレーム周期TA以内に抑えるのは有効である。
<オーディオ/ビデオ記録装置の実施の形態I>
次に、本発明になるオーディオ/ビデオ記録装置の実施の形態Iについて説明する。図9は、本発明になるオーディオ/ビデオ記録装置の実施の形態Iのブロック図を示す。ここでは、複数のVOBの記録は終了しているものとし、それらの接続編集動作について説明する。
図9において、ユーザーインタフェース部25、管理情報制御部26及びオブジェクト制御部27は、MPUブロック22を構成しており、MPU(Micro Processing Unit)のソフトウェア処理により実現される。
まず、編集指示はユーザーインタフェース部25を通じてユーザーから与えられる。管理情報制御部26では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、まず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部27、ビデオ/オーディオエンコードブロック24、媒体記録制御部23を通じて行われ、記録媒体21に書き込まれる。
<オーディオ/ビデオ記録方法の実施の形態I>
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ/ビデオ記録方法の実施の形態Iのオーディオシームレス接続のための計算と記録について、図10のフローチャートを併せ参照して説明する。
まず、管理情報制御部26において、接続対象VOBが決定され、かつ、ビデオ接続点(接続元のVOBの最後に再生すべきビデオフレームと、接続先のVOBの最初に再生すべきビデオフレームとの接続点)が決定される(ステップS1)。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる(ステップS2)。
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる(ステップS3)。すなわち、接続元のVOBの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のVOBの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。最後に、編集後のVOB(接続点付近のデータ)が、オブジェクト制御部27及び媒体記録制御部23を通して記録媒体21に書き込まれる(ステップS4)。このとき、上記の編集点の情報も管理情報として記録媒体21に書き込まれる。なお、ビデオ/オーディオエンコードブロック24中のオーディオエンコードブロックは、図7の(A)のエンコード側の構成を有している。
なお、図10で説明した記録方法は、図9で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
<オーディオ/ビデオ再生装置の実施の形態I>
次に、本発明になるオーディオ/ビデオ再生装置の実施の形態Iについて説明する。図11は本発明になるオーディオ/ビデオ再生装置の実施の形態Iのブロック図を示す。
図11において、記録媒体31には図9に示した記録装置により編集記録された編集後のVOBが記録されている。また、ユーザーインタフェース部36、管理情報制御部37、A_overlap計算部38、A_PTS_offset計算部39及びオブジェクト制御部40は、MPUブロック41を構成している。
この再生装置では、まず、再生指示がユーザーインタフェース部36を介して管理情報制御部37に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のVOBを接続して再生する情報が登録されているとする。以下、VOBデータ再生の基本的な手続きを示す。
再生シーケンスに登録されているVOBの再生関連情報は、管理情報制御部37で判定され、オブジェクト制御部40及び媒体再生制御部32を介してVOBデータが記録媒体31から読み出される。なお、編集点等の管理情報は、既に記録媒体31から媒体再生制御部32を介して読み出され、MPUブロック40内のメモリ(図示しない)に常時保存されているとする。
読み出されたVOBデータは、媒体再生制御部32よりデマルチプレクサ33に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック34に供給され、オーディオデータは図7の(A)のデコード側として示した構成を有するオーディオデコードブロック35に供給され、ビデオデータはそのビデオデータに付随したビデオPTSに応じてデコードされてビデオフレームとなり、またオーディオデータはオフセットしたPTSに応じてデコードされる。なお、AF_drop=1の場合には、そのVOBの最後のオーディオフレームは再生されない。
この際、SCRなどのクロック情報はデマルチプレクサ33で解読され、必要に応じてMPUブロック40へ渡される。また、STCなどのクロック情報は、MPUブロック40から、デマルチプレクサ33、ビデオデコードブロック34及びオーディオデコードブロック35へ渡され、STCに準拠して再生タイミングが制御される。
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体31には前述した接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間A_overlapと、A_overlapをゼロにするように後続のVOBのオーディオフレーム群をオフセットして再生するためのオフセット量を示すA_PTS_offsetとが、記録媒体31に記録されていないので、再生側で計算して用いる。
すなわち、A_overlap計算部38は、管理情報制御部37に入力された再生シーケンスの情報から得た編集点での情報を、前述した[式5]に代入して、オーバーラップ時間A_overlapを計算する。また、A_PTS_offset計算部39は、A_overlap計算部38により計算された接続点でのA_overlapが管理情報制御部37を介して入力されてA_PTS_offsetを計算する。
A_PTS_offset計算部39は、入力されたA_overlapに基づいて、[式8]の演算式によりA_PTS_offsetを算出し、更に[式9]の条件式に基づいてAF_dropを算出し、これらを管理情報制御部37に供給する。管理情報制御部37は入力されたA_PTS_offset及びAF_dropをオーディオデコードブロック35へ供給し、オーディオフレームの再生タイミングをA_PTS_offsetの分だけオフセットして再生する。また、AF_drop=1の場合には、そのVOBの最後のオーディオフレームを再生しないように制御する。
<オーディオ/ビデオ再生方法の実施の形態I>
次に、本発明のオーディオ/ビデオ再生方法の実施の形態Iについて、図12のフローチャートと共に説明する。
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるVOBの情報が確認される(ステップS11)。続いて、VOB接続点毎に、A_overlap計算部38により接続点でのA_overlapを計算し、更にこのA_overlapに基づきA_PTS_offset計算部39によりA_PTS_offset(及びAF_drop)を計算する(ステップS12)。
続いて、VOBの再生開始と同時または直前に、シームレス接続を可能にするように、STCがリセットされると共に、A_PTS_offset計算部39により計算されたA_PTS_offset(及びAF_drop)が、オーディオデコードブロック35へセットされる(ステップS13)。
その後VOBデータが実際に記録媒体31から読み出され、媒体再生制御部32及びデマルチプレクサ33を経てビデオデータはビデオデコードブロック34に供給され、オーディオデータはオーディオデコードブロック35に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される(ステップS14)。AF_drop=1の場合、VOBの最後のオーディオフレームは再生されないように処理される(ステップS15)。
このようにして再生されたオーディオフレームは、オーディオデコードブロック35内の図7の(A)に示したデコーダにより窓掛け処理と直交逆変換処理を含む符号化がされてオーディオ信号として出力される。続いて、再生シーケンス中の全VOBに対して上記の処理が実施されたかどうか判定し(ステップS16)、最後のVOBであれば、再生を終了する(ステップS17)。
なお、図12で説明した再生方法は、図11で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
次に、図11の再生装置に関し、オーディオデコードブロック35に含まれるオーディオバッファ(図示しない)について説明する。一般に、必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、運用するときのビットレートなどによって決定される。本発明の第1の実施の形態では、オーディオバッファからオーディオデコーダへのデータ転送が、最大1オーディオフレーム周期分遅れる。従って、本発明に必要なオーディオバッファの量は、本発明を適用しない「A_PTS_offset=0」の場合のオーディオバッファ量に、1オーディオフレーム分のデータ量を加えた量になる。
従って、オーディオバッファサイズに上限を設ける場合においては、オーディオストリームを含むVOBの記録時に、オーディオバッファサイズ上限から1オーディオフレーム分のデータ量を減じたバッファ占有量を上限として、オーディオデータを多重化しておけば、再生時に最大1オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。この場合、オーディオバッファ占有量が(オーディオバッファサイズ上限−1オーディオフレーム分のデータ量)を超えないで多重化されたことを示すフラグ(ここでは、audio_mux_statusフラグとする)をディスク上に記録しておけば、本発明のオーディオシームレス接続を構成する場合の指標となり得る。
図13は、audio_mux_statusフラグを考慮してVOBを記録する場合の、本発明のオーディオ/ビデオ記録方法の一実施の形態のフローチャートを示す。ここでは、オーディオバッファサイズ占有量が(オーディオバッファサイズ上限−1オーディオフレームのデータ量)以下であるように多重化された場合、audio_mux_status=1とし、そうでない場合0と定義する。
以下、上記の記録方法について図13及び図9を併せ参照して説明する。まず、MPUブロック22内の管理情報制御部26が、このオーディオバッファ条件(所定のオーディオ多重化状態)を満足するように多重化するかどうかを決定する(図13のステップS21)。このとき、必要に応じてユーザーインタフェース部25を解してユーザーの指示を受ける。
上記の条件を満足させる場合、管理情報制御部26から条件満足の通知を受けたオブジェクト制御部27からの指示により、ビデオ/オーディオエンコードブロック24はオーディオバッファ占有量が規定のオーディオバッファ上限から1オーディオフレームのデータ量を減じた値以下であるように、オーディオデータをビデオデータと多重化し、その多重化して得られたVOBを媒体記録制御部23を介して記録媒体21に記録する(図13のステップS22)。また、管理情報制御部26はオーディオ多重化状態を示すaudio_mux_statusフラグを1とし、他の管理情報と共に媒体記録制御部23を介して記録媒体21に記録する(図13のステップS23)。
他方、ステップS21でオーディオバッファ条件を満足させない(または条件を満足することを保障しない)と管理情報制御部26が判断した場合、管理情報制御部26から条件満足の否定通知を受けたオブジェクト制御部27からの指示により、ビデオ/オーディオエンコードブロック24で通常のオーディオバッファ条件により得られたVOBが媒体記録制御部23を介して記録媒体21に記録される(図13のステップS24)。また、管理情報制御部26により他の管理情報と共に作成された、値が0に設定された上記のaudio_mux_statusフラグが、媒体記録制御部23を介して記録媒体21に記録される(図13のステップS25)。
図14は、audio_mux_statusフラグを考慮してVOBを編集する場合の、本発明のオーディオ/ビデオ編集方法の一実施の形態のフローチャートを示す。図10と同様に、図9の管理情報制御部26において、接続対象VOBが決定され、かつ、ビデオ接続点(接続元のVOBの最後に再生すべきビデオフレームと、接続先のVOBの最初に再生すべきビデオフレームとの接続点)が決定される(図14のステップS31)。続いて、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる(図14のステップS32)。
次に、ビデオ接続点が決定された後、図9の媒体記録制御部23を介して記録媒体21から読み出した管理情報内の接続対象のVOBに関連するaudio_mux_statusフラグの値が1であるか否かを管理情報制御部26が確認する(図14のステップS33)。audio_mux_statusフラグの値が1の場合、本発明に従ってオーディオオーバーラップとなるようにオーディオフレーム編集点を決定する(図14のステップS34)。audio_mux_statusフラグの値が0の場合、従来技術に従ってオーディオギャップとなるようにオーディオフレーム編集点を決定する(図14のステップS35)。
ステップS34又はS35の処理後に、編集後のVOB(接続点付近のデータ)が、オブジェクト制御部27及び媒体記録制御部23を通して記録媒体21に書き込まれると共に、編集点の情報も管理情報として記録媒体21に書き込まれる(図14のステップS36)。
なお、上記第1の実施の形態において、編集後のデータ(ビデオデータ、オーディオデータ)の記録場所については、使用する記録メディアや前提とする再生装置に依存するシーク条件などを考慮した場合に、シームレス再生が保障できる限りにおいて、特に本発明として限定しない。つまり、データの記録場所の如何にかかわらず、実質的にオーディオオーバーラップを持って編集データが構成され、オーディオPTSオフセットを持って再生可能な場合には、本発明の趣旨を満足する。
<第2の実施の形態の接続編集とビデオ/オーディオ再生>
次に、本発明の第2の実施の形態について、第1の実施の形態との相違点を中心に説明する。図8に接続編集とビデオ/オーディオ再生の概念を示した第1の実施の形態では、A_PTS_offsetの値が常にゼロ以上(時間遅れ)になる。これに対し、図15に示す第2の実施の形態では、A_PTS_offsetの値が負になること(時間進み)も許容する。言い換えると、第1の実施の形態では、基本的に0≦A_PTS_offset<TAとなるようにしたが、第2の実施の形態では、基本的に−0.5×TA<A_PTS_offset≦0.5×TA(又は−0.5×TA≦A_PTS_offset<0.5×TA)となる場合の例である。
第2の実施の形態も、[式4]〜[式8]はそのまま適用できるが、[式9]は上述のように、A_PTS_offsetの値域を規定するため、以下の式と置き換えられる。
If(A_PTS_offsetk>0.5×TA){
A_PTS_offsetk=A_PTS_offsetk−TA;
AF_dropk−1=1;
}else AF_dropk−1=0 ・・・[式10]
ここで、図15における計算を更に説明する。図15の第一の接続点では、まず[式6]により、A_PTS_offset2=A_overlap2となるが、この例ではA_PTS_offset2が0.5×TAよりも大きいので、[式10]のIf文が真になり、A_PTS_offset2は負の値になる(オフセットが時間進みになる)。同時に、AF_drop1=1となる。つまり、VOB1の最後のオーディオフレームが再生から脱落される。図15には脱落済みの状態が図示されている。
次に、図15の第二の接続点では、[式7]によりA_PTS_offset3は、A_overlap3とA_PTS_offset2の和として計算される。この例ではA_PTS_offset2が負の値であるので、A_PTS_offset3は、A_overlap3よりも小さな値となる。なお、A_PTS_offset3は、0.5×TAよりも小さいので、[式10]のIf文が偽になり、A_PTS_offset3は正の値になる(オフセットが時間遅れになる)。同時に、AF_drop2=0となる。
第2の実施の形態の上記以外の構成は、第1の実施の形態と同じである。つまり、図9、図10、図11、図12で示した、記録/編集装置及び方法、再生装置及び再生方法のように、再生時にVOB接続点毎にA_overlapを計算し、更にこのA_overlapに基づきA_PTS_offset(及びAF_drop)を計算し、計算したA_PTS_offset(及びAF_drop)をオーディオデコードブロック35に供給し、オーディオフレームの再生タイミングをA_PTS_offsetの分だけオフセットして再生するように制御し、また、AF_drop=1の場合には、そのVOBの最後のオーディオフレームを再生しないように制御する。
このようにして、本実施の形態も第1の実施の形態と同様に、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。また、本実施の形態も、第1の実施の形態と同様に、編集方法や再生方法がコンピュータ上のプログラムとしても実施できる。
次に、図11の再生装置に関し、オーディオデコードブロック35に含まれるオーディオバッファ(図示しない)について説明する。一般に、必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、運用するときのビットレートなどによって決定される。本発明の第1の実施の形態では、オーディオバッファからオーディオデコーダへのデータ転送が、最大1オーディオフレーム周期分遅れる。従って、本発明に必要なオーディオバッファの量は、本発明を適用しない「A_PTS_offset=0」の場合のオーディオバッファ量に、1オーディオフレーム分のデータ量を加えた量になる。
一方、第2の実施の形態の場合も、最大0.5オーディオフレーム周期遅れを考慮すると、必要なオーディオバッファの量は、本発明を適用しない「A_PTS_offset=0」の場合のオーディオバッファ量に、1オーディオフレーム分のデータ量を加えた量になる。さらに、第2の実施の形態の場合は、最大0.5オーディオフレーム周期早くオーディオバッファからオーディオデコーダへのデータ転送が行われることを考慮すると、VOBの作成時に、再生時のオーディオバッファ占有量が常に1オーディオフレームデータ量以上になるような多重化を行う必要がある。
従って、オーディオバッファサイズに上限を設ける場合においては、オーディオストリームを含むVOBの記録時に、オーディオバッファサイズ上限から1オーディオフレーム分のデータ量を減じたバッファ占有量を上限として、オーディオデータを多重化しておけば、再生時に最大0.5オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。この場合、オーディオバッファ占有量が(オーディオバッファサイズ上限−1オーディオフレーム分のデータ量)を超えないで、多重化されたことを示すフラグ(ここでは、audio_mux_statusフラグとする)をディスク上に記録しておけば、本発明のオーディオシームレス接続を構成する場合の指標となり得る。
更に、第2の実施の形態の場合には、オーディオバッファ占有量が常に1オーディオフレームのデータ量以上になるように多重化されていることを示すフラグを準備すれば、この実施の形態に応じてオーディオシームレス接続を構成する場合の指標となり得る。このフラグと先のaudio_mux_statusフラグは、別のフラグでもよいし、同一のフラグで兼ねてもよい。第2の実施の形態の場合にも、オーディオバッファ条件に、オーディオバッファ占有量が常に1オーディオフレームのデータ量以上になるという条件が加わることを除いて、図13と図14と同じ処理ステップで記録と編集が可能である。
なお、編集後のデータ(ビデオデータ、オーディオデータ)の記録場所については、使用する記録メディアや前提とする再生装置に依存するシーク条件などを考慮した場合に、シームレス再生が保障できる限りにおいて、特に本発明として限定しない。つまり、データの記録場所の如何にかかわらず、実質的にオーディオオーバーラップを持って編集データが構成され、オーディオPTSオフセットを持って再生可能な場合には、本発明の趣旨を満足する。
<オーディオ/ビデオ記録/再生の他の実施の形態>
次に、先に説明した本発明になるオーディオ/ビデオ記録装置/方法及び再生装置/方法のその他の実施形態について説明する。
<オーディオ/ビデオ記録装置の実施の形態II>
図16は本発明になるオーディオ/ビデオ記録装置の実施の形態IIのブロック図を示す。ここでは、複数のVOBの記録は終了しているものとし、それらの接続編集動作について説明する。
図16において、ユーザーインタフェース部45、管理情報制御部46、A_overlap計算部47、及びオブジェクト制御部48は、MPUブロック42を構成しており、MPU(Micro Processing Unit)のソフトウェア処理により実現される。
まず、編集指示はユーザーインタフェース部45を通じてユーザーから与えられる。管理情報制御部46では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、先ず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部48、ビデオ/オーディオエンコードブロック44、媒体記録制御部43を通じて行われ、記録媒体41に書き込まれる。
<オーディオ/ビデオ記録方法の実施の形態II>
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ/ビデオ記録方法の実施の形態IIのオーディオシームレス接続のための計算と記録について、図17のフローチャートを併せ参照して説明する。
まず、管理情報制御部46において、接続対象VOBが決定され、かつ、ビデオ接続点(接続元のVOBの最後に再生すべきビデオフレームと、接続先のVOBの最初に再生すべきビデオフレームとの接続点)が決定される(ステップS41)。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる(ステップS42)。
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる(ステップS43)。すなわち、接続元のVOBの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のVOBの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。
続いて、A_overlap計算部47において、前述したA_overlapの計算が行われる(ステップS44)。最後に、編集後のVOB(接続点付近のデータ)、計算されたA_overlapと再生シーケンス等の管理情報が、オブジェクト制御部48及び媒体記録制御部43を通して記録媒体41に書き込まれる(ステップS45)。再生シーケンスには、再生すべきVOBの情報、接続点の情報などが含まれる。なお、ビデオ/オーディオエンコードブロック44中のオーディオエンコードブロックは、図7の(A)のエンコード側の構成を有している。
なお、図17で説明した記録方法は、図16で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
<オーディオ/ビデオ再生装置の実施の形態II>
次に、本発明になるオーディオ/ビデオ再生装置の実施の形態IIについて説明する。図18は本発明になるオーディオ/ビデオ再生装置の実施の形態IIのブロック図を示す。
図18において、記録媒体51には図16に示した記録装置により編集記録された編集後のVOBや管理情報が記録されている。また、ユーザーインタフェース部56、管理情報制御部57、A_PTS_offset計算部58及びオブジェクト制御部59は、MPUブロック60を構成している。
この再生装置では、まず、再生指示がユーザーインタフェース部56を介して管理情報制御部57に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のVOBを接続して再生する情報が登録されているとする。以下、VOBデータ再生の基本的な手続きを示す。
再生シーケンスに登録されているVOBの再生関連情報は、管理情報制御部57で判定され、オブジェクト制御部59及び媒体再生制御部52を介してVOBデータが記録媒体51から読み出される。なお、再生シーケンス等の管理情報は、既に記録媒体51から媒体再生制御部52を介して読み出され、MPUブロック60内のメモリ(図示しない)に常時保存されているとする。
読み出されたVOBデータは、媒体再生制御部52よりデマルチプレクサ53に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック54に供給され、オーディオデータは図7の(A)のデコード側として示した構成を有するオーディオデコードブロック55に供給され、それぞれデコードされ、デコード後のビデオフレーム、オーディオフレームが出力される。この際、SCRなどのクロック情報はデマルチプレクサ53で解読され、必要に応じてMPUブロック60へ渡される。また、STCなどのクロック情報は、MPUブロック60から、デマルチプレクサ53、ビデオデコードブロック54及びオーディオデコードブロック55へ渡され、STCに準拠して再生タイミングが制御される。
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体51には接続点でのA_overlapを含む管理情報が記録されているので、媒体再生制御部52により記録媒体51から読み出された管理情報は、オブジェクト制御部59を介して管理情報制御部57に供給され、ここで管理情報から接続点でのA_overlapが取り出されてA_PTS_offset計算部58に供給される。
A_PTS_offset計算部58は、入力されたA_overlapに基づいて、[式8]の演算式によりA_PTS_offsetを算出し、更に[式9]の条件式に基づいてAF_dropを算出し、これらを管理情報制御部57に供給する。管理情報制御部57は入力されたA_PTS_offset及びAF_dropをオーディオデコードブロック55へ供給し、オーディオフレームの再生タイミングをA_PTS_offsetの分だけオフセットして再生する。また、AF_drop=1の場合には、そのVOBの最後のオーディオフレームを再生しないように制御する。
<オーディオ/ビデオ再生方法の実施の形態II>
次に、本発明のオーディオ/ビデオ再生方法の実施の形態IIについて、図19のフローチャートと共に説明する。
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるVOBの情報が確認される(ステップS51)。続いて、VOB接続点毎に、再生されたA_overlapに基づきA_PTS_offset計算部58によりA_PTS_offset(及びAF_drop)を計算する(ステップS52)。
続いて、VOBの再生開始と同時または直前に、STCはシームレス接続を可能にするようにリセットされると共に、A_PTS_offset計算部58により計算されたA_PTS_offset(及びAF_drop)が、オーディオデコードブロック55へセットされる(ステップS53)。
その後VOBデータが実際に記録媒体51から読み出され、媒体再生制御部52及びデマルチプレクサ53を経てビデオデータはビデオデコードブロック54に供給され、オーディオデータはオーディオデコードブロック55に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される(ステップS54)。AF_drop=1の場合、VOBの最後のオーディオフレームは再生されないように処理される(ステップS55)。
このようにして再生されたオーディオフレームは、図7の(A)に示したデコーダにより窓掛け処理と直交逆変換処理を含む符号化がされてオーディオ信号として出力される。続いて、再生シーケンス中の全VOBに対して上記の処理が実施されたかどうか判定し(ステップS56)、最後のVOBであれば、再生を終了する(ステップS57)。
なお、図19で説明した再生方法は、図18で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
<オーディオ/ビデオ記録装置の実施の形態III>
次に、本発明になるオーディオ/ビデオ記録装置の実施の形態IIIについて説明する。図20は本発明になるオーディオ/ビデオ記録装置の実施の形態IIIのブロック図を示す。ここでは、複数のVOBの記録は終了しているものとし、それらの接続編集動作について説明する。
図20において、ユーザーインタフェース部65、管理情報制御部66、A_overlap計算部67、A_PTS_offset計算部68及びオブジェクト制御部69は、MPUブロック62を構成しており、MPU(Micro Processing Unit)のソフトウェア処理により実現される。
まず、編集指示はユーザーインタフェース部65を通じてユーザーから与えられる。管理情報制御部66では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、先ず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部69、ビデオ/オーディオエンコードブロック64、媒体記録制御部63を通じて行われ、記録媒体61に書き込まれる。
<オーディオ/ビデオ記録方法の実施の形態III>
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ/ビデオ記録方法の実施の形態IIIのオーディオシームレス接続のための計算と記録について、図21のフローチャートを併せ参照して説明する。
まず、管理情報制御部66において、接続対象VOBが決定され、かつ、ビデオ接続点(接続元のVOBの最後に再生すべきビデオフレームと、接続先のVOBの最初に再生すべきビデオフレームとの接続点)が決定される(ステップS61)。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる(ステップS62)。
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる(ステップS63)。すなわち、接続元のVOBの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のVOBの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。
続いて、A_overlap計算部67において、前述したA_overlapの計算が行われ(ステップS64)、A_PTS_offset計算部68において前述したA_PTS_offset(及びAF_drop)の計算が行われる(ステップS65)。
最後に、編集後のVOB(接続点付近のデータ)、少なくともA_PTS_offset(及びAF_drop)と再生シーケンス等の管理情報が、オブジェクト制御部69及び媒体記録制御部63を通して記録媒体61に書き込まれる(ステップS66)。このとき、A_overlapも記録媒体に書き込むかどうかは任意である。再生シーケンスには、再生すべきVOBの情報、接続点の情報などが含まれる。なお、ビデオ/オーディオエンコードブロック64中のオーディオエンコードブロックは、図7の(A)のエンコード側の構成を有している。
なお、図21で説明した記録方法は、図20で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
<オーディオ/ビデオ再生装置の実施の形態III>
次に、本発明になるオーディオ/ビデオ再生装置の実施の形態IIIについて説明する。図22は本発明になるオーディオ/ビデオ再生装置の実施の形態IIIのブロック図を示す。
図22において、記録媒体71には図20に示した記録装置により編集記録された編集後のVOBや管理情報が記録されている。また、ユーザーインタフェース部76、管理情報制御部77及びオブジェクト制御部78は、MPUブロック79を構成している。
この再生装置では、まず、再生指示がユーザーインタフェース部76を介して管理情報制御部77に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のVOBを接続して再生する情報が登録されているとする。以下、VOBデータ再生の基本的な手続きを示す。
再生シーケンスに登録されているVOBの再生関連情報は、管理情報制御部77で判定され、オブジェクト制御部78及び媒体再生制御部72を介してVOBデータが記録媒体71から読み出される。なお、再生シーケンス等の管理情報は、既に記録媒体71から媒体再生制御部72を介して読み出され、MPUブロック79内のメモリ(図示しない)に常時保存されているとする。
読み出されたVOBデータは、媒体再生制御部72よりデマルチプレクサ73に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック74に供給され、オーディオデータは図7の(A)のデコード側として示した構成を有するオーディオデコードブロック75に供給され、それぞれデコードされ、デコード後のビデオフレーム、オーディオフレームが出力される。この際、SCRなどのクロック情報はデマルチプレクサ73で解読され、必要に応じてMPUブロック79へ渡される。また、STCなどのクロック情報は、MPUブロック79から、デマルチプレクサ73、ビデオデコードブロック74及びオーディオデコードブロック75へ渡され、STCに準拠して再生タイミングが制御される。
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体71には接続点でのA_PTS_offsetが記録されているので、接続点でのA_PTS_offset(及びAF_drop)を管理情報から読み出す。得られたA_PTS_offset(及びAF_drop)は、オーディオデコードブロック75へ供給され、オーディオフレームの再生タイミングをA_PTS_offsetの分だけオフセットして再生する。また、AF_drop=1の場合には、そのVOBの最後のオーディオフレームを再生しないように制御する。
<オーディオ/ビデオ再生方法の実施の形態III>
次に、本発明のオーディオ/ビデオ再生方法の実施の形態IIIについて、図23のフローチャートと共に説明する。
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるVOBの情報が確認される(ステップS71)。続いて、VOBの再生開始と同時または直前に、STCはシームレス接続を可能にするようにリセットされると共に、記録媒体71から再生されたA_PTS_offsetが、オーディオデコードブロック75へセットされる(ステップS72)。
その後VOBデータが実際に記録媒体71から読み出され、媒体再生制御部72及びデマルチプレクサ73を経てビデオデータはビデオデコードブロック74に供給され、オーディオデータはオーディオデコードブロック75に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される(ステップS73)。AF_drop=1の場合、VOBの最後のオーディオフレームは再生されないように処理される(ステップS74)。続いて、再生シーケンス中の全VOBに対して上記の処理が実施されたかどうか判定し(ステップS75)、最後のVOBであれば、再生を終了する(ステップS76)。
なお、図23で説明した再生方法は、図22で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
なお、先に説明した本発明の第2の実施の形態において、第1の実施の形態と同じ部分のうち、図4、図5、図6、図7で示した、記録/編集装置及び方法、再生装置及び再生方法(つまり、実施形態Iの部分)の代わりに、図16、図17、図18、図19で示した、記録/編集装置及び方法、再生装置及び再生方法(つまり、実施形態IIのように、接続点でのA_overlapを記録時に算出し、このA_overlapを記録媒体に記録し、再生時に記録媒体から読み出したA_overlapからA_PTS_offset(及びAF_drop)を算出し、そのA_PTS_offset(及びAF_drop)をオーディオデコードブロック55に供給し、オーディオフレームの再生タイミングをA_PTS_offsetの分だけオフセットして再生するように制御し、また、AF_drop=1の場合には、そのVOBの最後のオーディオフレームを再生しないように制御する)、あるいは、図20、図21、図22、図23で示した、記録/編集装置及び方法、再生装置及び再生方法(つまり、実施形態IIIのように、接続点でのA_overlapとA_PTS_offset(及びAF_drop)を記録時に算出し、少なくともA_PTS_offset(及びAF_drop)を記録媒体に記録し、再生時に記録媒体から読み出したA_PTS_offset(及びAF_drop)をオーディオデコードブロック75に供給し、オーディオフレームの再生タイミングをA_PTS_offsetの分だけオフセットして再生するように制御し、また、AF_drop=1の場合には、そのVOBの最後のオーディオフレームを再生しないように制御する)、を採用しても良い。
また、本発明によれば、オーディオフレームの編集点を決定し、その編集点を管理情報として記録媒体に記録し、再生側において再生管理情報に基づいて接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間と、記録媒体から読み出したオーディオフレームのPTSをオフセットするためのオーディオPTSオフセット時間を計算させることで、記録側では上記のオーバーラップ時間とオーディオPTSオフセット時間を計算しないようにしたため、記録側の負担を最小にできる。
また、本発明によれば、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録された記録媒体からビデオデータ及びオーディオデータを再生するに際し、再生時に最大1オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、本発明によれば、再生時に記録媒体から読み出したオーバーラップ時間に基づいて算出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットすることにより、再生側でのオーディオデータのシームレス再生のためのオーディオPTSオフセット時間を算出するために用いるオーバーラップ時間の計算を不要としたため、再生側のシームレス再生時の負担を軽減することができる。
更にまた、本発明によれば、再生時に記録媒体から読み出したオーディオPTSオフセット時間に応じて、記録媒体から読み出したオーディオフレームのPTSをオフセットすることにより、再生側でのオーディオデータのシームレス再生のためのオーディオPTSオフセット時間の算出を不要にしたため、再生側のシームレス再生時の負担を最小とすることができる。
Claims (29)
- 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(21)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(21)に記録するオーディオ/ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段(24(11,12,13))と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段(27,24,23)と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレームの編集点を決定する編集点決定手段(26)と、
前記編集点を記録媒体(21)に登録情報として記録する記録手段(23)と、
を有することを特徴とするオーディオ/ビデオ記録装置。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(21)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(21)に記録するオーディオ/ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第1のステップと、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第2のステップ(S2)と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレームの編集点を決定する第3のステップ(S3)と、
前記編集点を管理情報として前記記録媒体(21)に記録する第4のステップ(S4)と、
を含むことを特徴とするオーディオ/ビデオ記録方法。 - 請求項1記載の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体(31)から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、
前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段(38)と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記編集点が前記再生シーケンス内の2つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段(39)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段(37)と、
算出した前記オーディオPTSオフセット時間に応じて、前記記録媒体(31)から読み出したオーディオフレームのPTSをオフセットするオフセット手段(37,35)と、
前記記録媒体(31)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段(34)と、
前記記録媒体(31)から再生したオーディオフレームを前記オフセットしたPTSに応じて再生すると共に、前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段(35)と、
前記オーディオフレーム再生手段(35)により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段(35(15,16,17))と、
を有することを特徴するオーディオ/ビデオ再生装置。 - 請求項2記載の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体(31)から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、
前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第1のステップ(S12)と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記編集点が前記再生シーケンス内の2つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第2のステップ(S12)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップ(S13)と、
前記第2のステップ(S12)で算出した前記オーディオPTSオフセット時間に応じて、前記記録媒体(31)から読み出したオーディオフレームのPTSをオフセットする第4のステップ(S13)と、
前記記録媒体(31)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップ(S14)と、
前記記録媒体(31)から再生したオーディオフレームを前記第4のステップ(S13)でオフセットしたPTSに応じて再生すると共に、前記第3のステップ(S13)で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップ(S14,S15)と、
前記第6のステップ(S14,S15)により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、
を含むことを特徴するオーディオ/ビデオ再生方法。 - 請求項2記載の記録方法によりビデオオブジェクト及びオーディオフレームの編集点を含む管理情報を記録した記録媒体(31)から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させるオーディオ/ビデオ再生プログラムであって、
前記コンピュータに、
前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第1のステップ(S12)と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記編集点が前記再生シーケンス内の2つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第2のステップ(S12)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップ(S13)と、
算出された前記オーディオPTSオフセット時間に応じて、前記記録媒体(31)から読み出したオーディオフレームのPTSをオフセットする第4のステップ(S13)と、
前記記録媒体(31)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップ(S14)と、
前記記録媒体(31)から再生したオーディオデータを前記第4のステップでオフセットしたPTSに応じて再生すると共に、前記第3のステップで出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップ(S14,S15)と、
前記第6のステップにより再生された前記オーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、
を実行させることを特徴するオーディオ/ビデオ再生プログラム。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(21)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体に記録するオーディオ/ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段(24(11,12,13))と、
前記オーディオデータと前記ビデオデータとを多重化して前記ビデオオブジェクトを生成する多重化手段(24)と、
前記多重化手段(24)による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるように、前記多重化手段(24)を制御すると共に、そのオーディオ多重化状態を示すフラグを作成する制御手段(24,26)と、
前記制御手段(24,26)により制御された前記多重化手段(24)から出力される前記ビデオオブジェクトを、前記制御手段(24,26)で作成された前記オーディオ多重化状態を示すフラグと共に記録媒体(21)に記録する記録手段(23)と、
を有することを特徴とするオーディオ/ビデオ記録装置。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(21)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(21)に記録するオーディオ/ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段(24(11,12,13))と、
前記オーディオデータと前記ビデオデータとを多重化して前記ビデオオブジェクトを生成する多重化手段(24)と、
前記多重化手段(24)による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるように、前記多重化手段(24)を制御すると共に、そのオーディオ多重化状態を示すフラグを作成する制御手段(24,26)と、
前記制御手段(24,26)により制御された前記多重化手段(24)から出力される前記ビデオオブジェクトを、前記制御手段(24、26)で作成された前記オーディオ多重化状態を示すフラグと共に記録媒体(21)に記録する第1の記録手段(23)と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段(27,24,23)と、
前記接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する手段(26)と、
前記編集点を記録媒体(21)に登録情報として記録する第2の記録手段(23)と、
を有することを特徴とするオーディオ/ビデオ記録装置。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(21)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(21)に記録するオーディオ/ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第1のステップと、
前記オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるように制御する第2のステップ(S22)と、
前記第2のステップ(S22)の制御によるオーディオ多重化状態を示すフラグを、前記第2のステップ(S22)の制御の下に多重化して得られた前記ビデオオブジェクトと共に記録媒体(21)に記録する第3のステップ(S23)と、
を含むことを特徴とするオーディオ/ビデオ記録方法。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(21)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(21)に記録するオーディオ/ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第1のステップと、
前記オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から1オーディオフレームのデータ量を減じた値以下であるように制御する第2のステップと(S22)、
前記第2のステップ(S22)の制御によるオーディオ多重化状態を示すフラグを、前記第2のステップ(S22)の制御の下に多重化して得られた前記ビデオオブジェクトと共に記録媒体(21)に記録する第3のステップ(S23)と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第4のステップ(S2)と、
前記接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する第5のステップ(S3)と、
前記編集点を管理情報として前記記録媒体(21)に記録する第6のステップ(S4)と、
を含むことを特徴とするオーディオ/ビデオ記録方法。 - 請求項7記載の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体(31)から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、
前記再生管理情報内の編集点に関して、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段(38)と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記編集点が前記再生シーケンス内の2つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段(39)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段(37)と、
算出した前記オーディオPTSオフセット時間に応じて、前記記録媒体(31)から読み出したオーディオフレームのPTSをオフセットするオフセット手段(37,35)と、
前記記録媒体(31)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段(34)と、
前記記録媒体(31)から再生したオーディオフレームを前記オフセットしたPTSに応じて再生すると共に、前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段(35)と、
前記オーディオフレーム再生手段(35)により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段(35(15,16,17))と、
を有することを特徴とするオーディオ/ビデオ再生装置。 - 前記オフセット時間算出手段(39)は、算出した前記接続点での前記オーディオPTSオフセット時間が、オーディオフレーム時間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、該オーディオPTSオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力する手段であることを特徴とする請求項3又は10記載のオーディオ/ビデオ再生装置。
- 請求項9記載の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体(31)から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、
前記再生管理情報内の編集点に関して、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第1のステップ(S12)と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記編集点が前記再生シーケンス内の2つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力する第2のステップ(S12)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップ(S13)と、
前記第2のステップ(S12)で算出した前記オーディオPTSオフセット時間に応じて、前記記録媒体(31)から読み出したオーディオフレームのPTSをオフセットする第4のステップ(S13)と、
前記記録媒体(31)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップ(S14)と、
前記記録媒体(31)から再生したオーディオフレームを前記第4のステップ(S13)でオフセットしたPTSに応じて再生すると共に、前記第3のステップ(S13)で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップ(S14,S15)と、
前記第6のステップ(S14,S15)により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、
を含むことを特徴とするオーディオ/ビデオ再生方法。 - 前記第2のステップ(S12)は、算出した前記接続点での前記オーディオPTSオフセット時間が、オーディオフレーム時間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、該オーディオPTSオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力することを特徴とする請求項4又は12記載のオーディオ/ビデオ再生方法。
- 請求項9記載の記録方法によりビデオオブジェクト及びオーディオフレームの編集点及びオーディオ多重化状態を示すフラグを含む管理情報を記録した記録媒体(31)から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させるオーディオ/ビデオ再生プログラムであって、
前記コンピュータに、
前記再生管理情報内の編集点に関して、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第1のステップ(S12)と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記編集点が前記再生シーケンス内の2つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現編集点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力する第2のステップ(S12)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップ(S13)と、
算出された前記オーディオPTSオフセット時間に応じて、前記記録媒体(31)から読み出したオーディオフレームのPTSをオフセットする第4のステップ(S13)と、
前記記録媒体(31)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップ(S14)と、
前記記録媒体(31)から再生したオーディオデータを前記第4のステップ(S13)でオフセットしたPTSに応じて再生すると共に、前記第3のステップ(S13)で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップ(S14,S15)と、
前記第6のステップ(S14,S15)により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、
を実行させることを特徴とするオーディオ/ビデオ再生プログラム。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(41)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(41)に記録するオーディオ/ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段(44(11,12,13))と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段(48,44,43)と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレームの編集点を決定する編集点決定手段(46)と、
前記接続点を含んで、前記最後に再生すべきオーディオフレームと、前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段(47)と、
少なくとも前記オーバーラップ時間を管理情報として前記記録媒体(21)に記録する記録手段(43)と、
を有することを特徴とするオーディオ/ビデオ記録装置。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(41)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(41)に記録するオーディオ/ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第1のステップと、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第2のステップ(S42)と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレームの編集点を決定する第3のステップ(S43)と、
前記接続点を含んで、前記最後に再生すべきオーディオフレームと、前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第4のステップ(S44)と、
少なくとも前記オーバーラップ時間を管理情報として前記記録媒体(41)に記録する第5のステップ(S45)と、
を含むことを特徴とするオーディオ/ビデオ記録方法。 - 請求項15記載の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体(51)から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、
前記記録媒体(51)から前記オーバーラップ時間を再生するオーバーラップ時間再生手段(52)と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、前記記録媒体から再生した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記接続点が前記再生シーケンス内の2つ目以降の接続点であった場合は、前記記録媒体から再生した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段(58)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段(57)と、
算出した前記オーディオPTSオフセット時間に応じて、前記記録媒体(51)から読み出したオーディオフレームのPTSをオフセットするオフセット手段(57,55)と、
前記記録媒体(51)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段(54)と、
前記記録媒体(51)から再生したオーディオフレームを前記オフセットしたPTSに応じて再生すると共に、前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段(55)と、
前記オーディオフレーム再生手段(55)により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段(55(15,16,17))と、
を有することを特徴するオーディオ/ビデオ再生装置。 - 前記オフセット時間算出手段(58)は、算出した前記接続点での前記オーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、該オーディオPTSオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段であることを特徴とする請求項17記載のオーディオ/ビデオ再生装置。
- 請求項16記載の記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体(51)から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、
前記記録媒体から前記オーバーラップ時間を再生する第1のステップと、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、前記記録媒体から再生した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記接続点が前記再生シーケンス内の2つ目以降の接続点であった場合は、前記記録媒体から再生した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第2のステップ(S52)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップ(S53)と、
前記第2のステップ(S52)で算出した前記オーディオPTSオフセット時間に応じて、前記記録媒体(51)から読み出したオーディオフレームのPTSをオフセットする第4のステップ(S53)と、
前記記録媒体(51)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップ(S54)と、
前記記録媒体(51)から再生したオーディオフレームを前記第4のステップ(S53)でオフセットしたPTSに応じて再生すると共に、前記第3のステップ(S53)で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップ(S54,S55)と、
前記第6のステップ(S54,S55)により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、
を含むことを特徴するオーディオ/ビデオ再生方法。 - 前記第2のステップ(S52)は、算出した前記接続点での前記オーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、該オーディオPTSオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力することを特徴とする請求項19記載のオーディオ/ビデオ再生方法。
- 請求項16記載の記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体(51)から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させるオーディオ/ビデオ再生プログラムであって、
前記コンピュータに、
前記記録媒体から前記オーバーラップ時間を再生する第1のステップと、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、前記記録媒体から再生した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記接続点が前記再生シーケンス内の2つ目以降の接続点であった場合は、前記記録媒体から再生した前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第2のステップ(S52)と、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第3のステップ(S53)と、
算出された前記オーディオPTSオフセット時間に応じて、前記記録媒体(51)から読み出したオーディオフレームのPTSをオフセットする第4のステップ(S53)と、
前記記録媒体(51)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第5のステップ(S54)と、
前記記録媒体(51)から再生したオーディオデータを前記第4のステップ(S53)でオフセットしたPTSに応じて再生すると共に、前記第3のステップ(S53)で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第6のステップ(S54,S55)と、
前記第6のステップ(S54,S55)により再生された前記オーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第7のステップと、
を実行させることを特徴するオーディオ/ビデオ再生プログラム。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(61)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(61)に記録するオーディオ/ビデオ記録装置であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段(64(11,12,13))と、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段(69,64,63)と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレームの編集点を決定する編集点決定手段(66)と、
前記接続点を含んで、前記最後に再生すべきオーディオフレームと、前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段(67)と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記接続点が前記再生シーケンス内の2つ目以降の接続点であった場合は、前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出するオフセット時間算出手段(68)と、
少なくとも前記オーディオPTSオフセット時間を管理情報として前記記録媒体(61)に記録する記録手段(63)と、
を有することを特徴とするオーディオ/ビデオ記録装置。 - 前記オフセット時間算出手段(68)は、算出した前記接続点での前記オーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、該オーディオPTSオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段であり、前記記録手段(63)は、前記オーディオPTSオフセット時間と前記オーディオドロップフラグを前記管理情報として前記記録媒体(61)に記録することを特徴とする請求項22記載のオーディオ/ビデオ記録装置。
- 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(61)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(61)に記録するオーディオ/ビデオ記録方法であって、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第1のステップと、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第2のステップ(S62)と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレームの編集点を決定する第3のステップ(S63)と、
前記接続点を含んで、前記最後に再生すべきオーディオフレームと、前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第4のステップ(S64)と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記接続点が前記再生シーケンス内の2つ目以降の接続点であった場合は、前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出する第5のステップ(S65)と、
少なくとも前記オーディオPTSオフセット時間を管理情報として前記記録媒体(61)に記録する第6のステップ(S66)と、
を含むことを特徴とするオーディオ/ビデオ記録方法。 - 前記第5のステップ(S65)は、算出した前記接続点での前記オーディオPTSオフセット時間が、オーディオフレーム期間のn倍(ただし、nは1又は1/2)の期間よりも大きい場合には、該オーディオPTSオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオPTSオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するステップであり、前記第6のステップ(S66)は、前記オーディオPTSオフセット時間と前記オーディオドロップフラグを前記管理情報として前記記録媒体(61)に記録することを特徴とする請求項24記載のオーディオ/ビデオ記録方法。
- 請求項22又は23記載の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体(71)から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生装置であって、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットするリセット手段(77)と、
前記記録媒体(71)から読み出した前記オーディオPTSオフセット時間に応じて、該記録媒体(71)から読み出したオーディオフレームのPTSをオフセットするオフセット手段(77,75)と、
前記記録媒体(71)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生するビデオデータ再生手段(74)と、
前記記録媒体(71)から再生したオーディオデータを前記オフセットしたPTSに応じて再生するオーディオデータ再生手段(75)と、
前記記録媒体(71)から再生した前記オーディオドロップフラグが前記所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するドロップ処理手段(77)と、
前記オーディオデータ再生手段(75)により再生された前記オーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段(75(15,16,17))と、
を有することを特徴するオーディオ/ビデオ再生装置。 - 請求項22又は23記載の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体(71)から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第1のステップ(S72)と、
前記記録媒体(71)から読み出した前記オーディオPTSオフセット時間に応じて、該記録媒体(71)から読み出したオーディオフレームのPTSをオフセットする第2のステップ(S72)と、
前記記録媒体(71)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第3のステップ(S73)と、
前記記録媒体(71)から再生したオーディオデータを前記オフセットしたPTSに応じて再生する第4のステップ(S73)と、
前記記録媒体(71)から再生した前記オーディオドロップフラグが前記所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第5のステップ(S74)と、
前記第4のステップ(S73)により再生された前記オーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第6のステップと、
を含むことを特徴するオーディオ/ビデオ再生方法。 - 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体(61)に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体(61)に記録する記録方法をコンピュータに実行させるオーディオ/ビデオ記録プログラムであって、
前記コンピュータに、
記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第1のステップと、
接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第2のステップ(S62)と、
前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレームの編集点を決定する第3のステップ(S63)と、
前記接続点を含んで、前記最後に再生すべきオーディオフレームと、前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第4のステップ(S64)と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオPTSオフセット時間とし、前記接続点が前記再生シーケンス内の2つ目以降の接続点であった場合は、前記オーバーラップ時間と一つ前の前記接続点でのオーディオPTSオフセット時間を加算した値を、現接続点でのオーディオPTSオフセット時間として算出する第5のステップ(S65)と、
少なくとも前記オーディオPTSオフセット時間を管理情報として前記記録媒体(61)に記録するために出力する第6のステップ(S66)と、
を実行させることを特徴とするオーディオ/ビデオ記録プログラム。 - 請求項22又は23記載の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体(71)から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させるオーディオ/ビデオ再生プログラムであって、
前記コンピュータに、
前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック(STC)をリセットする第1のステップ(S72)と、
前記記録媒体(71)から読み出した前記オーディオPTSオフセット時間に応じて、該記録媒体(71)から読み出したオーディオフレームのPTSをオフセットする第2のステップ(S72)と、
前記記録媒体(71)から再生したビデオデータをそのビデオデータに付随したビデオPTSに応じて再生する第3のステップ(S73)と、
前記記録媒体(71)から再生したオーディオデータを前記オフセットしたPTSに応じて再生する第4のステップ(S73)と、
前記記録媒体(71)から再生した前記オーディオドロップフラグが前記所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第5のステップ(S74)と、
前記第4のステップ(S74)により再生された前記オーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第6のステップと、
を実行させることを特徴とするオーディオ/ビデオ再生プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005505271A JP4906344B2 (ja) | 2003-04-04 | 2004-04-02 | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法 |
Applications Claiming Priority (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003101236 | 2003-04-04 | ||
JP2003101238 | 2003-04-04 | ||
JP2003101238 | 2003-04-04 | ||
JP2003101237 | 2003-04-04 | ||
JP2003101237 | 2003-04-04 | ||
JP2003101236 | 2003-04-04 | ||
JP2003417551 | 2003-12-16 | ||
JP2003417551 | 2003-12-16 | ||
PCT/JP2004/004857 WO2004091204A1 (ja) | 2003-04-04 | 2004-04-02 | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム |
JP2005505271A JP4906344B2 (ja) | 2003-04-04 | 2004-04-02 | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009282710A Division JP2010061803A (ja) | 2003-04-04 | 2009-12-14 | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2004091204A1 true JPWO2004091204A1 (ja) | 2006-07-06 |
JP4906344B2 JP4906344B2 (ja) | 2012-03-28 |
Family
ID=33163087
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005505271A Expired - Fee Related JP4906344B2 (ja) | 2003-04-04 | 2004-04-02 | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法 |
JP2009282710A Pending JP2010061803A (ja) | 2003-04-04 | 2009-12-14 | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009282710A Pending JP2010061803A (ja) | 2003-04-04 | 2009-12-14 | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7941030B2 (ja) |
EP (1) | EP1613075A4 (ja) |
JP (2) | JP4906344B2 (ja) |
CN (2) | CN100479511C (ja) |
WO (1) | WO2004091204A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7471337B2 (en) * | 2004-06-09 | 2008-12-30 | Lsi Corporation | Method of audio-video synchronization |
US7624021B2 (en) * | 2004-07-02 | 2009-11-24 | Apple Inc. | Universal container for audio data |
US8244094B2 (en) | 2005-02-07 | 2012-08-14 | Thomson Licensing | Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal |
US20070006238A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Managing application states in an interactive media environment |
JP2009111608A (ja) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | 再生装置および再生方法 |
EP2104103A1 (en) * | 2008-03-20 | 2009-09-23 | British Telecommunications Public Limited Company | Digital audio and video clip assembling |
EP2104105A1 (en) * | 2008-03-20 | 2009-09-23 | British Telecommunications Public Limited Company | Digital audio and video clip encoding |
US8913189B1 (en) * | 2013-03-08 | 2014-12-16 | Amazon Technologies, Inc. | Audio and video processing associated with visual events |
US10224055B2 (en) * | 2015-02-10 | 2019-03-05 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image pickup device, image processing method, and program |
WO2017019674A1 (en) | 2015-07-28 | 2017-02-02 | Dolby Laboratories Licensing Corporation | Audio discontinuity detection and correction |
BR112020024621A2 (pt) * | 2018-08-01 | 2021-03-02 | Beijing Microlive Vision Technology Co., Ltd. | método e dispositivo de gravação de vídeo |
US11184648B2 (en) | 2019-08-30 | 2021-11-23 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
US11005909B2 (en) * | 2019-08-30 | 2021-05-11 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
US10986378B2 (en) | 2019-08-30 | 2021-04-20 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
CN113194528B (zh) * | 2021-03-18 | 2023-01-31 | 深圳市汇顶科技股份有限公司 | 同步控制方法、芯片、电子设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3186412B2 (ja) * | 1994-04-01 | 2001-07-11 | ソニー株式会社 | 情報符号化方法、情報復号化方法、及び情報伝送方法 |
TW436777B (en) | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
JPH10200858A (ja) | 1997-01-08 | 1998-07-31 | Sony Corp | 映像信号および音声信号の符号化装置、符号化方法、復号装置および復号方法並びに記録媒体 |
JP3890655B2 (ja) * | 1997-03-19 | 2007-03-07 | ソニー株式会社 | ディジタル信号再生方法及び装置 |
JP3911768B2 (ja) | 1997-06-02 | 2007-05-09 | ソニー株式会社 | 画像符号化方法及び画像符号化装置 |
JPH1175157A (ja) * | 1997-08-29 | 1999-03-16 | Sony Corp | 映像信号及び音声信号の記録装置 |
MY115908A (en) * | 1997-09-17 | 2003-09-30 | Matsushita Electric Ind Co Ltd | Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium storing an editing program |
JP3383663B2 (ja) | 1998-01-21 | 2003-03-04 | 株式会社東芝 | 情報記録媒体・情報記録方法及び装置及び再生装置 |
JP3224371B2 (ja) | 1998-11-30 | 2001-10-29 | 松下電器産業株式会社 | 符号化av信号の同期方法 |
JP3918332B2 (ja) * | 1998-12-04 | 2007-05-23 | ソニー株式会社 | 多重化装置、多重化方法及び記録媒体 |
JP4517267B2 (ja) | 2000-04-21 | 2010-08-04 | ソニー株式会社 | 記録装置および方法、再生装置および方法、プログラム、並びに記録媒体 |
JP4411499B2 (ja) | 2000-06-14 | 2010-02-10 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに記録媒体 |
TW579506B (en) * | 2001-03-05 | 2004-03-11 | Matsushita Electric Ind Co Ltd | A recording device and a recording method |
JP3748243B2 (ja) | 2001-05-30 | 2006-02-22 | 日本ビクター株式会社 | Mpegデータ記録装置 |
-
2004
- 2004-04-02 JP JP2005505271A patent/JP4906344B2/ja not_active Expired - Fee Related
- 2004-04-02 US US10/551,766 patent/US7941030B2/en active Active
- 2004-04-02 CN CNB2004800090801A patent/CN100479511C/zh not_active Expired - Lifetime
- 2004-04-02 EP EP04725479A patent/EP1613075A4/en not_active Withdrawn
- 2004-04-02 CN CN2008101499219A patent/CN101404171B/zh not_active Expired - Fee Related
- 2004-04-02 WO PCT/JP2004/004857 patent/WO2004091204A1/ja active Application Filing
-
2009
- 2009-12-14 JP JP2009282710A patent/JP2010061803A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN1768529A (zh) | 2006-05-03 |
JP2010061803A (ja) | 2010-03-18 |
WO2004091204A1 (ja) | 2004-10-21 |
CN101404171A (zh) | 2009-04-08 |
EP1613075A4 (en) | 2011-12-21 |
JP4906344B2 (ja) | 2012-03-28 |
US7941030B2 (en) | 2011-05-10 |
CN101404171B (zh) | 2011-08-31 |
CN100479511C (zh) | 2009-04-15 |
EP1613075A1 (en) | 2006-01-04 |
US20060140575A1 (en) | 2006-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010061803A (ja) | オーディオ/ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム | |
KR100724651B1 (ko) | 정보 처리 장치 및 방법, 및 기록 매체 | |
CN101854507B (zh) | 信息记录装置和信息转换方法 | |
CN101577834B (zh) | 记录可以高速转换的流的信息记录装置和记录方法 | |
CN101594507A (zh) | 记录可以高速转换的流的信息记录介质,及其记录装置和记录方法 | |
JPWO2005015907A1 (ja) | データ処理装置 | |
CN101594508B (zh) | 记录可以高速转换的流的信息记录装置和记录方法 | |
JP4902935B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び記録媒体 | |
WO2005041583A1 (ja) | 符号化制御装置および符号化システム | |
JP2004280994A (ja) | データ作成方法及びデータ記録装置 | |
CN101707705B (zh) | 记录可以高速转换的流的信息记录介质,及其记录装置和记录方法 | |
JP2007158461A (ja) | 情報再生装置及び情報再生方法 | |
JP4062832B2 (ja) | データ記録再生装置及びデータ記録再生方法 | |
JP4114137B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
WO2006088090A1 (ja) | エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム | |
JP2004362747A (ja) | 信号処理装置 | |
JP2006155783A (ja) | 情報記録再生装置および情報記録再生方法 | |
JP2003174622A (ja) | 音声/映像情報記録再生装置および方法、および音声/映像情報記録再生装置および方法を用いて情報が記録された記録媒体 | |
JP2007259029A (ja) | 映像信号記録装置、記録媒体、及び映像信号再生装置 | |
JP2008301275A (ja) | 映像出力装置及び映像出力方法 | |
WO2004086397A1 (en) | Method and apparatus for guaranteeing seamless reproduction of a plurality of data streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090806 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090915 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100106 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100205 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |