JP4304996B2

JP4304996B2 - 情報処理装置及び情報処理方法

Info

Publication number: JP4304996B2
Application number: JP2003028898A
Authority: JP
Inventors: 慶太仲松; 卓治姫野; 文善阿部
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-02-05
Filing date: 2003-02-05
Publication date: 2009-07-29
Anticipated expiration: 2023-02-05
Also published as: JP2004242041A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ方式で符号されたビデオデータ、及びオーディオデータを記録媒体に記録する情報処理装置及び情報処理方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ（Moving Picture Expert Group）方式、例えば、ＭＰＥＧ２方式などの動画像符号化方式によって圧縮符号化されたビデオデータ、及びオーディオデータを磁気記録媒体に記録させる記録装置が考案されている（例えば、特許文献１参照。）。
【０００３】
この記録装置では、ＭＰＥＧ圧縮符号化されたビデオデータの３フレーム分のビデオＰＥＳ（Packetized Elementary Stream）パケットを結合し、さらに上記ビデオデータの再生時刻情報であるＰＴＳ（Presentation Time Stamp）と対応しているオーディオデータのオーディオＰＥＳパケットも結合させてパックを生成し、このパックを記録単位としてビデオデータ、及びオーディオデータを磁気記録媒体に記録させている。
【特許文献１】
特開２００１−３０９３０５号公報
【０００４】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ方式で圧縮符号されたビデオデータ、及び、オーディオデータをデコードして再生する場合、口の動きと、音声のタイミングとを合わせるリップシンクを行う必要がある。
【０００５】
ＭＰＥＧ方式では、ビデオデータと、オーディオデータとの同期をとるために、ビデオＰＥＳパケット、及びオーディオＰＥＳパケット、それぞれのＰＥＳヘッダの中に再生時刻情報であるＰＴＳや、デコードのタイミングを指定するＤＴＳ（Decoding Time Stamp）といった制御情報を記述している。そして、デコード時、再生時には、これらの制御情報を抽出し、抽出した制御情報に基づいて、ビデオデータと、オーディオデータとの同期をとることで、リップシンクずれが生じないようにしている。
【０００６】
ＭＰＥＧ方式で圧縮符号化されたビデオデータは、ＧＯＰ（Group Of Picture）単位でフレーム間圧縮されるため、ピクチャタイプ（Ｉ（Intra）ピクチャ、Ｐ（Predictive）ピクチャ、Ｂ（Bidirectionally predictive）ピクチャ）や、画像の絵柄などによって１フレームの画像データの長さが一定とはならない、つまり固定レートで圧縮されない。一方、オーディオデータは、固定レートで圧縮されるため、ビデオデータと、オーディオデータとのフレーム長は、互いに異なることが極めて多い。
【０００７】
したがって、磁気記録媒体に、あらかじめ記録されている、ビデオデータ、及びオーディオデータの任意の箇所から、連続して新たなビデオデータ、及びオーディオデータを“つなぎ録り”した場合、ビデオデータのつながりのタイミングと、オーディオデータのつながりのタイミングとがずれてしまったり、パック内で一方のデータが不足したりということが発生していた。
【０００８】
これは、“つなぎ録り”の回数が増加すると、上記ずれ量が累積されていくため、デコードのタイミングや、出力のタイミングがＤＴＳ、ＰＴＳで制御可能な範囲を超えて磁気記録媒体に記録されてしまい、実用に耐えられない程のリップシンクずれが生じてしまうといった問題がある。
【０００９】
また、“つなぎ録り”の回数が増えると、パック内におけるビデオデータと、オーディオデータとの時間位相関係も崩れてしまい、過去に行った“つなぎ録り”において、どのオーディオデータを消去、あるいは追加したのかといった情報もないため、上記時間位相関係を是正する手段もないといった問題もある。
【００１０】
そこで、本発明は上述したような問題を解決するために案出されたものであり、“つなぎ録り”の回数が増えた場合でも、不必要にデータを消去することなく、ビデオデータと、オーディオデータとの時間関係を維持し、リップシンクずれに柔軟に対処可能なデータ構造でビデオデータ、及びオーディオデータを記録媒体へ記録する情報処理装置及び情報処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る情報処理装置は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式で符号化されたビデオデータのフレーム数を基準に定義されるパック単位で、上記ＭＰＥＧ方式で圧縮符号化されたビデオデータ、及びオーディオデータがあらかじめ記録されている記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、指定された任意の位置近傍に記録されたパックのヘッダ情報を検出するヘッダ情報検出手段と、つなぎ録りするビデオデータの発生符号量に応じて、圧縮符号化されたデータの復号処理の前段に仮想的に設けられるバッファを破綻させないためにつなぎ録り位置に挿入される擬似ビデオデータ、及び、あらかじめ記録媒体に記録されているオーディオデータのうち、ヘッダ情報検出手段で検出されたヘッダ情報を有するパックに含まれるオーディオデータを用いて生成される擬似オーディオデータからなる編集パックを生成し、生成された編集パックに、ヘッダ情報検出手段で検出されたヘッダ情報に含まれるオーディオデータの再生時刻情報を擬似オーディオデータの再生時刻情報として含むヘッダ情報を与える編集パック生成手段と、記録媒体に新たに記録するビデオデータ、及びオーディオデータを定義に基づいてパック化し、各パックにオーディオデータの再生時刻情報を含むヘッダ情報を与えるパック化手段と、新たにビデオデータ、及びオーディオデータをつなぎ録りする際に発生するオーディオデータの時間的なずれ量を、編集パックに与えられたヘッダ情報に含まれる擬似オーディオデータの先頭の再生時刻情報、及びパック化された各パックに与えられたヘッダ情報に含まれるオーディオデータの先頭の再生時刻情報に加えることで、各再生時刻情報を更新する更新手段と、更新手段によって更新された、編集パックに与えられたヘッダ情報に含まれる擬似オーディオデータの先頭の再生時刻情報、及びパック化された各パックに与えられたヘッダ情報に含まれるオーディオデータの先頭の再生時刻情報と、それぞれの更新前の再生時刻情報との差分をとり、時間補正量として各ヘッダ情報にそれぞれ記述する時間補正量算出手段とを備える。
【００１２】
また、上述の目的を達成するために、本発明に係る情報処理方法は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式で符号化されたビデオデータのフレーム数を基準に定義されるパック単位で、上記ＭＰＥＧ方式で圧縮符号化されたビデオデータ、及びオーディオデータがあらかじめ記録されている記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、指定された任意の位置近傍に記録されたパックのヘッダ情報を検出するヘッダ情報検出工程と、つなぎ録りするビデオデータの発生符号量に応じて、圧縮符号化されたデータの復号処理の前段に仮想的に設けられるバッファを破綻させないためにつなぎ録り位置に挿入される擬似ビデオデータ、及び、あらかじめ記録媒体に記録されているオーディオデータのうち、ヘッダ情報検出工程で検出されたヘッダ情報を有するパックに含まれるオーディオデータを用いて生成される擬似オーディオデータからなる編集パックを生成し、生成された編集パックに、ヘッダ情報検出工程で検出されたヘッダ情報に含まれるオーディオデータの再生時刻情報を擬似オーディオデータの再生時刻情報として含むヘッダ情報を与える編集パック生成工程と、記録媒体に新たに記録するビデオデータ、及びオーディオデータを定義に基づいてパック化し、各パックにオーディオデータの再生時刻情報を含むヘッダ情報を与えるパック化工程と、新たにビデオデータ、及びオーディオデータをつなぎ録りする際に発生するオーディオデータの時間的なずれ量を、編集パックに与えられたヘッダ情報に含まれる擬似オーディオデータの先頭の再生時刻情報、及びパック化された各パックに与えられたヘッダ情報に含まれるオーディオデータの先頭の再生時刻情報に加えることで、各再生時刻情報を更新する更新工程と、更新工程によって更新された、編集パックに与えられたヘッダ情報に含まれる擬似オーディオデータの先頭の再生時刻情報、及びパック化された各パックに与えられたヘッダ情報に含まれるオーディオデータの先頭の再生時刻情報と、それぞれの更新前の再生時刻情報との差分をとり、時間補正量として各ヘッダ情報にそれぞれ記述する時間補正量算出工程とを備える。
【００１３】
【発明の実施の形態】
以下、本発明に係る情報処理装置及び情報処理方法の実施の形態を図面を参照にして詳細に説明する。
【００１４】
まず、図１を用いて本発明の実施の形態として示す情報処理装置の構成について説明をする。
【００１５】
情報処理装置１は、外部入力部１１と、ＭＰＥＧエンコーダ１２と、ＶＢＶ遅延抽出部１３と、ストリーム記録処理部１４と、補助データ生成部１５と、エディットパック処理部１６と、ＥＣＣ処理部１７と、記録回路１８と、再生回路１９と、ストリーム再生処理部２０と、補助データ抽出部２１と、ＰＴＳ抽出部２２と、外部出力部２３と、ＭＰＥＧデコーダ２４と、制御部２５とを備えている。
【００１６】
情報処理装置１は、当該情報処理装置１に着脱可能なテープ状磁気記録媒体５０にＭＰＥＧ方式で圧縮符号化されたビデオデータ、及びオーディオデータを記録し、記録したビデオデータ、及びオーディオデータを再生可能な装置である。
【００１７】
また、情報処理装置１は、あらかじめビデオデータ、及びオーディオデータが記録されているテープ状磁気記録媒体５０の任意の箇所に、新たなビデオデータ、及びオーディオデータを上書きする“つなぎ録り”を自在にすることができる。
【００１８】
外部入力部１１は、外部からＴＳ（Transport Stream）に多重化されて送信されるＭＰＥＧ圧縮符号化されたビデオデータ及びオーディオデータを、ビデオＰＥＳパケット、オーディオＰＥＳパケットに再編し、ストリーム記録処理部１４に供給する。
【００１９】
ＭＰＥＧエンコーダ１２は、デジタルビデオデータ及びデジタルオーディオデータを、ＭＰＥＧ方式にて圧縮符号化（エンコード）してビデオＥＳ（Elementary Stream）、オーディオＥＳを生成する。また、ＭＰＥＧエンコーダ１２は、エンコードしたビデオＥＳ、オーディオＥＳをビデオＰＥＳパケット、オーディオＰＥＳパケットに分割し、ストリーム記録処理部１４に供給する。
【００２０】
ＭＰＥＧエンコーダ１２は、ＶＢＶ（Video Buffering Verifier）遅延抽出部１３において、検出されるＶＢＶバッファのデータ占有量に基づいて、ピクチャの発生符号量を調節しながらエンコード処理をする。
【００２１】
ＶＢＶバッファは、デコーダの前段に仮想的に設けられるバッファであり、当該ＶＢＶバッファの占有量を参照することでエンコードする際の符号化量を調節する際の指針となる。
【００２２】
例えば、デコード処理においては、デコードされるピクチャが、一旦、一定時間ＶＢＶバッファに蓄えられ、デコード時刻がくると１ピクチャ分のデータがＶＢＶバッファから読み出されて、デコード処理がなされる、というモデルが想定される。
【００２３】
このとき、ピクチャの符号化量が膨大であると、ＶＢＶバッファがアンダーフローしてしまい表示する際に遅延が生じてしまうことになる。また、ピクチャの発生符号化量が少ないとＶＢＶバッファがオーバーフローしてしまい、ＶＢＶバッファが破綻してしまう。
【００２４】
このように、ＶＢＶバッファのアンダーフローや、オーバーフローといった破綻を生じさせないために、ＭＰＥＧエンコーダ１２でエンコードするピクチャの発生符号量を、例えば、量子化パラメータを操作するなどして、各ピクチャ毎に目標符号量となるよう調整する。
【００２５】
量子化パラメータの操作でも十分でない場合は、デコードするデータストリーム上の時間的に前にあるピクチャをコピーした符号量の少ないコピーピクチャ(Copy Picture)や、特に意味をなさないデータであるスタッフィングバイトなどを挿入することで復号タイミングや、データ量の調整を行う。ＶＢＶバッファがオーバーフローするような場合には、スタッフィングバイトを挿入し、アンダーフローするような場合には、コピーピクチャを挿入する。
【００２６】
このような、スタッフィングバイトや、コピーピクチャなどの、擬似データを束ねたものをエディットパック（Edit Pack）と呼ぶ。エディットパックは、後述するエディットパック処理部１６にて生成される。
【００２７】
ストリーム記録処理部１４は、外部入力部１１、又はＭＰＥＧエンコーダ１２から供給されるビデオＰＥＳパケット、オーディオＰＥＳパケットを所定の数だけ結合させたパックを生成し、生成したパックを多重化して、テープ状磁気記録媒体５０に記録するデータストリームを生成する。
【００２８】
ここで、ストリーム記録処理部１４で生成されるパックについて説明する。
【００２９】
ストリーム記録処理部１４によって生成されるパックは、図２（ａ）に示すようにＩピクチャ又はＰピクチャ毎に３つのピクチャ、つまり３フレームを１つのパックとして定義される。このように、パックを定義する際の基準は、ビデオデータである。
【００３０】
具体的には、図２（ａ）に示すように、ＰＴＳ順で表示した場合に、パックの最初のピクチャが、Ｂピクチャ、続いてＢピクチャ、Ｉ又はＰピクチャといった並びとなるようにストリームを区切ることでパックを定義する。なお、図示しないがパックの並びは、ＤＴＳ順だと、まず、Ｉ又はＰピクチャ、続いて、Ｂピクチャ、Ｂピクチャとなる。
【００３１】
次に、パックを構成するオーディオデータについて説明をする。上述したようにパックは、ビデオデータを基準に上記のようなピクチャ単位で区切られて定義される。これに対して、オーディオデータは、図２（ｃ）に示すように、パック先頭のＰＴＳ、つまり、上述したパックで定義された先頭にあるＢピクチャのＰＴＳ、と等しいＰＴＳをヘッダ情報として有するＡＡＵ（Audio Access Unit）を先頭として数フレーム分がパックを構成することになる。
【００３２】
また、パック先頭のＰＴＳ（以下、先頭ＰＴＳとも呼ぶ。）と、等しいＰＴＳのＡＡＵがない場合は、上記ＰＴＳよりも時間的に遅く、且つ上記先頭ＰＴＳに最も近いＰＴＳをヘッダ情報として有するＡＡＵが選択され、図２（ｂ），（ｄ）に示すようなＡＡＵでパックを構成するようにしてもよい。
【００３３】
オーディオデータにおいて、パックを構成する最終フレームは、次のパックを生成する際に、上述した規則、つまり、先頭ＰＴＳと等しいＰＴＳであること、又は、先頭ＰＴＳよりも時間的に遅く、且つ上記先頭ＰＴＳに最も近いＰＴＳであるＡＡＵを選択するということのいずれかが守られるように決定される。
【００３４】
図２（ｅ），（ｆ），（ｇ），（ｈ）は、パックを構成できない、つまりパックを生成する際の定義に違反する、いくつかの例を示した図である。図２（ｅ），（ｆ）は、先頭ＰＴＳよりも時間的に早いＰＴＳを持つＡＡＵで区切られているためＮＧとなっている。
【００３５】
また、図２（ｇ），（ｈ）は、直後のパックを定義する際、先頭ＰＴＳよりも、時間的に早いＰＴＳのＡＡＵを用いることになってしまい、定義違反であることからＮＧとなっている。
【００３６】
補助データ生成部１５は、ストリーム記録処理部１４で定義されるパック毎に、パックの情報（補助データ）を記述したＡＵＸパケットを生成し、ストリーム記録処理部１４に供給する。ストリーム記録処理部１４は、補助データ生成部１５から供給されたＡＵＸパケットをデータストリームを構成する際、各パックの先頭に挿入する。
【００３７】
ＡＵＸパケットには、ビデオデータに関するパック情報であるＡＵＸ−Ｖと、オーディオデータに関するパック情報であるＡＵＸ−Ａとが記述されている。
【００３８】
オーディオデータに関するパック情報であるＡＵＸ−Ａについて説明をする。ＡＵＸ−Ａは、上述したように定義されたパック毎に付与されるデータであり、パックの先頭にあるＡＡＵのＰＴＳと、パックを構成するＡＡＵのフレーム数情報と、ＰＴＳがどれだけずらされているかを示した、ずらし量情報（補正時間量）と、パック内で何回“つなぎ録り”をしたかを示す編集点情報とを備えている。
【００３９】
ここで、ずらし量情報について説明をする。
【００４０】
ずらし量情報とは、当該情報処理装置１において、“つなぎ録り”によってテープ状磁気記録媒体５０に新たなビデオデータ、及びオーディオデータを記録した場合に、発生するオーディオデータの時間的なずれ量を記述した情報である。
【００４１】
例えば、図３（ａ），（ｂ）に示すようにテープ状磁気記録媒体５０に下地データＡが記録されており、つなぎ点Ｘにおいて、新たな上書きデータＢを書き込むことを考える。ビデオデータは、図３（ａ）に示すように連続的に、下地データＡであるビデオパックＶＰ１の後に、ビデオパックＶＰ２をテープ状磁気記録媒体５０に記録させることができる。
【００４２】
一方、オーディオデータは、図３（ｂ）に示すように、上書きデータＢのオーディオパックＡＰ２を、ビデオパックＶＰ２との位相関係を保ったまま、テープ状磁気記録媒体５０に記録させようとすると、オーディオパックＡＰ２の先頭ＰＴＳが、下地データＡのオーディオパックＡＰ１の最終フレームに重なってしまうことになる。
【００４３】
これは、ビデオデータのフレーム長と、オーディオデータのフレーム長とが異なるために生じている。
【００４４】
そこで、テープ状磁気記録媒体５０に“つなぎ録り”する場合、オーディオデータ、ここでは、オーディオパックＡＰ２以降のデータは、図３（ｃ）に示すようにパックの先頭ＰＴＳの値がずらされて記録されることになるので、そのずれ量が、ずらし量情報として、ＡＵＸ−Ａに記述される。
【００４５】
例えば、テープ状磁気記録媒体５０に記録する前の、オーディオパックＡＰ２の先頭ＰＴＳの値をＴａとし、テープ状磁気記録媒体５０に記録された後の、オーディオパックＡＰ２の先頭ＰＴＳの値をＴｂとすると、ＡＵＸ−Ａには、ずらし量情報としてＴｂ−Ｔａという値が記述されることになる。
【００４６】
また、ＡＵＸ−Ａに記述されるパック先頭にあるＡＡＵのＰＴＳは、“つなぎ録り”が実行される都度、更新（リスタンプ）される。
【００４７】
さらに“つなぎ録り”が複数回実施された場合のずらし量情報は、ずれ量を累積してＡＵＸ−Ａに記述することになる。
【００４８】
このように、ＡＵＸ−Ａにずらし量情報を記述することで、“つなぎ録り”された際に先頭ＰＴＳが更新されても、記録される以前のＰＴＳを保持することができる。
【００４９】
エディットパック処理部１６は、上述したＶＢＶバッファの破綻を防止する際に挿入するエディットパックを生成する。上述したようなＶＢＶバッファの破綻は、発生符号量が極端に変化する場合に生ずるため“つなぎ録り”のつなぎ点では、コピーピクチャや、スタッフィングバイトといったエディットパックが挿入されることが多い。
【００５０】
エディットパック処理部１６は、ビデオデータには、コピーピクチャや、スタッフィングバイトなどの擬似ビデオデータを用い、オーディオデータには、つなぎ点直後にテープ状磁気記録媒体５０に記録されている下地のオーディオデータパックを擬似オーディオデータとしてそのまま用い、エディットパックを生成する。
【００５１】
エディットパック処理部１６で生成されるエディットパックには、上述した補助データ生成部１５において、ＡＵＸパケットが生成され、エディットパックのヘッダ情報として付与される。エディットパックに付与されるＡＵＸ−Ａは、上述したように擬似オーディオデータとしてテープ状磁気記録媒体５０に下地データとして記録されているオーディオデータパックを使用する場合、このオーディオデータパックのＰＴＳや、ずらし量情報がそのまま継承されて用いられる。
【００５２】
また、エディットパック処理部１６は、“つなぎ録り”が繰り返された後に、リスタンプされたＡＵＸ−ＡのＰＴＳからリップシンクずれが生じてしまうと判断される場合、エディットパックを構成するオーディオデータパックのフレーム数を追加、または削除するなどして適宜調整をする。
【００５３】
また、エディットパック処理部１６で、コピーピクチャや、スタッフィングバイトが生成されない場合であっても、補助データ生成部１５は、ＡＵＸパケットを生成し、“つなぎ録り”されるつなぎ点に挿入される。これは、エディットパック処理部１６が、“データ量＝０”のエディットパックを生成したことを意味しており、本実施の形態として示す情報処理装置１では、“つなぎ録り”が実行されると、必ずエディットパックを生成することとする。
【００５４】
なお、エディットパック処理部１６における具体的な処理については、後で詳細に説明をする。
【００５５】
ＥＣＣ処理部１７は、ストリーム記録処理部１４から送出されるデータストリームに誤り訂正符号化処理、インタリーブ処理を実行し、記録回路１８に送出する。また、ＥＣＣ処理部１７は、再生回路１９から送出されるデータストリームにデインタリーブ処理、誤り訂正復号処理を実行し、ストリーム再生処理部２０に送出する。
【００５６】
記録回路１８は、ＥＣＣ処理部１７から送出されるデータストリームをテープ状磁気記録媒体５０に記録させる記録処理をする。例えば、記録回路１８は、上記データストリームをシリアルデータに変換した上で増幅し、図示しない回転ドラムによって回転させられたテープ状磁気記録媒体５０に、図示しない磁気ヘッドを介して記録する。
【００５７】
再生回路１９は、テープ状磁気記録媒体５０に記録されたデータストリームを再生する再生処理をする。再生回路１９で再生されたデータストリームは、ＥＣＣ処理部１７に送出される。
【００５８】
ストリーム再生処理部２０は、ＥＣＣ処理部１７から供給されたデータストリームをデマルチプレクスして、ビデオＰＥＳパケット、及びオーディオＰＥＳパケットに分離する。
【００５９】
補助データ抽出部２１は、ＥＣＣ処理部１７から供給されたデータストリームの各パックに与えられているＡＵＸパケットを抽出する。テープ状記録媒体５０の任意の位置で、“つなぎ録り”をする指示が出されると、補助データ抽出部２１は、制御部２５の制御によって上記指定された任意の位置に最も近くに記録されているＡＵＸパケットを読み出す。このＡＵＸパケットの位置が、“つなぎ録り”を開始するつなぎ点となる。
【００６０】
ＰＴＳ抽出部２２は、ストリーム再生処理部２０で、デマルチプレクスされたビデオＰＥＳパケット、及びオーディオＰＥＳパケットからＰＴＳを抽出しストリーム記録部１４に送出する。
【００６１】
外部出力部２３は、ストリーム再生処理部２０から供給されるビデオＰＥＳパケット、オーディオＰＥＳパケットを分割してＴＳパケットを生成し、ＴＳパケットを多重化してＴＳを生成する。
【００６２】
ＭＰＥＧデコーダ２４は、ストリーム再生処理部２０から供給されるビデオＰＥＳパケット、オーディオＰＥＳパケットからビデオＥＳ、オーディオＥＳをそれぞれ生成し、このＭＰＥＧデータからデジタルビデオデータ、デジタルオーディオデータにそれぞれ伸長復号処理をする。
【００６３】
制御部２５は、当該情報処理装置１の各部を統括的に制御する。制御部２５は、例えば、上述した“つなぎ録り”を実行する際に各部の動作を制御して、テープ状磁気記録媒体５０に、ＭＰＥＧ方式で圧縮符号化したビデオデータ、及びオーディオデータを記録させる。
【００６４】
続いて、“つなぎ録り”をする際に、エディットパック処理部１６でエディットパックが生成される様子について具体的に説明をする。
【００６５】
まず、例えば、テープ状磁気記録媒体５０に、図４（ａ），（ｂ）に示すような下地ビデオデータＶＤ１、及び下地オーディオデータＡＤ１とがあらかじめ記録されているとする。また、テープ状磁気記録媒体５０に“つなぎ録り”をして新たに記録するデータを、図４（ｃ），（ｄ）に示すような、つなぎ録りビデオデータＶＤ２、つなぎ録りオーディオデータＡＤ２とする。
【００６６】
ユーザの指示によりテープ状磁気記録媒体５０の任意の位置で、“つなぎ録り”を指示するコマンドが入力されると、制御部２５は、補助データ抽出部２１を制御して、指示された位置に最も近いＡＵＸパケットを読み出させる。この補助データ抽出部２１で読み出されたＡＵＸパケットの位置が、“つなぎ録り”を開始するつなぎ点となる。
【００６７】
制御部２５によって、図４（ａ），（ｂ）で示すつなぎ点Ｙで、“つなぎ録り”を実行するように指示が出されると、エディットパック処理部１６は、図４（ｅ），（ｆ）に示すようなエディットパックＥ１を生成する。
【００６８】
エディットパック処理部１６で生成されたエディットパックＥ１は、ストリーム記録処理部１４に供給される。ストリーム記録処理部１４は、エディットパックＥ１を先頭とし、後ろにつなぎ録りビデオデータＶＤ２、及びつなぎ録りオーディオデータＡＤ２が接続されたデータストリームを生成する。このとき、補助データ生成部１５は、エディットパックＥ１を含む、各パックに対してＡＵＸパケットを生成し、ストリーム記録処理部１４によって、データストリームを構成する各パックの先頭に付与される。
【００６９】
ＥＣＣ処理部１７を介して、記録回路１８に送出されたデータストリームは、テープ状磁気記録媒体５０のつなぎ点Ｙの位置から記録されていく。
【００７０】
これにより、記録回路１８によって、テープ状磁気記録媒体５０には、図４（ｅ），（ｆ）に示すような時間関係を有する、つなぎ録り後ビデオデータＶＤ３、及びつなぎ録り後オーディオデータＡＤ３が記録される。
【００７１】
エディットパック処理部１６で生成されるエディットパックＥ１のオーディオデータパックには、つなぎ点Ｙ以降に、テープ状磁気記録媒体５０に下地オーディオデータＡＤ１として記録されていたＡＡＵ１１，ＡＡＵ１２，ＡＡＵ１３が使用されている。
【００７２】
つまり、図４（ｄ）に示した、オーディオアクセスユニットＡＡＵ３１から始まるつなぎ録りオーディオデータＡＤ２が、図４（ｂ）に示した、テープ状磁気記録媒体５０に記録されている下地オーディオデータＡＤ１のオーディオアクセスユニットＡＡＵ１４から上書きされることで、あたかも、オーディオアクセスユニットＡＡＵ１１，ＡＡＵ１２，ＡＡＵ１３をオーディオデータパックとするようなエディットパックＥ１が形成されることになる。
【００７３】
なお、エディットパックを生成する際に下地のオーディデータが足りない場合は、何もデータの記録されていないＭＵＴＥパケットや、あらかじめ用意されているデータパケットをエディットパックに用いる。
【００７４】
エディットパックのＡＵＸ−Ａのずらし量情報は、下地のＡＵＸ−Ａをそのまま流用して用いる。エディットパック以降のＡＵＸ−Ａのずらし量情報は、当然、エディットパックによってずれた分を加算して記述される。
【００７５】
また、“つなぎ録り”が繰り返されると、エディットパックを挿入して、オーディオデータのずれ量をその都度、調整しているにもかかわらず、リップシンクずれ量が累積され、オーディオパックが規定範囲内を超えてずれてしまう場合がある。
【００７６】
例えば、図５（ａ），（ｂ）に示すように、オーディオパックの先頭ＰＴＳが、時間的にマイナス方向にずれてしまう場合が考えられる。
【００７７】
このような場合は、図５（ｃ）に示すようにエディットパックのオーディオパックに無音のデータが記録されたミュート（ＭＵＴＥ）データを挿入するなどして、リップシンクずれを規定範囲内、つまりＡＵＸ−Ａに記述されたＰＴＳ、及びずれ量情報のみによって補正可能な範囲に抑制する。
【００７８】
また、例えば、図６（ａ），（ｂ）に示すようにオーディオパックの先頭ＰＴＳが時間的にプラス、具体的には、オーディオアクセスユニットＡＡＵで、１個又は２個を超える程度ずれてしまう場合が考えられる。
【００７９】
このような場合は、図６（ｃ）に示すようにエディットパックのオーディオパックからオーディオアクセスユニットＡＡＵを１個、又は２個（図６（ｃ）においては１個）分、削除することでリップシンクずれ量を規定範囲内に、つまりＡＵＸ−Ａに記述されたＰＴＳ、及びずれ量情報のみによって補正可能な範囲に抑制する。
【００８０】
このように、情報処理装置１は、“つなぎ録り”が実行される度に、エディットパック処理部１６で下地のオーディオデータを用いたエディットパックを生成し、つなぎ点に挿入してテープ状磁気記録媒体５０に記録させることで、リップシンクずれを防止することができる。
【００８１】
また、“つなぎ録り”が繰り返し実行され、リップシンクずれが生じた場合でも、テープ状磁気記録媒体５０に記録されているエディットパックを構成するオーディオパックにデータを追加したり、オーディオパックからデータを削除したりすることで、不必要にオリジナルデータを消去したり、パックの構造を変更する行為を回避することができる。
【００８２】
【発明の効果】
以上の説明からも明らかなように、本発明は、“つなぎ録り”時に、擬似オーディオデータを含んだ編集パックを生成し、つなぎ点に生成した編集パックを挿入して、新たなビデオデータ、及びオーディオデータを記録媒体に記録させる。
【００８３】
したがって、“つなぎ録り”を複数回繰り返したとしてもリップシンクずれの累積を防止することを可能とする。
【００８４】
また、あらかじめ記録媒体に記録されたオーディオデータを上記編集パックの擬似オーディオデータに用いることで、つなぎ点における、無音時間の発生を抑制することを可能とする。
【００８５】
さらにまた、複数回の“つなぎ録り”により発生したＰＴＳで対処不能のリップシンクずれを、上記編集パック内の擬似オーディオデータを適宜、増加、又は減少させることで、簡単に回避することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す情報処理装置の構成について説明するための図である。
【図２】同情報処理装置において、パック構成するオーディオデータの規則について説明するための図である。
【図３】同情報処理装置において、ずらし量情報について説明するための図である。
【図４】同情報処理装置において、“つなぎ録り”について説明するための図である。
【図５】同情報処理装置において、マイナス時間方向のリップシンクずれを調整する手法について説明するための図である。
【図６】同情報処理装置において、プラス時間方向のリップシンクずれを調整する手法について説明するための図である。
【符号の説明】
１情報処理装置、１１外部入力部、１２ＭＰＥＧエンコーダ、１３ＶＢＶ遅延抽出部、１４ストリーム記録処理部、１５補助データ生成部、１６エディットパック処理部、１７ＥＣＣ処理部、１８記録回路、１９再生回路、２０ストリーム再生処理部、２１補助データ抽出部、２２ＰＴＳ抽出部、２３外部出力部、２４ＭＰＥＧデコーダ、２５制御部、５０テープ状磁気記録媒体

Claims

ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式で符号化されたビデオデータのフレーム数を基準に定義されるパック単位で、上記ＭＰＥＧ方式で圧縮符号化されたビデオデータ、及びオーディオデータがあらかじめ記録されている記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録された上記パックのヘッダ情報を検出するヘッダ情報検出手段と、
上記つなぎ録りするビデオデータの発生符号量に応じて、上記圧縮符号化されたデータの復号処理の前段に仮想的に設けられるバッファを破綻させないためにつなぎ録り位置に挿入される擬似ビデオデータ、及び、あらかじめ上記記録媒体に記録されているオーディオデータのうち、上記ヘッダ情報検出手段で検出されたヘッダ情報を有するパックに含まれるオーディオデータを用いて生成される擬似オーディオデータからなる編集パックを生成し、生成された上記編集パックに、上記ヘッダ情報検出手段で検出されたヘッダ情報に含まれるオーディオデータの再生時刻情報を上記擬似オーディオデータの再生時刻情報として含むヘッダ情報を与える編集パック生成手段と、
上記記録媒体に上記新たに記録するビデオデータ、及びオーディオデータを上記定義に基づいてパック化し、各パックに上記オーディオデータの再生時刻情報を含むヘッダ情報を与えるパック化手段と、
上記新たにビデオデータ、及びオーディオデータをつなぎ録りする際に発生するオーディオデータの時間的なずれ量を、上記編集パックに与えられたヘッダ情報に含まれる上記擬似オーディオデータの先頭の再生時刻情報、及び上記パック化された各パックに与えられたヘッダ情報に含まれる上記オーディオデータの先頭の再生時刻情報に加えることで、各再生時刻情報を更新する更新手段と、
上記更新手段によって更新された、上記編集パックに与えられたヘッダ情報に含まれる上記擬似オーディオデータの先頭の再生時刻情報、及び上記パック化された各パックに与えられたヘッダ情報に含まれる上記オーディオデータの先頭の再生時刻情報と、それぞれの更新前の再生時刻情報との差分をとり、時間補正量として上記各ヘッダ情報にそれぞれ記述する時間補正量算出手段とを備える情報処理装置。
上記編集パック生成手段は、擬似オーディオデータを生成する際、上記ヘッダ情報検出手段で検出されたヘッダ情報を有するパックに含まれるオーディオデータを用いることができない場合には、擬似オーディオデータとして無音データを用いる請求項１記載の情報処理装置。
上記パックは、上記再生時刻情報を示すＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）順でＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙｐｒｅｄｉｃｔｉｖｅ）ピクチャ、Ｂピクチャ、Ｉ（Ｉｎｔｒａ）又はＰ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャという順番になる３枚のフレーム毎に定義され、
上記パックを構成するオーディオデータは、上記パックの先頭となるＢピクチャのＰＴＳと同じＰＴＳを備えるフレームを先頭フレームとするか、又は上記パックの先頭となるＢピクチャのＰＴＳよりも遅く、且つ、上記ＰＴＳの値に最も近いＰＴＳを備えるフレームを先頭フレームとするように定義される請求項１記載の情報処理装置。
上記更新手段によって上記再生時刻情報が更新された結果、上記記録媒体にパック化されて記録されている上記ビデオデータと、上記オーディオデータとのずれ量が累積されて、パック化されて記録されているオーディオデータが規定範囲を超えて時間的にマイナス方向にずれた場合、上記編集パックが備える擬似オーディオデータを追加し、パック化されて記録されているオーディオデータが規定範囲を超えて時間的にプラス方向にずれた場合、上記編集パックが備える擬似オーディオデータを削除することで上記ずれ量を調節する調節手段を備える請求項１記載の情報処理装置。
上記記録媒体は、当該装置に着脱可能なテープ状磁気記録媒体である請求項１記載の情報処理装置。
ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式で符号化されたビデオデータのフレーム数を基準に定義されるパック単位で、上記ＭＰＥＧ方式で圧縮符号化されたビデオデータ、及びオーディオデータがあらかじめ記録されている記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録された上記パックのヘッダ情報を検出するヘッダ情報検出工程と、
上記つなぎ録りするビデオデータの発生符号量に応じて、上記圧縮符号化されたデータの復号処理の前段に仮想的に設けられるバッファを破綻させないためにつなぎ録り位置に挿入される擬似ビデオデータ、及び、あらかじめ上記記録媒体に記録されているオーディオデータのうち、上記ヘッダ情報検出工程で検出されたヘッダ情報を有するパックに含まれるオーディオデータを用いて生成される擬似オーディオデータからなる編集パックを生成し、生成された上記編集パックに、上記ヘッダ情報検出工程で検出されたヘッダ情報に含まれるオーディオデータの再生時刻情報を上記擬似オーディオデータの再生時刻情報として含むヘッダ情報を与える編集パック生成工程と、
上記記録媒体に上記新たに記録するビデオデータ、及びオーディオデータを上記定義に基づいてパック化し、各パックに上記オーディオデータの再生時刻情報を含むヘッダ情報を与えるパック化工程と、
上記新たにビデオデータ、及びオーディオデータをつなぎ録りする際に発生するオーディオデータの時間的なずれ量を、上記編集パックに与えられたヘッダ情報に含まれる上記擬似オーディオデータの先頭の再生時刻情報、及び上記パック化された各パックに与えられたヘッダ情報に含まれる上記オーディオデータの先頭の再生時刻情報に加えることで、各再生時刻情報を更新する更新工程と、
上記更新工程によって更新された、上記編集パックに与えられたヘッダ情報に含まれる上記擬似オーディオデータの先頭の再生時刻情報、及び上記パック化された各パックに与えられたヘッダ情報に含まれる上記オーディオデータの先頭の再生時刻情報と、それぞれの更新前の再生時刻情報との差分をとり、時間補正量として上記各ヘッダ情報にそれぞれ記述する時間補正量算出工程とを備える情報処理方法。