JP4348920B2 - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents
情報処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP4348920B2 JP4348920B2 JP2002277604A JP2002277604A JP4348920B2 JP 4348920 B2 JP4348920 B2 JP 4348920B2 JP 2002277604 A JP2002277604 A JP 2002277604A JP 2002277604 A JP2002277604 A JP 2002277604A JP 4348920 B2 JP4348920 B2 JP 4348920B2
- Authority
- JP
- Japan
- Prior art keywords
- sub
- data stream
- stream
- recording medium
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、メインのオーディオビデオデータと同期して再生されるサブデータを記録するための情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
記録媒体に記録されているビデオ信号にオーディオやグラフィックスをアフレコ編集する場合に、元のビデオ信号を変更しないで、仮想的にアフレコ編集を実現する方法のいくつかが提案されている。なお、アフレコは、after recordingから生じた和製英語であり、その意味するところは、既に記録されているデータに対して付加的または置換して追加的にデータを記録することを意味する。
【０００３】
例えば、System Description Blu-ray Disc Rewritable Format part3 AudioVisual Basic Specification（以下、ＢＤＡＶと呼ぶ）のサブパス（サブプレイアイテム）の方法が提案されている。下記の特許文献１は、このＢＤＡＶに関連したものである。ＢＤＡＶでは、時間軸上にプレイアイテムとサブプレイアイテムを並列に並べて、それらが別々のＡＶストリームを参照する方法を用いる。また、QuickTimeでは、時間軸上に複数のトラックを並列に並べ、それぞれのトラックが別々のＡＶストリームを参照する方法を用いている。
【０００４】
【特許文献１】
特開２００２−１５８９７２号公報
【０００５】
この特許文献１には、ＡＶストリームファイルを記録媒体例えばディスク状記録媒体に記録する時に、そのファイルを説明するアプリケーションデータベース情報も記録することが記載されている。アプリケーションデータベース情報には、ＡＶストリームのデータベース（クリップと称する）、ＡＶストリームの再生区間（プレイアイテムと称する）をグループ化した再生制御情報（プレイリストと称する）、記録媒体の記録内容の管理情報およびサムネイル画像の情報が含まれる。アプリケーションデータベース情報は、ＡＶストリームと同様の記録処理を受けて記録媒体上に記録される。
【０００６】
このように、記録媒体上に記録されたＡＶストリームファイルおよびアプリケーションデータベース情報を再生する場合には、最初にアプリケーションデータベース情報が再生され、読み出された情報がプレーヤの制御部に取り込まれる。アプリケーションデータベース情報に基づいて、記録媒体に記録されているプレイリストの一覧をユーザインターフェイスによって表示し、ユーザがプレイリストの一覧から再生したいプレイリストを選択する。選択されたプレイリストに必要なＡＶストリームファイルが記録媒体から読み出され、再生処理を受けて再生ビデオ信号および再生オーディオ信号が得られる。
【０００７】
さらに、ユーザは、記録媒体に記録されているＡＶストリームを編集することができる。例えば番組Ａという歌番組から歌手ａの部分を再生し、その後続けて、番組Ｂという歌番組の歌手ａの部分を再生するといった再生経路を作成できる。この場合では、番組Ａに関してユーザが指定した再生区間の開始点（イン点）と終了点（アウト点）の情報から制御部がＡＶストリームの再生区間（プレイアイテム）をグループ化したプレイリストのデータベースを作成する。
【０００８】
図１は、上述した特許文献１に記載されているアプリケーションフォーマットの構造を示す。アプリケーションフォーマットは、ＡＶストリームの管理のためにプレイリストとクリップの二つのレイヤを有する。ボリューム情報は、データベース内の全てのクリップとプレイリストを管理する。１つのＡＶストリームとその付属情報のペアを１つのオブジェクトと考え、それをクリップと称している。ＡＶストリームファイルは、クリップＡＶストリームファイルと称され、その付属情報がクリップ情報ファイルと称される。
【０００９】
１つのクリップＡＶストリームファイルは、ＭＰＥＧ２(Moving Picture Experts Group Phase 2)トランスポートストリームをアプリケーションフォーマットによって規定される構造に配置したデータをストアする。一般的に、ファイルは、バイト列として扱われる。クリップＡＶストリームファイルのコンテンツは、時間軸上に展開され、クリップ中のエントリポイントは、時間ベースで主に指定される。所定のクリップへのアクセスポイントのタイムスタンプが与えられた時に、クリップ情報ファイルは、クリップＡＶストリーム中のデータの読み出しを開始すべきアドレス情報を見つけるのに役立つ。
【００１０】
プレイリストは、クリップの中からユーザが視聴したい再生区間を選択し、それを簡単に編集することを可能とするために用意されている。１つのプレイリストは、クリップの中の再生区間の集まりである。所定のクリップの中の１つの再生区間は、プレイアイテムと呼ばれ、それは、時間軸上のイン点とアウト点の対で表される。
【００１１】
プレイリストには、２つのタイプがある。１つはリアルプレイリストであり、他の１つは仮想プレイリストである。リアルプレイリストは、それが参照しているクリップのストリーム部分を共有している。すなわち、リアルプレイリストは、それの参照しているクリップ中のストリーム部分に相当するデータ容量をディスクの中で占め、リアルプレイリストが消去され場合には、それが参照しているクリップのストリーム部分も消去される。
【００１２】
仮想プレイリストは、クリップのデータを共有していない。したがって、仮想プレイリストが変更または消去されたとしても、クリップの内容には何の変化も生じない。
【００１３】
図２は、アセンブル編集の例を示す。図２Ａに示すように、二つのリアルプレイリスト１，２と、それぞれのリアルプレイリストに対応するクリップ１，２が存在している場合に、ユーザがリアルプレイリスト１内の所定の区間（IN１乃至OUT１）を再生区間（プレイアイテム１）として指定し、続けて再生する区間として、リアルプレイリスト２内の所定の区間（IN２乃至OUT２）を再生区間（プレイアイテム２）として指定する。この例では、図２Ｂに示すように、プレイアイテム１およびプレイアイテム２からなる１つの仮想プレイリストが作成される。作成された仮想プレイリストは、再編集することができる。再編集には、IN点、OUT点の変更、仮想プレイリストへの新たなプレイアイテムの挿入や追加等がある。
【００１４】
図３は、仮想プレイリストへのオーディオのアフレコを説明するものである。アフレコは、仮想プレイリストへオーディオのアフレコをサブパスとして登録する操作で実行される。オーディオのアフレコは、アプリケーションフォーマットによりサポートされている。仮想プレイリストのメインパスのＡＶストリームに、付加的なサブのオーディオストリームがサブパスとして付加される。
【００１５】
図４は、上述した特許文献１に記載のＢＤＡＶのサブパスの方法を用いて、オリジナルのオーディオビデオのメインパス（メイン再生パス）にオーディオのサブパスとグラフィックスのサブパスを並べたプレイリストの例を示す。なお、以降の説明では、説明の簡単のために、仮想プレイリストを単にプレイリストと呼び、メインパスが参照するリアルプレイリストに対応する実データをメインＡＶストリームと称し、サブパスが参照するリアルプレイリストに対応する実データをＡＵＸオーディオストリーム、ＡＵＸグラフィックスストリームと称することにする。
【００１６】
メインパスは、参照するメインＡＶストリームデータの中から選択された再生区間（プレイアイテム）を示すデータIN１およびOUT１を有している。サブオーディオパスおよびサブグラフィックスパスのそれぞれも参照するストリームデータの再生区間（プレイアイテム）を示すデータIN２、IN３、OUT２、OUT３を有している。プレイリストを再生するプレーヤは、メインパスとサブパスとを同期させて再生する。サブパスが参照するオーディオストリームおよびグラフィックスストリームは、アフレコされたものである。例えばカメラ一体型ディスクレコーダにおいて、撮影されたメインＡＶストリームに対して、ユーザが音声データとタイトルの画面をアフレコした場合にサブパスが形成される。アフレコされた音声データおよびタイトル画面がそれぞれＡＵＸオーディオストリームおよびＡＵＸグラフィックスストリームに対応する。
【００１７】
図５は、サブパスにオーディオとグラフィックスの２つのストリームを使用する図４に示すようなプレイリストを再生するプレーヤシステムを示す。プレーヤは、記録媒体例えばディスク１からメインＡＶストリーム、ＡＵＸオーディオストリーム、ＡＵＸグラフィックスストリームの３つのストリームを読み出して、それを同時に復号する必要がある。
【００１８】
図５において、参照符号２ａ、２ｂ、２ｃは、ディスク１から読み取られたストリームがそれぞれ入力されるバッファメモリである。バッファメモリ２ａ、２ｂ、２ｃのそれぞれの出力がデマルチプレクサ３ａ、３ｂ、３ｃに入力され、パケットＩＤを参照してパケットへ分離される。デマルチプレクサ３ａの出力がＡＶデコーダ４ａで復号され、ビデオデータＶおよびオーディオデータＡ１が得られる。デマルチプレクサ３ｂの出力がオーディオデコーダ４ｂで復号され、オーディオデータＡ２が得られる。デマルチプレクサ３ｃの出力がグラフィックスデコーダ４ｃで復号され、オグラフィックスデータＧが得られる。
【００１９】
各デコーダによって得られたビデオデータＶ、オーディオデータＡ１およびＡ２、並びにグラフィックスデータＧがオーディオMIX/select、ビデオMIXおよび同期制御部５に供給され、ビデオ出力とオーディオ出力とが形成される。ビデオ出力は、例えば指定された再生時間においてアフレコされたタイトル画面が表示されるビデオ表示信号である。オーディオ出力は、メインパスおよびサブパスで指定された再生時間においてメインオーディオ信号およびアフレコされたオーディオ信号の一方が選択されたもの、または両者が混合されたものである。
【００２０】
図６に概略的に示すような動作によって、ディスク１から３つのストリームを実質的に同時に再生することが可能である。図６の例では、簡単のため、ストリームのデータレートが互いに等しいものと仮定している。最初のリードでメインＡＶストリームが例えば光学ヘッドによって再生され、再生されたメインＡＶストリームがバッファ２ａに入力される。バッファ２ａから再生されたメインＡＶストリームが出力される。
【００２１】
メインＡＶストリームのリードが終わると、次にＡＵＸオーディオストリームの記録領域に読み取り位置がジャンプして、ＡＵＸオーディオストリームが再生され、再生されたＡＵＸオーディオストリームがバッファ２ｂに入力される。バッファ２ｂから再生されたＡＵＸオーディオストリームが出力される。次にＡＵＸグラフィックスストリームの記録領域に読み取り位置がジャンプして、ＡＵＸグラフィックスが再生される。再生されたＡＵＸグラフィックスストリームがバッファ２ｃに入力される。
【００２２】
そして、再びメインＡＶストリームの記録領域にジャンプして、メインＡＶストリームをリードする。バッファ２ａ，２ｂ，２ｃのそれぞれは、以前のリードで格納されたデータの読み出しが終了し、次のリードで読み出されたデータが格納される時には、殆ど空となっている。図６の状態は、ゆとりがない厳しい状態を表している。このような３回のジャンプ動作を繰り返すことによって、３つのストリームを実質的に同時に再生できる。
【００２３】
図７は、サブパスが参照するストリームデータをアフレコするレコーダシステムの従来例を示す。アフレコ用のオーディオデータまたはグラフィックスのデータが入力されると、エンコーダ６が入力されたデータを符号化して、エンコーダ６の出力がマルチプレクサ７によってトランスポートストリームに符号化され、トランスポートストリームが記録媒体例えばディスク１に記録される。
【００２４】
【発明が解決しようとする課題】
別々のストリームを参照するプレイアイテムとサブプレイアイテムを並べる方法では、図６を参照して説明したように、ジャンプ動作を行うことで各ストリームを順番に読み出す必要があり、同時に再生されるサブプレイアイテムの個数が増えるにしたがって、各ストリームの読み出しに必要なジャンプ数が多くなる。ジャンプ数が多くなるにしたがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームのビットレートを低く抑えることが必要となる。
【００２５】
その結果、サブプレイアイテムの数が増えることに備えて、予めメインＡＶストリームの符号化ビットレートを低くする必要があり、ビデオ等の符号化画質が劣化する問題が生じる。また、サブプレイアイテムの数が増えることに備えないで、メインＡＶストリームの符号化ビットレートを制限しない場合では、サブプレイアイテムの個数を増やすことができない問題が生じる。例えばアフレコでオーディオのサブパスを付加した後に、さらに、グラフィックスのサブパスを付加することができない問題が生じる。
【００２６】
したがって、この発明の目的は、メインＡＶストリームの符号化ビットレートを低く制限する必要がなく、且つサブプレイアイテムの数の増加に対応できる情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。
【００２７】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置において、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定手段と、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化手段と、判定手段が、第１のサブデータストリームが記録されていないと判定した場合には、符号化手段で生成された第２のサブデータストリームを記録媒体に記録するとともに、判定手段が、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化手段で生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成手段と、生成された新たなサブデータストリームを記録媒体に記録する手段とを有する情報処理装置である。
【００２８】
請求項５の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同時に再生されるサブデータストリームを記録する情報処理方法において、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、判定ステップが、第１のサブデータストリームが記録されていないと判定した場合には、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録するとともに、判定ステップが、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化ステップで生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、生成された新たなサブデータストリームを記録媒体に記録するステップとからなる情報処理方法である。
【００２９】
請求項９の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置のプログラムにおいて、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、判定ステップが、第１のサブデータストリームが記録されていないと判定した場合には、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録するとともに、判定ステップが、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化ステップで生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、生成された新たなサブデータストリームを記録媒体に記録するステップとからなる情報処理装置のプログラムである。
【００３０】
請求項１０の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置のプログラムにおいて、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、判定ステップが、第１のサブデータストリームが記録されていないと判定した場合には、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録するとともに、判定ステップが、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化ステップで生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、生成された新たなサブデータストリームを記録媒体に記録するステップとからなるコンピュータが読み取り可能なプログラムが記録されている記録媒体である。
【００３２】
この発明では、同時に再生される複数のサブプレイアイテムが参照する各ストリームデータを多重化して記録するので、サブプレイアイテムの数が増えても、予めメインＡＶストリームの符号化ビットレートを低く制限する必要がないので、ビデオ等の符号化画質を高めることができる。サブプレイアイテムの数を制限する必要がないので、例えばオーディオのサブパスを付加した後に、さらにグラフィックスのサブパスを付加することができなくなる問題が生じない。
【００３３】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図８は、この発明の一実施形態におけるプレイリストと、そのプレイリストが参照する実データの関係を示す。実データは、記録媒体例えばディスク上に記録されているデータである。一実施形態は、この発明をＢＤＡＶのフォーマットに規定されているプレイリストに対して適用したものである。上述したように、ＢＤＡＶでは、時間軸上にプレイアイテムとサブプレイアイテムを並列に並べて、それらが別々のＡＶストリームを参照する方法を用いる。
【００３４】
プレイリストのメインパスは、実データのメインＡＶストリームを参照しており、メインＡＶストリームの中から選択された再生区間を示すデータ（IN１−OUT１)を有する。プレイリストのサブオーディオパスおよびサブグラフィックスパスが１つの多重化ストリーム例えばＡＵＸオーディオおよびＡＵＸグラフィックスが多重化されたストリームを参照している。サブオーディオパスは、多重化ストリームの中から選択された再生区間を示すデータ（IN２−OUT２)を持つ。サブグラフィックスパスは、多重化ストリームの中から選択された再生区間を示すデータ（IN3−OUT3)を持つ。このプレイリストを再生するプレーヤは、メインパスとサブパスとを同期させて再生する。
【００３５】
一例として、実質的に同時に再生可能なストリームが２つとされている。すなわち、ディスクプレーヤの能力として、メインパスが参照するメインＡＶストリームの他に、サブパスが参照することができるＡＵＸストリームが１つとされている。既に１つのＡＵＸストリームが記録されている場合に、新たなＡＵＸストリームをアフレコすることがこの発明によって支障なく実現できる。
【００３６】
図８に示すように、２つのサブパスが存在する場合であっても、記録媒体上では、１つの多重化ストリームのみが記録される。多重化ストリームを形成する合成方法としては、時分割多重する方法、並びに所定時間例えば１ＧＯＰのデータ毎に並べるインターリーブする方法の何れかを使用できる。後述するように、この発明の一実施形態では、アフレコを行う場合に、プレイリストの情報に基づいて、既にサブパスが存在しているか否かを調べ、既にサブパスが存在している場合には、記録されているＡＵＸストリームと新たに記録するＡＵＸストリームとを多重化して、多重化ストリームを作成し、作成した多重化ストリームを記録するようになされる。
【００３７】
図９は、２個のサブパスがオーディオおよびグラフィックスストリームが多重化された１つの多重化ストリームを参照するプレイリストが記録され、このプレイリストにしたがって再生動作を行うことが可能なプレーヤシステムを示す。ディスク１１から２つのストリームが実質的に同時に再生される。
【００３８】
図９において、参照符号１２ａは、ディスク１１から読み取られたメインＡＶストリームが入力されるバッファメモリであり、参照符号１２ｂは、ディスク１１から読み取られたＡＵＸオーディオおよびグラフィックスストリーム（多重化ストリーム）が入力されるバッファメモリである。バッファメモリ１２ａおよび１２ｂのそれぞれの出力がデマルチプレクサ１３ａおよび１３ｂに入力され、パケットＩＤを参照してパケットへ分離される。デマルチプレクサ１３ａの出力がＡＶデコーダ１４ａで復号され、ビデオデータＶおよびオーディオデータＡ１が得られる。
【００３９】
デマルチプレクサ１３ｂは、多重化ストリームをオーディオストリームとグラフィックスストリームとに分離する。オーディオストリームがオーディオデコーダ１４ｂで復号され、オーディオデータＡ２が得られる。グラフィックスストリームがグラフィックスデコーダ１４ｃで復号され、グラフィックスデータＧが得られる。
【００４０】
各デコーダによって得られたビデオデータＶ、オーディオデータＡ１およびＡ２、並びにグラフィックスデータＧがオーディオMIX/select、ビデオMIXおよび同期制御部１５に供給され、ビデオ出力とオーディオ出力とが形成される。ビデオ出力は、例えば指定された再生時間においてアフレコされたタイトル画面が表示されるビデオ表示信号である。オーディオ出力は、指定された再生時間においてアフレコされたオーディオ信号がメインのオーディオ信号と混合またはメインのオーディオ信号に代えてアフレコオーディオ信号が選択されたものである。
【００４１】
プレーヤシステムでは、ディスク１１から先ずプレイリストの情報が再生され、プレイリストの情報が図示しない制御部に読み込まれる。プレイリストの情報は、図８を参照して説明したように、メインＡＶストリームの再生区間とサブの多重化ストリームの再生区間とを指定するものである。制御部は、プレイリストの情報にしたがって、オーディオMIX/select、ビデオMIXおよび同期制御部１５を制御する。それによって、プレイリストの情報にしたがって再生されたビデオ出力およびオーディオ出力が得られる。
【００４２】
図１０に概略的に示すような動作によって、ディスク１から２つのストリームを実質的に同時に再生することが可能である。図１０の例では、簡単のため、ストリームのデータレートが互いに等しいものと仮定している。最初のリードでメインＡＶストリームが例えば光学ヘッドによって再生され、再生されたメインＡＶストリームがバッファ１２ａに入力される。バッファ１２ａから再生されたメインＡＶストリームが出力される。
【００４３】
メインＡＶストリームのリードが終わると、次に多重化ストリーム（ＡＵＸオーディオおよびグラフィックスストリーム）の記録領域に読み取り位置がジャンプして、多重化ストリームが再生され、再生された多重化ストリームがバッファ１２ｂに入力される。バッファ１２ｂから再生された多重化ストリームが出力される。次に再びメインＡＶストリームの記録領域にジャンプして、メインＡＶストリームがリードされる。バッファ１２ａおよび１２ｂのそれぞれは、以前のリードで格納されたデータの読み出しが終了し、次のリードで読み出されたデータが格納される時には、殆ど空となっている。図１０の状態は、ゆとりがない厳しい状態を表している。このような２回のジャンプ動作を繰り返すことによって、２つのストリームを実質的に同時に再生できる。
【００４４】
図９では、多重化ストリームがディスク１１上で、物理的に連続した配置を持つように記録されている。しかしながら、ジャンプ動作が殆ど発生しなければ、連続した配置ではなく、断片的な配置でもって多重化ストリームがディスク１１上に記録されていても良い。
【００４５】
図１１は、サブパスが参照するストリームデータを記録するレコーダシステムの構成例を示す。ユーザがあるプレイリストに対してオーディオまたはグラフィックスのアフレコを行うことをレコーダに指示した場合、アフレコ用のオーディオまたはグラフィックスのデータがエンコーダ１６に供給され、エンコーダ１６によってアフレコ用のデータが符号化される。エンコーダ１６によって符号化されたストリームがマルチプレクサ１７に供給される。
【００４６】
レコーダは、アフレコに先立ってディスク１１からプレイリストの情報を再生し、制御部１９に読み込む。プレイリストの情報の読み取りは、電源オン時、ディスクの挿入時等のタイミングでなされ、読み取られたプレイリストの情報が制御部１９のメモリに保存される。制御部１９は、レコーダは、既にそのプレイリストがオーディオまたはグラフィックスのサブパスを持っているかどうかを調べる。若し、そのプレイリストがサブパスを持っている場合には、レコーダは、サブパスが参照しているストリームをディスク１１から読み出す。そして、読み出したストリームをデマルチプレクサ１８に供給する。デマルチプレクサ１８の出力がマルチプレクサ１７に供給される。マルチプレクサ１７は、デマルチプレクサ１８からのストリームとエンコーダ１６からのストリームとをトランスポートストリームに多重化する。マルチプレクサ１７からのトランスポートストリームがディスク１１に記録される。
【００４７】
一方、若し、そのプレイリストがサブパスを持っていない場合には、エンコーダ１６からのストリームをマルチプレクサ１７がトランスポートストリームに符号化し、マルチプレクサ１７から出力されるトランスポートストリームがディスク１１に記録される。アフレコ用のデータがディスク１１に記録された場合では、プレイリストの内容が書き換えられ、書き換えられたプレイリストの情報がディスク１１に記録される。
【００４８】
図１２は、サブパスが参照するストリームの記録方法の流れを示すフローチャートである。最初のステップＳ１０１において、アフレコ用のオーディオまたはグラフィックスのデータが入力され、エンコーダで符号化され、マルチプレクサにエンコーダからのストリームが入力される。
【００４９】
ステップＳ１０２において、レコーダは、アフレコしようとするプレイリストが既にオーディオまたはグラフィックスのサブパスを持っているかどうかを調べる。例えばレコーダは、予めディスク１１から記録に先立ってプレイリストの情報を読み取り、読み取ったプレイリストから既にサブパスを持っているかどうかを調べる。ステップＳ１０２の判定結果がyesの場合では、処理がステップＳ１０３に進み、判定結果がnoの場合では、処理がステップＳ１０５に進む。
【００５０】
ステップＳ１０３では、プレイリストが既に持っているサブパスが参照するＡＵＸストリームをディスクから読み出す。
【００５１】
ステップＳ１０４では、読み出したＡＵＸストリームと、今回アフレコするストリームとを多重化して新たなＡＵＸストリームを作成する。
【００５２】
そして、ステップＳ１０６において、新たに作成したＡＵＸストリームを記録媒体に記録する。
【００５３】
ステップＳ１０２の判定結果がnoの場合、すなわち、そのプレイリストがサブパスを持っていない場合には、今回アフレコするストリームを用いてＡＵＸストリームを作成する。そして、ステップＳ１０６において、作成したＡＵＸストリームを記録媒体に記録する。
【００５４】
図１３は、メインパスとサブパスを有するプレイリストにしたがってなされる再生方法の流れを示すフローチャートである。ステップＳ２０１において、メインパスが参照するストリームを記録媒体から読み出して、読み出したストリームを復号する。
【００５５】
ステップＳ２０２において、サブパスが参照するストリームを記録媒体から読み出して、読み出したストリームを復号する。
【００５６】
ステップＳ２０３において、メインパスとサブパスの同期再生を行う。
【００５７】
この発明は、上述した一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、ＢＤＡＶ以外のフォーマットのプレイリストに対しても適用できる。例えばこの発明は、QuickTime（商標）に対しても適用可能である。QuickTime（商標）は、ビデオ、オーディオ等の各種データを時間軸に沿って管理するソフトウェアであり、特殊なハードウェアを用いずに動画や音声やテキストなどを同期して再生するためのＯＳ拡張機能である。
【００５８】
【発明の効果】
この発明では、同時に再生される複数のサブプレイアイテムが参照する各ストリームデータを多重化して記録するので、サブプレイアイテムの数が増えても、予めメインＡＶストリームの符号化ビットレートを低く制限する必要がないので、ビデオ等の符号化画質を高めることができる。サブプレイアイテムの数を制限する必要がないので、例えばオーディオのサブパスを付加した後に、さらにグラフィックスのサブパスを付加することができなくなる問題が生じない。単にストリームの数の増加を抑えるのであれば、メインストリームにアフレコ用ストリームを多重化することも考えられるが、通常メインストリームのデータ量が多く、書き換えが大変となり、また、メインストリームを他のプレイリストが参照していることもあるので、メインストリームにアフレコ用ストリームを多重化することは不都合が生じる。
【図面の簡単な説明】
【図１】先に提案されている再生制御情報としてのプレイリストを説明するための略線図である。
【図２】アセンブル編集を行った場合のプレイリストの作成方法を説明するための略線図である。
【図３】アフレコを行った場合のプレイリストを説明するための略線図である。
【図４】サブパスにオーディオとグラフィックスの２個のストリームを使用する従来のプレイリストを説明するための略線図である。
【図５】サブパスにオーディオとグラフィックスの２個のストリームを使用する従来のプレイリストを再生するためのプレーヤシステムのブロック図である。
【図６】従来の３個のストリームを同時再生するプレーヤのモデルの説明のための略線図である。
【図７】従来のアフレコを行うレコーダの一例のブロック図である。
【図８】サブパスにオーディオとグラフィックスの２個のストリームを使用するこの発明によるプレイリストを説明するための略線図である。
【図９】サブパスにオーディオとグラフィックスの２個のストリームを使用するこの発明によるプレイリストを再生するためのプレーヤシステムのブロック図である。
【図１０】この発明による２個のストリームを同時再生するプレーヤのモデルの説明のための略線図である。
【図１１】この発明によりアフレコを行うレコーダの一例のブロック図である。
【図１２】この発明によりアフレコを行う方法の処理の流れを示すフローチャートである。
【図１３】この発明によりメインパスとサブパスの再生方法の処理の流れを示すフローチャートである。
【符号の説明】
１１・・・ディスク、１２ａ，１２ｂ・・・バッファ、１３ａ，１３ｂ，１８・・・デマルチプレクサ、１７・・・マルチプレクサ、１９・・・制御部
【発明の属する技術分野】
この発明は、メインのオーディオビデオデータと同期して再生されるサブデータを記録するための情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
記録媒体に記録されているビデオ信号にオーディオやグラフィックスをアフレコ編集する場合に、元のビデオ信号を変更しないで、仮想的にアフレコ編集を実現する方法のいくつかが提案されている。なお、アフレコは、after recordingから生じた和製英語であり、その意味するところは、既に記録されているデータに対して付加的または置換して追加的にデータを記録することを意味する。
【０００３】
例えば、System Description Blu-ray Disc Rewritable Format part3 AudioVisual Basic Specification（以下、ＢＤＡＶと呼ぶ）のサブパス（サブプレイアイテム）の方法が提案されている。下記の特許文献１は、このＢＤＡＶに関連したものである。ＢＤＡＶでは、時間軸上にプレイアイテムとサブプレイアイテムを並列に並べて、それらが別々のＡＶストリームを参照する方法を用いる。また、QuickTimeでは、時間軸上に複数のトラックを並列に並べ、それぞれのトラックが別々のＡＶストリームを参照する方法を用いている。
【０００４】
【特許文献１】
特開２００２−１５８９７２号公報
【０００５】
この特許文献１には、ＡＶストリームファイルを記録媒体例えばディスク状記録媒体に記録する時に、そのファイルを説明するアプリケーションデータベース情報も記録することが記載されている。アプリケーションデータベース情報には、ＡＶストリームのデータベース（クリップと称する）、ＡＶストリームの再生区間（プレイアイテムと称する）をグループ化した再生制御情報（プレイリストと称する）、記録媒体の記録内容の管理情報およびサムネイル画像の情報が含まれる。アプリケーションデータベース情報は、ＡＶストリームと同様の記録処理を受けて記録媒体上に記録される。
【０００６】
このように、記録媒体上に記録されたＡＶストリームファイルおよびアプリケーションデータベース情報を再生する場合には、最初にアプリケーションデータベース情報が再生され、読み出された情報がプレーヤの制御部に取り込まれる。アプリケーションデータベース情報に基づいて、記録媒体に記録されているプレイリストの一覧をユーザインターフェイスによって表示し、ユーザがプレイリストの一覧から再生したいプレイリストを選択する。選択されたプレイリストに必要なＡＶストリームファイルが記録媒体から読み出され、再生処理を受けて再生ビデオ信号および再生オーディオ信号が得られる。
【０００７】
さらに、ユーザは、記録媒体に記録されているＡＶストリームを編集することができる。例えば番組Ａという歌番組から歌手ａの部分を再生し、その後続けて、番組Ｂという歌番組の歌手ａの部分を再生するといった再生経路を作成できる。この場合では、番組Ａに関してユーザが指定した再生区間の開始点（イン点）と終了点（アウト点）の情報から制御部がＡＶストリームの再生区間（プレイアイテム）をグループ化したプレイリストのデータベースを作成する。
【０００８】
図１は、上述した特許文献１に記載されているアプリケーションフォーマットの構造を示す。アプリケーションフォーマットは、ＡＶストリームの管理のためにプレイリストとクリップの二つのレイヤを有する。ボリューム情報は、データベース内の全てのクリップとプレイリストを管理する。１つのＡＶストリームとその付属情報のペアを１つのオブジェクトと考え、それをクリップと称している。ＡＶストリームファイルは、クリップＡＶストリームファイルと称され、その付属情報がクリップ情報ファイルと称される。
【０００９】
１つのクリップＡＶストリームファイルは、ＭＰＥＧ２(Moving Picture Experts Group Phase 2)トランスポートストリームをアプリケーションフォーマットによって規定される構造に配置したデータをストアする。一般的に、ファイルは、バイト列として扱われる。クリップＡＶストリームファイルのコンテンツは、時間軸上に展開され、クリップ中のエントリポイントは、時間ベースで主に指定される。所定のクリップへのアクセスポイントのタイムスタンプが与えられた時に、クリップ情報ファイルは、クリップＡＶストリーム中のデータの読み出しを開始すべきアドレス情報を見つけるのに役立つ。
【００１０】
プレイリストは、クリップの中からユーザが視聴したい再生区間を選択し、それを簡単に編集することを可能とするために用意されている。１つのプレイリストは、クリップの中の再生区間の集まりである。所定のクリップの中の１つの再生区間は、プレイアイテムと呼ばれ、それは、時間軸上のイン点とアウト点の対で表される。
【００１１】
プレイリストには、２つのタイプがある。１つはリアルプレイリストであり、他の１つは仮想プレイリストである。リアルプレイリストは、それが参照しているクリップのストリーム部分を共有している。すなわち、リアルプレイリストは、それの参照しているクリップ中のストリーム部分に相当するデータ容量をディスクの中で占め、リアルプレイリストが消去され場合には、それが参照しているクリップのストリーム部分も消去される。
【００１２】
仮想プレイリストは、クリップのデータを共有していない。したがって、仮想プレイリストが変更または消去されたとしても、クリップの内容には何の変化も生じない。
【００１３】
図２は、アセンブル編集の例を示す。図２Ａに示すように、二つのリアルプレイリスト１，２と、それぞれのリアルプレイリストに対応するクリップ１，２が存在している場合に、ユーザがリアルプレイリスト１内の所定の区間（IN１乃至OUT１）を再生区間（プレイアイテム１）として指定し、続けて再生する区間として、リアルプレイリスト２内の所定の区間（IN２乃至OUT２）を再生区間（プレイアイテム２）として指定する。この例では、図２Ｂに示すように、プレイアイテム１およびプレイアイテム２からなる１つの仮想プレイリストが作成される。作成された仮想プレイリストは、再編集することができる。再編集には、IN点、OUT点の変更、仮想プレイリストへの新たなプレイアイテムの挿入や追加等がある。
【００１４】
図３は、仮想プレイリストへのオーディオのアフレコを説明するものである。アフレコは、仮想プレイリストへオーディオのアフレコをサブパスとして登録する操作で実行される。オーディオのアフレコは、アプリケーションフォーマットによりサポートされている。仮想プレイリストのメインパスのＡＶストリームに、付加的なサブのオーディオストリームがサブパスとして付加される。
【００１５】
図４は、上述した特許文献１に記載のＢＤＡＶのサブパスの方法を用いて、オリジナルのオーディオビデオのメインパス（メイン再生パス）にオーディオのサブパスとグラフィックスのサブパスを並べたプレイリストの例を示す。なお、以降の説明では、説明の簡単のために、仮想プレイリストを単にプレイリストと呼び、メインパスが参照するリアルプレイリストに対応する実データをメインＡＶストリームと称し、サブパスが参照するリアルプレイリストに対応する実データをＡＵＸオーディオストリーム、ＡＵＸグラフィックスストリームと称することにする。
【００１６】
メインパスは、参照するメインＡＶストリームデータの中から選択された再生区間（プレイアイテム）を示すデータIN１およびOUT１を有している。サブオーディオパスおよびサブグラフィックスパスのそれぞれも参照するストリームデータの再生区間（プレイアイテム）を示すデータIN２、IN３、OUT２、OUT３を有している。プレイリストを再生するプレーヤは、メインパスとサブパスとを同期させて再生する。サブパスが参照するオーディオストリームおよびグラフィックスストリームは、アフレコされたものである。例えばカメラ一体型ディスクレコーダにおいて、撮影されたメインＡＶストリームに対して、ユーザが音声データとタイトルの画面をアフレコした場合にサブパスが形成される。アフレコされた音声データおよびタイトル画面がそれぞれＡＵＸオーディオストリームおよびＡＵＸグラフィックスストリームに対応する。
【００１７】
図５は、サブパスにオーディオとグラフィックスの２つのストリームを使用する図４に示すようなプレイリストを再生するプレーヤシステムを示す。プレーヤは、記録媒体例えばディスク１からメインＡＶストリーム、ＡＵＸオーディオストリーム、ＡＵＸグラフィックスストリームの３つのストリームを読み出して、それを同時に復号する必要がある。
【００１８】
図５において、参照符号２ａ、２ｂ、２ｃは、ディスク１から読み取られたストリームがそれぞれ入力されるバッファメモリである。バッファメモリ２ａ、２ｂ、２ｃのそれぞれの出力がデマルチプレクサ３ａ、３ｂ、３ｃに入力され、パケットＩＤを参照してパケットへ分離される。デマルチプレクサ３ａの出力がＡＶデコーダ４ａで復号され、ビデオデータＶおよびオーディオデータＡ１が得られる。デマルチプレクサ３ｂの出力がオーディオデコーダ４ｂで復号され、オーディオデータＡ２が得られる。デマルチプレクサ３ｃの出力がグラフィックスデコーダ４ｃで復号され、オグラフィックスデータＧが得られる。
【００１９】
各デコーダによって得られたビデオデータＶ、オーディオデータＡ１およびＡ２、並びにグラフィックスデータＧがオーディオMIX/select、ビデオMIXおよび同期制御部５に供給され、ビデオ出力とオーディオ出力とが形成される。ビデオ出力は、例えば指定された再生時間においてアフレコされたタイトル画面が表示されるビデオ表示信号である。オーディオ出力は、メインパスおよびサブパスで指定された再生時間においてメインオーディオ信号およびアフレコされたオーディオ信号の一方が選択されたもの、または両者が混合されたものである。
【００２０】
図６に概略的に示すような動作によって、ディスク１から３つのストリームを実質的に同時に再生することが可能である。図６の例では、簡単のため、ストリームのデータレートが互いに等しいものと仮定している。最初のリードでメインＡＶストリームが例えば光学ヘッドによって再生され、再生されたメインＡＶストリームがバッファ２ａに入力される。バッファ２ａから再生されたメインＡＶストリームが出力される。
【００２１】
メインＡＶストリームのリードが終わると、次にＡＵＸオーディオストリームの記録領域に読み取り位置がジャンプして、ＡＵＸオーディオストリームが再生され、再生されたＡＵＸオーディオストリームがバッファ２ｂに入力される。バッファ２ｂから再生されたＡＵＸオーディオストリームが出力される。次にＡＵＸグラフィックスストリームの記録領域に読み取り位置がジャンプして、ＡＵＸグラフィックスが再生される。再生されたＡＵＸグラフィックスストリームがバッファ２ｃに入力される。
【００２２】
そして、再びメインＡＶストリームの記録領域にジャンプして、メインＡＶストリームをリードする。バッファ２ａ，２ｂ，２ｃのそれぞれは、以前のリードで格納されたデータの読み出しが終了し、次のリードで読み出されたデータが格納される時には、殆ど空となっている。図６の状態は、ゆとりがない厳しい状態を表している。このような３回のジャンプ動作を繰り返すことによって、３つのストリームを実質的に同時に再生できる。
【００２３】
図７は、サブパスが参照するストリームデータをアフレコするレコーダシステムの従来例を示す。アフレコ用のオーディオデータまたはグラフィックスのデータが入力されると、エンコーダ６が入力されたデータを符号化して、エンコーダ６の出力がマルチプレクサ７によってトランスポートストリームに符号化され、トランスポートストリームが記録媒体例えばディスク１に記録される。
【００２４】
【発明が解決しようとする課題】
別々のストリームを参照するプレイアイテムとサブプレイアイテムを並べる方法では、図６を参照して説明したように、ジャンプ動作を行うことで各ストリームを順番に読み出す必要があり、同時に再生されるサブプレイアイテムの個数が増えるにしたがって、各ストリームの読み出しに必要なジャンプ数が多くなる。ジャンプ数が多くなるにしたがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームのビットレートを低く抑えることが必要となる。
【００２５】
その結果、サブプレイアイテムの数が増えることに備えて、予めメインＡＶストリームの符号化ビットレートを低くする必要があり、ビデオ等の符号化画質が劣化する問題が生じる。また、サブプレイアイテムの数が増えることに備えないで、メインＡＶストリームの符号化ビットレートを制限しない場合では、サブプレイアイテムの個数を増やすことができない問題が生じる。例えばアフレコでオーディオのサブパスを付加した後に、さらに、グラフィックスのサブパスを付加することができない問題が生じる。
【００２６】
したがって、この発明の目的は、メインＡＶストリームの符号化ビットレートを低く制限する必要がなく、且つサブプレイアイテムの数の増加に対応できる情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。
【００２７】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置において、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定手段と、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化手段と、判定手段が、第１のサブデータストリームが記録されていないと判定した場合には、符号化手段で生成された第２のサブデータストリームを記録媒体に記録するとともに、判定手段が、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化手段で生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成手段と、生成された新たなサブデータストリームを記録媒体に記録する手段とを有する情報処理装置である。
【００２８】
請求項５の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同時に再生されるサブデータストリームを記録する情報処理方法において、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、判定ステップが、第１のサブデータストリームが記録されていないと判定した場合には、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録するとともに、判定ステップが、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化ステップで生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、生成された新たなサブデータストリームを記録媒体に記録するステップとからなる情報処理方法である。
【００２９】
請求項９の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置のプログラムにおいて、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、判定ステップが、第１のサブデータストリームが記録されていないと判定した場合には、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録するとともに、判定ステップが、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化ステップで生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、生成された新たなサブデータストリームを記録媒体に記録するステップとからなる情報処理装置のプログラムである。
【００３０】
請求項１０の発明は、メインオーディオビデオストリームと共に、メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置のプログラムにおいて、再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上にオーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、判定ステップが、第１のサブデータストリームが記録されていないと判定した場合には、符号化ステップで生成された第２のサブデータストリームを記録媒体に記録するとともに、判定ステップが、第１のサブデータストリームが記録されていると判定した場合には、第１のサブデータストリームと符号化ステップで生成される第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、生成された新たなサブデータストリームを記録媒体に記録するステップとからなるコンピュータが読み取り可能なプログラムが記録されている記録媒体である。
【００３２】
この発明では、同時に再生される複数のサブプレイアイテムが参照する各ストリームデータを多重化して記録するので、サブプレイアイテムの数が増えても、予めメインＡＶストリームの符号化ビットレートを低く制限する必要がないので、ビデオ等の符号化画質を高めることができる。サブプレイアイテムの数を制限する必要がないので、例えばオーディオのサブパスを付加した後に、さらにグラフィックスのサブパスを付加することができなくなる問題が生じない。
【００３３】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図８は、この発明の一実施形態におけるプレイリストと、そのプレイリストが参照する実データの関係を示す。実データは、記録媒体例えばディスク上に記録されているデータである。一実施形態は、この発明をＢＤＡＶのフォーマットに規定されているプレイリストに対して適用したものである。上述したように、ＢＤＡＶでは、時間軸上にプレイアイテムとサブプレイアイテムを並列に並べて、それらが別々のＡＶストリームを参照する方法を用いる。
【００３４】
プレイリストのメインパスは、実データのメインＡＶストリームを参照しており、メインＡＶストリームの中から選択された再生区間を示すデータ（IN１−OUT１)を有する。プレイリストのサブオーディオパスおよびサブグラフィックスパスが１つの多重化ストリーム例えばＡＵＸオーディオおよびＡＵＸグラフィックスが多重化されたストリームを参照している。サブオーディオパスは、多重化ストリームの中から選択された再生区間を示すデータ（IN２−OUT２)を持つ。サブグラフィックスパスは、多重化ストリームの中から選択された再生区間を示すデータ（IN3−OUT3)を持つ。このプレイリストを再生するプレーヤは、メインパスとサブパスとを同期させて再生する。
【００３５】
一例として、実質的に同時に再生可能なストリームが２つとされている。すなわち、ディスクプレーヤの能力として、メインパスが参照するメインＡＶストリームの他に、サブパスが参照することができるＡＵＸストリームが１つとされている。既に１つのＡＵＸストリームが記録されている場合に、新たなＡＵＸストリームをアフレコすることがこの発明によって支障なく実現できる。
【００３６】
図８に示すように、２つのサブパスが存在する場合であっても、記録媒体上では、１つの多重化ストリームのみが記録される。多重化ストリームを形成する合成方法としては、時分割多重する方法、並びに所定時間例えば１ＧＯＰのデータ毎に並べるインターリーブする方法の何れかを使用できる。後述するように、この発明の一実施形態では、アフレコを行う場合に、プレイリストの情報に基づいて、既にサブパスが存在しているか否かを調べ、既にサブパスが存在している場合には、記録されているＡＵＸストリームと新たに記録するＡＵＸストリームとを多重化して、多重化ストリームを作成し、作成した多重化ストリームを記録するようになされる。
【００３７】
図９は、２個のサブパスがオーディオおよびグラフィックスストリームが多重化された１つの多重化ストリームを参照するプレイリストが記録され、このプレイリストにしたがって再生動作を行うことが可能なプレーヤシステムを示す。ディスク１１から２つのストリームが実質的に同時に再生される。
【００３８】
図９において、参照符号１２ａは、ディスク１１から読み取られたメインＡＶストリームが入力されるバッファメモリであり、参照符号１２ｂは、ディスク１１から読み取られたＡＵＸオーディオおよびグラフィックスストリーム（多重化ストリーム）が入力されるバッファメモリである。バッファメモリ１２ａおよび１２ｂのそれぞれの出力がデマルチプレクサ１３ａおよび１３ｂに入力され、パケットＩＤを参照してパケットへ分離される。デマルチプレクサ１３ａの出力がＡＶデコーダ１４ａで復号され、ビデオデータＶおよびオーディオデータＡ１が得られる。
【００３９】
デマルチプレクサ１３ｂは、多重化ストリームをオーディオストリームとグラフィックスストリームとに分離する。オーディオストリームがオーディオデコーダ１４ｂで復号され、オーディオデータＡ２が得られる。グラフィックスストリームがグラフィックスデコーダ１４ｃで復号され、グラフィックスデータＧが得られる。
【００４０】
各デコーダによって得られたビデオデータＶ、オーディオデータＡ１およびＡ２、並びにグラフィックスデータＧがオーディオMIX/select、ビデオMIXおよび同期制御部１５に供給され、ビデオ出力とオーディオ出力とが形成される。ビデオ出力は、例えば指定された再生時間においてアフレコされたタイトル画面が表示されるビデオ表示信号である。オーディオ出力は、指定された再生時間においてアフレコされたオーディオ信号がメインのオーディオ信号と混合またはメインのオーディオ信号に代えてアフレコオーディオ信号が選択されたものである。
【００４１】
プレーヤシステムでは、ディスク１１から先ずプレイリストの情報が再生され、プレイリストの情報が図示しない制御部に読み込まれる。プレイリストの情報は、図８を参照して説明したように、メインＡＶストリームの再生区間とサブの多重化ストリームの再生区間とを指定するものである。制御部は、プレイリストの情報にしたがって、オーディオMIX/select、ビデオMIXおよび同期制御部１５を制御する。それによって、プレイリストの情報にしたがって再生されたビデオ出力およびオーディオ出力が得られる。
【００４２】
図１０に概略的に示すような動作によって、ディスク１から２つのストリームを実質的に同時に再生することが可能である。図１０の例では、簡単のため、ストリームのデータレートが互いに等しいものと仮定している。最初のリードでメインＡＶストリームが例えば光学ヘッドによって再生され、再生されたメインＡＶストリームがバッファ１２ａに入力される。バッファ１２ａから再生されたメインＡＶストリームが出力される。
【００４３】
メインＡＶストリームのリードが終わると、次に多重化ストリーム（ＡＵＸオーディオおよびグラフィックスストリーム）の記録領域に読み取り位置がジャンプして、多重化ストリームが再生され、再生された多重化ストリームがバッファ１２ｂに入力される。バッファ１２ｂから再生された多重化ストリームが出力される。次に再びメインＡＶストリームの記録領域にジャンプして、メインＡＶストリームがリードされる。バッファ１２ａおよび１２ｂのそれぞれは、以前のリードで格納されたデータの読み出しが終了し、次のリードで読み出されたデータが格納される時には、殆ど空となっている。図１０の状態は、ゆとりがない厳しい状態を表している。このような２回のジャンプ動作を繰り返すことによって、２つのストリームを実質的に同時に再生できる。
【００４４】
図９では、多重化ストリームがディスク１１上で、物理的に連続した配置を持つように記録されている。しかしながら、ジャンプ動作が殆ど発生しなければ、連続した配置ではなく、断片的な配置でもって多重化ストリームがディスク１１上に記録されていても良い。
【００４５】
図１１は、サブパスが参照するストリームデータを記録するレコーダシステムの構成例を示す。ユーザがあるプレイリストに対してオーディオまたはグラフィックスのアフレコを行うことをレコーダに指示した場合、アフレコ用のオーディオまたはグラフィックスのデータがエンコーダ１６に供給され、エンコーダ１６によってアフレコ用のデータが符号化される。エンコーダ１６によって符号化されたストリームがマルチプレクサ１７に供給される。
【００４６】
レコーダは、アフレコに先立ってディスク１１からプレイリストの情報を再生し、制御部１９に読み込む。プレイリストの情報の読み取りは、電源オン時、ディスクの挿入時等のタイミングでなされ、読み取られたプレイリストの情報が制御部１９のメモリに保存される。制御部１９は、レコーダは、既にそのプレイリストがオーディオまたはグラフィックスのサブパスを持っているかどうかを調べる。若し、そのプレイリストがサブパスを持っている場合には、レコーダは、サブパスが参照しているストリームをディスク１１から読み出す。そして、読み出したストリームをデマルチプレクサ１８に供給する。デマルチプレクサ１８の出力がマルチプレクサ１７に供給される。マルチプレクサ１７は、デマルチプレクサ１８からのストリームとエンコーダ１６からのストリームとをトランスポートストリームに多重化する。マルチプレクサ１７からのトランスポートストリームがディスク１１に記録される。
【００４７】
一方、若し、そのプレイリストがサブパスを持っていない場合には、エンコーダ１６からのストリームをマルチプレクサ１７がトランスポートストリームに符号化し、マルチプレクサ１７から出力されるトランスポートストリームがディスク１１に記録される。アフレコ用のデータがディスク１１に記録された場合では、プレイリストの内容が書き換えられ、書き換えられたプレイリストの情報がディスク１１に記録される。
【００４８】
図１２は、サブパスが参照するストリームの記録方法の流れを示すフローチャートである。最初のステップＳ１０１において、アフレコ用のオーディオまたはグラフィックスのデータが入力され、エンコーダで符号化され、マルチプレクサにエンコーダからのストリームが入力される。
【００４９】
ステップＳ１０２において、レコーダは、アフレコしようとするプレイリストが既にオーディオまたはグラフィックスのサブパスを持っているかどうかを調べる。例えばレコーダは、予めディスク１１から記録に先立ってプレイリストの情報を読み取り、読み取ったプレイリストから既にサブパスを持っているかどうかを調べる。ステップＳ１０２の判定結果がyesの場合では、処理がステップＳ１０３に進み、判定結果がnoの場合では、処理がステップＳ１０５に進む。
【００５０】
ステップＳ１０３では、プレイリストが既に持っているサブパスが参照するＡＵＸストリームをディスクから読み出す。
【００５１】
ステップＳ１０４では、読み出したＡＵＸストリームと、今回アフレコするストリームとを多重化して新たなＡＵＸストリームを作成する。
【００５２】
そして、ステップＳ１０６において、新たに作成したＡＵＸストリームを記録媒体に記録する。
【００５３】
ステップＳ１０２の判定結果がnoの場合、すなわち、そのプレイリストがサブパスを持っていない場合には、今回アフレコするストリームを用いてＡＵＸストリームを作成する。そして、ステップＳ１０６において、作成したＡＵＸストリームを記録媒体に記録する。
【００５４】
図１３は、メインパスとサブパスを有するプレイリストにしたがってなされる再生方法の流れを示すフローチャートである。ステップＳ２０１において、メインパスが参照するストリームを記録媒体から読み出して、読み出したストリームを復号する。
【００５５】
ステップＳ２０２において、サブパスが参照するストリームを記録媒体から読み出して、読み出したストリームを復号する。
【００５６】
ステップＳ２０３において、メインパスとサブパスの同期再生を行う。
【００５７】
この発明は、上述した一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、ＢＤＡＶ以外のフォーマットのプレイリストに対しても適用できる。例えばこの発明は、QuickTime（商標）に対しても適用可能である。QuickTime（商標）は、ビデオ、オーディオ等の各種データを時間軸に沿って管理するソフトウェアであり、特殊なハードウェアを用いずに動画や音声やテキストなどを同期して再生するためのＯＳ拡張機能である。
【００５８】
【発明の効果】
この発明では、同時に再生される複数のサブプレイアイテムが参照する各ストリームデータを多重化して記録するので、サブプレイアイテムの数が増えても、予めメインＡＶストリームの符号化ビットレートを低く制限する必要がないので、ビデオ等の符号化画質を高めることができる。サブプレイアイテムの数を制限する必要がないので、例えばオーディオのサブパスを付加した後に、さらにグラフィックスのサブパスを付加することができなくなる問題が生じない。単にストリームの数の増加を抑えるのであれば、メインストリームにアフレコ用ストリームを多重化することも考えられるが、通常メインストリームのデータ量が多く、書き換えが大変となり、また、メインストリームを他のプレイリストが参照していることもあるので、メインストリームにアフレコ用ストリームを多重化することは不都合が生じる。
【図面の簡単な説明】
【図１】先に提案されている再生制御情報としてのプレイリストを説明するための略線図である。
【図２】アセンブル編集を行った場合のプレイリストの作成方法を説明するための略線図である。
【図３】アフレコを行った場合のプレイリストを説明するための略線図である。
【図４】サブパスにオーディオとグラフィックスの２個のストリームを使用する従来のプレイリストを説明するための略線図である。
【図５】サブパスにオーディオとグラフィックスの２個のストリームを使用する従来のプレイリストを再生するためのプレーヤシステムのブロック図である。
【図６】従来の３個のストリームを同時再生するプレーヤのモデルの説明のための略線図である。
【図７】従来のアフレコを行うレコーダの一例のブロック図である。
【図８】サブパスにオーディオとグラフィックスの２個のストリームを使用するこの発明によるプレイリストを説明するための略線図である。
【図９】サブパスにオーディオとグラフィックスの２個のストリームを使用するこの発明によるプレイリストを再生するためのプレーヤシステムのブロック図である。
【図１０】この発明による２個のストリームを同時再生するプレーヤのモデルの説明のための略線図である。
【図１１】この発明によりアフレコを行うレコーダの一例のブロック図である。
【図１２】この発明によりアフレコを行う方法の処理の流れを示すフローチャートである。
【図１３】この発明によりメインパスとサブパスの再生方法の処理の流れを示すフローチャートである。
【符号の説明】
１１・・・ディスク、１２ａ，１２ｂ・・・バッファ、１３ａ，１３ｂ，１８・・・デマルチプレクサ、１７・・・マルチプレクサ、１９・・・制御部
Claims (10)
- メインオーディオビデオストリームと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、上記オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置において、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定手段と、
入力されたサブデータストリームから第２のサブデータストリームを生成する符号化手段と、
上記判定手段が、上記第１のサブデータストリームが記録されていないと判定した場合には、上記符号化手段で生成された上記第２のサブデータストリームを記録媒体に記録するとともに、上記判定手段が、上記第１のサブデータストリームが記録されていると判定した場合には、上記第１のサブデータストリームと上記符号化手段で生成される上記第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成手段と、
上記生成された新たなサブデータストリームを記録媒体に記録する手段と
を有する情報処理装置。 - 請求項１において、
上記再生制御情報は、メインオーディオビデオストリームの選択された再生区間を指示するメインパスと、上記第１のサブデータストリームの再生区間を指示するサブパスとからなる情報処理装置。 - 請求項２において、
上記判定手段は、上記メインパスが所定数の上記サブパスを持っているかどうかを判定するようにした情報処理装置。 - 請求項２において、
上記新たなサブデータストリームを記録媒体に記録する時に、上記新たなサブデータストリームの再生区間を指示する２以上の上記サブパスを有する上記再生制御情報を記録するようにした情報処理装置。 - メインオーディオビデオストリームと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、上記オーディオビデオストリームと同時に再生されるサブデータストリームを記録する情報処理方法において、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、
上記判定ステップが、上記第１のサブデータストリームが記録されていないと判定した場合には、上記符号化ステップで生成された上記第２のサブデータストリームを記録媒体に記録するとともに、上記判定ステップが、上記第１のサブデータストリームが記録されていると判定した場合には、上記第１のサブデータストリームと上記符号化ステップで生成される上記第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、
上記生成された新たなサブデータストリームを記録媒体に記録するステップと
からなる情報処理方法。 - 請求項５において、
上記再生制御情報は、メインオーディオビデオストリームの選択された再生区間を指示するメインパスと、上記第１のサブデータストリームの再生区間を指示するサブパスとからなる情報処理方法。 - 請求項６において、
上記判定ステップは、上記メインパスが所定数の上記サブパスを持っているかどうかを判定するようにした情報処理方法。 - 請求項５において、
上記新たなサブデータストリームを記録媒体に記録する時に、上記新たなサブデータストリームの再生区間を指示する２以上の上記サブパスを有する上記再生制御情報を記録するようにした情報処理方法。 - メインオーディオビデオストリームと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、上記オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置のプログラムにおいて、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、
上記判定ステップが、上記第１のサブデータストリームが記録されていないと判定した場合には、上記符号化ステップで生成された上記第２のサブデータストリームを記録媒体に記録するとともに、上記判定ステップが、上記第１のサブデータストリームが記録されていると判定した場合には、上記第１のサブデータストリームと上記符号化ステップで生成される上記第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、
上記生成された新たなサブデータストリームを記録媒体に記録するステップと
からなる情報処理装置のプログラム。 - メインオーディオビデオストリームと共に、上記メインオーディオビデオストリームの再生を制御する再生制御情報が記録された記録媒体に対して、上記オーディオビデオストリームと同期して再生されるサブデータストリームを記録する情報処理装置のプログラムにおいて、
上記再生制御情報を記録媒体から読み取り、読み取られた再生制御情報から記録媒体上に上記オーディオビデオストリームと同期して再生される第１のサブデータストリームが既に記録されているか否かを判定する判定ステップと、
入力されたサブデータストリームから第２のサブデータストリームを生成する符号化ステップと、
上記判定ステップが、上記第１のサブデータストリームが記録されていないと判定した場合には、上記符号化ステップで生成された上記第２のサブデータストリームを記録媒体に記録するとともに、上記判定ステップが、上記第１のサブデータストリームが記録されていると判定した場合には、上記第１のサブデータストリームと上記符号化ステップで生成される上記第２のサブデータストリームとを多重化して新たなサブデータストリームを生成する生成ステップと、
上記生成された新たなサブデータストリームを記録媒体に記録するステップと
からなるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277604A JP4348920B2 (ja) | 2002-09-24 | 2002-09-24 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277604A JP4348920B2 (ja) | 2002-09-24 | 2002-09-24 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004120099A JP2004120099A (ja) | 2004-04-15 |
| JP2004120099A5 JP2004120099A5 (ja) | 2005-11-04 |
| JP4348920B2 true JP4348920B2 (ja) | 2009-10-21 |
Family
ID=32273158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002277604A Expired - Fee Related JP4348920B2 (ja) | 2002-09-24 | 2002-09-24 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4348920B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3895305B2 (ja) | 2003-06-06 | 2007-03-22 | シャープ株式会社 | データ記録方法、データ記録装置、およびデータ記録媒体 |
| KR20050049924A (ko) * | 2003-11-24 | 2005-05-27 | 엘지전자 주식회사 | 고밀도 광디스크의 플레이리스트 구성방법, 관리방법 및재생방법과 기록재생장치 |
| EP1873773B1 (en) * | 2005-04-07 | 2011-11-30 | Panasonic Corporation | Recording medium, reproducing device, recording method and reproducing method |
| JP4923751B2 (ja) | 2005-08-30 | 2012-04-25 | ソニー株式会社 | 再生装置、並びに記録媒体及びその製造方法 |
| JP5234144B2 (ja) * | 2005-08-30 | 2013-07-10 | ソニー株式会社 | 再生装置、並びに記録媒体及びその製造方法 |
| JP5381297B2 (ja) * | 2009-04-30 | 2014-01-08 | ソニー株式会社 | 情報処理装置及び編集方法 |
-
2002
- 2002-09-24 JP JP2002277604A patent/JP4348920B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004120099A (ja) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3130522B2 (ja) | 光ディスク記録装置、光ディスク記録方法及びプログラム記録媒体 | |
| JP4864203B2 (ja) | 符号化されたａｖ系列のフレームの正確な編集 | |
| KR100470407B1 (ko) | 복수영상정보의이음부없는재생을가능하게하는정보기록디스크저장용비트스트림의생성장치,생성방법,생성장치에적용되는프로그램을기록한기록매체 | |
| JP4299836B2 (ja) | データ処理装置 | |
| JP3997367B2 (ja) | 記録再生装置および方法、並びに記録媒体 | |
| JP4165895B2 (ja) | 記録された静止映像の再生を管理するためのデータ構造を有する記録媒体、それによる記録と再生の方法及び装置 | |
| US20070031112A1 (en) | Fast generation of a personalized DVD from a common template | |
| US8116615B2 (en) | Information processing apparatus, information processing method, program storage medium, and program | |
| JP4592685B2 (ja) | 静止画像とオーディオデータを再生および記録する方法および装置、ならびに静止画像およびオーディオデータの再生を管理するデータ構造を有する記録媒体 | |
| JPWO2005015907A1 (ja) | データ処理装置 | |
| US6714721B2 (en) | Changing a playback speed for video presentation recorded in a non-progressive frame structure format | |
| JP2006073173A (ja) | 情報記録再生装置及び方法 | |
| JP4348920B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| JP2000021130A (ja) | 情報処理装置および方法、記録媒体、並びに提供媒体 | |
| JP4297141B2 (ja) | 情報処理装置および方法、並びにプログラム | |
| WO2001009892A1 (fr) | Procede, support et dispositif d'enregistrement | |
| KR100625406B1 (ko) | 데이터 처리 장치 | |
| KR100633805B1 (ko) | 음성/영상 정보 기록 재생 장치 및 방법, 및 음성/영상정보 기록 재생 장치 및 방법을 이용하여 정보가 기록된기록 매체 | |
| JP4135109B2 (ja) | 記録装置および記録方法、並びに記録媒体 | |
| JP4312783B2 (ja) | Ａｖデータ再生方法、ａｖデータ再生装置、プログラム、並びに記録媒体 | |
| JP4255796B2 (ja) | データ記録装置、データ記録方法、データ記録プログラム、および該プログラムを記録した記録媒体 | |
| JP4739179B2 (ja) | 記録された静止映像の再生を管理するためのデータ構造を有する記録媒体、それによる記録と再生の方法及び装置 | |
| JP2007128641A (ja) | 情報処理装置、情報処理方法及びプログラム、記録媒体、並びにデータ構造 | |
| WO2002065768A1 (fr) | Appareil d'enregistrement d'informations audio/video et procede d'edition | |
| JP2007250180A (ja) | 記録再生装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090713 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |