JP3906795B2

JP3906795B2 - Information processing apparatus, information processing method, and program

Info

Publication number: JP3906795B2
Application number: JP2002367236A
Authority: JP
Inventors: 元樹加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2007-04-18
Anticipated expiration: 2022-12-18
Also published as: JP2004201034A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ及びこれに付随する例えば字幕やグラフィクス等のデータを例えばＤＶＤ等の記録媒体に記録する情報記録装置及びその方法、そのような記録媒体からデータを読み出し再生する情報再生装置及び方法、並びにプログラムに関する。
【０００２】
【従来の技術】
DVDビデオのフォーマットは、映画などのビデオ信号とそれに付随するサブタイトル（字幕）信号を別々に記録することができる。ビデオ信号は、MPEG2（Moving Picture Experts Group 2）ビデオストリームに符号化され、サブタイトル信号は文字をビットマップ化した信号をサブピクチャ(Sub picture)と呼ばれるデータに符号化する。MPEG2ビデオストリームとサブピクチャは、MPEG2プログラムストリームに多重化されて、DVDディスク記録される。ビデオとそれに付随するサブタイトルは、PTS(Presentation Time Stamp)に基づいて、同期再生される。また、DVDビデオの再生において、任意の再生時刻へランダムアクセスする場合でも、その時刻のビデオとそれに同期再生されるサブピクチャ（サブタイトル）を読み出すことができる。
【０００３】
従来のDVDビデオのプログラムストリームは、VOBU(Video Object Unit)を単位とする構造を有し、このような従来のDVDのデータの構造については、例えば下記特許文献１等に記載されている。図１４（ａ）及び図１４（ｂ）は、従来のＤＶＤビデオのプログラムストリームの構造を示す模式図である。DVDビデオのプログラムストリームは、VOBS（Video Object Set）単位で管理され、これが例えば映画１作品等の単位となる。このVOBSは、複数のVideo Object（VOB）から構成されている。このVOBは、各データがディスク上に１群として記録されている単位である。このVOBは、複数のCellで構成され、これが例えば映画における１シーンや１カット等の単位となる。更に、このCellが複数の図１４（ａ）に示すVOBU(Video Object Unit)により構成され、このVOBUは、動画像で0.4〜1.2秒の単位であり、このVOBU中にMPEG２フォーマットにおける１以上のGOP（Group of Picture）が含まれている。
【０００４】
VOBUは、このVOBUの管理情報を有するパックである図１４（ｂ）に示すNavigation pack（N_PCK）を有し、このNavigation packが各VOBUの先頭に配置される。Navigation packは、VOBU_SRI（VOBU Search Information）とSP_SYNCAを有し、VOBU_SRIは、当該VOBU_SRIを含むVOBUの再生時刻の前後Ｎ秒（Ｎは整数）に再生されるVOBUの先頭アドレスを有する。また、SP_SYNCAは、当該SP_SYNCAを含むVOBUのビデオと同期して再生されるサブピクチャのアドレス情報を有する。映画等を再生する場合に、予めこのNavigation packを読み込み、Navigation packが示す管理情報に基づき再生を行うことができる。
【０００５】
このような構成のDVDビデオにおいて、ランダムアクセス時のビデオとそれに同期再生されるサブタイトルの読み出し動作は、以下のようになる。
【０００６】
即ち、先ず、あるNavigation packのVOBU_SRIを参照して、ビデオのアクセス点のVOBUのアドレスを決定する。
【０００７】
次に、上記VOBUのアドレスのNavigation packをディスクから読み出す。そして、当該のNavigation pack のSP_SYNCAをプレーヤ（再生装置）のホストCPUが解析し、サブタイトルのアクセス点のアドレスを決定する。最後に、上記のアクセス点のアドレスのサブタイトルをディスクから読み出す。
【０００８】
【特許文献１】
特開平１０−２７１４４４号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、このような従来のDVDビデオの場合、サブタイトルのアドレス情報がMPEGプログラムストリームに埋めこまれているため、ランダムアクセス時にサブタイトルを読み出すのに時間がかかる。すなわち、サブタイトルの読み出しアドレスを決定する時に、ディスクからストリームデータを読み出して、そのデータをプレーヤのホストCPUが解析し、その上で、サブタイトルのアクセス点のアドレスを決定するため、ランダムアクセス時のサブタイトルの読出処理に時間がかかるという問題点がある。
【００１０】
本発明は、このような従来の問題点に鑑みて提案されたものであり、ランダムアクセス時に、ビデオとこれに同期再生されるサブタイトル等の副再生情報の読み出しアドレス決定のプロセスを迅速に行うことが可能な構造を有するデータを記録再生処理する情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明に係る情報処理装置は、少なくともビデオ情報と該ビデオ情報の再生に同期して再生される副再生情報とを有するストリームデータと共に、該ビデオ情報のアクセスポイントにおける再生開始時刻を示すプレゼンテーションタイムスタンプと上記ストリームデータ中のアドレスとの対応関係が記述されたビデオ用テーブルと、該アクセスポイントにおけるビデオ情報と同期して再生される上記副再生情報のアドレス及び該副再生情報の各再生区間が記述された副再生情報用テーブルとが記録された記録媒体から、ランダムアクセスされた位置のプレゼンテーションタイムスタンプのビデオ情報及び副再生情報を再生する再生手段と、上記ビデオ用テーブル及び副再生情報用テーブルを参照して上記再生手段を制御する制御手段とを有し、上記ビデオ用テーブルは、上記ストリームデータ中の各フレーム内符号化画像のプレゼンテーションタイムスタンプ、並びに各フレーム内符号化画像が開始及び終了するアドレスを示す情報を有し、上記制御手段は、上記副再生情報用テーブルの再生区間内に上記ランダムアクセスされた位置のプレゼンテーションタイムスタンプを含む副再生情報を再生すると共に、上記ランダムアクセスされた位置のプレゼンテーションタイムスタンプに最も近い過去のフレーム内符号化画像を再生するよう上記再生手段を制御することを特徴とする。
【００１６】
本発明においては、ストリームデータとは別に、上記ビデオ用テーブル、及び副再生情報用テーブルが記録されているため、ランダムアクセス再生を行う際には、副再生情報用テーブルからランダムアクセスされた位置のプレゼンテーションタイムを含む副再生情報を特定してそのアドレスを取得し、また、ランダムアクセスされたビデオのアドレスをビデオ用テーブルから取得して速やかに再生することができる。
【００１７】
本発明に係る情報処理装置は、少なくともビデオ情報と該ビデオ情報の再生に同期して再生される副再生情報とを有するストリームデータから、上記ビデオ情報及び上記副再生情報に関する付属情報を作成する付属情報作成手段と、上記ストリームデータを上記付属情報作成手段にて作成された付属情報と共に記録媒体に記録する記録手段と、上記記録媒体から、ランダムアクセスされた位置のプレゼンテーションタイムスタンプのビデオ情報及び副再生情報を再生する再生手段と、上記付属情報を参照して上記再生手段を制御する制御手段とを備え、上記付属情報作成手段は、上記ビデオ情報のアクセスポイントにおける再生開始時刻を示すプレゼンテーションタイムスタンプと上記ストリームデータ中のアドレスとの対応関係が記述されたビデオ用テーブルと、該アクセスポイントにおけるビデオ情報と同期して再生される上記副再生情報のアドレス及び該副再生情報の各再生区間が記述された副再生情報用テーブルとを作成し、上記ビデオ用テーブルは、上記ストリームデータ中の各フレーム内符号化画像のプレゼンテーションタイムスタンプ、並びに各フレーム内符号化画像が開始及び終了するアドレスを示す情報を有し、上記制御手段は、上記ビデオ用テーブル及び副再生情報用テーブルを参照し、上記副再生情報用テーブルの再生区間内に上記ランダムアクセスされた位置のプレゼンテーションタイムスタンプを含む副再生情報を検索し、当該副再生情報を該アクセスポイントにおけるビデオ情報と共に再生すると共に、上記ランダムアクセスされた位置のプレゼンテーションタイムスタンプに最も近い過去のフレーム内符号化画像を再生するよう制御することを特徴とする。
【００１８】
本発明においては、ストリームデータの付属情報をストリームデータとは別に記録するため、付属情報のみを参照して目的のビデオ及び副再生情報のアドレスを得ることができ、これをランダムアクセス再生する際の処理が高速化する。
【００１９】
また、本発明に係るプログラムは、上述した情報処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのような処理により得られたデータが記録されたコンピュータ読み取り可能なものである。
【００２０】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、DVDビデオを記録する記録装置及びその記録装置で記録されたDVDを再生する再生装置としての情報処理装置に適用したものである。
【００２１】
図１は、本実施の形態における情報処理装置を示すブロック図である。図１に示すように、記録媒体にデータを記録する情報処理装置１は、入力されたアナログのビデオ信号及びアナログのオーディオ信号を符号化し、夫々符号化ビデオストリーム（V）及び符号化オーディオストリーム（A）を生成するAVエンコーダ２と、ビデオ信号の再生に同期して再生されデータ毎の再生時間が任意に設定可能な例えばサブタイトル（字幕）等の副再生情報であるサブタイトル信号（副再生情報）が供給されこれを符号化して符号化サブタイトルストリーム（S）を生成するサブタイトルエンコーダ３と、これら符号化ビデオストリーム（V）、符号化オーディオストリーム（A）及び符号化サブタイトルストリーム（S）を多重化してAVストリームを生成するマルチプレクサ４と、マルチプレクサからのAVストリームを一時保存するバッファ５と、AVストリームから、ビデオ及び副再生情報に関する付属情報であるClip Informationとして後述するEP_map等を作成するホスト制御部６と、AVストリームのECC（誤り訂正）処理を行うECCエンコーダ（符号化器）７と、そのAVストリームの変調を行う変調部（Modulator）８と、上記AVストリーム及びEP_map等の付属情報を記録媒体（メディア）に記録する記録部（ドライバ）９とから構成される。
【００２２】
AVエンコーダ２で生成される符号化ビデオストリーム（V）は、例えば、MPEG２方式により符号化されたビデオストリームであり、符号化オーディオストリームは、例えば、MPEG１方式により符号化されたオーディオストリームや、ドルビーAC3方式により符号化されたオーディオストリーム等である。
【００２３】
また、サブタイトルエンコーダ３にて符号化されるサブタイトルは、ビデオ信号と同期再生されるものであって、異なる再生期間を有する例えば字幕、静止画、又は上記ビデオ信号に重ねて表示される図形等を示すものである。サブタイトル信号は文字をビットマップ化した信号をサブピクチャ(Sub picture)と呼ばれるデータに符号化する。
【００２４】
マルチプレクサ（多重化器）４は、入力されたビデオストリーム、オーディオストリーム及びサブピクチャから、入力システム情報に基づいて多重化した多重化ストリームを生成する。即ち、上述のMPEG2ビデオストリームとサブピクチャは、例えばMPEG2トランスポートストリームやMPEG2プログラムストリームに多重化される。
【００２５】
そして、バッファ５等により、この多重化ストリームを、そのストリームを記録させる記録媒体のアプリケーションフォーマットに従って、所定の形式の後述するソースパケットから構成されるAVストリームとする。
【００２６】
制御部６は、AVストリームを解析して、符号化ビデオストリームに関する後述するビデオ用テーブルと、符号化サブタイトルストリームに関する副再生情報用テーブルとを含む付属情報を作成する。
【００２７】
付属情報には、具体的には、AVストリームの符号化情報に関係する情報、例えば、AVストリーム中でのアクセスポイントである各フレーム内符号化画像（以下、Ｉピクチャという。）の開始時刻を示すプレゼンテーションタイム（Presentation Time Stamp（PTS））と各Ｉピクチャが開始するアドレスを示す情報との対応関係が記述されたビデオ用テーブル（以下、ビデオ用EP_mapという。）、及び上記アクセスポイントにおけるビデオ情報と同期して再生される副再生情報のアドレス等が記述された副再生情報用テーブル等がある。副再生情報用テーブルには、AVストリーム中での各サブタイトル（１ページ分のサブタイトルデータ）の開始時刻を示すプレゼンテーションタイムと各サブタイトルが開始及び終了するアドレスとの対応関係が記述された副再生情報アドレス検索テーブル（以下、サブタイトル用EP_mapという。）と、AVストリーム中で各サブタイトルの再生区間を示す副再生情報再生用テーブル（以下、ClipMarkという。）とが含まれる。
【００２８】
記録部９は、ECC（誤り訂正）エンコーダ７、変調部８で所定の処理が施されたAVストリームファイルと共に、そのファイルを説明するEP_map等の付属情報（Clip Information）もAVストリームと同様に、ECCエンコーダ７、変調部８で所定の処理がなされて、記録媒体に記録する。
【００２９】
ここで、上述の記録媒体に記録されるデータについて詳細に説明する。本実施の形態においては、ビデオとサブタイトルとを多重化して、１つのAVストリームとし、このAVストリームとその付属情報とを別々のファイルに記録する。付属情報には、上述したように、ビデオ用及びサブタイトル用のEP_mapとClipMarkとが含まれる。
【００３０】
ビデオ用及びサブタイトル用EP_mapは、AVストリームの中で、夫々ビデオの各Ｉピクチャ及び各サブタイトルの開始時刻を示すプレゼンテーションタイムPTS、並びにそれが開始及び終了するアクセス最小単位（ソースパケット）のアドレスとの対応関係が記述されたテーブルである。また、ClipMarkは、AVストリームの中で各サブタイルの再生開始する時刻（プレゼンテーションタイム）と、その持続時間（１つのサブタイトルが画面に表示されてから、消えるまでの時間区間）とが記述されたテーブルである。
【００３１】
本実施の形態における情報処理装置は、ランダムアクセス再生する際、このような情報を有するClip Information（EP_map及びClipMark）を使用して、ランダムアクセス時刻のビデオに同期して表示されるサブタイトルの読み出しアドレスを迅速に決定するためのデータの記録及び／又は再生を行うものである。
【００３２】
先ず、記録媒体上のアプリケーションフォーマットについて説明する。図２は、本実施の形態における記録媒体上のアプリケーションフォーマットの構造を簡単化して示す図である。アプリケーションフォーマットは、AVストリームの管理のためにPlayListとClipとからなる２つのレイヤをもつ。
【００３３】
ユーザは、PlayListレイヤのみを参照することができ、PlayListレイヤののPlayListを使用して、ビデオ及びオーディオ等のデータを再生、編集することができる。一方、Clipレイヤは、PlayListにより指定されたAVストリームをプレーヤが再生する際に使用するものである。ここでは、１つのAVストリームとそのAVストリームの付属情報であるのペアを１つのオブジェクトとし、それをClipと呼ばれる単位で管理する。上述したAVストリームファイルは、Clip AVストリームファイルと呼ばれ、その付属情報は、Clip Information fileと呼ばれ、別々に記録媒体に記録される。このようなデータの構成については、本願発明者等が先に出願した特願２００１−９１８３０に記載されている。ここで、本実施の形態においては、ビデオとサブタイトルを多重化して、１つのClip AVストリームとする。
【００３４】
一般に、コンピュータ等で用いるデータファイルは、バイト列として扱われるが、Clip AVストリームファイルのコンテンツは、時間軸上に展開され、PlayListは、Clipの中のアクセスポイントを主にタイムスタンプ（PTS）で指定する。PlayListが、Clipの中へのアクセスポイントをタイムスタンプ（PTS）で指し示している時、Clip Information fileは、Clip AVストリームファイルの中でストリームのデコードを開始すべきアドレス情報を見つけるために役立つ。
【００３５】
PlayListは、Clipの中の再生区間の集まりであり、あるClipの中の１つの再生区間は、PlayItemと呼ばれ、それは、時間軸上のIN点とOUT点のペアで表される。それゆえ、PlayListは、PlayItemの集まりである。
【００３６】
このPlayListには、２つのタイプがある。１つは、Real PlayListであり、もう１つは、Virtual PlayListである。Real PlayListは、それが参照しているClipのストリーム部分を共有しているとみなされる。すなわち、Real PlayListは、それの参照しているClipのストリーム部分に相当するデータ容量をディスクの中で占める。AVストリームが新しいClipとして記録される場合、そのClip全体の再生可能範囲を参照するReal PlayListが自動的に作られる。Real PlayListの再生範囲の一部分が消去された場合、それが参照しているClipのストリーム部分もまたデータが消去される。Virtual PlayListは、Clipのデータを共有していないとみなされる。Virtual PlayListが変更または消去されたとしても、Clipは何も変化しない。なお、以下の説明においては、Real PlayListとVirtual PlayListを総称して単に、PlayListという。
【００３７】
次に、本実施の形態における記録媒体上のAVストリームについて説明する。図３は、本実施の形態におけるAVストリームのデータ構成を示す図である。本実施の形態におけるAVストリーム１００は、BDAV MPEG2トランスポートストリームの構造を有する。BDAV MPEG2トランスポートストリームは、整数個のAligned unit１０１_ｎから構成される。Aligned unit１０１_ｎの大きさは、６１４４バイト(2048×3バイト)である。１つのAligned unitは、３２個のソースパケット１０２_１〜１０２_３２から成り、ソースパケット１０２_１の第１バイト目から始まる。
【００３８】
各ソースパケット１０２_ｎは、１９２バイト長である。１つのソースパケットは、TP_extra_header１０３ａとトランスポートパケット１０３ｂとから成り、TP_extra_header１０３ａは、４バイト長であり、またトランスポートパケット１０３ｂは、１８８バイト長である。このソースパケット１０２_ｎが、アクセス最小単位となる。１枚のＩピクチャ及び１つのサブタイトルを示すデータは、複数のソースパケットから構成される。
【００３９】
次に、Clip Information fileについて説明する。上述したように、本実施の形態における情報記録装置１では、ビデオとサブタイトルを多重化して、１つのClip AVストリームとし、このClip AVストリームとそのClip Information fileを別々のファイルに記録する。Clip Information fileは、EP_mapとClipMarkとを有している。
【００４０】
先ず、Clip Information fileのEP_mapについて説明する。図４は、EP_mapとClip AVストリームとの関係を説明する図である。図４に示すように、EP_mapは、Clipの中のアクセスポイントをタイムスタンプ（PTS）で指定されたときに、Clip AVストリームファイルの中でストリームのデコードを開始すべきアドレス情報を見つけるために役立つ。即ち、EP_mapは、上述したPlayListで示される時間軸上のIN点及びOUT点に対応するアドレスを示すテーブルであり、PlayList等のプレゼンテーションタイムスタンプPTSをこれに対応するアドレスに変換するために使用される。これにより、Clip AVストリームから該当するデータを選択して読み出すことができる。EP_mapの種類には、上述したように、ビデオ用とサブタイトル用とがある。
【００４１】
図５は、ビデオ用EP_mapの構造を説明する図であって、図５（ａ）は、Clip AVストリームにおけるプレゼンテーションタイムPSTの位置を説明する図、図５（ｂ）は、図５（ａ）に示すClip AVストリームの一部を拡大して示す図、図５（ｃ）は、ビデオ用EP_mapのデータ構造を示す図である。
【００４２】
ビデオ用EP_mapは、Clip AVストリームの中で各ＩピクチャのプレゼンテーションタイムPTS（PTS_EP_start）と、そのＩピクチャの開始位置のアドレスを示す情報（SPN_EP_start）と、Ｉピクチャの終了位置のアドレスを示す情報（Subtitle_end_position_offset）とが記述されたテーブルである。１枚のＩピクチャを示すデータは、上述したように、複数のソースパケットから構成されるため、ビデオ用EP_mapは、Ｉピクチャのアドレスを示す情報として、１枚のＩピクチャを構成する複数のソースパケットの先頭のソースパケットを示すアドレスと、Ｉピクチャの最終データが記録されているソースパケットのアドレスを示す情報とが記述される。
【００４３】
ここで、アドレスの表現として、ソースパケット番号(SPN: Source Packet Number)を使用することができる。このソースパケット番号SPNは、Clip AVストリーム内の全てのソースパケットに一連の番号を付したものである。ソースパケット番号SPNは、Clip AVストリームの中で、最初のソースパケットをソースパケット番号SPN＝０（ゼロ）とし、その次のソースパケットのソースパケット番号SPN＝１とし、以後、次のパケット毎にソースパケット番号SPNは１ずつ増加するものとする。従って、ビデオ用EP_mapのSPN_EP_startとしては、ソースパケット番号SPNが記述される。
【００４４】
また、I_end_position_offsetは、各Ｉピクチャの最初のデータがあるソースパケットから、そのＩピクチャの最終データがあるソースパケットまでのデータ量を示す情報であり、これにより、最終データが存在するソースパケットのアドレスを特定することができる。
【００４５】
即ち、図６に示すように、あるＩピクチャのデータを読み出すときには、そのＩピクチャが記述された先頭のソースパケットであるSPN_EP_startから読み出しを開始して、I_end_position_offsetで示される量のデータを読み出せばよい。
【００４６】
また、ここでは、ビデオ用EP_mapについて説明したが、Clip Information fileには、ビデオ用のEP_mapの他にオーディオストリーム用のEP_mapも含まれる。
上記特願２００１−１５８９７２に記載されているように、例えばEP_mapの中にEP_map_type等を設け、このEP_map_typeに、ビデオ用かオーディオ用か、又は後述するサブタイトル用かのEP_mapのタイプを記述して区別することができる。ここで、Clipが１つ以上のビデオストリームを含む場合、ビデオストリーム用のEP_mapが使用される。また、Clipがビデオストリームを含まず、１つ以上のオーディオストリームを含む場合、オーディオストリーム用のEP_mapが使用される。
【００４７】
次に、サブタイトル用EP_mapについて説明する。図７は、サブタイトル用EP_mapの構造を説明する図であって、図７（ａ）は、Clip AVストリームにおけるプレゼンテーションタイムPSTの位置を説明する図、図７（ｂ）は、図７（ａ）に示すClip AVストリームの一部を拡大して示す図、図７（ｃ）は、サブタイトルEP_mapのデータ構造を示す図である。
【００４８】
サブタイトル用EP_mapは、Clip AVストリームに含まれる各サブタイトル（１ページ分のサブタイトルデータ）のプレゼンテーションタイムPTS（PTS_EP_start）と、そのサブタイトルが開始するアドレス（SPN_EP_start）、及び終了するアドレスを示す情報（Subtitle_end_position_offset）とが記述されたテーブルである。即ち、１つのサブタイトルは、上述したように、複数のソースパケットから構成されるため、サブタイトル用EP_mapは、サブタイトルの開始位置及び終了位置におけるアドレスを示す情報として、１つのサブタイトルを構成する複数のソースパケットの先頭のソースパケット番号と、そのサブタイトルの最終データが記述されるソースパケットのアドレスを示す情報とが記述されている。
【００４９】
Subtitle_end_position_offsetは、各サブタイトルの最初のデータがあるソースパケットから、そのサブタイトルの最終データがあるソースパケットまでのデータ量を示す情報であり、これにより、最終データが存在するソースパケットのアドレス（ソースパケット番号SPN）を特定することができる。
【００５０】
即ち、ビデオの場合と同様に、図８に示すように、あるサブタイトルのデータを読み出すときには、そのサブタイトルが記述された先頭のソースパケットであるSPN_EP_startから読み出しを開始して、Subtitle_end_position_offsetで示される量のデータを読み出せばよい。
【００５１】
次に、Clip Information fileのClipMarkについて説明する。図９は、ClipMarkと、Clip AVストリームとの関係を説明する図である。図９に示すように、このClipMarkは、Clip AVストリームにおける各サブタイルの再生時間（区間）を示すものである。ここで、再生時間とは、サブタイトルが画面に表示されてから、それが画面から消えるまでの時間区間（継続時間）である。このClipMarkは、具体的には、Clip AVストリームのプレゼンテーションタイムPTSの時間軸上の各サブタイルの再生が開始する時刻(Subtitle_start_time)と、再生時間（持続時間）(duration)を示すものである。後述する再生装置において、ランダムアクセス再生する時には、上述のビデオ用EP_map及びサブタイトル用EP_mapとClipMarkとを使用して、ランダムアクセス時刻のビデオに同期して表示されるサブタイトルの読み出しアドレスを決定し、再生することができる。
【００５２】
なお、本実施の形態においては、サブタイトル用EP_mapとClipMarkとを別々のファイルとして作成するものとしたが、サブタイトル用EP_mapに、サブタイトルの再生区間を示す上述のClipMarkの情報を持たせるようにしてもよい。
【００５３】
次に、このようなデータを記録する上述した図１に示す情報記録装置の記録動作について説明する。図１０は、情報記録装置の記録動作方法を示すフローチャートである。図１０に示すように、先ず、ビデオデータとオーディオデータとがAVエンコーダ２へ入力され、符号化される（ステップＳ１）。また、サブタイトルデータがサブタイトルエンコーダ３へ入力され、符号化される（ステップＳ２）。そして、AVエンコーダ２で生成された符号化ビデオストリーム（V）及び符号化オーディオストリーム（A）と、サブタイトルエンコーダ３で生成された符号化サブタイトルストリーム（S）とがマルチプレクサ４に供給され、多重化されパケット化されてAVストリームが作成される（ステップＳ３）。即ち、多重化された多重化ストリームを、ストリームを記録させる記録媒体のアプリケーションフォーマットに従ってパケット化され、ソースパケットから構成されるAVストリームが生成される。
【００５４】
生成されたAVストリームは、ホスト制御部６に供給され、制御部６が、AVストリームを解析して、このAVストリームについてのEP_map及びClipMarkを作成する（ステップＳ４）。即ち、トランスポートストリームの中で、各ＩピクチャのプレゼンテーションタイムPTSとそのＩピクチャが開始するアドレス（ソースパケット番号）及びそのＩピクチャが終了するアドレスを検出し、それらのデータをテーブル化してビデオ用EP_mapを作成する。また、トランスポートストリームの中で、各サブタイトルのプレゼンテーションタイムPTSとそのサブタイトルが開始アドレス（ソースパケット番号）及びそのサブタイトルが終了するアドレスを検出し、それらのデータをテーブル化してサブタイトル用EP_mapを作成する。更に、各サブタイトルの表示開始時刻のプレゼンテーションタイムPTSと表示時間（継続時間）とをテーブル化してClipMarkを作成する。
【００５５】
そして、AVストリームファイルは、ECCエンコーダ７、及び変調部８にて所定の処理がなされた後、記録部９にて記録媒体（メディア）に記録される。また、制御部６にて生成されたEP_map及びClipMarkも同様にECCエンコーダ７、及び変調部８にて所定の処理がなされた後、記録部９にて記録媒体に記録される（ステップＳ５）。
【００５６】
次に、このようなClip AVストリームファイル及びClip Information fileとPlayListとが記録されたメディアからデータを読み出し再生する情報再生装置について説明する。
【００５７】
図１１は、上述のようなストリームデータとその付属情報とが記録された記録媒体からデータを再生する情報処理装置を示すブロック図である。図１０に示すように、再生装置としての情報処理装置１０は、記録媒体２８からデータを読み出す読出部（ドライブ）１１と、読み出されデータを復調する復調器（demodulator）１２と、ECC復号処理するECCデコーダ（復号器）１３と、AVストリームのバッファ１４と、デマルチプレクス処理を行うデマルチプレクサ１５と、デマルチプレクサ１５から符号化ビデオストリーム（V）及び符号化オーディオストリーム（A）が供給されこれらを復号するAVデコーダ１６と、デマルチプレクサ１５から符号化サブタイトルストリーム（S）が供給され、これを復号するサブタイトルデコーダ１７と、復号されたビデオ及びオーディオデータを出力して表示させる表示プロセッサ１８と、EP_map及びClipMarkが供給され表示プロセッサの表示を制御する制御部１９とから構成される。
【００５８】
制御部１９は、ビデオ用EP_map及びサブタイトル用EP_mapと、ClipMarkとを参照し、読出部１１の読出し及び表示プロセッサ１８の出力を制御する。即ち、ランダムアクセスされた際は、ClipMarkの各サブタイトルの再生区間内にランダムアクセスされた位置のプレゼンテーションタイムスタンプを含むサブタイトルと、そのランダムアクセスされた位置に最も近い過去のＩピクチャを読み出し、再生するよう制御するものである。
【００５９】
次に、この再生装置の再生動作について説明する。先ず、読出部１１は、DVD等の記録媒体（メディア）から、EP_map及びClipMarkのデータを読み出す。このEP_map及びClipMarkのデータは、復調器１２及びECCデコーダ１３で所定の処理がなされて、ホスト制御部１９へ入力される。
【００６０】
次に、制御部１９はランダムアクセス時刻を取得する。このランダムアクセス時刻は、例えば図示せぬインターフェースからユーザにより指示されるものである。そして、制御部１９は、ClipMarkに基づいて、ランダムアクセス時刻のビデオに同期して表示されるサブタイトルのsubtitle_start_timeの値を取得する。即ち、ClipMarkを参照し、ランダムアクセス時刻を示すプレゼンテーションタイムスタンプPTSがClipMarkに示されている複数の再生区間のうち、再生区間内に含まれるサブタイトルの開始時刻を示すプレゼンテーションタイムスタンプPTS（subtitle_start_time）を取得する。
【００６１】
次いで、制御部１９は、サブタイトル用EP_mapを用いて、サブタイトルのプレゼンテーションタイムPTS（PTS_EP_start）の値が上記subtitle_start_timeの値であるところのサブピクチャの先頭アドレスであるソースパケット番号（SPN_EP_start）及び当該サブタイトルのデータ量（Subtitle_end_position_offset）を取得する。更に、制御部１９は、ビデオ用EP_mapを用いて、ＩピクチャのプレゼンテーションタイムスタンプPTS（PTS_EP_start）の値がランダムアクセス時刻を示すプレゼンテーションタイムスタンプに最も近い時刻であるところのＩピクチャの先頭アドレスであるソースパケット番号（SPN_EP_start）を取得する。ここでは、最も近い過去の時刻であるところのＩピクチャを読み出すものとする。
【００６２】
次に、制御部１９は、サブタイトル用EP_mapのSPN_EP_startと、Subtitle_end_position_offsetとで特定されるサブタイトルデータを記録媒体に記録されているClip AVストリームの中から読み出す。読み出されたサブタイトルデータは、サブタイトルデコーダ１７でデコードされて、表示プロセッサ１８へ入力される。
【００６３】
また、ビデオ用EP_mapを参照して選択されたランダムアクセス時刻に最も近い時刻を有するSPN_EP_startで指定されるアドレスからClip AVストリームのデータを読み出す。読み出されたデータは、AVデコーダ１６でデコードされて、表示プロセッサ１８へ入力される。そして、表示プロセッサ１８は、上記指定されたランダムアクセス時刻のビデオデータの上に、デコードしたサブタイトルデータを重ねて再生を開始する。
【００６４】
また、こでは、ビデオ信号について説明したが、オーディオ信号についても、上述したように、オーディオ用のEP_mapを作成しておき、これを参照し、ビデオに同期させて再生することができる。
【００６５】
次に、Clip InformationのEP_map及びClipMarkを使用して、ランダムアクセス再生する方法について更に詳細に説明する。図１２は、ランダムアクセス再生方法を示すフローチャートである。また、図１３は、EP_map及びClipMarkに記述されるアドレスのストリームデータ上での位置関係を示す模式図である。ここでは、ビデオのプレゼンテーションタイム上の時刻pts_iにランダムアクセスする場合のビデオ用及びサブタイトル用EP_mapとClipMarkとの参照方法について説明する。
【００６６】
図１２及び図１３に示すように、先ず、ClipMarkを用いて、ランダムアクセス時刻pts_iのビデオに同期して表示されるサブタイトルを特定する（ステップＳ２１）。即ち、ClipMarkを参照し、目的の時刻pts_iにおいて、持続期間中のサブタイトルを検索し、時刻pts_iが持続期間内に含まれるサブタイトルを選択する。ここで、例えばClipMarkの任意のサブタイトルの再生開始時刻をSubtitle_start_time＝pts_sとし、その持続時間をduration＝xとしたとき、pts_s≦pts_i≦pts_ｓ＋xの条件を満たすサブタイトルが目的のサブタイトルとわかり、この条件を満たすサブタイトルを選択する。ここでは、例えばサブタイトルＡSubが上記条件を満たす目的のサブタイトルとして選択されたものとする。
【００６７】
次に、サブタイトル用EP_mapを参照し、サブタイトルの再生開始時刻を示すプレゼンテーションタイムPTS_EP_startの値が、上述のClipMarkで選択されたサブタイトルＡSubのSubtitle_start_time＝pts_sと一致するもの、即ちPTS_EP_start＝pts_sであるサブタイトルＡSubの開始アドレスを示すソースパケット番号SPN_EP_start（ＡSub）と、サブタイトルＡSubが終了するアドレスを示す情報Subtitle_end_position_offset（ＡSub）とを取得する（ステップＳ２２）。
【００６８】
更に、ビデオ用EP_mapを参照して、各Ｉピクチャの再生開始時刻を示すプレゼンテーションタイムPTS_EP_startの値が、ランダムアクセス時刻pts_iに最も近い過去の時刻であるSPN_EP_start（ＡVideo）を選択する（ステップＳ２３）。
【００６９】
そして、ステップ２２で選択されたPTS_EP_start＝pts_iに対応するSPN_EP_start（ＡSub）とSubtitle_end_position_offset（ＡSub）とで特定されるサブタイトルＡSubのデータをClip AVストリームの中から読み出す（ステップＳ２４）。即ち、SPN_EP_start（ＡSub）で示されるアドレスから、Subtitle_end_position_offset（ＡSub）の量のデータを読み出す。
【００７０】
次に、ステップ２３で決定された所定のＩピクチャが開始するSPN_EP_start（ＡVideo）で指定されるアドレスへジャンプし（ステップＳ２５）、ジャンプ先のアドレスからClip AVストリームのデータを読み出す（ステップＳ２６）。こうして、ランダムアクセス時刻pts_iに最も近い過去の時刻のＩピクチャのビデオ（ＡVideo）の上に、ステップ２４で読み出したサブタイトル（ＡSub）を重ねて再生を開始する（ステップＳ２７）。
【００７１】
本実施の形態においては、ビデオとサブタイトルとを多重化して、１つのClip AVストリームとし、このClip AVストリームとその付属情報であるClip Information fileを別々のファイルに記録する。このClip Information fileは、EP_mapとClipMarkとを有し、EP_mapは、Clip AVストリームの中で各ＩピクチャのプレゼンテーションタイムスタンプPTS（PTS_EP_start）とそのピクチャが開始するアドレスを示す情報（SPN_EP_start）との対応が記述されたテーブル（ビデオ用EP_map）と、Clip AVストリームの中で、各サブタイトル（１ページ分のサブタイトルデータ）のプレゼンテーションタイムスタンプPTS（PTS_EP_start）とそのサブタイトルの開始及び終了アドレスを示す情報（SPN_EP_start, Subtitle_end_position_offset）との対応が記述されたテーブル（サブタイトル用EP_map）を有し、また、ClipMarkは、Clip AVストリームの中で各サブタイルの再生が開始する時刻(Subtitle_start_time)と、再生時間(duration)との対応が記述されたテーブルである。
【００７２】
そして、従来のようにサブタイトルのアドレス情報等の付属情報がストリームに埋め込まれるのではなく、付属情報をストリームとは別のファイルで記録することにより、ストリームデータの読出し動作の処理が迅速化する。即ち、ビデオに同期再生されるサブタイトル用の付属情報として、サブタイトル用EP_map及びClipMarkを作成することにより、この付属情報のみを最初に読み出すことができ、よって、この付属情報であるEP_map及びClipMarkを使用して、ランダムアクセス時に、ビデオとこれに同期再生されるサブタイトルの読み出しアドレスを決定するプロセスを容易且つ迅速に行うことができる。
【００７３】
また、本実施の形態においては、サブタイトルを例として説明をしているが、これに限らず、一般に、Clip AVストリームの中でデータ毎に再生時間が一定でないデータ（副再生情報）（データが画面に表示されてから、それが画面から消えるまでの時間区間が、データ毎に一定でないデータ）にも適応できる。例えば、静止画像の連続再生（いわゆるスライドショー）に用いる静止画像、また、ビデオに重ねて表示される図形データなどにも適応できる。
【００７４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、記録媒体は、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている例えばフレキシブルディスク等の磁気ディスク、例えばCD-ROM(Compact Disk-Read Only Memory)及びDVD(Digital Versatile Disk)等の光ディスク、例えばＭＤ（Mini-Disk）等の光磁気ディスク、又は半導体メモリなどのパッケージメディアにより構成されるか、装置本体に予め組み込まれた状態でユーザに提供されるような、例えばプログラムが記録されているROM又は、ハードディスク等で構成される。
【００７５】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００７６】
【発明の効果】
以上詳細に説明したように本発明に係る情報処理装置は、少なくともビデオ情報と該ビデオ情報の再生に同期して再生される副再生情報とを有するストリームデータから、上記ビデオ情報及び上記副再生情報に関する付属情報を作成する付属情報作成手段と、上記ストリームデータを上記付属情報作成手段にて作成された付属情報と共に記録媒体に記録する記録手段とを備え、上記付属情報作成手段は、上記ビデオ情報のアクセスポイントにおける再生開始時刻を示すプレゼンテーションタイムスタンプと上記ストリームデータ中のアドレスとの対応関係が記述されたビデオ用テーブルと、上記アクセスポイントにおけるビデオ情報と同期して再生される上記副再生情報のアドレスが記述された副再生情報用テーブルとを作成するので、ストリームデータから、プレゼンテーションタイムスタンプ（PTS）とそのアドレスとの対応関係を示す副再生情報用テーブルを作成し、これをストリームデータとは別に記録するため、ストリームデータを復号しなくてもテーブルを参照することができ、副再生情報のアドレスを容易に取得することができるので、副再生情報の読出及び再生の処理が高速化する。
【００７７】
また、本発明に係る情報処理装置は、少なくともビデオ情報と該ビデオ情報の再生に同期して再生される副再生情報とを有するストリームデータから、上記ビデオ情報及び上記副再生情報に関する付属情報を作成する付属情報作成手段と、上記ストリームデータを上記付属情報作成手段にて作成された付属情報と共に記録媒体に記録する記録手段と、上記記録媒体から、ランダムアクセスされた位置のプレゼンテーションタイムスタンプのビデオ情報及び副再生情報を再生する再生手段と、上記付属情報を参照して上記再生手段を制御する制御手段とを備え、上記付属情報作成手段は、上記ビデオ情報のアクセスポイントにおける再生開始時刻を示すプレゼンテーションタイムスタンプと上記ストリームデータ中のアドレスとの対応関係が記述されるビデオ用テーブルと、該アクセスポイントにおけるビデオ情報と同期して再生される上記副再生情報のアドレス及び該副再生情報の各再生区間が記述された副再生情報用テーブルとを作成し、上記制御手段は、上記ビデオ用テーブル及び副再生情報再生テーブルを参照し、上記副再生情報用テーブルの再生区間内に上記ランダムアクセスされた位置のプレゼンテーションタイムスタンプを含む副再生情報を検索し、当該副再生情報を該アクセスポイントにおけるビデオ情報と共に再生するよう上記再生手段を制御するので、ストリームデータとは別に、ストリームデータの付属情報を記録することで、この付属情報のみを事前に読み込めば、ランダムアクセス再生を行う際に副再生情報用テーブルから目的の副再生情報を特定してそのアドレスを取得し、また、ランダムアクセスされたビデオのアドレスをビデオ用テーブルから取得することができ、従ってランダムアクセス再生する際の処理が高速化する。
【図面の簡単な説明】
【図１】本発明の実施の形態における記録装置を示すブロック図である。
【図２】本発明の実施の形態における記録媒体上のアプリケーションフォーマットの構造を簡単化して示す図である。
【図３】本発明の実施の形態におけるAVストリームのデータ構成を示す図である。
【図４】 EP_mapとClip AVストリームとの関係を説明する図である。
【図５】ビデオ用EP_mapの構造を説明する図であって、（ａ）は、Clip AVストリームにおけるプレゼンテーションタイムPSTの位置を説明する図、（ｂ）は、（ａ）に示すClip AVストリームの一部を拡大して示す図、（ｃ）は、ビデオ用EP_mapのデータ構造を示す図である。
【図６】ビデオ用EP_mapにおけるSPN_EP_startとI_end_position_offsetとの関係を示す模式図である。
【図７】サブタイトル用EP_mapの構造を説明する図であって、（ａ）は、Clip AVストリームにおけるプレゼンテーションタイムPSTの位置を説明する図、（ｂ）は、（ａ）に示すClip AVストリームの一部を拡大して示す図、（ｃ）は、サブタイトルEP_mapのデータ構造を示す図である。
【図８】サブタイトル用EP_mapにおけるSPN_EP_startとSubtitle_end_position_offsetとの関係を示す模式図である。
【図９】 ClipMarkと、Clip AVストリームとの関係を説明する図である。
【図１０】情報記録装置の記録動作方法を示すフローチャートである。
【図１１】本発明の実施の形態における情報再生装置を示すブロック図である。
【図１２】ランダムアクセス再生方法を示すフローチャートである。
【図１３】 EP_map及びClipMarkに記述されるアドレスのストリームデータ上での位置関係を示す模式図である。
【図１４】従来のＤＶＤビデオのプログラムストリームの構造を示す模式図である。
【符号の説明】
１，１０情報処理装置、１０情報処理装置、２ AVエンコーダ、３サブタイトルエンコーダ、４マルチプレクサ、５バッファ、６，１９制御部、１９制御部、７ ECCエンコーダ、８変調部、１１読出部、１２復調器、１３ ECC復号器、１４バッファ、１５デマルチプレクサ、１６AVデコーダ、１７サブタイトルデコーダ、１８表示プロセッサ、２７記録部、２８記録媒体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information recording apparatus and method for recording video and accompanying data such as subtitles and graphics on a recording medium such as a DVD, and an information reproducing apparatus and method for reading and reproducing data from such a recording medium. , As well as programs.
[0002]
[Prior art]
As a DVD video format, a video signal such as a movie and a subtitle (caption) signal accompanying it can be recorded separately. The video signal is encoded into an MPEG2 (Moving Picture Experts Group 2) video stream, and the subtitle signal encodes a bit-mapped signal into data called a sub picture. The MPEG2 video stream and the subpicture are multiplexed on the MPEG2 program stream and recorded on a DVD disc. The video and the subtitle accompanying it are played back synchronously based on PTS (Presentation Time Stamp). Further, even when random access is made to an arbitrary playback time during playback of a DVD video, the video at that time and a sub-picture (subtitle) that is played back synchronously can be read out.
[0003]
A conventional DVD video program stream has a structure in units of VOBU (Video Object Unit), and the structure of such conventional DVD data is described in, for example, Patent Document 1 below. FIG. 14A and FIG. 14B are schematic views showing the structure of a conventional DVD video program stream. A DVD video program stream is managed in units of VOBS (Video Object Set), and this is a unit of, for example, one movie. This VOBS is composed of a plurality of Video Objects (VOB). This VOB is a unit in which each data is recorded as a group on the disc. This VOB is composed of a plurality of cells, and this is a unit such as one scene or one cut in a movie, for example. Furthermore, this Cell is composed of a plurality of VOBUs (Video Object Units) shown in FIG. 14 (a). This VOBU is a unit of 0.4 to 1.2 seconds in a moving image, and one or more in the MPEG2 format is included in this VOBU. GOP (Group of Picture) is included.
[0004]
The VOBU has a navigation pack (N_PCK) shown in FIG. 14B which is a pack having management information of this VOBU, and this navigation pack is arranged at the head of each VOBU. The navigation pack has VOBU_SRI (VOBU Search Information) and SP_SYNCA, and VOBU_SRI has the start address of the VOBU to be played back N seconds (N is an integer) before and after the playback time of the VOBU containing the VOBU_SRI. Further, SP_SYNCA has address information of a sub-picture that is reproduced in synchronization with the VOBU video including the SP_SYNCA. When playing back a movie or the like, the navigation pack can be read in advance and played back based on the management information indicated by the navigation pack.
[0005]
In the DVD video having such a configuration, the read operation of the video at the time of random access and the subtitle reproduced in synchronization therewith is as follows.
[0006]
That is, first, the VOBU address of the video access point is determined by referring to VOBU_SRI of a certain navigation pack.
[0007]
Next, the navigation pack at the VOBU address is read from the disk. Then, the host CPU of the player (playback apparatus) analyzes SP_SYNCA of the navigation pack, and determines the access point address of the subtitle. Finally, the subtitle at the access point address is read from the disc.
[0008]
[Patent Document 1]
JP-A-10-271444
[0009]
[Problems to be solved by the invention]
However, in the case of such a conventional DVD video, since the subtitle address information is embedded in the MPEG program stream, it takes time to read the subtitle during random access. That is, when determining the subtitle read address, the stream data is read from the disc, the data is analyzed by the host CPU of the player, and then the subtitle access point address is determined. There is a problem that it takes time to read the data.
[0010]
The present invention has been proposed in view of such a conventional problem, and at the time of random access, a process for quickly determining a read address of sub-reproduction information such as a video and a sub-title reproduced in synchronism with the video is quickly performed. Processing apparatus, information processing method, and program for recording / reproducing data having a structure capable of recording The The purpose is to provide.
[0015]
[Means for Solving the Problems]
The information processing apparatus according to the present invention includes a presentation time stamp indicating a reproduction start time at an access point of the video information together with stream data having at least video information and sub-reproduction information reproduced in synchronization with the reproduction of the video information. And a video table in which the correspondence between the stream data and the address in the stream data is described, and the address of the sub reproduction information reproduced in synchronization with the video information at the access point and each reproduction section of the sub reproduction information are described. Reproduction means for reproducing the presentation time stamp video information and sub-reproduction information at a randomly accessed position from the recording medium recorded with the sub-reproduction information table, and the video table and sub-reproduction information table. Control means for controlling the reproduction means with reference to The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends, The control means reproduces sub reproduction information including a presentation time stamp of the randomly accessed position within a reproduction section of the sub reproduction information table. At the same time, the past intra-frame encoded image closest to the presentation time stamp of the randomly accessed position is reproduced. The reproducing means is controlled as described above.
[0016]
In the present invention, the video table and the sub reproduction information table are recorded separately from the stream data. Therefore, when performing random access reproduction, the position of the random access position from the sub reproduction information table is recorded. The secondary reproduction information including the presentation time is specified and its address is acquired, and the address of the randomly accessed video is acquired from the video table and can be reproduced quickly.
[0017]
An information processing apparatus according to the present invention includes an accessory that creates attached information related to the video information and the sub reproduction information from stream data including at least video information and sub reproduction information that is reproduced in synchronization with reproduction of the video information. Information generating means; recording means for recording the stream data on a recording medium together with the auxiliary information generated by the auxiliary information generating means; and video information and sub information of a presentation time stamp at a randomly accessed position from the recording medium. A presentation time stamp indicating a reproduction start time at an access point of the video information, comprising: a reproduction unit for reproducing reproduction information; and a control unit for controlling the reproduction unit with reference to the attached information. And the correspondence between the addresses in the stream data is described Create a video table, and a sub-reproduction information table for each playback section address and sub playback information of the sub-reproduction information which is reproduced in synchronization with video information is described in the access point, The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends, The control means refers to the video table and the sub-playback information table, searches for the sub-playback information including the presentation time stamp of the randomly accessed position within the playback section of the sub-playback information table, and Play sub-playback information along with video information at the access point At the same time, the past intra-frame encoded image closest to the presentation time stamp of the randomly accessed position is reproduced. It is characterized by controlling as follows.
[0018]
In the present invention, since the attached information of the stream data is recorded separately from the stream data, the addresses of the target video and sub-playback information can be obtained by referring only to the attached information. Processing speeds up.
[0019]
The program according to the present invention causes a computer to execute the above-described information processing, and the recording medium according to the present invention is a computer-readable medium on which data obtained by such processing is recorded. .
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to a recording apparatus for recording a DVD video and an information processing apparatus as a reproducing apparatus for reproducing a DVD recorded by the recording apparatus.
[0021]
FIG. 1 is a block diagram showing an information processing apparatus according to this embodiment. As shown in FIG. 1, an information processing apparatus 1 that records data on a recording medium encodes an input analog video signal and analog audio signal, and an encoded video stream (V) and an encoded audio stream ( A) that generates A), and a subtitle signal (sub-playback information) that is sub-playback information such as a subtitle (caption) that is played back in synchronization with the playback of the video signal and for which playback time can be arbitrarily set for each data. Are encoded, and a subtitle encoder 3 that generates an encoded subtitle stream (S), and the encoded video stream (V), encoded audio stream (A), and encoded subtitle stream (S) are multiplexed. The multiplexer 4 for generating the AV stream and temporarily storing the AV stream from the multiplexer A buffer 5, a host control unit 6 that creates EP_map, which will be described later, as Clip Information, which is additional information related to video and sub-playback information, from the AV stream, and an ECC encoder (encoding) that performs ECC (error correction) processing of the AV stream ) 7, a modulator 8 that modulates the AV stream, and a recording unit (driver) 9 that records the AV stream and attached information such as EP_map on a recording medium.
[0022]
The encoded video stream (V) generated by the AV encoder 2 is, for example, a video stream encoded by the MPEG2 system, and the encoded audio stream is, for example, an audio stream encoded by the MPEG1 system or Dolby An audio stream encoded by the AC3 system.
[0023]
Further, the subtitle encoded by the subtitle encoder 3 is reproduced in synchronization with the video signal and has, for example, a caption, a still image, or a graphic displayed superimposed on the video signal having different reproduction periods. It is shown. The subtitle signal encodes a bit-mapped signal into data called a sub picture.
[0024]
The multiplexer (multiplexer) 4 generates a multiplexed stream that is multiplexed based on the input system information from the input video stream, audio stream, and sub-picture. That is, the above-described MPEG2 video stream and sub-picture are multiplexed into, for example, an MPEG2 transport stream or an MPEG2 program stream.
[0025]
Then, the buffer 5 or the like makes this multiplexed stream an AV stream made up of source packets described later in a predetermined format according to the application format of the recording medium on which the stream is recorded.
[0026]
The control unit 6 analyzes the AV stream and creates attached information including a video table described later regarding the encoded video stream and a sub-playback information table regarding the encoded subtitle stream.
[0027]
Specifically, the attached information includes information related to the encoding information of the AV stream, for example, the start time of each intra-frame encoded image (hereinafter referred to as I picture) that is an access point in the AV stream. A video table (hereinafter referred to as video EP_map) in which a correspondence relationship between a presentation time stamp (Presentation Time Stamp (PTS)) and information indicating an address at which each I picture starts is described, and video information at the access point For example, a sub-reproduction information table in which addresses of sub-reproduction information to be reproduced synchronously are described. The sub-playback information table describes the correspondence between the presentation time indicating the start time of each subtitle (subtitle data for one page) in the AV stream and the address at which each subtitle starts and ends. An address search table (hereinafter referred to as “EP_map for subtitle”) and a sub-reproduction information reproduction table (hereinafter referred to as “ClipMark”) indicating a reproduction section of each subtitle in the AV stream are included.
[0028]
The recording unit 9 includes an AV stream file that has been subjected to predetermined processing by the ECC (error correction) encoder 7 and the modulation unit 8, and attached information (Clip Information) such as EP_map that describes the file, as well as the AV stream. Predetermined processing is performed by the ECC encoder 7 and the modulation unit 8 and recording is performed on a recording medium.
[0029]
Here, data recorded on the above-described recording medium will be described in detail. In this embodiment, a video and a subtitle are multiplexed to form one AV stream, and this AV stream and its attached information are recorded in separate files. As described above, the attached information includes EP_map and ClipMark for video and subtitle.
[0030]
The EP_map for video and subtitle includes the presentation time PTS indicating the start time of each I picture and each subtitle in the AV stream, and the address of the minimum access unit (source packet) at which it starts and ends. It is a table in which the correspondence relationship is described. ClipMark is a table in which the reproduction start time (presentation time) of each subtile in the AV stream and the duration (time period from when one subtitle is displayed on the screen until it disappears) are described. It is.
[0031]
When performing random access playback, the information processing apparatus according to the present embodiment uses Clip Information (EP_map and ClipMark) having such information, and reads the subtitle read address displayed in synchronization with the video at the random access time. Data is recorded and / or reproduced in order to quickly determine data.
[0032]
First, an application format on the recording medium will be described. FIG. 2 is a diagram showing a simplified structure of the application format on the recording medium in the present embodiment. The application format has two layers consisting of PlayList and Clip for AV stream management.
[0033]
The user can refer to only the PlayList layer, and can reproduce and edit data such as video and audio using the PlayList of the PlayList layer. On the other hand, the Clip layer is used when the player reproduces the AV stream specified by the PlayList. Here, a pair of one AV stream and the attached information of the AV stream is set as one object, and is managed in a unit called Clip. The AV stream file described above is called a Clip AV stream file, and its attached information is called a Clip Information file, and is separately recorded on a recording medium. Such a data structure is described in Japanese Patent Application No. 2001-91830 filed earlier by the present inventors. Here, in this embodiment, the video and the subtitle are multiplexed to form one Clip AV stream.
[0034]
In general, a data file used in a computer or the like is handled as a byte sequence, but the content of a Clip AV stream file is expanded on the time axis, and a PlayList mainly includes time points (PTS) for access points in the Clip. specify. When the PlayList indicates an access point into the Clip by a time stamp (PTS), the Clip Information file is useful for finding address information where decoding of the stream should be started in the Clip AV stream file.
[0035]
A PlayList is a collection of playback sections in a Clip, and one playback section in a Clip is called a PlayItem, which is represented by a pair of IN point and OUT point on the time axis. Therefore, PlayList is a collection of PlayItems.
[0036]
There are two types of PlayList. One is Real PlayList, and the other is Virtual PlayList. The Real PlayList is considered to share the stream portion of the Clip that it refers to. That is, the Real PlayList occupies the data capacity corresponding to the stream portion of the clip that is referenced in the disc. When an AV stream is recorded as a new clip, a Real PlayList that refers to the reproducible range of the entire clip is automatically created. When a part of the playback range of the Real PlayList is erased, the data of the clip stream part to which it refers is also erased. The Virtual PlayList is regarded as not sharing Clip data. Even if the Virtual PlayList is changed or deleted, the Clip does not change anything. In the following description, Real PlayList and Virtual PlayList are simply referred to as PlayList.
[0037]
Next, an AV stream on the recording medium in the present embodiment will be described. FIG. 3 is a diagram showing the data structure of the AV stream in the present embodiment. The AV stream 100 in the present embodiment has a BDAV MPEG2 transport stream structure. The BDAV MPEG2 transport stream is an integer number of Aligned units 101. _n Consists of Aligned unit101 _n Is 6144 bytes (2048 × 3 bytes). One Aligned unit includes 32 source packets 102. ₁ ~ 102 ₃₂ The source packet 102 ₁ Starts from the first byte of
[0038]
Each source packet 102 _n Is 192 bytes long. One source packet includes a TP_extra_header 103a and a transport packet 103b. The TP_extra_header 103a is 4 bytes long, and the transport packet 103b is 188 bytes long. This source packet 102 _n Is the minimum access unit. Data indicating one I picture and one subtitle is composed of a plurality of source packets.
[0039]
Next, the Clip Information file will be described. As described above, in the information recording apparatus 1 according to the present embodiment, the video and the subtitle are multiplexed to form one Clip AV stream, and this Clip AV stream and its Clip Information file are recorded in separate files. The Clip Information file has EP_map and ClipMark.
[0040]
First, EP_map of the Clip Information file will be described. FIG. 4 is a diagram for explaining the relationship between the EP_map and the Clip AV stream. As shown in FIG. 4, EP_map is useful for finding address information to start decoding a stream in a Clip AV stream file when an access point in the Clip is designated by a time stamp (PTS). . That is, EP_map is a table indicating addresses corresponding to the IN point and OUT point on the time axis indicated by the above-described PlayList, and is used to convert a presentation time stamp PTS such as PlayList into an address corresponding thereto. The Thereby, it is possible to select and read out the corresponding data from the Clip AV stream. As described above, EP_map types include video and subtitle.
[0041]
5A and 5B are diagrams for explaining the structure of the video EP_map. FIG. 5A is a diagram for explaining the position of the presentation time PST in the Clip AV stream. FIG. 5B is a diagram for explaining the structure of the video EP_map. FIG. 5C is a diagram showing an enlarged part of the Clip AV stream shown in FIG. 5, and FIG. 5C shows the data structure of the video EP_map.
[0042]
The video EP_map includes the presentation time PTS (PTS_EP_start) of each I picture in the Clip AV stream, information indicating the start position address of the I picture (SPN_EP_start), and information indicating the end position address of the I picture ( Subtitle_end_position_offset). Since the data indicating one I picture is composed of a plurality of source packets as described above, the video EP_map has a plurality of sources constituting one I picture as information indicating the address of the I picture. An address indicating the source packet at the head of the packet and information indicating the address of the source packet in which the final data of the I picture is recorded are described.
[0043]
Here, a source packet number (SPN) can be used as an address expression. This source packet number SPN is obtained by assigning a series of numbers to all source packets in the Clip AV stream. The source packet number SPN is the source packet number SPN = 0 (zero) for the first source packet in the Clip AV stream, the source packet number SPN = 1 for the next source packet, and thereafter for each subsequent packet. The source packet number SPN is incremented by one. Therefore, the source packet number SPN is described as SPN_EP_start of the video EP_map.
[0044]
Further, I_end_position_offset is information indicating the data amount from the source packet having the first data of each I picture to the source packet having the final data of the I picture, and thereby the address of the source packet where the final data exists. Can be specified.
[0045]
That is, as shown in FIG. 6, when reading data of a certain I picture, reading is started from SPN_EP_start which is the first source packet in which the I picture is described, and the amount of data indicated by I_end_position_offset is read. Good.
[0046]
Although the video EP_map has been described here, the Clip Information file includes an EP_map for audio streams in addition to the EP_map for video.
As described in the above Japanese Patent Application No. 2001-158972, for example, EP_map_type is provided in EP_map, and this EP_map_type is distinguished by describing the type of EP_map for video, audio, or subtitle described later. can do. Here, when the Clip includes one or more video streams, an EP_map for the video stream is used. Further, when the Clip does not include a video stream and includes one or more audio streams, an EP_map for the audio stream is used.
[0047]
Next, the subtitle EP_map will be described. FIG. 7 is a diagram for explaining the structure of the subtitle EP_map. FIG. 7 (a) is a diagram for explaining the position of the presentation time PST in the Clip AV stream, and FIG. 7 (b) is a diagram for FIG. 7 (a). FIG. 7C is a diagram showing an enlarged part of the Clip AV stream shown in FIG. 7, and FIG. 7C shows the data structure of the subtitle EP_map.
[0048]
The EP_map for subtitle is information (Subtitle_end_position_offset) indicating the presentation time PTS (PTS_EP_start) of each subtitle (subtitle data for one page) included in the Clip AV stream, the address (SPN_EP_start) at which the subtitle starts, and the end address. Is a table in which are described. That is, as described above, since one subtitle is composed of a plurality of source packets, the subtitle EP_map is a plurality of sources constituting one subtitle as information indicating addresses at the start position and end position of the subtitle. The source packet number at the head of the packet and information indicating the address of the source packet in which the final data of the subtitle is described are described.
[0049]
Subtitle_end_position_offset is information indicating the amount of data from the source packet having the first data of each subtitle to the source packet having the final data of the subtitle. Thus, the address of the source packet where the final data exists (source packet number) SPN) can be specified.
[0050]
That is, as in the case of video, as shown in FIG. 8, when data of a certain subtitle is read, reading is started from SPN_EP_start which is the first source packet in which the subtitle is described, and the amount indicated by Subtitle_end_position_offset Read the data.
[0051]
Next, ClipMark of the Clip Information file will be described. FIG. 9 is a diagram for explaining the relationship between ClipMarks and Clip AV streams. As shown in FIG. 9, this ClipMark indicates the playback time (section) of each subtile in the Clip AV stream. Here, the reproduction time is a time interval (duration) from when a subtitle is displayed on the screen until it disappears from the screen. Specifically, this ClipMark indicates the time (Subtitle_start_time) at which playback of each subtile on the time axis of the presentation time PTS of the Clip AV stream starts and the playback time (duration) (duration). When performing random access playback in a playback device to be described later, the above-described video EP_map, subtitle EP_map, and ClipMark are used to determine the read address of the subtitle displayed in synchronization with the video at the random access time, and playback can do.
[0052]
In this embodiment, the subtitle EP_map and the ClipMark are created as separate files. However, the subtitle EP_map may have the above-described ClipMark information indicating the subtitle playback section. Good.
[0053]
Next, the recording operation of the information recording apparatus shown in FIG. 1 for recording such data will be described. FIG. 10 is a flowchart showing a recording operation method of the information recording apparatus. As shown in FIG. 10, first, video data and audio data are input to the AV encoder 2 and encoded (step S1). Further, the subtitle data is input to the subtitle encoder 3 and encoded (step S2). The encoded video stream (V) and encoded audio stream (A) generated by the AV encoder 2 and the encoded subtitle stream (S) generated by the subtitle encoder 3 are supplied to the multiplexer 4 and multiplexed. Then, it is packetized and an AV stream is created (step S3). That is, the multiplexed stream is packetized according to the application format of the recording medium on which the stream is recorded, and an AV stream composed of source packets is generated.
[0054]
The generated AV stream is supplied to the host control unit 6, and the control unit 6 analyzes the AV stream and creates an EP_map and a ClipMark for the AV stream (step S4). That is, in the transport stream, the presentation time PTS of each I picture, the address (source packet number) at which the I picture starts and the address at which the I picture ends are detected, and the data is tabulated for video. Create EP_map. Also, in the transport stream, the presentation time PTS of each subtitle and its subtitle are detected as the start address (source packet number) and the address at which the subtitle ends, and these data are tabulated to create a subtitle EP_map. . Furthermore, a ClipMark is created by tabulating the presentation time PTS and display time (duration) of the display start time of each subtitle.
[0055]
The AV stream file is subjected to predetermined processing by the ECC encoder 7 and the modulation unit 8 and then recorded on a recording medium (media) by the recording unit 9. Similarly, the EP_map and ClipMark generated by the control unit 6 are subjected to predetermined processing by the ECC encoder 7 and the modulation unit 8 and then recorded on the recording medium by the recording unit 9 (step S5).
[0056]
Next, an information reproducing apparatus for reading and reproducing data from a medium in which such a Clip AV stream file, Clip Information file, and PlayList are recorded will be described.
[0057]
FIG. 11 is a block diagram showing an information processing apparatus that reproduces data from a recording medium on which the above-described stream data and associated information are recorded. As shown in FIG. 10, the information processing apparatus 10 as a playback apparatus includes a reading unit (drive) 11 that reads data from a recording medium 28, a demodulator 12 that demodulates the read data, and an ECC decoding process. ECC decoder (decoder) 13, AV stream buffer 14, demultiplexer 15 that performs demultiplex processing, and encoded video stream (V) and encoded audio stream (A) are supplied from demultiplexer 15. An AV decoder 16 for decoding these, a subtitle decoder 17 for receiving the encoded subtitle stream (S) from the demultiplexer 15, and a display processor 18 for outputting and displaying the decoded video and audio data. , EP_map and ClipMark are supplied, and the control unit 1 controls the display of the display processor Composed of a.
[0058]
The control unit 19 refers to the video EP_map, the subtitle EP_map, and the ClipMark, and controls the reading of the reading unit 11 and the output of the display processor 18. That is, when random access is made, the subtitle including the presentation time stamp at the random access position in the playback section of each subtitle of ClipMark and the past I picture closest to the random access position are read and played back. This is what is controlled.
[0059]
Next, the reproducing operation of this reproducing apparatus will be described. First, the reading unit 11 reads EP_map and ClipMark data from a recording medium (media) such as a DVD. The EP_map and ClipMark data are subjected to predetermined processing by the demodulator 12 and the ECC decoder 13 and input to the host control unit 19.
[0060]
Next, the control unit 19 acquires a random access time. This random access time is instructed by a user from an interface (not shown), for example. And the control part 19 acquires the value of subtitle_start_time of the subtitle displayed synchronizing with the video of random access time based on ClipMark. That is, referring to ClipMark, presentation time stamp PTS (subtitle_start_time) indicating the start time of a subtitle included in a playback section among a plurality of playback sections whose presentation time stamp PTS indicating random access time is indicated by ClipMark. get.
[0061]
Next, the control unit 19 uses the subtitle EP_map, the source packet number (SPN_EP_start) that is the start address of the subpicture where the value of the subtitle presentation time PTS (PTS_EP_start) is the value of the subtitle_start_time, and the subtitle of the subtitle. Acquire the data amount (Subtitle_end_position_offset). Further, the control unit 19 uses the video EP_map to indicate the start address of the I picture where the value of the presentation time stamp PTS (PTS_EP_start) of the I picture is the time closest to the presentation time stamp indicating the random access time. Get the source packet number (SPN_EP_start). Here, it is assumed that the I picture at the nearest past time is read.
[0062]
Next, the control unit 19 reads out the subtitle data specified by SPN_EP_start of the subtitle EP_map and Subtitle_end_position_offset from the Clip AV stream recorded on the recording medium. The read subtitle data is decoded by the subtitle decoder 17 and input to the display processor 18.
[0063]
Also, the Clip AV stream data is read from the address specified by SPN_EP_start having the time closest to the random access time selected with reference to the video EP_map. The read data is decoded by the AV decoder 16 and input to the display processor 18. Then, the display processor 18 starts reproduction by superimposing the decoded subtitle data on the video data at the specified random access time.
[0064]
Although the video signal has been described here, the audio EP_map can be created for the audio signal as described above, and can be reproduced in synchronization with the video by referring to the EP_map.
[0065]
Next, a method for performing random access playback using EP_map and ClipMark of Clip Information will be described in more detail. FIG. 12 is a flowchart showing a random access playback method. FIG. 13 is a schematic diagram showing the positional relationship on the stream data of addresses described in EP_map and ClipMark. Here, a method of referring to the video and subtitle EP_map and ClipMark in the case of random access at time pts_i on the video presentation time will be described.
[0066]
As shown in FIGS. 12 and 13, first, a subtitle displayed in synchronization with the video at the random access time pts_i is specified using ClipMark (step S21). That is, with reference to ClipMark, the subtitle in the duration is searched at the target time pts_i, and the subtitle whose time pts_i is included in the duration is selected. Here, for example, when the playback start time of any subtitle of ClipMark is Subtitle_start_time = pts_s and the duration is duration = x, the subtitle satisfying the condition pts_s ≦ pts_i ≦ pts_s + x is known as the target subtitle. Select a subtitle to fill. Here, for example, it is assumed that the subtitle ASub is selected as a target subtitle that satisfies the above conditions.
[0067]
Next, referring to the EP_map for subtitle, the value of the presentation time PTS_EP_start indicating the reproduction start time of the subtitle matches the subtitle ASub selected by the above ClipMark Subtitle_start_time = pts_s, that is, the subtitle ASub having PTS_EP_start = pts_s A source packet number SPN_EP_start (ASub) indicating the start address of the subtitle ASub and information Subtitle_end_position_offset (ASub) indicating the address where the subtitle ASub ends are acquired (step S22).
[0068]
Furthermore, referring to the video EP_map, SPN_EP_start (AVideo), which is the past time closest to the random access time pts_i, is selected for the presentation time PTS_EP_start indicating the playback start time of each I picture (step S23).
[0069]
Then, the subtitle ASub data specified by SPN_EP_start (ASub) and Subtitle_end_position_offset (ASub) corresponding to PTS_EP_start = pts_i selected in step 22 is read from the Clip AV stream (step S24). That is, data of the amount of Subtitle_end_position_offset (ASub) is read from the address indicated by SPN_EP_start (ASub).
[0070]
Next, it jumps to the address specified by SPN_EP_start (AVideo) where the predetermined I picture determined in step 23 starts (step S25), and reads the data of the Clip AV stream from the jump destination address (step S26). Thus, the subtitle (ASub) read in step 24 is superimposed on the I picture video (AVideo) of the past time closest to the random access time pts_i to start reproduction (step S27).
[0071]
In the present embodiment, video and subtitles are multiplexed to form one Clip AV stream, and this Clip AV stream and its associated information, Clip Information file, are recorded in separate files. This Clip Information file has an EP_map and a ClipMark. The EP_map is a correspondence between a presentation time stamp PTS (PTS_EP_start) of each I picture in the Clip AV stream and information (SPN_EP_start) indicating an address at which the picture starts. In the Clip AV stream, a presentation time stamp PTS (PTS_EP_start) of each subtitle (subtitle data for one page) and information indicating the start and end addresses of the subtitle (SPN_EP_start) , Subtitle_end_position_offset) and a table (EP_map for subtitle) describing the correspondence, and ClipMark includes a time (Subtitle_start_time) at which playback of each subtile in the Clip AV stream starts, a playback time (duration), and It is a table in which the correspondence of is described.
[0072]
Then, the attached information such as the subtitle address information is not embedded in the stream as in the prior art, but the attached information is recorded in a file different from the stream, thereby speeding up the process of reading the stream data. In other words, by creating the EP_map and ClipMark for subtitles as auxiliary information for subtitles that are played back synchronously with the video, only this auxiliary information can be read out first, and thus EP_map and ClipMark that are the auxiliary information are used. Thus, at the time of random access, the process of determining the readout address of the video and the subtitle to be reproduced in synchronization with the video can be performed easily and quickly.
[0073]
In the present embodiment, the subtitle has been described as an example. However, the present invention is not limited to this. In general, data (sub-reproduction information) in which the reproduction time is not constant for each data in the Clip AV stream (data is not The time interval from when it is displayed on the screen until it disappears from the screen can also be applied to data that is not constant for each data). For example, the present invention can be applied to still images used for continuous reproduction of still images (so-called slide show), graphic data displayed superimposed on video, and the like.
[0074]
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. For example, the recording medium is distributed to provide a program to the user separately from the main body of the apparatus, for example, a magnetic disk such as a flexible disk on which the program is recorded, such as a CD-ROM (Compact Disk-Read Only Memory) And an optical disc such as a DVD (Digital Versatile Disk), a magneto-optical disc such as an MD (Mini-Disk), or a package medium such as a semiconductor memory, or provided in a state of being pre-installed in the apparatus main body. For example, it is composed of a ROM in which a program is recorded, a hard disk, or the like.
[0075]
In the above-described embodiment, the hardware configuration has been described. However, the present invention is not limited to this, and arbitrary processing may be realized by causing a CPU (Central Processing Unit) to execute a computer program. Is possible. In this case, the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted via the Internet or another transmission medium.
[0076]
【The invention's effect】
As described above in detail, the information processing apparatus according to the present invention uses the video information and the sub reproduction information from stream data including at least video information and sub reproduction information reproduced in synchronization with reproduction of the video information. Ancillary information creating means for creating adjunct information on the recording medium, and recording means for recording the stream data on a recording medium together with the adjunct information created by the ancillary information creating means. A video table describing the correspondence between the presentation time stamp indicating the playback start time at the access point and the address in the stream data, and the sub playback information played back in synchronization with the video information at the access point. A sub-playback information table with addresses is created. A sub-playback information table showing the correspondence between the presentation time stamp (PTS) and its address is created from the stream data, and this table is recorded separately from the stream data, so the table is referenced without decoding the stream data. In addition, since the address of the sub reproduction information can be easily obtained, the reading and reproduction processing of the sub reproduction information is speeded up.
[0077]
Further, the information processing apparatus according to the present invention creates the video information and the auxiliary information related to the sub reproduction information from the stream data having at least the video information and the sub reproduction information reproduced in synchronization with the reproduction of the video information. Attached information creating means, recording means for recording the stream data on a recording medium together with the attached information created by the attached information creating means, and video information of a presentation time stamp at a position randomly accessed from the recording medium And a playback means for playing back the sub-playback information and a control means for controlling the playback means with reference to the attached information, wherein the attached information creating means is a presentation indicating a playback start time at the access point of the video information. The correspondence between the time stamp and the address in the above stream data is recorded. And a sub-playback information table in which an address of the sub-playback information to be played back in synchronization with video information at the access point and each playback section of the sub-playback information are described, The control means refers to the video table and the sub playback information playback table, searches for the sub playback information including the presentation time stamp of the randomly accessed position in the playback section of the sub playback information table, and searches the sub playback information. Since the reproduction means is controlled to reproduce the reproduction information together with the video information at the access point, by recording the auxiliary information of the stream data separately from the stream data, if only the auxiliary information is read in advance, random access When performing playback, the target sub-playback information is identified from the sub-playback information table. Get the address and the address of the random access video can be obtained from the video table, thus processing for random access reproduction is faster.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a recording apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a simplified structure of an application format on a recording medium in an embodiment of the present invention.
FIG. 3 is a diagram showing a data structure of an AV stream in the embodiment of the present invention.
[Fig. 4] Fig. 4 is a diagram for describing a relationship between an EP_map and a Clip AV stream.
5A and 5B are diagrams illustrating the structure of a video EP_map, where FIG. 5A is a diagram illustrating the position of a presentation time PST in a Clip AV stream, and FIG. 5B is a diagram illustrating the Clip AV stream illustrated in FIG. Part (c) is an enlarged view showing a data structure of a video EP_map.
FIG. 6 is a schematic diagram showing a relationship between SPN_EP_start and I_end_position_offset in a video EP_map.
7A and 7B are diagrams illustrating the structure of a subtitle EP_map, where FIG. 7A is a diagram illustrating the position of a presentation time PST in a Clip AV stream, and FIG. 7B is a diagram illustrating the Clip AV stream illustrated in FIG. Part (c) is an enlarged view showing the data structure of the subtitle EP_map.
FIG. 8 is a schematic diagram showing a relationship between SPN_EP_start and Subtitle_end_position_offset in a subtitle EP_map.
[Fig. 9] Fig. 9 is a diagram for describing a relationship between a ClipMark and a Clip AV stream.
FIG. 10 is a flowchart showing a recording operation method of the information recording apparatus.
FIG. 11 is a block diagram showing an information reproducing apparatus in an embodiment of the present invention.
FIG. 12 is a flowchart showing a random access playback method.
FIG. 13 is a schematic diagram showing a positional relationship on stream data of addresses described in EP_map and ClipMark.
FIG. 14 is a schematic diagram showing the structure of a conventional DVD video program stream.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1,10 Information processing apparatus, 10 Information processing apparatus, 2 AV encoder, 3 Subtitle encoder, 4 Multiplexer, 5 Buffer, 6,19 Control part, 19 Control part, 7 ECC encoder, 8 Modulation part, 11 Reading part, 12 Demodulation 13 ECC decoder 14 buffer 15 demultiplexer 16 AV decoder 17 subtitle decoder 18 display processor 27 recording unit 28 recording medium

Claims

A stream data having at least video information and sub-playback information played back in synchronization with the playback of the video information, a presentation time stamp indicating a playback start time at an access point of the video information, and an address in the stream data A video table in which the correspondence is described, and a sub playback information table in which the address of the sub playback information to be played back in synchronization with the video information at the access point and each playback section of the sub playback information are described. Reproduction means for reproducing video information and sub-reproduction information of a presentation time stamp at a randomly accessed position from a recorded recording medium,
Control means for controlling the reproduction means with reference to the video table and the sub-reproduction information table,
The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends,
The control means reproduces the sub reproduction information including the presentation time stamp of the randomly accessed position in the reproduction section of the sub reproduction information table, and the past closest to the presentation time stamp of the random accessed position. An information processing apparatus for controlling the playback means so as to play back an intra-frame encoded image .

A stream data having at least video information and sub-playback information played back in synchronization with the playback of the video information, a presentation time stamp indicating a playback start time at an access point of the video information, and an address in the stream data A video table in which the correspondence is described, and a sub playback information table in which the address of the sub playback information to be played back in synchronization with the video information at the access point and each playback section of the sub playback information are described. A reproduction step of reproducing video information and sub-reproduction information of a presentation time stamp at a randomly accessed position from a recorded recording medium;
A control step for controlling the reproduction with reference to the video table and the sub-reproduction information table,
The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends,
In the control step, sub-reproduction information including the presentation time stamp of the randomly accessed position is reproduced within the reproduction section of the sub-reproduction information table, and the past closest to the presentation time stamp of the randomly accessed position is reproduced. The information processing method is characterized in that the reproduction is controlled so as to reproduce the intra-frame encoded image .

A program for causing a computer to execute a predetermined operation,
A stream data having at least video information and sub-playback information played back in synchronization with the playback of the video information, a presentation time stamp indicating a playback start time at an access point of the video information, and an address in the stream data A video table in which the correspondence is described, and a sub playback information table in which the address of the sub playback information to be played back in synchronization with the video information at the access point and each playback section of the sub playback information are described. A reproduction step of reproducing video information and sub-reproduction information of a presentation time stamp at a randomly accessed position from a recorded recording medium;
A control step for controlling the reproduction with reference to the video table and the sub-reproduction information table,
The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends,
In the above control process, it reproduces the sub reproduction information including a presentation time stamp of the random access position within the playback section of the table for the sub-reproduction information, the closest past presentation time stamp of the random access position The reproduction is controlled so as to reproduce the intra-frame encoded image .

Ancillary information creating means for creating adjunct information related to the video information and the sub reproduction information from stream data having at least video information and sub reproduction information reproduced in synchronization with reproduction of the video information;
Recording means for recording the stream data on a recording medium together with the attached information created by the attached information creating means;
Reproduction means for reproducing video information and sub-reproduction information of a presentation time stamp at a randomly accessed position from the recording medium,
Control means for controlling the reproduction means with reference to the attached information,
The auxiliary information creating means includes a video table in which a correspondence relationship between a presentation time stamp indicating a reproduction start time at the access point of the video information and an address in the stream data is described, and is synchronized with the video information at the access point A sub-playback information table describing the address of the sub-playback information to be played back and each playback section of the sub-playback information,
The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends,
The control means refers to the video table and the sub-playback information table, searches for the sub-playback information including the presentation time stamp of the randomly accessed position within the playback section of the sub-playback information table, and An information processing apparatus that reproduces sub-reproduction information together with video information at the access point and controls to reproduce a past intra-frame encoded image that is closest to the presentation time stamp at the randomly accessed position .

An auxiliary information creating step of creating auxiliary information related to the video information and the sub reproduction information from stream data having at least video information and sub reproduction information reproduced in synchronization with reproduction of the video information;
A recording step of recording the stream data on a recording medium together with the attached information created in the attached information creating step;
A reproduction step of reproducing video information and sub-reproduction information of a presentation time stamp at a randomly accessed position from the recording medium,
A control step for controlling the reproduction with reference to the attached information,
In the ancillary information creating step, a video table describing a correspondence relationship between a presentation time stamp indicating a reproduction start time at the access point of the video information and an address in the stream data, and synchronization with the video information at the access point A sub-playback information table describing the address of the sub-playback information to be played back and each playback section of the sub-playback information is created,
The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends,
In the control step, with reference to the video table and the sub-playback information table, the sub-playback information including the presentation time stamp of the randomly accessed position in the playback section of the sub-playback information table is searched, The reproduction is controlled so that sub-reproduction information is reproduced together with video information at the access point, and the past intra-frame encoded image closest to the presentation time stamp at the randomly accessed position is reproduced. Information processing method.

A program for causing a computer to execute a predetermined operation,
An auxiliary information creating step of creating auxiliary information related to the video information and the sub reproduction information from stream data having at least video information and sub reproduction information reproduced in synchronization with reproduction of the video information;
A recording step of recording the stream data on a recording medium together with the attached information created in the attached information creating step;
A reproduction step of reproducing video information and sub-reproduction information of a presentation time stamp at a randomly accessed position from the recording medium,
A control step for controlling the reproduction with reference to the attached information,
In the ancillary information creating step, a video table describing a correspondence relationship between a presentation time stamp indicating a reproduction start time at the access point of the video information and an address in the stream data, and synchronization with the video information at the access point A sub-playback information table describing the address of the sub-playback information to be played back and each playback section of the sub-playback information is created,
The video table has a presentation time stamp of each intra-frame encoded image in the stream data, and information indicating an address at which each intra-frame encoded image starts and ends,
In the control step, with reference to the video table and the sub-playback information table, the sub-playback information including the presentation time stamp of the randomly accessed position in the playback section of the sub-playback information table is searched, The reproduction is controlled so that sub-reproduction information is reproduced together with video information at the access point, and the past intra-frame encoded image closest to the presentation time stamp at the randomly accessed position is reproduced. program.